Bereits vor den Religionskriegen war Montauban protestantisch, der katholische Klerus spielte kaum eine Rolle. Der Bischof Abt von Montauriol musste die Zerstörung seiner Abtei im Jahre 1563 miterleben. Weil er nicht von den Hugenotten vertrieben wurde, wohnte er in einem Haus in der Stadt. Anne von Murviel, Bischof zwischen 1598 und 1652 war nicht sehr kämpferisch und musste bis zum Frieden von Alès 1626 einige Schikanen ertragen.

Pierre de Bertier, Koadjutor von 1636 bis 1652, nutzte die Politik der systematischen Vergrößerung der katholischen Bevölkerung (Zuzug von Ordensleuten und Würdenträgern, die die Wichtigkeit seiner Funktion untermauerten). Er ließ 1664 durch einen Toulouser Architekten, Campmartin, ein Gebäude errichten, das zugleich als Herrenhaus und Schloss diente. Der Schlossflügel auf Seite der Brücke ruht auf den Resten eines Schlosses aus der Zeit der englischen Herrschaft (1360-1369).