Dès avant les guerres de religion, la ville était protestante et le clergé catholique ne pouvait y jouer qu’un rôle effacé. L’évêque, abbé de Montauriol, avait subi la destruction de son abbaye en 1563. Quand il n’était pas expulsé par les huguenots, il logeait dans une maison de la ville. Anne de Murviel, évêque de 1598 à 1652, n’était pas combatif, et il dut supporter de nombreuses vexations jusqu’en 1626 (paix d’Alès).

Pierre de Bertier, coadjuteur de 1636 à 1652, profite de la politique d’accroissement systématique de la population catholique (arrivée d’ordres religieux et de titulaires de charges qui rendent toute son importance à sa fonction). Il fit bâtir, en 1664, par un architecte de Toulouse, Campmartin, un édifice qui est à la fois hôtel particulier et château. L’aile située le long du pont repose sur les restes d’un château construit du temps des Anglais (1360-1369).