Après la Révocation, les grosses tours de la ville médiévale deviennent prisons.

À partir de 1707 la tour de Constance est réservée aux femmes condamnées à la prison perpétuelle pour faits de religion. C'est le lieu symbole de la résistance protestante avec pour héroïne Marie Durand emprisonnée en 1730, à l'âge de 15 ans, jusqu'en 1768, qui grava dans la pierre le mot « Résister  », devise des protestants.