La ville fondée par Saint Louis est place de sûreté huguenote jusqu'en 1622.

Après la Révocation, les grosses tours de la ville médiévale deviennent prisons.

À partir de 1707, la tour de Constance est réservée aux femmes condamnées à la prison perpétuelle pour faits de religion. C’est le lieu symbole de la résistance protestante avec pour héroïne Marie Durand, emprisonnée en 1730 à l’âge de 19 ans, jusqu’en 1768. Le mot « résister » gravé dans la pierre lui est attribué sans réelle certitude.