Les protestants s’en emparent en 1561, lorsqu’ils deviennent maîtres de la ville, et utilisent cette église comme temple pendant quelques années. En 1563, la paix d’Amboise la restitue au culte catholique.

Catherine de Médicis et Charles IX y sont reçus en 1564.

En 1567, les huguenots abattent la flèche et une partie des voûtes, et transforment l’église en fortin. Pendant les sièges, le clocher est utilisé comme poste d’observation.

On peut voir, sur les côtés nord et ouest de la tour qui supportent le clocher (refait à l’identique en 1740), la trace des boulets tirés par l’armée de Louis XIII lors du siège de 1621.

Par suite de la destruction du Moustier, Saint-Jacques fut église cathédrale de 1630 à 1739.