Sur cet emplacement se trouve « le prêche de la Ville Neuve », construit en 1630 pour remplacer le Grand temple de la place du Château, confisqué aux protestants par le roi après le siège et devenu église catholique, puis cathédrale à partir de 1648.

Le temple de la Ville Neuve (dont l’actuelle rue du Prêche conserve seule le souvenir) est démoli en mars 1685, six mois avant la révocation de l’édit de Nantes sur « ordre du lieutenant criminel de La Rochelle et du Parlement de Paris » sous prétexte que les pasteurs y ont laissé entrer une relapse (personne qui, ayant abjuré, revient à sa religion première).

On s’interroge sur la provenance de la pierre ornée d’un écusson aux armes de France et de Navarre qui se trouve au-dessus de la porte d’entrée de la chapelle. Selon la tradition, cette pierre décorait auparavant la façade du temple de la Ville neuve.