Der Saal, den die Einwohner von La Rochelle heute Oratorium nennen, hat im Laufe der Zeit viele Veränderungen mitgemacht. Zunächst handelt es sich um die Kapelle des Klosters der Weißen Schwestern der Heiligen Margarete (Tor aus dem 15. Jahrhundert auf die rue du Collège), sie wird dann in der Zeit der religiösen Unruhen von den Nonnen verlassen. Danach wird das Gebäude als Krankenhaus für die Verletzten während der Belagerung von 1573 genutzt, anschließend als Artillerielager. Die Katholiken besetzen dennoch einen Teil davon während der Zeiträume, in denen ihnen die Feier der Messe in der Stadt gestattet ist.
1567 wird in der Kirche die Provinzialsynode von Saintonge, Aunis und Angoumois abgehalten, nach dem Edikt von Nantes wird sie den Katholiken zurückerstattet. Die Ordensgemeinschaft des Oratoriums richtet sich dort ein und baut neue Gebäude.
Als die politischen und religiösen Unruhen nach dem Tod Heinrichs IV. wieder aufflammen, werden die Oratorianer aus der Stadt gewiesen und 1621 werden wieder protestantische Predigten in Sainte-Marguerite gehalten. In dieser Kirche feiert Richelieu nach der Kapitulation von La Rochelle 1628 eine festliche Messe.
