La salle que les Rochelais appellent aujourd’hui l’Oratoire a subi beaucoup de modifications au cours des temps. D’abord, chapelle du couvent des Sœurs blanches de Sainte-Marguerite (porte du XV^e siècle sur la rue du Collège), elle est abandonnée par les moniales au moment des troubles religieux. Le bâtiment est dès lors utilisé comme hôpital pour les blessés pendant le siège de 1573, puis comme magasin d’artillerie. Les catholiques en occupent cependant une partie pendant les périodes où ils ont l’autorisation de célébrer la messe dans la ville.

En 1567, le synode provincial de Saintonge, Aunis et Angoumois, se tient dans l’église qui est restituée aux catholiques après l’édit de Nantes. La congrégation de l’Oratoire s’y installe et construit de nouveaux bâtiments.

Lorsque les troubles politico-religieux reprennent après la mort d’Henri IV, les oratoriens sont expulsés de la ville et les prêches protestants reprennent en 1621 à Sainte-Marguerite. C’est dans cette église que Richelieu célébre solennellement la messe après la reddition de La Rochelle en 1628.