Cet édifice, qu’on désigne aussi sous le nom d’hôtel de la Chambre de commerce, construit de 1760 à 1765 sur les plans de l’ingénieur des Ponts et Chaussées Pierre Hue, se compose de deux ailes, délimitant une cour intérieure, réunies en 1785 par une élégante galerie à colonnes. Il reste un signe concret de la prospérité de la ville et de la vitalité du commerce maritime dont les négociants et armateurs protestants furent les principaux artisans au XVIII^e siècle.

Créée en 1719, la Chambre de commerce est de tout temps présidée à tour de rôle par des catholiques et des protestants. Malgré la révocation de l’édit de Nantes, l’activité et la richesse des « religionnaires » leur permet de bénéficier d’une assez large tolérance de la part des autorités.

Parmi les présidents protestants, on peut citer Jacques Rasteau, le premier à armer pour la Louisiane en 1731, Jehan Seignette, qui appartient à une ancienne famille de médecins et d’apothicaires célèbres, Pierre Gabriel Admyrauld, un des plus grands négociants rochelais du XVIII^e siècle, qui envoie ses bateaux aussi bien vers le Canada et Saint-Domingue que vers les îles de France et de Bourbon et même les Indes orientales. Au XIX^e et au XX^e siècles Théophile Bahut, Pierre-Wladimir Môrch et son fils Christian Môrch ont joué un rôle décisif dans la création et le développement du port de La Pallice.