Dieses Gebäude, auch als Haus der Handelskammer bezeichnet, wurde zwischen 1760 und 1765 nach Plänen des Ingenieurs für Brücken- und Straßenbau Pierre Hue erbaut. Es besteht aus zwei Flügeln, die einen Innenhof umschließen und 1785 durch eine elegante Säulengalerie verbunden wurden. Es stellt ein bleibendes konkretes Zeichen für den Wohlstand der Stadt und die Lebendigkeit des Seehandels dar, der im 18. Jahrhundert vor allem von protestantischen Kaufleuten und Reedern getragen wurde.

Die Handelskammer wurde 1719 gegründet und stets im Wechsel von Katholiken und Protestanten geleitet. Trotz der Aufhebung des Edikts von Nantes genießen die „Religiösen“ Dank ihrer Tätigkeit und ihres Reichtums eine recht große Toleranz von Seiten der Obrigkeiten.

Unter den protestantischen Präsidenten ist Jacques Rasteau zu nennen, der als erster 1731 für Louisiana aufrüstet, Jean Seignette, der einer alten Familie von berühmten Medizinern und Apothekern angehört, Pierre Gabriel Admyrauld, einer der größten Kaufleute von La Rochelle im 18. Jahrhundert, der seine Schiffe sowohl nach Kanada und San Domingo schickt als auch zu den Inseln de France (heute Réunion) und de Bourbon (heute Mauritius) und sogar bis nach Ostindien. Im 19. und 20. Jahrhundert haben Théophile Bahut, Pierre-Wladimir Môrch und dessen Sohn Christian Môrch eine entscheidende Rolle bei der Gründung und Entwicklung des Hafens von La Pallice gespielt.