Die Reformation erreichte ab 1541 die akademischen Kreise von Valence. Bischof Jean de Monluc zeigte sich tolerant, so dass 1558 eine protestantische Kirche gegründet und 1560 ein Pastor ernannt wurde.
Der Orden von Saint-Ruf war im 13. Jahrhundert einer der reichsten Orden in Avignon. Von den Albigensern vertrieben, ließen sich die Mönche in Valence nieder, flüchteten aber während der Religionskriege im 16. Jahrhundert in das Kloster von Epervière. Als jedoch die Klostergebäude von den Soldaten der protestantischen Partei in Brand gesteckt wurden, richteten sie sich schließlich im Priorat von Saint-Jacques ein.
1702 errichteten die Mönche von Saint-Ruf eine Abtei mit einer Kapelle im barocken Stil, die reich verziert war: im Kirchenschiff sind Blumengirlanden aus Stuck angebracht, die Gesimse sind mit Illusionsmalerei geschmückt, es gibt eine Goldglorie an der Decke über dem Chor, etc. (die Goldglorie ist ein Ornament aus goldenen Strahlen und einem Dreieck in der Mitte, das die Gegenwart Gottes symbolisiert).
Als der Abt von Saint-Ruf Mitte des 18. Jahrhunderts den Orden wegen nachlassender Frömmigkeit reformieren wollte, geriet er mit den Kanonikern in Konflikt und es kam zu einem Prozess, der vierzig Jahre dauerte. Schließlich löste der Staatsrat den Orden 1773 auf. Die Gebäude wurden daraufhin nicht mehr genutzt.
Während der Revolution wurde die Kapelle Saint-Ruf in eine städtische Kornkammer umgewandelt. Später wurde sie für politische Versammlungen restauriert und wurde 1794 zum „Tempel der Vernunft“. Die Kapelle diente anschließend den Freimaurern als Loge.
Im Jahr 1801 wurde die Kapelle dank des von Bonaparte eingeführten Konkordatssystems dem reformierten Gottesdienst zugewiesen.
Ihre Innenausstattung aus dem 17. Jahrhundert – die Holzvertäfelung, die Vergoldungen und die Glasmalereien – ist bis heute noch erhalten. 1921 wurde das Gebäude unter Denkmalschutz gestellt.
