Dès 1541, la Réforme s’implante à Valence dans le milieu universitaire. L’évêque Jean de Monluc se montre tolérant, et une Église protestante voit le jour en 1558. Un pasteur est nommé en 1560.

L’ordre de Saint-Ruf est un des plus riches en Avignon au XIIIe siècle. Chassés par les Albigeois, les moines s’installent à Valence. Au XVIe siècle, pendant les guerres de religion, ils se réfugient au monastère de l’Epervière, mais les bâtiments sont incendiés par les soldats du parti protestant. Ils s’établissent ensuite au prieuré de Saint-Jacques.

En 1702, les moines de Saint-Ruf construisent une abbaye et une chapelle de style baroque richement décorée : guirlandes de fleurs en stuc dans la nef, corniches en trompe-l’œil, gloire en or (ornement formé par un assemblage de rayons dorés et un triangle en son centre symbolisant la présence de Dieu) sur le plafond au-dessus du chœur, etc.

Au milieu du XVIIIe siècle, lorsque l’abbé de Saint-Ruf veut réformer l’ordre pour relâchement de la piété, les chanoines entrent en conflit avec lui. Un procès s’ouvre : il va durer quarante ans. Le Conseil d’État dissout l’ordre en 1773. Les bâtiments sont alors désaffectés.

À la Révolution, la chapelle Saint-Ruf est transformée en grenier municipal. Remise en état pour accueillir les réunions politiques, elle devient en 1794 un « Temple de la Raison ». La chapelle sert ensuite de loge aux francs- maçons.

En 1801, grâce au système concordataire mis en place par Bonaparte, la chapelle est affectée au culte réformé.

Son décor intérieur du XVIIe siècle subsiste aujourd’hui : panneaux de boiserie, dorures, vitraux. Le bâtiment est classé Monument historique en 1921.