Cette ancienne abbaye devait commémorer l’emplacement de la demeure (« celle ») d’Hilaire, et lieu de son décès au IVe siècle.Une communauté religieuse s’y établit, placée au XIe siècle sous la règle de Saint-Augustin, réformée par l’ordre des génovéfains au XVIIe siècle – qui fait édifier de nouveaux bâtiments.

Vendus à la Révolution, les biens de l’abbaye sont rachetés vers 1820 par les carmélites, qui aménagent un nouveau cloître. Depuis leur départ, en 1957, c’est le Centre régional de documentation pédagogique (CRDP) qui occupe les lieux.

De l’église monastique reconstruite au XIIe siècle, ne demeure aujourd’hui que le chœur et le transept, partiellement modifiés au XIXe siècle. Un bas-relief de la fin du XIIe siècle, représentant la mort de saint Hilaire, est visible dans l’absidiole du bras nord du transept. C’est l’ultime vestige d’un ensemble entourant autrefois, dans la nef, l’accès à une petite crypte.