La sede fue el antiguo hospicio-residencia de los Abades de Cluny desde el siglo XIII; el edificio fue reformado por Jacques d'Amboise, abad de Cluny (1485-1510). Fue confiscado en 1793 por el estado, y en treinta años fue cambiando de propietarios como por ejemplo un médico que utilizó la capilla en la primera planta como cuarto de operaciones, María Tudor, también residió en el sitio después de la muerte de su marido.
La sede fue el antiguo hospicio-residencia de los Abades de Cluny desde el siglo XIII; el edificio fue reformado por Jacques d'Amboise, abad de Cluny (1485-1510). Fue confiscado en 1793 por el estado, y en treinta años fue cambiando de propietarios como por ejemplo un médico que utilizó la capilla en la primera planta como cuarto de operaciones, María Tudor, también residió en el sitio después de la muerte de su marido. En 1833 Alejandro du Sommerard se mudó al lugar e instaló aquí su colección de grandes objetos medievales y del renacimiento. Después de su muerte en 1842 la colección fue adquirida por el estado y abierta al público en 1843, con su hijo como director-conservador del museo. El edificio también alberga unas termas galo-romanas del siglo I.