Début 16e, l’abbé de Cluny Jacques d’Amboise ordonne la construction d’un palais et fait orner les deux tourelles côté parc d’un somptueux parement en albâtre. Un choix très esthétique, l’albâtre s’apparente au marbre des palais italiens en vogue à l’époque, mais aussi pratique puisqu’on en trouve en quantité dans les carrières de gypse de Berzé-la-Ville. Pourtant situés à près de dix mètres de hauteur, les blocs sont sculptés pour la plupart de magnifiques motifs floraux ou ornementaux. Des scènes mythologiques apparaissent aussi parfois, comme « la chasse à la licorne » ou « Hercule et l’Hydre de Lerne ». L’albâtre est en revanche un matériau fragile, exposé aux intempéries il s’altère et devient poreux. Plusieurs campagnes de restauration seront nécessaires pour préserver l’édifice. Lors de la dernière en 1938, les blocs sont rescellés et jointoyés avec un mortier fortement chargé en ciment. Incompatible chimiquement avec l’albâtre, le mortier provoque la formation d’un sel très expansif qui fissure les blocs, les écarte et les pousse vers l’extérieur. L’équilibre de la structure se trouvant menacé, une intervention d’ampleur devenait urgente.