En fait de vieux château, il ne reste rien, sinon le mur de soutènement ouest face à l’église. L’histoire des châteaux de Sombernon ( il y en a eu deux) est controversée quant à la localisation du premier château, brulé et détruit par une bande d’écorcheurs en 1439.
Le dernier château fut construit par la famille Brulart sur l’esplanade dominant à l’est la vallée de la Brenne et Lavillotte et à l’ouest la vallée de Remilly sous une forme de U. Le démarrage des travaux a approximativement lieu vers 1660.
Ils ne seront jamais terminés.
Le château devient ensuite la propriété de Gaspard de Vichy qui ne peut l’entretenir, le démantèlement commence avec un de ses héritiers et se poursuit après le rachat par la famille Rameau de La Chaleur qui utilise les pierres pour bâtir le château de la Chaleur. Ensuite les vestiges de cette splendide construction ( la plus belle de la région aux dires du chroniqueur de l’époque, Courtépée) deviennent propriété de la famille Mercusot au début des années 1920.
