En Berry, l'Histoire s'exprime avec tant de force, que la région se déploie telle une fresque historique où châteaux, églises et abbayes invitent aux découvertes les plus romanesques. Allez les chercher, voyez comment cela circule dans notre région.

Appuyé contre l'épaule du Sancerrois, Aubigny embrasse dans une même étreinte, conquérants écossais, seigneuries et bâtisseurs. La ville domine de son médiévalisme les vestiges d'une grande cité fondée par les écossais, tandis que le château, épinglé sur l'étoffe des troupes de La Châtre, repoussée vers la Chapelle d'Angillon. Aujourd'hui, le castel se révèle grâce aux Stuarts.

A la fin du XVIIème siècle, la duchesse de Portsmouth agrandit le logis jusqu'à la chapelle, aménage la tour de l'aile ouest, et créé les Grands Jardins. Vers 1810, le château est encore composé d'une avant-cour, d'un grand pavillon d'entrée à deux étages, et d'une cour d'honneur bordée de bâtiment. L'aile orientale abrite l'ancien logis et la chapelle ; l'aile opposée sert de dépendances et de communs qui se prolongent en fond de cour par un petit pavillon couvert d'un dôme qui abrite une horloge. A l'extérieur, la basse-cour abrite les logements du gardien et des gardes, les écuries et les remises. L'orangerie et les serres donnent dans une autre cour, suivie d'un enclos appelé les Grands Jardins.

A la fin du XIX ème siècle, la mairie, l'école, la gendarmerie, le tribunal et la prison s'installent dans le château. L'aile sud et la tour de l'horloge sont démolies au début du XXème siècle.
L'ensemble a fait l'objet d'importantes restaurations effectuées par l'architecte de la ville, Paul Gurérin, entre 1925 et 1925.