Ce château doit son nom à la famille Pot qui le posséda de de 1300 à 1484. L'ancienne forteresse jaillit droitement d'un pré. La Tour carrée, les courtines ouest et nord et les douves en eau datent du XIIIe siècle.


La façade, avec le portail en pont-levis, les mâchicoulis des courtines et les tours ont été repris du XIV au XVe siècles.

De cette époque, les magnifiques cheminées monumentales, les escaliers à vis, les superbes gargouilles sculptées.

Dans le cours du XIX e siècle, devenu exploitation agricole, le château subit des modernisations et des destructions.

Depuis 1984 il reprend vie grâce aux chantiers organisés par l'Association de Sauvegarde du Château de la Prune-au-Pot et l'Association Chantier Histoire et Architecture Médiévale.