Construit au 12e siècle, sous le règne de Philippe Auguste, la porte d'accès au château s'appela Tour du Veilleur, Banye (1507) Bannier, Porte de l'Horloge puis Porte de prison. Elle reçut en 1819 l'horloge publique qui était auparavant sur la Porte aux Bœufs et servit d'asile de nuit et de prison au XXe siècle. De cet endroit,  part vers le nord comme vers le sud, un ensemble de remparts qui protégeaient le château et la cité.

L'escalier pour y accéder date de 1829. Au premier étage on y trouve une cellule avec quelques inscriptions.
Au second étage se trouvait le logement du gardien.

En façade, une fenêtre à meneaux de style Renaissance. Une herse fermait l'accès de l'enceinte du château seigneurial aux habitants de la ville.