C’est de cette tour carrée où se trouve actuellement la Mairie qu’est né le village médiéval de Brignon. Ce donjon de la fin du XIe siècle était le symbole de la puissance de la famille Raimond de Brignon.
A partir du milieu du XIIIe siècle, un château médiéval se développe autour du donjon. La tour fut remaniée plusieurs fois et toujours habitée.
