Fay Pairaut est un ancien château médiéval, construit au XIIe siècle puis agrandi et réhaussé au XVe siècle dans un style renaissance. Il fut détruit en 1628 lors des guerres de Religion.
La famille Fay Pairaut, propriétaire du château, était une famille de barons catholiques. En février 1628, elle repousse les troupes protestantes dirigées par le le Duc de Rohan. Quelques mois plus tard, en juin 1628, le duc de Rohan profite de l'absence de son rival, assiège la cité et détruit le château Fay Pairaut ainsi que les fortifications.
Le seul vestige aujourd'hui encore présent et témoignant de ce passé tumultueux est un pan de mur de 30 mètres de haut.
Le seul vestige aujourd'hui encore présent et témoignant de ce passé tumultueux est un pan de mur de 30 mètres de haut.