Depuis plus de 900 ans, ce château est maintenu dans la même famille ; une des plus anciennes familles du Rouergue, où chevaliers croisés, prélats et militaires de hauts rang, ont participé à quelques grands évènements de l'histoire de France.
Il présente également un exemple intéressant d'évolution architecturale du moyen-âge au XIXème siècle.
1 : Le plan de masse, en forme défensive de « fer à cheval » semble, selon Jacques Miquel, correspondre à celui d'un ancien château, du type de la motte féodale et serait alors antérieur à l'an mille.
Cela en ferait un des plus anciens châteaux du département.
2 : En 1642 il fut en partie détruit par un incendie accidentel et reconstruit à la même époque sur ses fondations en incluant des éléments d'architecture issu du style de la renaissance italienne : Porte aux armes de la famille dans la cour intérieure, fenêtres et fronton monumentale côté sud, balustrade sur la terrasse etc.
La charpente est construite en forme de carène de bateau renversé.
3 : Au milieu du XIXème siècle, de nombreux travaux de restauration et des modifications à l'extérieur et à l'intérieur du château seront entrepris par le Marquis, influencé par le style néogothique : Portes et fenêtres de la cour intérieur, mur crénelé, décorations en trompes l'il.
Les fortifications de l'antique forteresse ont laissé place à des jardins d'agrément avec terrasses, tertre suspendu, serre, grille d'entrée, fontaine armoriée.
Le parc du château est fermé par un mur contigu et plusieurs accès, dont un donnant sur le parvis de l'église (serre).
Malgré les remaniements successifs, quelques vestiges du vieux château ont été conservé : meurtrières, appareillages en arrêtes de poisson, mâchicoulis, pilastres, voûtes d'ogives.
Le château est inscrit à l'inventaire supplémentaire des Monuments Historiques depuis 1991 et a été ouvert aux visites guidées jusqu'en 2015.