Le château est un bâtiment en L fermé par une cour médiévale, dont la construction s'étage entre le XIIème et XVIème siècle. Jean de la Fabrie acquit la Sylvestrie en 1597. Celle-ci resta dans la famille jusqu'au XIXème siècle
Ce château, dont les soubassements remontent aux 13 et 14ème siècles, fût plusieurs fois remanié. Il abrita même une gendarmerie de 1865 à 1976. L'escalier et la cuisine sont inscrits à l'Inventaire Supplémentaire des Monuments Historiques
Privé et classé Monument Historique, ce château fut construit à la fin du XIIIème siècle pour veiller les terres des Plantagenêt. L'enceinte principale épouse le forme irrégulière du plateau
Cet édifice est un exemple rare de château gascon des XVIIéme et XVIIIème siècles. Il s'apparente au programme des "Villae Palladiennes" dans son ambition : à la fois lieu de résidence et cœur d'une exploitation agricole