Bâti au 14e siècle sur les vestiges d'un premier château dont il ne reste qu'une tour fortifiée (la tour Simon de Montfort), l'édifice actuel se compose de deux parties distinctes
Cest le 20 mai 1500 que Jean III de Cardailhac demande par un « bail à besogne » à Jean de Massaris de Millac et à Antoine de Moissac dédifier une tour ou « turris » de trois étages à lemplacement actuel