Bâti au 14e siècle sur les vestiges d'un premier château dont il ne reste qu'une tour fortifiée (la tour Simon de Montfort), l'édifice actuel se compose de deux parties distinctes
Beaulieu est une fondation cistercienne réalisée en 1144 à la requête de l'évêque de Rodez, par des moines de Clairvaux qui ont canalisé la Seye afin d'alimenter le monastère et ses viviers
Cest le 20 mai 1500 que Jean III de Cardailhac demande par un « bail à besogne » à Jean de Massaris de Millac et à Antoine de Moissac dédifier une tour ou « turris » de trois étages à lemplacement actuel