Portant le nom de Nicolas Le Vergeur, bourgeois du XVIe siècle enrichi grâce à la gabelle, le musée Le Vergeur est composé de deux corps de bâtiment datant des XIIIe et XVIe siècles
Fondée en 1794 à partir des saisies révolutionnaires opérées sur les biens des émigrés et des collectivités religieuses, la collection du musée fut placée à l'Hôtel de Ville. Durant le XIXe siècle, dons et legs de collectionneurs privés