Proche de la Loire, le Palais Ducal fut la résidence des comtes et des Ducs de Nevers. C'est à l'initiative du Comte Jean de Clamecy, soucieux d'affirmer son pouvoir, que l'édifice verra le jour vers 1460
Unique tour-porte à pont-levis à mâchicoulis conservée de l'enceinte médiévale de la ville et qui date de la fin du 14ème siècle, la Porte du Croux, faisait partie des remparts de la ville