La fondation du château remonte au XIè siècle. L'ensemble fortifié est établi sur un promontoire rocheux défensif qui permet un contrôle de la vallée du Dolo. Le château était composé d'un donjon rectangulaire, d'une cour et d'une avant-cour. Au XIIIè siècle, une enceinte de 700 m (toujours visibles) flanquée de 38 tours enveloppa le château primitif et sa première enceinte de 7 tours. Propriété de la Ville, le logis néo-gothique du XIXè siècle, abrite aujourd'huides expositions temporaires.