Le premier château fort d’Aspremont fut construit vers l’an 1000 par Raymond Rostaing avec une chapelle seigneuriale (encore présente) et plusieurs habitations pour le logement des gens d’armes. L’ensemble est entouré d’un mur d’enceinte avec des meurtrières et la trace de ce qu’il semble être une porte. Ce château sera abandonné pour des raisons logistiques et déplacé au centre de l’actuel village d’Aspremont par le seigneur Ludovic Marquesan entre 1426 et 1438 dont il reste aujourd’hui deux tours du XVe siècles et les murailles.