À la tête d’un véritable réseau de châteaux dans la région, les vicomtes de Polignac jouent un rôle de premier plan dans la vie politique et militaire du Velay
À partir du 12e siècle, une lutte sans merci les oppose aux évêques du Puy, comtes du Velay, notamment à propos des péages sur la route de pèlerinage. Érigée sur un plateau volcanique contrôlant les voies d’accès au Puy-en-Velay par le nord et l’ouest, la principale forteresse des Polignac leur permet de soutenir pendant plusieurs siècles ces incessants conflits. Bâtie sur une plate-forme de 60 mètres de hauteur, elle est édifiée à partir du 11e siècle.
Aujourd’hui partiellement en ruine, le site s’étend sur trois hectares clos de remparts. Ceux-ci sont ponctués de tours reliées par un chemin de ronde. À l’intérieur des fortifications se distinguent plusieurs ensembles : le donjon et les logis résidentiels, une chapelle romane du 12e siècle et son cimetière, et des bâtiments artisanaux permettant une vie autarcique (moulin, forge, atelier monétaire…). Haut de 32 mètres, le donjon, construit entre 1385 et 1421, comporte cinq niveaux et une terrasse sommitale, desservis par un escalier en vis.
Au 17e siècle, les Polignac s’établissent dans le château plus confortable de Lavoûte, dans un méandre de la Loire. Implanté sur un éperon rocheux qui domine le fleuve, c’est à l’origine une forteresse médiévale.
L’édifice est profondément transformé au 16e siècle par la création de trois ailes et de deux tours d’angle, par le percement de grandes fenêtres à meneaux et par l’aménagement d’un jardin. Au 18e siècle, devenus intimes de la cour, les Polignac délaissent le château pour s’installer à Versailles.
Vendu comme bien national à la Révolution, le château est racheté par les Polignac sous la Restauration. Partiellement effondré, il est restauré dans son état actuel, qui ne représente qu’une partie de l’ancienne bâtisse, qui était beaucoup plus étendue et complexe.