La forteresse originale voit le jour vers l'an mil sous le nom de château de Foulques Nerra alors comte d'Anjou. Puis, pendant la Guerre de Cent ans, le château fut le repaire occasionnel de bandes armées, et Charles VII mit fin à cette occupation qu'il jugeait dangereuse.