Erigé au XII e siècle et détruit lors de la Guerre de Cent Ans, le Maréchal de France Jean 1 er de Brosse fait rebâtir le château. Celui-ci est devenu célèbre grâce à deux femmes : Georges Sand et la Dame à la Licorne, célèbre tapisserie découverte par Mérimée.