Propriété d’Olivier Le Daim, barbier de Louis XI au XVème siècle, le château fut brûlé par les Espagnols en 1592 pendant les guerres de religion.
Au début du XVIIème siècle le propriétaire Mr de Gaumont obtint d’Henri IV par lettres patentes, l’autorisation d’entourer d’eau le château qu’il reconstruisit dans le style Louis XIII (brique et pierre). Le château fut ensuite transmis par les femmes aux familles Bragelongne, Canclaux, Colbert et enfin Bourbon Busset au début du XXème siècle.
En 1735, un pavillon fut construit en vis-à-vis de celui qui existait déjà et à l’identique. C’est ainsi que le château prit son aspect actuel de deux châteaux se faisant face et s’ouvrant sur un parc.
Juste avant la révolution le bâtiment d’entrée et le pont levis furent abattus et remplacés par deux élégants pavillons dans le style de l’architecte Claude Nicolas Ledoux (fin du XVIIIème siècle).
Au XIXème siècle, les Colbert doublèrent dans sa largeur le pavillon principal et dotèrent le château d’une magnifique bibliothèque.
Au début du XXème siècle, le château passa à la famille des Bourbon Busset, et le parc fut redessiné par le grand paysagiste Achille Duchêne qui sut y conjuguer le charme des parcs à l’anglaise et l’harmonie classique des jardins à la française.
Ce parc composé à partir de trois perspectives comporte de nombreuses pièces d’eau, pelouses encadrées de topiaires ou plantées d’essences rares. L’académicien Jacques de Bourbon Busset vécut dans ce château où habitent aujourd’hui ses enfants, petits-enfants et arrières petits-enfants.
Ce lieu plein d’histoire et de légendes fut le lieu de tournage de nombreux films