Guide des Gîtes et Chambres d'hôtes en France.

Le château des Milandes est bâti en 1489 et constitue alors la demeure principale des seigneurs de Caumont qui possèdent aussi le château de Castelnaud. Le bâtiment est transformé par François de Caumont pour son épouse qui souhaite habiter un lieu moins austère et plus lumineux. Des fenêtres à meneaux couvertes de vitraux sont percées mais les tourelles, les escaliers à vis et les gargouilles, éléments architecturaux du Moyen Âge, sont conservés.

Jacques Nompar de Caumont, serviteur du roi Henri IV, séjourna au château de nombreuses fois.

La Révolution française entraîne l'abandon du château qui est vendu au XIXe siècle. Après un incendie dû au manque d'entretien, Charles Claverie, un industriel ayant fait fortune dans la lingerie fine, le rachète et commence à le restaurer entre 1900 et 1908. De nouveaux éléments de styles néogothique et néorenaissance sont ajoutés, comme des tours, des logis, des balcons, et un jardin à la française est créé. L'ensemble est complété par un chai et une ferme. Après son décès, sa veuve revend le château à un particulier et cède la chapelle située à côté à la commune de Castelnaud-la-Chapelle.

Le château constitue la résidence de la chanteuse et meneuse de revue Joséphine Baker et de son mari Jo Bouillon qui le louent à partir de 1937 et l'achètent dix ans plus tard. C'est à cette époque que sont installés l'eau courante, l'électricité et un système de chauffage central. Elle y développera un complexe touristique avant-gardiste, baptisé « Village du Monde », et y vivra avec ses douze enfants adoptés de neuf nationalités différentes qu'elle surnomme sa « Tribu Arc en Ciel ».

En 1964, suite à des problèmes financiers, la mise en vente aux enchères du château est annoncée. Malgré un répit grâce à l'intervention de Brigitte Bardot qui lance un appel aux Français et le refus par Joséphine Baker de l'offre de Gilbert Trigano, le château est finalement vendu pour un dixième de sa valeur en 1968. Faisant jouer la loi française, elle obtient néanmoins un sursis qui lui permet de rester au château jusqu'au 15 mars 1969. Cependant, alors qu'elle est en tournée, elle apprend que le nouveau propriétaire a investi les lieux. Elle s'y oppose et investit seule la cuisine dans laquelle elle se barricade, ses enfants étant confiés à sa sœur. Profitant d'une de ses sorties de la pièce pour aller chercher de l'eau, les ouvriers, qui ont pour consigne de la faire partir du château, referment la porte derrière elle. Elle passe la nuit devant la porte et doit être transportée à l'hôpital le lendemain. Cet évènement tourne en faveur de Joséphine Baker qui obtient finalement une autorisation de réintégration dans la cuisine par la justice.

Depuis Joséphine Baker, quatre familles se sont succédé au château. Les terrasses, façades et toitures du château sont inscrites au titre des monuments historiques en 1986.

Depuis 2001, le château accueille une exposition sur Joséphine Baker et des travaux de restauration sont effectués. En 2009, le château, son chai, son jardin à la française et les anciennes écuries sont inscrits en totalité au titre des monuments historiques.