Sa construction date du XVème siècle et est à l'origine une maison forte voulue par Soubeyrane Alamand et Guillaume de Montclar. L'oncle de Soubeyrane, François Alamand, était prieur au monastère de Sainte-Énimie, et prévôt de la cathédrale de Mende. Il paya une grande partie de la construction du château pour sa nièce. Du mariage de Guillaume de Montclar et Soubeyrane naissent 5 jeunes filles : Gabrielle, Jeanne, Loyse, Antoinette et Françoise. Selon la légende, ces jeunes filles attiraient par leur beauté la noblesse élégante du Gévaudan et de Rouergue. Belles et intrépides amazones, elles sont nommées les Nymphes du Tarn par le poète Louis Jourdan.
En 1524, c’est Gabrielle qui succéde à sa mère Soubeyrane. Elle épouse Bernard de Montclar, son cousin. Jeanne épouse Berail de Pelamourgue, Loyse prend pour mari Jean Boussuge, Antoinette rentre au couvent, et Françoise se marie avec Bernard de Curières. Les filles de Soubeyrane sont toutes rapidement veuves sauf une qui permet de continuer la lignée des Alamand. De Françoise Alamand et de Bertrand de Curières naquit Anne. Gabrielle fait son testament en faveur de Anne de Curières, sa nièce et fille de sa sœur Françoise, le 26 mars 1563.
Anne épouse le 12 décembre 1563 un vaillant guerrier, bataillant pour Dieu et pour le roi, Bertrand de Mostuéjouls.
De ce mariage naquit une fille Jacquette de Mostuéjouls. Suite au décès de son père, Jacquette prend le relais en tant que Dame de La Caze. Elle prend pour époux Jean de Maillan, seigneur de Grandlac. Par ce mariage, les domaines de Grandlac et La Caze s’unissent en une seule maison. Jacquette décède, et son mari Jean se remarie avec Anne des Ondes le 8 octobre 1598. C’est Anne des Ondes qui entreprend la peinture de la salle des nymphes grâce au peintre Prunier en 1627.
Malgré les déboires financiers de la famille de Malian, le château est resté leur propriété jusqu'à la Révolution où il est réquisitionné, vendu au profit de la nation et devient bien national. Il aurait servi de prison à cette époque.