Le château, difficile à dater, aurait été la propriété de la famille Carton des Estivaux à la fin du XVe siècle. Il est alors décrit comme une lourde construction aux volumes déséquilibrés avec terrasse. Sur un plan de 1704, une maison appartenant à François Coindé est indiquée à l’emplacement du château, non loin d’un moulin aujourd’hui disparu dont on peut encore deviner les restes du bief. Dans l’impasse nord, un portail donne accès à une cour intérieure bordée d’un bâtiment aux fenêtres de style XVe - XVIe siècles. Une tour massive en forme de château d’eau, ceinturée de mâchicoulis, était coiffée d’une curieuse calotte bombée, supprimée lors de la restauration de 1995.

Au début du XXe siècle, le château appartient à M. Gachard, puis aux familles Comparat et Goyet. Dans l’impasse nord se situe un portail derrière lequel une cour intérieure est bordée d’un bâtiment portant des fenêtres dotées d’encadrements moulurés style XVe -XVIe siècles. Cette bâtisse est flanquée d’une grosse tour ronde, parfois appelée donjon, qui est équipée de faux machicoulis et de baies depuis le XIXe siècle. Restauré en 1981-1982 par M. Comparat, le château est en partie détruit par un incendie dans la nuit du 8 au 9 novembre1982. Trois ans plus tard, M. Gianni Gianfranceschi devenu propriétaire, rénove et divise le château en trois appartements répartis sur les six niveaux du bâtiment . La tour est couverte d’un toit de tuiles en 1995. Quatre ou cinq petites maisons jouxtent le château à l’est.

Au sujet du chemin des Rivières où le château est situé, Charles Jocteur (1983)  explique que "c’est pour le promeneur qu’un ruisseau accompagne, un parcours agréable en sous-bois jusqu’à un imposant ensemble de constructions hétéroclites que domine un donjon jouxtant un corps de bâtiment aux fenêtres moulurées. 

Château délabré, ancienne guinguette dont l’enseigne apparaît encore , étaient autrefois compagnons d’un moulin. Le bief, long de mille mètres partait de la passerelle de la Verdoyure. Le nom du chemin des Rivières vient des deux ruisseaux qu’il côtoie, celui du Vivier et le rieu des Planches qui confluent dans le voisinage immédiat du château".

Une marque de carrier avait été trouvée par Charles Jocteur sur une pierre identique à celles que l’on trouve au château de Malrochet.

A l’intérieur de la tour, un large escalier de pierre avec une rampe en fer-forgé conduit au premier étage. A cet étage, dans une salle, sur le manteau de la cheminée figurent deux blasons, l’un appartenant à la famille des Estivaux , l’autre à la famille de Caze originaire d’Italie. Le blason des Estivaux     "porte d’azur aux chevrons d’or accosté en chef de deux étoiles du même et en pointe d’une tour d’argent". Le blason de Caze "porte d’azur à chevron d’or accompagné de deux losanges en chef et un lion dressé en pointe".

Le moment auquel les deux familles furent propriétaires du lieu n’est pas connu. En 1697, Christophe Carton des Estivaux, premier de la famille à porter ces armes, était lieutenant civil et criminel du château de Cervières en Forez. La famille de Caze originaire d’Italie, s’était établie au début du XVIe siècle à Lyon, en Languedoc, en Provence et à Paris. Au milieu du XVIe siècle, une branche de la famille s’installe à Montbrison, remplissant des tâches administratives ; elle s'établit à Saint-Etienne, puis fournit un receveur général des finances de Lyon en 1783. Les de Caze de Lyon furent seigneurs de Roche-Cardon à Saint-Didier-au-Mont d'Or en 1789. Le duc de Caze, pair de France ne paraît cependant pas appartenir à la même famille.

Le 4 décembre 1994, Madame Rouillé, alors habitante du château, fait part de sa rencontre avec deux halos elliptiques lumineux, oblongs, dans un texte qu’elle a rédigé en octobre 1998 (transmis par le professeur Demarcq).