Château d’origine féodale, il est reconstruit en 1593, « au goût du jour », par Jehan MORISSON, architecte du château de Terre-Neuve à Fontenay.

De cette construction, commandée par Antoine BARLOT, il ne restait pratiquement plus que deux tours. La tour du donjon est actuellement restaurée, le reste du château en cours de restauration.

Les BARLOT, seigneurs de la Tremblaye, font souche au Chastelier au début du XVe siècle. Le plus important de leurs descendants est, sans aucun doute, Léon. Il naît au Poiré en 1582. À 12 ans il prend le parti des armes. Dès 15 ans il est l’un des sept gentilshommes les plus distingués nommés chefs de la Province. Après avoir servi sous Henri IV il obtient de lever un régiment pour le dauphin. Il servira tout aussi fidèlement et courageusement Louis XIII. Il consacre les dernières années de sa vie à rédiger ses mémoires « pour servir l’histoire ».

Son fils, René, fait effectuer la restauration de l’église Saint-Nicolas du Poiré, s’associe aux dessécheurs des marais : il achète et emprunte à ces fins.

Son seul descendant, Armand, né en 1650, Chevalier de Malte en 1677 après avoir assisté, impuissant, à la liquidation de tous ses biens. En effet, en 1694, trois ans après la mort de René, le château et les terres sont adjugées à Jean de CREIL, marquis de Creil Bournezeau. Sous la Révolution, le domaine est vendu morcelé, comme bien d’émigré.

En 1888, le château est transformé en laiterie-fromagerie. Des habitants de la commune et des villages y seront employés et la majorité des éleveurs y livre le lait de leurs vaches. Cette laiterie-fromagerie sera mise en liquidation en 1930.