Partie principale de la citadelle d'Etoile, le château appartenait vraisemblablement aux évêques de Valence, puis fut cédé aux Poitiers. Ce château se composait d'un premier donjon pentagonal que vous pouvez retrouver sur le plan du parc municipal.

"Aucun des possesseurs de la cité, sauf peut être Aimar IV de Poitiers, ne semble avoir habité le château constamment. Les comtes de Valentinois lui préfèrent Grâne ou Marsanne. Une description de 1394 nous apprend qu'à l'entrée se trouve une tour, le château constitue une habitation très agréable, assez vaste pour héberger les hôtes de marque à leur passage. Une tradition veut que Diane de Poitiers y soit née, mais elle naquit sans doute au château de Saint Vallier. Elle a néanmoins, sans conteste, fréquenté Etoile. Les guerres religieuses qui troublaient sans cèsse la région avaient déjà ébranlé l'édifice et dès le début du XVII siècle, l'ensemble n'est plus que ruines difformes, le château de surcroît démantelé, semble-t-il sur ordre de Richelieu, comme bien d'autres places fortes avoisinantes."