Au XVIII^e siècle, les Lyrois pouvaient encore voir la butte. Il n'y avait plus de tour au sommet mais un calvaire. Les moutons pâturaient dans les fossés devenus obsolètes. Cet aspect paisible contrastait avec la situation du château quelques siècles plus tôt. En l'an 1119, c'était la guerre. Plusieurs barons s'étaient révoltés contre le duc de Normandie et roi d'Angleterre Henri I^er. Le seigneur de Breteuil Eustache faisait partie des rebelles. Pour résister aux forces ducales, il mit en défense ses forteresses : Breteuil, Glos-la-Ferrière, Pacy-sur-Eure et ... la Neuve-Lyre. Un fidèle d'Eustache, Arnaud du Bois, fut chargé de garder le château lyrois. Mais quand l'armée royale arriva dans le Pays d'Ouche, Arnaud préféra négocier puis livrer la forteresse au roi.

Le château de la Neuve-Lyre semble avoir joué un rôle militaire tout au long du XII^e siècle. Ensuite, il disparaît des sources. Il n'est même pas mentionné pendant la Guerre de Cent Ans. Était-il déjà abandonné ? Au XVIII^e siècle, nous l'avons dit, il n'avait plus rien de redoutable. Un cimetière, des jardins et des vergers s'étendaient à la place des bâtiments médiévaux. Un seul édifice subsistait : l'église. Non pas l'église saint-Gilles sur la place du bourg mais une chapelle, la chapelle du château. Elle fut totalement détruite en 1749. Son souvenir se perpétue jusqu'à nos jours par le nom d'une impasse. La ruelle saint-Nicolas doit en effet son nom au vocable de la deuxième église de la Neuve-Lyre.

Plus d'église, plus de château, le village a perdu deux importants témoins de son histoire.