Les premières références au domaine de Rouville datent du XIII^e siècle, où il était la propriété de la famille Gougeul. Ce fief permettait à ses propriétaires de revendiquer l’appellation de "seigneur de Rouville". Le château devait déjà être bâti en pierre, noble élément de construction, et entouré de remparts et de fossés.   

 Les possessions de ce fief étaient importantes et lucratives, entre les droits perçus sur l’amarrage des bateaux en face de Pont-de-l’Arche mais aussi sur les passagers du bac des Damps, mais encore sur les nombreuses propriétés mises en valeur par la culture. Ainsi, les seigneurs de Rouville prirent de l’importance dans la noblesse : Pierre Gougeul fut capitaine du château de Pont-de-l’Arche (Limaie) à la fin du XIV^e siècle : Louis Gougeul fut conseiller et chambellan du roi, Grand maître des Eaux et Forêts de Normandie et lieutenant général du roi du Gouvernement de Normandie…  

 Puis le fief changea de mains, en 1684, où les héritiers Gougeul étaient dépossédés au profit du Président du Parlement de Normandie, Gilles Hallé[1]. Ces riches propriétaires donnèrent au château les apparences d’une demeure de style Renaissance (première moitié du XVII^e siècle), laissant ainsi tomber en désuétude les remparts et autres fortifications. Dès lors, ce sont les parcs et les écuries qui furent mis en avant et qui furent l’objet, par conséquent, des plus grands aménagements.   

 Mais, à partir de la fin du XVIII^e siècle, le château de Rouville a connu une perte d’importance notable, ce que prouvent ses murs tombant plus ou moins en ruine. Ce n’est qu’en 1882 qu’un propriétaire commença à rénover la demeure, à peu près telle que nous la connaissons aujourd’hui (un incendie en 1949 en changea quelque peu son aspect et l’ancien portail en fer forgé fut volé au XX^e siècle malgré son imposante taille). Cet édifice, appartenant aujourd’hui à l’entreprise m-real, n’est pas protégé par les Monuments historiques[2] mais est néanmoins entretenu.