Al in de 17e eeuw

​

In 1679 bestond er vrijwel op de huidige plaats van het kasteel de Astopwoning of Kleyn Haesbroek, eigendom van juffrouw Gallij de Brais. De boerderij lag waarschijnlijk iets ten westen van de huidige plaats van het kasteel, op de westelijke strandwal aan de huidige stoeplaan. Een stoep was een uit de middeleeuwen daterende dam die in een drassig moerasgebied twee strandwallen met elkaar verbond. Al in de 17e eeuw werd dit de stoepwoning genoemd. Andere straten die de strandwallen doorsneden waren de evenwijdig gelegen Lange Kerkdam en de Rust en Vreugdlaan.



In 1764 kwam de boerderij in handen van Gerard Hoijer en Paulus Hoijer van Brakel. Zij hebben de buitenplaats uitgebreid met het herenhuis Snippenstein. In 1786 kocht Joan de Lange van Wijngaarden, een vermogende telg uit een aanzienlijk Gouds geslacht het landgoed, 76 ha. groot, dat inmiddels was omgedoopt tot Hoogwoude. De lange van Wijngaarden, die het landgoed gebruikte als zomerverblijf, kocht tevens het schuin aan de overzijde van de Zijlwetering gelegen boerderij Out Wassenaar. Deze boerderij had veel omringende grond. De boerderij bestaat nog steeds en is gelegen aan de Van der Oudermeulenlaan 13. In 1806 kreeg de buitenplaats de naam het huys te Oud Wassenaer. In 1820 stierf de Lange van Wijngaarden op 68-jarige leeftijd en ging het landgoed over naar zijn zoon. Na zijn dood in 1845 werd het landgoed aangekocht door de historicus en staatsman Guillaume Groen van Prinsterer. Groen van Prinsterer woonde elke zomer van 1845 tot 1871 op Oud Wassenaer en richtte zich hier ver van de buitenwereld aan zijn historische studies.