Die Landschaft an den Ufern der Themse bezauberte im 18. Jahrhundert viele Reiche und Gebildete. Für sie mag es der perfekte Gegenentwurf zum turbulenten London gewesen sein. Bald entstanden Villen und Gärten, die dem Landstrich bald den Ruf, ein Frascati von England zu sein, einbrachten.
Richmond an der Themse besaß als königlicher Wohnsitz bereits eine Jahrhunderte alte Tradition bevor dort die Sommerresidenz der gartenbegeisterten Königin Caroline entstand. Schon im Mittelalter existierte ein Palast und im nachfolgenden legendären Richmond Palace empfing König Heinrich VIII. hochrangige Gäste, hielt Turniere ab und gab rauschende Feste. Königin Elisabeth verstarb in diesem Tudor-Palast, der anschließend zum Wohnort der Söhne ihres Nachfolgers Jakob I. wurde. Nach der Hinrichtung von Karl I. und der Abschaffung der Monarchie verkaufte das Parlament den Gebäudekomplex, der letztlich bis auf ein Torhaus abgebrochen wurde.
Indem sich der Prinz von Wales, der spätere König Georg II., hier niederließ, steigerte sich dessen Attraktivität umso mehr. Richmond wurde fashionable. Bis auf das Jahr 1721 als die Geburt eines Sohnes in Leicester Square den Besuch auf den August verschob, verbrachten der Prinz und seine Frau Caroline von 1718 bis 1727 jeden Sommer in Richmond Lodge.