В Петергофе, по указу Петра I, был создан первый в России Эрмитаж. Сама идея его строительства возникла у Петра I во время путешествия по странам Европы, где он впервые увидел подобные строения.
Строительство поручили архитектору И. Браунштейну. Работы начались в 1721 году и завершились уже после смерти Петра I.
Небольшое двухэтажное здание павильона покоится на массивном подножии-стилобате и окружено глубоким, широким рвом. Ров наполнялся водой, и в первой половине XVIII века через него был перекинут разводной мост, что отрезало подступы к дворцу посторонним лицам. Легкость и воздушность фасадам придают огромные стеклянные окна-двери, благодаря которым дворец кажется прозрачным.
Для месторасположения Эрмитажа выбрали западную часть парка в Петергофе, на побережье залива. Он замыкает перспективу аллей, вытянувшихся от Большого каскада.
Название его происходит от французского слова ermitage (уединенный уголок) и характеризует назначение постройки как места интимных встреч избранного общества.
Петергофский приморский павильон послужил прототипом всех русских "эрмитажей", построенных впоследствии. В середине XVIII века по образцу петергофского Эрмитажа В. Растрелли сооружает Эрмитаж в Царском Селе, крепостной архитектор Ф. Аргунов возводит изящный садовый павильон в Кусково - имении Шереметьевых. Эти постройки отличаются от петергофского Эрмитажа еще большей пышностью и торжественностью, но особенности их устройства - подъемные столы, сплошная развеска картин - остаются прежними.
Пострадавший во время немецкой оккупации, павильон "Эрмитаж" в 1952 году стал первым музеем Петергофа, после войны открывшим свои двери для посетителей.