Хижина отшельника появилась в парке Монрепо не позже 1790 года (в семейной переписке она носила название «Уединение» нем. «Einsiedelei»). Она располагалась в западной части парка, на берегу озера. В 1798 году проектированием нового павильона на этом месте занимался Д. А. Мартинелли (возможно, к составлению проекта был причастен и российский посол в Дании и владелец имения Монрепо Пауль Николаи).
Скромная деревянная постройка павильона была выполнена из брёвен, стены были обиты берестой, украшены иллюстрациями из Библии. Крышу завершала башня с деревянным колокольчиком. Павильон не был виден издали, он появлялся перед посетителем только тогда, когда оказывался прямо перед ним.
Чаще всего хижины отшельника имели развлекательное значение. Истоки хижины отшельника возводятся к традиции средневековых «святых» пещер, служивших местом благочестивого пребывания монахов, которые со временем становились объектом паломничества верующих. Подобные постройки были весьма популярны в парках конца XVIII века. Известно, что в некоторых парках даже специально нанимали служителей, которые за скромное вознаграждение жили в таких хижинах, изображая отшельников.
Хижина сгорела около 1876 года (по другой версии - в 1886 году), изображений её не сохранилось. На месте сгоревшей хижины был построен новый павильон (под тем же названием) шестигранной формы без двери, с раскрытой одной гранью стены в сторону дорожки.
В 2012 году Хижина отшельника была воссоздана именно в этом варианте.