В 1879 году император Александр II подарил на свадьбу своей родственнице, светлейшей княгине Евгении Максимилиановне Романовской, герцогине Лейхтенбергской (по мужу - принцессе Ольденбургской), имение в поселке Рамонь Воронежской губернии, в котором в 1883-1887 годах был построен замок из красного кирпича в староанглийском стиле.
За годы советской власти замок сильно обветшал. С 1917 года в нем располагались казарма, школа, больница, заводоуправление и т.д. В настоящее время находится на реставрации.
О замке, как и полагается, сложена масса легенд, связанных с привидениями. Одна из них гласит, что штукатурка в подвале, осыпаясь, образовала силуэт принцессы с протянутой рукой.