Считается, что название Ярополец происходит от сочетания слов «ярое поле». Некогда здесь разводили и содержали охотничьих собак, а также сюда приезжал на охоту сам государь Алексей Михайлович. Усадьба сменила нескольких хозяев, так как передавалась в качестве приданого по женской линии сначала к роду Загряжских, затем Гончаровых. Здесь родилась Наталья Ивановна Загряжская, ставшая впоследствии тёщей Александра Пушкина. Будучи уже замужем, она с детьми любила бывать в имении, а после смерти супруга поселилась здесь насовсем. С мамой, братьями и сёстрами сюда приезжала каждое лето, начиная с одиннадцатилетнего возраста, Наталья Гончарова, муза и супруга великого поэта. Сам Пушкин бывал здесь, тёща гостеприимно принимала его. До самой Октябрьской революции дом оставался во владении наследников рода Гончаровых. В послереволюционное время усадьба была признана памятником архитектуры и достоянием народа. В качестве музея в память о величайшем русском поэте здесь была открыта Пушкинская комната. Во дворе бывшего поместья организовали школу для детворы из ближайших сёл и деревень. Однако война не пощадила это историческое место. Практически все дворовые постройки и внутреннее убранство дома были уничтожены, а главное здание фашисты превратили в сарай для коней.
Среди местных жителей ходила легенда, что под землёй, прямо под главной постройкой, есть некий ход, который идёт прямиком к сокровищам, награбленным и спрятанным оккупантами. Основные реставрационные работы велись здесь в 60-х годах прошлого века. Поместью и его окрестностям постарались придать вид, который был бы максимально близок к первоначальному. Эти исторические места можно увидеть в кинофильмах «Очарованный странник» и «Барышня-крестьянка». Сейчас здесь расположен дом отдыха