Инициатором строительства этого дворца выступила супруга князя Сангушко. Занимался проектом сначала придворный архитектор Паоло Фонтана, но княгиня осталась недовольна, и эскизы корректировал Якуб Фонтана, архитектор польского короля. Строительство затянулось на долгие 20 лет из-за нехватки материалов в регионе.
В этом дворце дважды останавливался польский король Станислав Август. В честь такого события гремели залпы пушек и фейерверков, устраивались пышные балы. Здесь же княгиня встречалась с секретарем лидера антироссийского восстания Тадеуша Костюшко.
В 19 веке, после смерти князя Сангушко дворец перестал быть местом проживания для княжеской семьи. Здесь проходили концерты, театральные представления, балы, спектакли. Время от времени дворец в Изяславе совершенствовали и достраивали.
В конце 19 века дворец Сангушек в Изяславе был вынуждено продан российской власти. Довольно быстро его перестроили под казармы офицеров российской армии. Мебель, картины и многие другие элементы декора перестали существовать уже в это время.
Первую мировую войну Изяславский дворец пережил без повреждений. За время существования казарм появился колодец во дворе, в пивных погребах обучались артиллеристы, на втором этаже проживали офицеры, а первый этаж занимали мастерские.
С приходом советской власти изменился только «цвет» армии, которая занимала казармы в помещениях бывшего имения в Изяславе. Во время Второй мировой войны их сильно повредила артиллерия и пожар, возникший после обстрела.
После войны зданиям не нашли применения. До 80-х они еще принадлежали военным, но после их ухода обветшали окончательно. Часть руин снесли в 90-х в рамках субботника. Сейчас руины здания все еще стоят на своем месте, второго этажа нет совсем, сохранилось немало. Масштабы его действительно впечатляют, усадьба, а затем казармы были просто огромными.