Вот такой красавец виден был с Неглинки с середины 17 века.
У кремлевской стены между Комендатской и Троицкой башнями находится интересное гражданское сооружение середины XVII века - так называемый Потешный дворец. Он построен в 1652 году для боярина Н.Д. Милославского - тестя царя Алексея Михайловича. Не пожалел российский самодержец денег для отца любимой супруги. И выросли у кремлевской стены трехэтажные каменные хоромы с хозяйственными пристройками, глубокими подвалами, где хранились вина и снедь, с нарядной церковью и комнатным садом. Талантливый зодчий, оставшийся неизвестным, сумел разместить на сравнительно небольшой площади все постройки боярской усадьбы. Хотя это и палатами не назовешь - настоящий сказочный терем, облик которого кажется гораздо более затейливым, нежели у хором на рисунках Васнецова и Билибина.16 лет прожил в палатах боярин Милославский.
После смерти хозяина в 1669 году дворец отошел в казну, в конце 17 века в нем проживали царевны и вдовствующие царицы, а с 1679 года их переделали под театр. Здесь устраивались различного рода "потехи" - увеселения для царской семьи. И название бывшие хоромы Милославского получили соответственное - Потешный дворец. В XIX веке к нему были пристроены новые здания: со стороны кремлевской стены - балкон на кубышкообразных столбах, с улицы - великолепный резной белокаменный портал с полуколоннами. Его перенесли сюда с разобранного крыльца дворцового фасада. Все это в значительной степени изменило вид Потешного дворца. Однако его основная часть сохранилась до наших дней. Верхний ярус дворца образует терем, или вышку, с византийскими арками. В старину здесь помещалась домовая церковь. Над трапезной церкви сохранилась башенка на четырех столбах, которая в свое время использовалась как колокольня и дозорная вышка, на плоских крышах корпусов был разбит висячий сад.
При Петре I во дворце разместили Полицейский приказ, а в 1806 году здание приспосабливается под жилье и канцелярии коменданта Москвы. Перестройка осуществляется по проекту И. В. Еготова и предусматривает превращение восточного фасада, выходящего на вновь образованную Дворцовую улицу в главный. С этой целью для симметрии пристраивается северное крыло, а фасад и интерьеры украшаются модными псевдоготическими деталями. Церковь при этом упраздняется.
В 1874-1875 годах архитектор Н. А. Шохин сделал попытку частично вернуть сооружению древний вид, но это была лишь стилизация, отражавшая представления архитектора.
Потешный дворец - это единственный сохранившийся в Кремле архитектурный памятник боярского жилья.
В настоящее время во дворце размещаются службы Комендатуры Кремля, по инициативе которой в 2000-2004 годах на памятнике проведены реставрационные работы по восстановлению первоначального завершения и отдельных фасадов церкви Похвалы Богородицы и Потешного дворца.
Об открытиях этой реставрации читайте
интересную статью в Архнадзоре. Так что царь-батюшка АМ бывал в этом дворце неоднократно:)