Судьба Королевского дворца в Буде красноречиво свидетельствует о непростой истории венгерского государства. Замок существовал на этом месте еще в XIII веке, его построил король Бела IV (1206-1270), мечтавший возродить земли после их опустошения татаро-монголами в 1240-1241. В XIV веке Буда стала центром Венгерского королевства, а замок обрел черты резиденции. Сигиз-мунд I (1368-1437) поручил отделку лучшим европейским мастерам. Поистине роскошным дворец стал во время правления короля Матиаша I Корвина (1440-1490). Для его внешнего и внутреннего убранства были приглашены итальянские архитекторы, превратившие здание в настоящую жемчужину ренессансного зодчества, а Буду - в один из прекраснейших европейских центров.
В 1526 в город вошли турки и надолго обосновались во дворце. Иго продолжалось в течение полутора веков, и, когда в конце XVII столетия австрийские войска выгнали завоевателей, замок оказался почти полностью разрушенным в результате пожара и осады города. Во второй половине XVIII века на его месте вырос новый, возведенный по приказу короля Венгрии и Чехии и императора Священной Римской империи Карла VI (1685-1740) и завершенный при Марии-Терезии (1717-1780), его преемнице. Здание построено в стиле господствовавшего в то время барокко по проекту придворного архитектора Австрийской империи Иоганна фон Эрлаха. Этому архитектурному шедевру тоже не повезло, он сгорел во время взятия Буды в ходе войны за независимость Венгрии от Австрийской империи в 1848-1849.
В 1890-1905 Королевский дворец был заново отстроен архитекторами М. Иблом и А. Гаусманом. Проект позволил сохранить барочные и готические элементы. Здание, официальное открытие которого состоялось в 1912, стало считаться вершиной новой венгерской архитектуры.
Но Вторая мировая война не пощадила и этот дворец: в 1945 он сильно пострадал при изгнании фашистов из Будапешта. В ходе послевоенных археологических исследований были обнаружены элементы средневековых сооружений и проведена их реконструкция. Реставрационные работы завершились только во второй половине 1960-х. В 1975 здесь разместились обширное собрание Венгерской национальной галереи, а также Музей истории Будапешта и Национальная библиотека имени графа Ференци Сечени.
Экспозиция Галереи занимает несколько этажей Будайского дворца. Цокольный принадлежит искусству Средних веков и эпохи Возрождения. В 1979 на нем была открыта постоянная выставка «Живопись и деревянная скульптура Средних веков», а в 1985 - экспозиция «Средневековая и ренессансная резьба по камню». Также здесь находится крипта (усыпальница) Габсбургов, ставшая доступной для посещения публики в 1989.
Галерея средневекового готического искусства продолжается на первом этаже дворца, где с 1982 в бывшем тронном зале открыта постоянная выставка «Позднеготические створчатые алтари». Здесь также размещаются художественные произведения позднего Возрождения и Нового времени XVII-XIX веков.
Второй этаж отведен под экспозицию изобразительного искусства XX столетия, до 1945. Художественные произведения, созданные после указанной даты, располагаются на третьем этаже Королевского дворца.
В 2005 выставочное пространство Галереи расширилось благодаря использованию под временные выставки четвертого крыла здания.