Вильнюсский замок впервые упомянут в 1323 году в договоре Гедиминаса с городом Ригой. Тогда Верхний замок был еще деревянным. Точная дата постройки каменного замка неизвестна. Верхний замок был возведен для защиты от крестоносцев. В те времена на горе Гедиминаса деревья еще не росли, там протекали источники питьевой воды.
В XIV веке крестоносцы подступили к столице Литвы и атаковали ее 8 раз, последний из которых был в 1402 году. Крестоносцам ни разу не удалось занять Вильнюсский замок, хотя им помогали и английские, и французские, и итальянские, и фламандские рыцари. В начале XV века Верхний замок был перестроен Витаутасом Великим. Иноземного войска Вильнюс не видел у своих стен на протяжении целых 250 лет.
В середине XVII века во время войны с Москвой Верхний замок был частично разрушен и надолго брошен на произвол судьбы. Сейчас часть замка отреставрирована. Лучше всего сохранилась западная башня, чаще всего называемая башней Гедиминаса. Она ремонтировалась в XIX веке, поскольку в ней действовала станция оптического телеграфа, а телеграф соединял Петербург, Вильнюс и Варшаву. Во второй половине XX века башня была отреставрирована.
В наши дни в ней действует музей. Башня Гедиминаса является символом города Вильнюса. К Верхнему замку и башне Гедиминаса можно подняться пешком по дороге из парка Серейкишкю или на фуникулере из внутреннего двора Национального музея.