Дубовый кремль в Серпухове был выстроен в 1374 году. Он был расположен на высоком мысу при слиянии речки Серпейки с Нарой, недалеко от Оки, которую русские люди издревле называли поясом Богородицы. После 1507 года, когда Крымское ханство становится постоянным и непримиримым врагом Руси, на берегах Оки Василий III создает мощную линию обороны, опирающуюся на окские города-крепости. Центром этой оборонительной системы был Серпухов, стоящий на кратчайшей дороге из Москвы в Тулу.
Белокаменный кремль появился в 1556 году попечением Ивана Грозного. Возведением каменного Серпуховского кремля, однако, укрепление города не закончилось. Одновременно с ним был построен деревянный острог для защиты собственно посада с городским торгом.
В Смутное время охраняемый городом-крепостью стратегический рубеж стал рубежом смуты и мятежа, отделившим бурлящие, охваченные восстанием южные районы России. Окруженный многочисленными сторонниками, самозванец принимал в Серпухове московских бояр, в открытые жителями города ворота неприступной белокаменной крепости вступали отряды Болотникова, воеводы царя Василия Шуйского проводили смотр собравшейся в Серпуховском походе военной силы. В 1609 году Серпухов штурмуют поляки под предводительством пана Млоцкого; они сожгут посад, но так и не смогут взять кремль. Попытается захватить город в 1618 году и гетман Сагайдачный, но дальше посада прорваться ему тоже не удастся.
Последний раз по своему прямому назначению Серпуховской кремль использовался в 1633 году, когда жители города укрывались от крымско-татарских войск, грабивших левобережные уезды по Оке.
К концу XVII века Серпухов окончательно теряет своё военное значение. В 1767 году было принято решение «о разрытии городового вала» и разборке оставшихся деревянных стен. Вероятно, для этих работ и был составлен первый масштабный план всех оборонительных сооружений города, хранящийся в Военно-историческом архиве. Этот документ служит пока единственным источником сведений об устройстве белокаменных укреплений русского города-крепости.
В 1852-53 годах Серпуховский кремль как признанный «памятник древности» был укреплен и фрагментарно реставрирован.
В 1888 г. Археологическое общество добилось ассигнования денежных средств на дальнейшую реставрацию. Кремль, наряду с Высоцким монастырем, основанным еще прп. Сергием Радонежским и венчающим соседнюю с кремлевской возвышенность, открывается проплывающим по Оке путешественникам как дивная панорама великолепных ансамблей древнерусской архитектуры, одна из главных жемчужин поймы Оки и памятник славных исторических событий
Зимой 1934 года Серпуховской кремль был разобран на материал для строительства Московского метрополитена. Это было сделано по распоряжению Лазаря Кагановича, согласно которому для строительных работ требовался именно бутовый камень. Поскольку строительство Московского метро было политической акцией, делать всё было необходимо крайне быстро, и камень решили взять из самого доступного и ближайшего места - из Серпухова. Для этого Серпуховский кремль был разобран примерно в течение года. На кремлёвском холме остались лишь два крохотных фрагмента стен.
После этого груз был отправлен в Москву. Однако, в конечном итоге, камень был забракован, и достался не московским стройкам, а другим городам, а в большом количестве и вовсе был разбит на щебень.