Решение о проведении референдума было принято на IV Съезде народных депутатов СССР, когда 1665 делегатов из 1816 присутствующих проголосовали за сохранение Союза ССР. 24 декабря 1990 года Съезд принял
Постановление "О проведении референдума СССР по вопросу о Союзе Советских Социалистических Республик".
Во исполнение решения IV Съезда народных депутатов СССР и в соответствии с законодательством о референдуме СССР, исходя из того, что никто, кроме самого народа, не может взять на себя историческую ответственность за судьбу Союза ССР, Верховный Совет СССР 16 января 1991 года принял Постановление "
Об организации и мерах по обеспечению проведения референдума СССР по вопросу о сохранении Союза Советских Социалистических Республик".
Перед гражданами Советского Союза был поставлен вопрос: "Считаете ли Вы необходимым сохранение Союза Советских Социалистических Республик как обновленной федерации равноправных суверенных республик, в которой будут в полной мере гарантироваться права и свободы человека любой национальности?".
Референдум по этому вопросу проводился в РСФСР, Украинской ССР, Белорусской ССР, Узбекской ССР, Азербайджанской ССР, Киргизской ССР, Таджикской ССР, Туркменской ССР, в республиках, входящих в состав РСФСР, Узбекской ССР и Азербайджанской ССР, в Абхазской АССР, входящей в состав Грузинской ССР, а также в округах и на участках, образованных при советских учреждениях и в воинских частях за границей.
В Казахской ССР голосование на референдуме СССР проводилось по вопросу, сформулированному Верховным Советом республики: "Считаете ли вы необходимым сохранение Союза ССР как Союза равноправных суверенных государств". При этом Президиум Верховного Совета Казахской ССР официально просил включить результаты голосования в общие итоги референдума СССР.
В шести союзных республиках (Литва, Эстония, Латвия, Грузия, Молдавия, Армения), которые ранее объявили о независимости или о переходе к независимости,
всесоюзный референдумфактически не проводился. Властями этих республик не были сформированы Центральные избирательные комиссии референдума, но часть граждан, проживающих на территории этих республик, все же смогла проголосовать. Ряд местных Советов народных депутатов, трудовые коллективы и общественные объединения на предприятиях, в учреждениях и организациях, а также командование воинских частей, руководствуясь пунктами 3 и 5 постановления Верховного Совета СССР "О ходе выполнения постановления Верховного Совета СССР об организации и мерах по обеспечению проведения референдума СССР 17 марта 1991 года", самостоятельно образовали округа и участки, окружные и участковые комиссии, зарегистрированные Центральной комиссией референдума СССР. Референдум также состоялся в Абхазии, Южной Осетии, Приднестровье и Гагаузии.
Центральная комиссия референдума СССР установила, что абсолютное большинство граждан высказались за сохранение союзного государства в обновленном виде.
По данным комиссии по Союзу ССР в целом: в списки граждан, имеющих право участвовать в референдуме СССР, было включено 185 647 355 человек; приняли участие в голосовании 148 574 606 человек, или 80% процентов. Из них ответили: "Да" 113 512 812 человек, или 76,4%; "Нет" - 32 303 977 человек, или 21,7%; Признаны недействительными - 2 757 817 бюллетеней, или 1,9 %.
В РСФСР в списки для голосования были включены 105 643 364 человек; приняли участие в голосовании 79 701 169 (75,44%). Из них ответили "Да" 56 860 783 (71,34% участвовавших, 53,82% избирателей), "Нет" - 21 030 753 (26,39%). Признаны недействительными 1 809 633 бюллетеней.
В Украинской ССР "Да" ответили 70,2%; в Белорусской ССР - 82,7%; в Узбекской ССР - 93,7%; в Казахской ССР - 94,1%; в Азербайджанской ССР - 93,3%; в Киргизской ССР - 94,6%; в Таджикской ССР - 96,2%; в Туркменской ССР - 97,9%.
В Литве, где референдум проводился только на участках в воинских частях и на предприятиях, за "обновленный Союз" высказались около 16% жителей республики, имеющих право голоса. В Латвии, где общесоюзный референдум официально не проводился, на избирательных участках, организованных на предприятиях и в воинских частях, примерно 21% от общего числа жителей Латвии, имеющих право голоса, высказались за "обновленный Союз". Положительно ответили на этот вопрос 21,3% жителей Эстонии, имеющих право голоса.
В Молдавии, где по решению парламента референдум не проводился, за Союз проголосовали около 21 % избирателей на участках, организованных на предприятиях и в воинских частях. (Коммерсантъ weekly, Москва, 25.03.1991.)
Абхазия и Южная Осетия, принявшие участие во Всесоюзном референдуме,
проголосовали за сохранение СССР. Согласно сообщению Центральной комиссии референдума, в частности, в Абхазской АССР в голосовании приняли участие 52,3% числа граждан, включенных в списки для голосования, из которых 98,6% ответили "да".
Однако в дальнейшем воля граждан была проигнорирована рядом политических деятелей и Союз прекратил свое существование в результате подписанных 8 декабря 1991 года Беловежских соглашений.