Процессом создания факультета руководили инспектор военных оркестров Рабоче-крестьянской Красной армии С. А. Чернецкий и директор Московской государственной консерватории Г. Г. Нейгауз.
Новое учебное заведение возглавил бригадный комиссар Н. О. Элинсон, а в 1938 году начальником стал бригадный интендант А. Е. Гутор.
Перед факультетом было поставлено задание обучения профессиональных боевых капельмейстеров, которые станут организовывать музыкальное дело и музыкальную самодеятельность в воинских частях.
8 февраля 1936 года первые студенты приступили к занятиям.
В курсе подготовки были и музыкальные спецдисциплины, одобренные Московской консерваторией, и дисциплины общевойсковой подготовки по программе пехотных училищ.
В 1938 году факультет был расширен: организовали очную адъюнктуру по специальностям «Дирижирование» и «Инструментовка», а позже - «Инструмент военного оркестра», «Теория и история музыки». В следующем учебном году открыли несколько спецкафедр: дирижирования, инструментовки, инструментов военного оркестра, фортепиано, теории и истории музыки.
Государственная комиссия во главе с Н. Головановым и Н. Аносовым отметила высокий уровень обучения подготовки руководителей военных оркестров. В 1936-1941 годах прошло шесть выпусков военных капельмейстеров.
После начала Великой Отечественной факультет начал подготовку военных капельмейстеров для Советской армии по ускоренной программе, тогда факультет был перевезён в Саратов. Многие выпускники принимали непосредственное участие в боевых действиях. В частности, в битве под Сталинградом погиб военный дирижёр старший лейтенант А. К. Сироха, его посмертно наградили орденом Отечественной войны I степени.
В 1944 году Военный факультет Московской государственной консерватории стал отдельным военно-музыкальным вузом, его название звучало так: Высшее училище военных капельмейстеров Красной Армии. В августе 1945 году вузу было торжественно передано Боевое знамя.
В ноябре 1946 года вуз переименовали в Высшее училище военных дирижёров Советской Армии.