Установить [почти] любое разрешение монитора гостевой системы
$ VBoxManage controlvm name|UUID setvideomodehint WIDTH HEIGHT BPP [monitor]
После этого либо идём в настройки видеорежимов гостевой операционной системы и выставляем вновь добавленное разрешение, либо просто перезагружаем гостя.
Естественно, расширения гостевой операционной системы (конкретно видеодрайвер) должны быть установлены.