Нейросети в кино - кто кого?
Итак, в прошлый раз я остановился на том, что за пару дней до съемок «хозяйка нейросети», для которой мы в общем-то все эти съемки и затеяли, попросила их… отменить. Точнее перенести хотя бы на пару недель - ей надо провести еще какие-то тесты.
В теории я конечно смог бы всё отменить и перенести. Но это опять верстать график студии с графиком актеров и режиссера, к тому же у нас на следующий день после съемок должен был начаться уже полноценный актерский кастинг, а потом - выбор натуры. В общем всё было плотно. А главное - категорически не хотелось оттягивать саму работу с нейросетью. Поэтому я сказал «Нет» и предложил простой выход - если нейросеть что-то не «скушает» из отснятого, то потом мы просто уже это что-то конкретное переснимем. «Хозяйка нейросети» согласилась. Вроде уже ничего не мешало предстоящим съемкам…
- Толя, привет! - это был вечерний звонок от оператора за два дня до съемок.
- Привет! - бодро ответил я, полагая, что речь пойдет о нюансах съемок, оборудования и его транспортировки.
- Знаешь, я не смогу в понедельник… Я упал в начале недели с трехметровой лестницы, сотрясение, только вчера из больницы выписали, сказали 10 дней лежать. Думал к понедельнику оклемаюсь, но куда там - встать еле могу, шатает, голова кружится и бинты еще не сняли - кость одна треснула. Так что извини, без меня. Камеру могу дать, если за ней кто-то приедет.
- Ну, ничего, - бодро ответил я, по ходу дела уже найдя выход из ситуации. - Камера тогда не нужна, мне за ней в Балашиху уже некогда тащиться, справимся своими силами. Выздоравливай пока, не буду тебя больше отвлекать…
- Да, спасибо. Извини еще раз, что подвел. Надо было заранее сказать, но действительно думал, что смогу…
- Да ладно, всякое бывает. Главное что ничего особо серьезного - заживет.
- Ага, спасибо, - и оператор положил трубку.
Час от часу не легче, да? И это еще всего один съемочный день… Ладно, где наша не пропадала. Сниму сам. На свою камеру. Чего уж…
И вот настал день съемок. Взвалив на себя, точнее - в такси, всё съемочное оборудование, я минут за 20 до начала прибыл на площадку, где меня уже ждал режиссер. В белых носках. Это так положено: или в тапочках (что предпочел я), или в белых носках - чтобы не поцарапать белый фон на полу. Ибо его покраска, точнее - колеровка, стоит как правило очень дорого. Это еще один скрытый прием наживания студий на клиентах. На неопытных. Но мы опытные - мы все в белых тапочках. Ну, носках. Впрочем - не все. Актерам-то я купил черные чешки. И вот, выйдя на белый фон и проведя на нем всего минуту, они превратили пол… в черный - оказывается чешки страшно красились. Пол, к счастью, удалось отмыть, а вот подошву чешек пришлось заклеивать малярным скотчем.
После того, как все технические проблемы были решены, камера и мониторы подключены, актеры одеты, настала пора снимать…
А что, собственно, снимать? Если вы помните, то режиссер отказался заранее планировать съемочный день. И тут началась суматоха. Во-первых выяснилось, что нумерация кадров в раскадровке не совпадает с нумерацией кадров в режиссерском сценарии. А нумерация сцен в режиссерском сценарии не совпадает с нумерацией сцен в литературном. В общем чтобы разобраться и решить, что всё-таки писать на хлопушке, ушло минут 15.
Хлопушка. Поскольку оператора не было, на его месте решили писать условное название сцен. Чтобы хоть как-то потом можно было разобраться в отснятом материале.
А, учитывая, что никто не знал, сколько минут нам надо снять всего за день и что вообще надо снять, а что нейросеть и без нас сделает, хаос только усиливался. Забегая вперед скажу, что первую, самую короткую, из четырех запланированных сцен мы снимали три с половиной часа, а последнюю, чтобы хоть что-то успеть, пока нас не выгнали, - за 10 минут. Это к вопросу о том, что способ работы, когда режиссеру говорят, что лучше всё спланировать заранее, а он говорит, что сделает это на площадке, не канает даже в таких миниатюрных и простых съемках.
Следующая заминка возникла из-за предметов. Режиссер вместо положенной трости принес зонт, да еще с болтающимися лямками. Конечно, я это забраковал, представляя, что об этом «подумает» нейросеть. Поэтому от предметов решили отказаться. Точнее на всякий случай снимать два варианта - с ними и без.
Тут актер изображает ходьбу как раз с тростью
Обратите внимание на руки актера на предыдущем фото - видите, они в черных перчатках? Т.е. как и планировали. Всё шло хорошо, пока в кадре не понадобилось этими руками шевелить. И тут я заметил, что черные руки, попадая при движении на черный фон туловища, напрочь пропадают. Т.е. нейросеть в этот момент их точно потеряет. И что она нарисует вместо них, никому не ясно. К счастью, тут (спустя два часа после начала работы) появилась «хозяйка нейросети» и в ответ на мой вопрос, что делать с руками, твердо ответила - перчатки снимать! Так что на ветер пришлось выбросить несколько сотен рублей. Недотумкали…
Перчатки сброшены! (лежат на белом кубе)
Кстати интересно, что «хозяйка нейросети», увидев какая утомительная рутинная работа у нас идет (для нее же!!!), быстро откланялась, сославшись на недосуг. На прощанье сказав, «ну, Анатолий и так уже не хуже меня во всех нюансах разбирается». Ага. Комплимент, конечно, но пришлось ответить «только в отличие от вас потом с нейросетью не Анатолию работать и все косяки съемки исправлять». Впрочем, намек не возымел успеха и мы опять остались вчетвером.
Хозяйка нейросети снимает видосик для своего блога о грандиозной проделанной работе
Ну что еще вам интересного показать? Конечно, сеточка для волос пригодилась:
А вот странное сооружение - сможете понять, что это:
А это на самом деле пролетка, в которую забрался герой, и скачет по булыжной мостовой. Причем «скакал» он корпусом весьма натурально. Посмотрим, как это выйдет в анимационном варианте.
Ах да, вот еще какой нюанс. Касается не только анимации нейросетью, но и вообще всей анимации с захватом движения. Накануне съемок я посмотрел «Аватар-2». В т.ч. и для того, чтобы выявить наиболее эффектные приемы оживления персонажей. Впрочем, всё оказалось предсказуемо - интереснее всего в кадре смотрятся широкие движения героев. Если с настоящими талантливыми актерами в кадре, которые могут играть уголками губ или только глазами, скромные сдержанные движения, передающие нужные эмоции, не только допустимы, но и считаются «высшим пилотажем», то в случае с анимированными героями они должны всегда «плюсовать» - делать движения нарочитыми, заметными зрителю.
Приведу такой пример из наших съемок. У нас есть сцена с арбалетом. Герою сверху он падает в руки, тот его заряжает и стреляет в мишень. Обсуждая сцену еще задолго до съемок, я сказал режиссеру, что арбалет - это провал. Это будет неярко. Движения по его заряжанию будут непонятны зрителю, к тому же они довольно просты. Что лучше заменить стрельбу из арбалета на стрельбу из лука - там все движения (натягивание тетивы, выпуск стрелы) сразу узнаваемы и к тому же довольно широки и размашисты. Режиссер сказал «нет, хочу арбалет». Нет проблем. Я попросил собрать его несколько видеороликов со стрельбой из арбалета, чтобы послать актеру для отработки движений. На площадке этим было бы некогда заниматься. Подобрал, послал, потренировался. И вот, актер демонстрирует на репетиции все движения с арбалетом. И режиссер понимает, что это куцо и неинтересно. Непонятно вообще, что он делает. Конечно, пришлось на ходу заменять воображаемый арбалет на воображаемый лук.
Но давайте вернемся на съемочную площадку. Самой сложной я считал сцену с героем, движениями которого как марионеткой управляет гигантская рука кукловода над ним. Я говорил режиссеру, что если четко и строго ЗАРАНЕЕ не продумать все движения, то потом в кадре после совмещения двигающегося актера с управляющей им рукой, в их движениях будет полный диссонанс. Увы, и тут режиссер не послушал. Решил, что актерская импровизация на площадке (пусть даже и с заранее высланными актеру примерами для заучивания), будет лучше.
Режиссер показывает актеру нужный жест (обратите внимание на белые носочки)
Режиссер показывает актеру нужный жест
В поисках наиболее выразительных движений «куклы»
А теперь снимаем отдельно руку кукловода. Кстати, тут вам сразу станет понятно, почему пришлось снимать черные перчатки…
И еще немного теории. Нейросети живут в каком-то своем пространстве. Условно говоря - в двух с половиной мерном. 2,5D так сказать. Они совершенно не понимают поворот головы или других предметов на 90 градусов. Т.е. полностью вбок - 3D. Условно понимают и могут моделировать только поворот примерно на треть-половину от основной оси. Если вы помните, был такой рекламный ролик Сбербанка, в котором герой Куравлева из «Ивана Васильевича…» попадает в наше время. Обратите внимание, что головой он вертел как раз примерно на треть:
Неестественности сгенерированным нейросетью персонажам придают и "недоделанные" повороты головы
Тоже самое всегда происходит и с оцифрованным лицом Брюса Уиллиса в рекламе Мегафона. Почему нейросеть до сих пор не научили жить в 3D, я не знаю. Но факт остается фактом. В нашем ролике все повороты головы и корпуса актеров тоже не должны были быть полными. Впрочем, иногда мы заигрывались и забывали об этом. Посмотрим, как поймет это нейросеть…
А это просто для истории - наиболее известный пример "воскрешения" актера с помощью нейросети - Керри Фишер, умершая в 2016 году, "снялась" в фильме "Изгой-один. Звездные войны. Истории." с помощью актрисы Ингвильд Дейла.
Ладно, надоел уже? Заканчиваю. Еще пара картинок:
Режиссер объясняет актрисе, как надо правильно опасаться преследования. Обратите внимание на стиль его работы - он ПОКАЗЫВАЕТ актрисе, что ей играть, стоя к ней спиной и даже не обращая внимание смотрит она на него, или нет :-(
Тем не менее актриса вроде всё поняла…
Худо-бедно, но съемка закончилась и закончилась вовремя. Отсняли один час двадцать пять минут. Кое-что покажу в следующий раз. А заодно сравним с достижениями в этой области на мировом уровне.
В теории я конечно смог бы всё отменить и перенести. Но это опять верстать график студии с графиком актеров и режиссера, к тому же у нас на следующий день после съемок должен был начаться уже полноценный актерский кастинг, а потом - выбор натуры. В общем всё было плотно. А главное - категорически не хотелось оттягивать саму работу с нейросетью. Поэтому я сказал «Нет» и предложил простой выход - если нейросеть что-то не «скушает» из отснятого, то потом мы просто уже это что-то конкретное переснимем. «Хозяйка нейросети» согласилась. Вроде уже ничего не мешало предстоящим съемкам…
- Толя, привет! - это был вечерний звонок от оператора за два дня до съемок.
- Привет! - бодро ответил я, полагая, что речь пойдет о нюансах съемок, оборудования и его транспортировки.
- Знаешь, я не смогу в понедельник… Я упал в начале недели с трехметровой лестницы, сотрясение, только вчера из больницы выписали, сказали 10 дней лежать. Думал к понедельнику оклемаюсь, но куда там - встать еле могу, шатает, голова кружится и бинты еще не сняли - кость одна треснула. Так что извини, без меня. Камеру могу дать, если за ней кто-то приедет.
- Ну, ничего, - бодро ответил я, по ходу дела уже найдя выход из ситуации. - Камера тогда не нужна, мне за ней в Балашиху уже некогда тащиться, справимся своими силами. Выздоравливай пока, не буду тебя больше отвлекать…
- Да, спасибо. Извини еще раз, что подвел. Надо было заранее сказать, но действительно думал, что смогу…
- Да ладно, всякое бывает. Главное что ничего особо серьезного - заживет.
- Ага, спасибо, - и оператор положил трубку.
Час от часу не легче, да? И это еще всего один съемочный день… Ладно, где наша не пропадала. Сниму сам. На свою камеру. Чего уж…
И вот настал день съемок. Взвалив на себя, точнее - в такси, всё съемочное оборудование, я минут за 20 до начала прибыл на площадку, где меня уже ждал режиссер. В белых носках. Это так положено: или в тапочках (что предпочел я), или в белых носках - чтобы не поцарапать белый фон на полу. Ибо его покраска, точнее - колеровка, стоит как правило очень дорого. Это еще один скрытый прием наживания студий на клиентах. На неопытных. Но мы опытные - мы все в белых тапочках. Ну, носках. Впрочем - не все. Актерам-то я купил черные чешки. И вот, выйдя на белый фон и проведя на нем всего минуту, они превратили пол… в черный - оказывается чешки страшно красились. Пол, к счастью, удалось отмыть, а вот подошву чешек пришлось заклеивать малярным скотчем.
После того, как все технические проблемы были решены, камера и мониторы подключены, актеры одеты, настала пора снимать…
А что, собственно, снимать? Если вы помните, то режиссер отказался заранее планировать съемочный день. И тут началась суматоха. Во-первых выяснилось, что нумерация кадров в раскадровке не совпадает с нумерацией кадров в режиссерском сценарии. А нумерация сцен в режиссерском сценарии не совпадает с нумерацией сцен в литературном. В общем чтобы разобраться и решить, что всё-таки писать на хлопушке, ушло минут 15.
Хлопушка. Поскольку оператора не было, на его месте решили писать условное название сцен. Чтобы хоть как-то потом можно было разобраться в отснятом материале.
А, учитывая, что никто не знал, сколько минут нам надо снять всего за день и что вообще надо снять, а что нейросеть и без нас сделает, хаос только усиливался. Забегая вперед скажу, что первую, самую короткую, из четырех запланированных сцен мы снимали три с половиной часа, а последнюю, чтобы хоть что-то успеть, пока нас не выгнали, - за 10 минут. Это к вопросу о том, что способ работы, когда режиссеру говорят, что лучше всё спланировать заранее, а он говорит, что сделает это на площадке, не канает даже в таких миниатюрных и простых съемках.
Следующая заминка возникла из-за предметов. Режиссер вместо положенной трости принес зонт, да еще с болтающимися лямками. Конечно, я это забраковал, представляя, что об этом «подумает» нейросеть. Поэтому от предметов решили отказаться. Точнее на всякий случай снимать два варианта - с ними и без.
Тут актер изображает ходьбу как раз с тростью
Обратите внимание на руки актера на предыдущем фото - видите, они в черных перчатках? Т.е. как и планировали. Всё шло хорошо, пока в кадре не понадобилось этими руками шевелить. И тут я заметил, что черные руки, попадая при движении на черный фон туловища, напрочь пропадают. Т.е. нейросеть в этот момент их точно потеряет. И что она нарисует вместо них, никому не ясно. К счастью, тут (спустя два часа после начала работы) появилась «хозяйка нейросети» и в ответ на мой вопрос, что делать с руками, твердо ответила - перчатки снимать! Так что на ветер пришлось выбросить несколько сотен рублей. Недотумкали…
Перчатки сброшены! (лежат на белом кубе)
Кстати интересно, что «хозяйка нейросети», увидев какая утомительная рутинная работа у нас идет (для нее же!!!), быстро откланялась, сославшись на недосуг. На прощанье сказав, «ну, Анатолий и так уже не хуже меня во всех нюансах разбирается». Ага. Комплимент, конечно, но пришлось ответить «только в отличие от вас потом с нейросетью не Анатолию работать и все косяки съемки исправлять». Впрочем, намек не возымел успеха и мы опять остались вчетвером.
Хозяйка нейросети снимает видосик для своего блога о грандиозной проделанной работе
Ну что еще вам интересного показать? Конечно, сеточка для волос пригодилась:
А вот странное сооружение - сможете понять, что это:
А это на самом деле пролетка, в которую забрался герой, и скачет по булыжной мостовой. Причем «скакал» он корпусом весьма натурально. Посмотрим, как это выйдет в анимационном варианте.
Ах да, вот еще какой нюанс. Касается не только анимации нейросетью, но и вообще всей анимации с захватом движения. Накануне съемок я посмотрел «Аватар-2». В т.ч. и для того, чтобы выявить наиболее эффектные приемы оживления персонажей. Впрочем, всё оказалось предсказуемо - интереснее всего в кадре смотрятся широкие движения героев. Если с настоящими талантливыми актерами в кадре, которые могут играть уголками губ или только глазами, скромные сдержанные движения, передающие нужные эмоции, не только допустимы, но и считаются «высшим пилотажем», то в случае с анимированными героями они должны всегда «плюсовать» - делать движения нарочитыми, заметными зрителю.
Приведу такой пример из наших съемок. У нас есть сцена с арбалетом. Герою сверху он падает в руки, тот его заряжает и стреляет в мишень. Обсуждая сцену еще задолго до съемок, я сказал режиссеру, что арбалет - это провал. Это будет неярко. Движения по его заряжанию будут непонятны зрителю, к тому же они довольно просты. Что лучше заменить стрельбу из арбалета на стрельбу из лука - там все движения (натягивание тетивы, выпуск стрелы) сразу узнаваемы и к тому же довольно широки и размашисты. Режиссер сказал «нет, хочу арбалет». Нет проблем. Я попросил собрать его несколько видеороликов со стрельбой из арбалета, чтобы послать актеру для отработки движений. На площадке этим было бы некогда заниматься. Подобрал, послал, потренировался. И вот, актер демонстрирует на репетиции все движения с арбалетом. И режиссер понимает, что это куцо и неинтересно. Непонятно вообще, что он делает. Конечно, пришлось на ходу заменять воображаемый арбалет на воображаемый лук.
Но давайте вернемся на съемочную площадку. Самой сложной я считал сцену с героем, движениями которого как марионеткой управляет гигантская рука кукловода над ним. Я говорил режиссеру, что если четко и строго ЗАРАНЕЕ не продумать все движения, то потом в кадре после совмещения двигающегося актера с управляющей им рукой, в их движениях будет полный диссонанс. Увы, и тут режиссер не послушал. Решил, что актерская импровизация на площадке (пусть даже и с заранее высланными актеру примерами для заучивания), будет лучше.
Режиссер показывает актеру нужный жест (обратите внимание на белые носочки)
Режиссер показывает актеру нужный жест
В поисках наиболее выразительных движений «куклы»
А теперь снимаем отдельно руку кукловода. Кстати, тут вам сразу станет понятно, почему пришлось снимать черные перчатки…
И еще немного теории. Нейросети живут в каком-то своем пространстве. Условно говоря - в двух с половиной мерном. 2,5D так сказать. Они совершенно не понимают поворот головы или других предметов на 90 градусов. Т.е. полностью вбок - 3D. Условно понимают и могут моделировать только поворот примерно на треть-половину от основной оси. Если вы помните, был такой рекламный ролик Сбербанка, в котором герой Куравлева из «Ивана Васильевича…» попадает в наше время. Обратите внимание, что головой он вертел как раз примерно на треть:
Неестественности сгенерированным нейросетью персонажам придают и "недоделанные" повороты головы
Тоже самое всегда происходит и с оцифрованным лицом Брюса Уиллиса в рекламе Мегафона. Почему нейросеть до сих пор не научили жить в 3D, я не знаю. Но факт остается фактом. В нашем ролике все повороты головы и корпуса актеров тоже не должны были быть полными. Впрочем, иногда мы заигрывались и забывали об этом. Посмотрим, как поймет это нейросеть…
А это просто для истории - наиболее известный пример "воскрешения" актера с помощью нейросети - Керри Фишер, умершая в 2016 году, "снялась" в фильме "Изгой-один. Звездные войны. Истории." с помощью актрисы Ингвильд Дейла.
Ладно, надоел уже? Заканчиваю. Еще пара картинок:
Режиссер объясняет актрисе, как надо правильно опасаться преследования. Обратите внимание на стиль его работы - он ПОКАЗЫВАЕТ актрисе, что ей играть, стоя к ней спиной и даже не обращая внимание смотрит она на него, или нет :-(
Тем не менее актриса вроде всё поняла…
Худо-бедно, но съемка закончилась и закончилась вовремя. Отсняли один час двадцать пять минут. Кое-что покажу в следующий раз. А заодно сравним с достижениями в этой области на мировом уровне.