Нейросети в кино - помощь неумехе
Итак, после похода на Союзмультфильм и общего осмысления чем можно помочь неумехе (а именно ими на сегодня являются все нейросети, если отбросить маркетинговую шелуху), я попросил режиссера вычленить из сценария ту часть, которую необходимо снять. Режиссер пообещал, но потом сказал, что ему будет удобнее, если этого не делать, что на площадке, разумеется, вызвало проблемы…
Поскольку мы уже определились, что нет ничего лучше, чем скормить нейросети черное на белом, я начал искать белое. Начал со студии, в которой уже снимал. Но, оказалось она закрылась. Поэтому я просто набрал в Яндексе «Белая циклорама» (так называется помещение со скругленными углами, которое в кадре смотрится единым бесшовным фоном), а заодно прошерстил с таким же запросом Авито. Оказалось, что в Москве полно подобных циклорам - они очень востребованы у фотографов. Поэтому надо было выработать какие-то критерии, что нам подойдет. Циклорамы отличались друг от друга размерами (площадью), наличием вспомогательных элементов (кубы, столы, стулья, разумеется - белые) и возможностью арендовать съемочное оборудование. Последнее нам было не нужно, у нас всё было свое. А вот чего не было, так это необходимости подсвечивать актеров (они наоборот должны были быть в тени - чем чернее тем лучше). Поэтому свет нам был не нужен, точнее достаточно было общего света на сам белый фон. По предметам предварительно возникли разногласия (о них ниже), осталось разобраться с площадью. Ну, все циклорамы площадью 6 кв. метров (т.е. 3х2 метра) и меньше я отбросил сразу, т.к. поместить в них несколько актеров, да еще так, чтобы они там могли свободно прыгать, бегать, танцевать (что требовалось по сценарию), невозможно и поэтому выбор резко сократился. Осталось всего несколько претендентов - огромная циклорама, средняя и несколько поменьше. Отбросив огромную (зачем лишние деньги тратить, она же разумеется дороже), надо было выбрать из остатка. Изучив их сайты, я решил не работать с откровенными жлобами, у которых цены изначально заявлены ниже, но зато надо было оплачивать присутствие каждого человека отдельно, а некоторые даже стулья умудрялись предлагать по 100 рублей то ли в час, то ли в смену, и вообще оплачивать каждую «бандуру». Круг еще более сузился, остались циклорамы примерно одинаковой площади и стоимости (в районе 2 тысяч в час). Как вы думаете, какой критерий для отсева я избрал следующим? Близость к метро. Причем к метро, которое еще и поближе ко мне :-)
Победила циклорама «Белая студия» от Киногорода. Я съездил в нее, убедился, что всё необходимое там есть, и назначил дату съемок на середину апреля.
Собственно больше тут ничего и не нужно
С актерами оказалось не так просто. Сначала «хозяйка нейросети» выразила пожелание, что если в кадре должно быть пять персонажей, то и актеров надо тоже пять - снимать всех одновременно. Я выразил сомнение, что такую толпу и каждого его участника нейросеть сможет распознать корректно и не запутается в персонажах, а то и вовсе не решит, что это один такой десятиногий десятирукий пятиголов, который при необходимости умеет распадаться на части, а потом воссоединяться. «Хозяйка нейросети» сказала «логично» и попросила паузу, чтобы посоветоваться и по возможности что-то протестировать. Через некоторое время был получен ответ - снимать надо СТРОГО ПО ОДНОМУ актеру, даже если они в кадре взаимодействуют между собой. Тогда нейросети можно будет всех скармливать и выводить обратно отдельными слоями и она ничего не перепутает.
Стало быть отпала необходимость в приглашении толпы для съемок. Встал следующий вопрос - а обязательно ли женщин изображать женщине, а мужчин - мужчине. Ведь речь идет только о «захвате движений». Опять решили взять паузу. Первым ответил режиссер - посчитал, что всё-таки женщин надо играть женщине, мужчин - мужчине, поскольку мы затеяли съемки исключительно для передачи нейросети тонкостей пластики движений, а если мужчина будет играть женщину или наоборот, то это будет грубо и примитивно. Вскоре и «хозяйка нейросети» подтвердила половую сегрегацию, но уже из-за особенностей не пластики, а самих фигур - слишком уж женская отличается от мужской, особенно в обтягивающих костюмах. Почему в обтягивающих? Ну, чтобы была возможность менять платья и сюртуки как перчатки на стадии оживления уже анимационных персонажей. Кстати, тут же возник вопрос собственно с перчатками - нужны ли они актерам, ведь если они будут во всем черном, а руки и лица - белые, то не запутает ли это нейросеть? Решили на всякий случай купить перчатки и определить уже на месте. А вот вопрос, нужно ли красить лица актеров в черный цвет, вызвал… скандал. «Хозяйка нейросети» ответила, что ни в коем случае, иначе не будет видна мимика актеров. Тут я напомнил, что ни о какой съемке мимики речи не идет, тем более что она («хозяйка») изначально говорила, что всю необходимую мимику и, собственно, лица, нейросеть нарисует сама. К тому же и при обсуждении на Союзмультфильме она («хозяйка») сказала, что мимику снимать не надо. А тут, видимо, решив, что нахаляву получит возможность не делать всё это вручную, поручить эту, одну из самых трудозатратных задач, нам. А нам и так надо было за 8 часов снять… А вот сколько снять - непонятно, поскольку, как вы помните, режиссер отказался это определять. Но всё равно минут 5-7 полезного метража - точно.
В общем по итогам обсуждения решили, что моя изначальная идея снимать профессиональных актеров пантомимы избыточна (да и стоят они по 25 тысяч в смену как выяснилось), что вполне хватит двух - мужского и женского пола, и требований к ним немного - они должны быть примерно одного роста и владеть основами сценического движения. Т.е. достаточно взять студента и студентку актерского ВУЗа, которых быстро и нашла наша ассистент по актерам по 5 тысяч в смену за штуку.
Но и тут не обошлось без нюанса - по аватаркам студентов в ватсапе выяснилось, что у обоих длинные волосы. Поскольку неизвестно, как они смогут затянуть их в пучок (развевающиеся волосы беда не только хромакея, как вы догадались), решили купить им сеточки для волос. Разумеется черного цвета.
Как только я определил дату съемки, я попросил «хозяйку нейросети» прислать за две недели до этой даты, техническое задание - т.е. как и что именно снимать. Движения - это понятно. Но конкретнее? Всё на общем плане? Или руки отдельно, если они отдельно потом должны быть в кадре? Нужны ли предметы? Или будут мешать и путать нейросеть? Никто же не знает, поскольку опыта такого еще ни у кого в мире не было…
И вот тот день настал. ТЗ нет.
- В чем дело? - спрашиваю у «хозяйки нейросети».
- Мы пока не готовы ничего сказать - тестируем разные варианты и разные нейросети, - был ответ. - Постараемся сформулировать через неделю.
Однако… Тестируют, но НЕ ПОЛУЧАЕТСЯ? Почему это нельзя было сделать ЗАРАНЕЕ? Ладно, вариантов нет, придется ждать.
Через неделю, даже позже, т.е. всего за несколько дней до съемок, получаю вот такой список (даю уже со своими примечаниями курсивом):
- ровный белый фон без артефактов и пятен - нет проблем, всё проверено
- темный костюм - разумеется
- если по сценарию мужчина, то актер мужчина и наоборот - уже обсудили
- движения не должны быть резкими и нарочитыми (иначе у нейронки получится вообще кошмарный вариант) - это к режиссеру
- все, что есть в сценарии, должно быть снято - вот еще! Снято должно быть только то, о чем говорили - КОНКРЕТНЫЕ движения персонажей, которые необходимы по сюжету. А не вообще все движения всех анимационных персонажей.
- каждое движение в трех вариантах - нам это понятно, но поясню вам - чем больше вариантов, тем нейросеть легче обучить, плюс у нас самих должны быть варианты на выбор одного и того же движения - уже для гладкости монтажа и общей стилистики
- в кадре должен быть один персонаж, иначе диффузия начинает чудить и появляются артефакты - ну, про это я уже выше написал
- возможно, завтра вечером появятся ещё нюансы, потому что завтра закончится тест ещё двух моделей - что, опять? До этого все тесты впустую что ли?
- желательно еще снять предметы, которые есть в сценарии - ха-ха, я поэтому и просил прислать ТЗ за две недели до съемок, а не за несколько дней, чтобы найти весь этот предметный мир (в который кроме многочисленного исторического реквизита попадает даже живой верблюд).
В общем тут я послал «хозяйку», сказал, что завтра поеду в этот павильон и посмотрю что есть там, только напишите список нужных предметов.
Список я так и не получил от нее. Зато получил список от режиссера, причем за пару дней до съемки. Вот он:
Часть занавеса, которую сдвигают Арлекин и Пьеро (большая материя)
Тюрбан (полотенце для «чалмы») - для сцены с верблюдом
Шляпа (для мужского приветствия)
Цветы (большой букет)
Бокал/фужер/высокий стакан (что есть, чтобы актёр элегантно «выпил»)
Трость (может быть любая длинная палка)
Зонтик дамский (чем меньше, тем лучше, - детский?)
Сумочка женская
Опахало (может, его заменит теннисная ракетка?)
Гусиное перо для письма (может быть длинная палочка или длинный карандаш)
Кинжал (большой нож)
Верёвка (которую перережет «кинжал» на крупном плане)
Канат на воздушном шаре, за который при спуске держится Телохранитель (толстая верёвка)
Венок на голову (но надевать его не понадобится)
Арбалет, лук со стрелой, карманные часы, веер (могут быть воображаемые, но если ВДРУГ у кого-то есть…)
Я даже не стал спрашивать, куда он будет вешать занавес, не стал спрашивать, что такое за супердвижение он придумал для разрезания веревки ножом, да еще на крупном плане, которое просто необходимо снять, чтобы было именно так потом в анимации. Про арбалет, лук и всё такое тоже ничего не сказал. Просто послал… Нет, не туда, куда вы могли подумать, а искать это всё самому за оставшиеся пару дней. Кстати, из интереса я не стал упоминать, что все эти предметы должны быть ЧЕРНЫМИ ну или хотя бы темными. Так нет - режиссер всё-таки притащил на съемки прозрачный бокал, который вызывал лишь смех у «хозяйки нейросети».
На студии же нашлось только вот это:
Ведро подставили для понимания размеров
Криво покрашенный киношный полубокс
Но самое интересное, что в тот же день был звонок от «хозяйки нейросети» с просьбой… отменить съемки. Впрочем, что-то я увлекся подготовкой, поэтому о самих съемках (которые я естественно отменять не стал) поговорим в следующий раз. Тем более, что результат получился забавный, а приключений - хоть отбавляй…
Продолжение тут.
Поскольку мы уже определились, что нет ничего лучше, чем скормить нейросети черное на белом, я начал искать белое. Начал со студии, в которой уже снимал. Но, оказалось она закрылась. Поэтому я просто набрал в Яндексе «Белая циклорама» (так называется помещение со скругленными углами, которое в кадре смотрится единым бесшовным фоном), а заодно прошерстил с таким же запросом Авито. Оказалось, что в Москве полно подобных циклорам - они очень востребованы у фотографов. Поэтому надо было выработать какие-то критерии, что нам подойдет. Циклорамы отличались друг от друга размерами (площадью), наличием вспомогательных элементов (кубы, столы, стулья, разумеется - белые) и возможностью арендовать съемочное оборудование. Последнее нам было не нужно, у нас всё было свое. А вот чего не было, так это необходимости подсвечивать актеров (они наоборот должны были быть в тени - чем чернее тем лучше). Поэтому свет нам был не нужен, точнее достаточно было общего света на сам белый фон. По предметам предварительно возникли разногласия (о них ниже), осталось разобраться с площадью. Ну, все циклорамы площадью 6 кв. метров (т.е. 3х2 метра) и меньше я отбросил сразу, т.к. поместить в них несколько актеров, да еще так, чтобы они там могли свободно прыгать, бегать, танцевать (что требовалось по сценарию), невозможно и поэтому выбор резко сократился. Осталось всего несколько претендентов - огромная циклорама, средняя и несколько поменьше. Отбросив огромную (зачем лишние деньги тратить, она же разумеется дороже), надо было выбрать из остатка. Изучив их сайты, я решил не работать с откровенными жлобами, у которых цены изначально заявлены ниже, но зато надо было оплачивать присутствие каждого человека отдельно, а некоторые даже стулья умудрялись предлагать по 100 рублей то ли в час, то ли в смену, и вообще оплачивать каждую «бандуру». Круг еще более сузился, остались циклорамы примерно одинаковой площади и стоимости (в районе 2 тысяч в час). Как вы думаете, какой критерий для отсева я избрал следующим? Близость к метро. Причем к метро, которое еще и поближе ко мне :-)
Победила циклорама «Белая студия» от Киногорода. Я съездил в нее, убедился, что всё необходимое там есть, и назначил дату съемок на середину апреля.
Собственно больше тут ничего и не нужно
С актерами оказалось не так просто. Сначала «хозяйка нейросети» выразила пожелание, что если в кадре должно быть пять персонажей, то и актеров надо тоже пять - снимать всех одновременно. Я выразил сомнение, что такую толпу и каждого его участника нейросеть сможет распознать корректно и не запутается в персонажах, а то и вовсе не решит, что это один такой десятиногий десятирукий пятиголов, который при необходимости умеет распадаться на части, а потом воссоединяться. «Хозяйка нейросети» сказала «логично» и попросила паузу, чтобы посоветоваться и по возможности что-то протестировать. Через некоторое время был получен ответ - снимать надо СТРОГО ПО ОДНОМУ актеру, даже если они в кадре взаимодействуют между собой. Тогда нейросети можно будет всех скармливать и выводить обратно отдельными слоями и она ничего не перепутает.
Стало быть отпала необходимость в приглашении толпы для съемок. Встал следующий вопрос - а обязательно ли женщин изображать женщине, а мужчин - мужчине. Ведь речь идет только о «захвате движений». Опять решили взять паузу. Первым ответил режиссер - посчитал, что всё-таки женщин надо играть женщине, мужчин - мужчине, поскольку мы затеяли съемки исключительно для передачи нейросети тонкостей пластики движений, а если мужчина будет играть женщину или наоборот, то это будет грубо и примитивно. Вскоре и «хозяйка нейросети» подтвердила половую сегрегацию, но уже из-за особенностей не пластики, а самих фигур - слишком уж женская отличается от мужской, особенно в обтягивающих костюмах. Почему в обтягивающих? Ну, чтобы была возможность менять платья и сюртуки как перчатки на стадии оживления уже анимационных персонажей. Кстати, тут же возник вопрос собственно с перчатками - нужны ли они актерам, ведь если они будут во всем черном, а руки и лица - белые, то не запутает ли это нейросеть? Решили на всякий случай купить перчатки и определить уже на месте. А вот вопрос, нужно ли красить лица актеров в черный цвет, вызвал… скандал. «Хозяйка нейросети» ответила, что ни в коем случае, иначе не будет видна мимика актеров. Тут я напомнил, что ни о какой съемке мимики речи не идет, тем более что она («хозяйка») изначально говорила, что всю необходимую мимику и, собственно, лица, нейросеть нарисует сама. К тому же и при обсуждении на Союзмультфильме она («хозяйка») сказала, что мимику снимать не надо. А тут, видимо, решив, что нахаляву получит возможность не делать всё это вручную, поручить эту, одну из самых трудозатратных задач, нам. А нам и так надо было за 8 часов снять… А вот сколько снять - непонятно, поскольку, как вы помните, режиссер отказался это определять. Но всё равно минут 5-7 полезного метража - точно.
В общем по итогам обсуждения решили, что моя изначальная идея снимать профессиональных актеров пантомимы избыточна (да и стоят они по 25 тысяч в смену как выяснилось), что вполне хватит двух - мужского и женского пола, и требований к ним немного - они должны быть примерно одного роста и владеть основами сценического движения. Т.е. достаточно взять студента и студентку актерского ВУЗа, которых быстро и нашла наша ассистент по актерам по 5 тысяч в смену за штуку.
Но и тут не обошлось без нюанса - по аватаркам студентов в ватсапе выяснилось, что у обоих длинные волосы. Поскольку неизвестно, как они смогут затянуть их в пучок (развевающиеся волосы беда не только хромакея, как вы догадались), решили купить им сеточки для волос. Разумеется черного цвета.
Как только я определил дату съемки, я попросил «хозяйку нейросети» прислать за две недели до этой даты, техническое задание - т.е. как и что именно снимать. Движения - это понятно. Но конкретнее? Всё на общем плане? Или руки отдельно, если они отдельно потом должны быть в кадре? Нужны ли предметы? Или будут мешать и путать нейросеть? Никто же не знает, поскольку опыта такого еще ни у кого в мире не было…
И вот тот день настал. ТЗ нет.
- В чем дело? - спрашиваю у «хозяйки нейросети».
- Мы пока не готовы ничего сказать - тестируем разные варианты и разные нейросети, - был ответ. - Постараемся сформулировать через неделю.
Однако… Тестируют, но НЕ ПОЛУЧАЕТСЯ? Почему это нельзя было сделать ЗАРАНЕЕ? Ладно, вариантов нет, придется ждать.
Через неделю, даже позже, т.е. всего за несколько дней до съемок, получаю вот такой список (даю уже со своими примечаниями курсивом):
- ровный белый фон без артефактов и пятен - нет проблем, всё проверено
- темный костюм - разумеется
- если по сценарию мужчина, то актер мужчина и наоборот - уже обсудили
- движения не должны быть резкими и нарочитыми (иначе у нейронки получится вообще кошмарный вариант) - это к режиссеру
- все, что есть в сценарии, должно быть снято - вот еще! Снято должно быть только то, о чем говорили - КОНКРЕТНЫЕ движения персонажей, которые необходимы по сюжету. А не вообще все движения всех анимационных персонажей.
- каждое движение в трех вариантах - нам это понятно, но поясню вам - чем больше вариантов, тем нейросеть легче обучить, плюс у нас самих должны быть варианты на выбор одного и того же движения - уже для гладкости монтажа и общей стилистики
- в кадре должен быть один персонаж, иначе диффузия начинает чудить и появляются артефакты - ну, про это я уже выше написал
- возможно, завтра вечером появятся ещё нюансы, потому что завтра закончится тест ещё двух моделей - что, опять? До этого все тесты впустую что ли?
- желательно еще снять предметы, которые есть в сценарии - ха-ха, я поэтому и просил прислать ТЗ за две недели до съемок, а не за несколько дней, чтобы найти весь этот предметный мир (в который кроме многочисленного исторического реквизита попадает даже живой верблюд).
В общем тут я послал «хозяйку», сказал, что завтра поеду в этот павильон и посмотрю что есть там, только напишите список нужных предметов.
Список я так и не получил от нее. Зато получил список от режиссера, причем за пару дней до съемки. Вот он:
Часть занавеса, которую сдвигают Арлекин и Пьеро (большая материя)
Тюрбан (полотенце для «чалмы») - для сцены с верблюдом
Шляпа (для мужского приветствия)
Цветы (большой букет)
Бокал/фужер/высокий стакан (что есть, чтобы актёр элегантно «выпил»)
Трость (может быть любая длинная палка)
Зонтик дамский (чем меньше, тем лучше, - детский?)
Сумочка женская
Опахало (может, его заменит теннисная ракетка?)
Гусиное перо для письма (может быть длинная палочка или длинный карандаш)
Кинжал (большой нож)
Верёвка (которую перережет «кинжал» на крупном плане)
Канат на воздушном шаре, за который при спуске держится Телохранитель (толстая верёвка)
Венок на голову (но надевать его не понадобится)
Арбалет, лук со стрелой, карманные часы, веер (могут быть воображаемые, но если ВДРУГ у кого-то есть…)
Я даже не стал спрашивать, куда он будет вешать занавес, не стал спрашивать, что такое за супердвижение он придумал для разрезания веревки ножом, да еще на крупном плане, которое просто необходимо снять, чтобы было именно так потом в анимации. Про арбалет, лук и всё такое тоже ничего не сказал. Просто послал… Нет, не туда, куда вы могли подумать, а искать это всё самому за оставшиеся пару дней. Кстати, из интереса я не стал упоминать, что все эти предметы должны быть ЧЕРНЫМИ ну или хотя бы темными. Так нет - режиссер всё-таки притащил на съемки прозрачный бокал, который вызывал лишь смех у «хозяйки нейросети».
На студии же нашлось только вот это:
Ведро подставили для понимания размеров
Криво покрашенный киношный полубокс
Но самое интересное, что в тот же день был звонок от «хозяйки нейросети» с просьбой… отменить съемки. Впрочем, что-то я увлекся подготовкой, поэтому о самих съемках (которые я естественно отменять не стал) поговорим в следующий раз. Тем более, что результат получился забавный, а приключений - хоть отбавляй…
Продолжение тут.