Будущие изображения
Лев Манович (США)
БУДУЩЕЕ ИЗОБРАЖЕНИЯ
Версия статьи от января 2006 года
Краткий обзор статьи:
Сегодня техники традиционной анимации, кинематографии и компьютерной графики часто используются совместно для создания новых гибридных форм изображения. Я рассматриваю этот процесс на примере особенно сложного гибрида - Универсальный Захват (Universal Capture), методе, использованном во второй и третьей частях трилогии “Матрица”. Взамен того, чтобы ожидать доминирования любой из сегодняшних “чистых” форм в будущем видео культуры, я предполагаю, что будущее принадлежит таким гибридам. (Перевод на русский язык: Константин Елфимов, Cyland.Ru, 2008)
Лев Манович (www.manovich.net) - профессор отделения Визуальных Искусств, Университета Калифорнии - Сан Диего, где он преподает практические курсы по цифровому искусству, наряду с теорией и историей цифровой культуры. Возглавляет инициативную группу по изучению программного обеспечения в Калифорнийском институте Телекоммуникаций и Информационных Технологий, а также является приглашенным исследователем в Голдсмит Колледже (Лондон) и Колледже Изобразительного Искусства при Университете Нового Южного Уэльса (Сидней). Автор следующих книг: Исследуя Базу Данных (Navigating the Database, The MIT Press, 2005) и Язык Новых Медиа Форм (The Language of New Media, The MIT Press, 2001), провозглашенных как “наиболее полная и заставляющая задуматься история медиа со времен Маршалла Маклюэна”.
На протяжении большой части 20го века, разные области культуры коммерческого видео сохраняли свои отличительные способы производства и свою эстетику. Фильмы и мультфильмы создавались абсолютно по-разному, и было легко различать их визуальный язык. Сегодня ситуация изменилась. Компьютеризация всех сфер производства видео создала общий свод техник, которые могут быть использованы вне зависимости от того, создаете ли вы работу для телевидения, фильм, анимацию или музыкальное видео. Возможность композиции многих слоев изображения с разной прозрачностью, размещения статичных и движущихся элементов в общем пространстве, а затем перемещения виртуальной камеры через это пространство с наложением имитации размытости движущегося объекта, глубины резкости и изменения во времени любого визуального параметра кадра - все это может быть одинаково применимо к любым изображениям, независимо от того, были ли они получены с помощью оптической съемки, нарисованы от руки, созданы в пакетах трехмерной анимации и т.д.
Существование общего словаря компьютерных техник не значит, что все фильмы сейчас выглядят одинаково. Это означает, что большинство анимационных и игровых фильмов выглядят довольно индивидуально сегодня, благодаря обдуманному выбору, а не неизбежным последовательностям различий в производственных методах и технологиях. В тоже время, вне сферы игрового и анимационного кино, эстетика видео культуры серьезно изменилась во время 1990х.
Происшедшее можно подытожить следующим образом. Примерно в середине 1990х, физические среда для производства видео и статических изображений (кинематограф, анимация, графический дизайн, типография), новая компьютерная среда и новые компьютерные техники (композиция, несколько уровней прозрачности) начали взаимодействовать с единой вычислительной средой - либо персональный компьютер, либо относительно недорогая графическая станция, доступная маленьким компаниям и даже отдельным людям. Результатом стало возникновение новой гибридной эстетики, которая быстро стала нормой. Сегодня эта эстетика видна практически в любом формате видео: ТВ реклама и ТВ графика, музыкальное видео, короткие анимации, транслируемая графика, титры к фильмам, оформление Web страниц. Это также определяет новую область медиа продукции - “анимированная графика” (motion graphics), но необходимо заметить, что гибридная эстетика не ограничена этой сферой и может быть обнаружена в работе где угодно.
Эта эстетика существует в бесконечных вариациях, но логика неизменна: сопоставление ранее индивидуальных визуальных языков в одном эпизоде и, довольно часто, в одном кадре. Нарисованные от руки элементы, фотографии, видео, шрифты и трехмерная графика не просто помещены один за другим, а переплетены вместе. Результирующий визуальный язык гибриден. Его также можно назвать метаязыком, так как он комбинирует элементы дизайна, фотографии, аппликационной анимации, трехмерной компьютерной анимации, рисования и кинематографии.
Наряду со спецэффектами, гибридная (или мета) эстетика огромного количества видео, окружающего нас сегодня - это наиболее заметный эффект компьютеризации.
В этом случае анимация часто используется как один из элементов видеоряда или даже кадра. Но это только одна, наиболее явная роль анимации в современном пост-цифровом визуальном ландшафте. В этой статье я рассмотрю другую ее роль: в качестве обобщенной техники, которая может быть применена к любым изображениям, включая фильмы и видео. Здесь анимация функционирует не как средство, но как набор общих техник, используемых вместе с другими техниками в общей совокупности возможностей, доступных режиссерам и дизайнерам.
Я выбрал отдельный пример для своего обзора, который, как мне кажется, хорошо иллюстрирует эту новую роль анимации. Это относительно новый метод комбинирования живого действия и компьютерной графики. Названный “Универсальный Захват” (Universal Capture, U-Cap) своими создателями, он был впервые широко использован ESC Entertainment в фильмах Матрица 2 и Матрица 3 из трилогии Матрица. Я расскажу на сколько этот метод отличен от стандартных и старых техник интегрирования живого действия и элементов компьютерной графики. Универсальный Захват также создает визуальных гибридов - но они сильно отличаются от гибридов, используемых в анимированной графике и других короткометражных формах видео сегодня. В случае Универсального захвата, разные типы изображения не смешиваются вместе, а скорее сплавляются, чтобы создать новый тип изображения. Он сочетает в себе “лучшие” качества двух типов образов, которые мы обычно представляем себе онтологическими противоположностями: запись живого видео и трехмерную компьютерную анимацию. Я предполагаю, что подобные гибриды будут играть большую роль в будущем визуальной культуры, в то время как место “чистых”, не смешанных ни с чем изображений, скорее всего уменьшится.
Неравномерное Развитие
Какие типы изображений будут доминировать визуальной культурой через несколько десятилетий? Будут ли они похожи на типичные изображения, окружающие нас сейчас - фотографии, обработанные цифровыми методами и скомбинированные с различными графическими элементами и шрифтами? Или изображения будущего будут полностью другими? Заменит ли фотографию что-то еще?
Есть серьезные причины предполагать, что будущие изображения будут похожи на фотографии. Как вирус, фотография оказалась чрезвычайно жизнеспособным репрезентативным кодом: она пережила волны технологических изменений, включая компьютеризацию всех этапов культурного производства и распространения. Причина этого постоянства кода фотографии лежит в его гибкости: фотографии могут легко комбинироваться с другими визуальными формами - рисунок, двух и трехмерный дизайн, линейные диаграммы и шрифт. Результатом стало полное доминирование фотографии в современной визуальной культуре, но не в чистом виде, а в качестве различных мутаций и гибридов: фотографии, прошедшие через различные фильтры и ручную подстройку для достижения более стилизованного вида, более графичного вида, более насыщенного цвета и т.д.; фотографии смешанные с дизайном и шрифтовыми элементами; фотографии не ограниченные частью спектра, видимого человеческому глазу (ночное видение, рентген); имитация фотографий, созданных при помощи трехмерной компьютерной графики; и так далее. Поэтому, говоря что мы живем в “фото культуре” мы должны научиться читать слово “фотография” по новому. “Фотографический” сегодня - это на самом деле фото - ГРАФИЧЕСКИЙ, “фото” дает только начальный слой для конечного графического изображения. (В области видео, термин “анимированная графика” полностью отражает то же самое развитие: подчинение кинематографа живого действия графичному коду.)
Изменения в природе, обществе и культуре происходят изнутри наружу. Сначала изменяется внутренняя структура, а потом это изменение влияет на видимую оболочку. Например, в соответствии с Марксистской теорией исторического развития, инфраструктура (т.е. метод производства в данном обществе - также называемый “базис”) изменяется до суперструктуры (идеология и культура в этом обществе). В другом примере, подумайте о технологическом дизайне в 20 веке: обычно, новый тип механизмов был вначале одет в привычную оболочку: например первые машины имитировали форму лошадиной повозки. Известная идея Маклюэна, что новые виды медиа сначала эмулируют старые виды - это другой пример такого типа изменений. В этом случае, новый тип медиа продукции используется для поддержания старой структуры медиа организации, до того, как появится новая структура. К примеру, дизайн первых печатных книг был разработан таким образом, чтобы имитировать рукописные книги; кино поначалу имитировало театр; и так далее.
Эта концепция неравномерного развития может быть полезна при размышлениях об изменении современной визуальной культуры. Так как данный процесс начался пятьдесят лет назад, то сейчас компьютеризация фотографии (и кинематографии) полностью изменила внутреннюю структуру фотографического изображения. Тогда как его “оболочка” т.е. то, как выглядит типичная фотография, в большинстве случаев остается той же самой. Тем не менее возможно, что на определенном этапе развития “оболочка” также станет другой, но этого до сих пор не произошло. Так что мы можем сказать, что сейчас наша визуальная культура характеризуется новым компьютеризированным “базисом” и старой фотографической “суперструктурой”.
Фильмы “Матрица” предлагают нам очень богатый набор примеров отлично подходящих для размышлений на эту тему. Трилогия является аллегорией того, как сконструирована ее визуальная вселенная. Фильмы говорят нам о Матрице, виртуальной вселенной, управляемой компьютерами - и, конечно же, визуальные образы Матрицы, которые мы, зрители, видим в фильмах были созданы с помощью программного обеспечения (аниматоры иногда использовали Maya, но в большей степени полагались на свои программы). Так что существует совершенная симметрия между нами, зрителями фильма, и людьми которые живут внутри Матрицы - кроме того, что компьютеры с Матрицей могут создавать в реальном времени сцены, на создание которых в реальности ушло несколько месяцев или даже лет. (Так что Матрица может быть также интерпретирована как будущее компьютерных игр, которое свершится тогда, когда подобные визуальные эффекты можно будет просчитывать в реальном времени).
Ключом к визуальной вселенной Матрицы является новый набор техник компьютерной графики, которые на протяжении нескольких лет развивались людьми из академий и индустрии спецэффектов, включая Георгия Боршукова (Georgi Borshukov) и Джона Гаэту (John Gaeta) . [1] Их изобретатели создали несколько названий для этих техник: “виртуальное кино”, “виртуальный человек”, “универсальный захват”. Вместе, эти техники представляют настоящую веху в истории компьютерных спецэффектов. Они привели к логическому заключению технологии 1990х, такие как захват движения (motion capture) и одновременно начали новый этап. Мы можем сказать, что с Матрицей, старый “базис” фотографии был наконец полностью замещен новым, созданным на компьютере. Теперь нам остается увидеть как “суперструктура” фото изображения изменится в соответствии с этим “базисом”.
Имитация Реальности против Сэмплирования Реальности
Перед началом, я должен заметить, что не все спецэффекты в Матрице основаны на Универсальном Захвате и, конечно же, другие Голливудские фильмы уже используют похожие стратегии. Тем не менее, в этом тексте я решил сфокусировать внимание на использовании этого процесса в Матрице, так как Универсальный Захват был специально разработан для использования во втором и третьем фильме трилогии. Перечисление имен всех людей, участвовавших в разработке займет довольно много места, поэтому я буду идентифицировать его с Гаэтой. Причина не в том, что как главный супервизор эффектов для “Матрица: Перезагрузка” и “Матрица: Революция” он получил наибольшую известность. Важнее то, что в противоположность многим другим в индустрии спецэффектов, Гаэта значительно разъяснил техники, разработанные им и его коллегами, представляя их как новую парадигму для кинематографа и развлечений, определяя важные термины и концепции для их понимания.
Чтобы лучше понять значимость метода Гаэты, давайте кратко рассмотрим историю синтеза трехмерных фотореалистичных изображений и их использование в киноиндустрии. В 1963 Лоуренс Робертс (Lawrence G. Roberts), в то время бывший студентом выпускного курса Массачусетского Технологического Института, а в поздних 1960х ставший одной из ключевых фигур в развитии Arpanet, опубликовал описание компьютерного алгоритма для создания изображений в линейной перспективе. Эти изображения представляли грани объекта как линии; современным языком компьютерной графики их можно назвать “каркасные изображения”. Примерно десять лет спустя ученые разработали алгоритмы, позволявшие создавать затененные изображения (так называемые затенения Гуро и Фонга, названные по именам ученых, их создавших). С середины 1970х до конца 1980х область трехмерной компьютерной графики прошла через стремительное развитие. Каждый год создавались новые фундаментальные техники: прозрачность, тени, наложение изображения (image mapping), рельефное текстурирование (bump mapping), система частиц (particle system), композиция (composing), трассировка лучей (ray tracing), диффузное отражение (radiosity), и так далее [2] . К концу этого творческого и плодотворного периода истории, стало возможным синтезировать изображения почти любых предметов так, что они были практически неотличимы от традиционной кинематографии.
Все эти исследования были основаны на фундаментальном допущении: чтобы воссоздать изображение реальности идентичное снятому на камеру, нам необходимо систематически имитировать физические процессы, вовлеченные в создание этого изображения. Это означает имитацию комплексных взаимодействий между источниками света, свойствами разных материалов (ткань, металл, стекло и т.д.), и свойств физических видеокамер, включая все их ограничения, такие как глубина резкости и размытие движения. Так как ученым было ясно, что если они в точности будут имитировать эту физику, то компьютеру потребуется вечность для просчета единственного изображения. Поэтому они направили свою энергию на разработку упрощенных методов, которые помогут создать реалистичные изображение с меньшими вычислениями. Так что фактически, каждая из техник синтеза изображения, упомянутая мной в предыдущем параграфе - одна из таких “уловок”, частное приближение определенного подмножества всех возможных взаимодействий между источниками света, материалами и камерами.
Это допущение также означает, что вы воссоздаете реальность шаг за шагом, с нуля. Каждый раз, когда вы хотите получить статичное изображение или анимацию некоего объекта или сцены, воспроизводится Библейская история создания.
(Я представляю Бога, создающего Вселенную, продираясь сквозь бесчисленные меню профессиональных пакетов трехмерного моделирования, анимации и рендеринга, таких как Maya. Сначала ему необходимо создать всю геометрию: манипулируя сплайнами, выдавливая контуры, добавляя скосы… Затем, для каждого объекта и существа он должен выбрать свойства материала: цвет зеркального блика, уровень прозрачности, изображение, рельеф, карты отражения и т.д. Он заканчивает с одним набором параметров, вытирает лоб и начинает работать над следующим. Теперь определим свет: опять необходимо выбрать дюжину опций меню. Он рендерит сцену, смотрит на результат и восхищается своим созданием. Но он далек от завершения: вселенная в его сознании - это не статичное изображение, а анимация, значит вода должна течь, трава и листья должны двигаться под порывами ветра, и все существа также должны двигаться. Он смотрит и открывает другой набор меню, где необходимо задать параметры алгоритмов которые будут имитировать физику движения. И опять, и опять, и опять. Наконец, мир закончен и выглядит хорошо; но Бог хочет создать человека, который восхищался бы его созданием. Бог вновь осматривается и берет с полки учебник по Maya, полный набор которых занимает всю полку…)
Конечно же, мы находимся в лучшем положении, чем был Бог. Он создавал все в первый раз, так что ему неоткуда было заимствовать. Поэтому все должно быть создано и определено с нуля. Но мы не создаем новую вселенную, а имитируем уже существующую, т.е. физическую реальность. Поэтому ученые, работающие над техниками трехмерной графики, давно осознали, что в дополнение к аппроксимации вовлеченной физики, они могут сделать еще одно упрощение. Чтобы не определять что-то с нуля, через алгоритмы, они могут просто сэмплировать это из существующей реальности, и использовать эти сэмплы в процессе построения.
Примерами использования этой идеи служат техники наложения текстуры и рельефа, которые появились во второй половине 1970х. При наложении текстуры, любое двухмерное изображение, которое может быть приближенной текстурой дерева или кирпичей, или чем угодно, например логотипом, фотографией лица или облаков, математически накладывается на трехмерную модель. Это очень эффективный метод добавления визуальной насыщенности реального мира, виртуальной сцене. Наложение рельефа работает похожим образом, но в этом случае двухмерное изображение используется для добавления сложности самой геометрии. К примеру, чтобы не моделировать вручную все маленькие трещинки и выемки, составляющие трехмерную текстуру бетонной стены, художник может просто взять фотографию существующей стены, конвертировать ее в черно-белое изображение, а затем передать его алгоритму рендереринга. Алгоритм использует черно-белое изображение в качестве карты высот, т.е. значение каждого пикселя интерпретируется как относительная высота поверхности. Так, в этом примере, светлые пиксели станут чуть выпирающими точками на стене, в то время как темные чуть впалыми. Результатом будет существенная экономия времени, необходимого для воссоздания частного, но очень важного аспекта нашей физической реальности: легкая и обычно повторяющаяся трехмерная текстура, находящаяся на большинстве естественных и многих созданных человеком поверхностях, от коры деревьев до узора на одежде.
Другие техники компьютерной графики, основанные на идее сэмплирования существующей реальности, включают в себя наложение отражений и трехмерную оцифровку. Несмотря на тот факт, что все эти техники были всегда широко использованы с момента их появления, многие люди в области компьютерной графики (на сколько я могу судить) чувствовали, как будто они обманывают. Почему? Мне кажется, они ощущали это из-за концептуальной парадигмы, что создание фотореалистичной компьютерной графики - это имитация всего с нуля при помощи алгоритмов. Так что если вам приходится использовать техники, основанные на прямом сэмплировании реальности, вы чувствуете, что это временная мера, потому что подходящие алгоритмы еще не созданы или потому что компьютеры слишком слабы. У вас также появляется это чувство из-за того, что как только вы начинаете вручную сэмплировать реальность и пытаетесь внедрить эти сэмплы в ваш совершенный алгоритмический мир, вещи редко встают правильно на свои места, требуя усердной ручной настройки. Например, наложение текстуры будет совершенным, применимо к прямой поверхности, но на искривленной поверхности искажения неизбежны.
На протяжении 1970х и 1980х парадигмы “имитации реальности” и “сэмплирования реальности” существовали рядом. Точнее, как я сказал выше, парадигма сэмплирования была “встроена” в парадигму имитации. Общим убеждением являлось то, что при создании фотореалистичных изображений реальности необходимо имитировать все физические процессы точно, на сколько это возможно. Сэмплирование существующей реальности с последующим добавлением этих сэмплов к виртуальной сцене являлось трюком, упрощением в честной игре имитации.
( to be continued)