Давайте начнем с того, что сама индустрия VR до сих пор многими рассматривается как аттракцион, который достаточно однообразен и быстро надоедает. В первый раз я столкнулся с полноценным контентом такого рода, когда Beat Film Festival пару лет назад делал VR-программу. Как я понимаю, есть две версии концертов в VR-реальности. Одна создается, когда в центре реальных событий размещается шар с объективами, похожий на морского ежа, и зритель может смотреть во все стороны, на 360 градусов. Либо это полностью нарисованный мир. В таком случае еще важна синхронизация звука и артикуляции артиста, я имею в виду программы, которые заявляются как «прямой эфир». Думаю, нашим читателям нужно все объяснить с самого начала, тем более что ваши эксперименты с VR начались до знакомства с Жаном-Мишелем Жарром.
Мне 34 года, я родился в Екатеринбурге, после школы поступил на режиссерский факультет ВГИКа, а по его окончании работал на кинофестивалях и организовывал их программы, в том числе с моим вгиковским мастером Сергеем Мирошниченко — программу документальных фильмов в рамках Московского международного кинофестиваля. Документальный конкурс ММКФ сейчас позволяет автоматически подаваться на «Оскар», без необходимости театрального проката и публикаций в американской прессе. VR-кинофестивали я начал организовывать в России в 2016 году. Это был формат, когда люди приходят в одно помещение, им запускается одна и та же программа, и этот пассивный контент в формате видео на 360 градусов они смотрят одновременно. Пассивный контент — не только про то, что происходит в очках, но и про то, как создается атмосфера вокруг мероприятия. Я стал заниматься VR, производя подобные 360-градусные видео, и меньше всего был связан с музыкальной историей, больше — с документальным кино. Мне было интересно понять, как снимать такие фильмы и делать их показ интересным для зрителей. В 2018 году я создал программу для Beat Film Festival, а на следующий год мы представили очень сложную выставку в музее Ольги Свибловой, с работами Аниша Капура и Марины Абрамович. Главная трудность при работе с музыкальными видео состоит в понимании того, какова позиция камеры в формате «360 градусов», насколько автор, создающий это произведение, работает по законам традиционного видео и традиционной музыки или он сразу же пытается идти во что-то новое. Честно говоря, люди, которые приходят из индустрии компьютерных игр, иногда предлагают даже более интересные решения, чем традиционные кинорежиссеры.
Я правильно понимаю, что в последние три года вы, проживая в Москве, делаете европейскую премию производителей VR-контента?
В 2013 году я выиграл премию Фулбрайта, отучился в киношколе в США и именно там, на фестивале «Сандэнс», увидел, что народ выстраивается в очереди в павильон виртуальной реальности. Все известные режиссеры и актеры вместе с какими-то богатыми местными сноубордистами хотели это увидеть. В 2015 году в таких очередях стояли те, кто позднее сделал себе имя в VR-индустрии и к сегодняшнему дню набрал в ней миллионы долларов инвестиций. Например, тогда еще новичком был режиссер Крис Милк, известный тем, что создает уникальные клипы, каждый раз — на новом пределе технологических возможностей. Тогда он только-только зашел в VR, а сейчас у него огромнейший стартап. Когда я вернулся в Россию, VR показался мне новой интересной нишей, и меня сразу пригласили участвовать в организации нескольких событий, два из которых я делал в Европе — фестиваль научного VR-кино в Швеции и премия в рамках кинофестиваля GoEast в Висбадене, традиционно посвященного центрально-восточным европейским фильмам. Фестивалю GoEast уже лет 20, он показывает западным европейцам мир, который был по другую сторону железного занавеса.
С 2018 года я делаю эту премию, и первым призером был русский — мой коллега Денис Семенов. Он придумал проект «Номинальная империя», который нарисовал внутри виртуальной реальности. Есть целое направление VR-искусства — такие рисовалки, когда ты внутри шлема виртуальной реальности в 3D-пространстве создаешь штрихами картины, а потом всячески их анимируешь. Один из миров Жана-Мишеля Жарра создан как раз в узнаваемой стилистике Дениса. В 2020 году, когда организаторы GoEast поняли, что полностью уходят в онлайн, потому что в Германии все будет закрыто жесточайшим образом, мы начали искать возможность провести мероприятие в виртуальной среде, но так, чтобы это не было банальной зум-конференцией или компьютерной игрой, чтобы эстетически и художественно отвечало идеям фестиваля, его атмосфере с большим количеством рислинга и водки — туда ведь часто приезжают ребята из Армении, Азербайджана, Грузии и Таджикистана, но и из Восточной Европы тоже.
В это же время мой фильм про озеро Байкал показывался на небольшом VR-фестивале, проходившем на платформе игры VRСhat. Мы протестировали пять или шесть разных платформ и поняли, что у VRСhat есть хороший потенциал. Можно было провести событие с вручением премии без большого бюджета. Мы связались с французской компанией VRrOOm, они сказали, что построить какой-то 3D-мир очень дорого, и тогда я предложил Денису восстановить в VR исторический кинотеатр «Калигари», находившийся в Висбадене. Он его нарисовал, мы сделали виртуальную реконструкцию и в мае 2020 года провели в нем церемонию открытия и презентацию проекта. В течение недели устраивали в виртуальном кинотеатре онлайн-экскурсии, глазами одного из зрителей вели трансляции, делали интервью с режиссерами. Создали фестивальные аватары, и зрители могли общаться между собой. Победитель, поляк, снял очень интересный фильм про людей, живущих на границе Западной Украины и Польши, — такое медитативное документальное кино в формате «360». И мы совершенно случайно обнаружили, что если четыре или пять человек на экскурсии одновременно заходят в «кроличью нору» этого фильма, то они оказываются внутри виртуальной сферы, как в планетарии. Я поймал этот удивительный эффект, и мы получили уникальный контент: виртуальный аватар режиссера переносил нас внутрь фильма и рассказывал, как снимал картину. Потом ты пересматривал фильм уже без него, в одиночку, и совершенно по-другому воспринимал это пространство. Но самым потрясающим эффектом было то, что мы заложили потом в концерты: поняв, что жюри физически не приедет, я сильно расширил географию и позвал представителей действительно крупных VR-платформ, которые не особо знали о том, что дальше Западной Европы существует VR-контент. Мне удалось пригласить представителя крупнейшей компании Oculus, принадлежащей Facebook. Представьте: у нас есть красивая сцена виртуального кинотеатра «Калигари», нарисованная статуэтка, и вот ты своим контроллером захватываешь приз и вручаешь его человеку, который в аватаре вампира получает статуэтку и трясет ею на камеру. Внутри VR это выглядит как настоящая церемония. Он держит несуществующий объект, но у него создается некое эмоциональное ощущение, возникает поразительный эффект: люди, находящиеся в разных точках, представлены вместе в одном пространстве.
А следом был первый опыт работы с Жаном-Мишелем Жарром?
Компания VRrOOm предложила Министерству культуры Франции в рамках ежегодного праздника Fête de la musique провести концерт в виртуальной реальности. Среди прочего, чтобы показать, как это может выглядеть, они использовали наши промо-ролики. Луи, руководитель VRrOOm, пришел к Жану-Мишелю и рассказал об этой возможности. Жарр ранее пробовал разные варианты концертов в виртуальной реальности. У него в ютьюбе можно найти выступления, снятые на камеру «360», которая стоит перед сценой: нужно задирать голову, чтобы смотреть снизу вверх, как он играет на своей лазерной арфе.
Концерт на Fête De La Musique нам подтвердили где-то 1 июня. Меня позвали как человека с боевым опытом, который уже прошел все возможные косяки VRChat. У меня рушилось все что можно, я быстро, буквально швейцарским ножиком, чинил и после фестиваля объяснял создателям платформы какие-то баги, которые можно пофиксить. С этим концертом возникло много сложностей. Знаете, не может одна женщина родить девять детей за один месяц. По сути, две из трех недель, которые у нас были, ушли на то, чтобы понять, какие датчики и сенсоры прикрепить Жану-Мишелю, чтобы он играл вживую и движения хоть как-то совпадали с тем, что видно в виртуальной реальности. Вторая сложность — синхронизация музыки с движениями, потому что передать звук в хорошем качестве в виртуальную реальность — это как стриминг на ютьюбе: задержка от 5 до 30 секунд. Мы нашли японца, который не говорил по-английски, но изобрел какой-то дополнительный сервер для VRChat, чтобы Жан-Мишель мог играть вживую. На нем был хедсет, с помощью которого он видел перед собой виртуальные аватары, а на руках размещались специальные контроллеры, позволявшие Жарру пользоваться инструментами, при этом его движения могли считываться. И все же пальцы у аватара плохо «сгибались», это слегка напоминало Франкенштейна. Между третьей и четвертой песней он должен был что-то сказать, и нам нужно было удостовериться, что в этот момент синхронизация сохраняется, для чего потребовались отдельные усилия. Еще проблема — ограничение платформы VRChat по количеству аватаров в одной комнате. Если их больше, мир просто начинает рушиться.
Стоп, стоп, я не успеваю. Объясните, пожалуйста, что такое «комната» по отношению к «миру»?
Это какие вложения примерно?
Был грант от Министерства культуры — я не думаю, что больше 70–80 тысяч евро. Многие вещи предоставили партнеры. За три дня до концерта, когда мы провели основные репетиции, Жан-Мишель просто позвонил интернет-провайдеру Orange и сказал: «У меня столько-то гигабит, но мне что-то мало». Они срочно приехали в его студию и очень сильно проапдейтили интернет. Параллельно мероприятие транслировалось на экране в саду Министерства культуры — на это был отдельный бюджет, выделенный напрямую компанией, связанной с Жаном-Мишелем.
Там трансляция велась в 2D?
Да, плюс было подключено несколько VR-шлемов. Министр культуры вышел из своего кабинета во двор, надел шлем и смотрел концерт. Туда пригласили студентов из школы искусств и других гостей, после мероприятия они могли задать вопрос Жану-Мишелю, который был на экране. Это попытка провести хоть какое-то офлайн-мероприятие, чтобы… вот я так и не понял, чтобы что.
Наверное, чтобы корреспондентам из газет было что фотографировать.
И не тащить министра культуры неизвестно куда. Получилось очень красиво, визуально это было правильно. Без пандемии такое мероприятие можно сделать хоть на 1000 человек или больше.
А как проходил новогодний концерт?
В сентябре Жан-Мишель и Луи пришли к пониманию, что надо проводить еще какое-то масштабное мероприятие: у партнеров, Sony Music есть огромное желание, а у Жарра — обновленный альбом, который он в итоге выпустил под названием Welcome To The Other Side. Решили, что это нужно делать в новогоднюю ночь в Париже вокруг Нотр-Дама — там всегда веселье в это время. И раз невозможно живьем, значит, надо создать виртуальный Notre-Dame de Paris, причем так, чтобы он не был ограничен моделью низкого качества.
Компания Ubisoft в течение пары лет сканировала интерьеры Нотр-Дама для принадлежащей ей игры Assassin's Creed. После пожара 2019 года они выразили готовность предоставить эту модель бесплатно для культурных проектов. Модель весит, допустим, 15 ГБ. А возможности мира на такой платформе — всего 300 МБ. Крутись-вертись, но надо сделать виртуальный Notre-Dame de Paris на 300 МБ. Разработчики из Италии занялись этим в октябре и быстро поняли, что есть сцена в центре собора, есть зона для публики, а также залы и пространства, которые нам совершенно не нужны, их можно оптимизировать, упростить — так же, как и витражи.
Существовала очень важная задача: аватар Жана-Мишеля должен был выглядеть лучше, чем летом. С помощью одной французской компании удалось сделать так, чтобы все пальцы были видны, рука выглядела настоящей рукой, движение ног было нормальным и он мог на крупных планах переливаться разными цветами, а не просто одной заливкой. Другая компания работала над виртуальным костюмом Жарра. Художнику по свету, который постоянно с ним сотрудничает, чтобы понять, как этот же свет восстановить в виртуальной реальности, пришлось во время передышки между локдаунами ехать из Англии в Италию, где ребята ему все объяснили. Подключились мои японцы, у которых мы брали всякие плагины для виртуальных камер. Мы поняли, что нужно очень качественно репетировать. Из-за того, что трансляция будет идти на телеканалы, необходимо иметь как минимум одну предзаписанную версию контента в отличном качестве с аватарами, которые мы сами отобрали. Потому что если мы покажем лица аватаров, а у кого-то это, например, диснеевский персонаж, будет нарушение авторских прав. Нужна хотя бы одна версия, которую в случае неполадок, как с кольцами на Олимпийских играх в Сочи, можно включить синхронно с основной. Нам разработали двенадцать версий одного и того же Нотр-Дама и сделали черновой захват движений, когда Жан-Мишель репетировал с костюмами. Также мы создали мультикамерную систему переключения камер.
В собор никто из вас не заходил, все происходило в виртуальной модели, так? В каком он вообще состоянии сейчас?
Нет, не заходили. Интересный момент: за неделю до Нового года, в Рождество, в Notre-Dame de Paris прошел Christmas Concert. Посмотрите на ютьюбе: десять человек стоят в касках в той зоне, где находится фигура Иисуса, и потихонечку поют. Это наименее пострадавшая от пожара часть, самая дальняя от входа. Мы к тому моменту уже все уголки виртуального Нотр-Дама изучили наизусть. Смотрели и думали, как отличается тот собор, который есть у нас, от того, что они пытались хотя бы светом отыграть. Видно, насколько нескоро он станет доступным, и это притом что в основном была показана та часть, которая меньше всего пострадала.
Ваши 50 камер размещались в виртуальной модели собора?
Верно будет сказать, что их было десять — плюс индивидуальные точки операторов с живыми камерами, снимавшими «крупняки» Жана-Мишеля и толпу. Также использовались дроны, которые никогда не смогли бы летать в виртуальной реальности.
Правильно ли я понимаю, что сам Жан-Мишель Жарр находился в своей парижской студии недалеко от собора?
Первый концерт транслировался из одной его студии, а новогодний — из другой, она действительно расположена недалеко от собора. До середины декабря обсуждалось много разных концепций, в том числе физическое лазерное шоу. Было бы три слоя: живой Жан-Мишель, играющий в студии, виртуальный Жан-Мишель в виртуальном Notre-Dame de Paris и живое лазерное шоу, которое снимали бы камеры, закрепленные на соборе. Но буквально за неделю до Нового года ввели очень жесткий локдаун, чтобы люди не выходили на улицы. Мы быстро сделали фасад Нотр-Дама и иллюминацию вместо этого лазерного шоу.
Сколько было репетиций?
Концерт состоит из 12 песен. Мы провели три дня репетиций, во время которых в виртуальном «зале» находилась группа студентов, частично из Турции, частично из Европы. Ведь репетиция не только показывает нам, как движутся камеры, но и отвечает на вопрос о том, выдерживает ли мир такую нагрузку. Нужна была «виртуальная толпа». Я мог сказать: «Все хлопаем!» — и они начинали аплодировать. Это требовалось, чтобы создать ощущение наполнения. А когда Жарр приходил репетировать в свои миры вживую, ему нравилось, что там есть толпа и он ее чувствует. Пожалуй, виртуальная реальность — как раз про это: не надо реконструировать настоящий концерт, нужно создать то, что в реальности сделать не получилось бы.
А его пульт? Он был похож на настоящий?
По габаритам — точная копия, потому что физически он работал с инструментами в студии, а это просто виртуальная модель. Но есть моменты, когда его рука дает сильный нажим и просвечивает сквозь инструменты.
Этот аватар Жарра — он, во-первых, молодой, во-вторых, конечно, довольно условный, хотя какие-то черты самого героя присутствуют.
Я не знаю, откуда у него столько энергии. Он проводил много времени на зум-совещаниях, в основном говорил со своими соотечественниками на французском, но эти разговоры длились по два–три часа. У Жана-Мишеля бесконечное количество идей, он может до трех часов ночи совещаться, а с утра уже готов работать. Причем финансово ему это совершенно не интересно. Речь о степени погружения в проект человека, которому 72 года.
Хочу спросить о коммерческих перспективах такого формата. Тема виртуальных концертов и вообще онлайн-событий активно обсуждалась весь 2020 год. По итогу основной тезис: это никогда не заменит реального концерта. Скорее всего, так, но возможен ли контент, за который люди захотят платить деньги, да еще с удовольствием?
Платформа VRChat для этого вполне подходит. Видимо, нужно все же объяснить, в чем ее преимущества. Она работает не только в шлемах виртуальной реальности, но и на обычном Windows. Cамый популярный российский мир в VRChat называется «Пятерочка», в нем люди во дворе многоэтажного жилого района построили виртуальную «Пятерочку», и когда ты туда заходишь, тебя по-настоящему гоп-стопят или спрашивают: «Ты что такой толстый?» Мы как-то пришли туда в смешных аватарах, просто посмотреть, что бывает в VRChat, и ребята нас гоп-стопнули так, что пришлось уходить в другой мир. Такой стопроцентный русский дух.
VRChat — это комьюнити людей, которые тусуются онлайн. Смысл в том, что ты можешь загрузить туда свой посторонний мир — чем мы и воспользовались для кинофестиваля и концертов. Можно сделать это и в игровом движке Unity, в котором обычно делаются компьютерные игры. Но VRChat дает возможность создать все что угодно и жить в этом мире — либо, воспользовавшись готовыми образцами, соорудить нечто наподобие мини-мира, напоминающего «Пятерочку». В чем разница между выступлениями Жана-Мишеля Жарра в VRChat и Трэвиса Скотта в Fortnite? Концерт Скотта — это полгода работы непосредственных разработчиков Fortnite. Его невозможно было бы сделать на пользовательской стороне. А события типа концерта Жана-Мишеля сделаны целиком снизу, самими пользователями. Так проходит огромное количество событий вроде, скажем, конвенции людей, которые любят плюшевых медведей и все приходят в аватарах игрушечных мишек. Не шучу: я как-то на такой случайно оказался — по ошибке зашел и понял, что это идеальный мир.
Но все-таки вы зависите от платформы? Вот запланировали концерт с участием министра культуры и ЮНЕСКО, построили виртуальный Notre-Dame de Paris, но если владелец платформы по какой-то причине ее выключает, то все рушится?
Владельцы VRChat сами были у нас в числе гостей. Мало того: заходя в VRChat и открывая меню наиболее популярных миров, пользователь видел построенный ими мир, а вторым шел наш. То есть они делали дополнительное промо. А насчет денег ситуация такая. Платформы типа VRChat сейчас вводят новую политику монетизации. Если ты, как организатор, хочешь поддержку мероприятия от платформы — чтобы они правильно распределили мощности серверов и тысячи человек не зависли на одном сервере где-нибудь в Техасе, нужно будет платить определенный взнос. Но за это у тебя есть возможность подключить внешнюю продажу билетов. Самая большая сложность в том, что человеку ничто не мешает захватить изображение со своего экрана и выложить его на ютьюб. Но это будет абсолютно другой экспириенс, соответственно, конкуренция проявляется в том, насколько ощущение от посещения этого мира вживую отличается от ютьюба. Люди платят не за то, чтобы музыку послушать, а за экспириенс и соучастие. В таких проектах нужно находить уникальность для каждого типа доступа. Готовя концерт Жарра, мы подумали о совершенно разных аудиториях, в том числе о людях, у которых компактные шлемы не подключаются к компьютеру, а работают напрямую — там гораздо меньше возможностей. Для них я сделал съемку «360», но с ракурсов, которые невозможно было увидеть вживую на концерте. Мэрия Парижа попросила эти видео загрузить на шлем виртуальной реальности и доставила его в больницу для детей или пожилых пациентов, не помню точно. Все было создано из одного и того же исходника, одного и того же мира.
Сколько процентов работы на новогоднем концерте Жана-Мишеля Жарра сделано российской командой?
Денис Семенов полностью нарисовал мир after party для людей, у которых есть мобильные шлемы, желавших после концерта куда-то пойти и поделиться впечатлениями. А я принял участие в разработке всей системы камер и съемки, плюс в монтаже на 360 градусов. Так что, наверное, процентов 20–30 — наша работа. Жану-Мишелю все дико понравилось, а альбом вышел буквально на следующий день и начал быстро продаваться.