Сценарист и режиссер Пол Трилло одним из первых продемонстрировал музыкальный видеоклип, который полностью сгенерировал искусственный интеллект Sora от OpenAI.
Ролик сняли для инди-чиллвейв музыканта Washed Out (Эрнест Уэзерли Грин-младший) и его нового сингла The Hardest Part. Четырехминутный клип представляет собой серию быстрых кадров в различных сценах, объединенных для создания иллюзии непрерывного зума.
Ролик полностью сгенерировал ИИ
В рамках проекта Sora сгенерировала более 700 отрывков, из которых выбрали 55 отдельных клипов. Затем их смонтировали в целый видеоряд в Adobe Premiere.
По словам режиссера, чтобы получить желаемый результат, им приходилось придумывать подробные подсказки для ИИ. Они включали не только само изображение, но и ракурсы съемки, движения персонажей.
«Мы пролетаем сквозь пузырь, он лопается, мы пролетаем сквозь жвачку и выходим на открытое футбольное поле», — написал Трилло в качестве подсказки к одному короткому фрагменту видео.
Режиссер отметил, что в ролике использовались только возможности генерации видео из текста. Он не использовал методику «оживления» статичных кадров с помощью ИИ, которая набирает популярность в творческой среде.
Идея создания клипа появилась у Трилло еще 10 лет назад, однако тогда он отказался от нее. Теперь же благодаря ИИ смог реализовать задуманное.
First official commissioned music video made with @OpenAI Sora for @realwashedout
This was an idea I had almost 10 years ago and then abandoned. Finally was able to bring it to life.
Watch the full video here https://t.co/sGpmMLVCul pic.twitter.com/J3RxRD9nzo— Paul Trillo (@paultrillo) May 2, 2024
В интервью Los Angeles Times Грин также рассказал, что с нетерпением ждал возможности использовать новые технологии и оценить их влияние на творчество.
«Так что, если это новаторство, я с удовольствием приму в нем участие», — добавил музыкант.
Первый в своем роде?
OpenAI представила генератор видео Sora в феврале 2024 года. Инструмент вызвал восторг в соцсетях, однако его не выпустили в публичный релиз.
Разработчики опасаются, что генератор могут использовать для создания манипуляционных и дезинформационных видео. Поэтому стартап предоставил доступ к инструменту лишь экспертам по безопасности и небольшой группе «визуальных художников, дизайнеров и кинематографистов».
В начале апреля OpenAI опубликовала ролик Air Head, созданный канадской творческой студией Shy Kids с использованием Sora. Однако тот в значительной степени опирался на другие инструменты VFX и видеомонтажа, такие как ротоскопирование в Adobe After Effects.
Тем не менее появление подобных видео свидетельствует о стремлении творческих личностей использовать новые ИИ-инструменты для самовыражения и повествования. При этом многие критикуют технологии и OpenAI, в частности как нарушающие авторские права путем соскабливания и обучения алгоритмов на работах художников без их согласия или компенсации.
Ранее исследование показало, что люди не могут отличить ИИ-видео от реальных.
