Компания по созданию видео и 3D-моделей с помощью искусственного интеллекта Luma выпустила новую нейросеть Ray3 Modify.
Инструмент позволяет изменять существующие видео с применением референсных изображений персонажей и сохранением актерской игры из оригинального ролика.
Пользователи могут указать начальный и конечный кадры, чтобы модель сгенерировала промежуточные материалы.
Компания заявила, что Ray3 Modify решает проблемы сохранения характеристик человека при редактировании или генерации эффектов. LLM лучше следует исходному видео, сохраняя оригинальные движения, тайминг, направление взгляда и передачу эмоций. Это позволяет студиям использовать живых актеров в креативных роликах.
С помощью нового решения пользователи могут задать референс персонажа для трансформации видео, изменив внешность человека. Информация о костюмах, внешнем сходстве и идентичности сохраняется на протяжении всей съемки.
«Генеративные видеомодели невероятно выразительны, но их сложно контролировать. Ray3 Modify сочетает в себе насыщенность и реальный мир, предоставляя творческим специалистам полную власть. Они могут снимать выступления на камеру, а затем сразу же изменять их: трансформировать локацию, костюмы или даже “переснимать” сцену с помощью ИИ без повторного физического присутствия», — заявил соучредитель и CEO Luma AI Амит Джейн.
Новая модель доступна на платформе Dream Machine. Релиз совпал с привлечением $900 млн инвестиций в раунде, который возглавила саудовская Humain. К финансированию также присоединились действующие инвесторы проекта: a16z, Amplify Partners и Matrix Partners.
Стартап планирует построить ИИ-кластер на 2 ГВт в Саудовской Аравии вместе с Humain.
Напомним, в мае американские технологические фирмы заключили соглашение с компанией из арабской страны для масштабного развития сферы искусственного интеллекта в регионе.
В декабре ИИ-стартап Runway выпустил новую видеомодель Gen 4.5, которая превосходит аналогичные решения от конкурентов в независимом тестировании.
