ElevenLabs випустила ШІ, здатний додавати звуки до відео від створеної OpenAI системи Sora

Після виходу нової моделі ШІ Sora від OpenAI, яка здатна генерувати німі відео на основі текстових підказок, ElevenLabs створила ШІ, що додає фонові звуки до цих кадрів

Про це повідомляє New Atlas.

Стартап з клонування голосу за допомогою ШІ ElevenLabs був заснований колишнім інженером машинного навчання Google Пьотром Дабковскі. 

Наразі компанія працює над новою розробкою, яка, як повідомляється, може генерувати звуки для супроводу німих відеоматеріалів на основі опису сцени, наданого користувачем.

"Ми використовували текстові підказки, такі як "плескіт хвиль", "брязкіт металу", "цвірінькання птахів" і "двигун гоночного автомобіля", щоб згенерувати звук, який ми наклали на деякі з наших улюблених кліпів з анонсу OpenAI Sora", - пояснює компанія у своєму блозі.

Що саме буде у звукових ефектах від ElevenLabs, поки що не розкривається, але в демонстраційному ролику показано кілька відеокліпів, згенерованих Sora, які супроводжуються досить реалістичними фоновими звуками - від кроків на жвавій вулиці до кіношної розповіді, озвученої голлівудським рекламним голосом.

У виданні зазначили, що як і у випадку з Sora, безсумнівно, будуть певні недоліки, які потрібно буде доопрацювати, а також захист від шахрайства та протоколи безпеки.