У Великій Британії вчені представили нейромережу, яка перетворює текст на відео з жестовою мовою

У Великій Британії вчені Університету Суррея представили алгоритм, який може перетворити текст на відео з людиною, яка показуватиме текст жестовою мовою

Відповідну статтю опублікували на ресурсі препринтів arXiv.

Зазначається, що розробники створили алгоритм, який може перекладати текст жестовою мовою. Зокрема нейромережа окремо навчається якісно вимальовувати кисті рук, бо саме вони важливі для точно сурдоперекладу.

"Далі текст проходить через кодування та перетворюється у скелетну модель тіла, яка показує текст жестами. Після цього послідовність поз кодується в вектор, а він об'єднується з зображенням людини, яке потрібно анімувати. Тоді послідовність поз передається на нейромережу U-Net, яка перетворює зміну поз на реалістичне відео", - йдеться в повідомленні.

Як зауважили розробники, створений алгоритм також вдосконалює свої навички. Він аналізує, наскільки вдало створив скелетну модель тіла, та робить її кращої наступного разу.

"Роботу нейромережі перевірили на записах роботи перекладачів жестової німецької мови. Виявилося, що алгоритм досягнув значної схожості з зображенням жестів сурдоперекладачами, зокрема алгоритм точно відтворював рухи кистей", - йдеться в повідомленні.

Слідкуйте за подіями в Україні та світі разом з Еспресо! Підписуйтесь на Telegram-канал: https://t.me/espresotb

новини партнерів

23 січня, 2021 субота

Відео

Введіть слово, щоб почати