Відповідну статтю опублікували на ресурсі препринтів arXiv.
Зазначається, що розробники створили алгоритм, який може перекладати текст жестовою мовою. Зокрема нейромережа окремо навчається якісно вимальовувати кисті рук, бо саме вони важливі для точно сурдоперекладу.
"Далі текст проходить через кодування та перетворюється у скелетну модель тіла, яка показує текст жестами. Після цього послідовність поз кодується в вектор, а він об'єднується з зображенням людини, яке потрібно анімувати. Тоді послідовність поз передається на нейромережу U-Net, яка перетворює зміну поз на реалістичне відео", - йдеться в повідомленні.
Як зауважили розробники, створений алгоритм також вдосконалює свої навички. Він аналізує, наскільки вдало створив скелетну модель тіла, та робить її кращої наступного разу.
"Роботу нейромережі перевірили на записах роботи перекладачів жестової німецької мови. Виявилося, що алгоритм досягнув значної схожості з зображенням жестів сурдоперекладачами, зокрема алгоритм точно відтворював рухи кистей", - йдеться в повідомленні.
Слідкуйте за подіями в Україні та світі разом з Еспресо! Підписуйтесь на Telegram-канал: https://t.me/espresotb