Створено програму для читання по губах

Про це пише Tech Today з посиланням на The Verge.

Використовуючи тисячі годин телевізійних шоу каналу BBC, учені навчили нейронну мережу читати відеокадри з точністю до 46,8%. Це може здатися не таким вражаючим успіхом на перших порах – особливо в порівнянні з показниками точності штучного інтелекту при розшифровці аудіо. Але під час експериментів людина, що читала по губам, продемонструвала утричі нижчу точність –12,4%.

Дослідження DeepMind схоже на технологію, яку ще на початку листопада продемонстрували вчені Оксфордського університету. Застосувавши нову технологію, вчені змогли створити програму для читання губ під назвою LipNet, яка досягла точності 93,4%точності в тестах, в порівнянні з людським результатом у 52,3%.

Однак LipNet випробовувалася тільки на спеціально записаних кадрах, в яких були задіяні добровольці, що промовляли шаблонні фрази. Для порівняння, програмне забезпечення DeepMind, назване «Watch, Listen, Attend, and Spell», тестувалося на набагато складніших кадрах, де було потрібно розшифровувати балачки з політичних шоу на каналі BBC.

Для тренування програми «Watch, Listen, Attend, and Spell» було використано понад 5000 годин відео з телевізійних шоу.

Дослідники DeepMind вважають, що програма може мати безліч застосувань, в тому числі допомагати людям з порушеннями слуху. ПЗ також може бути використано для озвучування німих фільмів або керування цифровими помічниками, такими як Siri або Alexa. Наприклад, це дало б змогу використовувати Siri в громадських місцях, пошепки промовляючи команди у камеру.

Але коли більшість людей дізнаються, що програма навчилася читати по губах, їх першою думкою стає те, що вона може бути використана для стеження. Дослідники говорять, що існує велика різниця в читанні по губах на основі чіткого зображення в ТВ-шоу і низькоякісним відео з камер спостереження.