Про це повідомляє МІТ Тechnology Review.
Спочатку вчені хотіли розробити систему, здатну розпізнавати расистські пости в Twitter. Однак незабаром вони виявили, що значення деяких повідомлень не можна зрозуміти, не розпізнаючи сарказму.
Алгоритм використовує технологію глибокого навчання - нейромережу вчать розпізнавати крихітні патерни за допомогою великої кількості метаданих. Багато твітів містять щось схоже на смайли-емодзі. Коли вчені скористалися цим для навчання системи, вона одразу стала краще розуміти сарказм. Нейромережа знайшла зв'язок між мовним стилем і смайлами.
Щоб натренувати алгоритм, названий DeepMoji, дослідники зібрали 55 млрд твітів і відібрали 1,2 млрд - в них містилися деякі комбінації з 64 популярних емодзі.
Для початку вони навчили систему передбачати, який зі смайлів буде використовуватися при певному повідомленні, в залежності від того, яке воно - сумне, радісне, веселе і т. Д. Після цього систему навчали ідентифікувати сарказм за допомогою існуючого набору даних.
Випробування DeepMoji пройшли успішно. Вчені виявили, що алгоритм функціонує краще, ніж ті, що існували до нього.