Про це повідомляє VentureBeat.
Новий інструмент під назвою Equilid, за даними розробників, є більш точним, ніж наявні у використанні засоби ідентифікації langid.py і CLD2 від Google.
Equilid навчали на Вікіпедії, Urban Dictionary, Twitter, і новинних сайтах. Він може розпізнавати майже 98 млн твітів від 1,5 млн користувачів 53 мовами.
На думку розробників, більш ефективна ідентифікація мови може допомогти виявляти навіть небезпечні тенденції в розвитку інфекційних захворювань.
Крім того, алгоритм підвищує точність розпізнавання мови і може знаходити закономірності - наприклад, ідентифікувати упередження проти раси або статі.