Розвиток технологій гальмують програмісти, що приховують свій код, - дослідження

Про це пише журнал Science. 

Така "прихованість" призводить до того, що відтворити результати роботи майже неможливо, а отже, не можна влаштувати повноцінне порівняння або організувати роботу по поліпшенню результатів.

Видання посилається на дослідження професора Норвезького університету природних і технічних наук Одда Еріка Гюндерсена. Той вивчив 400 робіт в сфері штучного інтелекту, представлених на конференціях протягом декількох останніх років.

Виявилося, що тільки в 6% з них представлений вихідний код. Половина робіт йде з обмеженим описом алгоритму, представленому в форматі псевдокоду. І лише третина вчених поділилася даними, на яких проводились дослідження.

Гюндерсен вважає це великою проблемою, близькою до кризи. Неможливість відтворити експерименти з ШІ інших вчених ставить їх результати під сумнів.

Крім кризи довіри, така практика і в цілому гальмує всю область машинного навчання. До слова, раніше з кризою відтворюваності зіткнулися психологія, медицина та деякі інші галузі науки.

Але вважалося, що область, пов'язана з ШІ, захищена від цього, адже завжди є вихідний код, є дані - все це дозволяє відтворювати експерименти до найдрібніших подробиць. Але на практиці все інакше.

Дослідники знаходять тисячі причин, щоб не публікувати тренувальну вибірку і вихідний код, пише видання. Вони починаються з об'єктивних - угода про нерозголошення або бажання обігнати конкурентів - і закінчуються "дитячими" відмовками, начебто, "у нас полетів жорсткий диск з даними".

І Гюндерсен, і Science розуміють причини, що перешкоджають публікації вихідних даних, але протестують проти того, щоб це гальмувало розвиток технологій.

Інші вчені, наприклад, Пітер Хендерсон з Університету МакГілл в Монреалі, зазначають, що саме в області машинного навчання і штучного інтелекту особливо важливі точні вихідні дані.

Говорячи "точні, він має на увазі збіг до останнього знака в коді. Він також має на увазі, що дані для тренування алгоритму повинні бути представлені. Свою думку він підтверджує на прикладах, запускаючи один і той же алгоритм з найменшими змінами в тренувальній вибірці або в коді.

За описом, це як і раніше одна і та ж програма, але результати абсолютно протилежні. Тому Science, Гюндерсен і його колеги дійшли висновку, що без вихідного коду повноцінне порівняння і реакція на роботи в сфері ШІ інших вчених неможлива.

Читайте також: Всі говорять про штучний інтелект. Простими словами пояснимо, що це

• Фахівцями з японських університетів Тохоку і Хокайдо був розроблений робот, який може адаптуватися до фізичних каліцтв і показувати емоції болю. 
• Штучний інтелект створив власну релігію: фізик Джанель Шейн за допомогою нейромережі вирішила перевірити, що буде, якщо поєднати декілька людських вірувань і звести їх у єдину систему
• Вчені завантажили "мозок" хробака в робота, і той самотужки взяв його під контроль: вони створили біологічно достовірну модель нейронної мережі круглого черв'яка і завантажили в простого робота з Lego.
• Лабораторія реактивного руху NASA в Каліфорнії провела експеримент, щоб з'ясувати, хто швидше і краще керує безпілотним літальним апаратом - штучний інтелект чи професійний пілот.
• Вчені Каліфорнійського університету навчили штучний інтелект визначати, як будуть розвиватися відносини пари, ґрунтуючись на записи їхніх голосів.