Про це пише журнал Science.
Така "прихованість" призводить до того, що відтворити результати роботи майже неможливо, а отже, не можна влаштувати повноцінне порівняння або організувати роботу по поліпшенню результатів.
Видання посилається на дослідження професора Норвезького університету природних і технічних наук Одда Еріка Гюндерсена. Той вивчив 400 робіт в сфері штучного інтелекту, представлених на конференціях протягом декількох останніх років.
Виявилося, що тільки в 6% з них представлений вихідний код. Половина робіт йде з обмеженим описом алгоритму, представленому в форматі псевдокоду. І лише третина вчених поділилася даними, на яких проводились дослідження.
Гюндерсен вважає це великою проблемою, близькою до кризи. Неможливість відтворити експерименти з ШІ інших вчених ставить їх результати під сумнів.
Крім кризи довіри, така практика і в цілому гальмує всю область машинного навчання. До слова, раніше з кризою відтворюваності зіткнулися психологія, медицина та деякі інші галузі науки.
Але вважалося, що область, пов'язана з ШІ, захищена від цього, адже завжди є вихідний код, є дані - все це дозволяє відтворювати експерименти до найдрібніших подробиць. Але на практиці все інакше.
Дослідники знаходять тисячі причин, щоб не публікувати тренувальну вибірку і вихідний код, пише видання. Вони починаються з об'єктивних - угода про нерозголошення або бажання обігнати конкурентів - і закінчуються "дитячими" відмовками, начебто, "у нас полетів жорсткий диск з даними".
І Гюндерсен, і Science розуміють причини, що перешкоджають публікації вихідних даних, але протестують проти того, щоб це гальмувало розвиток технологій.
Інші вчені, наприклад, Пітер Хендерсон з Університету МакГілл в Монреалі, зазначають, що саме в області машинного навчання і штучного інтелекту особливо важливі точні вихідні дані.
Говорячи "точні, він має на увазі збіг до останнього знака в коді. Він також має на увазі, що дані для тренування алгоритму повинні бути представлені. Свою думку він підтверджує на прикладах, запускаючи один і той же алгоритм з найменшими змінами в тренувальній вибірці або в коді.
За описом, це як і раніше одна і та ж програма, але результати абсолютно протилежні. Тому Science, Гюндерсен і його колеги дійшли висновку, що без вихідного коду повноцінне порівняння і реакція на роботи в сфері ШІ інших вчених неможлива.
Читайте також: Всі говорять про штучний інтелект. Простими словами пояснимо, що це