Как организован прогресс в AI и почему там всё быстро

[ailev]

Рассказывал вчера о том, что новенького в организации R&D по искусственному интеллекту по сравнению с разными другими "отраслями" (industries, хотя тут можно говорить и эко-системами или выдумывать ещё какие слова). Вот кратенько, просто чтобы было

Comments

[thagastan]

6 !!!

[avlasov]

Многие ключевые статьи вообще не про стейт-ов-зе-арт.

[ailev]

А вот не соглашусь. Исключений, конечно, полно -- но тренд именно в том, что все "ключевые догадки" обычно уже подтверждаются экспериментом, и эксперименты показывают мощь догадки и что эта догадка улучшает.

[wesel]

Прямо скажем, что скорость, стоимость и точность feedback loop - не заслуга области, а подарок судьбы, которым пришлось пользоваться или вон из профессии. В большинстве областей это невозможно в принципе (и без принципа) - вон, инициативы медицинские привели к тому, что по проблеме лечения рака тоже общаются в режиме реального времени, если я правильно помню. Однако при условии необходимости для фидбэка хотя бы мышей и месяцев - такую скорость не разовьешь.

[ailev]

Опыт системной и программной инженерии показывает, что сначала что-то в организационной действительности появляется там, где работают с битами (и все кричат, что с железом номер не пройдёт), а с лагом 10-15 лет эти же принципы как-то ухитряются начинать применять и к железным проектам. Так что и с мышами будут изменения, никуда не денутся.

[surmenok]

>>gitxiv.org
gitxiv.com

Спасибо за ссылку, раньше не видел.
Кстати, код и данные дают в публичный доступ далеко не всегда. Например, в последней работе гугла про image classification на 300 миллионах каинок, они полбзуют приватный датасет. https://research.googleblog.com/2017/07/revisiting-unreasonable-effectiveness.html
А в коде "sentiment neuron" работы они не включили код для тренировки, опубликовали только код для inference. https://github.com/openai/generating-reviews-discovering-sentiment Но, надо сказать, очень быстро находятся добровольцы которые пишут на основе пэйпера код и публикуют его.

[ailev]

Ой, конечно .com -- писал в поезде без интернета и в беспамятстве )))

Код и данные дают очень и очень часто, просто иногда делают (по соглашению с фирмой) задержку в полгода кода и данных по сравнению со статьёй. Так сказать, ищут компромисс академических и бизнес-интересов.

[ailev]

Вот вдогонку: публикация расширенного набора данных для статьи -- а статья 2016 года, публикация вчера: в четверг 20 июля, https://research.googleblog.com/2017/07/an-update-to-open-images-now-with.html

Всё потихоньку идёт кубарем, и эти публикации существенно двигают дело и ускоряют прогресс на годы и годы.

[roman_rogalyov]

Подброшу ссылку в тему:
http://vteninn.livejournal.com/99709.html