Как организован прогресс в AI и почему там всё быстро
Рассказывал вчера о том, что новенького в организации R&D по искусственному интеллекту по сравнению с разными другими "отраслями" (industries, хотя тут можно говорить и эко-системами или выдумывать ещё какие слова). Вот кратенько, просто чтобы было:
1. Basic research проходят peer review главным образом не через журналы, а через конференции (журналы тут больше исключения и мало кого волнуют, хотя всякие DeepMind время от времени публикуются в Nature, но это уж больше пиар, чем "для дела"). При этом публикации идут в arxiv.org, и немедленно. Конференочный peer review обычно тоже открыт для публики, плюс непрерывно обсуждается субъективный характер принятия-непринятия статьи на конференцию и делаются вялые попытки поднять скорость и качество отбора. Итого: экономия года по распространению новых знаний после момента появления этого знания.
2. Публикации выполняют несколько простых правил:
-- если ты не применил новый способ, получающий state-of-the-art по точности или производительности, то нет предмета публикации (и тут вечные споры конечно, тем не менее).
-- если ты сказал "ваши способы это частные случаи моего способа", то нет предмета публикации -- если только твоё обобщение не помогло после этого поднять state-of-the-art. Обобщателей много, но нужно показывать, зачем обобщение в плане достижения state-of-the-art.
-- мало дать формулы, нужно ещё опубликовать код, и указать набор данных, чтобы люди могли повторить. И они повторяют, чуть ли не в тот же день, и часто уже не просто воспроизводя примеры твоим кодом, а каким-то своим на других языках-пакетах. Все феномены типа gitxiv.com про это, хотя и просто взаимные ссылки блогпоста (там принято собирать комменты и популярно писать расширенные abstracts), кода и данных в github и статьи в arxive вполне работают.
-- если сделал вообще что-то новое, и state-of-the-art нету, то давай любое левое сравнение с любым левым способом решения (базис) и набор данных, и свой первый результат как state-of-the-art. Но только если ты сделал вообще что-то новое. А вот предложить сделать что-то новое, и всё -- вот этого нельзя. State-of-the-art должен быть, и он должен быть посчитан. Кроме идеи должна быть реализация с демонстрацией работоспособности на каких-то данных.
-- спорт идёт по двум направлениям: точность против скорости-с-памятью, можно не улучшить или даже чуть ухудшить одно при достижении рекорда в другом (ибо редко удаётся улучшить оба-двое). Особенность в том, что скорость-с-памятью тоже идут в зачёт: эффективность не менее значима, чем собственно результат. И это спорт: публикуются только новые рекорды, а не-рекорды не достойны публикации. Голы-очки-секунды, пьедесталы почёта в виде завлабства и прочих пряников.
-- интернет не даёт всем опубликованным новинкам потеряться, плюс добавляет широкие возможности по обсуждению мимо конференций и формальных peer review, популярностью пользуются несколько еженедельных newsletters с "супер-пупер-новинками" -- и крутых новостей за неделю набегает более чем достаточно. А ещё есть огромное число пузомерок (типа той же Kaggle или наших хакатонов DeepHack). UPDATE: почитайте обязательно, как весь этот компот с публикациями-соревнованиями-образованием-устройством на работу варится (правда, разобраться смогут только те, кто уже и так про эту механику знают, тем не менее: https://habrahabr.ru/company/ods/blog/330118/. Вообще, в этой статье довольно много помянуто из тех механизмов, которые я разбираю в своём посте).
3. Связь с производством обеспечивается несколькими путями:
-- при крупных фирмах есть профильные отделы development и лаборатории research. В лаборатории 70% учёных и 30% инженеров, в профильных отделах 70% инженеров и 30% учёных. И постоянные обмены людьми между ними. И главы лабораторий не потеряли связи с университетами, там тоже постоянные обмены людьми. Публикации от фирм обычное дело, фирмы присылают на конференции команды по 200 человек (тот же Гугль), закрытые компании дожимаются до этого состояния разве что не бойкотом (как Apple).
-- основные фреймворки доработаны до состояния, когда исследовательская работа R&D и выход в production осуществляются чуть ли не одним и тем же кодом. "Проблема двух языков" (один быстрый для прототипирования, но медленный в работе, а другой медленный в кодировании, но быстрый в исполнении) тем самым устраняется абсолютно целенаправленными усилиями. На это направлена вся инфраструктура. Один код нейросетки, одна модель будет работать у исследователя на десктопе и в продакшн в облаке, а ещё в embedded system где-нибудь на малютке NVIDIA TX2. И главное, что все эти фреймворки выложены в open source.
4. Источники финансирования
-- государство тут не нужно, ибо медленно и не успевает, и там не слишком много денег -- даже в университетах, если не рассматривать связи университетов с промышленностью. Играют же крупные фирмы: Гугль, Амазон, Фейсбук, Майкрософт, IBM, Tesla, Apple. Они могут поспорить своими капитализациями и возможности их финансового манёвра в области AI более чем широки. С другой стороны, дело новое, и всегда есть шанс новой компании стать новым лидером после нахождения killer application и изобретения новой технологии. Так что тут явная и опережающая поддержка частным бизнесом, а не государством.
-- спецвенчурные фонды и акселераторы в крупнейших фирмах (например, в Alphabet, NVIDIA и т.д.). Ну, и "простые венчурные парни" тоже уже развернулись в эту сторону и метут всё, что шевелится.
5. Платформенный принцип организации целевых систем с первых же шагов, что обеспечивает эффективное разделение труда (см. мой текст про болванов для искусственного интеллекта -- http://ailev.livejournal.com/1356016.html). Платформы позволяют разным уровням интеллект-стека развиваться самостоятельно, разными командами: модули и стабильные интерфейсы это наше всё при построении больших систем.
6. Новые кадры идут не столько через университеты (хотя и это тоже), сколько поначалу самоходно -- в Сети более чем достаточно учебных материалов от "лучших людей", наборов данных, инструментального кода. Есть даже странные феномены типа "я тут вчера научил свою первую нейронную сетку, и написал тьюториал для тех, кто идёт по моим стопам" (и эти тьюториалы пользуются почему-то не меньшей популярностью, чем тьюториалы от "лучших людей"). Единственная трудность -- это четыре семестра матана никуда из учебного процесса выкинуть нельзя, и учебный пайплайн оказывается чуток подольше, чем можно ожидать.
7. Про то, что обучение становится всё более и более устойчивым, а интерфейсы всё более и более доступными я не говорю -- но уже я слышал жалобы, что "вот пришли студенты, развернули за три дня не-пойми-что и получили результаты лучше, чем я добился за последнюю пару лет". Это лучшая реклама достижениям новой эко-системы.
Всем остальным "организаторам науки" смотреть на этих ребят, и учиться-учиться-учиться. Ведь эти стандарты поведения по организации "рынка" (или области исследований, или отрасли, или экосистемы, или сферы деятельности -- выбирайте слова сами, нет ещё таких зверей) задало буквально несколько корифеев, которые показывали личный пример и задавали планку в выстраивании всех этих довольно сложных отношений между исследователями внутри себя, исследователями и бизнесом, исследователями и инфраструктурой (те же "научные журналы" с их поборами). Даже computer science много-много лет (включая прямо сейчас) устроена по-другому.
Это я ещё не всё рассказал, дополняйте.
UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210779960349152
1. Basic research проходят peer review главным образом не через журналы, а через конференции (журналы тут больше исключения и мало кого волнуют, хотя всякие DeepMind время от времени публикуются в Nature, но это уж больше пиар, чем "для дела"). При этом публикации идут в arxiv.org, и немедленно. Конференочный peer review обычно тоже открыт для публики, плюс непрерывно обсуждается субъективный характер принятия-непринятия статьи на конференцию и делаются вялые попытки поднять скорость и качество отбора. Итого: экономия года по распространению новых знаний после момента появления этого знания.
2. Публикации выполняют несколько простых правил:
-- если ты не применил новый способ, получающий state-of-the-art по точности или производительности, то нет предмета публикации (и тут вечные споры конечно, тем не менее).
-- если ты сказал "ваши способы это частные случаи моего способа", то нет предмета публикации -- если только твоё обобщение не помогло после этого поднять state-of-the-art. Обобщателей много, но нужно показывать, зачем обобщение в плане достижения state-of-the-art.
-- мало дать формулы, нужно ещё опубликовать код, и указать набор данных, чтобы люди могли повторить. И они повторяют, чуть ли не в тот же день, и часто уже не просто воспроизводя примеры твоим кодом, а каким-то своим на других языках-пакетах. Все феномены типа gitxiv.com про это, хотя и просто взаимные ссылки блогпоста (там принято собирать комменты и популярно писать расширенные abstracts), кода и данных в github и статьи в arxive вполне работают.
-- если сделал вообще что-то новое, и state-of-the-art нету, то давай любое левое сравнение с любым левым способом решения (базис) и набор данных, и свой первый результат как state-of-the-art. Но только если ты сделал вообще что-то новое. А вот предложить сделать что-то новое, и всё -- вот этого нельзя. State-of-the-art должен быть, и он должен быть посчитан. Кроме идеи должна быть реализация с демонстрацией работоспособности на каких-то данных.
-- спорт идёт по двум направлениям: точность против скорости-с-памятью, можно не улучшить или даже чуть ухудшить одно при достижении рекорда в другом (ибо редко удаётся улучшить оба-двое). Особенность в том, что скорость-с-памятью тоже идут в зачёт: эффективность не менее значима, чем собственно результат. И это спорт: публикуются только новые рекорды, а не-рекорды не достойны публикации. Голы-очки-секунды, пьедесталы почёта в виде завлабства и прочих пряников.
-- интернет не даёт всем опубликованным новинкам потеряться, плюс добавляет широкие возможности по обсуждению мимо конференций и формальных peer review, популярностью пользуются несколько еженедельных newsletters с "супер-пупер-новинками" -- и крутых новостей за неделю набегает более чем достаточно. А ещё есть огромное число пузомерок (типа той же Kaggle или наших хакатонов DeepHack). UPDATE: почитайте обязательно, как весь этот компот с публикациями-соревнованиями-образованием-устройством на работу варится (правда, разобраться смогут только те, кто уже и так про эту механику знают, тем не менее: https://habrahabr.ru/company/ods/blog/330118/. Вообще, в этой статье довольно много помянуто из тех механизмов, которые я разбираю в своём посте).
3. Связь с производством обеспечивается несколькими путями:
-- при крупных фирмах есть профильные отделы development и лаборатории research. В лаборатории 70% учёных и 30% инженеров, в профильных отделах 70% инженеров и 30% учёных. И постоянные обмены людьми между ними. И главы лабораторий не потеряли связи с университетами, там тоже постоянные обмены людьми. Публикации от фирм обычное дело, фирмы присылают на конференции команды по 200 человек (тот же Гугль), закрытые компании дожимаются до этого состояния разве что не бойкотом (как Apple).
-- основные фреймворки доработаны до состояния, когда исследовательская работа R&D и выход в production осуществляются чуть ли не одним и тем же кодом. "Проблема двух языков" (один быстрый для прототипирования, но медленный в работе, а другой медленный в кодировании, но быстрый в исполнении) тем самым устраняется абсолютно целенаправленными усилиями. На это направлена вся инфраструктура. Один код нейросетки, одна модель будет работать у исследователя на десктопе и в продакшн в облаке, а ещё в embedded system где-нибудь на малютке NVIDIA TX2. И главное, что все эти фреймворки выложены в open source.
4. Источники финансирования
-- государство тут не нужно, ибо медленно и не успевает, и там не слишком много денег -- даже в университетах, если не рассматривать связи университетов с промышленностью. Играют же крупные фирмы: Гугль, Амазон, Фейсбук, Майкрософт, IBM, Tesla, Apple. Они могут поспорить своими капитализациями и возможности их финансового манёвра в области AI более чем широки. С другой стороны, дело новое, и всегда есть шанс новой компании стать новым лидером после нахождения killer application и изобретения новой технологии. Так что тут явная и опережающая поддержка частным бизнесом, а не государством.
-- спецвенчурные фонды и акселераторы в крупнейших фирмах (например, в Alphabet, NVIDIA и т.д.). Ну, и "простые венчурные парни" тоже уже развернулись в эту сторону и метут всё, что шевелится.
5. Платформенный принцип организации целевых систем с первых же шагов, что обеспечивает эффективное разделение труда (см. мой текст про болванов для искусственного интеллекта -- http://ailev.livejournal.com/1356016.html). Платформы позволяют разным уровням интеллект-стека развиваться самостоятельно, разными командами: модули и стабильные интерфейсы это наше всё при построении больших систем.
6. Новые кадры идут не столько через университеты (хотя и это тоже), сколько поначалу самоходно -- в Сети более чем достаточно учебных материалов от "лучших людей", наборов данных, инструментального кода. Есть даже странные феномены типа "я тут вчера научил свою первую нейронную сетку, и написал тьюториал для тех, кто идёт по моим стопам" (и эти тьюториалы пользуются почему-то не меньшей популярностью, чем тьюториалы от "лучших людей"). Единственная трудность -- это четыре семестра матана никуда из учебного процесса выкинуть нельзя, и учебный пайплайн оказывается чуток подольше, чем можно ожидать.
7. Про то, что обучение становится всё более и более устойчивым, а интерфейсы всё более и более доступными я не говорю -- но уже я слышал жалобы, что "вот пришли студенты, развернули за три дня не-пойми-что и получили результаты лучше, чем я добился за последнюю пару лет". Это лучшая реклама достижениям новой эко-системы.
Всем остальным "организаторам науки" смотреть на этих ребят, и учиться-учиться-учиться. Ведь эти стандарты поведения по организации "рынка" (или области исследований, или отрасли, или экосистемы, или сферы деятельности -- выбирайте слова сами, нет ещё таких зверей) задало буквально несколько корифеев, которые показывали личный пример и задавали планку в выстраивании всех этих довольно сложных отношений между исследователями внутри себя, исследователями и бизнесом, исследователями и инфраструктурой (те же "научные журналы" с их поборами). Даже computer science много-много лет (включая прямо сейчас) устроена по-другому.
Это я ещё не всё рассказал, дополняйте.
UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210779960349152