Антон Кузнецов про интервью с Ильей Суцкевером
Наконец-то добрался до интервью с Ильей Суцкевером, главный «мозг» Open AI, во многом благодаря ему существуют современные версии GPT.
1. Он интересно говорит, что его мотивация состояла из посылки, что искусственная нейронная сеть принципиально не отличается от биологической, и если маленькая нейронка может выполнять задачи искусственного зрения, то что может сделать большая. Он ставит акцент на развитии полезного AGI, главным свойством которого является автономность. Это неизменная цель Open AI
2. Становление Open AI не “open”, что заметили все, и переход от nonprofit на коммерческие рельсы, он связывает с банальным вопросом необходимости громадных вычислительных мощностей и требуемых для этих вычислений громадных денег (немного спустя после интервью Open AI заявила о проблемах в связи с нехваткой вычислительных мощностей).
3. Главная проблема развития генеративного ИИ - это проблема ограничения данных. Главная проблема самого ИИ - это его проблема надежности (reliability). При всем прогрессе ИИ все еще очень не надежен. Он называет надежность бутылочным горлышком.
4. Сейчас еще рано говорить о каких-то больших результатах генеративного ИИ, потому что его применение в основном не превышает «развлекательных» задач. И это при громадных вливаний в вычисления. (Будет иронично, что в итоге окажется содержать коллектив людей выгоднее, чем иметь крутейший ИИ).
5. Когда Илью спросили о главном удивлении от GPT, он сказал, что «все это вообще работает». В 2016-17 гг область машинного обучения была в большой степени академической, он называет это «каменным веком», пока не появилась идея трансформерной архитектуры, которая позволяла нейронке делать предсказания о следующих «словах». Магия в том, что тренируя эти предсказания оказалось возможным добиться огромных результатов.
6. В мозге Илью удивляет пластичность и обширные компенсаторные функции. Он приводит пример операции гемисферэктомия, когда удаляют целое полушарие (правда, так сейчас стараются уже не делать, оставляя «отсеченное»полушарие на месте). И после такого можно восстановится. На нейронках это очевидно не работает. Пластичность и компенсаторные способности - это главные отличия биологического мозга от искусственных нейронок.
В целом Илья очень оптимистичен. Попросил GPT красиво оформить этот пост … в общем ну его, пока кожаный должен работать.
Антон Кузнецов | Философ
1. Он интересно говорит, что его мотивация состояла из посылки, что искусственная нейронная сеть принципиально не отличается от биологической, и если маленькая нейронка может выполнять задачи искусственного зрения, то что может сделать большая. Он ставит акцент на развитии полезного AGI, главным свойством которого является автономность. Это неизменная цель Open AI
2. Становление Open AI не “open”, что заметили все, и переход от nonprofit на коммерческие рельсы, он связывает с банальным вопросом необходимости громадных вычислительных мощностей и требуемых для этих вычислений громадных денег (немного спустя после интервью Open AI заявила о проблемах в связи с нехваткой вычислительных мощностей).
3. Главная проблема развития генеративного ИИ - это проблема ограничения данных. Главная проблема самого ИИ - это его проблема надежности (reliability). При всем прогрессе ИИ все еще очень не надежен. Он называет надежность бутылочным горлышком.
4. Сейчас еще рано говорить о каких-то больших результатах генеративного ИИ, потому что его применение в основном не превышает «развлекательных» задач. И это при громадных вливаний в вычисления. (Будет иронично, что в итоге окажется содержать коллектив людей выгоднее, чем иметь крутейший ИИ).
5. Когда Илью спросили о главном удивлении от GPT, он сказал, что «все это вообще работает». В 2016-17 гг область машинного обучения была в большой степени академической, он называет это «каменным веком», пока не появилась идея трансформерной архитектуры, которая позволяла нейронке делать предсказания о следующих «словах». Магия в том, что тренируя эти предсказания оказалось возможным добиться огромных результатов.
6. В мозге Илью удивляет пластичность и обширные компенсаторные функции. Он приводит пример операции гемисферэктомия, когда удаляют целое полушарие (правда, так сейчас стараются уже не делать, оставляя «отсеченное»полушарие на месте). И после такого можно восстановится. На нейронках это очевидно не работает. Пластичность и компенсаторные способности - это главные отличия биологического мозга от искусственных нейронок.
В целом Илья очень оптимистичен. Попросил GPT красиво оформить этот пост … в общем ну его, пока кожаный должен работать.
Антон Кузнецов | Философ