Comments | anhinga_anhinga: 9 months since GPT-3 revolution

anhinga_anhinga

9 months since GPT-3 revolution

Feb 28, 2021 03:56

On May 28, 2020 OpenAI published the GPT-3 paper, "Language Models are Few-Shot Learners", https://arxiv.org/abs/2005.14165Read more... )

Leave a comment

Back to all threads

vvagr February 28 2021, 10:45:00 UTC

Не вижу, в каком смысле может "вдруг" появиться "True AI". И что это вообще такое.

А в остальном согласен :-)

anhinga_anhinga February 28 2021, 17:00:57 UTC

Я думаю, что можно сформулировать две узкие задачи. Одна - сделать искусственного программиста на таком уровне, чтобы его, для начала, можно было бы нанимать в корпорации вместо, ну хотя бы, обычных младших программистов (понятное дело, настраемого, чтобы было некоторое разнообразие в популяции таких систем). Это - важная задача, программистов всем не хватает ( ... )

vvagr February 28 2021, 17:49:02 UTC

Если мои представления о ML верны, то в OpenAI, DeepMind & FB уже некоторое время задействованы автоматические системы, проектирующие другие системы на уровне архитектур, обучающие их и гибридизирующие.

Не вижу, чем это не описанный тобой AI researcher.

Насколько я опять-таки понимаю, эти системы гарантированно перешли описанный Винджем рубеж - их работу не понимают ни их создатели, ни создатели их создателей. Однако сингулярности пока нет...

anhinga_anhinga February 28 2021, 19:16:38 UTC

Системы-то есть, но всё, что они делают, это ускоряют и улучшают сходимость при тренировке. То есть, это очень ограниченный класс задач... Это по духу ближе к оптимизируещей части оптимизирующего компилятора, чем к AI researcher, это даже не программист, это что-то вроде очень-очень умного генератора улучшенных оптимизирующих компиляторов ( ... )

vvagr February 28 2021, 21:24:43 UTC

А ты не подменяешь словами "проще" и "сложнее ", слова "меньше" и "больше"? То есть нынешние системы сильно меньше человеческого мозга, и поэтому пока можно быть уверенными , что они проще. Но мы не можем быть уверены в том, что ещё при относительно небольшом росте размера (по крайней мере, недотягивающем до человека) уже может возникнуть нечто более сложное? Воспользовавшись классическим примером для этой области, истребитель пятого поколения с обратной стреловидностью крыла всё ещё меньше птички по числу деталей (включая транзисторы на чипах), но его умения уже лежат в иной сфере, для птички непостижимой.

anhinga_anhinga February 28 2021, 21:46:17 UTC

Тут я с тобой вполне согласен - я просто упрощаю. И уже неочевидно, что мы, на самом деле, можем понять все тайны текущих систем без радикального усиления наших способностей ( ... )

Back to all threads