Поиск-ориентированная системная инженерия, 2019

[ailev]

Важное замечание от Rich Sutton, что весь прогресс в AI в конечном итоге определяется грубой вычислительной силой, а не хитрой алгоритмикой -- The Bitter Lesson, 13 марта 2019, http://www.incompleteideas.net/IncIdeas/BitterLesson.html. Как бы мы ни пытались

Comments

[greygreengo]

Статистика запросов к поисковым серверам таки говорит, что если ИИ не начнет формировать собственные запросы, то деградирует вслед за поколением пальцетыков.

[ailev]

Удивительно, но когда пишут AI -- то сравнивают после этого не с "человеком", а "человечеством" (причём как-то удивительным образом организованном, где возможности -- это объёдинённые способности всех людей, включая немногих планетных гениев). Вот как подмена человека на человечество происходит и отдельного ИскИна на "Искинечество" но при этом продолжается разговор про индивиды -- это загадка. Из разговора в разговор. "Человек же может симфонию писать и интегралы брать". Нет, не человек, а разные люди -- но вот это почему-то игнорируется, что разные люди. Тип/множество и индивид оказываются неразличимы. Беда.

[avlasov]

Важное замечание от Rich Sutton, что весь прогресс в AI в конечном итоге определяется грубой вычислительной силой, а не хитрой алгоритмикой У него не так написано все же "We have to learn the bitter lesson that building in how we think we think does not work in the long run

[avlasov]

Вобщем с точки зрения инженерии, я не вижу ни горькости урока, ни противоречия между брутфорсным и human-knowledge подходом.
Точнее в short term может и есть противоречие, а вот in the long run вовсе даже и нету :). И мне лично не горько :). Ибо в short term мы решали текущие задачи (которые все равно надо решать), а in the long run созревают более общие методы, железяка ускоряется в стопиццот тыщ раз, и мы уже решаем текущие задачи новыми методами, дорабатываем их напильнегом под особенности текущих задач, от чего они конечно же становятся менее общими.

[ailev]

Предпринимательство основано на том, что люди имеют разные межвременные предпочтения -- в том числе и по поводу принятия рисков. Некоторые готовы синицу в руках задорого, некоторые готовы журавля в небе, но задёшево. И каждый надеется выиграть. Кто-то надеется, что именно его short run окажется общим long run ))) Но обычно -- нет )))

[ailev]

Вот я было начал писать про no free lunch theorem (и там в посте примерно такие же соображения, плюс выход на тезис об универсальной хардверной архитектуре для экспериментов с этим всем), но перестал -- решил, что топик этого поста про search и learning как таковые, и просто дикие вычислительные ресурсы и неспешливость в них из-за этого. И что все разными алгоритмами, но именно этим заняты. Значит, нужно в инженерии тоже таким языком начинать говорить.

[fractaler]

"Мы занимаемся изучением/исследованием/выучиванием окружающего мира, наука=learning. А в инженерии мы ищем/search решения"

Есть реальность, есть её модель ("карта", "модель мира"). Одни эту модель/картину мира "строят", другие её используют (осуществляют "навигацию" по карте).

Одни генерят мутации для "исследования" реальности, другие сохраняют наиболее правильные (+ другие, на всякий).
Одни идут проверять новые объекты (приманки, ситуации и т.д.), другие ждут, что произойдёт и потом принимают решение что делать.
Такое разделение было есть и, скорее всего, будет.

[avlasov]

Есть еще всякие варианты скрещивания learn и search типа Learning to searchЯ лично рассматриваю как базовый паттерн такую иерархию понятий: learn - это (очень часто) optimization, а optimization - это search (можно считать что всегда

[chumakin]

про " весь прогресс в AI в конечном итоге определяется грубой вычислительной силой, а не хитрой алгоритмикой"
значит, что мир скорее деятельностный, как утверждает смдм, а не слабая копия моего воображения (ок, интеллекта).
И сколько лет ушло у Rich Sutton, чтобы прийти к такому открытию?
Интересно, сколько лет уйдет у них, чтобы дотумкать до категориально-понятийного анализа своих действий, программ, задач и т.п.?
Даже старый добрый, хорошо известный на западе ТРИЗ ушел в анализе-синтезе своих действий гораздо дальше, чем единомышленники Rich Sutton.