Болваны для искусственного интеллекта

[ailev]

В машиностроительной метафоре это было бы, конечно, "болванки", "заготовки", но в нашем конкретном случае интеллектостроения -- это болваны. Я исхожу из своей давнишней диаграммы системных уровней (платформ) для искусственного интеллекта, которая сегодня начинает выглядеть так:

Comments

[son_0f_morning]

Прошу прощения названная вами "теорема бесплатного обеда" является тезисом (или гипотезой, если хотите). И называют её теоремой для крастного словца. Насколько мне известно мода вышла из стен Чикагской школы экономики.

[ailev]

Я согласен, что это не совсем теорема, но чикагская школа экономики совсем не при чём, речь идёт о https://en.wikipedia.org/wiki/No_free_lunch_theorem. Суть в том, что нет универсального алгоритма: если какой-то алгоритм хорош в одной задаче, всенепременно найдётся другая задача, в которой он плох -- а с другим алгоритмом будет наоборот.

[son_0f_morning]

По теореме.
1. Всё-таки она рассматривает
а) некоторую генеральную совокупность (а нам не надо решать генеральную совокупность задач, одни будут востребованнее других).
б) в оригинале говорит об оптимизации (а у нас задача классификации\регрессии)

2. Очень похоже, что она базируется на той же идее, что и отсутствие ниверсального архиватора (доказываемый аналогично теореме о несжимаемости пространства), что подтверждает беглый гуглёж.
Всё-таки нам нужны не все-все-все возможные входные данные, а очень конкретные частные случаи.

3. Более того, на конкретных частных случаях как правило БУДУТ СУЩЕСТВОВАТЬ некоторые закономерности, позволяющие избирательно использовать разумные эвристики.

ПС
Ну и мода на фразу "бесплатных обедов не бывает" пошла из Чикагской школы экономики, изначально я об этом, но не суть.

[ailev]

Ну это вы по стандартной линии: "без знаний ничего не наразмышляешь" (должно быть знание, что у вас за задача, после чего можно выбрать что-то оптимальное именно для неё), у Педро Домингоса в The Master Algorithm эта теорема подробно рассматривается. И она именно так и называется, "теорема", невзирая на весь её "фольклорный" характер. Про "бесплатных обедов не бывает" -- это неважно откуда пошло, я думаю, что Чикагская школа появилась много позже распространения этой фразы, математики только добавили сюда слово "теорема". Вот подробности: https://en.wikipedia.org/wiki/There_ain't_no_such_thing_as_a_free_lunch

[son_0f_morning]

ПС
Сам пост, конечно же безумно интересен, как и всегда!

[lipkalapka]

Еще важный момент (может, конечно, это и очевидно) - появление даммисов это процесс с положительной обратной связью: стандартизация интерфейсов и концепций расширяет инфраструктуру, это снижает стоимость входа в технологический стэк (меньше надо делать самому, больше уже сделано "вот прямо как про тебя"), что приводит к расширению инфраструктуры, что опять привлекает больше участников и снижает стоимость готового продукта, что привлекает больше потребителей, и дальше по кругу.

[ailev]

Это цикл любой стандартизации. Поэтому стандарты обычно разрабатываются консорциумами -- объединениями конкурентов. Ибо в итоге становится лучше всем конкурентам (они конкурируют дальше не за интерфейс, а за лучшую реализацию функции на этом интерфейсе. Использование же при этом стандартизировано и потребители на это ориентируются, рынок становится массовым).

[palex]

Не видел, знакома ли Вам эта информация

[ext_4202173]

Carlos E. Perez по мотивам статьи "Machine Teaching: A New Paradigm for Building Machine Learning Systems" [https://arxiv.org/abs/1707.06742v2] пишет [https://medium.com/intuitionmachine/why-teaching-will-be-the-sexiest-job-of-the-future-a-i-economy-b8e1c2ee413e], что "The second lesson from the history of programming that Microsoft Researchers allude to is the need for a universal machine that permits the easy porting of Deep Learning models to different servers or devices" and "final lesson from the Microsoft Research paper is the need for process methodology"

[ailev]

О да! Вот я писал в 2012 году -- http://ailev.livejournal.com/1011621.html