Когнитивные архитектуры: два прорыва в неделю продолжаются

[ailev]

Вот это всё, как мы любим: иерархические the top-down memory (для priors!) and bottom-up perception (со сжатием информации воспринимаемого!) are combined to produce the code representing an observation -- https://arxiv.org/abs/1804.01756, "The Kanerva Machine: A Generative Distributed

Comments

[alexey_egg]

Но Вы уже два года назад обещали, что молодая шпана (DL) всё сотрет, а тут и ЛеКуна уволили и Хинтон сказал, что DL - это просто про усреднения, а не про интеллект. Скажите точно, что нужно забыть? У меня весь физтеховский диплом забит какими-то математиками и физиками.

[ailev]

Нет, я говорю уже довольно давно, что в силу no free lunch theorem будет не только DL, но и другие алгоритмы. Pedro Domingos с его The Master Algorithm регулярно цитирую. Про когнитивную архитктуру говорю много лет, в которой DL только одна из важных частей.

А что какая-то технология всё сотрёт, так "пары лет" для нынешней инерции жизни не хватит. Но тот же Хинтон говорит, что на три года он ещё бы жизнь как-то прогнозировал, а вот на пять уже не брался бы. Метафора тумана, где неизвестность с расстоянием нарастает нелинейно, а вблизи всё прозрачно.

[ald1976]

Всё, что вы выучили в школе, в вузе, на производстве и даже поняли в лаборатории, нужно теперь забыть. Приходит молодая (человеческая или кремниевая тут уже неважно, они сливаются быстро) шпана, которая сотрёт все наши придумки -- теории, расхожие архитектуры инженерных решения -- с лица земли.

Ну да, конечно. Все исчезнет, останется одно сплошное телевидение....

[ailev]

Когда я в 1990 году рассказывал про интернет, мне примерно так же говорили )))

[ald1976]

А что интернет?

Количественные изменения колоссальные, качественные - сомнительные.

Релком я не создавал, но активно пользуюсь интернетом с середины 90-х, так что знаю не понаслышке.

С "ИИ" произойдет что-то похожее - куча софта и девайсов, мимикрирующих под ИИ, но ИИ на деле не являющимися.

И вообще - странно в одной заметке заявлять, что прогнозы более чем на три года бессмысленны и тут же давать прогноз на больший срок.

[ailev]

Про количественность и качественность, так это вкусовщина. У меня тут будут свои аргументы в части организации коллективного мышления через интернет, у вас свои про то, что жрём и спим примерно так же.

Мой опыт показывает, что прогнозы на большой срок таки сбываются, только в части функциональности, но не конструктивов. Так что нормально давать прогноз на большой срок.

Насчёт "подпадания под определение ИИ", так много раз возражал против такого подхода. У меня narrow AI вполне себе AI. Традиционные "общий решатель проблем", решение задачи планирования, эволюционные алгоритмы и т.д.

[vvagr]

А вот видел - работа, где вроде бы утверждают, что priors не так и важны https://dmitryulyanov.github.io/deep_image_prior

[ailev]

Эту работу я видел, но что-то я её не могу прочесть так, что "priors не важны". И ещё есть множество работ, где отмечают, что priors в разы и разы ускоряют обучение.