Иное будущее

[alexander_xom]

Большинство фронтиров и прогнозов на будущее человека связаны с увеличением его биологических возможностей. При помощи имплантов или генетической модификации. Но еще ни один из стартапов, пытавшихся достичь успехов в этом, не получили сколь-нибудь значимых результатов. Даже NeuroLink Илона за несколько лет не продвинулся дальше уменьшения

Comments

[avarkitta]

"И в нем может сыграть роль не ведущие корпорации, а гений одного человека, так как проблема ботов не в мощности корпусов и алгоритмов, а в понимании, что такое интеллект, картина мира и сознание."

Товарищ которого вы описываете реально существует , а ирония в том что он утверждает , что включить его схему на современной вычислительной базе невозможно.
п.с. мои попытки сочинить свою схему и догнать ушедший поезд выглядят примерно так https://qna.center/storage/photos/gron/655133.gif

[lyuden]

ИМХО "машина Геделя" Шмидтхаббера гораздо более абстрактное и общее построение, чем то что вы описали.

Нейроны - это всего лишь один частный случай, ИИ может быть построен на других вычислительных примитивах.

Вообще пока по описанию - стандартные ИИ рассуждения времен "зимы" 70-е 2000е. Примерно такое писали тогда как минимум Курцвейл и Мински.

[avarkitta]

"стандартные ИИ рассуждения времен "зимы" 70-е 2000е"

А когда появились составляющие современных глубоких сетей ?

"может быть построен на других вычислительных примитивах."

Если ИИ предполагает наиболее экономную упаковку знаний о мире , то придумать что-то альтернативное иерархиям специализации нейронов очень трудно.

""машина Геделя" Шмидтхаббера гораздо более абстрактное и общее построение, чем то что вы описали"
Если машина Геделя есть решение задачи изменения поведения с достижением некоего оптимума , то в этом отношении сходство есть. Правда средства оценки результата и способ его достижения явно другие.

[lyuden]

> А когда появились составляющие современных глубоких сетей ?

А вы нигде "глубокие сети" и не упоминали. То что хорошо бы скопировать кортекс Курцвейль говори еще до того как Deep Learning вошел в моду, то что интеллект это совокупность специализированных подсистем в мозге, я читал у кого то из "отцов" по-моему это был Мински. А больше ничего я в том что вы написали я и не увидел, кроме разглагольствований о тайном величии.

Ян Лекун "глубокими сетями" занимался в 90е. Это древняя идея. А вот их быстро считать научились где то в районе 2008 года как раз в лаборатории Шмидтхаббера когда положили их на GPU, их pybrain - одна из, если не первая библиотека которая считала на GPU и поддерживала реккурентные сети

> Если ИИ предполагает наиболее экономную упаковку знаний о мире , то придумать что-то альтернативное иерархиям специализации нейронов очень трудно.

Мне это совершенно неочевидно.

[avarkitta]

Вот пересказ из выступления Шмидтхаббера

[lyuden]

> Другое дело что систему заранее известных правил или "знаний о мире" можно наверняка уместить в гораздо более компактные структуры, но скорее всего необходимость сетевой организации сохраниться и там.

Мы можем сразу искать и оптимизировать эти более компактные структуры, используя те же данные допустим. Известность правил о мире это совершенно искуственное ограничение которое ни из чего не следует. Другое дело что для "нейронов" и сетей у нас сейчас есть хорошие инструменты, но никаких фундаментальных преимуществ насколько я понимаю не имеют, и прогресс вполне мог пойти другим путем.

[avarkitta]

Все таки мои собственные аргументы не убеждают.) Думаю то , что я описал , это все же не про компактность. Так что вы правы - видимо в этом отношении есть альтернативы.Что касаемо искусственности ограничения - если нейронная сеть изначально не заточена под жестко заданное эволюцией поведение , то универсальность важна.В технической реализации никто не мешает вообще копировать по крайней мере наиболее базовые распознаватели с сетки на сетку - если такая возможность задана на уровне процессора.

[lyuden]

> Отцом глубинного обучения Шмидхубер заслуженно считает Алексея Григорьевича Ивахненко.

Ну, блин, судя по библиографии там первые работы про обучение 1962. Я почти угадал. Ну и он насколько я понимаю как раз никаких "глубоких сетей" и нейронов не использовал ( во всяком смысле в том виде которые используются сейчас)

Шмидхубер и Колмогорова постоянно вспоминает.

[alexander_xom]

// Так в самом низу у нас будут выделены наиболее часто встречающиеся элементы , то с подъемом на каждую следующую ступень будут учитываться все более индивидуальные совокупности управляющих признаков (они наследуют выделенные на каждом предыдущем слое уникальные признаки).

CNN?

[avarkitta]

"CNN?"
Как вариант. Правда я имел ввиду больше природный оригинал.Разница между ними есть. Собственно в природном варианте происходит последовательное усложнение без всякого обратного распространения , а специализация задается скоростью созревания - коротким периодом экспозиции , наличием перекрестного торможения в пределах слоя - но не все со всеми , а только ближайшие с ближайшими - это позволяет добиться разнообразия специализаций.Так как никакого критерия для правильного обучения - нету.То есть эта штука в отличии от обучения с учителем не использует никакого критерия правильности обучения - то фиксируется все , что есть в рецепции на момент формирования слоя. - Смысл всего этого разнообразия появляется по мере связывания выделенных элементов с детекторами состояния организма и моторными "программами".
Собственно ничто не мешает например обучить универсальную сеть без учителя , а позже - дообучить уже с разметкой - если говорить о технических аналогиях.Кажется что-то подобное по смыслу уже делают.

[alexander_xom]

// А вот их быстро считать научились где то в районе 2008 года как раз в лаборатории Шмидтхаббера когда положили их на GPU,
Если быть точнее, то началось все со статьи Хинтона 2007 года, где он показал как обучать многослойные сети без потери в ноль уже на третьем слое обратного распространения ошибки. Это я только к тому, что отцом глубоких нейронок мне кажется считается Хинтон )

[lyuden]

Даже wikipedia пишет, что группа Хинтона была не первой кто применил это для многослойных сетей.

"Hinton is viewed by some as a leading figure in the deep learning community ..."

[alexander_xom]

Ну ну, речь не о применении, а об описании метода. И это Хинтон сделал https://www.cs.toronto.edu/~hinton/absps/tics.pdf

[lyuden]

Я говорил именно о применении. Я никоим образом не преуменьшаю значение работ Хинтнона и т.д., речь шла про Deep Learning который был еще в 90е как идея. Ивахненко занимался несколько другими вещами на другом уровне обработки данных.

Все молодцы.