Грубая вычислительная сила для нежных нейронных сетей

[ailev]

Мнения о том, понимаем ли мы причины успешности/обучаемости глубоких нейронных сетей, расходятся. В конечном итоге, всё заканчивается спором о термине "понимаем" -- там широкий диапазон между

Comments

[redreptiloid]

8.8 TFLOPS... это же практически ASCI White, TOP-1 суперкомпьютер до ноября 2001го.... 6MW мощности, 110 млн $ памяти у него правда было 6ТБ, это пока дороговато в массовом сегменте.

15 лет прошло всего и уже доступно всем. время сжимается, сингулярность все ближе :)

[alekoksan]

Сингулярность откладывается - суперкомпы сошли с дистанции закона Мура.

[nlothik]

А насколько перспективны распределённые вычисления в нейронных сетях?

[tsoka]

присоединяюсь к вопросу, подумал об этом на 2-м абзаце буквально

[triampurum]

Очень перспективны. Через spark итп. Гугловые TPU (tensor processor units) те же в помощь.

[vincentfischer]

спасибо. очень интересно.

[formerchild]

Вангую что ternary weight научатся обучать напрямую, и это будет очень хорошо. Есть идейка что это можно делать.

[ailev]

Так я дал ссылку на статью, где такие сетки учат напрямую, нет? Компрессия полных сеток для работы на всяком встроенном стандартном железе -- это другое направление работы, там я дал другие ссылки.

[formerchild]

Ну вот, всё открыли до нас ))))

[ext_3259399]

Да!!! чудеса творятся прямо на глазах, фантастика совсем рядом! Но, все таки, это лишь огромные успехи в автоматизации отдельных человеческих навыков, причем построенных на совсем других принципах, не имеющих ничего общего с естественным интеллектом. Видя результат работы такого ИИ, мы преждевременно делаем вывод, о том что он так и устроен. Что-то базовое, наверняка простое и доступное к повторению в устройстве живого мышления пока скрыто от нас, и никто этого еще не нашел.

[palex]

я пробую проверить развитие неокартезианства http://new-cartesius.livejournal.com/2050.html на учебниках по философии и комплексной автоматизации предприятия
вроде, простота вырисовывается, но - слишком непривычная :)

[ext_3259399]

Очень интересно, спасибо за ссылку. На схеме координату «сложность» хорошо бы раскрыть, определить ее. Тогда будет ближе к простоте.

[palex]

Периодическую таблицу усложнения попробовал раскрыть в сообщении https://habrahabr.ru/post/259291/

Но совсем элементарно не получится - фрактальное взаимодействие деталей разного уровня порождает "гиперпирамиды Паскаля" ( в смысле чисел Фибоначчи :).
Остается надеяться на возможность описания мира, догоняющую современные существующие конструкты.