Видео лекции "Интеллект-стек. Как создаётся Deus ex machina"

[ailev]

Опубликовано видео моей лекции "Интеллект-стек, как создаётся Deus ex machina" в клубе "Щепотка соли" 25 сентября 2015г. (http://ailev.livejournal.com/1217557.htmlRead more... )

Comments

[thagastan]

Вот смотрю я на этот прогресс, и мне олимпийцы (равно как предшествующие им титаны...) грезятся...

[ailev]

Это что, намёк, что NVIDIA после Titan X ускорителей выпустит Olimpian X? )))

Мне изо всех историй с олимпийцами больше всего нравится происхождение пены, из которой потом родилась Афродита. Такое впечатление, что происхождение всех сегодняшних чудес глубокого обучения из такой же пены, только не олимпийца, а титана )))

[thagastan]

Всё вместе...

[ext_469971]

Спасибо, увлекательно и познавательно провел вечер.

Вопросы:

1. Будет ли лекция про искусственный интеллект, как его понимает широкая публика - который намного шире, чем deep learning? Какие реальные перспективы его создания? Какое ваше отношение к разговорам о его (не)безопасности? Или это все вообще не ваша тема?

2. Почему так вяло пытаются заменять людей-рабочих роботами? Я правильно понимаю, что политики искусственно тормозят это? Или технологии в чем-то еще не готовы?

[ailev]

Нет, никаких лекций про GAI -- я не хотел бы переливания из пустого в порожнее, с выходом на бесплодные дискуссии "что такое интеллект", "может ли машина мыслить", "может ли робот заменить человека" и т.д.. Это сознательная позиция. Я не против GAI, но считаю, что этим заниматься на площади нельзя, как и сексом -- одни будут бессмысленно и не по делу возмущаться, другие замучают невыполнимыми советами. То же относится к теме "безопасности". До реальной опасности там как до Луны, при этом желающих поговорить на эту тему и без меня хватает. Я буду говорить на те темы, на которые без меня мало кто говорить будет

[teterkin]

Очень было интересно. Отличные прогнозы. Отличный стэк. Заинтересовали Julia. Понравился системный подход при исследовании темы.
Вопрос: Почему не упомянули Gnu Octave? Это опенсорсный и совместимый аналог MatLab.

[ailev]

Потому что Octave это софт прошлого поколения, у него никаких достоинств по сравнению с текущими решениями (тем же MATLAB). "Лучше" -- это ведь не только про бесплатность и совместимость! ;)

[ailev]

Шмитхубер заметил на конференции в прошлом году, что не столько про "умный искусственный интеллект" нужно печься, сколько про повторение моторного интеллекта обезьянки-капуцина. И тут нужно заметить, что в квадрокоптере всего четыре моторчика, а в роботах их поболее будет. И учить такую нейронную сетку двигаться -- это тоже задача (хотя каждый месяц становится более и более понятно, как её решать. Например, можно учить такую сетку не в роботе, а в виртуальной реальности -- на физическом симуляторе робота). Опять же, там есть проблемы: например, если сильно крутнуть моторчик, то конечность робота улетает (и никакая прочность металла от этого не спасает, чистая физика). Для того, чтобы конечности не улетали, на каждый моторчик ставят контроллеры-ограничители -- и тут же падает точность управления, ибо дешёвые контроллеры медленны. Недешёвые контроллеры быстры, но стоимость решения сразу растёт нелинейно с ростом скорости работы. И так одно за другое цепляется: робот, увы, это не только нейронная сетка.

[palex]

8 бит считается мало

Попробовал использовать 8 бит

Получились такие хеш-коды:

Ощущения

7 - катастрофическое
6 - смертельное
5 - травмирующее
4 - командующее
3 - предупреждающее
2 - сообщающее
1 - ожидающее
0 - поощряющее

Цвет

7 - красное (1 разряд из силы ощущений)
6 - зеленое (1 разряд из силы ощущений)
5 - синее (1 разряд из силы ощущений)
4 - признак прозрачности
3 - признак блеска
2 - красное (2 разряд из силы ощущений)
1 - зеленое (2 разряд из силы ощущений)
0 - синее (2 разряд из силы ощущений)

Вкус

7 - тухлое (1 разряд из силы ощущений)
6 - кислое (1 разряд из силы ощущений)
5 - соленое (1 разряд из силы ощущений)
4 - сладкое (1 разряд из силы ощущений)
3 - тухлое (2 разряд из силы ощущений)
2 - кислое (2 разряд из силы ощущений)
1 - соленое (2 разряд из силы ощущений)
0 - сладкое (2 разряд из силы ощущений)

Размеры (м) и время (с)6 бит порядка и 2 бит мантиссы

[ailev]

Ну, если без шуток, то полно работ типа этой: http://arxiv.org/abs/1502.02551

[palex]

Спасибо, пока дочитал до To our knowledge, this work represents the first study of application of stochastic rounding while training deep neural networks using low-precision fixed-point arithmetic.
Однако вариант применим и при ассоциативном поиске (совместно с классификатором видов ресурсов http://mudrizm.livejournal.com/19333.html).

И еще один вопрос - есть ли у Вас информация о кластерных сетках? Типа валиков коры головного мозга, поддерживающих сообщества дендритов?

И - спасибо за интересную лекцию. На мой взгляд - неплохо бы еще выделить уровень операционной системы между железом и программными средствами.

[ailev]

Я не очень понимаю ваш вопрос, слово "кластер" используется в deep learning главным образом для обозначения либо кластерного анализа, либо компьютерных кластеров в обычном смысле (множества компьютеров, работающих на одну задачу). Я вам рекомендую воспользоваться гуглем, вы понимаете что хотите найти, а я нет. Так что вам будет проще это найти.