Теоретические мотивации глубокого обучения

[ushastyi]

Попытался понять, какая теория стоит за deep learning.

Вот статья с громким названием: Theoretical Motivations for Deep Learning. Конспект какой-то обзорной лекции на тему. В ней я нашел ровно три мотивации

Comments

[russhatter]

Вы вот как всегда: всё более менее так, но...
Лучше всё-таки было бы проговаривать основные выводы в общем контексте задач машинного обучения, а вот этот самый Deep Learning засунуть куда поглубже и не ковырять. Уж больно сомнительная это тема, и, скажем так, в максимально сдержанной форме, кое-кто из авторитетов относится к ней крайне раздражённо.

Тем более, ведь сами знаете, что общий контекст машинного обучения занимается реаспознаванием всего на свете, а диплёрнинг - только чего-то там на изображениях, а к другим задачам как его причаливать - дело тёмное. (Да и с пониманием того, как это работает в общем контексте тоже не очень понятно, почему оно работает, но всё равно хоть немножко попонятнее...)

А в целом - ну да, такая есть алтернатива, совершенно вне зависимости от того, как относиться к диплёрнингу.

[ushastyi]

Так в том-то и дело, что я пытаюсь понять, почему сейчас такой шум вокруг именно deep learning (см мой предыдущий пост http://ushastyi.livejournal.com/281410.html)

Диплернинг не только изображениями занимается, но и обработкой естественного языка, например (и по текстам, и по аудио), вон уже переводчики стали делать http://www.iamili.com). Принципы уменьшения размерности и распределенных представлений -- они более-менее универсальны.

Хотя, мне кажется, что так как вокруг этого термина сейчас маркетинговый бум, то диплернингом стали называть даже то, что им не является. Зато звучит.

[russhatter]

Да, нет никаких симптомов считать, что диплёрнинг есть что-то из ряда вон. Методика - и методика. Кухня алхимика - как кухня алхимика. А вот пиар - да, попёр. И... я бы не сказал, что этот запашок мне нравится.

ПС. При этом надо понимать, что аналогия между принципом организации нейронных сетей и работой головного мозга - очень и очень условная. Пиарная, я бы сказал...

[ushastyi]

> При этом надо понимать, что аналогия между принципом организации нейронных сетей и работой головного мозга - очень и очень условная

Ну да, аналогии там почти никакой, но это и не очень важно. Нет задачи построить так же, как в мозгу, есть задача решать те же задачи, что и решает мозг. Вот в HTM аналогия есть, но толку пока нет.

[uxus]

Что-то я быстро не нашёлъ способа оценить качество этого самаго ili... Вамъ что-нибудь умное про него попадалось?

[ushastyi]

Он пока только показывался на выставках, где слишком шумно (возможно, специально), чтобы его можно было тестировать. В продажу должно поступить летом.

Скорее всего, переводить он будет весьма посредственно, но достаточно, чтобы объясниться и понять собеседника. Целевая аудитория -- туристы, замена разговорника.