Обучение представлениям (representation learning)

[ailev]

Плохо, что в русском языке представления (representation, кодирование) и представления (presentation, внешнее проявление на носителе) -- это одно и то же слово. То, что мне нравится в глубоком обучении (deep learning, http://ailev.livejournal.com/1044735.html) -- это прорыв в подходе

Comments

[e2pii1]

> В текущем наиболее распространённом варианте deep learning атомистическое (символьное, длинной строчкой из нулей и единиц в конечном итоге) представление слов или изображений (растр -- это та же длинная строчка нулей и единиц) заменяется вектором в многомерном пространстве. А уж с векторами в многомерном пространстве как раз и расправляются все эти нейронные сети.

Это не в "новом deep learning", а в старом добром machine learning / распознании образов один из основных подходов (если не самый основной) уже десятки лет.

Распознание делается не в большом пространстве исходных сигналов (типа пикселей или символов), а в более узком и релевантном пространстве preprocessed features. В deep learning, как я понял, разница что используется несколько иерархических уровней таких фич, а не 1.

[ailev]

Если я рассказываю о тиграх и его ушах, то мне вовсе необязательно рассказывать о всех млекопитающих и их ушах -- говоря, что уши у млекопитающих, в том числе и у давно вымерших саблезубых тигров и мамонтов, а у современных тигров и зебр эти уши только по сопричастности к млекопитающим, а собственных у них только полоски. Это какой-то таксономический максимализм получается тогда, я так не хочу.

[fractaler]

Если у слушателя была таксономия (модель мира, термодинамически экономное векторное представление) млекопитающих без тигра (или с малой детализацией по нём), то у него будет происходить уточнение модели мира (приём "полезного сигнала"). Иначе будет просто очередной ресурснозатратный "растр" ("массив"), который даже во сне придётся как то "векторизовывать" к наиболее подходящей модели мира (что и проиходило в ходе развития цивилизации). Т.е., всё зависит от цели рассказа (эффективная передача недостающей информации или просто "передача информации"). Эффективное обучение подразумевает предварительное ознакомление с имеющейся моделью мира "приёмника сигнала" для синхронизации.

[ailev]

А я не подряжался прицеливаться в уже имеющуюся таксономию каждого читателя. Кто заинтересовался -- тот сам всё найдёт, кто не заинтересовался -- пусть идёт мимо. Кто совсем неграмотный, и не читает материалы по ссылкам в посте (в этих материалах всё растолковано подробно), так тем помочь нельзя, как ни рассказывай.

У вас как-то в реплике уже цивилизационный уровень размышления, куда мне с моим скромным блогом за цивилизацией угнаться. Ну и ресурсы меня вы вообще не рассматриваете, только ресурсы "приёмников сигнала".

[fractaler]

Согласен, организация эффективной передачи информации затратна.
Раз "векторный" подход экономичнее "растрового", можно было бы предложить желающим для повышения эффективности "приёма" ("сервис" по анализу текущей модели мира с рекомендацией о заполнении недостающих узлов графа) компенсировать каким-нибудь "пряником".