Обучение представлениям (representation learning)

[ailev]

Плохо, что в русском языке представления (representation, кодирование) и представления (presentation, внешнее проявление на носителе) -- это одно и то же слово. То, что мне нравится в глубоком обучении (deep learning, http://ailev.livejournal.com/1044735.html) -- это прорыв в подходе

Comments

[ko444evnik]

>> -- высокоуровневых гармонических и ритмических паттернов полифонической музыки (http://icml.cc/2012/papers/590.pdf).

полагаю, в области военной гидроакустики материалов за 60+ лет накоплено все же больше. но ими занимаются по большей части всякие "секретные физики" и широким массам все это в основном недоступно.

разве что всякие "утечки" наподобие анализа китовых песен:
http://animalpicture.ru/more/kalejdoskop-zvukov/

[formerchild]

>>Слова начинают моделировать векторами

И не только! Прелесть "струнного" представления в том, что соотв. диаграммы существуют в любых категориях доктрины - это могут быть категории векторных пространств или каких-нибудь символьных систем или еще чего-нить. Т.е. одно и то же "струнное доказательство" можно переключать, интерпретируя его в разных предметных областях по разному.

[ailev]

Я ваши постинги про струнные/фенмановские диаграммы перечитал, когда писал -- и хотел тут процитировать в паре с пирсовскими экзистенциальными графами. Но не решился: я тамошнюю математику не до конца понимаю.

Похоже, что речь там идёт о representation, но не learning, а engineering, плюс не deep, а shallow. Поэтому и не включил.

И ещё я подумал, что первый шаг в таких работах -- это именно что representation engineering. Так что дальше на базе струнных диаграмм и малоразмерного их варинта экзистенциальных графов как-то можно учинить deep learning. То-то потеха будет!

Увы, терминология везде разная, математика обильная, сами моделируемые предметные области непростые, трудно это всё даётся...

[fractaler]

Уточню - не "атомы-молекулы-клетки-организмы", а "атомы-молекулы-клетки-мозги". Т.к. организм - обеспечение существования мозга, а сам мозг - "платформа" для существования следующуей после ДНК модели мира, которая тоже эволюционирует

[ailev]

Я имел ввиду ленточных червей, на большее я не замахиваюсь.

[fractaler]

Тогда надо было закончить на "атомы-молекулы-клетки", т.к. паразиты на организме с мозгами - не то, куда пошла эволюция (т.к. не будет хозяина, не будет и того, кто за его счёт питается)

[ailev]

А вот среди круглых червей не все паразиты.

Куда пошла эволюция, жаль, спросить некого. Ротика у самой эволюции нету, ушков тоже. Вопроса не услышит, ответа не даст...

[e2pii1]

> В текущем наиболее распространённом варианте deep learning атомистическое (символьное, длинной строчкой из нулей и единиц в конечном итоге) представление слов или изображений (растр -- это та же длинная строчка нулей и единиц) заменяется вектором в многомерном пространстве. А уж с векторами в многомерном пространстве как раз и расправляются все эти нейронные сети.

Это не в "новом deep learning", а в старом добром machine learning / распознании образов один из основных подходов (если не самый основной) уже десятки лет.

Распознание делается не в большом пространстве исходных сигналов (типа пикселей или символов), а в более узком и релевантном пространстве preprocessed features. В deep learning, как я понял, разница что используется несколько иерархических уровней таких фич, а не 1.

[ailev]

Если я рассказываю о тиграх и его ушах, то мне вовсе необязательно рассказывать о всех млекопитающих и их ушах -- говоря, что уши у млекопитающих, в том числе и у давно вымерших саблезубых тигров и мамонтов, а у современных тигров и зебр эти уши только по сопричастности к млекопитающим, а собственных у них только полоски. Это какой-то таксономический максимализм получается тогда, я так не хочу.

[fractaler]

Если у слушателя была таксономия (модель мира, термодинамически экономное векторное представление) млекопитающих без тигра (или с малой детализацией по нём), то у него будет происходить уточнение модели мира (приём "полезного сигнала"). Иначе будет просто очередной ресурснозатратный "растр" ("массив"), который даже во сне придётся как то "векторизовывать" к наиболее подходящей модели мира (что и проиходило в ходе развития цивилизации). Т.е., всё зависит от цели рассказа (эффективная передача недостающей информации или просто "передача информации"). Эффективное обучение подразумевает предварительное ознакомление с имеющейся моделью мира "приёмника сигнала" для синхронизации.

[ailev]

А я не подряжался прицеливаться в уже имеющуюся таксономию каждого читателя. Кто заинтересовался -- тот сам всё найдёт, кто не заинтересовался -- пусть идёт мимо. Кто совсем неграмотный, и не читает материалы по ссылкам в посте (в этих материалах всё растолковано подробно), так тем помочь нельзя, как ни рассказывай.

У вас как-то в реплике уже цивилизационный уровень размышления, куда мне с моим скромным блогом за цивилизацией угнаться. Ну и ресурсы меня вы вообще не рассматриваете, только ресурсы "приёмников сигнала".