Глубоко внутри глубокого обучения

[ailev]

Сегодня я поучаствовал в записи передачи на канале "Культура", вопрос оказался традиционным для журналистов -- чего людям нужно бояться от генетики и машинного интеллекта? А присутствующие учёные, конечно, ничего не знали про успехи этого самого машинного интеллекта, кроме слухов о победах AlphaGo -- но и эту победу сводили к использованию мощного

Comments

[18cc]

You mention arxiv.org but missed gitxiv.com, the next evolution of the "really really fast" development cycles in machine learning. Gitxiv is where you can find implementations of some of the papers on arxiv.org. It's the source code you wish came with the papers. Most implementations are done by third parties, but an increasing number are of high quality.

Из комментариев по ссылке -- http://highscalability.com/blog/2016/3/16/jeff-dean-on-large-scale-deep-learning-at-google.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+HighScalability+%28High+Scalability%29

[ailev]

Предполагалось при запуске gitxiv, что всё туда и уйдёт. Ан нет, там по сравнению с бурным потоком отдельных выкладкок в arxiv и github (и иногда даже записей в блоге у автора, или прямо записей в github) -- тоненький ручеёк. Оказалось, что это не так уж и удобно.

[ext_3190654]

А есть ли какие-то успехи у генетических и эволюционных алгоритмов? Реанимированы ли попытки находить с их помощью структуры сеток (или что-то еще кроме структур)?

[avlasov]

Сейчас весьма популярно построение ансамблей из (относительно) простых алгоритмов обучения. А также ансамблей из ансамблей (и порой ансамблей из ансамблей из ансамблей

[avlasov]

Есть и более сложные подходы, например http://alchemy.cs.washington.edu/
Т.е. структура модели задается с помощью логических формул, ну и ведется поиск в пространстве этих формул. А потом параметры этих формул учатся с помощью градиентных методов или MCMC.

Вобщем, я бы сказал, эволюционный подход в целом не пропал, и даже является необходимым компонентом сложной системы машинного обучения, пусть в упрощенном виде.

[thagastan]

Гугль уже начал сочинять посредством нейросеток черновички ответов на письма

Ура! Киберписьмовник! У бабушки в гимназии на уроках эпистолярного жанра ими категорически запрещали пользоваться...

[denparamonov]

плотно, спасибо-:)

[avlasov]

Никогда не нужно забывать, что взлёт глубокого обучения стал возможен именно из-за повышения вычислительной мощности -- алгоритмы-то были уже известны

Не совсем так. Бэкпроп и SGD были известны, да. А вот эффективные методы инициализации многослойных нейросеток - нет.
А у нейросеток не все оптимумы одинаково полезны, т.е. абы как инициализированная нейросетка может и дотренится при большой выч мощи, но толку с этого может и не быть.
Т.е. еще нужно заинициализроваться около хорошего локального минимума.

Т.е. я так понял, что проблема была не в том, что не удавалось затренить сетку с более чем двумя скрытыми слоями, а что толку с этого не было. При этом SVM работали лучше вроде как.

Ну и потом Хинтон, Бенджио с сотоварищами придумали как инициализировать многослойные сетки, так чтобы результат был лучше чем у сеток с одним-двумя скрытыми слоями.

Т.е. выч мощь конечно не помешала и наверное даже весьма и весьма, но все же ключевая проблема была в методах инициализации глубоких нейросеток.