ML наступает

[ens_a_se]

Пока я не могу найти времени на изучение даже основ Machine Learning, уже вышло 4 фреймворка для Deep Learning: TensorFlow( Google ), Torch ( Facebook ), Chainer, Theano, CNTK (Microsoft).
И они работают на GPU - доклады на GTC2016Правда не знаю как слайды скачать. Прикольно бы взять какую-нибудь популярную задачу и решить 4мя фреймворками, а потом

Comments

[surmenok]

Baidu тоже можно туда сюда вписать - выпустили Warp CTC http://research.baidu.com/warp-ctc/

Theano и Torch уже давно появились. Над Theano сделали много более высокоуровневых фрэймворков, например Keras и Lasagne.

Из других фрэймворков которые уже не первый год на рынке довольно популярен Caffe.

[ens_a_se]

Я и не знал, что вообще Baidu существует.
В связи с этим меня интересует - эти фреймворки достаточно зрелые, чтобы люди могли им пользотваться не зная матана? Скажем вот программируют с использованием баз данных, но не каждый знает про B+Tree.

[surmenok]

Baidu в Китае большой. И у них есть в долине офис, там делают исследования. Я про них стал больше знать когда они переманили Andrew Ng, он теперь у них руководит исследованиями по machine learning. Сейчас они делают self-driving cars, и хорошо продвинулись в распознавании речи

[surmenok]

TensorFlow - что-то похожее на Keras. Чуть попроще интерфейс, похуже с быстродействием. Но оно от гугла, поэтому должно быть больше production-ready, и больше заточено на scalability.

[ens_a_se]

Я думаю - для начала - написать небольшую статьйку такого рода. Сравнение per node 2-3х различных фреймворков на одной и тоже задаче на NVIDIA Tesla K20X, Intel CPU Haswell, Intel Xeon и в декабре могу еще на NVIDIA k80X. Посмотреть насколько эфеективны различные тулы. Потом посмотреть на скалабилити (1-96 GPU, 1-500 CPU).
Единственное что меня беспокоит - какова метрика для сравнивнение результата работы различных фреймворков.
Такую статейку можно заслать на конференцию по Highe Performance Computations - SC16 или SC17

[surmenok]

Из того что я видел - метрикой часто выбирают время обучения какой-нибудь популярной нейронной сети, например AlexNet, GoogleNet, LeNet, etc. Или просто сколько времени требуется для обучения сети до какого-то заданного уровня accuracy, или, как вот здесь https://github.com/soumith/convnet-benchmarks - сколько времени требуется на один forward pass и один backward pass.

[ens_a_se]

Спасибо, изучу бенчмарки существующие. Если у тебя появятся какие-то бенчмарк идеи - дай знать. Как только руки дойдут - поиграю на различном железе и дам тебе знать. Может будут какие-то комменты. У меня тут пока что есть доступ к топовому железу и почти не ограниченное количество нодов с супер быстрым интерконнектом. Поэтому интересно поиграть.