Comments | ailev: Галлюцинации нейронных сеток

ailev

Галлюцинации нейронных сеток

May 30, 2015 13:59

Нейронные сетки потихоньку учатся галлюцинировать, их сны пока всего лишь забавны и бесполезны, но эта забавность сугубо временная. Заголовок поста я взял из фразы "the yahoo url above doesn't actually exist, the model just hallucinated it" великолепной работы Andrej Karpathy по компьютерной бредогенерации оригинальных текстов с возрастающей ( Read more... )

Comments 12

m1el May 30 2015, 12:32:46 UTC

Предсказание: лет через 10-15 будет туториал "Как написать ИИ с сознанием в 40 строк на питоне".
Только вот нейронная сеть будет занимать порядка терабайтов памяти и "тренироваться" несколько дней :)

ailev May 30 2015, 13:02:25 UTC

Придраться тут можно только к питону. Через десять-пятнадцать лет на его месте может быть простой английский язык. Хотя на нём в 40 строчек не уложиться, но всё же. ;-)

thagastan May 30 2015, 13:51:59 UTC

Абалдеть!!!

vvagr May 30 2015, 19:39:10 UTC

Мы же про генерацию текстов побуквенно что-то находили с подачи nickgrigoriev несколько лет назад.

ailev May 30 2015, 19:51:15 UTC

Это давняя практика, работать побуквенно. Суть данной работы -- выучивание моделей формальных языков, а не только естественного языка. Ну, и оформление результатов в виде доступного всем кода. Не говоря уже о том, что использовали конкретный вид сетки, и автор хотел именно этот вид порекламировать.

ailev May 30 2015, 21:54:17 UTC

О, вот тут подтверждают мой вывод: крутизна именно в примерах с формальными языками (компьютерным кодом) -- http://nbviewer.ipython.org/gist/yoavg/d76121dfde2618422139

thedeemon May 30 2015, 19:40:28 UTC

>Сравнить можно только с развитием квантовой физики в начале прошлого века.

Сравнить можно (и нужно) с дотком бумом начала этого века.

ailev May 30 2015, 19:53:22 UTC

Да, конечно, в плане выхода исследований в коммерческое использование. При этом помним, что (как в любых подобных бумах) самое интересное будет после того как пузырь лопнул.

bablaw May 31 2015, 04:05:18 UTC

- "Так, в них начинает использоваться управление вниманием для обхода дороговизны вычислений на полных имеющихся данных (внимание привлекается к фрагменту данных во внешней памяти) -- Karpathy прямо говорит, что "The concept of attention is the most interesting recent architectural innovation in neural networks". "

Ну вот, скоро они изобретут MPEG-3 и Гудини :)