О фундаментальной близости всякой нейросети к полной катастрофе

[cass1an]

https://arxiv.org/abs/1801.02774Read more... )

Comments

[redreptiloid]

хм. ну это вроде и так всегда было интуитивно очевидно, я давно про байесианобесие говорю ))
оно работает в паре-тройке сигм а потом хвостом как ёбнет ))
хорошо что это начали исследовать и публиковать, так что я не думаю что на нейросети и только на них всерьез будут вешать что то критичное без обработки эксепшнов, хотя большое желание наблюдается

[cass1an]

Суть нейросетей, что проблема идентификации того, что в них "exception", а что работа в штатном режиме, настолько же сложна, насколько построение самой нейросети. Если она проще - в такой задаче нейросеть скорее всего вообще не нужна.

[redreptiloid]

я пожалуй невнятно выразился, я имел ввиду что нейросеть хороша когда работает в контролируемой более широкой и общей моделью среде, и когда есть контроль подаваемых на нее данных на входе и на выходе, ну и какие то точки контроля (но не в виде классических алгоритмических, а в самой конструкции нейросетки - что бы нейросетка выдавала какие то промежуточные данные показывающие как она обучается и что делает, это кстати уже реализовано в некоторых проектах), тогда она очень к месту и дает принципиальные преимущества. а имел ввиду я то, что как я сейчас наблюдаю, хайп по нейросеткам, народ считает что можно все упростить засунув туда принятие решения и что это будет работать раз работает в большинстве случаев.

[cass1an]

"и когда есть контроль подаваемых на нее данных на входе и на выходе"
Вот о различии между контролем и его правдоподобной иллюзией и речь. Отличие совсем невелико и его тяжело транслировать и воспринимать, а влияние непропорциональное.

[prosto_vitjok]

Попахивает мягкой ill-posedness. От этого до новой "AI зимы" далеко еще, регуляризация типа по Тихонову людям в помощь.

[cass1an]

Детерминистская регуляризация тут кмк не поможет (аналогично такие проблемы не решаются ансамблированием, потому что тогда строится adversarial именно к используемому ансамблю, back to square one). Скорее помогут какие-то околокриптографические фокусы - что-то уникальное генерить на стороне сервера и добавлять для каждого обращения, например (не уверен, что на такое не придумают ответку, в каковом случае все совсем станет страньше и страньше). Интересность в том, что будет творится, пока эти фокусы не станут best practices.

[bluxer]

Я было подумал, что паперть-минский - это какой-то мем, а оказывается это фамилии.