lytdybr

[ailev]

Всем читать в нейронетных кулуарах правительства огромную дискуссию по безопасности искусственных интеллектов. Я уж не выдержал, принял активное участие (возможно, вам нужно будет попроситься в группу, чтобы иметь доступ к записи): https://www. ( Read more... )

Comments

[avlasov]

Обычно оно сводится к тому, что ввиду чрезвычайной выразительности нейронной сетки, она на малых данных просто overfit -- и дальше либо нужно реально много данных, либо нужно сознательно привносить в данные шум (dithering), что по факту означает увеличение количества данных.

Оно кагбэ несколько не так обстоит дело. Выразительность нейросетки регулируется регуляризацией (конструкцией сетки конечно тоже).
Например, можно начать треню с малых весов, потом по мере трени они будут расти, сетка будет выучивать больше знаний (в том числе шума) и как только ее перформанс на валидации начнет падать, то треню можно прекратить (ну и взять веса с той эпохи где результат на валидации лучше всего. Это называется early stopping. Фактически бесплатный метод регуляризации.
Есть и другие методы, например, L1/L2 ограничения на веса, всякие способы сделать сетку sparse, dropout/dropconnect, вроде batch normalization подозревают в регуляризации, unsupervised pre-training (инциализация тоже есть способ повлиять на регуляризацию).
Наверное, еще есть способы, но я не в курсах.

Добавлять шум - тоже может быть способом регуляризации (dropout/dropconnect, denoising autoencoders). И это может быть способом увеличить кол-во данных. Но тут тонкий момент. Например, стоит задача улучшить распознавание зашумленных изображений - тут добавление шума хороший способ многократно увеличить кол-во данных.
Но я бы сказал, что это не всегда так. Грубо говоря, нужно быть уверенным, что зашумленные данные не меняют принципиально целевого вероятностного распределения. Т.е. с картинками это часто так. Плюс вообще картинки можно в небольших пределах искажать/трансформировать.
А например, есть финансовые ряды. Небольшой шум роли не сыграет и вряд ли поможет в плане трени. А большой шум уже может существенно нарушить распределение. Так что стремно. Конечно, добавить вариацию все равно можно, но надо действовать хитрее.

[ailev]

Шум и всякая стохастика -- это вообще для меня почти синонимы. А тренд явно на использование стохастики вместо каких-то точных методов (всё движение за biologically plausible deep learning про это).