Мозговой паралич
В процессе изучения метода обратного распространения ошибки в искусственной нейронной сети заметил забавное сходство между поведением искусственного нейрона и поведением человека. При слишком быстром и "резком" обучении есть возможность получить такую конфигурацию сети, где у части нейронов "веса" активации будут загнаны в диапазон, делающий практически невозможным их дальнейшее изменение в процессе обучения. Часть нейронов просто перестаёт реагировать на то, что сеть выдаёт слишком большую ошибку, и практически не изменяют свои веса. Обучение сети останавливается, и это называется сетевым параличом.
Чем-то напоминает человеческое общество, где люди могут очень легко получить какие-либо убеждения и глубоко закрепить их у себя в голове. После чего будет крайне сложно не только заставить их поменять эти убеждения, но и просто адекватно реагировать на то, что общество делает какую-то ерунду. Вспомнилось это после недавнего короткого общения с излишне патриотично настроенным коллегой, убеждения которого оказались сильнее неоспоримых фактов. Печально, что даже в мире искуственных нейронных сетей проблема "паралича сети" особо не изучена (есть общий совет "не обучать сеть слишком резко", напоминающий принцип "окна Овертона"). Стандартным решением в таком случае является перезапуск обучения сети с другими параметрами. Увы, с обществом так поступить будет слишком сложно.
Чем-то напоминает человеческое общество, где люди могут очень легко получить какие-либо убеждения и глубоко закрепить их у себя в голове. После чего будет крайне сложно не только заставить их поменять эти убеждения, но и просто адекватно реагировать на то, что общество делает какую-то ерунду. Вспомнилось это после недавнего короткого общения с излишне патриотично настроенным коллегой, убеждения которого оказались сильнее неоспоримых фактов. Печально, что даже в мире искуственных нейронных сетей проблема "паралича сети" особо не изучена (есть общий совет "не обучать сеть слишком резко", напоминающий принцип "окна Овертона"). Стандартным решением в таком случае является перезапуск обучения сети с другими параметрами. Увы, с обществом так поступить будет слишком сложно.