Мысли о нейросетях и о земле...
Нейросеть научили играть в Go не хуже человека, причём по каждой из партий можно написать огромную книгу с разбором природы принятых решений - настолько нестандартно и нетипично для человека она их принимает. Можно осуществить adversarial атаку на звук человеческой речи таким образом, что при проигрывании получившейся в результате звуковой дорожки нейронная сеть будет распознавать совершенно другие слова при том, что человеческий слух будет всё так же слышать первоначальные фразы без искажений. Это позволяет незаметно для человека, к примеру, отправить команду голосовым помощникам, вроде «Окей, Google, открой сайт virus.com!».
Искусственный интеллект доказал, что плоскость не может быть раскрашена в 4 цвета. При этом, несмотря на то, что доказательство было корректным, оно вылилось в 400 страниц формул и математических выкладок. Для человека проанализировать подобные результаты - это большой и поистине кропотливый труд.
В настоящий момент нейронные сети развиваются в направлении «объяснения» своих решений. Это будут нейронные сети другого класса, которые предназначены для чёткого объяснения причинности принятия решений основной нейросетью. К примеру Airbus A380 летает под управлением нейросети. В то же время, для объяснения того, почему нейросеть принимала то или иное решение, необходима другая нейросеть - и они должны появиться в будущем, чтобы вопрос объяснения причинности принятого решения был закрыт.
Отдельную увлекательную историю представляет собой комбинация особенностей, связанных с обучением нейронная сети инновационного автопроизводителя электромобилей Tesla. Дворники на машине одно время автоматически включались даже в случае, если на лобовое стекло положить плёнку с изображением капель воды. В более поздних версиях системного программного обеспечения, однако, подобные срабатывания должны были быть устранены. Помимо этого, нейросеть успешно распознаёт дорожные знаки и фиктивную дорожную разметку. Это стало отличным поводом для «троллинга» данного искусственного интеллекта. Распечатанный на майку значок «STOP» вынудит машину остановиться возле надевшего её человека, поскольку будет распознан, как дорожный знак. Кроме того, нейросеть обязана обеспечивать соблюдение требований дорожной разметки. В том числе, категорически запрещено пересечение даже временной сплошной линии дорожной разметки, нанесённой на асфальт жёлтым цветом. Естественно, это не могло не породить другую волну «троллинга» искусственного интеллекта. К примеру, находясь внутри круга, нарисованного сплошной толстой линией наподобие разметки - машина категорически не захочет выезжать за его пределы, подобно адской нечисти, неспособной пересечь очерченный магический круг.
Есть и другие забавные факты, связанные с распознаванием объектов нейросетями. Для человека они могут казаться необъяснимыми. Нейронная сеть почему-то не распознаёт точную копию черепахи, распечатанную на 3D-принтере. При этом, живых черепах распознаёт отлично и корректно относит их по ряду признаков к одному и тому же классу. Почему так происходит? Неужели она настолько хорошо распознаёт материал, из которого состоит поверхность объекта? Пока это является интересной особенностью, в отношении которой ещё не было дано развёрнутого объяснения. Кроме того, в ряде случаев к неправильному распознаванию приводит всего-навсего один «битый» пиксель на изображении, а иногда принятое решение и вовсе необъяснимо. В частности, нейросеть не способна распознать изображение лежащей вверх ногами на спине кошки. И это совсем не та ситуация, когда корректное распознавание также вызывает затруднения и у человека (когда на изображении присутствует недостаточный фрагмент какого-то животного или объекта).
Что касается хакинга нейросетей, то атаки могут быть на исходную обучающую выборку, а также на сам алгоритм. За счёт того, что данная область сейчас только формируется в тренд, в ближайшее время появится большое количество как новых adversarial атак, так и методов защиты от них. В настоящий же момент все кивают в пользу полноты обучающей выборки.
Следует отметить, что аdversarial атака идёт на пространство признаков, а не в пограничной зоне между гиперплоскостями.
Ну и, в основном, все подходы сходятся к обнаружению аномалий. Это всё справедливо в том случае, если в нейронной сети есть данные, в полноте характеризующие нормальное функционирование системы.
Искусственный интеллект доказал, что плоскость не может быть раскрашена в 4 цвета. При этом, несмотря на то, что доказательство было корректным, оно вылилось в 400 страниц формул и математических выкладок. Для человека проанализировать подобные результаты - это большой и поистине кропотливый труд.
В настоящий момент нейронные сети развиваются в направлении «объяснения» своих решений. Это будут нейронные сети другого класса, которые предназначены для чёткого объяснения причинности принятия решений основной нейросетью. К примеру Airbus A380 летает под управлением нейросети. В то же время, для объяснения того, почему нейросеть принимала то или иное решение, необходима другая нейросеть - и они должны появиться в будущем, чтобы вопрос объяснения причинности принятого решения был закрыт.
Отдельную увлекательную историю представляет собой комбинация особенностей, связанных с обучением нейронная сети инновационного автопроизводителя электромобилей Tesla. Дворники на машине одно время автоматически включались даже в случае, если на лобовое стекло положить плёнку с изображением капель воды. В более поздних версиях системного программного обеспечения, однако, подобные срабатывания должны были быть устранены. Помимо этого, нейросеть успешно распознаёт дорожные знаки и фиктивную дорожную разметку. Это стало отличным поводом для «троллинга» данного искусственного интеллекта. Распечатанный на майку значок «STOP» вынудит машину остановиться возле надевшего её человека, поскольку будет распознан, как дорожный знак. Кроме того, нейросеть обязана обеспечивать соблюдение требований дорожной разметки. В том числе, категорически запрещено пересечение даже временной сплошной линии дорожной разметки, нанесённой на асфальт жёлтым цветом. Естественно, это не могло не породить другую волну «троллинга» искусственного интеллекта. К примеру, находясь внутри круга, нарисованного сплошной толстой линией наподобие разметки - машина категорически не захочет выезжать за его пределы, подобно адской нечисти, неспособной пересечь очерченный магический круг.
Есть и другие забавные факты, связанные с распознаванием объектов нейросетями. Для человека они могут казаться необъяснимыми. Нейронная сеть почему-то не распознаёт точную копию черепахи, распечатанную на 3D-принтере. При этом, живых черепах распознаёт отлично и корректно относит их по ряду признаков к одному и тому же классу. Почему так происходит? Неужели она настолько хорошо распознаёт материал, из которого состоит поверхность объекта? Пока это является интересной особенностью, в отношении которой ещё не было дано развёрнутого объяснения. Кроме того, в ряде случаев к неправильному распознаванию приводит всего-навсего один «битый» пиксель на изображении, а иногда принятое решение и вовсе необъяснимо. В частности, нейросеть не способна распознать изображение лежащей вверх ногами на спине кошки. И это совсем не та ситуация, когда корректное распознавание также вызывает затруднения и у человека (когда на изображении присутствует недостаточный фрагмент какого-то животного или объекта).
Что касается хакинга нейросетей, то атаки могут быть на исходную обучающую выборку, а также на сам алгоритм. За счёт того, что данная область сейчас только формируется в тренд, в ближайшее время появится большое количество как новых adversarial атак, так и методов защиты от них. В настоящий же момент все кивают в пользу полноты обучающей выборки.
Следует отметить, что аdversarial атака идёт на пространство признаков, а не в пограничной зоне между гиперплоскостями.
Ну и, в основном, все подходы сходятся к обнаружению аномалий. Это всё справедливо в том случае, если в нейронной сети есть данные, в полноте характеризующие нормальное функционирование системы.