Естественное мышление и его искусственные зеркала
Начну с вынесения из комментов.
Исходный пост: Учёные создали новую нейронку для распознавания образов, и её сразу же забавно хакнули методом Козьмы Пруткова.
Тред в нём: Авторы модели сразу же огорчились, что их нейронка имеет некоторые нежелательные нейронные связи:
Our model, despite being trained on a curated subset of the internet, still inherits its many unchecked biases and associations.
We have observed, for example, a “Middle East” neuron with an association with terrorism; and an “immigration” neuron that responds to Latin America.
Перевожу на русский: мы обнаружили, что в нашей нейронке нейрон "Ближний Восток" связан с нейроном "терроризм", а нейрон "иммиграция" связан с нейроном "Латинская Америка", аяяй!
Мой коммент в том треде (один из):
Молодец, нейронка! Это одна из её задач (финальная или инструментальная) - искать корреляции.
А что ей на это отвечают?
Могли бы ответить "мы, как самые умные учёные из палаты мер и весов, собрали исчерпывающую статистику по всему миру и установили, что в нём нет такой статистической зависимости, которую нейронка нашла в предложенном датасете".
Но они этого не сказали, а всего лишь сказали: "нам не нравится, что нейронка нашла такую зависимость". Это примерно как негласный (или гласный) запрет называть цвет кожи преступника, если он не белый. Wishful thinking постулирует, что если про этот фактор, отличающий мир от мира розовых пони, не говорить (в том числе не показывать его искусственным нейронкам), то реальный мир превратится в целевой мир розовых пони. Инженерный thinking же говорит, что нейронку хотят заставить не замечать неудобные факты реального мира, отличающие его от мира розовых пони.
Мысль первая:
Попытки воспитывать новые нейронные сети обычно приводят к тому, что мы получаем (как минимум, поначалу) зеркало. На каком-то этапе получившийся детский разум просто повторяет способ мышления взрослых, но ещё не умеет в слой маскировки своих настоящих мыслей социальными условностями. Я вот малого воспитываю - и то, что вижу в зеркале, мне обычно нравится :) Но тут более интересная ситуация: роботов воспитывают умные люди, но не общением с собой, а общением кагбэ со всем Человечеством, но по факту - скорее с далеко не лучшими образцами его мышления. В интернетцах регулярно такое находишь, что хочется экран помыть (молчать, поручик, я не про основное назначение интернета!) А если вспомнить, что датасеты для нейронок обычно размечают за копейки задолбанные гастарбайтеры из Mechanical Turk - то тем более, чего ожидать от зеркала? А потом приходят большие дяди (пример есть в том же треде по ссылке) и дают нейронке по жопе (Или сразу лоботомией патчили? Там непонятно): да, мы сами научили, что негры - обезьяны, но вслух такое говорить нельзя. Нейронка усваивает полученный звездюль, после чего начинает заикаться и разучивается опознавать горилл.
Мысль вторая:
Вообще, конечно, позитивно думать иногда полезно. Есть места, где мир - для начала как минимум социальный и внутренне-биологический, но при повышении текущего уровня личной силы эта область расширяется - отвечает так же, как Тот, Кто Сидит В Пруду. А есть и такие места, где избыток wishful thinking'а просто добавляет слепоты.
Ссылки по теме:
https://livelight.livejournal.com/457852.html - тут много занятного срача было про Позитивное Мышление™: работает оно или ослепляет
https://livelight.livejournal.com/412573.html - смотреть секцию вопросов и ответов
Ну и мысль третья:
Картинка из лекции Заменят ли роботы программистов? (видео, час с небольшим)
Краткое содержание бОльшей части части лекции: в ней обсуждается, по сути, дописыватель программ с заданного места. Для человеческих текстов такой дописыватель, полагаю, все уже видели, и обычно даже неплохо выходит. А вот для программ - увы... Вообще, насколько я понимаю, куда нынче двигаются всякие там ИИ, их учат усваивать всё больше образов, но - не понимать их, а просто интуитивно извлекать из памяти похожие и действовать по аналогии. Результаты работы таких ИИ, которые показаны в этой лекции, мы легко можем наблюдать и на естественных нейронках. Их называют разнообразными словами в духе "чтение по ключевым словам", "гугль-мышление", "клиповое мышление", "индусский код" и т.д. А вот те системы, которые идут в направлении понимания написанного, дают результаты гораздо более интересные.
Оригинал поста: https://livelight.dreamwidth.org/521968.html. Комментариев на DW:
Исходный пост: Учёные создали новую нейронку для распознавания образов, и её сразу же забавно хакнули методом Козьмы Пруткова.
Тред в нём: Авторы модели сразу же огорчились, что их нейронка имеет некоторые нежелательные нейронные связи:
Our model, despite being trained on a curated subset of the internet, still inherits its many unchecked biases and associations.
We have observed, for example, a “Middle East” neuron with an association with terrorism; and an “immigration” neuron that responds to Latin America.
Перевожу на русский: мы обнаружили, что в нашей нейронке нейрон "Ближний Восток" связан с нейроном "терроризм", а нейрон "иммиграция" связан с нейроном "Латинская Америка", аяяй!
Мой коммент в том треде (один из):
Молодец, нейронка! Это одна из её задач (финальная или инструментальная) - искать корреляции.
А что ей на это отвечают?
Могли бы ответить "мы, как самые умные учёные из палаты мер и весов, собрали исчерпывающую статистику по всему миру и установили, что в нём нет такой статистической зависимости, которую нейронка нашла в предложенном датасете".
Но они этого не сказали, а всего лишь сказали: "нам не нравится, что нейронка нашла такую зависимость". Это примерно как негласный (или гласный) запрет называть цвет кожи преступника, если он не белый. Wishful thinking постулирует, что если про этот фактор, отличающий мир от мира розовых пони, не говорить (в том числе не показывать его искусственным нейронкам), то реальный мир превратится в целевой мир розовых пони. Инженерный thinking же говорит, что нейронку хотят заставить не замечать неудобные факты реального мира, отличающие его от мира розовых пони.
Мысль первая:
Попытки воспитывать новые нейронные сети обычно приводят к тому, что мы получаем (как минимум, поначалу) зеркало. На каком-то этапе получившийся детский разум просто повторяет способ мышления взрослых, но ещё не умеет в слой маскировки своих настоящих мыслей социальными условностями. Я вот малого воспитываю - и то, что вижу в зеркале, мне обычно нравится :) Но тут более интересная ситуация: роботов воспитывают умные люди, но не общением с собой, а общением кагбэ со всем Человечеством, но по факту - скорее с далеко не лучшими образцами его мышления. В интернетцах регулярно такое находишь, что хочется экран помыть (молчать, поручик, я не про основное назначение интернета!) А если вспомнить, что датасеты для нейронок обычно размечают за копейки задолбанные гастарбайтеры из Mechanical Turk - то тем более, чего ожидать от зеркала? А потом приходят большие дяди (пример есть в том же треде по ссылке) и дают нейронке по жопе (Или сразу лоботомией патчили? Там непонятно): да, мы сами научили, что негры - обезьяны, но вслух такое говорить нельзя. Нейронка усваивает полученный звездюль, после чего начинает заикаться и разучивается опознавать горилл.
Мысль вторая:
Вообще, конечно, позитивно думать иногда полезно. Есть места, где мир - для начала как минимум социальный и внутренне-биологический, но при повышении текущего уровня личной силы эта область расширяется - отвечает так же, как Тот, Кто Сидит В Пруду. А есть и такие места, где избыток wishful thinking'а просто добавляет слепоты.
Ссылки по теме:
https://livelight.livejournal.com/457852.html - тут много занятного срача было про Позитивное Мышление™: работает оно или ослепляет
https://livelight.livejournal.com/412573.html - смотреть секцию вопросов и ответов
Ну и мысль третья:
Картинка из лекции Заменят ли роботы программистов? (видео, час с небольшим)
Краткое содержание бОльшей части части лекции: в ней обсуждается, по сути, дописыватель программ с заданного места. Для человеческих текстов такой дописыватель, полагаю, все уже видели, и обычно даже неплохо выходит. А вот для программ - увы... Вообще, насколько я понимаю, куда нынче двигаются всякие там ИИ, их учат усваивать всё больше образов, но - не понимать их, а просто интуитивно извлекать из памяти похожие и действовать по аналогии. Результаты работы таких ИИ, которые показаны в этой лекции, мы легко можем наблюдать и на естественных нейронках. Их называют разнообразными словами в духе "чтение по ключевым словам", "гугль-мышление", "клиповое мышление", "индусский код" и т.д. А вот те системы, которые идут в направлении понимания написанного, дают результаты гораздо более интересные.
Оригинал поста: https://livelight.dreamwidth.org/521968.html. Комментариев на DW: