Это мелочи - но, как известно, в них самый дьявол.
Какой конкретно клей - это (и в квестах, и в примерах про ИИ), вроде бы, пустяк. Но - кого-то может и на мысль натолкнуть.
Итак, Crazy Glue - так в США называется очень конкретный клей, полагаю - что цианоакрилат, т.е. то, что мы аналогичным способом называем "суперклей" (иногда ещё специально саму торговую марку пишут неправильно, типа Krazy Glue - американцы, сэр! - раньше так легче запатентовать было, а теперь - чтобы избавиться от миллиарда ложных хитов на правильно написанное слово в Гугл-поиске).
Да, погуглил - нашёл их сайт. Да, не ошибался - цианоакрилат и да, таки-Krazy Glue :-)
> Нейросети - это «черные ящики». Мы не можем до конца понять, какие абстракции закодированы в этих алгоритмах; и это понимание не требуется для их успешной работы. Но мы будем пытаться дальше наращивать сложность в этом всё более непроглядном «черном ящике», в этой запертой комнате без окон и дверей.
Нет, мы таки будем смотреть внутрь "чёрного ящика", и успешно разбираться, как он устроен, например, вот прекрасная работа в этом направлении про предка GPT-3:
Смысловое ударение стоит сделать на "до конца". И очень много будет оставаться так и непонятым. Работа по BERT, на которую Вы сослались, вполне это иллюстрирует. Там же очень базовые вещи подтверждены экспериментально: что синтаксические и грамматические связи между словами в тексте закодированы в outputs всех слоев внимания, что эти связи можно оттуда с некоторой точностью извлечь. Что семантически близкие слова в скрытых представлениях близко друг к другу кодируются. Ирония тут в том, что даже для проверки таких базовых гипотез мы вынуждены прибегать к другим машинно обученным моделям. Т.е. исследовать "черные ящики" при помощи других "черных ящиков".
Опять же, пример с BERT хорошо демонстрирует, что мы анализируем машинные модели по только по косвенным результатам их работы. Что оправдывает определение "черного ящика". Аналитически, из матриц весов и структуры, мы не в состоянии ничего понять.
Смотреть-то мы будем внутрь. Но рост сложности работает против нас. Чем сложнее модель, тем сложнее её интерпретировать.
Но мы и свои собственные, написанные руками на обычном языке программирования, программы не до конца понимаем. Когда там десятки миллионов строк, и полно странных, время от времени возникающих багов, то... Тоже ориентируемся на тесты, то есть, на результаты работы.
Разница в том, что обычные программы мы проектируем "снизу вверх", то есть самостоятельно разбивая задачу на последовательность элементарных шагов, основываясь на человеческой логике и анализе. По сути, в основе обычных программ лежат человеческая логика и анализ. И когда нам требуется интерпретировать её работу или найти баг, мы применяем ту же самую логику и анализ. То есть это единая, очень удобная "система координат".
В машинном обучении подход противоположный, "сверху вниз". Мы даём модели задачу, и нас не волнует, каким именно образом она научится её выполнять. В итоге модель в процессе обучения создает алгоритм, который не базируется на человеческой логике и анализе. Обратное распространение ошибки, равно как и основные архитектуры нейросетей, не имеют ничего общего с анализом задач и логикой.
Отсюда предсказуемость и возможность исправить ошибку, поменяв одну строчку кода, в традиционных программах. А вот в машинно обученных программах такой возможности нет.
Я, впрочем, пока что, напишу здесь его вариант без линков:
***
Классные, да, вполне волшебно...
> Нейросети - это «черные ящики». Мы не можем до конца понять, какие абстракции закодированы в этих алгоритмах; и это понимание не требуется для их успешной работы. Но мы будем пытаться дальше наращивать сложность в этом всё более непроглядном «черном ящике», в этой запертой комнате без окон и дверей.
Нет, мы таки будем смотреть внутрь "чёрного ящика", и успешно разбираться, как он устроен, например, вот прекрасная работа в этом направлении про предка GPT-3:
"Visualizing and Measuring the Geometry of BERT" (June 2019)
Так что, вовсе не запертая, тем более "без окон и дверей". А из более старых усилий по глядению внутрь нейросетей возник "DeepDream".
Еще один интересный кейс: Исследователи из Израиля и Facebook разработали модель машинного обучения, которая генерирует ответы на тест Рейвена. При этом алгоритм способен не только с высокой точностью давать верные ответы наравне с самыми современными машинными методами, но и делает это, не видя вариантов. https://hightech.plus/2020/11/04/novii-algoritm-uspeshno-prohodit-test-reivena-na-intellekt
Я боюсь, в этом кейсе нет ничего интересного. Одна из самых ранних и самых известных программ, способных решать тесты такого типа - ANALOGY - была написана в 1968 году на Лиспе. Тогда о машинном обучении никто даже не задумывался, потому что еще верили, что можно запрограммировать ИИ "вручную" :)
Интересность здесь может появиться, если модель машинного обучения, которую не тренировали решать тест Рейвена, вдруг сможет его решать. Например, человека никто не тренирует решать этот тест - а он может это делать.
Comments 15
Reply
Какой конкретно клей - это (и в квестах, и в примерах про ИИ), вроде бы, пустяк. Но - кого-то может и на мысль натолкнуть.
Итак, Crazy Glue - так в США называется очень конкретный клей, полагаю - что цианоакрилат, т.е. то, что мы аналогичным способом называем "суперклей" (иногда ещё специально саму торговую марку пишут неправильно, типа Krazy Glue - американцы, сэр! - раньше так легче запатентовать было, а теперь - чтобы избавиться от миллиарда ложных хитов на правильно написанное слово в Гугл-поиске).
Да, погуглил - нашёл их сайт. Да, не ошибался - цианоакрилат и да, таки-Krazy Glue :-)
https://www.krazyglue.com/
Reply
Reply
> Нейросети - это «черные ящики». Мы не можем до конца понять, какие абстракции закодированы в этих алгоритмах; и это понимание не требуется для их успешной работы. Но мы будем пытаться дальше наращивать сложность в этом всё более непроглядном «черном ящике», в этой запертой комнате без окон и дверей.
Нет, мы таки будем смотреть внутрь "чёрного ящика", и успешно разбираться, как он устроен, например, вот прекрасная работа в этом направлении про предка GPT-3:
https://arxiv.org/abs/1906.02715
Так что, вовсе не запертая, тем более "без окон и дверей". А из более старых усилий по глядению внутрь нейросетей возник
https://en.wikipedia.org/wiki/DeepDream
Reply
Опять же, пример с BERT хорошо демонстрирует, что мы анализируем машинные модели по только по косвенным результатам их работы. Что оправдывает определение "черного ящика". Аналитически, из матриц весов и структуры, мы не в состоянии ничего понять.
Смотреть-то мы будем внутрь. Но рост сложности работает против нас. Чем сложнее модель, тем сложнее её интерпретировать.
Reply
Но мы и свои собственные, написанные руками на обычном языке программирования, программы не до конца понимаем. Когда там десятки миллионов строк, и полно странных, время от времени возникающих багов, то... Тоже ориентируемся на тесты, то есть, на результаты работы.
Reply
В машинном обучении подход противоположный, "сверху вниз". Мы даём модели задачу, и нас не волнует, каким именно образом она научится её выполнять. В итоге модель в процессе обучения создает алгоритм, который не базируется на человеческой логике и анализе. Обратное распространение ошибки, равно как и основные архитектуры нейросетей, не имеют ничего общего с анализом задач и логикой.
Отсюда предсказуемость и возможность исправить ошибку, поменяв одну строчку кода, в традиционных программах. А вот в машинно обученных программах такой возможности нет.
Reply
Reply
***
Классные, да, вполне волшебно...
> Нейросети - это «черные ящики». Мы не можем до конца понять, какие абстракции закодированы в этих алгоритмах; и это понимание не требуется для их успешной работы. Но мы будем пытаться дальше наращивать сложность в этом всё более непроглядном «черном ящике», в этой запертой комнате без окон и дверей.
Нет, мы таки будем смотреть внутрь "чёрного ящика", и успешно разбираться, как он устроен, например, вот прекрасная работа в этом направлении про предка GPT-3:
"Visualizing and Measuring the Geometry of BERT" (June 2019)
Так что, вовсе не запертая, тем более "без окон и дверей". А из более старых усилий по глядению внутрь нейросетей возник "DeepDream".
Reply
Исследователи из Израиля и Facebook разработали модель машинного обучения, которая генерирует ответы на тест Рейвена. При этом алгоритм способен не только с высокой точностью давать верные ответы наравне с самыми современными машинными методами, но и делает это, не видя вариантов.
https://hightech.plus/2020/11/04/novii-algoritm-uspeshno-prohodit-test-reivena-na-intellekt
Reply
Интересность здесь может появиться, если модель машинного обучения, которую не тренировали решать тест Рейвена, вдруг сможет его решать. Например, человека никто не тренирует решать этот тест - а он может это делать.
Reply
https://ailev.livejournal.com/1549822.html
Reply
Reply
Leave a comment