YandexGPT: взгляд изнутри (видеолекция)
Предыдущие посты по теме:
1. Тесты на AI-тренера в Яндексе
2. Подразделение «Young&&Yandex» компании Яндекс
Посмотрел открытую лекцию «YandexGPT: взгляд изнутри» от школы AI-тренеров компании «Яндекс»:
https://www.youtube.com/watch?v=vpPZ5izhUFw
Михаил Хрущев, лектор
Продолжительность лекции - 1:10:15 (чуть больше часа). Фактически лекция началась 7 ноября в 20:00 по московскому времени, опубликована на Ютубе 7 ноября, ближе к полуночи. Имя лектора: Михаил Хрущев (ведущий разработчик, руководитель группы претрейна YandexGPT). Про нейросеть YandexGPT подробнее можно почитать в статье википедии. Слово «претрейн» - калька с английского, означает «предварительное обучение» (предобучение), имеется в виду предварительное обучение нейросети YandexGPT.
В видеоролике Михаил предпочитает говорить не о «нейросети», а о «языковой модели». То есть эти термины в данном случае можно считать синонимами.
Содержание лекции:
1. Что такое языковые модели
2. О YaLM/YandexGPT
3. Немного истории
4. Как устроены языковые модели
5. Как мы обучаем наши модели
6. Как мы учим наши модели следовать инструкциям
7. Перспективы языковых моделей
В последние 20 минут Михаил ответил на следующие вопросы (некоторые формулировки кривоватые, я их не стал исправлять, это цитаты):
1. Насколько оригинальны ответы, генерируемые нейросетью? Могут ли они нарушать авторские права?
2. Может ли быть такое, что нейросети создадут так много контента, что они будут развиваться преимущественно на сгенерированном контенте и появится много штампов, типичных нейросетевых ошибок?
3. Очень много говорят о том, как научить нейросеть хорошему, то есть скормить ей базу данных, дать доступ к сети, дообучить локально и так далее. А можно объяснить нейросети, чего не стоит делать, и дальше научить отличать хороший источник от плохого, понимать контекст и так далее?
4. Какие критерии применяются к оценке текстов, которые готовятся для обучения нейросети?
5. Параметры определяются в языковых моделях с помощью кого? Редакторов, лингвистов? Для генерации текстов на иностранных языках нужны же носители языка? Для разметки текстов также?
6. Введут ли в будущем специальные маркеры вроде «создано языковой моделью»?
7. Тоже задумалась над фактом про забывание. Это потому что число тех самых параметров всё равно ограничено? И рано или поздно нужно перезаписывать новую информацию поверх неиспользуемой старой?
8. Есть ли какие-то законы, которые запрещают использование интеллектуальной собственности для обучения ИИ?
9. Скажите, что такое GPU-день?
* * *
Лекция рассчитана на самых начинающих, поэтому, думаю, специалистам в области нейросетей будет неинтересно. Мне было достаточно интересно, досмотрел до конца. Появились ответы на некоторые вопросы.
Ключевое, что я понял: какой-то качественный прорыв на пути к созданию искусственного интеллекта (ИИ) всё-таки, видимо, произошел. При этом, естественно, до получения настоящего ИИ по-прежнему очень далеко и завершения этого пути пока не видно, несмотря на то, что маркетологи трубят об обратном.
Самое интересное: 1) из-за огромной сложности полученных языковых моделей (нейросетей) и их огромного размера (для больших нейросетей, которые и выдают самые интересные результаты) никто не понимает в точности, как они работают. Все крупные компании в области информационных технологий просто бросились их использовать, до конца не понимая принципов их работы. 2) Никто из крупных игроков не открывает своих секретов остальным. Таким образом, начался новый приход проприетарного (с закрытым исходным кодом) программного обеспечения со всеми прелестями этого подхода в разработке программ.
1. Тесты на AI-тренера в Яндексе
2. Подразделение «Young&&Yandex» компании Яндекс
Посмотрел открытую лекцию «YandexGPT: взгляд изнутри» от школы AI-тренеров компании «Яндекс»:
https://www.youtube.com/watch?v=vpPZ5izhUFw
Михаил Хрущев, лектор
Продолжительность лекции - 1:10:15 (чуть больше часа). Фактически лекция началась 7 ноября в 20:00 по московскому времени, опубликована на Ютубе 7 ноября, ближе к полуночи. Имя лектора: Михаил Хрущев (ведущий разработчик, руководитель группы претрейна YandexGPT). Про нейросеть YandexGPT подробнее можно почитать в статье википедии. Слово «претрейн» - калька с английского, означает «предварительное обучение» (предобучение), имеется в виду предварительное обучение нейросети YandexGPT.
В видеоролике Михаил предпочитает говорить не о «нейросети», а о «языковой модели». То есть эти термины в данном случае можно считать синонимами.
Содержание лекции:
1. Что такое языковые модели
2. О YaLM/YandexGPT
3. Немного истории
4. Как устроены языковые модели
5. Как мы обучаем наши модели
6. Как мы учим наши модели следовать инструкциям
7. Перспективы языковых моделей
В последние 20 минут Михаил ответил на следующие вопросы (некоторые формулировки кривоватые, я их не стал исправлять, это цитаты):
1. Насколько оригинальны ответы, генерируемые нейросетью? Могут ли они нарушать авторские права?
2. Может ли быть такое, что нейросети создадут так много контента, что они будут развиваться преимущественно на сгенерированном контенте и появится много штампов, типичных нейросетевых ошибок?
3. Очень много говорят о том, как научить нейросеть хорошему, то есть скормить ей базу данных, дать доступ к сети, дообучить локально и так далее. А можно объяснить нейросети, чего не стоит делать, и дальше научить отличать хороший источник от плохого, понимать контекст и так далее?
4. Какие критерии применяются к оценке текстов, которые готовятся для обучения нейросети?
5. Параметры определяются в языковых моделях с помощью кого? Редакторов, лингвистов? Для генерации текстов на иностранных языках нужны же носители языка? Для разметки текстов также?
6. Введут ли в будущем специальные маркеры вроде «создано языковой моделью»?
7. Тоже задумалась над фактом про забывание. Это потому что число тех самых параметров всё равно ограничено? И рано или поздно нужно перезаписывать новую информацию поверх неиспользуемой старой?
8. Есть ли какие-то законы, которые запрещают использование интеллектуальной собственности для обучения ИИ?
9. Скажите, что такое GPU-день?
* * *
Лекция рассчитана на самых начинающих, поэтому, думаю, специалистам в области нейросетей будет неинтересно. Мне было достаточно интересно, досмотрел до конца. Появились ответы на некоторые вопросы.
Ключевое, что я понял: какой-то качественный прорыв на пути к созданию искусственного интеллекта (ИИ) всё-таки, видимо, произошел. При этом, естественно, до получения настоящего ИИ по-прежнему очень далеко и завершения этого пути пока не видно, несмотря на то, что маркетологи трубят об обратном.
Самое интересное: 1) из-за огромной сложности полученных языковых моделей (нейросетей) и их огромного размера (для больших нейросетей, которые и выдают самые интересные результаты) никто не понимает в точности, как они работают. Все крупные компании в области информационных технологий просто бросились их использовать, до конца не понимая принципов их работы. 2) Никто из крупных игроков не открывает своих секретов остальным. Таким образом, начался новый приход проприетарного (с закрытым исходным кодом) программного обеспечения со всеми прелестями этого подхода в разработке программ.