Токен это не «слово целиком», а его значащий элемент то есть в русском языке: корень, суффикс, приставка, предлог, союз, или окончание. У топовых нейронок:Клод Опус, Гемини и ГПТ4О нет проблемы с рифмами даже на русском языке. Сейчас появились мультимодальные нейронки, которые могут одновременно: распознание и генерацию звука/изображения, анализ и синтез текста, теоретически можно добавить генерацию команд для управления поведением некоего робота. Такая нейронка к примеру не тратит времени на ожидание когда другая нейронка расшифрует речь, или синтезирует её.
Токены для разных языков используют разный подход для анализа слов и вероятность правильного ответа на малой выборке разнится. Например, в английском can, can't, don, don't это 3 токена, а не 4
( ... )
данных во всем инете не хватит для скачка на следующий уровень. Мультимодальность позволяет новым нейронкам анализировать не только тексты, но и аудио/видео материалы. Это сразу очень много новой информации. У ChatGPT4 было два триллиона параметров, имитирующих синапсы нервной системы, настроенные при обучении. У ChatGPT5 будет в несколько раз больше. Для обучения такого монстра, в ход пойдет все что не прибито гвоздями:комиксы, карикатуры, фильмы, телепередачи, живые собеседники, специальные упражнения для нейронок.
Мультимодальность это лишь объединение возможностей нескольких нейронок в одну. Например, была отдельно языковая модель, отдельно анализ и генерация фото и видео, скажем GPT и Миджорней, объединили, что все запросы генерятся с общего интерфейса. Вот и все. Проблемы, отписанные выше это никак не отменяет. Выдача правильного ответа остается вероятностной и составляет около 90%. В текущей архитектуре это никак не изменить. Ну и далее что писал постом выше актуально.
У топовых нейронок:Клод Опус, Гемини и ГПТ4О нет проблемы с рифмами даже на русском языке.
Сейчас появились мультимодальные нейронки, которые могут одновременно: распознание и генерацию звука/изображения, анализ и синтез текста, теоретически можно добавить генерацию команд для управления поведением некоего робота.
Такая нейронка к примеру не тратит времени на ожидание когда другая нейронка расшифрует речь, или синтезирует её.
Reply
Reply
"Агентский подход" это очень неудачный термин. Куда понятнее "предметная область" или "секторальные (отраслевые) нейронки".
Reply
В общих словах это АСУ на новом уровне.
Reply
Мультимодальность позволяет новым нейронкам анализировать не только тексты, но и аудио/видео материалы.
Это сразу очень много новой информации.
У ChatGPT4 было два триллиона параметров, имитирующих синапсы нервной системы, настроенные при обучении.
У ChatGPT5 будет в несколько раз больше.
Для обучения такого монстра, в ход пойдет все что не прибито гвоздями:комиксы, карикатуры, фильмы, телепередачи, живые собеседники, специальные упражнения для нейронок.
Reply
Проблемы, отписанные выше это никак не отменяет. Выдача правильного ответа остается вероятностной и составляет около 90%. В текущей архитектуре это никак не изменить. Ну и далее что писал постом выше актуально.
Reply
Leave a comment