GPT CMMI
Представляем новую рубрику -- "мясные мешки". Про успешное сосуществование естественного и искусственного интеллекта.
В-общем у меня тут хайп по поводу GPT, причём в-основном GPT-3.5.
Базовая идея очень простая -- строите модель, предсказывающую вторую половину текста по первой. Тренируете её на парах "вопрос-ответ". И получаете модель, "предсказывающую" ответ по вопросу. Это наверняка кто-то пробовал почти с самого начала. И как почти везде в ИИ, оказалось, что просто данных не хватало. То есть просто накидывали больше данных, и с какого-то момента предсказыватель начал "отвечать впопад".
Но, конечно, остался "стихоплётом", то есть сама природа этого предсказания приводит к тому, что периодически предсказывается всякая чушь, вроде вымышленных библиотек.
Тем не менее, во многих случаях предсказания получаются впечатляющими. Например, представьте себе рассказ про менеджера проектов с опытом в организациях с высоким уровнем СMMI, пришедшего на новую работу. Ему рассказали про суть проекта, и он привычно пошёл задавать всем вопросы и разводить бюрократию... Придумайте продолжение!
Ну и вот, при чтении продолжения, придуманного моделью, оказывается, что в истории про то, как он задавал вопросы, предсказанные вопросы очень хорошие. То есть, предсказыватель второй половины текста может работать менеджером, притом высококлассным!
Но не тут то было, основная проблема этого менеджера -- это память. Если пытаться общаться в веб-интерфейсе, то там непонятно, а если в плейграунде для API -- то там всё становится на свои места.
Если очень грубо, то предсказатель моделирует N-граммы из слов. Причём с ростом N наш гиперкуб условных вероятностей становится очень sparse, поэтому чтобы предсказывать длинные контексты, их смещивают с короткими нейронкой, наподобие того, как это работает в компрессии (см. пресловутый PAQ). А при совсем длинных контекстах вообще надо забыть что был какой-то гиперкуб. Ну и соответственно если описание задачи длиннее самой длинной моделируемой Н-граммы - то начало текста "тает" и больше не влияет на конец.
У нашего высоококлассного менеджера деменция! Он читает документ и выдает впечатляющие инсайты. Но только если коротко. Если длинно, то, см. выше -- начало не влияет на конец, всё забыл. Соответственно представьте менеджера, который как бы вышел из комы. И ему рассказывают что да как, но по мере удлиннения рассказа он забывает начало. И он классный, он помнит всё что было до впадения в кому, может говорить на всех естественных языках лучше гуглотранслейта и писать на всех языках програмиирования. Средненько на Ragel, и Archimate трудно генерировать, но на чем-то более-менее -- запросто, даже х-е (но без рекурсии). Но чтобы работать на работе не просто "энциклопедией всего что случилось до 2021 года", надо знать какой-то контекст. И этот контекст у нашего менеджера ограничен пресловутой N-граммой.
Тьфу!
Так что идея строить коллективы этих Александров Друзей с потерей краткосрочной памяти. Чтобы каждый помнил только о своём узком фронте работ. Ну и есть конечно эффект стихоплёта, когда первые строфы нормальные а дальше он может писать бесконечно, но прогрессивно получается всё бредовее. То есть реально надо предсказыватель эксплуатировать в стейтлесс-режиме. Вон тебе 100 слов, ещё 100 предсказывай и давай тебя снова сбросим в чистое состояние чтобы ты всегда помнил что было "в начале". Реально сейчас 26к слов топовая Н-грамма. Но предсказать одну (!) стоит аж $2 (gpt4-32k). Потому что дорого такой длинный предсказыватель содержать.
Слава роботам!
В-общем у меня тут хайп по поводу GPT, причём в-основном GPT-3.5.
Базовая идея очень простая -- строите модель, предсказывающую вторую половину текста по первой. Тренируете её на парах "вопрос-ответ". И получаете модель, "предсказывающую" ответ по вопросу. Это наверняка кто-то пробовал почти с самого начала. И как почти везде в ИИ, оказалось, что просто данных не хватало. То есть просто накидывали больше данных, и с какого-то момента предсказыватель начал "отвечать впопад".
Но, конечно, остался "стихоплётом", то есть сама природа этого предсказания приводит к тому, что периодически предсказывается всякая чушь, вроде вымышленных библиотек.
Тем не менее, во многих случаях предсказания получаются впечатляющими. Например, представьте себе рассказ про менеджера проектов с опытом в организациях с высоким уровнем СMMI, пришедшего на новую работу. Ему рассказали про суть проекта, и он привычно пошёл задавать всем вопросы и разводить бюрократию... Придумайте продолжение!
Ну и вот, при чтении продолжения, придуманного моделью, оказывается, что в истории про то, как он задавал вопросы, предсказанные вопросы очень хорошие. То есть, предсказыватель второй половины текста может работать менеджером, притом высококлассным!
Но не тут то было, основная проблема этого менеджера -- это память. Если пытаться общаться в веб-интерфейсе, то там непонятно, а если в плейграунде для API -- то там всё становится на свои места.
Если очень грубо, то предсказатель моделирует N-граммы из слов. Причём с ростом N наш гиперкуб условных вероятностей становится очень sparse, поэтому чтобы предсказывать длинные контексты, их смещивают с короткими нейронкой, наподобие того, как это работает в компрессии (см. пресловутый PAQ). А при совсем длинных контекстах вообще надо забыть что был какой-то гиперкуб. Ну и соответственно если описание задачи длиннее самой длинной моделируемой Н-граммы - то начало текста "тает" и больше не влияет на конец.
У нашего высоококлассного менеджера деменция! Он читает документ и выдает впечатляющие инсайты. Но только если коротко. Если длинно, то, см. выше -- начало не влияет на конец, всё забыл. Соответственно представьте менеджера, который как бы вышел из комы. И ему рассказывают что да как, но по мере удлиннения рассказа он забывает начало. И он классный, он помнит всё что было до впадения в кому, может говорить на всех естественных языках лучше гуглотранслейта и писать на всех языках програмиирования. Средненько на Ragel, и Archimate трудно генерировать, но на чем-то более-менее -- запросто, даже х-е (но без рекурсии). Но чтобы работать на работе не просто "энциклопедией всего что случилось до 2021 года", надо знать какой-то контекст. И этот контекст у нашего менеджера ограничен пресловутой N-граммой.
Тьфу!
Так что идея строить коллективы этих Александров Друзей с потерей краткосрочной памяти. Чтобы каждый помнил только о своём узком фронте работ. Ну и есть конечно эффект стихоплёта, когда первые строфы нормальные а дальше он может писать бесконечно, но прогрессивно получается всё бредовее. То есть реально надо предсказыватель эксплуатировать в стейтлесс-режиме. Вон тебе 100 слов, ещё 100 предсказывай и давай тебя снова сбросим в чистое состояние чтобы ты всегда помнил что было "в начале". Реально сейчас 26к слов топовая Н-грамма. Но предсказать одну (!) стоит аж $2 (gpt4-32k). Потому что дорого такой длинный предсказыватель содержать.
Слава роботам!