Пообщавшись с LLM разных поколений, я прихожу к выводу, что GPT 3.5 ещё не понимает смысла текстов, а GPT 4 уже понимает. И безо всяких кавычек. Понимает в полном смысле этого слова, так же как люди
( Read more... )
Здравствуйте! Система категоризации Живого Журнала посчитала, что вашу запись можно отнести к категориям: ИИ, Наука. Если вы считаете, что система ошиблась - напишите об этом в ответе на этот комментарий. Ваша обратная связь поможет сделать систему точнее. Фрэнк, команда ЖЖ.
Вам кажется противоположное, говорите Вы, что предсказаний вероятности следования одного токена за другим, если у нас достаточно параметров в модели, достаточно для возникновения понимания. Впрочем, это лишь то, что кажется мне.
Я бы лучше вообще не говорил про "вероятности токенов". Т.к. такая постановка вопроса создаёт ложное впечатление, будто LLM "угадывает статистически самое вероятное следующее слово", будто какая-нибудь тупая марковская цепь. Тогда как всё давно уже гораздо сложнее, и отличие качественное. Я говорю о том, что человеческий ум не переводит напрямую слова в слова, у него есть внутренний мир смыслов, та самая семантика. И аналогичный внутренний мир эмбеддингов существует у LLM, со своей сетью контекстных взаимосвязей, теперь уже не менее обширной и сложной, чем человеческая. И все слова проходят через него, что я пониманием и называю.
не натягивайте термины функционирования биологических систем на цифровые. напишите функцию фокуса внимания на сравнимом уровне с обратной связью и памятью, а не эти мини обрезки, что есть сейчас и будет полноценное понимание.
Claude 3 Opus еще более навороченная, чем ChatGPT4, но все равно иногда тупит по страшному. Это все же еще не понимание. Это чистая математика, основанная на ассоциациях, полученных на материале, на много порядков превосходящих по объему количество ассоциаций доступных самому начитанному и образованному человеку. Но если представить себе человека, который усвоил такое же количество материала, как и LLM вовремя обучения, то нейросеть выглядела бы на его фоне ничтожно. Собственно, она и на фоне обычного человека выглядит местами бледновато.
Навесьте на запрос несколько формальных условий (от форматирования текста до обработки входящего запроса специальным образом). Посмотрите, на каком кол-ве условий (и каких) ответ сломается, т.е. будет выдавать ту самую словомельницу. Profit.
Т.е. нет. То, что система имитирует нерадивого, но минимально сообразительного студента (собрал из обрывков теорем свой ответ, не понимая сути) - не следует, что она _понимает_ суть запроса. Неумный, но старательный студент может собрать в кучу 5-7 условий, применить их к запросу и получить ответ. Или заметить, что в запросе есть неустранимое противоречие. Модель - пока что не может. (про технические ограничения, типа "посчитай кол-во букв в слове" я даже и не говорю, ладно уже).
Comments 129
Система категоризации Живого Журнала посчитала, что вашу запись можно отнести к категориям: ИИ, Наука.
Если вы считаете, что система ошиблась - напишите об этом в ответе на этот комментарий. Ваша обратная связь поможет сделать систему точнее.
Фрэнк,
команда ЖЖ.
Reply
Вы нам как бы говорите, что семантики нет и достаточно только синтаксиса?
Reply
Я говорю прямо противоположное. Этот этап пройден, как мне кажется, семантика уже есть.
Reply
Вам кажется противоположное, говорите Вы, что предсказаний вероятности следования одного токена за другим, если у нас достаточно параметров в модели, достаточно для возникновения понимания. Впрочем, это лишь то, что кажется мне.
Reply
Я бы лучше вообще не говорил про "вероятности токенов". Т.к. такая постановка вопроса создаёт ложное впечатление, будто LLM "угадывает статистически самое вероятное следующее слово", будто какая-нибудь тупая марковская цепь. Тогда как всё давно уже гораздо сложнее, и отличие качественное. Я говорю о том, что человеческий ум не переводит напрямую слова в слова, у него есть внутренний мир смыслов, та самая семантика. И аналогичный внутренний мир эмбеддингов существует у LLM, со своей сетью контекстных взаимосвязей, теперь уже не менее обширной и сложной, чем человеческая. И все слова проходят через него, что я пониманием и называю.
Reply
Reply
То есть понимание - это когда все время, а интуиция - когда то же самое, но иногда?
Reply
Reply
не натягивайте термины функционирования биологических систем на цифровые. напишите функцию фокуса внимания на сравнимом уровне с обратной связью и памятью, а не эти мини обрезки, что есть сейчас и будет полноценное понимание.
Reply
Claude 3 Opus еще более навороченная, чем ChatGPT4, но все равно иногда тупит по страшному. Это все же еще не понимание. Это чистая математика, основанная на ассоциациях, полученных на материале, на много порядков превосходящих по объему количество ассоциаций доступных самому начитанному и образованному человеку. Но если представить себе человека, который усвоил такое же количество материала, как и LLM вовремя обучения, то нейросеть выглядела бы на его фоне ничтожно. Собственно, она и на фоне обычного человека выглядит местами бледновато.
Так что это еще не то. Но приближается :)
Reply
Reply
Сети совсем тупо тупят. Как тупил бы даун, а не просто дурак.
Reply
Reply
Навесьте на запрос несколько формальных условий (от форматирования текста до обработки входящего запроса специальным образом). Посмотрите, на каком кол-ве условий (и каких) ответ сломается, т.е. будет выдавать ту самую словомельницу. Profit.
Т.е. нет. То, что система имитирует нерадивого, но минимально сообразительного студента (собрал из обрывков теорем свой ответ, не понимая сути) - не следует, что она _понимает_ суть запроса. Неумный, но старательный студент может собрать в кучу 5-7 условий, применить их к запросу и получить ответ. Или заметить, что в запросе есть неустранимое противоречие. Модель - пока что не может. (про технические ограничения, типа "посчитай кол-во букв в слове" я даже и не говорю, ладно уже).
Reply
Противоречия и ошибки в моих запросах отлично замечает.
Reply
Ошибки и MS Word замечает.
Reply
Я про содержательные ошибки, а не про грамматические.
Reply
Leave a comment