Похоже, вы делаете это неправильно...

Jan 05, 2025 18:24

Попалась на глаза статья на Хабре (вольный перевод из The Wall Street Journal) Почему OpenAI откладывает релиз ChatGPT-5? Все дело в недостатке данных. Несколько важных, на мой взгляд, цитат:

Read more... )

ИИ, мысли вслух

Leave a comment

alex_dragon January 5 2025, 15:46:37 UTC

Подозреваю, дело не столько в количестве, сколько в качестве - веб на 90% мусорная куча из пустого трёпа, слухов и сплетен, не считая прямой дезинформации. На этой основе построить какую-то вменяемую модель вряд ли возможно - в ней концы с концами сходится не будут.

Reply

d0ctor_z January 5 2025, 16:29:41 UTC
Думаю, информацию для обучения все же предварительно фильтруют и не пропускают откровенный хлам. Модель обучается на отобранных данных, а не в режиме бота, который ползает по всем веб-страницам, которые найдет. Но качество информации, конечно, тоже играет роль - уникальной и новой совсем мало. А насчет концов с концами... Для LLM есть только текстовые последовательности, и нет понятий и фактов, которые ими выражаются. Поэтому согласованности утверждений в ней нет, отсюда и "галлюцинации".

Reply

rbs_vader January 6 2025, 11:42:03 UTC

Ещё бы у неё были понятия. Оно же как слепоглухонемой ребёнок, которому одномоментно в мозг закачали сразу всё. От "баю-бай" до порноснаффа. Органов чувств нет, механики социализации нет, механики "стимул - действие" нет. Какой может быть разум при таких вводных?

Reply

d0ctor_z January 6 2025, 13:10:10 UTC
Некоторые, похоже, надеялись, что, если закачать много-много данных, разум самозародится. Данных на порядки больше, чем в мозгу у реально существующего разума, а результата нет. You are doing it wrong. Кстати, да, есть подозрение, что без взаимодействия с материальным миром и без социума он и не появится. Необходимые условия.

Reply

rbs_vader January 6 2025, 13:17:44 UTC

Много данных - необходимое условие, но не достаточное. Мы вот тоже себя помним не с нуля лет (самые ранние мои воспоминания - это где-то года 3-4), но хорошие родители уже с рождения детям создают структурированный входящий поток. А также обеспечивают постановку комплекса систем "запрос-отклик".

В общем, моё предложение такое - копать в сторону более жесткой структуризации, социализации (которая суть обмен данными) и органов чувств. Тем более, если мы хотим настоящих крутых роботов, без этого они не получатся априори.

Reply

d0ctor_z January 7 2025, 19:53:09 UTC
Мы вот тоже себя помним не с нуля лет (самые ранние мои воспоминания - это где-то года 3-4)

Все верно, мои примерно с того же времени, я даже писал об этом.

"запрос-отклик"

Именно. Такое обучение куда эффективнее и не требует огромных объемов данных. Но требует учителя...

Reply

rdia January 8 2025, 15:11:30 UTC
> Именно. Такое обучение куда эффективнее и не требует огромных объемов данных. Но требует учителя...

Но если учитель автоматизирован, то, как правило, ученик уже не нужен.

Reply

rdia January 7 2025, 17:23:40 UTC
> Некоторые, похоже, надеялись, что, если закачать много-много данных, разум самозародится.

Надежды, что "оно само" - это же чистое либертарианство. Кстати, аналогичные надежды были и про квантовые компьютеры, что "оно само".

Reply

d0ctor_z January 7 2025, 19:27:25 UTC
чистое либертарианство

Запросто. В инвесторах у OpenAI, например, Питер Тиль и Y Combinator - они там все немножко повернутые на либертарианстве, похоже :-)

Reply

rdia January 7 2025, 19:59:08 UTC
Надо как-то в этом разобраться хорошо. Антон Л. давеча писал, что социалисты с либералами долго шли рука об руку, а вот сейчас хороший момент, чтобы размежеваться. Либертарианцы - это ультралибералы, они должны быть проще для понимания ключевых отличий от нас.

У меня есть знакомые либертарианцы, ну совершенно непонятно, какова их мотивация долго и усиленно выступать в этом ключе, зарабатывая минусы в карму на Хабре. С последующим самовыпилом из-за того, что их все посылают нах.

Интересный момент - у них нет детей. Возможно, это ключевое отличие.

При этом образование, в общем, как у нас - высшее техническое, базовая физика, упор в математику, надо сказать, выше. Ровно также, как и мы - это успешные программисты.

Reply

d0ctor_z January 8 2025, 08:21:26 UTC
Антон Л. давеча писал, что социалисты с либералами долго шли рука об руку, а вот сейчас хороший момент, чтобы размежеваться.Ну... Совпадения позиций у них были. В XIX веке. Республика против монархии, конституция, всеобщее избирательное право и тому подобное. Хотя и тогда к социалистам были ближе какие-нибудь революционные демократы. Либералы стали реакционерами и разошлись с социалистами самое позднее в начале XX века. Неолибералы конца XX века - это ультрареакционеры, даже не против социализма, а против кейнсианства, welfare state и т.п ( ... )

Reply

rdia January 8 2025, 17:42:39 UTC
> Ну... Совпадения позиций у них были. В XIX веке.

Не спорю. Но я лично для себя ещё не готов до конца сформулировать, какова же наша позиция, и чем в деталях она отличается от их позиции. То есть, мне кажется, что глубина проработки недостаточна.

Вот та же моя ошибка насчёт главенства общества для социалистов - нет, не общество или личность, а диалектический динамический баланс между ними нам нужен.

Reply

rdia January 7 2025, 20:20:39 UTC
Вообще, тут какой-то сложный вопрос о саморегуляции сообществ. Я не очень чётко понимаю, где же именно лежит грань между социалистами и либералами в области саморегуляции. То есть, крупными мазками очевидно: вот есть свобода капитала, вот нет свободы капитала ( ... )

Reply

d0ctor_z January 8 2025, 08:50:41 UTC
У либертарианцев - все само сделается, рыночек порешает, магия "невидимой руки". У либералов - не все само, нужны правильные институты, но капиталиста трогать не надо (хотя монополий надо не допускать, кажется). У социалистов немарксисткого толка - институты мощнее, вмешательство сильнее, трудовое законодательство, профсоюзы и т.п., держим крупный бизнес в узде. У правильных социалистов/коммунистов - плановая экономика, в перспективе - полностью плановая, рынка и товарно-денежных отношений нет вообще, вымерли. Примерно так ( ... )

Reply

rdia January 8 2025, 17:36:13 UTC
> И, кстати, да, используемый сейчас подход к ИИ - либертарианский. Берем огромную кучу всего, сваливаем в котел, мешаем и варим, и оно работает! Правда, непонятно как и почему-то лучше не становится :-)

Помните выражение "Любая достаточно развитая технология неотличима от магии."? А ведь магия, в отличие от нормальной технологии статична! Она не развивается.

Я, в общем, всегда держал в голове насчёт ещё т.н. "численных экспериментов" по сравнению с аналитическими формулами, что да - можно чуть чуть продвинуться вперёд за счёт тупой вычислительной мощи, но это тупик, дальше не пройти. То есть, да, можно слегка куда-то продвинуться, если не разобрался до конца, до построения простой модели, но это лишь один шаг, не больше.

Это такая теорфизическая мудрость - теоретическая физика же лет 100 назад столкнулась с тем, что да, можно использовать компьютеры для того, чтобы делать численные расчёты с заранее неизвестными результатами. Но жизнь показывает, что простые аналитические модели никуда не делись. Казалось бы, зачем они нужны, ( ... )

Reply

rdia January 8 2025, 17:40:17 UTC
> У либертарианцев - все само сделается, рыночек порешает, магия "невидимой руки".

Но, кстати, мне мнится, что у них начала проскакивать явная поддержка крупных корпораций.

Но с нашей точки зрения это как-то безудержно странно - современные государства же служат крупным корпорациям. И все эти регуляции, которые так бесят либертарианцев, введены лишь для того, чтобы игральную доску не разнесло. Они введены по воле этих самых корпораций, после ряда экспериментов.

Reply


Leave a comment

Up