Подозреваю, дело не столько в количестве, сколько в качестве - веб на 90% мусорная куча из пустого трёпа, слухов и сплетен, не считая прямой дезинформации. На этой основе построить какую-то вменяемую модель вряд ли возможно - в ней концы с концами сходится не будут.
Думаю, информацию для обучения все же предварительно фильтруют и не пропускают откровенный хлам. Модель обучается на отобранных данных, а не в режиме бота, который ползает по всем веб-страницам, которые найдет. Но качество информации, конечно, тоже играет роль - уникальной и новой совсем мало. А насчет концов с концами... Для LLM есть только текстовые последовательности, и нет понятий и фактов, которые ими выражаются. Поэтому согласованности утверждений в ней нет, отсюда и "галлюцинации".
Ещё бы у неё были понятия. Оно же как слепоглухонемой ребёнок, которому одномоментно в мозг закачали сразу всё. От "баю-бай" до порноснаффа. Органов чувств нет, механики социализации нет, механики "стимул - действие" нет. Какой может быть разум при таких вводных?
Некоторые, похоже, надеялись, что, если закачать много-много данных, разум самозародится. Данных на порядки больше, чем в мозгу у реально существующего разума, а результата нет. You are doing it wrong. Кстати, да, есть подозрение, что без взаимодействия с материальным миром и без социума он и не появится. Необходимые условия.
Много данных - необходимое условие, но не достаточное. Мы вот тоже себя помним не с нуля лет (самые ранние мои воспоминания - это где-то года 3-4), но хорошие родители уже с рождения детям создают структурированный входящий поток. А также обеспечивают постановку комплекса систем "запрос-отклик".
В общем, моё предложение такое - копать в сторону более жесткой структуризации, социализации (которая суть обмен данными) и органов чувств. Тем более, если мы хотим настоящих крутых роботов, без этого они не получатся априори.
Надо как-то в этом разобраться хорошо. Антон Л. давеча писал, что социалисты с либералами долго шли рука об руку, а вот сейчас хороший момент, чтобы размежеваться. Либертарианцы - это ультралибералы, они должны быть проще для понимания ключевых отличий от нас.
У меня есть знакомые либертарианцы, ну совершенно непонятно, какова их мотивация долго и усиленно выступать в этом ключе, зарабатывая минусы в карму на Хабре. С последующим самовыпилом из-за того, что их все посылают нах.
Интересный момент - у них нет детей. Возможно, это ключевое отличие.
При этом образование, в общем, как у нас - высшее техническое, базовая физика, упор в математику, надо сказать, выше. Ровно также, как и мы - это успешные программисты.
Антон Л. давеча писал, что социалисты с либералами долго шли рука об руку, а вот сейчас хороший момент, чтобы размежеваться.Ну... Совпадения позиций у них были. В XIX веке. Республика против монархии, конституция, всеобщее избирательное право и тому подобное. Хотя и тогда к социалистам были ближе какие-нибудь революционные демократы. Либералы стали реакционерами и разошлись с социалистами самое позднее в начале XX века. Неолибералы конца XX века - это ультрареакционеры, даже не против социализма, а против кейнсианства, welfare state и т.п
( ... )
> Ну... Совпадения позиций у них были. В XIX веке.
Не спорю. Но я лично для себя ещё не готов до конца сформулировать, какова же наша позиция, и чем в деталях она отличается от их позиции. То есть, мне кажется, что глубина проработки недостаточна.
Вот та же моя ошибка насчёт главенства общества для социалистов - нет, не общество или личность, а диалектический динамический баланс между ними нам нужен.
Вообще, тут какой-то сложный вопрос о саморегуляции сообществ. Я не очень чётко понимаю, где же именно лежит грань между социалистами и либералами в области саморегуляции. То есть, крупными мазками очевидно: вот есть свобода капитала, вот нет свободы капитала
( ... )
У либертарианцев - все само сделается, рыночек порешает, магия "невидимой руки". У либералов - не все само, нужны правильные институты, но капиталиста трогать не надо (хотя монополий надо не допускать, кажется). У социалистов немарксисткого толка - институты мощнее, вмешательство сильнее, трудовое законодательство, профсоюзы и т.п., держим крупный бизнес в узде. У правильных социалистов/коммунистов - плановая экономика, в перспективе - полностью плановая, рынка и товарно-денежных отношений нет вообще, вымерли. Примерно так
( ... )
> И, кстати, да, используемый сейчас подход к ИИ - либертарианский. Берем огромную кучу всего, сваливаем в котел, мешаем и варим, и оно работает! Правда, непонятно как и почему-то лучше не становится :-)
Помните выражение "Любая достаточно развитая технология неотличима от магии."? А ведь магия, в отличие от нормальной технологии статична! Она не развивается.
Я, в общем, всегда держал в голове насчёт ещё т.н. "численных экспериментов" по сравнению с аналитическими формулами, что да - можно чуть чуть продвинуться вперёд за счёт тупой вычислительной мощи, но это тупик, дальше не пройти. То есть, да, можно слегка куда-то продвинуться, если не разобрался до конца, до построения простой модели, но это лишь один шаг, не больше.
Это такая теорфизическая мудрость - теоретическая физика же лет 100 назад столкнулась с тем, что да, можно использовать компьютеры для того, чтобы делать численные расчёты с заранее неизвестными результатами. Но жизнь показывает, что простые аналитические модели никуда не делись. Казалось бы, зачем они нужны,
( ... )
> У либертарианцев - все само сделается, рыночек порешает, магия "невидимой руки".
Но, кстати, мне мнится, что у них начала проскакивать явная поддержка крупных корпораций.
Но с нашей точки зрения это как-то безудержно странно - современные государства же служат крупным корпорациям. И все эти регуляции, которые так бесят либертарианцев, введены лишь для того, чтобы игральную доску не разнесло. Они введены по воле этих самых корпораций, после ряда экспериментов.
Подозреваю, дело не столько в количестве, сколько в качестве - веб на 90% мусорная куча из пустого трёпа, слухов и сплетен, не считая прямой дезинформации. На этой основе построить какую-то вменяемую модель вряд ли возможно - в ней концы с концами сходится не будут.
Reply
Reply
Ещё бы у неё были понятия. Оно же как слепоглухонемой ребёнок, которому одномоментно в мозг закачали сразу всё. От "баю-бай" до порноснаффа. Органов чувств нет, механики социализации нет, механики "стимул - действие" нет. Какой может быть разум при таких вводных?
Reply
Reply
Много данных - необходимое условие, но не достаточное. Мы вот тоже себя помним не с нуля лет (самые ранние мои воспоминания - это где-то года 3-4), но хорошие родители уже с рождения детям создают структурированный входящий поток. А также обеспечивают постановку комплекса систем "запрос-отклик".
В общем, моё предложение такое - копать в сторону более жесткой структуризации, социализации (которая суть обмен данными) и органов чувств. Тем более, если мы хотим настоящих крутых роботов, без этого они не получатся априори.
Reply
Все верно, мои примерно с того же времени, я даже писал об этом.
"запрос-отклик"
Именно. Такое обучение куда эффективнее и не требует огромных объемов данных. Но требует учителя...
Reply
Но если учитель автоматизирован, то, как правило, ученик уже не нужен.
Reply
Надежды, что "оно само" - это же чистое либертарианство. Кстати, аналогичные надежды были и про квантовые компьютеры, что "оно само".
Reply
Запросто. В инвесторах у OpenAI, например, Питер Тиль и Y Combinator - они там все немножко повернутые на либертарианстве, похоже :-)
Reply
У меня есть знакомые либертарианцы, ну совершенно непонятно, какова их мотивация долго и усиленно выступать в этом ключе, зарабатывая минусы в карму на Хабре. С последующим самовыпилом из-за того, что их все посылают нах.
Интересный момент - у них нет детей. Возможно, это ключевое отличие.
При этом образование, в общем, как у нас - высшее техническое, базовая физика, упор в математику, надо сказать, выше. Ровно также, как и мы - это успешные программисты.
Reply
Reply
Не спорю. Но я лично для себя ещё не готов до конца сформулировать, какова же наша позиция, и чем в деталях она отличается от их позиции. То есть, мне кажется, что глубина проработки недостаточна.
Вот та же моя ошибка насчёт главенства общества для социалистов - нет, не общество или личность, а диалектический динамический баланс между ними нам нужен.
Reply
Reply
Reply
Помните выражение "Любая достаточно развитая технология неотличима от магии."? А ведь магия, в отличие от нормальной технологии статична! Она не развивается.
Я, в общем, всегда держал в голове насчёт ещё т.н. "численных экспериментов" по сравнению с аналитическими формулами, что да - можно чуть чуть продвинуться вперёд за счёт тупой вычислительной мощи, но это тупик, дальше не пройти. То есть, да, можно слегка куда-то продвинуться, если не разобрался до конца, до построения простой модели, но это лишь один шаг, не больше.
Это такая теорфизическая мудрость - теоретическая физика же лет 100 назад столкнулась с тем, что да, можно использовать компьютеры для того, чтобы делать численные расчёты с заранее неизвестными результатами. Но жизнь показывает, что простые аналитические модели никуда не делись. Казалось бы, зачем они нужны, ( ... )
Reply
Но, кстати, мне мнится, что у них начала проскакивать явная поддержка крупных корпораций.
Но с нашей точки зрения это как-то безудержно странно - современные государства же служат крупным корпорациям. И все эти регуляции, которые так бесят либертарианцев, введены лишь для того, чтобы игральную доску не разнесло. Они введены по воле этих самых корпораций, после ряда экспериментов.
Reply
Leave a comment