Проблема MOS моделей в балансировке экспертов при обучении. Такими модельками на западе стали заниматься года на 2 раньше китайцев, только все что получалось сливало в итоге монолитным моделям. На том и забили.
Обучить модельку с сотней экспертов, чтобы она не сливала монолитной сравнимого размера - это нужно что-то знать такое, что другие не знают. И при этом иметь наглость вот так все демонстрировать.
С рассуждающими модельками все не так хорошо, как показывают тесты под которые они заточены. Реальные результаты сильно отличаются от метрик в худшую сторону, и для этого есть серьезные причины.
Не знаю насчет AGI и сингулярности - ни тем ни другим не пахнет пока + индустрия вранья, пожравшая запад изнутри, как мы видим, даже сильнее РФ, приводит к похожим результатам - см СВО и бравурные отчеты.
Это уже не просто перемножение матриц. - технически это именно перемножение матриц, как и наличие длинного списка того, что там архитектурно не сделано, чтобы реально быть тем, о чем пропаганда кричит.
Но рассуждение да полезная фишка - т.к сходимость улучшает ощутимо, но не панацея. + главное что продемонстрировали - рассуждения появляются сами при дообучении с подкреплением на данных задачах. Т.е это обучаемый параметр, который дает бонус при равных размерах моделей - т.е эквивалент улучшения архитектуры и соотв изменения множителя перед логарифмом.
Фактически внутри модели появляется еще одна виртуальная надстройка - приемы рассуждения улучшающие сходимость, которая обучаема и дает эффект. А дальше есть проблемы, но я про них говорить не буду ж).
Хе-хе, поигрался слегка с дип-сик, интересная моделька. Хорошо, что для начала диалога достаточно емейл указать. С фото-видео пока не работает, но отвечает все по делу. Собственно линк на модель - https://chat.deepseek.com/sign_in
P.S: ребята тоже согласны, что китайцы смогли в прорыв -
Спустя сутки тестирования, можно смело сказать что R1 это очередной прорыв. За последние 3 года в ИИ прорывы обычно идут волнообразно: новые способности моделей (SD, GPT-4), а затем существенная оптимизация (mini, 4o, SDXL).
R1 по независимым бенчамаркам действительно показал очень близкие (где-то даже несущественно опережающие) результат по сравнению с сегодняшней SotA моделью o1. При этом, больше чем в 30 раз дешевле, полностью открытые веса, можно запускать локально, дистиллят для микроволновок (работает на любом M4+) и подробный очень классный пейпер с описанием процесса разработки модели.
Главное отличие от стандартного метода - в использовании RL вместо условно "ручного" обучения через SFT. То есть, цепочки рассуждения и самопроверки генерируются моделью без использования примеров, заранее подготовленных человеком.
Другими словами, модель научилась рассуждать и делать reasoning сама, без предварительного обучения реальными примерами. Так же как это сделал AlphaGo или AlphaZero. Интересный пример в пейпере, где модель пытается решить сложную задачу и пишет "погодите, погодите, вот оно, я поняла!".
Эта рахитектура показывает что технически модели могут открывать знание и обучаться самостоятельно. В теории этому нет предела, и такой подход куда более масштабируем чем SFT. Я не удивлюсь, если о1-о3 модели были созданы примерно так же, но то ведь легендарно открытый OpenAI - поэтому, в отличии от китайцев, деталей мы не узнаем.
Как же меня бесят эти восторженные религиозные вои - ничего она не открывает.
Это метод дообучения уже обученной модели.
Сначала все это обучают совершенно обычным методом на 10-20 триллионах токенов как и всегда.
После чего она начинает решать задачи скажем в 10% случаев.
Дальше запускают конвейер с подкреплением - это означает, что если она задачу решила, то веса соотв повышают. Не решила - понижают. Итак в цикле - и соотв рассуждения появляются при дообучении на задачах которые она хоть как-то решает после нормального обучения. Соотв тут мы имеем наличие классического градиента, завязанного на результат, и потому дообучение спуском работает.
То что она не решала ни при каких обстоятельствах - этим методом решать она научится не может.
Соотв эта штука только повышает процент ответа в задачах, решение которых известно, и на которых сетку уже обучали - все.
Извиняюсь, но эта религиозная истерика, с визгами людей считающих, что у них есть разум, приводит меня к самым печальным выводам про будущее человечества.
Видите слева не ноль - потому что ее уже на этом самом обучали обычным способом. Но т.к. она неимоверна тупа - то знания чужие в ней есть, а извлечь она их нормально не может. Зато в процессе дообучения она научается извлекать то, чему ее учили, не в 10% случаев а в 70% - 80%.
Дегенераты же думают, что она всю эту высшую математику волшебным образом сама открывает.
Что скажем с такими делать? - тут два предложения высказывалось - либо пороть на конюшне пока не поумнеют, либо стройными рядами в биореактор, чтобы такое-же умное потомство не плодили.. ж(
И ведь это не одни такие - это стройные ряды леммингов с промытыми Альтманами и прочими "гуру" мозгами.
> Как же меня бесят эти восторженные религиозные вои - ничего она не открывает.
Вы опять про высокие материи. Мне они глубоко фиолетовы. Автор приведенного текста кстати сам инвестирует в ИИ немалые суммы, так что имеет шкурный интерес делать правильные выводы. Главное - сходные с о1 результаты при цене на порядок ниже. Остальное лирика.
Лично я вообще не верю, что люди смогут сделать подобие человеческого мозга, а тем более сверх-разум в ближайшие пару лет так точно. В чем я уверен - у ИИ огромная сфера применения от медицины до промышленности, т.е. специализированные нейронки, АСУ на новом уровне фактически. И далее с выходом в реальный мир появится куча умных машин/устройств, которые смогут выполнять многие виды работ/услуг. Собственно, это для меня основа для оптимизма - новые возможности и рынки, огромные возможности и огромные рынки. И уже видно, что это вызовет неизбежно социальные изменения. Всякие менеджеры по телефону, службы тех.поддержки, копирайтеры, дизайнеры и еще куча офисного народа станут не нужны, либо их труд будет автоматизирован настолько, что эти профессии потеряют 9 из 10 сотрудников. Далее по мере выхода на рынок массово роботов это ждет и многие рабочие профессии. Это огромные изменения и огромный вызов, небывалые со времен промышленной революции социальные изменения. Только тут открывается куча вариантов от построения общества "железной пяты" до вариантов "общества изобилия" по Маску. А может окажется, что прав был Валлерстайн, который писал, что прослойка развивающихся стран скоро исчезнет и мир окончательно поделится на "развитый" и "страны, отставшие навсегда". Причем разные силы стараются реализовать разные планы, одновременно, посмотрите как изменилась повестка в США с приходом Трампа. А помните наши старые споры, где вы писали что все пропало и власть глобалистов неминуемо приведет к краху? А я писал, что есть альтернативы Швабу и шансы на изменения курса еще есть? Ну вот добро пожаловать в сегодняший день. Борьба здравомыслящих людей за право под солнцем далеко не проиграна. :)
Возвращаясь к теме сознания. Мы имеем эмпирический факт - природа создала сложный разум путем тупого перебора в ходе Дарвиновской эволюции, хоть ей на это и потребовалось много-много-много времени и попыток. Не вижу ни одной причины, почему лучшие умы человечества, при инженерном подходе, не смогут создать аналог и даже превзойти то, что создано природой. Пусть на это уйдет не год и не два, но никаких фундаментальных причин невозможности такого я не вижу. А следовательно, и тут причин для уныния нет. Хотя на мой взгляд все эти AGI и сингулярность примерно как "теория всего" в физике - задача не сегодняшнего дня. Может, чтобы совместить гравитацию с квантовой механикой сперва придется открыть новые измерения и показать ошибочность ряда космологических теорий, включая темную материю и энергию? Может, для построения полноценного сознания придется сперва создать архитектуры настолько сложные, что когда там появится сознание, это станет шоком для самих создателей(возвращаясь к идеям Суцкевера)? Я не знаю. Но это высокие материи, до которых мне и нет дела, поскольку и без того уже видимые перспективы поражают своей огромностью и даже где-то пугают.
Китайцы добрые ребята - да ж).
Проблема MOS моделей в балансировке экспертов при обучении. Такими модельками на западе стали заниматься года на 2 раньше китайцев, только все что получалось сливало в итоге монолитным моделям. На том и забили.
Обучить модельку с сотней экспертов, чтобы она не сливала монолитной сравнимого размера - это нужно что-то знать такое, что другие не знают. И при этом иметь наглость вот так все демонстрировать.
С рассуждающими модельками все не так хорошо, как показывают тесты под которые они заточены. Реальные результаты сильно отличаются от метрик в худшую сторону, и для этого есть серьезные причины.
Не знаю насчет AGI и сингулярности - ни тем ни другим не пахнет пока + индустрия вранья, пожравшая запад изнутри, как мы видим, даже сильнее РФ, приводит к похожим результатам - см СВО и бравурные отчеты.
Это уже не просто перемножение матриц. - технически это именно перемножение матриц, как и наличие длинного списка того, что там архитектурно не сделано, чтобы реально быть тем, о чем пропаганда кричит.
Но рассуждение да полезная фишка - т.к сходимость улучшает ощутимо, но не панацея. + главное что продемонстрировали - рассуждения появляются сами при дообучении с подкреплением на данных задачах. Т.е это обучаемый параметр, который дает бонус при равных размерах моделей - т.е эквивалент улучшения архитектуры и соотв изменения множителя перед логарифмом.
Фактически внутри модели появляется еще одна виртуальная надстройка - приемы рассуждения улучшающие сходимость, которая обучаема и дает эффект. А дальше есть проблемы, но я про них говорить не буду ж).
Reply
P.S: ребята тоже согласны, что китайцы смогли в прорыв -
Спустя сутки тестирования, можно смело сказать что R1 это очередной прорыв. За последние 3 года в ИИ прорывы обычно идут волнообразно: новые способности моделей (SD, GPT-4), а затем существенная оптимизация (mini, 4o, SDXL).
R1 по независимым бенчамаркам действительно показал очень близкие (где-то даже несущественно опережающие) результат по сравнению с сегодняшней SotA моделью o1. При этом, больше чем в 30 раз дешевле, полностью открытые веса, можно запускать локально, дистиллят для микроволновок (работает на любом M4+) и подробный очень классный пейпер с описанием процесса разработки модели.
Главное отличие от стандартного метода - в использовании RL вместо условно "ручного" обучения через SFT. То есть, цепочки рассуждения и самопроверки генерируются моделью без использования примеров, заранее подготовленных человеком.
Другими словами, модель научилась рассуждать и делать reasoning сама, без предварительного обучения реальными примерами. Так же как это сделал AlphaGo или AlphaZero. Интересный пример в пейпере, где модель пытается решить сложную задачу и пишет "погодите, погодите, вот оно, я поняла!".
Эта рахитектура показывает что технически модели могут открывать знание и обучаться самостоятельно. В теории этому нет предела, и такой подход куда более масштабируем чем SFT. Я не удивлюсь, если о1-о3 модели были созданы примерно так же, но то ведь легендарно открытый OpenAI - поэтому, в отличии от китайцев, деталей мы не узнаем.
Отсюда - https://t.me/cryptoEssay/2202?single
Reply
Как же меня бесят эти восторженные религиозные вои - ничего она не открывает.
Это метод дообучения уже обученной модели.
Сначала все это обучают совершенно обычным методом на 10-20 триллионах токенов как и всегда.
После чего она начинает решать задачи скажем в 10% случаев.
Дальше запускают конвейер с подкреплением - это означает, что если она задачу решила, то веса соотв повышают. Не решила - понижают. Итак в цикле - и соотв рассуждения появляются при дообучении на задачах которые она хоть как-то решает после нормального обучения. Соотв тут мы имеем наличие классического градиента, завязанного на результат, и потому дообучение спуском работает.
То что она не решала ни при каких обстоятельствах - этим методом решать она научится не может.
Соотв эта штука только повышает процент ответа в задачах, решение которых известно, и на которых сетку уже обучали - все.
Извиняюсь, но эта религиозная истерика, с визгами людей считающих, что у них есть разум, приводит меня к самым печальным выводам про будущее человечества.
Reply
Вот блин график обучения из оной статьи.
Видите слева не ноль - потому что ее уже на этом самом обучали обычным способом. Но т.к. она неимоверна тупа - то знания чужие в ней есть, а извлечь она их нормально не может. Зато в процессе дообучения она научается извлекать то, чему ее учили, не в 10% случаев а в 70% - 80%.
Дегенераты же думают, что она всю эту высшую математику волшебным образом сама открывает.
Что скажем с такими делать? - тут два предложения высказывалось - либо пороть на конюшне пока не поумнеют, либо стройными рядами в биореактор, чтобы такое-же умное потомство не плодили.. ж(
И ведь это не одни такие - это стройные ряды леммингов с промытыми Альтманами и прочими "гуру" мозгами.
Reply
Вы опять про высокие материи. Мне они глубоко фиолетовы. Автор приведенного текста кстати сам инвестирует в ИИ немалые суммы, так что имеет шкурный интерес делать правильные выводы.
Главное - сходные с о1 результаты при цене на порядок ниже. Остальное лирика.
Лично я вообще не верю, что люди смогут сделать подобие человеческого мозга, а тем более сверх-разум в ближайшие пару лет так точно.
В чем я уверен - у ИИ огромная сфера применения от медицины до промышленности, т.е. специализированные нейронки, АСУ на новом уровне фактически.
И далее с выходом в реальный мир появится куча умных машин/устройств, которые смогут выполнять многие виды работ/услуг.
Собственно, это для меня основа для оптимизма - новые возможности и рынки, огромные возможности и огромные рынки.
И уже видно, что это вызовет неизбежно социальные изменения. Всякие менеджеры по телефону, службы тех.поддержки, копирайтеры, дизайнеры и еще куча офисного народа станут не нужны, либо их труд будет автоматизирован настолько, что эти профессии потеряют 9 из 10 сотрудников. Далее по мере выхода на рынок массово роботов это ждет и многие рабочие профессии.
Это огромные изменения и огромный вызов, небывалые со времен промышленной революции социальные изменения.
Только тут открывается куча вариантов от построения общества "железной пяты" до вариантов "общества изобилия" по Маску. А может окажется, что прав был Валлерстайн, который писал, что прослойка развивающихся стран скоро исчезнет и мир окончательно поделится на "развитый" и "страны, отставшие навсегда".
Причем разные силы стараются реализовать разные планы, одновременно, посмотрите как изменилась повестка в США с приходом Трампа.
А помните наши старые споры, где вы писали что все пропало и власть глобалистов неминуемо приведет к краху? А я писал, что есть альтернативы Швабу и шансы на изменения курса еще есть?
Ну вот добро пожаловать в сегодняший день. Борьба здравомыслящих людей за право под солнцем далеко не проиграна. :)
Возвращаясь к теме сознания. Мы имеем эмпирический факт - природа создала сложный разум путем тупого перебора в ходе Дарвиновской эволюции, хоть ей на это и потребовалось много-много-много времени и попыток.
Не вижу ни одной причины, почему лучшие умы человечества, при инженерном подходе, не смогут создать аналог и даже превзойти то, что создано природой.
Пусть на это уйдет не год и не два, но никаких фундаментальных причин невозможности такого я не вижу. А следовательно, и тут причин для уныния нет.
Хотя на мой взгляд все эти AGI и сингулярность примерно как "теория всего" в физике - задача не сегодняшнего дня.
Может, чтобы совместить гравитацию с квантовой механикой сперва придется открыть новые измерения и показать ошибочность ряда космологических теорий, включая темную материю и энергию? Может, для построения полноценного сознания придется сперва создать архитектуры настолько сложные, что когда там появится сознание, это станет шоком для самих создателей(возвращаясь к идеям Суцкевера)?
Я не знаю. Но это высокие материи, до которых мне и нет дела, поскольку и без того уже видимые перспективы поражают своей огромностью и даже где-то пугают.
Reply
Leave a comment