Плато нейронок
мы на плато нейронок, особых новостей нет, а с тем, что есть, надо лично придумывать как использовать. И как в книжках по психологии, рецепты одного не подходят всем - потому что разный опыт и разные обстоятельства
( Read more... )
Или вы пропустили слово локальных, которые можно запустить на домашней системе?
Reply
а что, вышла GPT 5?
Reply
Проблема сейчас о которой сейчас никто прямо не говорит что дальнейшее усиление моделей нецелесообразно пока не будет решена проблема копирайтных данных(можно ли их показывать моделям). Потому никто и не спешит, видимо ждут когда в Китае или в России наплюют на этот аспект и начнут обучать на пиратских данных вроде "колхоза" или собрания Элбакян. Впрочем это лишь моя гипотеза и в нее необязательно верить. Но лично мне неинтересны модели которые не читали всего корпуса написанных человечеством книг и статей(потому что нельзя требовать от агента информации которую ему даже не показывали). То есть пока нам демонстрируют игрушки, уровень которых уже впечатляет тем не менее.
Но стартовая точка это именно модель в которой действительно будет все базы знаний и весь интернет впридачу. Но для такой модели нет правовой базы.
Reply
И набивать произвольным мусором из интернета модели тоже нет смысла поскольку этот мусор стоит на этой самой базе. Последовательность должна быть - сначала моделям показывают все качественные источники, а потому уже пихать все остальное. На первом этапе жесткие юридические ограничения, да и на втором в принципе тоже. Либо модели можно показать любой текст, либо это будет сделано в Корее(Китае, Иране, России). Любой прецедент вида что создатели моделей должны договариваться с КАЖДЫМ инстансом авторского права - бай-бай преимущество условного западного мира в ИИ.
Reply
https://t.me/s/quant_prune_distill
в области сжимания нейронок оказались гораздо больше возможностей чем например я думал еще недавно. Грубо говоря, каждый параметр модели можно попробовать запихать в пару битов с некоторой потерей качества, то есть модели сжимаются в десятки раз, что повышает шансы появление локальных нейронок хотя бы уровня ГПТ-4 и запускаемых на домашней системе.
Reply
в общем, по моему определению - это таки плато
отстающие подтягиваются, а лидеры пока уверенно режут косты
Да, Llama 3 дает уровень ChatGPT 3.5 осени 2022 года на моем компьютере (кстати надо прогнать все вопросы из постов того времени на ней), но нет нового пика.
И пусть это длится всего несколько недель или месяцев, но для блога - это плато новостей. Нет выдающейся хрени, которая бы снова повергла в приятный шок и взяла принципиально новую высоту )
Reply
Да ну чепуха же... напр. новая llama демонстрирует существенный прогресс, что даже и ХЭБ признавал некоторое время тому назад.
А развитие конкуренции - после взрывного роста, выразившегося в том, что LLM смогли хоть сколько-то связно разговаривать - это вовсе не признак "плато", а лишь подтверждение того, что "ныйронки" начали превращаться в коммерческий продукт. А как ещё иначе-то? =)
Reply
в общем, по моему определению - это таки плато
отстающие подтягиваются, а лидеры пока уверенно режут косты
Да, Llama 3 дает уровень ChatGPT 3.5 осени 2022 года на моем компьютере (кстати надо прогнать все вопросы из постов того времени на ней), но нет нового пика.
И пусть это длится всего несколько недель или месяцев, но для блога - это плато новостей. Нет выдающейся хрени, которая бы снова повергла в приятный шок и взяла принципиально новую высоту )
Reply
Leave a comment