в каком месте сейчас AI
Click to viewПомните когда ЖПТ3 вышел он говорил что нет у него данных после января 21 года. Как то все забыли уже об этом. OpenAI свои модели сделал на всём что люди написали. И все подтянулись. Дипсик уже использовал средства разработки, модели LLM, и методы работы сделаные не ими. Ну и как то само собой все доступные данные после 21г стали частью всех как я понимаю моделей. Те фактически OpenAI содержит уже и сгенерированные данные. Те они тоже в этом смысле содержат дистилянты от всех моделей генерировавших после 21г.
Весь разгон AI рынка основывается на идее что 10ти кратное увеличение качества требует 100 кратного увеличения мощности. А что если это не так? Что если во первых есть предел того что Можно выжать из данных? И во вторых есть предел того что Нужно выжать после которого смысла жать нет? Можно составить простой график с 2мя линиями отсчёта х можно, у нужно.Окажется что запросы 9,999 пользователей покрываются уже и за копейки. Те за прогресс пользователь платить не будет. Простой пример из реальной жизни. Количество авто с 6 цилиндрами и более сокращается. Так как 4 стали давать больше мошности. Кому надо могут купить Феррари. Остальным хватает мощности 200лс чтоб достаточно быстро разгоняться.
99.9% компаний не нужно вкладывать больше чем чтоб достичь того что им нужно. К 0,01 процента относятся крупные компании с RD, типа Дипсик. Например есть приложения которые делают из ассемблера С. Отлично делают на GPT3+ с доработками. Им даже Нвидия не нужна. Вполне работают просто на проце. Так как кода надо строчек максимум 100.
К тому же провайдерам можно легко понять по запросам к какому классу потребителей принадлежит клиент и манипулировать мощностью процессоров научиться. Только эти 2 момента: достижение того что нужно и манипулирование мощностью могут в тысячи раз снизить требуемую мощность вместе с ценой. А дистилляция будет всегда так как каждый новый запрос по сути меняет модель.