Сэм Альтман ищет 7 триллионов долларов

[akor168]

Чтобы объяснить зачем, просто давайте подумаем, сколько стоит аналог робота-терминатора из известного фильма. Ответ - по современным прикидкам в современных ценах на полупроводниковое железо скорее всего несколько миллиардов(не миллионов именно миллиардов) долларов. Вся экономика планеты земля сейчас способна сделать всего лишь несколько тысяч

Comments

[p2004r]

Вы путаете "обучение с нуля" и "копирование обученного".

[akor168]

Я ничего не путаю. Запредельно дорого сейчас именно копирование обученного, только это еще не от-рефлексированно. О чем мой пост. Все настолько привыкли к "бесплатному" копированию программ запуском на персональном устройстве, что реально думают что оно всегда бесплатно.

Если совсем по простому, если вы развернули один вычислительный центр с затратами на железо в миллиард долларов, чтобы запустить копию ГПТ-7 со 100 триллионами параметров, то вторая копия тоже потребует миллиарда на железо, и так далее. Если у вас в процессе кончится железо, то дальнейшее копирование станет вообще невозможным.

Так вот Альтман уже сейчас начинает доносить до публики мысль что ИИ будет(или уже даже есть) хоть завтра, только ресурсов у нас чтобы им массово пользоваться, явно недостаточно.

[p2004r]

"Копия GPT" обслуживает миллионы пользователей одновременно. Вы не поняли ситуацию.

PS
Обычная персоналка исполняет открытую версию большой языковой модели. Только не в реалтайме.

Специализорованный например стенограф делает стенограмму локально в реалтайме.

[akor168]

Водопроводная система тоже обеспечивает миллионы. Только если воды в системе недостаточно, всем не хватит и вода кончится. Современные большие языковые модели имеют фиксированную выходную мощность по своей организации - токен за токеном. Чтобы увеличить количество ответов, надо прямо пропорционально увеличивать количество инстансов больших языковых моделей. Стоимость этого увеличения известна. Масштабируемость неограниченная, да, ресурсы - нет. Их надо искать.

[p2004r]

Это обычная ошибка рассуждения про систему массового обслуживания.

Не надо переносить "пузырь", да еще "динамический" на систему "в установившемся режиме".

[akor168]

У нас здесь нет бесплатного источника воды в виде гидросферы земли, чтобы наполнять краны. Если человечество хочет получить ответов от ЛЛМ-ки на триллион токенов, то точно известно какие именно ресурсы нужны на генерацию этого триллиона. Если ресурсов меньше, то этого триллиона просто не будет. Как этот триллион распределяется дальше в системе уже не суть неважно поскольку его нет. Никто и не спорит что доступ будет коллективный - куча юзеров на один инстанс, чтобы система даже секунды не простаивала. Но если этого все равно не хватает то единственное, что можно сделать это создать еще одну копию, а на это нужны конкретные ресурсы.

[p2004r]

Это "динамический ажиотажный спрос". Это как всем сказать "что деньги в банкоматах кончаются", "соль кончается" и т.п.. Обычная очередная "пляска святого Витта"... если каких "спинеров наточить" и то дефицит некоторое время наблюдается... ну вот "кубик Рубика" кому то нужен сегодня??

Вот точно такого же уровня проблема порожденная привычной схемой "предпринимателей" - "когда ничего не понятно - скупай ресурсы что бы не достались конкурентам".

[akor168]

А если этот условный триллион не ажиотажный, а наоборот самый что не на есть естественный. То есть и денег в банкоматы и соли в лавки необходимо привести столько сколько надо, чтобы они не кончились. И самое главное что делать, если вам действительно нужно больше соли, чем есть на рынке.

[p2004r]

Только объявление о том, что "в одни руки по паспорту меньше 50 кг мешка соли давать не будем, получаем прямо из эшелона на ЖД станции самовывозом". :)

Пока монополия нвидии сложившаяся не рухнем увы "рыночек не порешает". А вокруг чипов высокой степени интеграции явно неадекватная обстановка с ограничениями на распространение технологий.

Да и сами все эти "условные опенаи" нагоняют "секретности и ограничений", что бы они там не заливали обратного на публику. Любители вынуждены обучать открытые модели всем сообществом.

[akor168]

Вот простая вещь ГПТ-4 был сделан 1.5 года назад, еще даже до хайпа Чат-ГПТ. Я тоже удивлялся, и где оно тогда в хозяйстве? А потом буквально недавно прочитал что по оценкам один инстанс ГПТ-4 запускается на 23 новых суперпроцессорах общей стоимостью системы полмиллиона долларов и генерирует всего 550 000 токенов в час. Другими словами, на 1 доллар вложений вы в год получаете всего 8 тысяч токенов ответов. Чтобы сгенерировать 8 триллионов токенов вам нужно сначала вложить миллиард долларов. Но для этого нужно 46 000 процессоров сначала. Даже не миллиард долларов - насколько я понимаю вы сейчас не купите эти процессоры(заказы расписаны), а нужно именно 40 000 процессоров. Если Их нет, то и системы ИИ тоже нет. И дальше будет только хуже.

[p2004r]

Главное мое возражение будет таким - то что сейчас мы видим это попытка "монотехнологией АИ интуитивного типа" охватить все стороны области, по сути эмулируя "в уме" "логический АИ".

Более перспективно (и скорее всего на 99% это уже активно пилят) дать этому "АИ даосу" в руки "сопроцессоры" в виде "SAT солвера" и "условного вычислителя компутер алгебры". Даос должен будет научиться ставить для "сопроцессоров" задания формальные из "плохообусловленной входной информации" и пользоваться выхлопом от прогона этих заданий.

В этом варианте сложность задачи построения АИ упадет на пару порядков. И все это "АИ с ручками и ножками" не понадобится. А производительность построенного АИ так же возрастет на пару десятков порядков.

[akor168]

Да, согласен, в этом направлении следует копать, но проблема в том что заранее неясно какие там лимиты улучшения и оптимизации. Может несколько порядков, а может несколько десятков процентов (что тоже неплохо но качественной оценки из поста не меняет).