Ваш компьютер, возможно, не потянет новую модель Llama AI от Meta
Meta выпустила Llama 3.3 70B, модифицированную версию самой мощной AI модели компании, которую можно загрузить для работы на собственном оборудовании. Но ваш ПК, вероятно, к этому не готов.
Как и многие другие большие языковые модели (LLMs), генеративная AI модель Llama от Meta доступна в нескольких размерах параметров для разных сценариев использования. Например, самая маленькая модель Llama 3.2 1B может справляться с базовыми задачами с быстрой производительностью на среднем смартфоне, в то время как более крупные версии 11B и 90B более мощные и требуют более совершенных ПК и серверов. Модели Llama в первую очередь предназначены для работы с текстами и чатами, но некоторые версии также могут понимать изображения.
Новая модель Llama 3.3 70B предполагается, что предлагает такую же производительность, как и самая большая модель компании, версия 405B, но с возможностью запуска на большем количестве ПК и серверов. Вице-президент Meta по генеративным AI сообщил в посте в социальных сетях: «Используя последние достижения в послеподготовительных методах, включая онлайн-оптимизацию предпочтений, эта модель улучшает основные характеристики при значительно более низкой стоимости.»
Несмотря на то что новая модель 70B значительно уменьшена по сравнению с оригинальной версией 405B, вам все равно потребуется мощный ПК или сервер для ее локального запуска с приемлемой производительностью. Размер файла составляет 37.14 ГБ, и LLM обычно требуют достаточное количество оперативной памяти для хорошей работы, поэтому вам, вероятно, понадобится машина с 64 ГБ оперативной памяти. Также вам потребуется мощный графический процессор (или несколько соединенных вместе) для запуска модели.
В описании модели говорится: «Llama 3.3 предназначена для коммерческого и исследовательского использования на нескольких языках. Модели, настроенные на выполнение инструкций, подходят для общения в стиле помощника, тогда как предварительно обученные модели могут быть адаптированы для различных задач по генерации естественного языка. Модель Llama 3.3 также поддерживает возможность использования выходных данных своих моделей для улучшения других моделей, включая генерацию синтетических данных и дистилляцию.»
Несмотря на то что Llama 3.3 70B не запустится на большинстве вычислительных устройств, вы сможете запустить меньшие модели 1B, 3B и 8B на многих настольных и портативных компьютерах с помощью приложений, таких как LM Studio или Chat With RTX от Nvidia. Мой Mac Mini на 16 ГБ M1 запускает Llama 3.1 8B с такими же скоростями, как облачные AI-чат-боты, но я использую меньшие 3B модели на своем MacBook Air с 8 ГБ оперативной памяти, так как у меня меньше доступной оперативной памяти.
Вы можете скачать Llama 3.3 70B и другие модели Llama с сайта Meta, Hugging Face, встроенного поиска в LM Studio и других репозиториев.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Вы также можете читать меня в:
- Telegram: https://t.me/gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru