Инструменты расчёта
Рассчитайте требуемую видеопамять для запуска LLM-моделей.
Выберите модель и метод квантования
Требуемая видеопамять
Минимальный объём VRAM для Llama 3 70B с квантованием FP16
Калькулятор даёт быстрый ориентир перед локальным запуском языковой модели. Он берёт базовую оценку из конфигурации проекта, применяет коэффициент выбранного режима и округляет результат вверх до целого числа гигабайт. Поэтому значение в результате отвечает на узкий вопрос: какой объём памяти нужен для выбранной пары «модель + режим представления» в используемой таблице. Это не обещание, что любая конкретная сборка загрузится на видеокарту с ровно таким объёмом.
FP16 использует базовую оценку без уменьшения. В текущей конфигурации Q8 применяет коэффициент 0,5, Q6 — 0,375, Q5 — 0,3125, Q4 — 0,25, а Q3 — 0,1875. Чем меньше разрядность, тем ниже оценка памяти для весов, но конкретный формат, библиотека загрузки и модель могут влиять на фактический результат. В документации Hugging Face квантование описано как представление весов в формате меньшей точности для снижения требований к памяти; там же отдельно указаны особенности 4- и 8-битной загрузки через bitsandbytes.
Официальная документация Hugging Face о квантованииРасчёт не моделирует отдельно KV-кэш, активации, память под контекст, загрузчик, драйвер, временные буферы и другие процессы на GPU. Для длинного контекста, пакетной генерации, дообучения и запуска с несколькими сервисами оставляйте запас и сверяйте результат с документацией выбранной модели и рантайма. Если видеопамяти не хватает, уменьшение контекста или переход на другой режим может помочь, но не гарантирует совместимость: проверять нужно уже в целевой среде. Введите модель и режим выше, чтобы получить сопоставимую оценку для разных вариантов.
Для сравнения начните с FP16 как с верхней точкой таблицы, затем переключайте режимы и смотрите, как меняется результат для той же модели. Такой сценарий помогает быстро отсеять варианты, которые заведомо не помещаются в доступную видеопамять, а затем перейти к проверке оставшихся вариантов в реальном рантайме.