Ready2Go Арендовать GPU
Применение

GPU-серверы для инференса LLM

Раздача модели — это в первую очередь вопрос памяти: веса и KV-кэш должны поместиться, а пропускная способность памяти определяет, как быстро идут токены.

Подбор по размеру модели

Размер моделиУдобный вариант
7–14B1× RTX 4090 / 5090 (квантованная) или 1× RTX 6000 Ada
30–35B1× RTX PRO 6000 или 1× H100
70B1× H200, 2× H100 или 1× RTX PRO 6000 с квантованием
100B+ и MoE-модели4–8× H100, H200 или B200

Это отправные точки. Длинным контекстам и большому числу одновременных пользователей нужно больше памяти под KV-кэш.

Стек для раздачи

Начните с образа PyTorch и поставьте сервер, который вам нравится: vLLM, SGLang, TGI или llama.cpp — всё работает на этих машинах. SSH-команда в личном кабинете даёт полный доступ, а порт API можно пробросить на свой компьютер через ssh -L.

Как сэкономить

  • Квантованные модели (AWQ, GPTQ, FP8) помещаются на меньшее число карт и часто работают быстрее.
  • При постоянной нагрузке неделя или месяц выходят по той же цене за час и избавляют от повторного развёртывания.
  • Для демо или разовой пакетной задачи берите машину на день.