GPU-серверы для инференса LLM
Раздача модели — это в первую очередь вопрос памяти: веса и KV-кэш должны поместиться, а пропускная способность памяти определяет, как быстро идут токены.
Подбор по размеру модели
| Размер модели | Удобный вариант |
|---|---|
| 7–14B | 1× RTX 4090 / 5090 (квантованная) или 1× RTX 6000 Ada |
| 30–35B | 1× RTX PRO 6000 или 1× H100 |
| 70B | 1× H200, 2× H100 или 1× RTX PRO 6000 с квантованием |
| 100B+ и MoE-модели | 4–8× H100, H200 или B200 |
Это отправные точки. Длинным контекстам и большому числу одновременных пользователей нужно больше памяти под KV-кэш.
Стек для раздачи
Начните с образа PyTorch и поставьте сервер, который вам нравится: vLLM, SGLang, TGI или llama.cpp — всё работает на этих машинах. SSH-команда в личном кабинете даёт полный доступ, а порт API можно пробросить на свой компьютер через ssh -L.
Как сэкономить
- Квантованные модели (AWQ, GPTQ, FP8) помещаются на меньшее число карт и часто работают быстрее.
- При постоянной нагрузке неделя или месяц выходят по той же цене за час и избавляют от повторного развёртывания.
- Для демо или разовой пакетной задачи берите машину на день.