GPU-сервери для інференсу LLM
Роздача моделі — це насамперед питання пам’яті: ваги та KV-кеш мають уміститися, а пропускна здатність пам’яті визначає, як швидко йдуть токени.
Підбір за розміром моделі
| Розмір моделі | Зручний варіант |
|---|---|
| 7–14B | 1× RTX 4090 / 5090 (квантована) або 1× RTX 6000 Ada |
| 30–35B | 1× RTX PRO 6000 або 1× H100 |
| 70B | 1× H200, 2× H100 або 1× RTX PRO 6000 із квантуванням |
| 100B+ та MoE-моделі | 4–8× H100, H200 або B200 |
Це відправні точки. Довгим контекстам і великій кількості одночасних користувачів потрібно більше пам’яті під KV-кеш.
Стек для роздачі
Почніть з образу PyTorch і встановіть сервер, який вам подобається: vLLM, SGLang, TGI або llama.cpp — усе працює на цих машинах. SSH-команда в кабінеті дає повний доступ, а порт API можна прокинути на свій комп’ютер через ssh -L.
Як заощадити
- Квантовані моделі (AWQ, GPTQ, FP8) вміщуються на меншу кількість карт і часто працюють швидше.
- За сталого навантаження тиждень або місяць коштують стільки ж за годину й позбавляють повторного розгортання.
- Для демо чи разової пакетної задачі беріть машину на день.