LLM инференсіне арналған GPU серверлері
Модельді тарату — ең алдымен жады мәселесі: салмақтар мен KV-кэш сыюы керек, ал жады өткізу қабілеті токендердің қаншалықты жылдам шығатынын анықтайды.
Модель өлшеміне қарай таңдау
| Модель өлшемі | Ыңғайлы нұсқа |
|---|---|
| 7–14B | 1× RTX 4090 / 5090 (квантталған) немесе 1× RTX 6000 Ada |
| 30–35B | 1× RTX PRO 6000 немесе 1× H100 |
| 70B | 1× H200, 2× H100 немесе квантталған 1× RTX PRO 6000 |
| 100B+ және MoE модельдері | 4–8× H100, H200 немесе B200 |
Бұл бастапқы нұсқалар. Ұзын контекстер мен бір мезгілдегі көп пайдаланушыға KV-кэш үшін көбірек жады қажет.
Тарату стегі
PyTorch бейнесінен бастап, өзіңізге ұнайтын серверді орнатыңыз: vLLM, SGLang, TGI немесе llama.cpp — бәрі осы машиналарда жұмыс істейді. Кабинеттегі SSH командасы толық қолжетімділік береді, ал API портын ssh -L арқылы өз компьютеріңізге бағыттауға болады.
Қалай үнемдеуге болады
- Квантталған модельдер (AWQ, GPTQ, FP8) азырақ картаға сыяды және жиі жылдамырақ жұмыс істейді.
- Тұрақты жүктемеде апта немесе ай сағатына бірдей бағаға түседі және қайта орналастырудан құтқарады.
- Демо немесе бір реттік пакеттік тапсырма үшін машинаны бір күнге алыңыз.