Ready2Go GPU жалға алу
Қолданылуы

LLM инференсіне арналған GPU серверлері

Модельді тарату — ең алдымен жады мәселесі: салмақтар мен KV-кэш сыюы керек, ал жады өткізу қабілеті токендердің қаншалықты жылдам шығатынын анықтайды.

Модель өлшеміне қарай таңдау

Модель өлшеміЫңғайлы нұсқа
7–14B1× RTX 4090 / 5090 (квантталған) немесе 1× RTX 6000 Ada
30–35B1× RTX PRO 6000 немесе 1× H100
70B1× H200, 2× H100 немесе квантталған 1× RTX PRO 6000
100B+ және MoE модельдері4–8× H100, H200 немесе B200

Бұл бастапқы нұсқалар. Ұзын контекстер мен бір мезгілдегі көп пайдаланушыға KV-кэш үшін көбірек жады қажет.

Тарату стегі

PyTorch бейнесінен бастап, өзіңізге ұнайтын серверді орнатыңыз: vLLM, SGLang, TGI немесе llama.cpp — бәрі осы машиналарда жұмыс істейді. Кабинеттегі SSH командасы толық қолжетімділік береді, ал API портын ssh -L арқылы өз компьютеріңізге бағыттауға болады.

Қалай үнемдеуге болады

  • Квантталған модельдер (AWQ, GPTQ, FP8) азырақ картаға сыяды және жиі жылдамырақ жұмыс істейді.
  • Тұрақты жүктемеде апта немесе ай сағатына бірдей бағаға түседі және қайта орналастырудан құтқарады.
  • Демо немесе бір реттік пакеттік тапсырма үшін машинаны бір күнге алыңыз.