Ready2Go Орендувати GPU
Застосування

GPU-сервери для інференсу LLM

Роздача моделі — це насамперед питання пам’яті: ваги та KV-кеш мають уміститися, а пропускна здатність пам’яті визначає, як швидко йдуть токени.

Підбір за розміром моделі

Розмір моделіЗручний варіант
7–14B1× RTX 4090 / 5090 (квантована) або 1× RTX 6000 Ada
30–35B1× RTX PRO 6000 або 1× H100
70B1× H200, 2× H100 або 1× RTX PRO 6000 із квантуванням
100B+ та MoE-моделі4–8× H100, H200 або B200

Це відправні точки. Довгим контекстам і великій кількості одночасних користувачів потрібно більше пам’яті під KV-кеш.

Стек для роздачі

Почніть з образу PyTorch і встановіть сервер, який вам подобається: vLLM, SGLang, TGI або llama.cpp — усе працює на цих машинах. SSH-команда в кабінеті дає повний доступ, а порт API можна прокинути на свій комп’ютер через ssh -L.

Як заощадити

  • Квантовані моделі (AWQ, GPTQ, FP8) вміщуються на меншу кількість карт і часто працюють швидше.
  • За сталого навантаження тиждень або місяць коштують стільки ж за годину й позбавляють повторного розгортання.
  • Для демо чи разової пакетної задачі беріть машину на день.