Servidores GPU para inferência de LLM
Servir um modelo é sobretudo uma questão de memória: os pesos e o cache KV precisam caber, e a largura de banda da memória define a velocidade dos tokens.
Dimensionando pelo modelo
| Tamanho do modelo | Escolha confortável |
|---|---|
| 7–14B | 1× RTX 4090 / 5090 (quantizado) ou 1× RTX 6000 Ada |
| 30–35B | 1× RTX PRO 6000 ou 1× H100 |
| 70B | 1× H200, 2× H100 ou 1× RTX PRO 6000 quantizado |
| 100B+ e modelos MoE | 4–8× H100, H200 ou B200 |
São pontos de partida. Contextos longos e muitos usuários simultâneos precisam de mais memória para o cache KV.
Stack de inferência
Comece pela imagem PyTorch e instale o servidor que preferir — vLLM, SGLang, TGI ou llama.cpp. Todos funcionam nessas máquinas. O comando SSH no painel dá acesso total, e você pode encaminhar a porta da API para o seu computador com ssh -L.
Economizando
- Modelos quantizados (AWQ, GPTQ, FP8) cabem em menos placas e muitas vezes rodam mais rápido.
- Com tráfego constante, uma semana ou um mês sai pelo mesmo preço por hora e evita reinstalar tudo.
- Para uma demo ou um trabalho em lote, alugue por um dia.