Ready2Go Alugar GPU
Uso

Servidores GPU para inferência de LLM

Servir um modelo é sobretudo uma questão de memória: os pesos e o cache KV precisam caber, e a largura de banda da memória define a velocidade dos tokens.

Dimensionando pelo modelo

Tamanho do modeloEscolha confortável
7–14B1× RTX 4090 / 5090 (quantizado) ou 1× RTX 6000 Ada
30–35B1× RTX PRO 6000 ou 1× H100
70B1× H200, 2× H100 ou 1× RTX PRO 6000 quantizado
100B+ e modelos MoE4–8× H100, H200 ou B200

São pontos de partida. Contextos longos e muitos usuários simultâneos precisam de mais memória para o cache KV.

Stack de inferência

Comece pela imagem PyTorch e instale o servidor que preferir — vLLM, SGLang, TGI ou llama.cpp. Todos funcionam nessas máquinas. O comando SSH no painel dá acesso total, e você pode encaminhar a porta da API para o seu computador com ssh -L.

Economizando

  • Modelos quantizados (AWQ, GPTQ, FP8) cabem em menos placas e muitas vezes rodam mais rápido.
  • Com tráfego constante, uma semana ou um mês sai pelo mesmo preço por hora e evita reinstalar tudo.
  • Para uma demo ou um trabalho em lote, alugue por um dia.