Какую GPU арендовать?
Каждая машина в каталоге — одна из видеокарт NVIDIA ниже. Коротко: объём памяти решает, что поместится, поколение — насколько быстро будет работать, а число карт — насколько можно масштабироваться.
Начните с памяти
Прежде чем смотреть на скорость, проверьте, что задача помещается. Веса модели, активации, а при раздаче LLM ещё и KV-кэш должны поместиться в видеопамять. Если не помещаются, модель придётся делить между несколькими картами — или она не запустится вовсе.
- До 24–32 ГБ: генерация изображений, небольшие и квантованные LLM (7–14B), большинство сцен для рендера.
- 48–96 ГБ: квантованные модели на 30–70B, дообучение с LoRA, крупные сцены и симуляции.
- 80–180 ГБ на карту и несколько карт: модели 70B+ в полной точности, предобучение и полное дообучение.
В каталоге колонка Видеопамять уже показывает суммарный объём всех карт в машине.
Карты для дата-центров
| GPU | Память на карту | Для чего |
|---|---|---|
| NVIDIA B200 | ~180 ГБ HBM3e | Новейшее поколение. Обучение и раздача самых больших моделей. |
| NVIDIA H200 | 141 ГБ HBM3e | Те же вычисления, что у H100, но заметно больше и быстрее память — длинные контексты, большие батчи. |
| NVIDIA H100 | 80–94 ГБ HBM3 | Стандарт для обучения и высоконагруженного инференса. Версии SXM быстрее, чем PCIe. |
| NVIDIA A100 | 40 или 80 ГБ HBM2e | Прошлое поколение, всё ещё мощное и самый недорогой вход в память HBM. |
| NVIDIA L40S | 48 ГБ GDDR6 | Инференс и графика в одной карте. |
Память HBM в разы быстрее GDDR в рабочих и игровых картах. Для инференса LLM, где скорость в основном упирается в пропускную способность памяти, эта разница напрямую видна в токенах в секунду.
Профессиональные карты
| GPU | Память на карту | Для чего |
|---|---|---|
| RTX PRO 6000 (Blackwell) | 96 ГБ GDDR7 | Больше всего памяти вне линейки для дата-центров. Квантованные 70B на одной карте, рендер. |
| RTX 6000 Ada | 48 ГБ GDDR6 | Инференс, дообучение и профессиональный рендер. |
| RTX PRO 5000 / 5880 Ada | 48 ГБ | Более доступный вариант с 48 ГБ. |
Потребительские карты
| GPU | Память на карту | Для чего |
|---|---|---|
| RTX 5090 | 32 ГБ GDDR7 | Очень быстрая за свои деньги: генерация изображений и видео, небольшие LLM. |
| RTX 4090 | 24 ГБ GDDR6X | Самая доступная серьёзная GPU. Отлично подходит для экспериментов и задач в духе Stable Diffusion. |
Машины с 4 или 8 такими картами хорошо подходят для задач, которые делятся на независимые части: пакетный рендер, много параллельных воркеров инференса, перебор гиперпараметров.
Одна карта или восемь?
Несколько карт помогают, когда ваш фреймворк умеет их использовать: data-parallel обучение, tensor-parallel раздача (vLLM, TensorRT-LLM) или много независимых задач. В машинах для дата-центров карты связаны через NVLink — делить одну модель между ними так гораздо эффективнее, чем через PCIe.
Если сомневаетесь, возьмите одну карту на день, сделайте замеры, а затем арендуйте машину побольше для основного запуска.