Яку GPU орендувати?
Кожна машина в каталозі — одна з відеокарт NVIDIA нижче. Коротко: обсяг пам’яті визначає, що вміститься, покоління — наскільки швидко працюватиме, а кількість карт — наскільки можна масштабуватися.
Почніть із пам’яті
Перш ніж дивитися на швидкість, перевірте, що задача вміщується. Ваги моделі, активації, а під час роздачі LLM ще й KV-кеш мають уміститися у відеопам’ять. Якщо ні — модель доведеться ділити між кількома картами, або вона взагалі не запуститься.
- До 24–32 ГБ: генерація зображень, невеликі та квантовані LLM (7–14B), більшість сцен для рендеру.
- 48–96 ГБ: квантовані моделі на 30–70B, донавчання з LoRA, великі сцени та симуляції.
- 80–180 ГБ на карту й кілька карт: моделі 70B+ у повній точності, попереднє навчання та повне донавчання.
У каталозі колонка Відеопам’ять уже показує сумарний обсяг усіх карт у машині.
Карти для дата-центрів
| GPU | Пам’ять на карту | Для чого |
|---|---|---|
| NVIDIA B200 | ~180 ГБ HBM3e | Найновіше покоління. Навчання та роздача найбільших моделей. |
| NVIDIA H200 | 141 ГБ HBM3e | Ті самі обчислення, що й у H100, але значно більше та швидша пам’ять — довгі контексти, великі батчі. |
| NVIDIA H100 | 80–94 ГБ HBM3 | Стандарт для навчання та високонавантаженого інференсу. Версії SXM швидші за PCIe. |
| NVIDIA A100 | 40 або 80 ГБ HBM2e | Попереднє покоління, досі потужне та найдешевший вхід у пам’ять HBM. |
| NVIDIA L40S | 48 ГБ GDDR6 | Інференс і графіка в одній карті. |
Пам’ять HBM у рази швидша за GDDR у робочих та ігрових картах. Для інференсу LLM, де швидкість здебільшого впирається в пропускну здатність пам’яті, ця різниця напряму видна в токенах за секунду.
Професійні карти
| GPU | Пам’ять на карту | Для чого |
|---|---|---|
| RTX PRO 6000 (Blackwell) | 96 ГБ GDDR7 | Найбільше пам’яті поза лінійкою для дата-центрів. Квантовані 70B на одній карті, рендер. |
| RTX 6000 Ada | 48 ГБ GDDR6 | Інференс, донавчання та професійний рендер. |
| RTX PRO 5000 / 5880 Ada | 48 ГБ | Доступніший варіант із 48 ГБ. |
Споживчі карти
| GPU | Пам’ять на карту | Для чого |
|---|---|---|
| RTX 5090 | 32 ГБ GDDR7 | Дуже швидка за свої гроші: генерація зображень і відео, невеликі LLM. |
| RTX 4090 | 24 ГБ GDDR6X | Найдоступніша серйозна GPU. Чудово підходить для експериментів і задач на кшталт Stable Diffusion. |
Машини з 4 або 8 такими картами добре підходять для задач, що діляться на незалежні частини: пакетний рендер, багато паралельних воркерів інференсу, перебір гіперпараметрів.
Одна карта чи вісім?
Кілька карт допомагають, коли ваш фреймворк уміє їх використовувати: data-parallel навчання, tensor-parallel роздача (vLLM, TensorRT-LLM) або багато незалежних задач. У машинах для дата-центрів карти з’єднані через NVLink — ділити одну модель між ними так набагато ефективніше, ніж через PCIe.
Якщо вагаєтеся, візьміть одну карту на день, зробіть заміри, а потім орендуйте більшу машину для основного запуску.