Қай GPU-ды жалға алған дұрыс?
Каталогтағы әр машина — төмендегі NVIDIA видеокарталарының бірі. Қысқаша айтқанда: жады көлемі не сыятынын, буын — қаншалықты жылдам жұмыс істейтінін, ал карталар саны — қаншалықты масштабтауға болатынын анықтайды.
Жадыдан бастаңыз
Жылдамдыққа қарамас бұрын тапсырманың сыятынын тексеріңіз. Модель салмақтары, активациялар, ал LLM тарату кезінде KV-кэш те видеожадыға сыюы керек. Сыймаса, модельді бірнеше картаға бөлуге тура келеді — әйтпесе ол мүлде іске қосылмайды.
- 24–32 ГБ-қа дейін: сурет генерациясы, шағын және квантталған LLM (7–14B), рендер сахналарының көбі.
- 48–96 ГБ: квантталған 30–70B модельдер, LoRA арқылы қосымша оқыту, ірі сахналар мен симуляциялар.
- Бір картаға 80–180 ГБ және бірнеше карта: толық дәлдіктегі 70B+ модельдер, алдын ала оқыту және толық қосымша оқыту.
Каталогтағы Видеожады бағаны машинадағы барлық карталардың жалпы көлемін көрсетеді.
Дата-орталық карталары
| GPU | Бір картаның жадысы | Не үшін |
|---|---|---|
| NVIDIA B200 | ~180 ГБ HBM3e | Ең жаңа буын. Ең үлкен модельдерді оқыту және тарату. |
| NVIDIA H200 | 141 ГБ HBM3e | H100-дің есептеу қуаты, бірақ жадысы әлдеқайда көп әрі жылдам — ұзын контекст, үлкен батчтар. |
| NVIDIA H100 | 80–94 ГБ HBM3 | Оқыту мен жоғары жүктемелі инференстің стандарты. SXM нұсқалары PCIe-ден жылдамырақ. |
| NVIDIA A100 | 40 немесе 80 ГБ HBM2e | Алдыңғы буын, әлі де қуатты әрі HBM жадысына ең арзан жол. |
| NVIDIA L40S | 48 ГБ GDDR6 | Инференс пен графика бір картада. |
HBM жадысы жұмыс және ойын карталарындағы GDDR-дан бірнеше есе жылдам. Жылдамдығы негізінен жады өткізу қабілетіне тірелетін LLM инференсінде бұл айырмашылық секундына токен санынан тікелей көрінеді.
Кәсіби карталар
| GPU | Бір картаның жадысы | Не үшін |
|---|---|---|
| RTX PRO 6000 (Blackwell) | 96 ГБ GDDR7 | Дата-орталық желісінен тыс ең көп жады. Бір картада квантталған 70B, рендер. |
| RTX 6000 Ada | 48 ГБ GDDR6 | Инференс, қосымша оқыту және кәсіби рендер. |
| RTX PRO 5000 / 5880 Ada | 48 ГБ | 48 ГБ-қа қолжетімдірек нұсқа. |
Тұтынушылық карталар
| GPU | Бір картаның жадысы | Не үшін |
|---|---|---|
| RTX 5090 | 32 ГБ GDDR7 | Бағасына қарай өте жылдам: сурет пен видео генерациясы, шағын LLM. |
| RTX 4090 | 24 ГБ GDDR6X | Ең қолжетімді байыпты GPU. Тәжірибелер мен Stable Diffusion сияқты тапсырмаларға тамаша. |
4 немесе 8 осындай картасы бар машиналар тәуелсіз бөліктерге бөлінетін тапсырмаларға жақсы сәйкес келеді: пакеттік рендер, көптеген параллель инференс воркерлері, гиперпараметрлерді іріктеу.
Бір карта ма, сегіз бе?
Бірнеше карта фреймворкіңіз оларды пайдалана алғанда көмектеседі: data-parallel оқыту, tensor-parallel тарату (vLLM, TensorRT-LLM) немесе көп тәуелсіз тапсырма. Дата-орталық машиналарында карталар NVLink арқылы қосылған — бір модельді олардың арасында бөлу PCIe-ге қарағанда әлдеқайда тиімді.
Күмәндансаңыз, бір картаны бір күнге алып, өлшеп көріңіз, содан кейін негізгі іске қосу үшін үлкенірек машинаны жалға алыңыз.