AI оқыту және қосымша оқытуға арналған GPU серверлері
Оқытуда қымбат карталар өз бағасын ақтайды: HBM жадысы, карталар арасындағы NVLink және GPU бос тұрмауы үшін жеткілікті CPU мен RAM.
Не таңдау керек
- ~70B-ға дейін LoRA / QLoRA қосымша оқыту: бір H100 немесе H200, ал бюджет аз болса — бір RTX PRO 6000.
- 7–13B модельдерді толық қосымша оқыту: 2–4× H100 немесе A100 80 ГБ.
- Үлкен модельдерді алдын ала немесе толық оқыту: бір машинада 8× H100, H200 немесе B200.
Карталардың айырмашылығы — Қай GPU таңдау керек? бетінде.
Машинада не орнатылған
Тапсырыс бергенде PyTorch бейнесін таңдасаңыз, драйверге сәйкестендірілген PyTorch, CUDA және cuDNN дайын тұрады. Контейнер ішінде root құқығыңыз бар, сондықтан pip install, apt және өз скрипттеріңіз әдеттегідей жұмыс істейді.
CUDA бейнесі фреймворксіз тулкит береді — өз нұсқаларыңызды орнатқыңыз келсе.
Деректер мен чекпоинттер
Әр машинада 100 ГБ NVMe диск бар. Датасеттерді тікелей Hugging Face, S3 немесе өз қоймаңыздан жүктеңіз — дата-орталықтардағы хосттардың арнасы әдетте жылдам, ал әр машинаның жылдамдығы каталогта көрсетілген.
Чекпоинттерді машинадан тыс сақтаңыз. Төленген мерзім біткенде сервер мен оның дискі жойылады. Чекпоинттерді оқыту барысында өз қоймаңызға жіберіп отырыңыз, ең соңында емес.
Мерзімді таңдау
Ортаны тексеру үшін машинаны бір күнге алыңыз, содан кейін негізгі іске қосу үшін аптаға немесе айға. Баға төленген мерзімге бекітіледі. Мерзім бітпей тұрып кабинеттен ұзартуға болады — егер хост машинаны сонша уақытқа әлі ұсынса. Каталог әр машинаның неше күнге қолжетімді екенін көрсетеді.