Жасанды интеллект серверінің ұғымын өзгертті. GPU-ларға толы заманауи AI-сервер дата-орталықтар жобаланған әдеттегі стеллаждық жабдыққа қарағанда он-отыз есе көп қуат тұтынады — және он-отыз есе көп жылу бөледі. Осы бір ғана факт нарықтағы колокация ұсыныстарының көбін бұзады.
Егер сіз үлкен тілдік модельдерді оқытсаңыз немесе іске қоссаңыз, мәселе енді жай ғана «серверді қайда қою» емес. Мәселе — «қай объект оны физикалық түрде қуаттандырып, салқындата алады». Бұл нұсқаулықта дата-орталықты AI-ready ететін нәрсені, GPU-есептеу алудың үш жолын және GPU-серверлерді орналастыруға алаңды қалай таңдау керегін — Қазақстан мен Орталық Азиядағы жағдайға назар аудара отырып — талдаймыз.
AI неге әдеттегі колокацияны бұзады
Жиырма жыл бойы колокация тұрақты болжам төңірегінде жобаланды: стеллажда шамамен 5–10 кВт тұтынатын, ауамен салқындатылатын жалпы мақсаттағы серверлер тұрады. AI жүктемелері бұл болжамды барлық осьте бұзады.
Қуат тығыздығы. 8 GPU бар бір AI-сервер (мысалы, сегіз H100 немесе H200 үдеткіші бар NVIDIA HGX түйіні) өздігінен 6–10 кВт тұтынады. Стеллажды осындай серверлермен толтырсаңыз, 40 кВт, 80 кВт, ал жаңа B200 класындағы жүйелер үшін стеллажға 120–130 кВт-қа дейін жетесіз. Бұл әдеттегі стеллаждан 10–30 есе тығыз. Дата-орталықтардың көбі қанша алаң жалдасаңыз да, бір стеллаж-позицияға сонша қуат бере алмайды.
Жылу. Қуаттың әр ватты жылудың ваттына айналады. Ауалық салқындату — залдан салқын ауаны айдау — стеллажға шамамен 20–30 кВт маңайында сыйымдылығын сарқиды. Одан жоғары физика сұйықтық салқындатуға көшуге мәжбүрлейді: артқы жылуалмастырғыш есіктер, чипке тікелей салқындату пластиналары немесе толық батыру. Тек ауамен салқындатылатын стеллаждарды ғана ұсынатын объект тығыз GPU-кластерлерін мүлде орналастыра алмайды.
Желі. Таратылған оқыту бір модельді гредиенттермен үнемі алмасатын ондаған немесе жүздеген GPU-ға бөледі. Бұл түйіндер арасында төмен латентті жоғары өткізу қабілетті интерконнекттерді (200–800 Гбит/с InfiniBand немесе RDMA қолдайтын Ethernet) талап етеді — веб-серверге жеткілікті әдеттегі аплинкті емес.
Үздіксіз және қымбат жүктеме. Оқыту прогоны қымбат GPU-кластерін апталар бойы тоқтаусыз ала алады. Түнде бос тұратын веб-серверден айырмашылығы, AI-жабдық тәулік бойы толық қуатта жұмыс істейді, бұл сенімділікке де, электр энергиясының құнына да қоятын талапты арттырады.
Дата-орталықты «AI-ready» ететін нәрсе
GPU-серверлерді бір жерге орналастырмас бұрын, объектінің оларды шынымен қолдай алатынына көз жеткізіңіз:
Стеллажға жоғары қуат тығыздығы. Объект бір стеллажға немесе cage-ге 30, 50 немесе 100+ кВт бере ала ма? Тек юнит бағасын емес, қолдау көрсетілетін ең жоғары тығыздықты сұраңыз.
Сұйықтық салқындатуды қолдау. Тығыз кластерлер үшін объектінің артқы жылуалмастырғыш есіктерді немесе тікелей сұйықтық салқындатуды тиісті құбыр жүйесі мен жылу шығару қуатымен қолдайтынын нақтылаңыз. Тек қуаттандыруды емес, қандай тығыздықты салқындата алатынын сұраңыз.
Жеткілікті жалпы қуат. GPU-кластер киловатпен емес, мегаваттпен өлшенеді. Объектіге алаңдағы нақты шарттасқан энергия қуаты — және түйіндер қосқан сайын өсуге қоры қажет.
Ұзақ тапсырмаларға сенімділік. Екі апталық оқыту прогонын қайта бастататын қуат секірісі қымбатқа түседі. Ақаулыққа төзімді инфрақұрылым (төмендегі Tier IV қараңыз) ұзақ жүктемелерді жалғыз ақаулықтардан қорғайды.
Төмен латентті байланыс. Пайдаланушыларға қызмет ететін inference үшін жауап беру уақытын жақындық пен желі сапасы анықтайды. Оқыту үшін ең маңыздысы — түйіндер арасындағы ішкі фабрика.
GPU-есептеу алудың үш жолы
Бірыңғай «ең жақсы» нұсқа жоқ — бәрі жабдықты қаншалықты үздіксіз пайдаланатыныңызға байланысты.
1. Бұлтта GPU-инстанстарды жалдау. Виртуалды GPU-сыйымдылықты сағаттап жалдайсыз. Ең жылдам старт, жабдық бойынша нөлдік міндеттеме, эксперименттерге, сұраныс секірістеріне және қысқа қосымша оқытуларға тамаша. Айырбас: жоғары тұрақты жүктемеде сағаттық баға ең қымбат нұсқаға айналады, әрі сіз жабдықты да, деректердің физикалық түрде қайда жатқанын да бақыламайсыз.
2. Арнайы GPU-серверлерді жалдау. Провайдер физикалық GPU-серверлерге иелік етіп, оларды сізге ай сайын жалға береді. Сағаттық бұлтқа қарағанда болжамды құн, капиталдық шығынсыз, бірақ провайдердің жабдық таңдауымен шектелесіз әрі активке иелік етпейсіз.
3. Өз GPU-серверлеріңізді колокациялау. Сіз GPU-жабдықты сатып алып, оны қуатты, салқындатуды, желіні және қауіпсіздікті қамтамасыз ететін дата-орталыққа орналастырасыз. GPU-сағат үшін емес, орын, қуат және салқындату үшін төлейсіз. Жабдықтың көпжылдық қызмет мерзімі бойы тұрақты жоғары жүктемеде бұл GPU-сағат есебінде ең төмен құн, әрі конфигурацияға, деректерге және физикалық қолжетімге толық бақылауды сақтайсыз.
| Модель | Не үшін жақсы | Жоғары жүктемедегі құны | Жабдыққа/деректерге бақылау |
|---|---|---|---|
| Бұлттық GPU-инстанстар | Эксперименттер, секірістер, қысқа тапсырмалар | Ең жоғары | Жоқ |
| Арнайы GPU жалдау | Болжамды орта мерзімді жүктемелер | Орташа | Шектеулі |
| GPU-колокация | Үздіксіз ұзақ мерзімді жүктемелер | Ең төмен | Толық |
Ереже қарапайым: GPU-ларыңыз неғұрлым үздіксіз жұмыс істесе және жабдықты неғұрлым ұзақ ұстасаңыз, колокация соғұрлым ұтады. Компаниялар сценарийді тексеру үшін жиі бұлтта бастайды, содан кейін құнды төмендетіп, бақылауды қайтару үшін тұрақты жүктемелерді колокацияға көшіреді.
Оқыту vs inference: әртүрлі инфрақұрылым
AI-дің екі фазасының инфрақұрылымдық профильдері әртүрлі, әрі оларды араластыру — қате.
Оқыту — бұл batch-тапсырма: толық қуатта күндер мен апталар бойы жұмыс істейтін, өзара тығыз байланысқан және үзілістерге өте сезімтал орасан тығыз кластерлер. Оқыту ең жоғары қуат тығыздығын, сұйықтық салқындатуды және ақаулыққа төзімділікті марапаттайды. Прогонды қайта бастататын жалғыз ақаулық — нақты ақша.
Inference — бұл қызмет: ол пайдаланушыларға миллисекундтарда жауап беруі тиіс, трафикпен бірге масштабталады және латенттік пен географиялық жақындыққа тәуелді. Inference жиі пайдаланушыларға жақын шағын конфигурацияларда жұмыс істейді, әрі оның сенімділікке қоятын талабы — ұзақ есептеуді қорғау емес, қызметтің үздіксіздігі.
Байыпты AI-операция бұл екі тапсырманы жиі бөледі — оқыту үшін тығыз колоцияланған кластерлер, inference үшін таратылған сыйымдылық — және жақсы дата-орталық екеуін де орналастыра алады.
Ұзақ оқытулар неге Tier IV-ке бейім
Оқыту прогоны неғұрлым ұзақ әрі қымбат болса, инфрақұрылымның жалғыз ақаулығы соғұрлым қымбатқа түседі. Қайта бастауға мәжбүрлейтін қуат немесе салқындату ақаулығы күндер бойы есептеулерді және жүздеген мың доллар GPU уақытын жойып жіберуі мүмкін.
Дәл осы жерде сенімділік деңгейі маңызды. Tier IV деңгейіндегі объект ақаулыққа төзімді: ол бір мезгілде бірнеше белсенді тәуелсіз қуат пен салқындату жолын жүргізеді, сондықтан кез келген жалғыз компонент жүктемеге ешқандай әсерсіз істен шыға алады. Құны миллион долларлық екі апталық прогон үшін бұл сәнділік емес — бұл инвестицияны қорғау. (Сенімділік класстарының толық талдауы — Tier IV дегеніміз не нұсқаулығымызда.)
Қазақстандағы GPU-колокация
Қазақстан мен Орталық Азияда жұмыс істейтін компаниялар үшін AI-инфрақұрылымды жергілікті орналастыру әрі практикалық, әрі көп жағдайда заңды түрде қажет болды.
Деректер резиденттігі. ҚР заңы азаматтардың дербес деректерін физикалық түрде Қазақстанда орналасқан серверлерде сақтауды талап етеді. Егер сіздің AI-жүйелеріңіз осындай деректерді өңдесе, ел ішінде орналастыру — таңдау емес. (Қазақстандағы деректерді локализациялау нұсқаулығын қараңыз.)
Масштабтағы қуат. AI-кластерлер мегаваттпен өлшенеді. Аймақтық шектеу сирек алаң болады; бұл — шарттасқан қуат. Тығыз GPU-орналастыруды дәл елеулі резервтелген энергия инфрақұрылымы бар объект мүмкін етеді.
Салқын климаттың артықшылығы. Салқындату — AI-кластердің ең ірі операциялық шығындарының бірі. Қазақстанның ұзақ салқын маусымдары бар континенттік климаты жылуды шығаруға қажетті энергияны азайтады және ыстық климаттағы алаңдармен салыстырғанда жалпы тиімділікті арттырады.
Сенімділік пен жақындық. Астанадағы Tier IV объектісі ұзақ оқытуларды жалғыз ақаулықтардан қорғайды және сонымен қатар inference-ті аймақтық пайдаланушыларға жақын орналастырады, Орталық Азия бойынша төмен латентті байланыспен.
Астанадағы Akashi Data Center AI дәуіріне арнайы салынған: Uptime Institute сертификатталған Tier IV, резервтелген 100 МВт энергия инфрақұрылымымен, қуат пен салқындату бойынша 2N+1 резервтеумен және төрт тәуелсіз оптикалық кірумен — Орталық Азиядағы алғашқы және жалғыз Tier IV объектісі. Оқыту немесе inference үшін GPU-серверлерді орналастыратын ұйымдар үшін дәл осы қуат сыйымдылығы, ақаулыққа төзімділік және ел ішіндегі деректер резиденттігінің үйлесімі тығыз AI жүктемелеріне қажет.
Жиі қойылатын сұрақтар
GPU-колокация дегеніміз не?
GPU-колокация — бұл өзіңіздің GPU-серверлеріңізді (AI-модельдерді оқыту немесе inference үшін) оларға қажетті қуатты, салқындатуды, желіні және физикалық қауіпсіздікті қамтамасыз ететін үшінші тарап дата-орталығына орналастыру. Жабдық сізге тиесілі және толығымен сіздің бақылауыңызда; дата-орталық ортаны ұсынады.
Неге әдеттегі дата-орталық GPU-серверлерді орналастыра алмайды?
Бір AI-сервер (мысалы, 8×H100 түйіні) 6–10 кВт тұтынады, ал осындай серверлердің толық стеллажы 40–130 кВт-тан асады. Колокациядағы әдеттегі стеллаждар 5–10 кВт-қа есептелген және сонша жылуды шығара алмайтын ауалық салқындатуды қолданады. AI тығыздығы күшейтілген қуат таратуды және белгілі бір шектен жоғары сұйықтық салқындатуды талап етеді.
GPU-ды бұлтта жалдау керек пе, әлде өз серверлерін орналастыру керек пе?
Қысқа, өзгермелі немесе эксперименттік жүктемелер үшін бұлтта жалдаңыз — сағаттап төлеп, минуттарда іске қосасыз. GPU-лар айлар бойы үздіксіз жұмыс істегенде өз жабдығыңызды орналастырыңыз: серверлерге иелік етіп, тек орын, қуат және салқындату үшін төлеу тұрақты жоғары жүктемеде GPU-сағат есебінде әлдеқайда арзан, әрі жабдық пен деректерге толық бақылауды сақтайсыз.
Ұзақ оқыту тапсырмаларына Tier IV қажет пе?
Оқыту прогоны неғұрлым қымбат болса, қуат немесе салқындатудың жалғыз ақаулығы соғұрлым қымбатқа түседі — үзіліс күндер бойы есептеулерді және қымбат GPU уақытын жойып жіберуі мүмкін. Tier IV ақаулыққа төзімділігі кез келген жалғыз компонент жүктемені тоқтатпай істен шыға алатынын білдіреді, сондықтан ұзақ әрі қымбат оқыту кластерлері сенімділіктің ең жоғары деңгейіне бейім.
Қазақстандық компания AI үшін GPU-серверлерді қайда орналастыруы керек?
ҚР азаматтарының дербес деректері қатысса, физикалық түрде Қазақстанда орналасқан дата-орталықта — заң оларды ел ішінде сақтауды талап етеді. Комплаенстен бөлек, жоғары қуат тығыздығы, салқындату шығынын азайтатын салқын климаты және төмен латентті аймақтық байланысы бар жергілікті Tier IV объектісі AI жүктемелеріне жақсы сай келеді.
Орталық Азияда AI үшін GPU-орналастыруды жоспарлап жүрсіз бе? Akashi колокация инфрақұрылымын зерттеңіз — Орталық Азиядағы алғашқы және жалғыз Uptime Institute сертификатталған Tier IV дата-орталығы, AI дәуірінің жоғары тығыздықты жүктемелеріне салынған, Қазақстан, Астана.