Қазақстанда GPU-кластерді колокацияға қою — стойкаға киловаттты, жылуды әкетуді, қуат резервін және арналарды алдын ала жинап, содан кейін оны алаң тікелей атайтын нәрсемен салыстыру деген сөз. Залдағы бос орын бұл міндетті жаппайды. Төмендегі салалық диапазондар — Akashi параметрлері емес.
Жоба тығыздық, салқындату және брон туралы не айтатыны «Қазақстандағы ЖИ және GPU» материалында жиналған. Мұнда келесі қадам: орналастырудың өзін қалай жобалау керек, киловатт бағасынан бастап стандартты шкаф пен жоғары тығыздықты модульдің арасындағы таңдауға дейін.
GPU-кластерге стойкаға қанша киловатт керек?
Алаңда «GPU-стойкаға сонша кВт» деген әмбебап цифр жоқ. Бөтен ауқым өз конфигурацияңыздың паспортын алмастырмайды.
Қарапайым CPU-стойкалар үшін колокация гайдында 5–10 кВт ауқымы аталған. Тығыз конфигурациялар мен аралас CPU/GPU жүктемелері сонда 15–20 кВт және одан жоғарыға жатқызылған; осы тығыздықпен бірге салқындату схемасы да аталған — ыстық дәліз немесе сұйықтық. Бұл залдарды салыстыруға арналған бағдар, Akashi стойкасының паспорты емес.
Әрі қарай тығыздық түйінге ілеседі. «AI үшін GPU-колокация» гайдында сегіз GPU-лы әдеттегі сервер (мысал — H100 немесе H200 үдеткіштері бар NVIDIA HGX түйіні) бір машинаға 6–10 кВт деп сипатталған. Осындай түйіндерден құралған стойка сол талдауда 40 және 80 кВт-қа дейін барады. Стойкаға 120–130 кВт шамасы — GB200 NVL72 класындағы стойкалық жүйелер үшін жарияланған әдеттегі цифр, осы гайдтың тұжырымы емес. Бұл Akashi мәлімдеген тығыздық емес. Өз цифрыңызды қорек блоктары, бір мезгілде жұмыс істеу коэффициенті және шыңға арналған қор бойынша есептейді.
Жоба реті қысқа. Алдымен стойкаға киловатт және стойка саны. Содан кейін ауа жете ме, әлде сұйықтық керек пе. Таңдалған кезеңнің нақты тығыздығы конфигурация есебінде расталады, әдеттегі диапазонның жоғарғы шеті қойылмайды. 120–130 кВт шамасы — GB200 NVL72 класындағы стойкаларға арналған бағдар, Астанадағы алаңның кез келген стойкасы сонша қуат алады деген уәде емес.
Ауа ма, сұйықтық па?
Стойкадағы әр киловаттты әкету керек. Сол гайдта ауамен салқындату — зал арқылы суық ауаны айдау — сыйымдылығын стойкаға шамамен 20–30 кВт-та тауысады. Осы әдеттегі шектен жоғары сұйықтыққа көшу аталған: артқы есіктегі жылу алмастырғыш, чипті тікелей салқындату немесе батырмалы жүйелер. Тек ауасы бар зал тығыз GPU-кластерді қабылдамайды, бос юнит қанша болса да. Бұл салалық рамка.
Akashi жобасының тұжырымдары басқа, және олар жоба туралы, тапсырылған зал туралы емес. DC-4 модулінің инженериясы сұйық салқындатудың қазіргі технологияларын көздейді. Колокация материалдарында сұйықтық жоғары тығыздықты конфигурациялар үшін көрсетілген; инженерлік тәсілдің сипаттамасында жоғары тығыздықты ЖИ-стойкаларды сұйықпен салқындатуға дайындық енгізілген. Бірінші кезең тапсырылмаған: коммерциялық іске қосу 2027 жылғы мамырға жоспарланған. Зал берілмей тұрып сұйық контурды қазірдің өзінде жұмыс істеп тұр деп сипаттауға болмайды.
Астана климаты сол сипаттамада маусымның басым бөлігінде еркін салқындатумен жұмыс істеуге мүмкіндік береді. Free cooling және гибридті салқындату режимдері энергия тұтынуды әдеттегі схемаға қарағанда 40%-ға дейін төмендетуге есептелген. Мақсатты PUE — 1,4-тен төмен. ISO 50001 және ISO 14001 бойынша менеджмент жүйелері дайындалуда; бұл салынған залдың сертификаты емес. Осы мақсаттар қалай тұжырымдалғаны — жасыл инженерия туралы материалда.
Егер есептік стойка таңдалған контур ауамен салқындататын шамаға сыйса, сұйықтық міндетті емес. Егер есеп стойкаға әдеттегі 20–30 кВт-тан жоғары болса, алаңға қойылатын сұрақ — жобаға қандай сұйық схема енгізілген және ол қай модульге тиесілі. Akashi-де бұл байланыс DC-4 үшін аталған. Оқыту мен инференс бір стойканы бөлісуге міндетті емес: оқыту тығыз кластерді толық қуатта тәулік бойы ұстайды, инференс көбінесе ізі жағынан кішірек және пайдаланушыға дейінгі жолға көбірек тәуелді.
Қуат резерві және пайдалану тәуекелдері
Оқыту кезінде кластер толық қуатта сағаттап және тәуліктеп отырады. Прогон ортасында қуат немесе салқындату істен шықса, үдеткіштердің жұмсалған уақыты нөлге айналады. Резерв — бір элемент кенет істен шыққандағы мінез-құлық, екінші кабельдің бар болуы емес.
Uptime Institute жіктеуі бойынша Tier III — concurrently maintainable: элементті ИТ-ны тоқтатпай қызмет көрсетуге болады. Tier IV — fault tolerant: кез келген бір элементтің жоспарланбаған істен шығуы ИТ-ға әсер етпейді. Tier IV топологиясының есептік қолжетімділігі — 99,995%, жылына 26 минут шамасында. Бұл топологияның есебі, залдың өлшенген тоқтап қалуы емес және оператордың өздігінен берген уәдесі емес. Деңгейден шартқа не түсетіні — «Tier III пе, Tier IV пе» материалында және Tier IV бетінде.
Бұл сөздерді «Akashi нысаны қазірдің өзінде Tier IV сертификатын алған» деп біріктіруге болмайды.
TCDD — Tier Certification of Design Documents, жоба құжаттамасының сертификаты. Бірінші кезеңде (ЦОД-1, AKASHI Data Center 1, Phase 1) Uptime TCDD Tier IV бар. Құрылыс хронологиясында бұл 2026 жылғы қаңтардың өтілген кезеңі: жоба расталған, салынған зал емес.
TCCF — Tier Certification of Constructed Facility, салынған нысанның сертификаты. Бұл жеке далалық аудит: Uptime Institute инспекторлары сызбалар жинағын емес, салынған жүйелерді тексереді. Аудит 2027 жылғы сәуірге жоспарланған және бүгін алынған сертификат емес. TCDD ≠ TCCF. TCDD бар, TCCF жоқ дегені — бірінші кезеңнің құжаттамасы расталған, ғимарат емес.
Кампус жобасындағы қуат былай аталған:
- active/active схемасымен, 110 кВ резервтеуі бар екі тәуелсіз кіріс;
- ғимаратқа электрдің қос резервтелуі;
- 5/4N резервтеумен ИБП және 10 минутқа дейінгі батарея резерві;
- резервтік генераторлар — толық жүктемеде 12 сағат автономия;
- екі отын жеткізуші, SLA бойынша жеткізу мерзімі 4 сағат.
Алаңда 110/10 кВ қосалқы станциясының негізгі күш жабдығы орнатылған және өз желісі тартылған. Кампус сипаттамасында нысан өзіне көзделген қуат резервін пайдаланады және қаланың ағымдағы тұтынуына арналған электрді алмайды. Техникалық шарттар кейінгі кезеңдерге қарай қуатты ұлғайтуға мүмкіндік береді. Бұл салынып жатқан кампустың сипаттамасы, залды пайдалануға беру актісі емес.
Осыдан үш түрлі тәуекел шығады. Инженерлік: fault tolerance жобаға енгізілген және құжаттама ретінде расталған (TCDD), ал салынған зал TCCF-тен әлі өтпеген; бірінші кезең 2027 жылғы мамырда іске қосылады, ұзақ прогонды TCDD күніне емес, осы күнге және салынған нысанның аудитіне жоспарлайды. Коммерциялық: DC-1-дің жобалық IT қуатына (5,28 МВт) қатысты 5,54 МВт брондалған, сондықтан қуатты бронмен бекітеді. Жылулық: әдеттегі 40 кВт және одан жоғары диапазондағы стойка өзінен-өзі рұқсат етілген бола қалмайды. Оны нақты модульдің жобалық тығыздығымен салыстырады, ал кезеңнің нақты цифрын конфигурация есебінде растайды.
ЖИ және HPC үшін байланыс, кідіріс және арналар
Оқыту мен инференс әртүрлі арна сұрайды.
Кластер ішінде түйіндер градиент алмасады. GPU-колокация гайды мұны түйіндер арасындағы төмен кідіріс пен жоғары өткізу жолағына қойылатын талап деп сипаттайды: InfiniBand немесе RDMA-мен Ethernet, 200–800 Гбит/с. Бұл кластер фабрикасына қойылатын әдеттегі талап, Akashi кампусында мұндай интерконнект орнатылған деген мәлімдеме емес. Өз серверлерінің арасындағы фабриканы тапсырыс беруші жобалайды. Алаң орналастыру, қуат, салқындату және сыртқы желілерге кіріс береді.
Сыртта абонентке дейінгі жол шешеді. «Дата-орталықты қалай таңдауға болады» гайдында бизнес-қолданбалардың көпшілігі үшін 10–20 мс-ке дейінгі бағдар аталған, және сонда нақты жолды есептеу ұсынылған. Бұл әдеттегі жоспарлау ауқымы, Akashi өлшемі емес және алаңның SLA-сы емес.
Кампус арналарды бөлек мәлімдейді. Сәулет төрт тәуелсіз оптикалық кірісті және бірнеше қазақстандық әрі халықаралық операторға қосылуды көздейді. Алаң оператор-бейтарап: клиент серіктестер мен маршруттарды істен шығуға төзімділік, өткізу қабілеті және кідіріс жөніндегі өз талаптарына сай таңдайды. Операторлардың нақты жиыны жалпы анықтамада бекітілмеген — нұсқалар жеке талқыланады. Төрт кіріс бір кабель үзілісі залды оқшаулап тастау тәуекелін азайтады. Олар трафик алмасу нүктесіне дейінгі кідіріс есебін алмастырмайды және GPU-түйіндер арасындағы фабриканың орнын баспайды.
Стандартты шкаф және жоғары тығыздықты модуль
Бұл әртүрлі контур. Шкафты жалға алу — орналастыру форматы: ені 1200 мм, кодпен қолжетімділік, екі PDU, 1-ден 1 000+ шкафқа дейінгі ауқым. Еденге жүктеме — 2 т/м², жасанды еден — 1,6 м. Стандартты емес габарит cage ішіне кетеді. Өз салқындату инженериясы — жеке зал контуры, онда салқындату залға сай бапталады. Бұл қызметтегі стойкаға киловатт мұнда шек ретінде пайдаланылмайды: жобалық тығыздық модульдер бойынша бөлек аталған.
Модуль цифрлары — кампус сипаттамасынан. Бұл жоба, тапсырылған залдың өлшенген тығыздығы емес. Стойкалардың нақты саны клиент талабына және стойкаға қуатқа байланысты. Орналасу — Астанадағы кампус туралы материалда.
| Модуль | Есептік IT қуаты | Стойкаға | Қалай тұжырымдалған |
|---|---|---|---|
| DC-1 | 5,28 МВт | 15 кВт-қа дейін | бірінші кезең, жобалық беру |
| DC-2 | 12 МВт | 30 кВт-қа дейін | кампус модулі, жобалық беру |
| DC-3 | 12 МВт | 30 кВт-қа дейін | кампус модулі, жобалық беру |
| DC-4 | 30 МВт-қа дейін | 150 кВт-қа дейін | жоғары тығыздықтағы AI және HPC үшін жобаланады, сұйық салқындату |
Нақты кезең үшін стойкаға нақты тығыздық конфигурация есебінде расталады. Оны көрші модульдің жобалық цифрынан шығармайды.
Барлық кезеңнен кейінгі кешеннің жобалық қуаты — 100 МВт-қа дейін. Бұл тұтас жобаның цифры, залдың жұмыс істеп тұрған IT жүктемесі емес және модульдердің IT қуатын «қазірдің өзінде қолжетімді» мегаватқа қосып шығаратын сома емес. Толық кампустың стойка жоспары — 4 224-ке дейін; нақты сан клиентке және стойкаға киловатқа байланысты. Хронологияда 100 МВт және 4 224 стойкаға дейін кеңейту 2027+ мерзімінде тұр: бұл 2027 жыл және одан кейін, енгізілген қуат емес. DC-4 ауданы бірінші модульмен шамалас, есептеу қуаты бойынша ол кампустың ең қуатты нысаны болып ойластырылған — сәулеттің келесі қадамы ретінде, қазірдің өзінде 150 кВт қабылдайтын зал ретінде емес.
Жобаға мына контур салынады: кестедегі жобалық тығыздықтар, жоғарыдағыдай қуат және төрт оптикалық кіріс; бірінші кезеңнің TCDD-сы және 2027 жылғы сәуірдегі жеке TCCF; 2027 жылғы мамырдағы іске қосу; DC-1-дің жобалық 5,28 МВт IT-ына қатысты брондалған 5,54 МВт; жоба қасиеті ретіндегі сұйықтық және мақсатты PUE. Жобаға жұмыс істеп тұрған сұйық зал, салынған нысанның сертификаты, трафик биржасына дейінгі өлшенген кідіріс, кампус қасиеті ретіндегі InfiniBand және «залда қазірдің өзінде 100 МВт IT» салынбайды.
Конфигурация есебі және қуат броны
Сату бөліміне стойкаға киловатт пен стойка саны, ауа немесе сұйықтық, 1200 мм шкаф немесе стандартты емес габарит, 2 т/м²-ге қатысты масса, тәуелсіз арналар саны және 2027 жылғы мамырға қатысты мерзім керек. Таңдалған кезең үшін стойкаға нақты тығыздық осы есепте расталады.
Өтінім — байланыс бетінде. Осы форма арқылы конфигурация есебін сұрайды және қуатты брондайды. Сату бөлімі бір жұмыс күні ішінде, пошта мен телефон арқылы жауап береді, техникалық алдын ала біліктілік пен қолжетімді қуатты тексеру жүргізеді және баға, мерзім мен техникалық мәліметтері бар ұсыныс жібереді. Тікелей: sales.department@akashi.cloud, +7 700 810 3010.
Брон қазір талқыланады. DC-1-дің жобалық 5,28 МВт IT-ына қатысты 5,54 МВт брондалып қойған, сондықтан 2027 жылғы мамырға бос стойка күту — брондағы қуат үшін бәсекелесу деген сөз. Сол сұрауда жоба құжаттамасының TCDD-сын және салынған залда жоқ TCCF-ті араластырмайды.
Жиі қойылатын сұрақтар
GPU-кластерге стойкаға әдетте қанша киловатт керек? Бұл әдеттегі ауқым, Akashi параметрі емес. Қарапайым CPU-стойкалар 5–10 кВт, тығыз және аралас CPU/GPU жүктемелері 15–20 кВт және одан жоғары. Салалық гайдта сегіз GPU-лы бір түйін 6–10 кВт, осындай түйіндердің стойкасы 40 және 80 кВт деп сипатталған. Стойкаға 120–130 кВт шамасы — GB200 NVL72 класындағы стойкалық жүйелер үшін жарияланған әдеттегі цифр. Өз цифрыңызды жабдық паспорты бойынша есептеңіз.
Ауамен салқындату қашан жеткіліксіз болады? Әдеттегі салалық сипаттамада ауамен салқындату стойкаға шамамен 20–30 кВт-та шегіне жетеді; одан жоғары сұйықтық қарастырылады. Akashi-де сұйық салқындату DC-4 модулінің инженериясына енгізілген және жоғары тығыздықты конфигурациялар үшін көрсетілген. Бұл жобаның қасиеті: бірінші кезең 2027 жылғы мамырда іске қосылады, зал әлі тапсырылмаған.
Стандартты шкаф жоғары тығыздықты модульден несімен ерекшеленеді? Шкаф — жалға алу форматы: ені 1200 мм, кодпен қолжетімділік, екі PDU. Кампус сипаттамасындағы стойка тығыздығы модульдер бойынша берілген, және бұл жобалық цифрлар: DC-1 — 15 кВт-қа дейін, DC-2 және DC-3 — 30 кВт-қа дейін, DC-4 жоғары тығыздықтағы AI-жүктеме мен HPC үшін 150 кВт-қа дейін, сұйық салқындатумен жобаланады. Нақты тығыздық нақты кезең үшін конфигурация есебінде расталады.
TCDD салынған залдың Tier IV сертификатын алғанын білдіре ме? Жоқ. TCDD (Tier Certification of Design Documents) бірінші кезеңнің, ЦОД-1-дің, жоба құжаттарын растайды: Uptime Institute AKASHI Data Center 1, Phase 1 үшін Tier IV Certification of Design Documents көрсетеді. TCCF (Tier Certification of Constructed Facility) — салынған нысанның жеке далалық аудиті, 2027 жылғы сәуірге жоспарланған. TCDD ≠ TCCF.
Конфигурация есебін қалай сұрап, қуатты қалай брондауға болады? Байланыс бетіндегі өтініммен: стойкаға киловатт, стойка саны, салқындату схемасы және мерзім. Сату бөлімі бір жұмыс күні ішінде жауап береді және қолжетімді қуатты тексереді. Бірінші кезең 2027 жылғы мамырда іске қосылады. DC-1-дің жобалық IT қуатына (5,28 МВт) қатысты 5,54 МВт брондалған. Таңдалған кезең үшін стойкаға нақты тығыздық осы есепте расталады.
GPU-кластерге конфигурация есебі керек пе? Сату бөліміне өтінім қалдырыңыз — тығыздықты, салқындатуды және қуат бронын қарастырамыз.