Absztrakt
A mesterséges intelligencia (AI) gyors fejlődésével a hagyományos adatközpont-hálózatok komoly kihívásokkal szembesülnek az AI-forgalom továbbítása során. A nagy sávszélesség kihasználtság és a kis számú elefántfolyam hatástalanná teheti a hagyományos per-folyamonkénti terheléselosztást, ami torlódást és csomagvesztést eredményez, ami jelentősen megnöveli az AI-modell betanítási és a munkavégzési idejét. Ez a fehér könyv egy dinamikus intelligens útválasztási technológiát vizsgál, amely a valós idejű -tudatosságot az intelligens-döntéshozatallal ötvözi. Elérési út-minőségmérést, BGP kiterjesztett-attribútum-szinkronizálást, dinamikus súlyozott-költség-többutas (WCMP), abnormális-útvonal-eltávolítást és
Flowlet{0}}szintű automatikus terheléselosztás (ALB) a forgalom ütemezésének javítása érdekében AI-környezetekben. A tervezés virtualizációt is használ a több -bérlős elkülönítés érdekében, valamint alkalmazási forgatókönyveket és tervezési útmutatást kínál a hatékony, stabil és intelligens AI-adatközpont-hálózatokhoz.
Bevezetés: Network Evolution in the AI Korszak
Miért küzdenek a hagyományos hálózatok az AI-val? Forgalom
A hagyományos adatközponti hálózatokban a kis áramlások nagy száma lehetővé teszi az áramlásonkénti terheléselosztást az elfogadható elosztás és a torlódások elkerülése érdekében, még a hálózati feltételek valós idejű -ismerete nélkül is. Az AI-forgalom nagyon eltérő: a sávszélesség-kihasználás rendkívül magas, és a forgalmat gyakran csak néhány elefántfolyam uralja. A hash ütközések ezért több nagy áramlást helyezhetnek el ugyanarra az útvonalra, míg a többi utak kihasználatlan maradnak. Csomagvesztés esetén az AI teljes munkaterhelésének befejezési ideje jelentősen megnőhet. Emiatt az iparág egyre inkább az AI-szövetek optimalizált terheléselosztási{6}}algoritmusaira összpontosít, hogy a forgalom egyenletesebben oszlik el több útvonalon.
1. ábra: A mesterséges intelligencia elefánt-áramlásának és a hagyományos kis-áramú forgalom összehasonlítása.
A dinamikus tudatosság és az intelligens döntéshozatal{0}}egyesítése
A dinamikus intelligens útválasztás tudatosságon alapuló-terhelés{1}}kiegyenlítő technológia. A szövetben lévő kapcsolók által érzékelt útvonalminőséget használja a helyi útvonal kiválasztásához, és támogatja a dinamikusan súlyozott terheléselosztást. A BGP-re épülő technológia egy új kiterjesztett-közösségi attribútumot határoz meg.
Többdimenziós, nagy pontosságú Ez javítja a terheléselosztást a hálózaton{3}}, és csökkenti az alkalmazások válaszidejét [1].
2. ábra: Dinamikus tudatosság, döntési és végrehajtási munkafolyamat.
Alapvető technológiák: Intelligens forgalomütemezés
A főbb hálózati terhelés{0}}kiegyenlítési megközelítések a következők:
- Per-Folyamánkénti ECMP: A legelterjedtebb megközelítés, amely öt-soros hash-en alapul. Jól működik, ha sok áramlás van, és megőrzi a csomagok sorrendjét, de a hash ütközések rossz kiegyensúlyozást eredményezhetnek, amikor az áramlások száma alacsony, mint az AI képzésben [1].
- Flowlet{0}}alapú kiegyensúlyozás: A áramlási{1}}közi rés helyes konfigurációjától függ. Nehéz a pontos konfigurálás, ha a globális útvonal-szintű késleltetés ismeretlen [1].
- -Csomagonkénti ECMP: Kiváló elméleti egyensúlyt biztosít, de kiterjedt csomag-újrarendezést eredményezhet a vevőnél [1].
A XingRongyuan CX{0}}N sorozatú RoCE kapcsolók (SONiC-alapú) dinamikus intelligens útválasztási megközelítése egyesíti a per-folyamonkénti ECMP-t és a Flowlet-alapú kiegyensúlyozást. Bevezeti a dinamikus WCMP-t (súlyozott költségű többútvonal) és a Flowlet{5}}alapú ALB-t (Auto Load Balancing) [1].
Útvonalminőség mérése
A rendszer a hálózati útvonal minőségét olyan tényezők alapján értékeli, amelyek erősen befolyásolják az AI-fürtszöveteket, beleértve a sávszélesség-kihasználást, a sorkihasználást és a továbbítási késleltetést.
Statisztikai számlálók
A sávszélességet és a sorkihasználást ASIC hardverszámlálók mérik száz{0}} ezredmásodperces pontossággal. Az ASIC valós időben rögzíti a port-továbbítási és a sorba{3}}továbbítási számlálókat. A SONiC vezérlősík másodperc alatti pontossággal olvassa be a számlálókat a SAI interfészen keresztül, és tárolja a Redisben. Az útválasztás-ellenőrzési folyamata ezen számlálók segítségével értékeli az interfész minőségét, és a BGP-n keresztül hirdeti az eredményt. A vezérlési -síkterhelés korlátozása érdekében a hirdetések jelenleg másodszintű{10}}szintű időközönként kerülnek elküldésre, több mintára súlyozott átlaggal; az újabb minták nagyobb súlyt kapnak.
In-sávos telemetria
A továbbítási-késleltetés mérése az INT-n (In-band Network Telemetry) alapul, és elérheti a nanoszekundum-szintű pontosságot. A HDC (High Delay Capture) olyan csomagokat rögzít, amelyek nagy késleltetéssel rendelkeznek az ASIC-en belül. Ha egy csomag meghaladja a felhasználó által meghatározott késleltetési küszöböt, a kapcsoló elküldi az eredeti csomag első 150 bájtját a metaadatokkal együtt, beleértve a bemeneti portot, a kimenőportot és a késleltetést, egy gyűjtőnek. Ebben a kialakításban a CPU HDC-gyűjtőként és elemzőként működik, lehetővé téve a nagy-precíziós továbbítási-késleltetés mérését és a pontosabb útvonal{10}}minőség-értékelést.
3. ábra: Útvonal-minőségi terjesztés és WCMP telepítés.
A technológia egy új BGP kiterjesztett{0}}közösségi attribútumot, a Path Bandwidth Extended Community-t használja a célhoz vezető útvonal összesített minőségének jelzésére. A kiterjesztett-típusú mező felső-rendű bájtja 0x00, az alacsony-rendű bájt pedig 0x05. Az értékmezőben a Globális adminisztrátor almező képviseli az AS-számot. Az útvonal minősége négy bájtban van kódolva IEEE lebegőpontos{10}}formátumban, és GB/s-ban van kifejezve.
Amikor a NIC1 kommunikál a NIC2-vel, a NIC2 először meghirdeti IP-címét a Leaf2-nek. A Leaf2 a címet a Spine felé hirdeti a NIC2 felé mutató link{5}}minőségi érték és a Leaf2 lefelé irányuló kapcsolat súlyának szorzatával együtt. A Spine hozzáadja a saját súlyozott linkminőségét, és a felhalmozott értéket továbbítja a Leaf1-nek. A Leaf1 összefoglalja az útvonal minőségét, és olyan útvonalakat telepít, amelyek irányítják a továbbítást. A két-szintű Leaf-Spine szövetben a portok Leaf uplink, Leaf downlink és Spine portokként vannak besorolva, minden osztályhoz konfigurálható számítási együtthatókkal.
Dinamikus WCMP
A terheléselosztás a forgalmat több link között osztja el. AI-környezetekben ez elengedhetetlen egy veszteségmentes Ethernet-szövet felépítéséhez, minimális csomagveszteséggel, késleltetéssel és átviteli sebességcsökkenéssel. Az ECMP az adatközpontok hagyományos mechanizmusa. A WCMP kiterjeszti az ECMP-t a terjesztéssel
forgalom arányosan a linkeken keresztül. A dinamikus intelligens útválasztás során a WCMP súlyozása valós időben igazodik az útvonal minőségéhez. Például, ha két út létezik a NIC1 és a NIC2 között, a rendszer 3:7 arányt számíthat ki. Ahogy a forgalom változik, a frissített útvonalminőségi-információkat a BGP-n keresztül minden Leaf kapcsolóhoz továbbítják, ahol dinamikus WCMP-útvonalak jönnek létre a továbbítás irányítására.
Rendellenes útvonal eltávolítása
Ha egy útvonal összesített minősége egy megállapodott küszöb alá esik, az elérési út használhatatlannak minősül az AI-munkaterhelés szempontjából, és eltávolítják a továbbításból. A fennmaradó útvonalak továbbra is dinamikus WCMP-n keresztül vezetik a forgalmat. Amint az útvonal visszatér a normál értékre, visszaáll. Bár ez átmenetileg kihasználatlanul hagyhat bizonyos kapacitásokat, megakadályozza a komolyabb torlódásokat és csomagvesztést [1].
Intelligens terheléselosztás (ALB)
Az ALB Flowlet{0}}alapú terheléselosztást biztosít. Az ASIC valós időben méri a terhelést és a késleltetést a különböző portokon, és minden Flowlet-et alacsonyabb terhelésű vagy kisebb késleltetésű linkre irányít. Ez finomabb -szemcsés ütemezést ad a hagyományos ECMP-n felül. Az ALB támogatja a port feladatátvételt is, és automatikusan újraosztja a forgalmat, ha egy kilépési hivatkozás meghibásodik [1].
Virtualizáció
Az elülső-hálózatoknak gyakran több-bérlői támogatásra van szükségük, hogy a különböző GPU-erőforrásokat különböző felhasználókhoz lehessen hozzárendelni. A megoldás VRF-et (virtuális útválasztás és továbbítás) használ a bérlők elkülönítésére, és minden felhasználóhoz egy VRF van hozzárendelve. A GPU-alhálózatok a felhasználó VRF-jébe kerülnek, az ASIC PRE ACL-ei pedig osztályozzák a bejövő forgalmat, így minden felhasználó forgalma csak a megfelelő VRF-en belül kerül továbbításra [1].
Alkalmazási forgatókönyvek
1. Hogyan nyeli el a dinamikus WCMP a forgalmi hullámokat
A 256 x 400G GPU-portokkal rendelkező szövetekhez két-szintű Clos architektúra tervezhető 1:1-es lefelé irányuló-–-felfelé irányuló kapcsolati konvergenciaaránnyal a nagy átviteli sebesség, a nagy sávszélesség és a szimmetrikus kapacitás fenntartása érdekében. A megfelelő termékmodellek közé tartozik a XingRongyuan CX864E-N vagy a CX732Q-N [1]. Hagyományos ECMP esetén kis számú mesterséges intelligencia elefánt folyam ugyanahhoz a gerinchez hashhet, ami felfelé irányuló kapcsolati torlódást vagy csomagvesztést okoz. A dinamikus WCMP folyamatosan igazítja a forgalom eloszlását a valós idejű útvonal minőségéhez{15}}, ezzel csökkentve a forgalmi hullámokat és elkerülve a torlódásokat [1].
2.Flowlet-szintű terheléselosztás
Ugyanabban a 256 x 400 G-s GPU-szövetben nem minden eszközt vagy munkaterhelést szolgál ki a legjobban a dinamikus WCMP. A kapcsoló dinamikusan tudja kiválasztani a Flowlet{3}}alapú ALB-t. Az ALB méri az ECMP-csoport hivatkozásainak terhelését és késleltetését, és Flowlet-eket küld az alacsonyabb kihasználtságú vagy késleltetett hivatkozásoknak. Ha egy interfész túlterhelődik, vagy a továbbítási késleltetése megnő, az ASIC automatikusan elkerüli ezt a kilépést, amíg a feltételek vissza nem térnek a normál állapotba [1].
AI hálózattervezés és tervezés
Az AI-szolgáltatások általában három szakaszból állnak: adatgyűjtés és előfeldolgozás, modellképzés és mesterséges intelligencia következtetés. Minden szakasz más követelményeket támaszt a hálózattal szemben.
1. Adatgyűjtés és előfeldolgozás
A globális oktató{0}}adatgyűjtő és előfeldolgozó hálózatnak nagy-léptékű, rugalmas nyilvános IP-címet és sávszélességű erőforrásokat kell biztosítania, hogy hatalmas nyers adatkészleteket lehessen hatékonyan gyűjteni a globális internetről. A tervezésnek biztosítania kell a biztonságos és stabil átvitelt, miközben javítja az adataggregációt és az előfeldolgozási teljesítményt [2].
1.1 VPC szegmentálás
A felhőalapú{0}}adatgyűjtés VPC-tervezésénél követnie kell a legkevesebb-jogosultságot, a réteges elkülönítést, a biztonsági ellenőrzést és a rugalmas méretezhetőséget. Egy VPC-n belül több VPC vagy több alhálózat is használható [2].
- Szolgáltatási szakasz szerinti szegmentálás: Az adatgyűjtés, az előfeldolgozás, a tárolás, a betanítás és a következtetések telepítése külön alhálózatokban vagy VPC-kben. Helyezze el a begyűjtési pontokat egy DMZ VPC-n vagy nyilvános alhálózaton; elhelyezni az előfeldolgozási és ideiglenes adatokat egy erre a célra szolgáló feldolgozó VPC-ben; helyezze el az érzékeny nyers adatokat és a mesterséges intelligencia oktatását egy magas-biztonságú VPC-ben, közvetlen nyilvános hozzáférés nélkül.
- Biztonsági szint szerinti elkülönítés: Hozzon létre magas-, közepes- és alacsony-biztonságú VPC-ket vagy alhálózatokat, és használjon biztonsági csoportokat, hálózati ACL-eket és privát kapcsolatot a kereszt-VPC és a kereszt-alhálózati forgalom szabályozására.
- Lsolate bérlő vagy projekt szerint: Rendeljen külön VPC-ket különböző bérlőkhöz vagy projektekhez az erőforrások, hálózatok és adatok elkülönítéséhez.
1.2 Adatgyűjtés Kilépési hálózat
NAT-átjáró: EIP- és SNAT-készletet használjon egy NAT-átjárón keresztül, lehetővé téve a gyűjtőprogramok számára, hogy véletlenszerűen kiválasztott nyilvános IP-címekről hozzáférjenek az internethez.
Saját -beépített proxy: olyan proxyszervereket telepíthet, amelyek leképezést tartanak fenn a gyűjtési folyamatok és a nyilvános IP-címek között, és egyetlen adatgyűjtési kérelmet osztanak el több proxy között.
IP-szolgáltató: Csatlakozzon egy IP-szolgáltatóhoz a felhőalapú magánhálózaton keresztül az alacsonyabb költségek, az ellenőrzött biztonság és a stabil minőség érdekében [2].
1.3 -Régiók közötti adatösszesítés és előfeldolgozás
Válassza ki az OSS-régiót az előfeldolgozási-fürtterv szerint, és hozzon létre egy adat-összesítő VPC-t ugyanabban a régióban. Hozzon létre egy Transit Router-t (TR) minden régióban, csatlakoztassa a helyi VPC-ket, és kösse össze a TR-eket, hogy a regionális gyűjtő VPC-k közvetlenül hozzáférhessenek a központi OSS-hez. Az olyan szolgáltatások, mint a PAI{4}}iTAG, a MaxCompute és a Flink ezután adatcímkézést és előfeldolgozást végezhetnek az OSS régióban [2].
2. Modellképző hálózat
A modell{0}}oktatási hálózat szorosan integrálva van a gyűjtési és előfeldolgozási hálózattal, és egy globális szövetet alkot, amely összeköti a felhőalapú adatközpontokat, a peremcsomópontokat és a helyszíni IDC-ket.
A nagy-sebességű összekapcsolás alacsony-késleltetést, nagy-áteresztőképességű adatmozgást biztosít, míg a sávszélességet, a biztonsági házirendeket, a hozzáférés-vezérlést és a katasztrófa-helyreállítást végpontok között kell megtervezni [2].
- A régión belüli-cluster cross{1}}számítási készlet: A Transit Router több VPC-t köt össze ugyanazon a régión belül. A szerver ENI-k VPC kapcsolókhoz csatlakoznak, és a szükséges átviteli sebességhez és RDMA-hoz konfigurálhatók.
- Kereszt-felhőalapú számítási készlet: Dedikált áramkörök kapcsolnak össze egy IDC-t vagy egy másik felhőt ugyanabban a-régióban lévő VPC-vel. Az Alibaba Cloud VBR-k a 3. rétegben csatlakoznak a peer-eszközhöz, BGP-vel, BFD-vel és gyors feladatátvétellel a gyors konvergencia érdekében.
Globális számítási készlet: A TR-ek közötti -régiók közötti kapcsolatok a régiók közötti csúcsforgalomnak megfelelően vannak kiépítve, opcionális inter-régiók QoS-szel, hogy egységes számítási készletet hozzon létre a régiók között [2].
3. Globális következtetés-szolgáltatási hálózat
A globális következtetési hálózat az egyes régiókban elérhető erőforrások és felhőszolgáltatások alapján választja ki a telepítési modelleket, és hatékony szolgáltatáselosztást és hozzáférést biztosít [2].
- Modell vagy ügynök üzembe helyezése: Használjon Model Studio MaaS-telepítést, PAI-EAS- vagy Function Compute PaaS-telepítést, vagy IaaS-telepítést EGS-en, ACK-on, ACS-en vagy Lingjun-csupasz{1}}fém infrastruktúrán az ügyfél VPC-jén belül.
- Szolgáltatáselosztás: Hozzon létre egy következtetési-elosztási VPC-t, és csatlakoztasson magánhálózatokat a VPC Peering, a kapcsolódó felhő{1}}szolgáltatás VPC-k vagy a PrivateLink segítségével. Telepítse az ALB-t vagy a továbbfejlesztett ALB-t hozzáférési pontként és proxykérésekként különböző modellekhez vagy ügynökökhöz.
- Szolgáltatás hozzáférés: A helyi internetfelhasználók közvetlenül érhetik el a bővített ALB-t; a távoli felhasználók használhatják a Global Accelerator-t (GA); Az Alibaba Cloud vállalati belső vagy külső felhasználói privát módon csatlakozhatnak a PrivateLink segítségével.
Következtetés és kilátások
Ez a fehér könyv elmagyarázza azokat a kihívásokat, amelyekkel az IDC-hálózatok szembesülnek a mesterséges intelligencia korszakában, és azt, hogy a dinamikus intelligens útválasztás hogyan képes kezelni ezeket. A dinamikus tudatosság, az intelligens döntéshozatal-, a WCMP, az ALB és a VRF virtualizáció javítja a terhelés{2}}kiegyenlítés hatékonyságát, csökkenti a torlódást és a csomagvesztést, valamint felgyorsítja a mesterséges intelligencia képzését és következtetéseit. A tervezési rész a VPC-szegmentációt, a gyűjtemény-kilépési tervezést, a régiók közötti-összesítést és előfeldolgozást, a modellképzést és a globális következtetések lebonyolítását helyezi előtérbe. Ahogy a mesterséges intelligencia folyamatosan fejlődik, az adatközponti hálózatoknak szigorúbb követelményekkel kell szembenézniük. A dinamikus intelligens útválasztás továbbra is javulni fog az élvonalbeli AI, az egyesített tanulás és más összetett forgatókönyvek esetében. A jövőbeli IDC-hálózatok nagyobb hangsúlyt fektetnek majd a számítási-hálózati konvergenciára, az energiahatékonyságra és az automatizált műveletekre, így intelligensebb, hatékonyabb és megbízhatóbb alapot teremtenek a digitális gazdaság számára.
Hivatkozások
A felhasználói-műszaki forrásdokumentum.
Alibaba Cloud AI Network fehér könyv. Hozzáférés dátuma: 2026. május 27.
https://help.aliyun.com/zh/cloud-network-jól-felépített-design/alibaba-cloud-ai-network-white{10}}paper