Það hefur verið sagt að tæknifyrirtæki séu annað hvort að leita sér að GPU eða á leiðinni til að eignast þær.Í apríl keypti Elon Musk forstjóri Tesla 10.000 GPU og sagði að fyrirtækið myndi halda áfram að kaupa mikið magn af GPU frá NVIDIA.Á fyrirtækishliðinni leggja upplýsingatæknistarfsmenn einnig hart að sér til að tryggja að GPUs séu stöðugt notaðir til að hámarka arðsemi fjárfestingar.Hins vegar gætu sum fyrirtæki komist að því að á meðan fjöldi GPUs eykst, verður aðgerðaleysi GPU alvarlegra.
Ef sagan hefur kennt okkur eitthvað um afkastamikil tölvumál (HPC), þá er það að geymslu og netkerfi ætti ekki að fórna á kostnað þess að einblína of mikið á útreikninga.Ef geymsla getur ekki flutt gögn á skilvirkan hátt yfir í tölvueiningarnar, jafnvel þó þú hafir flestar GPU í heiminum, muntu ekki ná hámarks skilvirkni.
Samkvæmt Mike Matchett, sérfræðingi hjá Small World Big Data, er hægt að framkvæma smærri gerðir í minni (RAM), sem gerir meiri áherslu á útreikninga.Hins vegar er ekki hægt að geyma stærri gerðir eins og ChatGPT með milljarða hnúta í minni vegna mikils kostnaðar.
„Þú getur ekki passað milljarða hnúta í minni, svo geymsla verður enn mikilvægari,“ segir Matchett.Því miður gleymist gagnageymslu oft í skipulagsferlinu.
Almennt, óháð notkunartilvikum, eru fjórir algengir punktar í líkanþjálfunarferlinu:
1. Módelþjálfun
2. Ályktunarumsókn
3. Gagnageymsla
4. Hröðun tölvunar
Þegar gerðir eru búnar til og notaðar eru flestar kröfur settar í forgang fljótlegrar sönnunargagna (POC) eða prófunarumhverfis til að hefja líkanaþjálfun, þar sem gagnageymsluþörf er ekki tekin til greina.
Hins vegar liggur áskorunin í þeirri staðreynd að þjálfun eða útfærsla á ályktunum getur varað í marga mánuði eða jafnvel ár.Mörg fyrirtæki stækka módelstærðir sínar hratt á þessum tíma og innviðirnir verða að stækka til að koma til móts við vaxandi líkön og gagnasöfn.
Rannsóknir frá Google á milljónum ML þjálfunarvinnuálags sýna að að meðaltali 30% þjálfunartíma fer í inntaksgagnaleiðslan.Þó fyrri rannsóknir hafi beinst að því að fínstilla GPU til að flýta fyrir þjálfun, eru enn margar áskoranir við að fínstilla ýmsa hluta gagnaleiðslunnar.Þegar þú hefur umtalsverðan reiknikraft verður raunverulegi flöskuhálsinn hversu fljótt þú getur fóðrað gögn inn í útreikningana til að fá niðurstöður.
Nánar tiltekið krefjast áskoranirnar í gagnageymslu og stjórnun áætlanagerðar um gagnavöxt, sem gerir þér kleift að vinna stöðugt út verðmæti gagna eftir því sem þú framfarir, sérstaklega þegar þú ferð út í fullkomnari notkunartilvik eins og djúpnám og taugakerfi, sem gera meiri kröfur til geymslu hvað varðar getu, afköst og sveigjanleika.
Einkum:
Skalanleiki
Vélanám krefst þess að meðhöndla mikið magn af gögnum og eftir því sem gagnamagn eykst batnar nákvæmni líkana einnig.Þetta þýðir að fyrirtæki verða að safna og geyma fleiri gögn á hverjum degi.Þegar geymsla getur ekki stækkað skapar gagnafrekt vinnuálag flöskuhálsa, takmarkar frammistöðu og leiðir til dýrs aðgerðaleysistíma GPU.
Sveigjanleiki
Sveigjanlegur stuðningur fyrir margar samskiptareglur (þar á meðal NFS, SMB, HTTP, FTP, HDFS og S3) er nauðsynlegur til að mæta þörfum mismunandi kerfa, frekar en að vera takmarkaður við eina tegund af umhverfi.
Seinkun
I/O leynd er mikilvæg til að byggja og nota líkön þar sem gögn eru lesin og endurlesin mörgum sinnum.Að draga úr I/O leynd getur stytt þjálfunartíma líkana um daga eða mánuði.Hraðari líkanþróun þýðir beint meiri viðskiptakosti.
Afköst
Afköst geymslukerfa skiptir sköpum fyrir skilvirka líkanaþjálfun.Þjálfunarferlar fela í sér mikið magn af gögnum, venjulega í terabætum á klukkustund.
Samhliða aðgangur
Til að ná háum afköstum skipta þjálfunarlíkön starfsemi í mörg samhliða verkefni.Þetta þýðir oft að vélanámsreiknirit fá aðgang að sömu skrám frá mörgum ferlum (hugsanlega á mörgum líkamlegum netþjónum) samtímis.Geymslukerfið verður að takast á við samhliða kröfur án þess að skerða afköst.
Með framúrskarandi getu sinni í lítilli leynd, miklu afköstum og stórum samhliða I/O, er Dell PowerScale tilvalin geymsluuppbót við GPU-hraðaða tölvuvinnslu.PowerScale dregur í raun úr þeim tíma sem þarf fyrir greiningarlíkön sem þjálfa og prófa margra terabæta gagnapakka.Í PowerScale all-flash geymslu eykst bandbreidd um 18 sinnum, útilokar I/O flöskuhálsa, og hægt er að bæta við núverandi Isilon klasa til að flýta fyrir og opna verðmæti mikils magns ómótaðra gagna.
Þar að auki veitir PowerScale aðgangsgetu með mörgum samskiptareglum ótakmarkaðan sveigjanleika til að keyra vinnuálag, sem gerir kleift að geyma gögn með einni samskiptareglu og fá aðgang að annarri.Nánar tiltekið hjálpa kraftmiklir eiginleikar, sveigjanleiki, sveigjanleiki og virkni PowerScale pallsins að takast á við eftirfarandi áskoranir:
- Flýttu nýsköpun um allt að 2,7 sinnum, minnkaðu líkanþjálfunarlotuna.
- Útrýma I/O flöskuhálsum og veita hraðari líkanaþjálfun og sannprófun, bætta nákvæmni líkana, aukna framleiðni í gagnavísindum og hámarksarðsemi af tölvufjárfestingum með því að nýta sér eiginleika fyrirtækja, hágæða, samhliða og sveigjanleika.Auktu nákvæmni líkansins með dýpri gagnasettum með hærri upplausn með því að nýta allt að 119 PB af virkri geymslugetu í einum þyrpingu.
- Náðu dreifingu í mælikvarða með því að byrja smá og óháð stærðartölu og geymslu, sem skilar öflugri gagnavernd og öryggisvalkostum.
- Bættu framleiðni gagnavísinda með greiningum á staðnum og fyrirfram staðfestum lausnum fyrir hraðari, áhættulítil uppsetningu.
- Nýta sannaða hönnun byggða á bestu tækni, þar á meðal NVIDIA GPU hröðun og viðmiðunararkitektúr með NVIDIA DGX kerfum.Mikil afköst og samtími PowerScale uppfyllir kröfur um afköst geymslu á hverju stigi vélanáms, frá gagnaöflun og undirbúningi til líkanaþjálfunar og ályktunar.Ásamt OneFS stýrikerfinu geta allir hnútar starfað óaðfinnanlega innan sama OneFS-drifna klasans, með eiginleikum á fyrirtækisstigi eins og frammistöðustjórnun, gagnastjórnun, öryggi og gagnavernd, sem gerir fyrirtækjum kleift að ljúka þjálfun líkana og staðfestingu hraðar.
Pósttími: júlí-03-2023
