Gepresenteerd door Solidigma
Vloeistofkoeling verandert de regels van de AI-infrastructuur, maar de meeste toepassingen hebben de grens nog niet helemaal overschreden. GPU’s en CPU’s zijn overgestapt op vloeistofkoeling, terwijl opslag afhankelijk is van luchtstroom, waardoor operationeel inefficiënte hybride architecturen ontstaan.
Wat een pragmatische transitiestrategie lijkt, is in de praktijk een structureel probleem.
“Een hybride koelingsaanpak is een operationeel inefficiënte situatie”, legt Hardeep Singh uit, teammanager thermische mechanische hardware bij Solidigm. “Je betaalt voor en onderhoudt twee volledig gescheiden en dure koelinfrastructuren, en die kunnen onderhevig zijn aan de ergste problemen ter wereld.”
Terwijl voor vloeistofkoeling een pomp, een vloeistofverdeelstuk en een koelmiddeldistributie-eenheid (CDU) nodig zijn, hebben luchtgekoelde componenten een CRAC-eenheid, een koud gangpad en een verdampingskoeltoren nodig. Organisaties die overstappen op een hybride oplossing door slechts een kleine hoeveelheid koelvloeistof toe te voegen, zullen de kostenpremie absorberen zonder de volledige TCO-voordelen te behalen.
Thermische fysica maakt de zaken nog erger. Grote koude platen voor vloeistofkoeling, dikke slangen en spruitstukken blokkeren fysiek de luchtstroom in het GPU-serverchassis. Dit concentreert de thermische belasting op andere luchtgekoelde componenten, waaronder opslagschijven, geheugen en netwerkkaarten, omdat de serverventilatoren geen adequate luchtstroom rond de vloeistofleidingen kunnen aandrijven. De componenten die het meest afhankelijk zijn van de ventilator komen in de slechtste thermische omgeving terecht.
Waterverbruik is een even ernstig en vaak over het hoofd gezien probleem. Traditionele luchtgekoelde componenten zijn afhankelijk van serverventilatoren om warmte over te dragen aan de omringende lucht, die vervolgens wordt geabsorbeerd door waterwervelingen en naar een verdampingskoeltoren wordt gepompt. Deze systemen kunnen in de loop van de tijd miljoenen liters water verbruiken. Terwijl de stroomdichtheid in racks blijft toenemen om moderne AI-werklasten te ondersteunen, wordt de verdampingswaterstraf, zoals Singh zegt, “ecologisch en economisch onhoudbaar.”
Naarmate de AI-infrastructuur evolueert naar vloeistofgekoelde, ventilatorloze GPU-systemen, verschuift de echte beperking op schaal van computerprestaties naar thermisch ontwerp op systeemniveau. Moderne AI-platforms worden niet langer server voor server gebouwd; ze zijn ontworpen als nauw geïntegreerde systemen op rack- en pod-niveau waarbij stroomvoorziening, koelingsdistributie en plaatsing van componenten niet van elkaar kunnen worden gescheiden.
In deze omgeving worden opslagarchitecturen die zijn ontworpen voor datacenters die afhankelijk zijn van luchtstromen een beperkende factor. Terwijl GPU-platforms zich volledig in het domein van gedeelde vloeistofkoeling bewegen, verankerd door CDU’s op rackniveau, moet elk onderdeel in het systeem native functioneren binnen hetzelfde thermische en mechanische ontwerp. Opslag kan niet langer vertrouwen op geïsoleerde koelpaden of op maat gemaakte thermische aannames zonder inefficiënties, complexiteit of compromissen op het gebied van dichtheid op systeemniveau te introduceren.
Waarom opslag niet langer een passief subsysteem is
Voor leiders op het gebied van infrastructuur markeert dit een fundamentele transitie. Opslag is niet langer een passief subsysteem dat aan computers is gekoppeld, maar een actieve deelnemer aan koeling, onderhoudbaarheid en GPU-gebruik op systeemniveau. Het vermogen om AI te schalen hangt nu af van de vraag of opslag goed kan worden geïntegreerd in vloeistofgekoelde GPU-systemen, zonder de koelarchitectuur te fragmenteren of ontwerpen op rackniveau te beperken.
En de race om AI te verbeteren gaat niet langer alleen over wie de meeste GPU’s heeft, maar over wie ze koel kan houden, zegt Scott Shadley, directeur leiderschapsverhaal en evangelist bij Solidigm.
“Het vinden van een manier om vloeistofgekoelde opslag mogelijk te maken en deze toch door de gebruiker te kunnen onderhouden, is een van de grootste uitdagingen geweest bij het ontwerpen van ventilatorloze systeemoplossingen”, aldus Shadley. “Naarmate de AI-workloads groeien, zal de druk op opslag alleen maar toenemen.”
Technieken zoals KV cache offloading, waarbij gegevens tijdens inferentie tussen GPU-geheugen en hogesnelheidsopslag worden verplaatst, maken opslaglatentie en thermische prestaties direct relevant voor de efficiëntie van modelbediening. In deze architectuur zal een opslagsubsysteem dat langzamer gaat werken als gevolg van een traditionele slechte luchtstroom onder thermische belasting, zowel de uitlezing als het model zelf vertragen.
Ga over op geïntegreerde vloeistofkoeling
Het overstappen van traditionele luchtgekoelde GPU-servers naar geïntegreerde vloeistofgekoelde racks verbetert de energiegebruiksefficiëntie (PUE) en verlaagt de operationele kosten van het datacenter. Het vervangt ook de luidruchtige computerruimte-luchtbehandelingsunit (CRAH) en introduceert een moderne, efficiënte vloeistof-CDU met potentiële mogelijkheden voor het elimineren van koelmachines als het rack kan worden gekoeld tot een vloeistoftemperatuur van 45° Celsius.
Als de opslag vloeistofgekoeld is zonder ventilatoren, moet de opslag ook onderhoudsvriendelijk zijn zonder vloeistoflekken. Dit creëert ook een nieuwe vereiste waar veel infrastructuurteams nu pas mee te maken krijgen: elk onderdeel in het rack moet native binnen dezelfde koelarchitectuur werken.
Opslag als actieve deelnemer aan het systeemontwerp
Het ontwerp van opslag is niet langer een geïsoleerd technisch probleem. Dit is een directe variabele in het GPU-gebruik, de systeembetrouwbaarheid en de operationele efficiëntie. De oplossing was om de opslag van de grond af aan opnieuw te ontwerpen voor een vloeistofgekoelde, ventilatorloze omgeving. Dit is moeilijker dan het klinkt. Traditionele SSD-ontwerpen gaan uit van een luchtstroom voor thermisch beheer en plaatsen componenten aan beide zijden van een thermisch geïsoleerde PCB. Er zijn geen aannames die van toepassing zijn in de CDU-verankerde architectuur.
“SSD’s moeten worden ontworpen met de beste thermische oplossingen in hun klasse om de warmte specifiek efficiënt weg te leiden van interne componenten en over te dragen aan de vloeistof”, aldus Singh. “Het ontwerp moet een pad met lage weerstand bevatten zodat de warmte kan worden overgedragen naar een enkele koude plaat die aan één kant is gemonteerd.”
Tegelijkertijd moet de aandrijving onderhoudsvriendelijk zijn zonder vloeistoflekkage tijdens installatie en verwijdering, en zonder de thermische interface tussen de aandrijving en de koude plaat te verslechteren.
Solidigm heeft mee gewerkt NVIDIA om problemen met SSD-vloeistofkoeling aan te pakken, zoals hot-swapmogelijkheden en enkelzijdige koeling, waardoor de thermische voetafdruk van opslag in een gedeelde vloeistoflus wordt verminderd en ervoor wordt gezorgd dat de GPU een evenredig deel van de koelvloeistof ontvangt.
“Als opslag niet is ontworpen voor een efficiënte vloeistofgekoelde omgeving, zullen de prestaties achteruitgaan of is er meer vloeistofvolume nodig”, zegt hij. “Wat direct en indirect leidt tot onderbenutting van GPU-mogelijkheden.”
Harmonisatie van normen en trajecten naar interoperabiliteit
Solidigm werkt hier niet geïsoleerd aan. De bredere industrie consolideert normen om ervoor te zorgen dat vloeistofgekoelde AI-systemen interoperabel zijn en geen lappendeken van op maat gemaakte oplossingen zijn. SNIA en het Open Compute Project (OCP) zijn de belangrijkste instanties die dit werk aansturen.
Solidigm leidt de industriestandaard voor vloeistofkoeling in de SFF-TA-1006 voor de E1.S-vormfactor en is een actieve deelnemer in de OCP-workflow met betrekking tot rackontwerp, thermisch beheer en duurzaamheid. Op maat gemaakte koeloplossingen voor opslag maken plaats voor productieklare ontwerpen die aansluiten bij de standaarden en naadloos integreren in vloeistofgekoelde GPU-platforms.
“Er zijn verschillende organisaties bij dit werk betrokken”, zegt Shadley, die ook lid is van het bestuur van de SNIA. “Ze begonnen met oplossingen op componentniveau, die grotendeels worden aangestuurd door SNIA en SFF TA TWG. Het volgende niveau is het werk op oplossingsniveau, dat tegenwoordig grotendeels wordt aangestuurd door OCP.”
De roadmap van Solidigm wijst de weg
Ontwerpregels voor architecturen op systeemniveau zijn veranderd als gevolg van de opkomst van vloeistof- en immersiekoelingtechnologieën die meer unieke ontwerpregels mogelijk maken en het wegnemen van enkele knelpunten. De mogelijkheid van het systeem om een speciaal NVMe SSD-platform aan te sturen maakt het ook mogelijk om de op schotels gebaseerde boxbeperkingen die bestaan in HDD-oplossingen te elimineren, aldus Shadley.
“Klanten van Solidigm spelen een actieve en leidende rol in onze productroadmapbeslissingen vanwege hun diepgaande technische afstemming op het ecosysteem”, zei hij. “We maken en verkopen niet alleen producten, we integreren, co-designen, co-ontwikkelen en innoveren met en naast onze partners, klanten en opdrachtgevers.”
Singh voegde hieraan toe: “De kernkracht van Solidigm is innovatie en klantgeïnspireerde engineering op systeemniveau. Het zal op agressieve wijze leiding blijven geven aan de adoptie van vloeistofkoeling voor opslag.”
Gesponsorde artikelen zijn inhoud die is geproduceerd door bedrijven die voor de post hebben betaald of die een zakelijke relatie hebben met VentureBeat, en worden altijd duidelijk als zodanig gemarkeerd. Voor meer informatie kunt u contact opnemen met sales@venturebeat.com.
