Al meerdere jaren wordt binnen de datacenterwereld actief gesproken over dompelkoeling of immersive koeling. De noodzaak is helder: ontwikkelingen als HPC en AI zorgen voor verdere toename van rekenkracht, terwijl berichten over een vol stroomnet aanhouden. Dompelkoeling, is passief, maakt compacter bouwen mogelijk, en faciliteert het delen van restwarmte. Toch is brede implementatie nog een kwestie van jaren.
Datacenters zoeken altijd de grenzen op van hun koelcapaciteit. Zeker in Nederland zijn we trots op de concurrerende PUE-waarden, bereikt door strak ontwerp en de inzet van nieuwe technieken. The Green Grid, een consortium rond het verhogen van de efficiëntie van datacenters, schat in dat de limiet van luchtkoeling op 25kW per rack zit. Door de snelle opkomst van AI en andere intensieve technologieën en behoeften begint die grens wel heel erg dichtbij te komen. Tel daarbij op dat steeds meer gemeenten in Nederland klagen dat hun stroomnet vol begint te raken. De bouw van nieuwe datacenters komt daardoor in knel. De regio Amsterdam heeft al enkele jaren geleden een datacenterstop gehad, en dat dreigt ook te gebeuren in andere gebieden. Nieuwe koeltechnieken kunnen het stroomverbruik drastisch inperken, wat de datacenterbranche een betere positie geeft.
Nieuwe koeltechnieken kunnen het stroomverbruik drastisch inperken
Voordelen van dompelkoeling
De laatste vijf tot tien jaar verschijnen verschillende partijen in de markt die inzetten op wat eigenlijk een oud idee is: dompel elektronica onder in een bad met olie of andere niet-geleidende vloeistof, en vrijwel compleet passieve koeling is een feit. Het is ook een zeer compacte vorm van koeling. Je kunt serverracks op hun kant rechtop zetten, waardoor je veel vloeroppervlakte kunt besparen. De serverdichtheid kan omhoog, waardoor dompelkoeling al steeds gebruikelijker wordt in High-Performance Computing (HPC)-omgevingen. De limiet van The Green Grid is dan ook geen bezwaar meer.
Een ander voordeel is dat de warmte eenvoudiger te transporteren is voor nieuwe doeleinden. Vloeistoffen houden de hitte langer vast. Dat maakt hergebruik van warmte, iets waar de politiek en het bedrijfsleven steeds harder om roept, in één klap beter mogelijk. De maximale afstand tussen datacenter en warmteafnemer worden zo verruimd. En dan is er het gebrek aan slijtage en de gebruikskosten. Apparatuur in olie slijt veel minder snel, en doordat er veel minder bewegende onderdelen zijn, is de gebruiksprijs lager.
Uitdagingen
Aan de andere kant zorgen de kosten ook voor praktische bezwaren voor de brede adoptie van het concept. Dompelkoeling vraagt bijvoorbeeld om een zeer goed gesloten systeem dat niet makkelijk is in te passen in een bestaande faciliteit. Het hele datacenterontwerp moet op de schop. Dat maakt retrofits kostbaar, terwijl de prijs van een nieuw datacenter met dit concept eveneens niet misselijk is. Vloeistof is ook nog eens zwaar, dus de vloer moet ook de juiste draagkracht hebben.
Het Open Compute Project (OCP) heeft specificaties en eisen opgesteld voor servers in combinatie met vloeistofkoeling. De OCP Immersion Requirements zitten ondertussen op revisie 2.10, en zijn afgelopen augustus voor het laatst bijgewerkt. Maar zoals de OCP zelf in het document schrijft: dit zijn vereisten en geen specificaties of standaarden. Die ontbreken vooralsnog voor dompelkoeling. Dat maakt de keuze voor de juiste combinatie van servers en racks met dompelbaden nog steeds ingewikkeld, zo klaagde Zachary Smith, het wereldwijde hoofd van edge infrastructuurdiensten bij Equinix vorig jaar tegenover The Register. Zaken als het aansluiten van kabels aan ondergedompelde servers is vaak ook nog een lastige puzzel.
En dan hebben we het niet eens gehad over de praktische uitdagingen rond onderhoud en veiligheid. Servers moet je zo af en toe uit hun bad halen, terwijl de gebruikte vloeistoffen niet mogen morsen. Behalve dat het een gladde kliederboel is die voor ongelukken kan zorgen, zijn ook de mogelijke gevolgen voor de bodem niet mals. Mede daardoor is het verkrijgen van de benodigde vergunningen een langdurig en streng proces.
Dompelkoeling vraagt om een zeer goed gesloten systeem
Alternatieven en vooruitgang
Er wordt actief naar oplossingen gezocht voor deze uitdagingen. Alternatieve technieken, zoals on-chip vloeistofkoeling en het zeer recente ‘spray-koeling’ worden door fabrikanten neergezet als mogelijk alternatief. Bij die laatste techniek staan de servers 75 graden gekanteld, terwijl de koelvloeistof op de heetste onderdelen worden gespoten. Onderin wordt de vloeistof opgevangen in een reservoir voor hergebruik. Maar dit concept is vooralsnog niet in de praktijk gebracht. De eerste faciliteit waarin het wordt uitgeprobeerd opent pas volgend jaar.
Meerdere start- en scale-ups hebben technieken bedacht die vooral het ontwerp van cassettes -zoals de koelbaden steeds vaker worden genoemd- zo eenvoudig mogelijk moet houden waardoor de meeste servers hierin passen. De Nederlandse bedrijven Asperitas en iXora timmeren op dit punt aan de weg, en ook partijen als Submer en Liquid Stack zijn bekende namen. Maar ook hun oplossingen zijn nog niet mainstream buiten de gespecialiseerde HPC-markt. Wel worden er al partnerschappen afgesloten. Vorig jaar is Asperitas een samenwerking gestart met Unica.
Toch is het nog steeds wachten op het definitieve bewijs dat dompelkoeling breed toepasbaar is. De overgang van luchtkoeling blijkt veel voeten in de aarde te hebben. Of de technologie de drempels kan overbruggen is nog een open vraag.
