Sinds de oprichting in 2011 is Cloudian gespecialiseerd in het leveren van S3-compatibele objectopslag binnen datacenters van klanten. De S3 API werd oorspronkelijk ontwikkeld in de hyperscale-cloud van AWS, maar groeide inmiddels uit tot een standaard voor object storage.
In de beginjaren werd S3-compatibele opslag voornamelijk ingezet voor back-up, archivering en file-opslag. Inmiddels hebben nieuwe use-cases, zoals observability, data-analyse en AI, hun intrede gedaan. “De moderne toepassingen van AI vragen om opslag die zowel schaalbaar als direct toegankelijk is,” zegt Singh-Evensen. Hierdoor heeft er een verschuiving plaatsgevonden naar een focus op real-time dataopslag, noodzakelijk voor AI-modellen die afhankelijk zijn van enorme hoeveelheden data.
GPUDirect
De lancering van GPUDirect for Object Storage, dat werd ontwikkeld in samenwerking met Nvidia, is een belangrijke doorbraak voor bedrijven die werken met AI en S3-compatibele object storage. Met deze technologie wordt data direct vanaf de opslag naar GPU’s gestuurd via Remote Direct Memory Access (RDMA), waardoor de CPU wordt omzeild. Dit elimineert knelpunten en biedt aanzienlijk hogere prestaties. Singh-Evensen legt uit: “Voor AI-workloads, die vaak draaien op GPU-farms en afhankelijk zijn van gigantische datasets, is directe toegang tot data essentieel om ervoor te zorgen dat de CPU-capaciteit volledig wordt benut.”
Een praktische toepassing hiervan is te vinden in het trainen van autonome voertuigen. Daarvoor is een enorme hoeveelheid data nodig, die je alleen zou kunnen verkrijgen door vele uren data te verzamelen van rijdende auto’s. Praktisch is dat natuurlijk lastig, dus is het zinvoller om daar synthetische data voor te gebruiken. Deze kun je verkrijgen door het draaien van simulaties, en dat vereist weer opslag die snel beschikbaar is voor verwerking in machine learning. “Met GPUDirect kunnen we dit soort scenario’s efficiënt opslaan en toegankelijk maken voor real-time verwerking,” aldus Singh-Evensen.
De technologie onderscheidt zich van traditionele oplossingen, zoals block- en file-opslag, die in principe niet zijn ontworpen om te voldoen aan de eisen van AI. Met GPUDirect biedt Cloudian een oplossing die beter aansluit bij de behoeften van moderne toepassingen, waaronder videoanalyse, medische beeldvorming en spraakherkenning. “Door de CPU-bottleneck weg te halen met GPUDirect gaat niet alleen de snelheid omhoog, maar dalen ook de kosten voor de infrastructuur.”
Veiligheid en data-soevereiniteit
Een belangrijk voordeel van de aanpak van Cloudian is de nadruk op data-soevereiniteit. Veel organisaties, vooral in Europa, maken zich zorgen over het verwerken van gevoelige gegevens in public clouds. “We zien een toenemende vraag naar oplossingen waarmee AI-workloads lokaal kunnen worden uitgevoerd,” zegt Singh-Evensen.
Met GPUDirect kunnen bedrijven data in hun eigen datacenters opslaan, zonder concessies te doen aan prestaties. Dit biedt niet alleen een hogere mate van veiligheid, maar helpt ook om te voldoen aan regelgeving zoals de AVG. Singh-Evensen benadrukt: “In plaats van data bloot te stellen aan potentiële privacyrisico’s in de cloud, kunnen bedrijven vertrouwen op een oplossing binnen hun eigen muren.”
Een fundamentele rol in AI
Cloudian bouwt zelf geen AI-frameworks, maar wil een sleutelrol spelen in het ondersteunen van AI-workloads. Singh-Evensen vergelijkt het met een auto: “Voor een auto heb je brandstof nodig om te rijden. Cloudian is als die brandstof voor AI-systemen. In het algemeen kun je zeggen ‘hoe meer data, hoe beter het model’. Met efficiënte opslag kunnen deze systemen steeds betere, steeds accuratere AI-modellen voortbrengen.”
Singh-Evensen benadrukt dat de samenwerking met Nvidia essentieel is voor de innovaties op dit gebied. “GPUDirect is de eerste oplossing in zijn soort, specifiek ontworpen om de uitdagingen van AI-opslag aan te pakken. Het is een oplossing die legacy-systemen achter zich laat en inspeelt op de toekomst,” zegt Singh-Evensen.
De toepassing van AI in verschillende sectoren, van gezondheidszorg tot autonome voertuigen, vraagt om steeds geavanceerdere opslagoplossingen. De opslagcapaciteiten van Cloudian bieden ondersteuning voor enorme datasets, single namespace access en integratie met moderne AI-frameworks.
Eenvoudige aanpak voor beheerders
Voor IT-dienstverleners biedt de technologie van Cloudian diverse voordelen. Zo verlaagt GPUDirect de operationele kosten door efficiëntere data-overdracht en snellere toegang. Daarnaast kunnen IT-teams schaalbare AI-oplossingen implementeren zonder gebruik te moeten maken van de publieke
cloud.
Een ander voordeel is te vinden in het beheer. “Waar traditionele oplossingen vaak complexe kernel-modificaties en onderhoud vereisen, biedt Cloudian een eenvoudigere aanpak. IT-beheerders kunnen zo grote datasets beheren en tegelijk de prestaties te optimaliseren.”
De lancering van GPUDirect for Object Storage markeert volgens Singh-Evensen een belangrijke mijlpaal in de opslagindustrie. “We zijn trots dat we de eerste zijn die deze technologie op de markt brengen. Met Cloudian zorgen we ervoor dat organisaties de controle behouden over hun data, terwijl ze profiteren van state-of-the-art technologie.”
GPUDirect van NVIDIA
Nvidia’s GPUDirect-technologie is ontworpen voor directe dataoverdracht tussen GPU’s en andere hardwarecomponenten. Omdat hiermee de CPU wordt omzeild levert dit flink betere prestaties en lagere latentie. Voor diverse bestandsprotocollen heeft GPUDirect zijn waarde al bewezen. Cloudian is de eerste die GPUDirect binnen S3-compatibele objectopslag realiseert. Daarvoor heeft het de afgelopen tijd nauw samengewerkt met Nvidia.