Red Hat en Amazon Web Services (AWS) intensiveren hun samenwerking om generatieve AI-toepassingen op enterprise-schaal te ondersteunen. De combinatie van Red Hat AI-technologie en AWS-accelerators moet organisaties meer keuzevrijheid en een efficiëntere manier bieden om AI-inferencing in productie te draaien.
Organisaties herzien hun infrastructuur nu generatieve AI steeds meer rekenkracht vraagt. IDC verwacht dat 40% van de bedrijven in 2027 gebruikmaakt van maatwerkchips, zoals ARM-processors en AI-specifieke hardware, om hogere prestaties en kostenefficiëntie te realiseren. Dit vergroot de vraag naar geoptimaliseerde platformen voor inferencing op grote schaal.
Binnen de samenwerking wordt Red Hat AI Inference Server – gebaseerd op vLLM – geschikt gemaakt voor AWS Inferentia2- en Trainium3-chips. Hiermee ontstaat een uniforme inferentielaag die uiteenlopende generatieve AI-modellen ondersteunt. Volgens Red Hat biedt dit een prijs-prestatievoordeel van 30–40% ten opzichte van vergelijkbare GPU-gebaseerde EC2-instances.
Red Hat en AWS introduceren een AWS Neuron-operator voor Red Hat OpenShift, OpenShift AI en OpenShift Service on AWS. Hiermee krijgen klanten ondersteuning voor het draaien van AI-workloads op AWS-accelerators binnen hun containerplatform.
Voor eenvoudiger implementatie is de amazon.ai Ansible Certified Collection beschikbaar binnen Red Hat Ansible Automation Platform. Deze collectie helpt bij het orkestreren van AI-diensten op AWS en moet de uitrol van generatieve AI-toepassingen versnellen.
Beide partijen leveren bijdragen aan een AWS AI-chipplugin voor vLLM, die upstream beschikbaar komt. Red Hat blijft daarbij een belangrijke commerciële bijdrager aan vLLM en ondersteunt het project binnen OpenShift AI 3 via llm-d, een open source-component voor grootschalige inferencing.
“Door onze enterprise-grade Red Hat AI Inference Server te ondersteunen met AWS AI-chips, stellen we organisaties in staat AI-workloads met meer efficiëntie en flexibiliteit uit te rollen en op te schalen”, zegt Joe Fernandes van Red Hat.
“AWS heeft Trainium- en Inferentia-chips ontwikkeld om hoogwaardige AI-inferencing en training toegankelijker en betaalbaarder te maken. Onze samenwerking met Red Hat biedt klanten een ondersteunende manier om generatieve AI op schaal in te zetten”, aldus Colin Brace van AWS.
