Gartner verwacht dat tegen 2028 de helft van alle generatieve AI-implementaties investeringen vereist in het monitoren van grote taalmodellen. Dit stijgt van 15 procent nu naar 50 procent door de groeiende vraag naar uitlegbare AI. De behoefte aan vertrouwen in AI-systemen groeit volgens het onderzoeksbureau sneller dan de technologie zelf.
Organisaties moeten de komende jaren fors investeren in tools om grote taalmodellen (LLM’s) te monitoren en begrijpen. Gartner voorspelt dat tegen 2028 de helft van alle generatieve AI-implementaties deze investeringen nodig heeft, tegenover 15 procent momenteel.
De stijging komt door de toenemende nadruk op uitlegbare AI (XAI). Deze technologie beschrijft hoe een model werkt, toont sterke en zwakke punten, voorspelt gedrag en identificeert mogelijke vooroordelen. XAI moet de nauwkeurigheid, eerlijkheid en transparantie van algoritmische besluitvorming verbeteren.
Nieuwe monitoring gaat verder dan traditionele IT-metrics
Observatietools voor taalmodellen monitoren specifieke LLM-aspecten zoals hallucinaties, vooroordelen en tokengebruik. Deze tools gaan verder dan standaard IT-metingen zoals responstijden. Ze worden gebruikt door ontwikkelteams, maar ook door IT-operations en site reliability engineers die verantwoordelijk zijn voor de prestaties van AI-systemen in productie.
Volgens Gartner groeit de behoefte aan vertrouwen sneller dan de technologie zelf. Zonder solide XAI- en observatiegrondslagen blijven generatieve AI-initiatieven volgens het onderzoeksbureau beperkt tot laagrisico, interne of niet-kritieke taken. Dit beperkt de potentiële return on investment aanzienlijk.
Markt groeit naar 75 miljard dollar
Gartner verwacht dat de wereldwijde markt voor generatieve AI-modellen in 2026 meer dan 25 miljard dollar bedraagt en tegen 2029 groeit naar 75 miljard dollar. Naarmate het gebruik toeneemt, groeit ook de behoefte aan mechanismen die AI-gegenereerde content verifiëren en beschermen tegen hallucinaties en vooringenomen redeneringen.
De prioriteit verschuift van traditionele observatie die zich richt op snelheid en kosten naar diepere kwaliteitsmetingen zoals feitelijke nauwkeurigheid en logische correctheid. Dit vereist nieuwe governance-gerichte metrics en evaluatiemethoden, zoals menselijke validatie van content.
Vier prioriteiten voor organisaties
Gartner adviseert organisaties vier stappen te prioriteren. Ten eerste moeten ze XAI-tracing verplicht stellen voor alle impactvolle generatieve AI-toepassingen om de redeneringsstappen van het model en brondata te documenteren.
Ten tweede moeten ze prioriteit geven aan observatieplatforms die latentie, drift, tokengebruik, kosten, foutpercentages en outputkwaliteitsmetrieken monitoren. Ten derde moeten ze LLM-evaluatiemetrics integreren in continuous integration/continuous delivery-pijplijnen voor continue validatie.
Ten slotte moeten organisaties juridische, compliance- en andere stakeholders informeren over uitlegbaarheidseisen om afstemming te bereiken over risico’s en governance-verwachtingen. Zonder uitlegbaarheid en LLM-observatie kunnen generatieve AI-systemen volgens Gartner niet verder komen dan gecontroleerde laboratoriumomgevingen.
