Enterprise AI gaat een nieuwe fase in – waarin de belangrijkste vraag niet langer is wat er kan worden gebouwd, maar hoe we het meeste uit onze AI-investeringen kunnen halen.
In de nieuwste AI Impact Tour-sessie van VentureBeat legt Brian Gracely, directeur portfoliostrategie bij Red Hat, de operationele realiteit binnen grote organisaties uit: de verspreiding van AI, de stijgende kosten van inferentie en beperkt inzicht in de werkelijke voordelen van die investeringen.
Dit is het ‘Dag 2’-moment – waarop testen plaats maakt voor productie en kosten, bestuur en duurzaamheid moeilijker worden dan het bouwen van het systeem.
“We hebben klanten gezien die zeiden: ‘Ik heb 50.000 Copilot-licenties. Ik weet niet echt wat mensen uit die licenties halen. Maar ik weet dat ik betaal voor de duurste computer ter wereld, omdat het de GPU is'”, zei Gracely. “‘Hoe kan ik het onder controle houden?'”
Waarom de kosten van AI in bedrijven nu een probleem zijn op bestuursniveau
De afgelopen twee jaar zijn kosten niet het voornaamste aandachtspunt geweest voor organisaties die generatieve AI evalueren. De experimentele fase geeft teams de ruimte om vrijelijk geld uit te geven, en de belofte van verhoogde productiviteit rechtvaardigt agressieve investeringen, maar die dynamiek begint te veranderen naarmate meer bedrijven hun tweede en derde budgetcyclus met AI ingaan. De focus is verschoven van “kunnen we iets bouwen?” tot “hebben we gekregen waar we voor betaald hebben?”
Bedrijven die aanvankelijk veel inzetten op beheerde AI-diensten voeren diepgaande onderzoeken uit om te zien of deze investeringen meetbare waarde opleveren. Het probleem is niet alleen dat GPU-computing duur is. Dit komt omdat veel organisaties niet over de instrumenten beschikken om uitgaven aan resultaten te koppelen, waardoor het bijna onmogelijk is om vernieuwing te rechtvaardigen of op verantwoorde wijze te schalen.
Een strategische verschuiving van tokenconsumenten naar tokenproducenten
Het dominante AI-inkoopmodel van de afgelopen jaren was eenvoudig: betaal leveranciers per token, per stoel of per API-oproep, en laat iemand anders de infrastructuur beheren. Het model is zinvol als uitgangspunt, maar wordt steeds vaker in twijfel getrokken door organisaties die voldoende ervaring hebben om alternatieven te vergelijken.
Bedrijven die één AI-cyclus hebben doorlopen, beginnen het model te heroverwegen.
“Hoe kan ik, in plaats van alleen maar een tokenconsument te zijn, een tokenmaker worden?” zei sierlijk. “Zijn er gebruiksscenario’s en workloads waarbij het voor mij zinvol is om meer te hebben? Dit kan betekenen dat ik een GPU moet gebruiken. Dit kan betekenen dat ik een GPU moet huren. En dan de vraag stellen: ‘Vereist die workload een state-of-the-art model? Is er een capabeler open model of een kleiner model dat geschikt zou zijn?'”
De beslissing is niet binair. Het juiste antwoord hangt af van de werklast, organisatie en risicotolerantie die ermee gepaard gaat, maar de berekeningen worden complexer naarmate het aantal capabele open modellen toeneemt, van DeepSeek tot modellen die nu beschikbaar zijn via de cloudmarktplaats. Nu hebben bedrijven daadwerkelijk een echt alternatief voor het handjevol dienstverleners dat twee jaar geleden de wereld domineerde.
De dalende kosten van AI en het toenemende gebruik creëren een paradox voor bedrijfsbudgetten
Sommige bedrijfsleiders beweren dat het nu doen van infrastructuurinvesteringen zou kunnen betekenen dat er op de lange termijn aanzienlijk meer moet worden betaald, daarbij verwijzend naar verklaringen van Anthropic CEO Dario Amodei dat de kosten voor AI-inferentie met ongeveer 60% per jaar afnemen.
De opkomst van open source-modellen zoals DeepSeek en anderen heeft de afgelopen drie jaar de strategische opties uitgebreid die beschikbaar zijn voor bedrijven die willen investeren in basisinfrastructuur.
Maar zelfs als de kosten per token afnemen, neemt het gebruik toe met een snelheid die de toename in efficiëntie ruimschoots compenseert. Dit is een versie van de Jevons Paradox, het economische principe dat het verhogen van de hulpbronnenefficiëntie de neiging heeft om de totale consumptie te vergroten in plaats van te verminderen, omdat lagere kosten een bredere acceptatie mogelijk maken.
Voor bedrijfsbudgetplanners betekent dit dat een verlaging van de eenheidskosten niet noodzakelijkerwijs een verlaging van de totale facturen betekent. Een organisatie die het gebruik van AI verdrievoudigt en tegelijkertijd de kosten halveert, geeft nog steeds meer uit dan voorheen. De overweging is welke werklasten werkelijk de meest capabele en duurste modellen vereisen, en welke werklasten het beste kunnen worden afgehandeld via kleinere, goedkopere alternatieven.
De business case voor het investeren in de flexibiliteit van AI-infrastructuur
Het doel is niet om AI-investeringen te vertragen, maar om te bouwen met flexibiliteit in gedachten. De organisatie die zal winnen is niet noodzakelijkerwijs degene die het snelst beweegt of het meeste geld uitgeeft; zij zijn degenen die infrastructuur en operationele modellen bouwen die in staat zijn de volgende onverwachte ontwikkeling op te vangen.
“Hoe meer je abstracties kunt inbouwen en jezelf flexibiliteit kunt geven, hoe meer je kunt experimenteren zonder de kosten te verhogen, maar ook zonder je bedrijf in gevaar te brengen. Dit is net zo belangrijk als de vraag of je vandaag de dag al de best practices toepast”, legt Gracely uit.
Maar ook al zijn discussies over AI ingebed in de planningscycli van bedrijven, de praktische ervaring die de meeste organisaties hebben, wordt nog steeds gemeten in jaren en niet in decennia.
“Het voelt alsof we dit al een eeuwigheid doen. We doen dit al drie jaar”, voegde Gracely eraan toe. “Het is nog vroeg en het gaat erg snel. Je weet niet wat er gaat gebeuren. Maar de kenmerken van wat er daarna gaat gebeuren: je moet een idee hebben van hoe het zal zijn.”
Voor bedrijfsleiders die hun AI-investeringsstrategieën nog steeds aan het kalibreren zijn, is dit misschien wel het meest bruikbare: het doel is niet om de huidige kostenstructuren te optimaliseren, maar om organisatorische en technische flexibiliteit op te bouwen om zich aan te passen wanneer, en niet als, er opnieuw verandering plaatsvindt.
