Er zijn drie disciplines die de demo’s van AI-agenten scheiden van de implementatie in de echte wereld

Het bleek moeilijker om AI-agenten betrouwbaar te laten werken in de productie – en niet alleen in demo’s – dan het bedrijf had verwacht. Gefragmenteerde gegevens, onduidelijke workflows en ongecontroleerde escalatiesnelheden vertragen de acceptatie in alle sectoren.

“De technologie zelf werkt vaak goed bij demonstraties”, zegt Sanchit Vir Gogia, hoofdanalist bij Greyhound Research. “De uitdagingen beginnen wanneer hen wordt gevraagd te opereren binnen de complexiteit van een echte organisatie.”

Burley Kawasaki, die toezicht houdt op de implementatie van agenten bij Creatio, en het team hebben een methodologie ontwikkeld die is gebaseerd op drie disciplines: datavirtualisatie om vertragingen in data lakes aan te pakken; agentdashboards en KPI’s als managementlaag; en een strak beperkte lus van gebruiksscenario’s richting hoge autonomie.

In eenvoudiger gebruikssituaties heeft deze praktijk agenten volgens Kawasaki in staat gesteld om tot 80-90% van de taken zelf uit te voeren. Met verdere verfijning schat hij dat ze in ten minste de helft van de gebruiksscenario’s autonome resolutie zouden kunnen ondersteunen, zelfs bij complexere implementaties.

“Mensen hebben veel geëxperimenteerd met proof of concept, ze hebben veel getest”, vertelde Kawasaki aan VentureBeat. “Maar nu, in 2026, beginnen we ons te concentreren op kritische workflows die operationele efficiëntie of extra inkomsten genereren.”

Waarom agenten steeds falen in de productie

Bedrijven willen graag agent-AI in verschillende vormen adopteren – vaak omdat ze bang zijn achterop te raken, zelfs voordat ze gebruiksscenario’s in de echte wereld hebben geïdentificeerd – maar stuiten op aanzienlijke barrières op het gebied van data-architectuur, integratie, monitoring, beveiliging en workflowontwerp.

Het eerste obstakel heeft bijna altijd te maken met data, zei Gogia. Bedrijfsinformatie bestaat zelden in een nette of geïntegreerde vorm; het is verspreid over SaaS-platforms, applicaties, interne databases en andere datastores. Sommige zijn gestructureerd, andere niet.

Maar zelfs nu bedrijven problemen met het vastleggen van gegevens aanpakken, blijft integratie een grote uitdaging. Agenten vertrouwen op API’s en automatiseringshooks om met applicaties te communiceren, maar veel bedrijfssystemen zijn ontworpen lang voordat dit soort autonome interactie werkelijkheid was, zei Gogia.

Dit kan resulteren in onvolledige of inconsistente API’s, en het systeem kan onverwacht reageren wanneer het programmatisch wordt benaderd. Organisaties lopen ook tegen obstakels aan als ze processen proberen te automatiseren die nog nooit formeel zijn gedefinieerd, zegt Gogia.

“Veel zakelijke workflows zijn afhankelijk van stilzwijgende kennis”, zegt hij. Dit betekent dat werknemers weten hoe ze uitzonderingen die ze eerder hebben gezien, moeten oplossen zonder expliciete instructies. Die ontbrekende regels en instructies worden echter overduidelijk wanneer de workflow wordt vertaald in automatiseringslogica.

Afstemcirkel

Creatio zet de agent in in een “beperkt bereik met duidelijke vangrails”, gevolgd door een “expliciete” installatie- en validatiefase, legt Kawasaki uit. Het team beoordeelt de eerste resultaten, past deze indien nodig aan en voert vervolgens opnieuw tests uit totdat een acceptabel nauwkeurigheidsniveau is bereikt.

De lus volgt meestal dit patroon:

• Ontwerptijd instellen (vóór live gaan): De prestaties worden verbeterd door snelle engineering, context-inkapseling, roldefinitie, workflowontwerp en basis in gegevens en documenten.

• Human-in-the-loop-correctie (tijdens uitvoering): Ontwikkelaars keuren uitzonderingen goed, bewerken of lossen deze op. In gevallen waarin mensen het meest moeten ingrijpen (escalatie of goedkeuring), stellen gebruikers strengere regels op, bieden ze meer context en werken ze de workflowstappen bij; of ze beperken de toegang tot het gereedschap.

• Continue optimalisatie (na go-live): Ontwikkelaars houden voortdurend de uitzonderingspercentages en -resultaten in de gaten en voeren indien nodig herhaalde aanpassingen uit, waardoor de nauwkeurigheid en autonomie in de loop van de tijd worden verbeterd.

Het Kawasaki-team heeft extra generaties capture toegepast op grondagenten in de kennisbank, CRM-gegevens en andere eigen bronnen van het bedrijf.

Zodra agenten zijn ingezet, worden ze gemonitord met dashboards die prestatieanalyses, conversie-inzichten en auditmogelijkheden bieden. In principe worden agenten behandeld als digitale werkers. Ze hebben een eigen managementlaag met dashboards en KPI’s.

Onboarding-agents zullen bijvoorbeeld worden opgenomen als een standaard dashboardinterface die agentmonitoring en telemetrie biedt. Het maakt deel uit van de platformlagen – orkestratie, bestuur, beveiliging, uitvoering van workflows, monitoring en UI-inbedding – die “bovenop LLM zitten”, zei Kawasaki.

Gebruikers zien een dashboard met agenten die in gebruik zijn en elk proces, workflow en resultaat dat wordt uitgevoerd. Ze kunnen inzoomen op individuele records (zoals verwijzingen of updates) met stapsgewijze uitvoeringslogboeken en gerelateerde communicatie ter ondersteuning van traceerbaarheid, foutopsporing en aanpassing van agenten. De meest voorkomende aanpassingen zijn logica en prikkels, bedrijfsregels, snelle context en toegang tot tools, aldus Kawasaki.

Grootste problemen die zich voordoen na de implementatie:

• Het verwerkingsvolume voor uitzonderingen kan hoog zijn: De eerste piek in randgevallen treedt vaak op totdat vangrails en workflows zijn ingesteld.

• Gegevenskwaliteit en volledigheid: Ontbrekende of inconsistente velden en documenten kunnen escalatie veroorzaken; teams kunnen identificeren welke gegevens prioriteit moeten krijgen voor aarding en welke controles moeten worden geautomatiseerd.

• Controleerbaarheid en vertrouwen: Met name gereguleerde klanten hebben duidelijke logboeken, goedkeuringen, op rollen gebaseerde toegangscontrole (RBAC) en audittrails nodig.

“We leggen altijd uit dat je tijd moet besteden aan het opleiden van agenten”, vertelde Katherine Kostereva, CEO van Creatio, aan VentureBeat. “Het gebeurt niet meteen wanneer je de agent activeert. Het kost tijd om het volledig te begrijpen, waarna het aantal fouten zal afnemen.”

“Data readiness” vereist niet altijd een revisie

Als het gaat om het inzetten van een agent: “Zijn mijn gegevens gereed?” is een veel voorkomende eerste vraag. Bedrijven weten dat datatoegang belangrijk is, maar dit kan belemmerd worden als dataconsolidatieprojecten op grote schaal worden uitgevoerd.

Maar virtuele verbindingen kunnen agenten toegang geven tot onderliggende systemen en vertragingen in data lake/lakehouse/warehouse overwinnen. Het team van Kawasaki heeft een platform gebouwd dat met data kan worden geïntegreerd, en werkt nu aan een aanpak die de data in virtuele objecten verzamelt, verwerkt en gebruikt als standaardobjecten voor de gebruikersinterface en workflows. Op deze manier hoeven ze geen grote hoeveelheden gegevens in hun database op te slaan of te dupliceren.

De techniek zou nuttig kunnen zijn op terreinen als het bankwezen, waar transactievolumes te groot zijn om in een CRM te repliceren, maar “nog steeds waardevol zijn voor analyse en AI-triggers”, aldus Kawasaki.

Zodra integraties en virtuele objecten zijn gedefinieerd, kunnen teams de volledigheid, consistentie en beschikbaarheid van gegevens evalueren en eenvoudige startpunten identificeren (zoals documentintensieve of ongestructureerde workflows).

Kawasaki benadrukte het belang van “het daadwerkelijk gebruiken van de gegevens in het onderliggende systeem, dat vaak de schoonste of de bron van de waarheid is.”

Agenten matchen met vacatures

Wat het beste werkt voor autonome (of bijna-autonome) agenten is een workflow met grote volumes met “een duidelijke structuur en beheersbare risico’s”, aldus Kawasaki. Bijvoorbeeld het vastleggen en valideren van documenten ter voorbereiding op onboarding of uitlenen, of standaard outreach zoals verlengingen en verwijzingen.

“Vooral als je het kunt koppelen aan zeer specifieke processen binnen een branche, kun je echt een echte ROI meten en genereren”, zegt hij.

Zo zijn financiële instellingen vaak van nature gesloten. Commerciële kredietteams werken in hun eigen omgeving, terwijl het vermogensbeheer zich in een andere omgeving afspeelt. Maar autonome agenten kunnen afdelingen en afzonderlijke datastores doorzoeken om bijvoorbeeld commerciële klanten te identificeren die goede kandidaten zouden kunnen zijn voor vermogensbeheer of adviesdiensten.

“Je denkt dat het een voor de hand liggende kans zou zijn, maar niemand besteedt aandacht aan al die dingen”, zei Kawasaki. Sommige banken die middelen voor dit scenario hebben ingezet, hebben ‘miljoenen dollars aan extra inkomstenvoordelen’ gezien, beweerde hij, zonder specifieke instellingen te noemen.

In andere gevallen – vooral in gereguleerde sectoren – hebben agenten met een langere context echter niet alleen de voorkeur, maar zijn ze ook noodzakelijk. Bijvoorbeeld bij taken die uit meerdere stappen bestaan, zoals het verzamelen van bewijsmateriaal in verschillende systemen, het samenvatten, vergelijken, structureren van communicatie en het genereren van controleerbare onderbouwing.

‘De agent reageert niet onmiddellijk op je,’ zei Kawasaki. “Het kan uren, dagen duren om de taak volledig te voltooien.”

Dit vereist een georganiseerde uitvoering door agentschappen en niet ‘één grote order’, zei hij. Deze aanpak verdeelt het werk in deterministische stappen die door subagenten moeten worden uitgevoerd. Geheugen- en contextbeheer kan over meerdere stappen en tijdsintervallen worden gehandhaafd. Door te aarden met RAG kan de uitvoer aan goedgekeurde bronnen worden gekoppeld, en gebruikers hebben de mogelijkheid om extensies voor bestandsshares en andere documentopslagplaatsen te definiëren.

Deze modellen vereisen doorgaans geen speciale omscholing of een nieuw basismodel. Welk model een bedrijf ook gebruikt (GPT, Claude, Gemini), de prestaties verbeteren door begeleiding, roldefinitie, gecontroleerde tools, workflows en een databasis, zegt Kawasaki.

De feedbackloop legt “extra nadruk” op tussenliggende controlepunten, zei hij. Mensen beoordelen tussenliggende artefacten (zoals samenvattingen, geëxtraheerde feiten of conceptaanbevelingen) en corrigeren fouten. Deze kunnen vervolgens worden omgezet in betere ophaalregels en -bronnen, een smallere tooldekking en verbeterde sjablonen.

“Wat belangrijk is bij deze stijl van autonome agenten is dat je het beste van twee werelden combineert: dynamische AI-redenering, met echte controle- en orkestratiekracht”, aldus Kawasaki.

Uiteindelijk hebben agenten gecoördineerde veranderingen nodig binnen bedrijfsarchitecturen, nieuwe orkestratieframeworks en expliciete toegangscontroles, aldus Gogia. Aan agenten moeten identiteiten worden toegewezen om hun bevoegdheden te beperken en binnen de perken te houden. Waarneembaarheid is erg belangrijk; monitoringtools kunnen de voltooiingspercentages van taken, escalatiegebeurtenissen, systeeminteracties en foutpatronen registreren. Dit soort evaluatie moet een permanente praktijk worden, en agenten moeten worden getest om te zien hoe ze reageren wanneer ze worden geconfronteerd met nieuwe scenario’s en ongebruikelijke input.

“Wanneer AI-systemen actie kunnen ondernemen, moeten bedrijven een aantal vragen beantwoorden die zelden rijzen tijdens de inzet van copiloten”, aldus Gogia. Zoals: Tot welke systemen hebben agenten toegang? Welke soorten acties kunnen worden uitgevoerd zonder toestemming? Welke activiteiten moeten altijd een menselijke beslissing vereisen? Hoe wordt elke actie geregistreerd en beoordeeld?

“(Bedrijven) die deze uitdaging onderschatten, raken vaak verwikkeld in demonstraties die er indrukwekkend uitzien, maar niet opgewassen zijn tegen de werkelijke operationele complexiteit”, aldus Gogia.