Enterprise AI-programma’s mislukken zelden vanwege een slecht idee. Vaak komen ze vast te zitten in een ongecontroleerde pilotmodus en bereiken ze nooit de productie. Tijdens een recent VentureBeat-evenement legden technologieleiders van MassMutual en Mass General Brigham uit hoe ze deze valkuilen vermeden – en wat de resultaten zijn als discipline de wildgroei vervangt.
Bij MassMutual waren de resultaten tastbaar: de productiviteit van ontwikkelaars steeg met 30%, de doorlooptijd van de IT-helpdesk werd teruggebracht van 11 minuten naar één minuut, en telefoontjes naar de klantenservice werden teruggebracht van 15 minuten naar slechts één of twee minuten.
“We beginnen altijd met: waarom geven we om dit probleem?” Sears Merritt, Chief Technology and Corporate Experience Officer van MassMutual, zei dit tijdens het evenement. “Als we een probleem oplossen, hoe weten we dan dat we het hebben opgelost? En hoeveel voordeel kunnen we daaruit halen?”
Metrieken definiëren, sterke feedbackloops opbouwen
MassMutual, een 175 jaar oud bedrijf dat miljoenen poliseigenaren en klanten bedient, heeft AI in het hele bedrijf in productie gebracht: klantenondersteuning, IT, klantenwerving, acceptatie, service, claims en andere gebieden.
Merritt zei dat zijn team de wetenschappelijke methode volgt, beginnend met een hypothese en testen of de methode resultaten oplevert die het bedrijf daadwerkelijk vooruit helpen. Sommige ideeën zijn geweldig, maar kunnen ‘moeilijk te implementeren zijn in het bedrijfsleven’ vanwege factoren zoals een gebrek aan gegevens of toegang, of wettelijke beperkingen.
“We gaan pas verder met een idee als we duidelijkheid krijgen over hoe we het gaan meten en hoe we succes gaan definiëren.”
Uiteindelijk hangt de definitie van kwaliteit af van verschillende afdelingen en leiders: kies meetgegevens en bepaal minimale kwaliteitsniveaus voordat de tool in handen komt van teams en partners.
Dat startpunt creëert een snelle feedbacklus. “De dingen waarvan we merken dat ze ons vertragen, zijn wanneer er geen duidelijkheid is over welke resultaten we willen bereiken”, wat tot verwarring en voortdurende aanpassing kan leiden, zegt Merritt. “We gaan pas in productie als we een zakenpartner hebben die zegt: ‘Ja, het werkt.’”
Zijn team is strategisch bij het evalueren van opkomende tools, en ‘zeer grondig’ bij het testen en meten van wat ‘goed’ is. Ze voeren bijvoorbeeld vertrouwensbeoordelingen uit om het niveau van hallucinaties te verminderen, stellen drempels en evaluatiecriteria in en monitoren kenmerken en outputafwijkingen.
Merritt hanteert ook een vrijblijvend beleid, wat betekent dat het bedrijf zich niet beperkt tot het gebruik van een bepaald model. Het heeft wat het noemt een “zeer heterogene” technologieomgeving die de beste modellen in zijn soort combineert met mainframes die op COBOL draaien. Die flexibiliteit is geen toeval. Zijn team bouwde een laag van gemeenschappelijke services, microservices en API’s die zich tussen de AI-laag en alles daaronder bevindt. Dus als er betere modellen ontstaan, betekent het vervangen ervan niet dat je helemaal opnieuw moet beginnen.
Omdat, legt Merritt uit, “de beste race van vandaag misschien wel de slechtste in de toekomst is, en we willen onszelf niet achter laten.”
Wied wieden in plaats van duizend bloemen te laten bloeien
Massa-generaal Brigham (MGB) van zijn kant hanteerde in eerste instantie een meer spray-and-bid-aanpak.
Ongeveer 15.000 onderzoekers bij de non-profit gezondheidszorg hebben de afgelopen 10 tot 15 jaar gebruik gemaakt van AI, ML en deep learning, zei CTO Nallan “Sri” Sriraman op hetzelfde VB-evenement.
Maar vorig jaar maakte hij een gedurfde keuze: zijn team schakelde een aantal ongereguleerde AI-piloten uit. Aanvankelijk “volgden we (de methodologie van) het laten bloeien van duizend bloemen, maar we hadden geen duizend bloemen, misschien probeerden er enkele tientallen bloemen te bloeien”, zei hij.
Net als Merritts team bij MassMutual schakelde MGB over naar een meer holistische visie en onderzocht waarom ze bepaalde tools voor bepaalde workflowafdelingen ontwikkelden. Ze vragen zich af welke capaciteiten ze willen en nodig hebben en welke investeringen daarvoor nodig zijn.
Het team van Sriraman sprak ook met hun belangrijkste platformaanbieders – Epic, Workday, ServiceNow, Microsoft – over hun roadmaps. Het was een “heel belangrijk moment”, zei hij, toen ze zich realiseerden dat ze een interne tool aan het bouwen waren die de leverancier al leverde (of van plan was uit te rollen).
Zoals Sriraman het stelt: “Waarom bouwen we het zelf? We zitten al op dit platform. Het past in de workflow. Profiteer ervan.”
Deze markt bevindt zich echter nog in de beginfase, wat beslissingen lastig kan maken. “De analogie die ik zou geven is wanneer je zes blinde mannen vraagt een olifant aan te raken en vraagt: hoe ziet de olifant eruit?” zei Sriraman. “Je krijgt zes verschillende antwoorden.”
Daar was niets mis mee, zei hij; het is gewoon zo dat iedereen aan het ontdekken en experimenteren is terwijl het landschap verandert.
In plaats van een wildwest-omgeving distribueerde het team van Sriraman Microsoft Copilot onder gebruikers in het hele bedrijf en gebruikte het ‘kleine landingszones’ waar ze veilig meer geavanceerde producten konden testen en het tokengebruik konden controleren.
Ze beginnen ook ‘bewust AI-leiderschap te verankeren’ binnen bedrijfsgroepen. “Dit is het tegenovergestelde van duizend bloemen laten bloeien en ze met zorg planten en voeden”, zegt Sriraman.
Waarneembaarheid is een andere belangrijke overweging; hij beschreef realtime dashboards die modeldrift en beveiliging beheren en IT-teams in staat stellen om AI “een beetje pragmatischer” te beheren. Gezondheidsmonitoring is van cruciaal belang in AI-systemen, zei hij, en zijn team heeft principes en beleid opgesteld rond het gebruik van AI, om nog maar te zwijgen van de toegangsrechten.
In de klinische omgeving zijn de beperkingen absoluut: het AI-systeem neemt nooit een definitieve beslissing. “Er zal altijd een arts of arts-assistent zijn die de beslissingen neemt”, zei Sriraman. Hij zei dat het maken van radiologierapporten een gebied is waarop AI op grote schaal wordt gebruikt, maar dat radiologen dit altijd negeren.
Sriraman was duidelijk: “Doe dit niet: toon PHI (beschermde gezondheidsinformatie) niet in verwarring. Zo simpel is het, toch?”
En het allerbelangrijkste: er moet een veiligheidsmechanisme zijn. “We hebben een grote rode knop nodig, zet hem uit”, benadrukt Sriraman. “Zonder dit zouden we operationeel niets doen.”
Hoewel agent AI een transformatieve technologie is, hoeven bedrijven uiteindelijk niet zo verschillend te zijn tegenover de technologie. “Hier is niets nieuws aan”, zei Sriraman. “Je kunt de woorden BPM (business process management) uit de jaren 90 en 2000 vervangen door AI. Dezelfde concepten zijn van toepassing.”
