Bij het bouwen, trainen en inzetten van AI geven bedrijven doorgaans prioriteit aan nauwkeurigheid. En het is ongetwijfeld belangrijk; maar in een sector die zo complex en divers is als de wetgeving, is nauwkeurigheid alleen niet voldoende. Hogere inzetten betekenen hogere normen: de output van modellen moet worden beoordeeld op relevantie, autoriteit, nauwkeurigheid van citaten en mate van hallucinatie.
Om deze enorme taak aan te pakken, LexisNexis is geëvolueerd van de standaard retrieval-augmented generatie (RAG) naar RAG-grafieken en agentgrafieken; ze hebben ook AI-agenten voor ‘planning’ en ‘reflectie’ gebouwd die verzoeken ontcijferen en hun eigen output bekritiseren.
“Er bestaat niet zoiets als ‘perfecte AI’, omdat je nooit 100% nauwkeurigheid of 100% relevantie kunt krijgen, vooral niet in een complex domein waar veel op het spel staat, zoals het juridische domein”, erkende Min Chen, SVP en hoofd AI van LexisNexis, in de nieuwe VentureBeat Beyond the Pilot-podcast.
Het doel is om die onzekerheid zoveel mogelijk te beheersen en te vertalen naar consistente klantwaarde. “Uiteindelijk is voor ons de kwaliteit het belangrijkst AI-resultatenen het is een voortdurende reis van experimenteren, iteratie en verbetering”, zei Chen.
Krijg ‘volledige’ antwoorden op veelzijdige vragen
Om het model en de output ervan te evalueren, heeft het team van Chen meer dan een half dozijn ‘submetrieken’ gedefinieerd om ‘bruikbaarheid’ te meten op basis van verschillende factoren – autoriteit, nauwkeurigheid van citaten, mate van hallucinaties – evenals ‘volledigheid’. Deze specifieke statistiek is ontworpen om te evalueren of het antwoord van de AI-gen alle aspecten van de juridische vragen van de gebruiker volledig beantwoordt.
“Het gaat dus niet alleen om relevantie,” zei Chen. “Volledigheid geeft de betrouwbaarheid van de wet aan.”
Een gebruiker kan bijvoorbeeld een vraag stellen die antwoorden vereist die betrekking hebben op vijf verschillende juridische overwegingen. AI-genen kunnen antwoorden bieden die alle drie deze problemen nauwkeurig aanpakken. Hoewel ze relevant zijn, zijn sommige van deze antwoorden echter onvolledig en vanuit het perspectief van de gebruiker onvoldoende. Dit kan misleidend zijn en in het echte leven risico’s met zich meebrengen.
Of bijvoorbeeld enkele citaten misschien semantisch relevant op vragen van gebruikers, maar ze kunnen verwijzen naar argumenten of voorbeelden die uiteindelijk in de rechtbank worden afgewezen. ‘Onze advocaten zullen ze als onciteerbaar beschouwen’, zei Chen. “Als het niet kan worden geciteerd, is het nutteloos.”
Ga verder dan de standaard RAG
LexisNexis lanceert in 2023 zijn vlaggenschip AI-product van de volgende generatie, Lexis+ AI – een legale AI-tool voor opstellen, onderzoek en analyse. Het product is gebouwd op een standaard RAG-framework en hybride vectorzoekopdrachten die antwoorden baseren op de vertrouwde en gezaghebbende kennisbank van LexisNexis.
Het bedrijf bracht vervolgens in 2024 zijn persoonlijke juridische assistent, Protégé, op de markt. De agent combineert een kennisgrafieklaag bovenop vectorzoeken om de ‘belangrijkste beperking’ van puur semantisch zoeken te overwinnen. Hoewel semantisch zoeken “uitstekend” is in het ophalen van contextueel relevante inhoud, “garandeert het niet altijd gezaghebbende antwoorden”, zegt Chen.
Een eerste semantische zoekopdracht levert inhoud op die relevant wordt geacht; Het team van Chen traceerde de aangiften vervolgens via een ‘juridisch punt’-grafiek om de documenten met de hoogste autoriteit verder te filteren.
Bovendien ontwikkelde het team van Chen agentgrafieken en versnelde de automatisering, zodat agenten complexe, uit meerdere stappen bestaande taken konden plannen en uitvoeren.
Een zelfstandige ‘planningsagent’ voor onderzoeks-Q&A verdeelt bijvoorbeeld gebruikersvragen in subvragen. Menselijke gebruikers kunnen ze bekijken en bewerken om het uiteindelijke antwoord verder te verfijnen en te personaliseren. Ondertussen verzorgt de “reflectieagent” de voorbereiding van transactiedocumenten. De overheid kan de initiële ontwerpen ‘automatisch en dynamisch’ bekritiseren, die feedback vervolgens incorporeren en deze in realtime verfijnen.
Chen zegt echter dat dit allemaal niet bedoeld is om van mensen af te komen; menselijke experts en AI-agenten kunnen ‘samen leren, redeneren en groeien’. “Ik zie de toekomst als een diepere samenwerking tussen mens en AI.”
Bekijk de podcast om meer te horen over:
-
Hoe verliep de overname van LexisNexis? Handlanger helpen bij het implementeren van AI-modellen met eigen gegevens en klantgegevens van LexisNexis;
-
Verschil tussen deterministische en niet-deterministische evaluatie;
-
Waarom bedrijven KPI’s en definities van succes moeten identificeren voordat ze overhaast experimenteren;
-
Het belang van het focussen op de “driehoek” van belangrijke componenten: kosten, snelheid en kwaliteit.
Je kunt ook luisteren en abonneren Verder dan piloot op Spotify, Appel of waar u uw podcasts ook vandaan haalt.
