Een AI-startup in SF die zich richt op identiteitsverificatie heeft zichzelf een verheven doel gesteld: het veiligstellen van overheidscontracten.
Daniel Yanisse, CEO van Checkr, vertelde Business Insider dat het bedrijf overheden wil helpen de ‘fraude en verspilling“door niet alleen nieuwe werknemers te screenen, maar ook te verifiëren of de persoon in aanmerking komt voor voordelen zoals Medicare en sociale zekerheid.
Hoewel Yanisse zegt dat zijn bedrijf nog niet klaar is om producten aan te kondigen, zegt hij dat dit een no-brainer is hulp van de overheid het systeem zal misschien nog maar een paar jaar verwijderd zijn.
Maar AI- en veiligheidsexperts vertelden Business Insider dat er juridische en technische barrières zijn voor elk bedrijf dat de taak op zich neemt om uitkerings- en welzijnssystemen met AI te automatiseren.
Checkr gebruikt AI voornamelijk om antecedentenonderzoek uit te voeren en informatie weer te geven, zoals strafregisters en motorvoertuigrapporten. Het bedrijf heeft grote contracten met Uber en Lyft om nieuwe chauffeurs te screenen, en werd gewaardeerd op meer dan $ 5,7 miljard nadat het in 2022 $ 120 miljoen aan financiering had opgehaald. In 2025 rapporteerde Checkr een omzet van meer dan $ 800 miljoen en overtrof het de 120.000 klanten.
Toen hem werd gevraagd wat Checkr wilde Yanisse zei dat er voor Medicare en andere programma’s veel fraude plaatsvindt en dat alleen criminelen financiering krijgen van de overheid, en niet van de juiste mensen die hulp nodig hebben.
Het Medicare Fee-for-Service Program schat dat er in 2025 voor 28,83 miljard dollar aan “ongepaste betalingen” zal zijn tegen een percentage van 6,55%, hoewel niet al deze gevallen het gevolg zijn van opzettelijke fraude. Betalingen aan personen die geen adequate documentatie overleggen en een niet-geverifieerd inkomensniveau hebben, worden door Medicaid ook als ongepast beschouwd.
“Helaas zal er met AI meer fraude plaatsvinden, identiteitsdiefstalen fraude”, aldus Yanisse. “Veel wrijving, veel herhaling, en nu zijn er ook deepfakes.”
Een woordvoerder van Checkr vertelde Business Insider dat de potentiële betrokkenheid van het bedrijf bij de overheid “op dit moment conceptueel blijft”.
Het bedrijf wees ook op een onderzoek uitgevoerd door Middesk, een platform voor bedrijfsidentiteitsverificatie, dat $ 1,09 biljoen waard was. Medicaid-betalingen toegekend aan ongeveer 1,6 miljoen zorgverleners tussen 2018 en 2024, werd 563 miljoen dollar aan betalingen gedaan aan zorgverleners die op de zwarte lijst stonden van federale gezondheidszorgprogramma’s vanwege criminele activiteiten of overtredingen.
Het automatiseren van identiteitsverificatie kan een uitdaging zijn
Stuart Russellhoogleraar computerwetenschappen aan UC Berkeley en een AI-pionier, vertelde Business Insider dat hij “niet optimistisch” is dat de plannen om AI te gebruiken om te bepalen of u in aanmerking komt voor voordelen, zullen werken zoals geadverteerd.
“Dit soort AI-systeem, dat een versie is van de LLM, is niet in staat om correcte verklaringen voor zijn beslissingen te genereren, waardoor het onmogelijk wordt om verkeerde beslissingen aan te vechten”, aldus Russell.
Russell haalde ook de Algemene Verordening Gegevensbescherming van de Europese Unie aan, die het nemen van beslissingen verbiedt die een aanzienlijke juridische impact hebben op personen die volledig gebruik maken van geautomatiseerde systemen.
Baobao Zhang, decaan Maxwell hoogleraar politieke AI aan de Universiteit van Syracuse, vertelde Business Insider dat hoewel hij niet precies kan beoordelen hoe goed het huidige verificatiesysteem van Checkr is, eerdere overheidsinspanningen om maatschappelijke voordelen te combineren met geautomatiseerde systemen een waarschuwend verhaal zijn.
“Als de federale overheid of andere staten contracten proberen te sluiten met leveranciers om de detectie van welzijnsfraude te automatiseren, moeten ze serieuze evaluaties in de praktijk uitvoeren voordat ze deze implementeren, omdat de inzet hoog is, zoals de geschiedenis heeft bewezen,” zei Zhang.
In Indiana worden inspanningen geleverd om het systeem voor het in aanmerking komen voor sociale voorzieningen te vereenvoudigen en te automatiseren door contracten uit te besteden IBM eindigde in een juridisch geschil waarin de staat het bedrijf aanklaagde voor 1,3 miljard dollar voor een project dat in 2010 werd geannuleerd. Volgens gerechtelijke documenten zei de Indiana Family and Social Services Administration dat verwerkingsfouten van IBM leidden tot onrechtmatige weigeringen van uitkeringen ten nadele van mensen in nood.
In Australië vroeg een geautomatiseerd overheidsprogramma genaamd Robodebt, ontworpen om fraude op te sporen, ontvangers van hulp om uitkeringen terug te betalen en stuurde brieven waarin stond dat ze duizenden dollars schuldig waren, gebaseerd op een foutief algoritme. Een koninklijke commissie, de hoogste vorm van openbaar onderzoek in Australië, ontdekte dat ten minste drie mensen door zelfmoord zijn omgekomen nadat hen ten onrechte was verteld dat ze schulden moesten terugbetalen die ze niet van Robodebt verschuldigd waren. Dit systeem werd in 2019 door de rechtbank illegaal verklaard.
Ifeoma Ajunwa, oprichter en directeur van het AI and Future of Work Program aan de Emory University, vertelde Business Insider dat als een overheidsinstantie AI wil adopteren, er een adviesraad moet komen die bestaat uit technologen en sociale wetenschappers, en dat de getroffen kiezers een stem moeten krijgen.
“Ik denk dat we voorzichtig te werk moeten gaan bij het delegeren van overheidsfuncties AI-technologie‘, zei Ajunwa. ‘Terwijl dit hulpmiddel werd genoemd efficiëntie verhogen en lagere kosten, moeten we ook een omheining bouwen die gebruikt kan worden om burgers te beschermen.”
