Het beheersen van AI-gedrag, niet de AI-theorie
De nieuwe wetten, SB 243 en AB 489, gaan uit van dezelfde veronderstelling: dat AI-systemen randgevallen zullen aanpakken. Deskundigen en wetgevers zagen functionaliteitsproblemen die ervoor zorgden dat gesprekken stokten, en gebruikers stelden emotionele, medische of belangrijke vragen in contexten waar het systeem niet voor was ontworpen.
Statisch beleid dat maanden van tevoren wordt geschreven, dekt niet alle scenario’s. Dus in plaats van conversatie-AI te verbieden, is de aanpak van Californië pragmatischer. Als een AI-systeem beslissingen beïnvloedt of een emotionele band met gebruikers opbouwt, moet het over waarborgen beschikken die in de productie kunnen worden gehandhaafd, en niet alleen in de documentatie. En dit is het gebied waarop veel organisaties het minst voorbereid zijn.
AB 489: Wanneer AI klinkt als een dokter
AB 489 richt zich op een ander risico: AI-systemen die medische expertise impliceren zonder deze daadwerkelijk te hebben. Veel gezondheids- en fitnesschatbots beweren niet expliciet dat ze artsen zijn. In plaats daarvan vertrouwen ze op een toon, terminologie of ontwerpkenmerken die klinisch en gezaghebbend aanvoelen. Voor gebruikers zijn deze verschillen vaak onzichtbaar of onbegrijpelijk.
Vanaf 1 januari verbiedt AB 489 AI-systemen om titels, taalgebruik of andere representaties te gebruiken die gelicenseerde medische expertise suggereren, tenzij er daadwerkelijk sprake is van dergelijke expertise.
Het omschrijven van uitkomsten als ‘door artsen beoordeeld’ of ‘door artsen geleid’ zonder feitelijke ondersteuning kan een overtreding vormen. Zelfs kleine gebaren die gebruikers kunnen misleiden, kunnen als een overtreding worden beschouwd, waarbij de handhaving zich uitstrekt tot professionele vergunningverlenende instanties. Voor teams die patiëntgerichte of gezondheidsgerelateerde AI bouwen, creëert dit een bekende technische uitdaging: het ontwikkelen van technologie die onderscheid maakt tussen informatief en nuttig versus gezaghebbend. En nu, onder AB 489, is die lijn van belang.
VINDEN: Hier zijn vier AI-technologietrends om in 2026 in de gaten te houden.
SB 243: Wanneer chatbots metgezellen worden
SB 243, ondertekend in oktober 2025, richt zich op wat wetgevers ‘companion AI’ noemen, of systemen die zijn ontworpen om gebruikers in de loop van de tijd te betrekken in plaats van een enkele transactionele vraag te beantwoorden. Dit systeem kan volhardend, responsief en emotioneel afgestemd aanvoelen. Na verloop van tijd kunnen gebruikers het niet meer als een hulpmiddel beschouwen en het als een aanwezigheid gaan beschouwen. Dit is wat SB 243 probeert aan te pakken.
Deze wet stelt drie belangrijke verwachtingen.
Ten eerste moet de openbaarmaking van AI voortdurend plaatsvinden, en niet alleen maar lippendienst. Als een redelijk mens kan geloven dat hij of zij met een mens communiceert, moet het systeem duidelijk onthullen dat het een AI is, niet slechts één keer, maar herhaaldelijk in de loop van een langer gesprek. Voor minderjarigen gaat de wet verder en vereist dat zij er regelmatig aan worden herinnerd en worden aangemoedigd om pauzes te nemen, waarbij expliciet wordt beoogd te stoppen met duiken voordat het verslavend wordt.
Ten tweede gaat de wet ervan uit dat sommige gesprekken serieus zullen zijn. Wanneer gebruikers zelfmoordgedachten of intenties tot zelfbeschadiging uiten, wordt van het systeem verwacht dat het dergelijke veranderingen herkent en ingrijpt. Dit betekent het stoppen van schadelijke gesprekspatronen, het uitlokken van vooraf bepaalde reacties en het verwijzen van gebruikers naar echte crisisondersteuning. Deze protocollen moeten worden gedocumenteerd, in de praktijk geïmplementeerd en gerapporteerd via de vereiste openbaarmakingen.
Ten derde stopt de verantwoordelijkheid niet bij de lancering. Vanaf 2027 moeten exploitanten rapporteren hoe vaak deze veiligheidsmaatregelen worden genomen en hoe deze in de praktijk presteren. SB 243 introduceert ook een particulier actierecht, waardoor het risico dat het systeem onder druk faalt aanzienlijk toeneemt.
De boodschap van dit bestuur is duidelijk: goede bedoelingen zijn niet voldoende als AI op het verkeerde moment het verkeerde zegt.
Klik op onderstaande banner te registreren Gezondheidstechnologiewekelijkse nieuwsbrief.
