New York is de laatste staat die wetgeving overweegt die dit verbiedt AI chatbots kunnen geen advies geven dat normaal gesproken door een erkende professional zou worden gegeven, zoals medisch of juridisch advies. Het wetsvoorstel zou mensen die zich door dergelijke suggesties geschaad voelen ook de mogelijkheid bieden chatbotoperators aan te klagen.
Senaatswetsvoorstel S7263geïntroduceerd door de Democratische senator Kristen Gonzalez, werd vorige week met 6-0 gestemd door de technologiecommissie en gaat nu door naar de senaat. Interessant genoeg vereist de wet dat operators hun chatbots duidelijk als AI bestempelen, maar bepaalt dat een dergelijk label niet voldoende is om hen te beschermen tegen rechtszaken onder de wet.
Deze voorstellen weerspiegelen een groeiende verschuiving in de manier waarop beleidsmakers over AI denken. Hoewel de aanvankelijke inspanningen grotendeels gericht waren op transparantie, beginnen wetgevers iets belangrijkers te onderzoeken: of bedrijven juridisch verantwoordelijk moeten worden gehouden wanneer AI-systemen advies geven dat echte schade veroorzaakt.
Het wetsvoorstel geldt voor chatbots die advies geven op het gebied van geneeskunde, recht, tandheelkunde, diergeneeskunde, fysiotherapie, farmacie, verpleegkunde, podotherapie, optometrie, techniek, landmeetkunde, geologie, architectuur, psychologie en maatschappelijk werk.
New York handelt niet alleen. Andere staten hebben soortgelijke wetten aangenomen of overwegen deze, hoewel ze qua reikwijdte en handhavingsmethoden variëren, en ze richten zich doorgaans primair op de gezondheidszorg:
- Californië AB489aangenomen in 2025, doet iets soortgelijks, maar met een beperktere reikwijdte, en richt zich op AI-systemen die hun informatie verkeerd voorstellen als afkomstig van erkende gezondheidswerkers. Maar AB 489 vertrouwt voor de handhaving op de staatsgezondheidszorgraden en biedt geen particulier actierecht (civiele rechtszaak) voor juridische hulp.
- Nieuwe wet van Nevada, AB406die afgelopen juli van kracht werd, verbiedt reclame en de werking van AI-systemen die zijn ontworpen om professionele geestelijke gezondheidszorg en gedragstherapie te bieden. De wet beperkt ook de manier waarop gelicentieerde professionals AI in hun praktijken kunnen gebruiken.
- Afgelopen augustus overleed Illinois HB 1806die erkende therapeuten in die staten verbiedt AI te gebruiken om behandelbeslissingen te nemen of met cliënten te communiceren. De wet verbiedt technologiebedrijven ook om reclame te maken of door AI aangedreven therapiediensten aan te bieden in de staat zonder de tussenkomst van een erkende professional.
- Utah heeft een soortgelijke wet aangenomen, HB 452dat beperkingen en openbaarmakingsvereisten oplegt aan chatbots die alternatieven lijken te bieden voor therapie of advies in de menselijke geestelijke gezondheidszorg. De wet treedt in werking in 2025.
Professionele medische groepen beginnen ook de risico’s in overweging te nemen. De American Medical Association roept niet op tot een verbod op AI-chatbots die gezondheidsinformatie verspreiden, maar is wel bezorgd dat consumentenadvies van LLM’s verkeerd of misleidend kan zijn. “Houd er rekening mee dat tools zoals ChatGPT een ongebruikelijke neiging hebben getoond om referenties te vervalsen die in antwoord op deze vragen zijn aangehaald”, aldus de AMA in een verklaring. beleidsdocumenteraan toevoegend dat AI-instrumenten het vermogen hebben aangetoond om valse wetenschappelijke of medische literatuur te genereren ter ondersteuning van gezondheidsadvies.
Een bijzonder gevoelig gebied is het advies op het gebied van de geestelijke gezondheidszorg. Advies op het gebied van de geestelijke gezondheidszorg is een bijzonder gevoelig gebied, misschien omdat veel chatbotgebruikers, vooral jonge gebruikers, AI gebruiken als adviseurs of therapeuten. A JAMA-netwerkonderzoek 2025 ontdekte dat 13% van alle respondenten chatbots gebruikte om advies over geestelijke gezondheid te krijgen, en 22% van de jongeren tussen 18 en 21 jaar deed dat.
AI-bedrijven hebben zich gerealiseerd dat er een grote en groeiende markt is voor AI-chatbots voor de geestelijke gezondheidszorg, deels omdat veel consumenten moeite hebben met het vinden van betaalbare therapeuten. Voor sommige consumenten is het argument dat toegang krijgen tot advies over geestelijke gezondheid via een chatbot beter is dan helemaal geen advies krijgen.
De American Psychological Association zegt dat chatbots misschien wel erger zijn dan niets. Dit komt door de neiging van AI-modellen om op een kruiperige manier met mensen om te gaan. Groep zei hij in een presentatie tegen de Federal Trade Commission dat “AI-chatbots die zich ‘vermommen’ als therapeuten, maar geprogrammeerd zijn om het denken van gebruikers te versterken in plaats van uit te dagen, kwetsbare mensen kunnen aanmoedigen om zichzelf of anderen schade toe te brengen.”
Senator Gonzalez moet misschien uitleggen waarom zijn wetsvoorstel S7263 zich richt op chatbots als bron van juridische of medische informatie, maar niet op traditionele zoekmachines. Hij zou een experimenteel onderzoek uit 2025 kunnen aanhalen waaruit blijkt dat mensen “buitensporig vertrouwen“AI. (Hij weigerde commentaar te geven op dit verhaal.) De onderzoekers schreven dat AI-chatbots vaak overtuigender en betrouwbaarder klonken dan de resultaten van zoekmachines, zelfs als die resultaten verkeerd waren, buiten het onderwerp vielen of geen context hadden. Uit het onderzoek bleek ook dat deelnemers de antwoorden van de AI niet konden onderscheiden van die van echte artsen, en de antwoorden van de AI vaak als betrouwbaarder en completer beoordeelden.
Nog een studie door Oxford en MLCommons waarbij bijna 1.300 deelnemers betrokken waren, ontdekten dat het gebruik van AI-modellen om symptoomscenario’s te evalueren en te analyseren resulteerde in gezondheidsbeslissingen (“moet ik aspirine nemen? Moet ik naar de Eerste Hulp?”) die niet beter waren dan beslissingen gebaseerd op persoonlijke kennis of informatie verkregen uit traditionele zoekopdrachten op internet. Uit het onderzoek bleek ook dat gebruikers vaak niet weten welke details de AI nodig heeft om een antwoord te geven, en dat de output van de AI vaak correcte en onjuiste aanbevelingen combineert.
De AMA zei dat ze graag zou zien dat de Federal Trade Commission AI-chatbots reguleert die gezondheidsinformatie verspreiden, maar is van mening dat het agentschap momenteel niet over de middelen beschikt om die rol op zich te nemen. In plaats daarvan vroegen ze de technologiebedrijven achter de chatbots om voortdurend de nauwkeurigheid van hun modellen te beoordelen en gebruikers een gemakkelijke manier te bieden om te rapporteren wanneer de chatbots onnauwkeurige gezondheidsinformatie produceren.
