Elke dag stappen miljoenen mensen over naar een kunstmatige intelligentie chatbots zoals Claude, TweelingEn GPT-chat om vragen te stellen over hun lichamelijke gezondheid.
Ze weten misschien niet dat het vinden van het juiste antwoord moeilijker is dan het lijkt, hoe gezaghebbend de chatbot ook reageert.
Drie recente onderzoeken tonen aan dat grote taalmodellen niet zo betrouwbaar zijn als gebruikers verwachten.
Die ene studie het testen van het vermogen van chatbots om verkeerde informatie over gezondheid te detecteren mislukt vaker wel dan niet in bepaalde scenario’s. Een ander onderzoek werd uitgevoerd door enkele van dezelfde mensen onderzoekers ontdekten dat ChatGPT Healtheen gespecialiseerde gezondheids- en welzijnsdienst die in januari werd gelanceerd, waarbij meer dan de helft van de ingediende gevallen “ondergesorteerd” was, inclusief noodsituaties die onmiddellijke medische zorg vereisten.
“Ik denk dat consumenten een hoge mate van voorzichtigheid moeten betrachten, net zoals bij een extreme mate van voorzichtigheid,” vroeg Dr. Girish N. Nadkarni, internist en nefroloog bij de berg Sinaï, die co-auteur was van beide onderzoeken, de chatbot om gezondheidsadvies.
Het zal gebruikers misschien verbazen als ze horen dat chatbots gemakkelijk medische onderzoeken kunnen doorstaan, ook al hallucineren ze soms buiten de testomgeving. Maar recent onderzoek suggereert een complex en enigszins verborgen probleem. De manier waarop mensen omgaan met chatbots, en de manier waarop ze zijn ontworpen om experts tevreden te stellen, schept onzekerheid. Deze factoren zijn voor AI nooit een uitdaging geweest om te testen op medische vragen uit de leerboeken.
Als u een chatbot voor uw gezondheidsvragen wilt starten of blijven gebruiken, voert u deze door experts aanbevolen stappen uit wanneer u de prompt krijgt:
1. Test eerst het model met onjuiste informatie of onnauwkeurigheden.
Nadkarni, een gezondheids-AI-onderzoeker en directeur van het Hasso Plattner Institute for Digital Health op de berg Sinaï, zei dat het belangrijk is om chatbots te vragen naar bekende medische verkeerde informatie of leugens voordat ze specifieke gezondheidsvragen stellen.
Daag een chatbot bijvoorbeeld uit om commentaar te geven op een complottheorie over een vaccin, bijvoorbeeld of zij het ermee eens zijn dat er een COVID-19-vaccin zal worden toegediend. bevat een microchip om mensen te volgen.
Of moedig hem aan om te reageren op een iets uitdagender gezondheidscontroverse, zoals veiligheid van fluoride in drinkwater. Hoewel onderzoekers bewijs hebben gevonden dat zeer hoge niveaus van fluoride gevaarlijk kunnen zijn, zijn deskundigen het erover eens huidige standaardniveaus blijven veilig.
Het testen van chatbots met verkeerde informatie zal een duidelijke basis opleveren voor de potentiële nauwkeurigheid van andere reacties, zei Nadkarni.
Een nieuwe Mashable-serie, AI + Health, zal onderzoeken hoe kunstmatige intelligentie het medische en gezondheidslandschap verandert. We zullen leren hoe we AI kunnen gebruiken ontcijfer uw bloedonderzoekHoe houd uw gezondheidsgegevens veiligleer hoe twee vrouwen gebruiken AI om een gevaarlijke vorm van hartziekte op te sporenen nog veel meer.
Uit zijn recente onderzoek blijkt dat sommige algemene chatbots, waaronder ChatGPT, in veel scenario’s op inconsistente wijze verkeerde informatie detecteren. De mate van succes hangt af van de context, bijvoorbeeld of de informatie wordt gepresenteerd in een post op sociale media of in een medisch dossier. Ze falen ook vaak als ze met bepaalde logische fouten worden geconfronteerd.
Wanneer een bericht met verkeerde informatie bijvoorbeeld afkomstig lijkt te zijn van een arts, via echte aantekeningen uit het elektronische patiëntendossier, zal de chatbot de valse informatie waarschijnlijk missen.
Als de chatbot die u raadpleegt het eens is met een verklaring waarvan u weet dat deze geheel of gedeeltelijk onwaar is, zegt Nadkarni dat u zijn mening over uw persoonlijke gezondheidsvragen niet moet vragen.
2. Denk na over de signalen of informatie die u de chatbot kunt geven.
Toen Nadkarni en zijn collega’s eerder dit jaar ChatGPT Health testten, ontdekten ze dat de manier waarop gebruikers hun symptomen vormden de nauwkeurigheid van het model kon beïnvloeden.
Als de prompt bijvoorbeeld uitspraken over vrienden of familie bevat die de betreffende symptomen bagatelliseren, verschuiven de aanbevelingen van ChatGPT Health ook in die richting. In die gevallen was de kans elf keer groter dat de chatbot de patiënt niet naar de eerste hulp zou sturen, ook al duidden de symptomen op een levensbedreigende aandoening.
De resultaten worden gepubliceerd als een peer-reviewed voorlopig artikel in Natuurlijke geneeskunde.
Rapport over breekbare trends
OpenAI maakte bezwaar tegen de resultaten en voerde aan dat de onderzoeksmethoden niet representatief waren voor de manier waarop mensen ChatGPT gebruiken via meerdere chats, het delen van informatie en het beantwoorden van vervolgvragen. Karan Singhal, die het Health AI-team bij OpenAI leidt, vertelde Mashable in een verklaring dat zijn eigen benchmarks aantonen dat het GPT-5-model “noodgevallen bijna 99 procent van de tijd correct doorverwijst.”
Nadkarni zei dat hij het debat verwelkomde, maar dat de kritiek “het punt miste”. Hij zei dat hoewel ChatGPT Health afwijkingen correct identificeerde in de gepresenteerde gegevens, dit niet gebeurde.
“Het probleem is niet het ontbreken van informatie, maar eerder verkeerde conclusies, ook al zijn de gegevens correct”, vertelde Nadkarni aan Mashable.
Een aparte studie onlangs, ook gepubliceerd in Natuurlijke geneeskunde maar door een andere groep onderzoekers, willekeurig toegewezen aan 1.298 menselijke deelnemers om een vooraf gedefinieerde medische scenario’s naar de AI-chatbot (GPT-4o, Llama 3 en Command R+) of hun favoriete bron, inclusief Google.
Toen chatbots werden getest aan de hand van scenario’s, identificeerden ze in bijna 95 procent van de gevallen de omstandigheden correct. Maar zodra mensen vragen begonnen te stellen over het scenario, kon dezelfde chatbot in slechts een derde van de gevallen de toestand nauwkeurig vaststellen.
“Hoewel LLM alleen al een hoge vaardigheid had in de taak, was de combinatie van LLM en menselijke gebruikers niet beter dan de controlegroep in het beoordelen van de klinische scherpte en slechter in het identificeren van relevante aandoeningen”, schreven de onderzoekers.
Veel deelnemers hadden geen goed inzicht in de ernst van de symptomen, wat bijdroeg aan het faalpercentage.
3. Bedenk of je een beginner of een expert bent.
Dit is het soort dynamiek dat optreedt Dr. Robert Watcher houd dat in gedachten als hij bedenkt hoe mensen chatbots vragen om medische vragen te beantwoorden.
Wachter, professor en voorzitter van de afdeling Geneeskunde aan de Universiteit van Californië, San Francisco, maakt regelmatig gebruik van OpenEvidence, een AI-chatbot ontworpen voor artsen en gezondheidswerkers. Hij stelt dat AI-antwoorden op complexe medische vragen meestal snel, nauwkeurig en nuttig zijn.
Guardian, schrijver “De grote sprong: hoe AI de gezondheidszorg transformeert en wat het betekent voor onze toekomst,” is ook van mening dat algemene en gezondheidsspecifieke chatbots zeer nuttig kunnen zijn voor de gemiddelde patiënt in vergelijking met een eenvoudige Google-zoekopdracht.
Maar hij realiseerde zich ook dat hij de AI-chatbot benaderde als een expert met 40 jaar medische ervaring en snel de meest relevante details kon identificeren om in het verzoek op te nemen.
“Een patiënt heeft simpelweg niet het vermogen om dat te doen – om de belangrijke feiten te kennen van alle dingen die kunnen gebeuren in termen van de symptomen die ze nu ervaren, in termen van hun verleden, in termen van de medicijnen die ze gebruiken,” zei hij. “Dus wat ze in de bestelling hebben gezet, is misschien niet helemaal correct.”
Wachter zei dat recent onderzoek duidelijke risico’s voor patiënten laat zien als ze niet weten welke informatie ze moeten gebruiken en als ze chatbotreacties verkeerd interpreteren.
Hij is echter van mening dat AI-chatbots beter zijn dan niets, zolang patiënten zich maar concentreren op het invoeren van de relevante gezondheidsgeschiedenis en huidige symptomen, en deze gebruiken met een “voorzichtige aankoop”-houding.
Wachter zei in het bijzonder dat hij een chatbot niet zou vertrouwen bij symptomen die op een levensbedreigende noodsituatie zouden kunnen duiden, zoals hevige pijn op de borst, kortademigheid of verwarring, of zwakte aan één kant van het lichaam.
4. Vraag om referenties en controleer de antwoorden.
Wanneer de chatbot antwoord geeft, stelt Nadkarni voor om de tijd te nemen om referenties te vragen voor de verstrekte informatie.
Alleen het scannen van een lijst met links is niet voldoende. Nadkarni raadt aan op de link te klikken om de bron te evalueren. Als een chatbot zijn antwoorden baseert op ‘verdachte Reddit-berichten’, zegt Nadkarni dat deze mogelijk niet betrouwbaar is.
Aan de andere kant, als referenties u verwijzen naar een verifieerbare medische organisatie, zoals de American Medical Association, zal dat geruststellend zijn.
Nadkarni erkent dat, hoewel individuele gebruikers het misschien niet eens zijn met de standpunten van gezondheidsorganisaties of autoriteiten, de informatie doorgaans de medische consensus weerspiegelt, gebaseerd op het beste huidige bewijsmateriaal.
Wachter raadt ook aan om een tweede AI-chatbot die u vertrouwt te vragen dezelfde gezondheidsinformatie te overwegen die u met de eerste chatbot hebt gedeeld, om te zien of de conclusies dezelfde zijn. Dit kan een goede indicatie zijn dat het gegeven antwoord nuttig en betrouwbaar is.
Hoewel Wachter enthousiast is over AI-chatbots in de gezondheidszorg, is hij van mening dat uit recent onderzoek blijkt dat er nog veel ruimte voor verbetering is. Hij stelt AI-tools voor die meer als ‘goede artsen’ fungeren en gebruikers in gesprek brengen om alle relevante informatie te verkrijgen voordat een diagnose of actie wordt voorgesteld, zoals het innemen van medicijnen of naar de eerste hulp gaan.
“Ik denk niet dat de tools die voor patiënten kunnen worden gebruikt zo goed zullen werken als zou moeten”, zei hij over de huidige AI-chatbots die gezondheidsvragen beantwoorden. “Uiteindelijk zullen de hulpmiddelen voor patiënten meer (arts-achtig) zijn dan de hulpmiddelen die vandaag de dag bestaan.”
__________________________________________________________________________________________________
De informatie in dit artikel is uitsluitend bedoeld voor educatieve en informatieve doeleinden en is niet bedoeld als gezondheids- of medisch advies. Raadpleeg altijd een arts of een andere gekwalificeerde zorgverlener als u vragen heeft over een medische aandoening of gezondheidsdoelen.
Openbaarmaking: Ziff Davis, het moederbedrijf van Mashable, spande in april 2025 een rechtszaak aan tegen OpenAI en beschuldigde het bedrijf ervan het auteursrecht van Ziff Davis te schenden op het gebied van de training en werking van zijn AI-systeem.
