HealthBench: de medische AI-benchmarkscores van OpenAI uitgelegd – en wat ze betekenen voor klinische AI
OpenAI beschrijft HealthBench als “een nieuwe benchmark die is ontworpen om de mogelijkheden van AI-systemen voor de gezondheid beter te meten.” Het levert een score op op basis van meer dan 48.000 door artsen geschreven criteria die relevant zijn voor het gesprek. Deze gesprekken kunnen vallen in 1 van de 7 categorieën die HealthBench heeft gedefinieerd, variërend van noodverwijzingen en taken op het gebied van gezondheidsgegevens tot het vragen om context of het identificeren van onzekerheid. Bovendien wordt elk criterium verder beoordeeld op basis van factoren zoals nauwkeurigheid, duidelijkheid en volledigheid, inclusief aanbevelingen voor de volgende beste actie.
In een onderzoekspaper bij de HealthBench-release rapporteerde OpenAI “gestage aanvankelijke vooruitgang… en snellere recente verbeteringen” in de modelprestaties en beveiliging.
Onafhankelijk onderzoek is diverser. Eén artikel zei dat HealthBench ‘betrouwbaar en consistent was met de beoordelingen van artsen’, maar merkte op dat het ‘real-time klinische betrokkenheidsbeoordelingen of stroomafwaartse klinische uitkomstmaten’ ontbeerde. Het tweede artikel beschrijft HealthBench als “een aanzienlijke vooruitgang in de benchmarking van medische AI”, maar wijst op het gebrek aan representatie van zeldzame ziekten en het onvermogen om longitudinale workflows te beoordelen, “waardoor het inzicht in de impact van AI in het hele zorgcontinuüm wordt beperkt.”
Ghane zei dat het belangrijk is om te onthouden dat benchmarks zoals HealthBench geen directe vervanging zijn voor bewijsmateriaal uit de echte wereld. “Scores weerspiegelen de prestaties in een gesimuleerde omgeving en moeten worden geïnterpreteerd in combinatie met lokale tests in de echte wereld, workflowintegratie en veiligheid”, zei hij. “Zorgsystemen mogen bij implementatiebeslissingen niet uitsluitend afhankelijk zijn van benchmarks; gezondheidszorgsystemen moeten een van de vele maatstaven zijn die worden gebruikt om AI-aanbestedingen te informeren.”
LEES MEER: Maak gebruik van data en AI voor betere resultaten in de gezondheidszorg.
Overwegingen bij de implementatie van ondernemingen: Claude, Gemini en OpenAI
Ondertussen heeft elk van de grote LLM-spelers de afgelopen maanden een reeks door AI aangedreven producten uitgebracht voor ziekenhuizen en gezondheidszorgsystemen. Elk aanbod is iets anders, en het is belangrijk dat organisaties deze verschillen begrijpen bij het evalueren van AI-tools op ondernemingsniveau. “Het belangrijkste is hoe de oplossing werkt voor uw unieke patiënt en hoe u context, gegevens en workflow gebruikt”, aldus Ghane.
Claude voor de gezondheidszorg. Claude kan putten uit ‘industriestandaardsystemen en databases’, maar ook uit de National Provider Identifier Registry, de ICD-10-codebasis en databases voor het bepalen van de dekking. Organisaties kunnen AI-agents gebruiken voor voorafgaande autorisatie en gegevensuitwisseling Rapid Healthcare Interoperability Resources, dat mogelijkheden biedt voor het automatiseren van verschillende administratieve processen.
Tweeling 3.0. Aashima Gupta, mondiaal directeur gezondheidszorg voor Google Cloud, verklaarde in een LinkedIn-post dat Gemini’s onderscheidende factor multimodaliteit is, of het vermogen om “tekst, stem, afbeeldingen, golfvormen, scans, genomische gegevens, klinische richtlijnen en operationele gegevens” samen te brengen. Dit kan worden gebruikt ter ondersteuning van aanbevelingen voor de volgende beste actie. Gemini 3.0 bevat ook AI-agents om workflows in bedrijfsapplicaties te automatiseren.
Klik op onderstaande banner om te registreren Gezondheidstechnologiewekelijkse nieuwsbrief.
