De taak ziet er briljant uit. Het begrip is dat niet.
Toen besloot een professor aan de businessschool van de NYU terug te vechten AI-ondersteunde cursussen met een AI-aangedreven mondeling examen.
Panos Ipeirotis, een professor aan de Stern School of Business van NYU die data science doceert, schreef in een vorige week gepubliceerde blogpost dat hij zich zorgen maakte over de opdrachten van studenten die leken op ‘McKinsey-memo’s’, maar die niet echt begrepen werden.
Toen hij leerlingen in de klas opriep en hen vroeg hun mening te verdedigen, hadden velen daar moeite mee.
“Als je je werk niet rechtstreeks kunt verdedigen, meet het geschreven artefact niet wat je denkt dat het meet”, schreef Ipeirotis.
‘Vuur met vuur bestrijden’
Om dit tegen te gaan, heeft hij mondelinge examens nieuw leven ingeblazen en AI-agenten gevraagd deze op grote schaal af te nemen, in een poging ‘vuur met vuur te bestrijden’.
“We hebben beoordelingen nodig om te evolueren naar formaten die real-time begrip, besluitvorming en redenering waarderen”, aldus Ipeirotis.
“Vroeger was het mondelinge examen standaard totdat het niet meer kon worden geschaald”, voegde hij eraan toe. “Nu maakt AI ze weer uitbreidbaar.”
In een blogpost waarin het experiment werd beschreven, zei Ipeirotis dat hij en zijn collega’s een AI-tester hebben gebouwd met behulp van de conversatiespraaktechnologie van ElevenLabs.
“Schrijf gewoon een commando waarin je uitlegt wat de agent aan de student moet vragen, en je bent klaar,” zei hij, eraan toevoegend dat de installatie een paar minuten duurt.
Het mondeling examen bestaat uit twee delen. Eerst ondervraagt de AI-agent studenten over hun grote projecten, waarbij ze hun beslissingen en redeneringen onderzoeken. Vervolgens koos hij een van de casussen die in de klas werden besproken en moedigde de leerlingen aan er direct over na te denken.
Gedurende negen dagen beoordeelde het systeem 36 studenten. Elke sessie duurde ongeveer 25 minuten, met een totale computerkost van ongeveer $ 15 voor 36 studenten. Door mensen afgenomen mondelinge examens kunnen honderden dollars kosten vergeleken met de tarieven voor onderwijsassistenten, schreef Ipeirotis.
Ipeirotis gebruikt ook AI om examens te beoordelen. Drie AI-modellen – Claude, Gemini en ChatGPT – beoordelen elk transcript afzonderlijk. Vervolgens beoordelen ze elkaars evaluaties, herzien ze hun scores en stellen ze een eindcijfer vast, waarbij Claude optreedt als de “voorzitter” om de beslissingen samen te vatten.
Ipeirotis zegt dat “LLM-besturen” consistentere beoordelingen bieden dan mensen, en “strenger, maar eerlijker” zijn.
“De feedback is beter dan enig mens zou kunnen produceren”, schreef hij, eraan toevoegend dat de AI-analyse ook hiaten aan het licht bracht in de manier waarop het materiaal werd onderwezen.
Echter, studenten zijn verdeeld. Slechts een kleine minderheid gaf de voorkeur aan de mondelinge examens van AI, en velen vonden deze stressvoller dan schriftelijke examens – hoewel ze erkenden dat ze een betere maatstaf waren voor het begrip van de echte wereld.
Toch zei Ipeirotis dat het mondelinge examen laat zien ‘hoe leren zou moeten werken’.
“Hoe meer je oefent, hoe betere resultaten je krijgt”, schrijft Ipeirotis.
AI gebruiken bij examens
De blogpost van Ipeirotis komt terwijl universiteiten worstelen met de manier waarop ze de tests moeten afnemen studenten in het AI-tijdperk.
Een artikel dat in september werd gepubliceerd in het academische tijdschrift ‘Assessment & Evaluation in Higher Education’ zei dat AI is veranderd beoordeling van studenten een ‘slecht probleem’ te zijn.
De auteurs van dit onderzoek interviewden eind 2024 twintig unit-leerstoelen aan een grote universiteit in Australië. Via Zoom-interviews van een uur ontdekten ze dat docenten overweldigd werden door zwaardere werkdrukverwarring rond het gebruik van AI, en een gebrek aan overeenstemming over hoe een AI-resistente beoordeling eruit ziet.
Sommige faculteitsleden vertelden onderzoekers dat AI moet worden behandeld als een hulpmiddel dat studenten moeten beheersen. Anderen beschouwen het als academische oneerlijkheid die het leren uitholt. Velen gaven toe dat ze niet zeker wisten hoe ze verder moesten gaan.
In mei, LinkedIn-medeoprichter Reid Hoffman zei in een aflevering van zijn podcast ‘Possible’ dat AI het voor studenten gemakkelijker zou kunnen maken om traditionele beoordelingsformaten, zoals essays, te gebruiken. Universiteiten zullen de manier waarop ze leren evalueren moeten heroverwegen, zei hij, eraan toevoegend dat studenten binnenkort “AI-testers” zullen verwachten.
Hoffman zei dat mondelinge examens minder ruimte laten voor sluiproutes, waardoor studenten echt begrip moeten tonen.
