Originele versie van dit verhaal verscheen erin Kuanta-tijdschrift.
Welke van de talloze vermogens die mensen bezitten, zijn uniek voor de mens? Taal is in ieder geval sinds Aristoteles een leidende kandidaat geweest, die schreef dat mensen ‘taaldieren’ zijn. Hoewel grote taalmodellen zoals ChatGPT oppervlakkig gewone spraak repliceren, willen onderzoekers weten of er bepaalde aspecten van de menselijke taal zijn die ongeëvenaard zijn door andere communicatiesystemen voor dieren of kunstmatig intelligente apparaten.
In het bijzonder hebben onderzoekers onderzocht in hoeverre taalmodellen kunnen redeneren over taal zelf. Voor sommige taalgemeenschappen zijn taalmodellen dat niet alleen Niet doen hebben redeneervermogen, zij Kan niet. Deze visie werd in 2023 samengevat door Noam Chomsky, een vooraanstaand taalkundige, en twee co-auteurs. schrijf in New York Times dat “juiste taalverklaringen complex zijn en niet alleen kunnen worden geleerd door gebruik te maken van big data.” AI-modellen zijn weliswaar bedreven in het gebruik van taal, zeggen onderzoekers, maar ze zijn niet in staat taal op een geavanceerde manier te analyseren.
Die opvatting is onlangs in twijfel getrokken papier door Gasper Begineen taalkundige aan de Universiteit van Californië, Berkeley; Maximiliaan Dabkowskidie onlangs een doctoraat in de taalkunde behaalde aan Berkeley; En Ryan Rhodos van de Rutgers Universiteit. De onderzoekers hebben een aantal grote taalmodellen, oftewel LLM’s, aan een reeks taalkundige tests onderworpen, waaronder in één geval de vraag aan de LLM’s om de regels van een kunstmatige taal te generaliseren. Hoewel de meeste LLM’s er niet in slagen taalkundige regels te ontcijferen zoals mensen dat kunnen, beschikt één LLM over indrukwekkende capaciteiten die de verwachtingen ver overtreffen. Hij is in staat taal op vrijwel dezelfde manier te analyseren als afgestudeerde studenten in de taalkunde: zinnen in diagramvorm brengen, meerdere dubbelzinnige betekenissen oplossen en complexe taalkundige kenmerken zoals recursie exploiteren. Deze bevindingen, zo zei Beguš, “uitdagen ons begrip van wat AI kan doen.”
Het nieuwe werk komt op het juiste moment en ‘erg belangrijk’, zei hij Tom McCoyeen computationeel taalkundige aan de Yale Universiteit die niet bij dit onderzoek betrokken was. “Naarmate de samenleving afhankelijker wordt van deze technologieën, wordt het steeds belangrijker om te begrijpen waar deze technologieën kunnen slagen en waar ze kunnen falen.” Taalkundige analyse, zo voegt hij eraan toe, is een ideale test om te evalueren in hoeverre deze taalmodellen kunnen denken als mensen.
Oneindige complexiteit
Een van de uitdagingen bij het onderwerpen van een rigoureuze taalkundige test aan een taalmodel is ervoor te zorgen dat het model het antwoord niet al weet. Deze systemen zijn meestal getraind op grote hoeveelheden geschreven informatie – niet alleen meestal op internet, in tientallen of zelfs honderden talen, maar ook op zaken als taalboeken. In theorie kan het model de informatie die het tijdens de training heeft gekregen gemakkelijk onthouden en uitspugen.
Om dit te voorkomen, hebben Beguš en zijn collega’s een taaltest in vier delen gemaakt. In drie van de vier delen wordt het model gevraagd speciaal geconstrueerde zinnen te analyseren met behulp van boomdiagrammen, voor het eerst geïntroduceerd in Chomsky’s baanbrekende boek uit 1957, Syntactische structuur. Deze diagrammen splitsen zinnen op in zelfstandige naamwoorden en werkwoordzinnen en verdelen ze vervolgens in zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden, bijwoorden, voorzetsels, voegwoorden enzovoort.
Een deel van de test richt zich op recursie: het vermogen om zinsdelen in zinsdelen in te sluiten. “De lucht is blauw” is een eenvoudige Engelse zin. ‘Jane zei dat de lucht blauw was’ integreert de oorspronkelijke zin in een iets complexere zin. Belangrijk is dat dit recursieproces eeuwig kan doorgaan: “Maria vraagt zich af of Sam weet dat Omar hoorde dat Jane zei dat de lucht blauw was” is ook een grammaticaal correcte, maar lastige, recursieve zin.
