De samenleving en instellingen worstelen met de gevolgen hiervan AI geschreven tekst. Leraren willen weten of het werk van leerlingen hun eigen begrip weerspiegelt; consumenten willen weten of een advertentie door een mens of een machine is geschreven.
Regels schrijven voor het gebruik van door AI gegenereerde inhoud reguleren relatief eenvoudig. De handhaving is afhankelijk van iets veel moeilijkers: detecteert betrouwbaar of een tekst is gegenereerd door kunstmatige intelligentie.
Verschillende onderzoeken hebben onderzocht of mensen door AI gegenereerde tekst kunnen detecteren. Het is bijvoorbeeld aangetoond dat mensen die op grote schaal AI-schrijfhulpmiddelen gebruiken, door AI geschreven tekst nauwkeurig kunnen detecteren. Een panel van menselijke beoordelaars kan zelfs beter presteren dan geautomatiseerde tools gecontroleerde instelling. Deze vaardigheden zijn echter niet wijd verspreid en individuele beoordelingen kunnen inconsistent zijn. Daarom wenden instellingen die consistentie op schaal nodig hebben zich tot geautomatiseerde AI-tekstdetectie.
Probleem met AI-tekstdetectie
De basisworkflow achter AI-tekstdetectie is eenvoudig uit te leggen. Begin met een stukje tekst waarvan je de herkomst wilt achterhalen. Pas dan een detectietool toe, vaak het AI-systeem zelf, dat de tekst analyseert en een score oplevert, meestal uitgedrukt in een waarschijnlijkheid, die aangeeft hoe waarschijnlijk het is dat de tekst door de AI is gegenereerd. Gebruik deze scores om beslissingen verderop in de keten te onderbouwen, bijvoorbeeld of er sancties moeten worden opgelegd voor regelovertredingen.
Deze eenvoudige beschrijving verbergt echter veel complexiteiten. Hierbij wordt voorbijgegaan aan een aantal achtergrondaannames die expliciet gemaakt moeten worden. Weet jij welke AI-tools kunnen worden gebruikt om tekst te genereren? Welke toegang heeft u tot deze tools? Kun je het zelf uitvoeren of kijken hoe het werkt? Hoeveel teksten heb je? Heeft u een enkele tekst of een verzameling geschriften die in de loop van de tijd zijn verzameld? Wat AI-detectietools u wel en niet kunnen vertellen, hangt grotendeels af van de antwoorden op vragen als deze.
Er is nog een extra belangrijk detail: heeft het AI-systeem dat de tekst genereerde de bladwijzers opzettelijk ingebed, zodat ze later gemakkelijker te detecteren zijn?
Deze indicatoren staan bekend als watermerken. Tekst met watermerk het lijkt op gewone tekst, maar de bladwijzers zijn zo subtiel ingebed dat ze niet in één oogopslag zichtbaar zijn. Iemand met de juiste sleutel kan vervolgens controleren op de aanwezigheid van de marker en verifiëren dat de tekst afkomstig is van de bron die door de AI is voorzien van een watermerk. Deze aanpak is echter afhankelijk van de medewerking van AI-leveranciers en is niet altijd beschikbaar.
