Er is slecht nieuws voor degenen die digitale enquêtes gebruiken om het onlinegedrag van mensen te begrijpen: we kunnen mogelijk niet langer bepalen of mensen er wel of niet op reageren, suggereert een recent onderzoek – en er lijkt geen manier om het probleem te omzeilen.
Dit betekent dat alle online zoekopdrachten vatbaar kunnen zijn voor een verkeerde voorstelling van de werkelijke mening van mensen. Dit kan een impact hebben op alles wat in de categorie ‘informatieoorlog’ valt, van opiniepeilingen, desinformatie tot fraude. Niet-menselijke enquêterespondenten kunnen over het geheel genomen van alles beïnvloeden, van de smaak en prijs van een pakje kauwgom tot meer schadelijke zaken, zoals of iemand wel of niet overheidsuitkeringen kan krijgen – en wat die dingen zouden moeten zijn.
Het probleem is tweeledig: 1) mensen kunnen geen onderscheid maken tussen reacties van mensen en bots, en 2) wanneer automatisering acties orkestreert op basis van deze reacties, is er geen manier om die peilingen te gebruiken en bescherming te bieden tegen potentieel gevaarlijke problemen die voortvloeien uit deze niet-onderscheidbaarheid.
Studie door Sean J. Westwood uit Dartmouth in “PNAS-dagboek van Nationale Academie van Wetenschappengerechtigd “De potentiële existentiële bedreiging van grote taalmodellen voor online enquêteonderzoekeen bewering die laat zien hoe we niet langer kunnen geloven dat we bij enquêteonderzoek niet langer kunnen aannemen dat ‘een coherente reactie een menselijke reactie is’. Westwood creëerde een autonome agent die in staat was om “enquêtereacties van hoge kwaliteit te genereren die de rationale en samenhang aantonen die van menselijke reacties worden verwacht.”
Om dit te doen ontwierp Westwood een ‘model-agnostisch’ systeem dat is ontworpen voor redeneren voor algemene doeleinden en dat zich richt op een architectuur met twee lagen: een die fungeert als interface voor het enquêteplatform en verschillende soorten vragen kan verwerken bij het extraheren van relevante inhoud, en een andere ‘kernlaag’ die een ‘redeneermachine’ gebruikt (zoals LLM). Wanneer een enquête wordt uitgevoerd, laadt de software van Westwood een ‘demografische persona’ die een geheugen van eerdere antwoorden kan opslaan en vervolgens de vragen verwerkt om ‘contextueel passende antwoorden’ als antwoorden te bieden.
Zodra de ‘redeneringsmachine’ tot een antwoord komt, spuugt de interface in de eerste laag een geëmuleerd menselijk antwoord uit. Het systeem is ook “ontworpen om tools te bieden om antibotmaatregelen zoals reCAPTCHA te omzeilen.” Het Westwood-systeem heeft niet tot doel “de verdeling van een totale populatie perfect te imiteren… maar om individuele enquête-invullingen te produceren (die) een redelijke onderzoeker als redelijk zou beschouwen.”
De onderzoeksresultaten van Westwood suggereren dat digitale enquêtes wel of niet echt de mening van mensen weerspiegelen. Het is evengoed mogelijk dat enquêtes weerspiegelen wat de LLM aanneemt dat ‘menselijk gedrag’ is. Volgende mens of AI het nemen van beslissingen op basis van die resultaten kan afhankelijk zijn van de ‘mening’ van menselijke simulaties.
Persona’s
Het creëren van synthetische mensen is geen nieuw concept. Romans, visuele media, drama en adverteerders gebruiken allerlei creatieve ideeën om verschillende mensen af te beelden en hun verhalen te vertellen. In ontwerp, het idee “Persona’s” wordt al tientallen jaren gebruikt marketing en gebruikersinterfaceontwerp als een kosten- en tijdbesparende trend. Persona’s zijn fictieve samenstellingen van mensen en worden weergegeven in categorieën als ‘Voetbalmoeder’, ‘Sixpack Joe’, ‘Technofobe oma’ of ‘Business Executive’. Persona’s bevatten niet alleen vooroordelen, maar zijn ook projecties van wat de mensen die ze hebben gemaakt dachten en welke groepen ze zouden kunnen vertegenwoordigen.
Persona’s zijn een verborgen probleem in design en marketing, juist omdat ze samengesteld zijn uit echte of ingebeelde mensen, en niet uit echte mensen. De waarden die eraan worden toegeschreven, worden geconstrueerd door de interpretaties van anderen. Als je vertrouwt op persona’s en niet op mensen, is het onmogelijk om de ware context te kennen van hoe een product of dienst feitelijk wordt gebruikt, omdat de persona wordt geprojecteerd door de maker ervan, en niet door een echte persoon in een echte situatie.
Daarom worden problemen bij het gebruik van Persona’s bij het ontwerpen van producten en diensten vaak pas ontdekt als het product of de dienst op de markt komt en faalt, of andere onvoorziene problemen veroorzaakt. Dit kan nog erger worden wanneer deze door mensen gegenereerde Persona’s worden vervangen door AI/LLM ChatBot-persona’s met alle vooroordelen die ze introduceren, inclusief vuil water invloed of hallucinaties wat hun reacties nog bizarder of zelfs potentieel psychotischer kan maken.
Kwantiteit versus kwaliteit
Een deel van het grotere probleem van het niet begrijpen van de behoeften van mensen door middel van enquêtes begon toen het onderzoek verschoof naar het op computers gebaseerde verzamelen van statistische gegevens, ook bekend als kwantitatieve methoden, in plaats van contextuele vragen gebaseerd op gesprekken en sociale relaties met anderen, of kwalitatieve methoden. Toen Big Data online kwam, begonnen mensen kwantitatieve methoden te gebruiken, zoals online enquêtes, A/B-testen en andere technieken om het gedrag van klanten en gebruikers te begrijpen. Omdat machines snel resultaten kunnen verzamelen, lijkt kwantitatief onderzoek de industriestandaard te zijn geworden voor het begrijpen van mensen.
Dit is niet gemakkelijk het automatiseren van kwalitatieve methodenen het vervangen ervan door kwantitatieve methoden kan belangrijke context wegnemen. Sinds bijna een generatie is verstreken de wereld richt zich op computationele berekeningenHet is gemakkelijk om te vergeten dat kwalitatieve datamethoden – gevonden in de sociale wetenschappen zoals de antropologie – gebruik maken van contextuele onderzoeksinterviews met echte mensen om te begrijpen waarom mensen doen wat ze doen, in plaats van te proberen dit af te leiden uit numerieke antwoorden.
Kwalitatief onderzoek kan context bieden aan kwantitatieve gegevens en methoden die afhankelijk zijn van machines om goddelijke betekenis af te leiden. Ze kunnen ook verder gaan dan big data-methoden en zijn gebaseerd op relaties met echte mensen, waarbij verantwoording wordt afgelegd voor hun overtuigingen en meningen. Het proces van praten met echte mensen contextualiseert eerst de inhoud, wat resulteert in betere resultaten. Kwalitatieve methoden kunnen worden gekwantificeerd en berekend, maar kwantitatieve methoden kunnen niet gemakkelijk op brede schaal echt contextueel worden gemaakt.
Een van de verschillen tussen het gebruik van kwalitatieve en kwantitatieve methoden heeft betrekking op de transparantie en het begrijpen van de geldigheid van de reacties van mensen. In oudere, door de mens gemaakte persona’s waren er duidelijke aannames en hiaten: dit waren grove poppen en projecties. Maar wanneer mensen worden voortgebracht door chatbots/LLM’s die gebruik maken van een grote hoeveelheid kennis die uit grote hoeveelheden gegevens wordt gehaald, zullen er minder manieren zijn om feit van fictie te scheiden. Bij chatbots en LLM’s is de kunstmatige entiteit de schepper van de ‘persoon’, die mogelijk de respondent zou kunnen zijn aan die persoonen een van de vertalers de reactie van de nep-chatbotpersoonof geïnterpreteerd worden door een LLM. Dit kan gevaarlijk zijn, vooral als de resultaten van dit onverantwoorde onderzoek worden gebruikt voor zaken als politieke opiniepeilingen of politiewerk.
Het onderzoek van Westwood heeft aangetoond dat: “In plaats van te vertrouwen op fragiele, specifieke regels voor vragen, behouden synthetische respondenten een consistente persoonlijkheid door antwoorden te conditioneren op basis van initiële demografische profielen en een dynamisch geheugen van eerdere antwoorden. Hierdoor kunnen respondenten verschillende vragen op een intern coherente manier beantwoorden, waardoor plausibele, mensachtige patronen ontstaan …” Respondenten kunnen de context imiteren, maar deze niet creëren.
Terug naar de basis
Als GenAI enquêtes gaat afnemen, als respondenten gaat optreden en enquêtes gaat interpreteren, zullen we dan onderscheid kunnen maken tussen GenAI en echte mensen?
De volledig geautomatiseerde enquêtecyclus lijkt fictief, totdat we zien hoeveel mensen zelfs vandaag de dag al Chatbots/LLM gebruiken om delen van het enquêteproces te automatiseren. Iemand zou een persona kunnen creëren en deze vervolgens gebruiken om een door ‘AI’ ontworpen enquête te beantwoorden, en iemand anders zou dan een Chatbot gebruiken om toegang te krijgen tot de ‘AI’ om de resultaten te interpreteren. De cirkel rond maken zou een slechte zaak kunnen zijn: iemand zou dan AI kunnen gebruiken om de gecreëerde Chatbot, de Chatbot-antwoorden, te veranderen, en de “AI” interpreteert de antwoorden op de enquête in iets dat gevolgen heeft voor echte mensen die echte behoeften hebben in de echte wereld, maar is ontworpen voor nep-mensen met nep-behoeften in een nep-wereld.
Kwalitatief onderzoek is één weg vooruit. Dit stelt ons in staat echte mensen te leren kennen, hun antwoorden te valideren en de context uit te werken via methoden die elk antwoord dieper onderzoeken. Dit soort werk kan nog niet door AI worden gedaan, omdat de LLM momenteel antwoorden baseert op statistische woordmatching, die nog steeds niet is geperfectioneerd. Bots die menselijke antwoorden imiteren, zullen het soort gesimuleerde menselijke antwoorden imiteren, maar om te weten wat echte mensen denken en wat het voor hen betekent, moeten bedrijven misschien teruggaan naar dienst antropologen, die zijn opgeleid om kwalitatieve methoden te gebruiken om verbinding te maken met echte mensen.
Nu AI menselijke reacties op kwantitatieve onderzoeken ten onrechte kan nabootsen, staan degenen die geloven dat kwantitatieve methoden en AI de oplossing zijn voor het uitvoeren van nauwkeurig onderzoek op het punt een harde les te leren die helaas gevolgen voor ons allemaal zal hebben.
