Informatie op hoog niveau over het persoonlijke werk van studenten en medewerkers met behulp van ChatGPT Edu op sommige universiteiten kan worden gezien door duizenden collega’s in verschillende instellingen vanwege misverstanden over wat er wordt gedeeld, volgens onderzoekers van de Universiteit van Oxford die het probleem hebben geïdentificeerd.
Dit probleem heeft gevolgen voor de Codex Cloud Environment in ChatGPT Edu en onthult de namen en enkele metagegevens die verband houden met openbare en privé GitHub-repository’s die gebruikers binnen de universiteit hebben verbonden met hun ChatGPT Edu-accounts.
Er worden geen privécodes of repositorygegevens blootgesteld aan ongeautoriseerde gebruikers. Zichtbare metadata kunnen echter nog steeds een betekenisvol beeld van gebruikersactiviteit onthullen.
“Iedereen aan een universiteit, of in ieder geval een groot aantal mensen – inclusief ikzelf – kan zien aan het aantal projecten (mensen) waaraan met ChatGPT wordt gewerkt”, zegt Luc Rocher, een professor aan de Universiteit van Oxford, die het probleem heeft geïdentificeerd en via verantwoorde openbaarmaking bij de Universiteit van Oxford en OpenAI ter sprake heeft gebracht. Toen kwam hij dichterbij Snel bedrijf na wat hij voelde als een ontoereikende reactie van beiden.
Naast projecten zei Rocher dat hij kan zien hoe vaak gebruikers interactie hebben gehad met ChatGPT voor een bepaald project en wanneer die gesprekken zijn begonnen. Uit de metadata kon Rocher afleiden dat een student uit Oxford bezig was met een artikel dat moest worden ingediend met behulp van OpenAI-tools – iets wat de student bevestigde toen Rocher hen benaderde.
“In termen van hoeveel mensen toegang hebben tot elkaars gedragsgegevens, is dit behoorlijk zorgwekkend”, zegt een onderzoeker van de Universiteit van Oxford, die niet bij naam genoemd wil worden. Snel bedrijf om vrijuit over hun werkgevers te spreken. De onderzoeker erkende echter dat de gegevensblootstelling intern was en, hoewel breed, beperkt in diepte. “Ik vermoed dat dit de reden kan zijn waarom het gegevensbeschermingsteam niet zo snel reageerde als dit in het openbaar gebeurde.”
Onderzoekers noemden het gebrek aan reactie van het bureau echter ‘naïef’. Ze voegden eraan toe: “Er zijn redenen voor onderzoekers om privérepository’s te hebben.”
Deze situatie weerspiegelt een soortgelijk probleem eerder gemeld door Snel bedrijfwaarbij gebruikers van OpenAI’s standaard ChatGPT-product niet duidelijk worden geïnformeerd dat het delen van gesprekken ervoor kan zorgen dat die chats door zoekmachines worden geïndexeerd. Het bedrijf ontkende aanvankelijk het probleem verwijder de functie na de tegenaanval.
“Voor mij is dit een kwestie van slechte standaardinstellingen”, zei Rocher, waarbij gebruikers niet direct en duidelijk worden geïnformeerd over wat ze kiezen.
Dat zegt een woordvoerder van OpenAI Snel bedrijf: “Gebruikers hebben volledige controle over hoe hun omgevingen worden gedeeld. Namen van opslagplaatsen zijn alleen zichtbaar voor andere leden van dezelfde organisatie als ze worden geselecteerd door de eigenaar van de werkruimte, en de inhoud van de opslagplaats blijft veilig.”
De woordvoerder voegde hieraan toe: “We hebben rechtstreeks met klanten over deze vragen gesproken en zijn altijd blij met hun inbreng.”
De Universiteit van Oxford weigerde commentaar te geven op de zaak. Snel bedrijf Het is duidelijk dat Rocher andere universiteiten heeft geïdentificeerd – waaronder minstens één in het Midden-Oosten – die door hetzelfde probleem zijn getroffen.
“Ik denk dat dit iets is waar universiteiten zich bewust van moeten zijn,” zei Rocher.
De situatie brengt bredere spanningen aan het licht over hoe AI Er worden producten ingezet, zeggen experts.
“Hoewel het onduidelijk is hoeveel data standaard door OpenAI worden vrijgegeven, is het duidelijk dat de manier waarop deze systemen zijn geïntegreerd informatie zichtbaar maakt voor zowel bedrijven als hele organisaties die voorheen onzichtbaar was”, zegt Michael Veale, hoogleraar technologierecht en beleid aan het University College London.
Veale zei dat de dynamiek de manier weerspiegelt waarop AI-systemen werken. “Dit maakt deel uit van een bredere trend waarbij AI-tools worden geïntegreerd zonder na te denken over hoe ze veranderen wie welke informatie kan zien, en de moeilijkheid, of zelfs onmogelijkheid, van gebruikers om na te denken over wat er achter de schermen gebeurt,” zei hij. “Per definitie bevragen AI-systemen sneller externe diensten dan mensen.”
Een discrepantie tussen AI-capaciteiten en menselijk toezicht brengt risico’s met zich mee.
“Mensen hebben al grote moeite om te begrijpen welke informatie op welk tijdstip naar een bepaalde plaats wordt gestuurd”, zegt Veale. “Door het sneller te maken en op grotere schaal te gebruiken, wordt het alleen maar moeilijker en wordt de ondoorzichtigheid en kwetsbaarheid voor inbreuken en aanvallen daarbij vergroot.”
