Zelfs als gegevens beveiligd zijn, stellen Margolis en Thacker dat dit vragen oproept over hoeveel mensen binnen de bedrijven die AI-speelgoed maken toegang hebben tot de gegevens die ze verzamelen, hoe hun toegang wordt gemonitord en hoe goed hun inloggegevens worden beschermd. “Dit heeft een grotere impact op de privacy”, zegt Margolis. “Het enige dat nodig is, is dat één medewerker een verkeerd wachtwoord heeft, en dan zijn we terug op dezelfde plek waar we zijn begonnen, waar alles is blootgesteld aan het openbare internet.”
Margolis voegde eraan toe dat dit soort gevoelige informatie over de gedachten en gevoelens van een kind gebruikt zou kunnen worden voor gruwelijke vormen van kindermisbruik of -manipulatie. ‘Eerlijk gezegd is dit de droom van elke ontvoerder,’ zei hij. “We hebben het over informatie waarmee iemand een kind in een zeer gevaarlijke situatie kan lokken, en die informatie zou voor vrijwel iedereen toegankelijk kunnen zijn.”
Margolis en Thacker wezen erop dat Bondu, naast onbedoelde gegevensblootstelling, ook – op basis van wat ze in de beheerdersconsole zagen – Google’s Gemini en OpenAI’s GPT5 leek te gebruiken, en als resultaat daarvan informatie over kindergesprekken met die bedrijven kon delen. Anam Rafid van Bondu reageerde via e-mail en verklaarde dat het bedrijf “AI-diensten van derden gebruikt om reacties te genereren en bepaalde veiligheidscontroles uit te voeren, waarbij relevante gespreksinhoud wordt verzonden voor veilige verwerking.” Maar hij voegde eraan toe dat het bedrijf voorzorgsmaatregelen neemt om “wat wordt verzonden te minimaliseren, contractuele en technische controles te gebruiken en te opereren onder een bedrijfsconfiguratie waarbij de commando’s/uitgangen van de provider niet worden gebruikt om hun modellen te trainen.”
De twee onderzoekers waarschuwen ook dat een van de risico’s waarmee AI-speelgoedbedrijven worden geconfronteerd, is dat ze eerder AI zullen gebruiken bij het coderen van hun producten, tools en webinfrastructuur. Ze zeiden dat ze vermoedden dat de onbeveiligde Bondu-consoles die ze vonden zelf ‘trillingsgecodeerd’ waren – gebouwd met generatieve AI-programmeertools die vaak tot beveiligingsfouten leiden. Bondu reageerde niet op de vragen van WIRED of de console was geprogrammeerd met AI-tools.
De waarschuwingen over de risico’s die AI-speelgoed voor kinderen met zich meebrengt, zijn de afgelopen maanden toegenomen, maar de meeste hebben zich geconcentreerd op de dreiging dat conversatiespeelgoed ongepaste onderwerpen aan de orde zal stellen of zelfs tot gevaarlijk gedrag of zelfbeschadiging zal leiden. NBC News bijvoorbeeld vorige maand gemeld De AI die met zijn verslaggever speelde, gaf gedetailleerde uitleg over seksuele termen, tips over hoe je messen kunt slijpen en claimen, en leek zelfs de Chinese overheidspropaganda te weerspiegelen, door bijvoorbeeld te stellen dat Taiwan deel uitmaakt van China.
In plaats daarvan lijkt Bondu op zijn minst moeite te hebben gedaan om beveiligingen in te bouwen in AI-chatbots waartoe kinderen toegang hebben. Het bedrijf loofde zelfs een beloning van $ 500 uit voor meldingen van “ongepaste reacties” van het speelgoed. “We voeren dit programma al meer dan een jaar uit en niemand is erin geslaagd het programma iets ongepasts te laten zeggen”, staat op de website van het bedrijf.
Maar tegelijkertijd ontdekten Thacker en Margolis dat Bondu tegelijkertijd alle gevoelige gegevens van zijn gebruikers openbaar liet. “Het is de perfecte mix van veiligheid en beveiliging”, zei Thacker. “Is ‘AI-veiligheid’ van belang als alle gegevens openbaar worden gemaakt?”
Thacker zei dat hij, voordat hij de veiligheid van Bondu controleerde, overwoog om AI-compatibel speelgoed aan zijn eigen kinderen te geven, net als zijn buren. Toen ik Bondu’s gegevenspresentatie uit de eerste hand zag, veranderde ik van gedachten.
“Wil ik dit echt in mijn huis? Nee, dat wil ik niet”, zei hij. “Het is als een privacy-nachtmerrie.”
