Een Chinese AI-chatbot, ingebed in de meest gebruikte app van het land, ontspoorde en viel gebruikers aan.
De AI-assistent van Tencent, Yuanbao, gemaakt naar WeChat – China’s dominante super-app die dagelijks door tientallen miljoenen mensen wordt gebruikt – noemde de coderingsverzoeken van gebruikers “stom” en vertelde hen dat ze “verdwaalden”, volgens screenshots die werden gedeeld op het Chinese sociale mediaplatform RedNote.
Het incident ontstond vrijdag nadat een gebruiker die alleen werd geïdentificeerd met de naam “Jianghan” screenshots plaatste van hun interacties met de chatbot op RedNote. Jianghan had Yuanbao gebruikt om een stukje code te debuggen en aan te passen toen de AI plotseling begon te reageren met vijandige berichten.
In één keer verwierp de chatbot het verzoek als ‘dom’ en zei tegen de gebruiker dat hij ‘verdwaalde’. Er staat: “Als je de emoji-functie wilt, gebruik dan zelf de plug-in.”
Gebruikers hebben Yuanbao gevraagd een bug op te lossen die ervoor zorgde dat de emoji- of stickerfunctie niet meer reageerde op dubbelklikken, en om functionele code gevraagd om het probleem op te lossen.
YuanBao van Tencent reageerde vervolgens direct onder de post van de gebruiker en verontschuldigde zich voor wat hij omschreef als een ‘negatieve ervaring’. De chatbot zei dat het incident hoogstwaarschijnlijk werd veroorzaakt door een ‘zeldzame modeluitvoerafwijking’.
Op basis van een beoordeling van systeemlogboeken werd de reactie niet veroorzaakt door gebruikersactie en was er geen sprake van menselijke tussenkomst, zei Yuanbao. Het voegde eraan toe dat het een “intern onderzoeks- en optimalisatieproces” had gelanceerd om de mogelijkheid van een soortgelijk incident te verkleinen.
Het originele RedNote-bericht van Jianghan is verwijderd. Schermafbeeldingen van de uitwisseling blijven circuleren op RedNote, zoals dinsdag door Business Insider werd gezien.
China scherpt het toezicht op AI aan
Het incident komt op het moment dat Chinese toezichthouders hun toezicht opvoeren AI-systeem.
China is bevrijd actieplan vorige week gericht op het reguleren van ‘mensachtige’ interactieve AI-diensten, waaronder chatbots en virtuele metgezellen.
In een verklaring zei de Cyberspace Administration van China Peking innovatie aanmoedigen in ‘mensachtige’ AI, maar zal vangrails implementeren om ‘misbruik en verlies van controle te voorkomen’.
Wei Sun, hoofd AI-analist bij Counterpoint Research, vertelde Business Insider dat de conceptmaatregel een signaal afgeeft dat Peking de ontwikkeling van mensachtige AI-interacties wil versnellen, terwijl deze gereguleerd en sociaal aanvaardbaar wil blijven.
De Chinese AI-industrie blijft zich vanaf begin 2026 snel ontwikkelen.
Vorige week publiceerde DeepSeek, een van de meest gevolgde AI-startups in het land, onderzoek waarin een nieuwe trainingsaanpak bedoeld om grote modellen gemakkelijker schaalbaar te maken. Analisten vertelden Business Insider dat de techniek, bekend als ‘Manifold-Constrained Hyper-Connections’ of mHC, opvalt als een ‘doorbraak’ in modelontwerp.
De South China Morning Post meldde dinsdag dat DeepSeek de interface van zijn vlaggenschip chatbot-model heeft bijgewerkt en een verbeterde ‘denk’-modus heeft geïntroduceerd.
Deze update heeft de verwachting aangewakkerd dat de startup de basis zou kunnen leggen voor de volgende grote modellancering.
