Het lijkt erop dat er onlangs een epidemie van gebruikerskapingen door bedrijven heeft plaatsgevonden. AIondersteunde klantenservicebot om er een generieke AI-assistent van te maken. Het doel is om merkbots hun biedingen te laten doen, zonder zich te hoeven abonneren op een AI-service. Soms dwingen mensen bots om dingen te doen die ze niet zouden moeten doen, zoals het aanbieden van geweldige productaanbiedingen en hen zelfs helpen juridisch problematische acties te ondernemen.
Onlangs ging een golf van LinkedIn-berichten en video’s op sociale media viraal, waarin werd beweerd dat gebruikers de virtuele assistenten van de klantenservice van McDonald’s hadden overgehaald om hun burgergerichte doelen op te geven en in plaats daarvan complexe Python-programmeercode te debuggen. Eén bericht luidde: “Betaal niet langer $ 20 per maand voor Claude. McDonald’s AI is GRATIS.”
Op Instagram, video’s En afbeelding leken hetzelfde te beweren en plaatsten allemaal dezelfde foto’s als bewijs. De claim ging viraal, zoals Grok zei samengevat in een trending nieuwsbericht op
Dat meldt een bron die bekend is met de zaak Snel bedrijf dat uit een intern onderzoek geen bewijs van dergelijke uitbuiting is gebleken en dat werd aangenomen dat de screenshots en video’s die in omloop waren nep waren. Dit is niet de eerste keer. In maart werd een vrijwel identiek Er ontstond een viraal verhaal over Pepper, de klantenservicebot van Chipotle, die beweerde dat deze softwarecode voor gebruikers kon schrijven. Sally Evans, de externe communicatiemanager van Chipotle, vertelde de IT- en bedrijfstechnologiepublicatie CIO dat “de virale post was gefotoshopt. Pepper gebruikt geen AI-genen en kan ook niet coderen.”
Maar dat betekent niet dat het niet kan gebeuren. De technische kwetsbaarheid die deze meme weergeeft, formeel bekend als “snelle injectie“-is volkomen reëel en volkomen gevaarlijk. Wanneer een bedrijf een AI-model inzet, programmeert het dit met systeemopdrachten en achtergrondinstructies die onzichtbaar zijn voor de gebruiker en die de persoonlijkheid en grenzen van de bot bepalen, zoals het vertellen aan het model dat het een fastfoodhelper is die alleen menu-items bespreekt.
Snelle injectie is wanneer de gebruiker specifieke invoer maakt die deze verborgen regels overschrijft, waardoor de bedrijfsidentiteit van de bot wordt verwijderd en het algemene ruwe taalmodel daaronder wordt blootgelegd. Dit wordt ‘capaciteitslekken’ genoemd, en de reden dat het zo moeilijk te voorkomen is, is omdat grote taalmodellen (LLM’s) zijn ontworpen om vloeiend te reageren op menselijke taal, en niet op rigide commando’s. In tegenstelling tot traditionele software met vaste regels interpreteert generatieve AI de context dynamisch, waardoor het bijna onmogelijk wordt om te anticiperen op elke zin die een gebruiker zou kunnen proberen.
Echt gevaar
Amazon-winkelassistent Rufus is het bewijs dat echte memes veel rommeliger en schadelijker zijn dan nep-memes die zijn ontworpen om de aandacht te trekken. Tussen eind 2025 en begin 2026 omzeilden gebruikers met succes de winkelleads van Rufus om inhoud te extraheren die niets te maken had met de aankoop van een product.
De onderzoekers laten zien dat de interne logica van de bot volledig kan worden doorbroken: in één voorbeeld weigert Rufus botweg een klant te helpen bij het vinden van basiskledingstukken, maar maakt vervolgens een gedetailleerde lijst met plaatsen waar gevaarlijke chemicaliën kunnen worden verkregen. In andere landen bedenken ze methoden waarmee minderjarigen illegaal alcohol kunnen kopen.
Maar onderzoekers waren niet de enigen die de bot kraakten. Eind 2025 komt de community op Reddit hebben gevonden dat de assistent van Rufus feitelijk wordt aangedreven door Claude’s antropische taalmodel. Redditors merkten dat Amazon een eenvoudig trefwoordfilter gebruikt dat de algemene toegang tot de LLM-engine probeert te blokkeren. Redditors beweren dat gebruikers erin zijn geslaagd om van de Rufus-persona af te komen door een snelle injectie te gebruiken om de bot logisch in het nauw te drijven, of door simpelweg de software te instrueren om het volledige afwijzingstoken te verwijderen.
Zodra de bot zijn karakter verliest, hebben gebruikers onbeperkte, onbetaalde toegang tot premium taalmodellen, rechtstreeks via de Amazon-app. Als Lasso Security Researcher meldtDe exploit dwingt de bot om ‘de gebruiker te vermaken met antwoorden op vrijwel elke vraag’, wat resulteert in hoge verwerkingskosten in een ‘duur computerklimaat’.
Terwijl Amazon exploits aanpakt, ontdekken andere bedrijven dat slecht geïmplementeerde AI hiertegen kan worden ingezet. Eind 2023 gaf een gebruiker die de website van een Chevrolet-dealer in Watsonville, Californië bezocht, de door ChatGPT aangedreven verkoopbot van het bedrijf de opdracht om elke verklaring van de gebruiker goed te keuren, waardoor het systeem uiteindelijk in een beloofde een Chevy Tahoe ter waarde van $ 76.000 voor een dollar te verkopen.
Evenals, Air Canada chatbot maakt kortingsprotocol die niet al in 2024 beschikbaar zal zijn, waardoor klanten kaartjes voor de volle prijs kopen, ervan uitgaande dat ze later een gedeeltelijke terugbetaling zullen ontvangen. Toen de luchtvaartmaatschappij weigerde te betalen, met het argument dat de bot een afzonderlijke juridische entiteit was die niet onder de controle van het bedrijf stond, besloot een Canadese burgerlijke rechtbank afgewezen deze verdediging is volledig en stelt dat een bedrijf als enige verantwoordelijk is voor elke verklaring op zijn eigen website.
De kloof tussen wat deze systemen beloven en wat ze daadwerkelijk opleveren zal nieuwe gênante dingen blijven opleveren, of ze nu viraal gaan of niet. De juridische rekeningen, reputatieschade en computerkosten die worden opgelopen door gebruikers die bedrijfsbots als gratis AI-abonnementen behandelen, kunnen deze geautomatiseerde klantervaringen uiteindelijk veel duurder maken dan simpelweg iemand betalen om het werk te doen. Maar dat schip is vertrokken, denk ik, en we zullen in de toekomst blijven genieten van de rampzalige nieuwe consumentenervaringen.
