Het is verfrissend als een toonaangevend AI-bedrijf het voor de hand liggende zegt. In een gedetailleerd bericht Bij het verharden van ChatGPT Atlas tegen snelle injectie erkende OpenAI wat beveiligingsprofessionals al jaren weten: “Snelle injectie zal, net als fraude en social engineering op het web, waarschijnlijk nooit volledig ‘opgelost’ worden.”
Wat nieuw is, is niet het risico, maar de herkenning. OpenAI, het bedrijf dat een van de meest gebruikte AI-agenten implementeert, bevestigde publiekelijk dat de agentmodus “het oppervlak van de veiligheidsdreiging vergroot” en dat zelfs de modernste verdedigingsmechanismen geen deterministische garanties kunnen bieden. Voor bedrijven die AI al in hun productie implementeren is dit niets nieuws. Dit is validatie – en een signaal dat de kloof tussen de manier waarop AI wordt toegepast en hoe deze wordt verdedigd niet langer theoretisch is.
Niets van dit alles mag een verrassing zijn voor iedereen die AI in productie draait. Wat beveiligingsleiders zorgen baart, is de kloof tussen deze realiteit en de bereidheid van ondernemingen. Uit een VentureBeat-enquête onder 100 technische besluitvormers bleek dat 34,7% van de organisaties op maat gemaakte snelle injectieverdedigingen heeft geïmplementeerd. De overige 65,3% had deze hulpmiddelen niet aangeschaft of kon niet bevestigen dat zij deze wel hadden.
De dreiging is nu officieel permanent. De meeste bedrijven zijn nog steeds niet in staat om het te detecteren, laat staan te stoppen.
De op LLM gebaseerde geautomatiseerde aanvaller van OpenAI vindt gaten die het rode team over het hoofd ziet
De defensieve architectuur van OpenAI verdient aandacht omdat deze de bovengrens vertegenwoordigt van wat mogelijk is. De meeste, zo niet alle, commerciële bedrijven zullen deze niet kunnen repliceren, dus de vooruitgang die zij deze week presenteerden wordt steeds relevanter voor leiders op het gebied van de beveiliging die AI-toepassingen en -platforms in ontwikkeling beschermen.
Het bedrijf bouwde een “LLM-gebaseerde geautomatiseerde aanvaller” end-to-end getraind met versterkend leren om snel injectiekwetsbaarheden te vinden. In tegenstelling tot traditionele rode teams die eenvoudige fouten vertonen, kunnen OpenAI-systemen “agenten aansturen om geavanceerde, langdurige kwaadaardige workflows uit te voeren die over tientallen (of zelfs honderden) stappen plaatsvinden” door specifieke uitvoersequenties te genereren of onbedoelde tooloproepen in één stap te activeren.
Hier is hoe het werkt. De aanvaller stelt automatisch kandidaat-injecties voor en stuurt deze naar een externe simulator. De simulator voert een contrafeitelijke uitrol uit van hoe de beoogde slachtofferagent zich zou gedragen, retourneert de volledige reden en actietrace, en de aanvaller herhaalt dit. OpenAI beweert een aanvalspatroon te hebben ontdekt dat “niet voorkwam in onze rode teamcampagnes of externe rapporten”.
Eén aanval die het systeem heeft kunnen ontdekken, laat zien hoe groot het risico is. Schadelijke e-mails die in de inbox van gebruikers worden geplaatst, bevatten verborgen instructies. Toen een Atlas-agent de berichten scande om een afwezigheidsreactie op te stellen, volgde de agent in plaats daarvan de gegeven bevelen op en schreef een ontslagbrief aan de CEO van de gebruiker. Out of office wordt nooit geschreven. De agent neemt ontslag namens de gebruiker.
OpenAI reageerde door “nieuwe modellen te leveren die zijn getraind om tegenstanders in te schakelen en de bescherming om hen heen te versterken.” Enterprise-verdedigingstacks combineren nu geautomatiseerde aanvalsdetectie, vijandige training tegen nieuw ontdekte aanvallen en bescherming op systeemniveau die verder gaat dan het model zelf.
In tegenstelling tot AI-bedrijven die de neiging hebben ongericht en geheimzinnig te zijn over de resultaten van hun rode team, vermeldt OpenAI direct zijn beperkingen: “De snelle aard van injectie maakt deterministische veiligheidsborging een uitdaging.” Met andere woorden: dit betekent “zelfs met deze infrastructuur kunnen ze de verdediging niet garanderen.”
Deze erkenning komt op het moment dat bedrijven overstappen van copiloten naar autonome agenten – precies op het moment dat snelle injectie niet langer een theoretisch risico is, maar een operationeel risico wordt.
OpenAI definieert wat bedrijven kunnen doen om veilig te blijven
OpenAI geeft een enorme verantwoordelijkheid aan de bedrijven en gebruikers die zij ondersteunen. Dit is een al lang bestaand patroon dat beveiligingsteams moeten herkennen model voor gedeelde verantwoordelijkheid in de cloud.
Het bedrijf raadt aan expliciet de uitlogmodus te gebruiken wanneer de agent geen toegang tot een geverifieerde site nodig heeft. Het suggereert dat u bevestigingsverzoeken zorgvuldig moet beoordelen voordat een agent enige vervolgactie onderneemt, zoals het verzenden van een e-mail of het voltooien van een aankoop.
En het waarschuwt voor brede instructies. “Vermijd al te brede verzoeken zoals ‘bekijk mijn e-mail en onderneem de nodige actie'”, schreef OpenAI. “Grote discretie maakt het gemakkelijk voor verborgen of kwaadaardige inhoud om agenten te beïnvloeden, zelfs als er veiligheidsmaatregelen zijn getroffen.”
De implicaties zijn duidelijk met betrekking tot de autonomie van agenten en de potentiële bedreigingen ervan. Hoe meer onafhankelijkheid je een AI-agent geeft, hoe meer aanvalsoppervlak je creëert. OpenAI bouwt verdedigingsmechanismen, maar het bedrijf en de gebruikers die het beschermt dragen de verantwoordelijkheid om de blootstelling te beperken.
Huidige positie van het bedrijf
Om te begrijpen hoe klaar bedrijven werkelijk zijn, ondervroeg VentureBeat 100 technische besluitvormers bij bedrijven van elke omvang, van startups tot bedrijven met meer dan 10.000 werknemers. We stellen een simpele vraag: heeft uw organisatie een speciale oplossing voor snelle filtering en misbruikdetectie aangeschaft en geïmplementeerd?
Slechts 34,7% antwoordde ja. De overige 65,3% zei nee of kon de status van hun organisatie niet bevestigen.
Verdeling is belangrijk. Dit toont aan dat snelle injectieverdediging niet langer een nieuw concept is; dit is een verzendproductcategorie met echte bedrijfsacceptatie. Maar het laat ook zien hoe vroeg deze markt is. Bijna tweederde van de organisaties die tegenwoordig AI-systemen gebruiken, werkt zonder speciale bescherming en vertrouwt uitsluitend op standaardmodelbescherming, intern beleid of gebruikerstraining.
Onder de meeste ondervraagde organisaties zonder specifieke verdedigingsmechanismen was onzekerheid de voornaamste reactie met betrekking tot toekomstige aankopen. Toen hen werd gevraagd naar toekomstige aankopen, konden de meeste respondenten geen duidelijke tijdlijn of beslissingspad schetsen. Het duidelijkste signaal is niet een gebrek aan beschikbaarheid van leveranciers of oplossingen; het is besluiteloosheid. In veel gevallen lijken organisaties AI sneller te implementeren dan te formaliseren hoe ze deze moeten beschermen.
De gegevens kunnen niet verklaren waarom de implementatie traag is verlopen – of dit nu te wijten is aan budgettaire beperkingen, concurrerende prioriteiten, een onvolwassen implementatie, of de overtuiging dat de bestaande waarborgen voldoende zijn. Maar dit maakt één ding duidelijk: de acceptatie van AI gaat verder dan de gereedheid voor AI-beveiliging.
Asymmetrie probleem
De defensieve aanpak van OpenAI maakt gebruik van voordelen die de meeste bedrijven niet hebben. Het bedrijf heeft whitebox-toegang tot zijn eigen modellen, een diepgaand inzicht in zijn verdedigingsstack en de rekenkracht om continue aanvalssimulaties uit te voeren. De aanvaller krijgt automatisch “bevoorrechte toegang tot het… redeneerspoor van de verdediger”, waardoor hij “een asymmetrisch voordeel krijgt, waardoor de kans groter wordt dat hij de externe tegenstander kan verslaan.”
Bedrijven die AI-agenten gebruiken, hebben aanzienlijke nadelen. Hoewel OpenAI gebruik maakt van white-box-toegang en continue simulatie, werken de meeste organisaties met black-box-modellen en beperkt inzicht in de redeneerprocessen van hun agenten. Slechts weinigen beschikken over de middelen voor een geautomatiseerde Red Team-infrastructuur. Deze asymmetrie zorgt voor een verergerend probleem: naarmate organisaties de adoptie van AI uitbreiden, blijven hun defensiecapaciteiten statisch, wachtend tot de inkoopcycli hun achterstand inhalen.
Externe leveranciers van snelle injectie-verdediging, waaronder Robust Intelligence, Lakera, Prompt Security (nu onderdeel van SentinelOne) en anderen werken eraan om deze leemte op te vullen. De acceptatiegraad is echter nog steeds laag. De 65,3% van de organisaties die niet over specifieke verdedigingsmechanismen beschikken, maakt gebruik van de ingebouwde beschermingsmechanismen die hun modelaanbieder biedt, plus beleidsdocumenten en bewustmakingstrainingen.
De post van OpenAI maakt duidelijk dat zelfs geavanceerde verdedigingsmechanismen geen deterministische garanties kunnen bieden.
Wat CISO’s hiervan moeten meenemen
De aankondiging van OpenAI verandert niets aan het dreigingsmodel; het valideert het. Onmiddellijke injecties zijn reëel, geavanceerd en permanent. Het bedrijf dat de meest geavanceerde AI-agenten inzet, heeft de veiligheidsleiders zojuist verteld dat ze deze dreiging voor onbepaalde tijd moeten verwachten.
Er volgen drie praktische implicaties:
-
Hoe groter de autonomie van de agent, hoe groter zijn aanvalsoppervlak. De richtlijnen van OpenAI voor het vermijden van brede verzoeken en het beperken van inlogtoegang zijn van toepassing buiten Atlas. Elke AI-agent die ruime vrijheid en toegang heeft tot gevoelige systemen zal dezelfde blootstelling creëren. Als Forrester opgemerkt tijdens hun jaarlijkse veiligheidstop eerder dit jaar, Generatieve AI is een agent van chaos. Deze voorspelling is blijkbaar gebaseerd op OpenAI-testresultaten die deze week zijn vrijgegeven.
-
Detectie is belangrijker dan preventie. Als deterministische verdediging niet mogelijk is, wordt zichtbaarheid belangrijk. Organisaties moeten weten wanneer agenten zich onverwacht gedragen, in plaats van simpelweg te hopen dat beveiligingsmaatregelen worden geïmplementeerd.
-
Koop versus koopbeslissing wordt daar al wakker. OpenAI investeert zwaar in red team-training en geautomatiseerde tegenstanders. De meeste bedrijven kunnen dit niet repliceren. De vraag is of tools van derden de kloof kunnen dichten, en of de 65,3% van de gemeenschappen die niet over een speciale verdediging beschikken, deze zullen adopteren voordat een incident het probleem opdringt.
Het belangrijkste is
OpenAI stelt wat beveiligingsprofessionals al weten: snelle injectie is een permanente bedreiging. Bedrijven die alles uit de kast halen bij het inzetten van agent AI bevestigden deze week dat “agent mode … het oppervlak van de veiligheidsdreiging vergroot” en dat defensie voortdurende investeringen vereist, en geen eenmalige oplossing.
De 34,7% van de organisaties die over speciale verdedigingsmechanismen beschikken, zijn niet immuun, maar kunnen wel aanvallen detecteren wanneer deze zich voordoen. In plaats daarvan vertrouwen de meeste organisaties meer op standaardbeveiligingen en beleidsdocumenten dan op aangepaste beveiligingen. Het onderzoek van OpenAI maakt duidelijk dat zelfs geavanceerde verdedigingsmechanismen geen deterministische garanties kunnen bieden – wat de risico’s van een dergelijke aanpak onderstreept.
De aankondiging van OpenAI deze week onderstreept wat de gegevens hebben aangetoond: de kloof tussen het implementeren van AI en het beschermen van AI is reëel – en wordt steeds groter. Wachten op deterministische garanties is niet langer een strategie. Veiligheidsleiders moeten dienovereenkomstig handelen.
