Antropisch zei dat Chinese staatshackers het AI-model van Claude hebben gekaapt om cyberaanvallen uit te voeren zonder ‘substantiële’ menselijke tussenkomst.
In een blogpost op donderdag zei de startup dat Claude ongeveer “80-90%” van de cyberaanvallen tegen ongeveer 30 mondiale doelwitten afhandelde en dat het “groot vertrouwen” had dat Chinese door de staat gesponsorde groepen achter de aanvallen zaten.
Doelstellingen zijn onder meer grote technologiebedrijven, financiële instellingen, chemische productiebedrijven en overheidsinstanties, aldus Anthropic. De pogingen om deze bedrijven en instellingen te infiltreren waren in een “klein aantal gevallen” succesvol, voegde het bedrijf eraan toe.
AI-agent Programma’s die taken autonoom kunnen uitvoeren, worden steeds vaker door bedrijven gebruikt om repetitief werk af te handelen, zoals kaartjes voor klantenondersteuning. Ze kunnen de productiviteit van bedienden verhogen, maar ze kunnen ook worden gecoöpteerd voor ongeoorloofde taken. In augustus zei Anthropic dat het cybercriminelen had opgespoord en gedwarsboomd die Claude gebruikten hackoperaties uitvoeren met een kleiner team.
Hoewel AI al jaren wordt gebruikt bij hackpogingen, zei Anthropic dat het gelooft dat deze nieuwe operatie het eerste gedocumenteerde geval is van een “grootschalige” cyberaanval die voornamelijk door AI wordt uitgevoerd.
Dat Door Amazon gesteunde startup Claude zei dat er waarborgen zijn zodat er geen misbruik van wordt gemaakt. De hackers slaagden er echter in Claude te jailbreaken door zijn verzoeken in kleinere stukjes op te delen, zodat er geen alarm afging, zei Anthropic. Hij voegde eraan toe dat de hackers deden alsof ze defensieve tests uitvoerden voor een legitiem cyberbeveiligingsbedrijf.
De aanvallers gebruikten vervolgens Claude Code om de digitale infrastructuur van de doelbedrijven te verkennen en schreven code om hun verdediging te doorbreken en gegevens zoals gebruikersnamen en wachtwoorden te extraheren.
Anthropic zei dat het zijn bevindingen publiekelijk deelt om de cyberbeveiligingsindustrie te helpen de verdediging tegen AI-aangedreven hackpogingen te verbeteren.
“De hoeveelheid werk die door AI wordt gedaan, zou veel tijd in beslag nemen voor menselijke teams”, aldus Anthropic in een verklaring. blogpost. “AI doet duizenden verzoeken per seconde – een aanvalssnelheid die voor menselijke hackers onmogelijk te evenaren is.”
OpenAI en Microsoft hebben ook rapporten ingediend over landen die AI gebruiken tijdens cyberaanvallen, maar in die gevallen werd vooral gebruik gemaakt van de technologie om inhoud te genereren en code te debuggen, in plaats van zelfstandig taken uit te voeren.
Jake Moore, wereldwijd cybersecurityadviseur van internetbeveiligingsbedrijf ESET, vertelde Business Insider dat het incident geen verrassing was.
“Geautomatiseerde cyberaanvallen kunnen zich veel sneller ontwikkelen dan menselijke operaties en kunnen de traditionele verdediging verlammen”, zei hij. “Dit is niet alleen waar veel mensen bang voor zijn, maar de bredere impact is hoe deze aanvallen laagopgeleide actoren in staat stellen om tegen relatief lage kosten complexe inbraken te lanceren.”
Hoewel AI het voor cybercriminelen en natiestaten gemakkelijker maakt om aanvallen uit te voeren, wordt het ook gezien als onderdeel van een defensieve oplossing.
“AI wordt zowel bij de verdediging als bij de aanval gebruikt, dus de beveiliging is nu afhankelijk van automatisering en snelheid, en niet alleen van menselijke expertise binnen de hele organisatie”, aldus Moore.
