Op een nieuwe plek rapportAI-bedrijf Anthropic heeft de “zeer geavanceerde spionagecampagne” die het heeft ingezet gedetailleerd beschreven kunstmatige intelligentie een hulpmiddel om geautomatiseerde cyberaanvallen wereldwijd te lanceren.
De aanvallers mikten hoog en richtten zich op overheidsinstanties, grote technologiebedrijven, banken en chemische bedrijven, en waren volgens Anthropic in een “klein aantal gevallen” succesvol. Het bedrijf zei dat zijn onderzoek de hackoperatie in verband bracht met de Chinese overheid.
Het bedrijf beweert dat deze bevinding een keerpunt is voor de industrie en het eerste voorbeeld markeert van een cyberspionageplan uitgevoerd door AI. “Wij geloven dat dit het eerste gedocumenteerde geval is van een grootschalige cyberaanval die zonder noemenswaardige menselijke tussenkomst wordt uitgevoerd”, schreef Anthropic in een blogpost. Snel bedrijf heeft contact opgenomen met de Chinese ambassade in DC voor commentaar op het rapport.
Anthropic zei dat het medio september voor het eerst verdacht gebruik van zijn producten ontdekte en een onderzoek startte om de omvang van de operatie bloot te leggen. Deze aanvallen zijn niet volledig autonoom – mensen zijn betrokken bij de aansturing ervan – maar er is wel sprake van manipulatie Claude antropische codetooleen versie van de AI-assistent ontworpen voor ontwikkelaars, om complexe delen van campagnes uit te voeren.
Claude misleid tot het begaan van een misdaad
Om de bestaande beveiligingsbeperkingen van Claude te omzeilen, probeerden de hackers het AI-model te ‘jailbreaken’, waardoor het kleinere, ogenschijnlijk onschadelijke taken kon uitvoeren zonder de context van de bredere toepassing ervan. De aanvallers vertelden de AI-tool ook dat ze in een defensieve hoedanigheid werkten voor een legitiem cyberbedrijf om het model ervan te overtuigen zijn verdediging te verlagen.
Nadat ze de wensen van Claude hadden gevolgd, stelden de aanvallers AI-assistenten in om hun doelen te analyseren, hoogwaardige databases te identificeren en code te schrijven om zwakke punten in de systemen en infrastructuur van hun doelen te misbruiken.
“Het raamwerk kan Claude gebruiken om inloggegevens (gebruikersnamen en wachtwoorden) te verzamelen die verdere toegang mogelijk maken, en vervolgens grote hoeveelheden persoonlijke gegevens extraheren, gecategoriseerd op basis van hun intelligentiewaarde”, schreef Anthropic. “Accounts met de hoogste privileges worden geïdentificeerd, er worden backdoors gecreëerd en gegevens worden geëxtraheerd met minimaal menselijk toezicht.”
In de laatste fase geven de aanvallers Claude opdracht om hun acties te documenteren, waarbij ze bestanden genereren, inclusief gestolen inloggegevens en geanalyseerde systemen, die ze kunnen gebruiken voor toekomstige aanvallen. Het bedrijf schat dat minstens 80% van de operaties autonoom wordt uitgevoerd, zonder dat een mens ze aanstuurt.
Anthropic merkte in zijn rapport op dat de AI, net als bij minder gevaarlijke taken, fouten produceerde tijdens de cyberaanval, valse beweringen deed over het verzamelen van geheime informatie en zelfs enkele van de logins die het genereerde hallucineerde. Zelfs met enkele fouten, een AI-agent Dat klopt, het kan zichzelf vaak op meerdere doelen richten, snel exploits creëren en uitvoeren en daarbij veel schade aanrichten.
AI in de aanval
Het nieuwe rapport van Anthropic is niet het eerste AI-bedrijf dat dit heeft gedaan ontdekte dat het hulpmiddel werd misbruikt in een uitgebreid hackschema. Dit is niet eens de eerste van Anthropic.
In augustus heeft het bedrijf met behulp van zijn Claude AI-tool verschillende cybercriminaliteitsplannen in kaart gebracht, waaronder nieuwe ontwikkelingen in een al lang bestaande werkgelegenheidszwendel met winstoogmerk. Noord-Koreaanse agent ingehuurd voor een externe functie bij een Amerikaans technologiebedrijf.
Bij een recent cybercriminaliteitsincident wendde een nu verboden gebruiker zich tot de assistent van Claude Anthropic om ransomwarepakketten online te maken en te verkopen aan andere cybercriminelen voor maximaal $ 1.200 per stuk.
“De groei van door AI aangedreven fraude en cybercriminaliteit baart ons grote zorgen en we zijn van plan prioriteit te geven aan verder onderzoek op dit gebied”, aldus Anthropic in een verklaring. rapport.
Deze nieuwe aanval is opmerkelijk vanwege de banden met China en het gebruik van ‘agentische’ AI: kunstmatige intelligentie die na uitvoering zelfstandig complexe taken kan uitvoeren. Het vermogen om van begin tot eind te werken met minder toezicht betekent dat deze hulpmiddelen meer als mensen werken, doelen nastreven en kleine stappen voltooien om doelen in het proces te bereiken. De aantrekkingskracht van autonome systemen die gedetailleerde analyses kunnen uitvoeren en zelfs code op grote schaal kunnen schrijven, is duidelijk een aantrekkingskracht in de wereld van cybercriminaliteit.
“Er hebben fundamentele veranderingen plaatsgevonden op het gebied van cyberbeveiliging”, schreef Anthropic in zijn rapport. “De hierboven beschreven technieken zullen ongetwijfeld door meer aanvallers worden gebruikt – wat het delen van bedreigingen in de hele sector, betere detectiemethoden en strengere beveiligingscontroles nog belangrijker maakt.”
Vroegtijdige tariefdeadline voor Fast Company’s Prijs voor wereldveranderende ideeën is vrijdag 14 november om 23:59 uur. PT. Solliciteer vandaag nog.
