Een team van onderzoekers heeft ontdekt wat volgens hen het eerste gerapporteerde gebruik is kunstmatige intelligentie regisseren A hack-campagne grotendeels geautomatiseerd.
AI-bedrijf Anthropic zei deze week dat het de cyberoperaties van zijn onderzoekers verstoorde Chinese regering. De operatie omvatte het gebruik van kunstmatige intelligentiesystemen om hackcampagnes aan te sturen, wat onderzoekers een verontrustende ontwikkeling noemden die het bereik van met AI uitgeruste hackers zou kunnen vergroten.
Hoewel zorgen over het gebruik van AI om cyberoperaties aan te sturen niet nieuw zijn, is het zorgwekkende aan deze nieuwe operaties de mate waarin AI sommige banen kan automatiseren, aldus de onderzoekers.
“Hoewel we verwachten dat deze mogelijkheden zich zullen blijven ontwikkelen, valt ons op hoe snel ze zich op grote schaal uitbreiden”, schreven ze in hun rapport.
De operatie was gericht op technologiebedrijven, financiële instellingen, chemische bedrijven en overheidsinstanties. De onderzoekers schreven dat de hackers “ongeveer dertig mondiale doelen aanvielen en in een klein aantal gevallen succesvol waren.” Anthropic ontdekte de operatie in september en ondernam stappen om deze te stoppen en de betrokken partijen op de hoogte te stellen.
Anthropic merkt op dat hoewel AI-systemen steeds vaker worden gebruikt in een verscheidenheid aan werk- en recreatieomgevingen, ze ook kunnen worden bewapend door hackergroepen die voor buitenlandse tegenstanders werken. Anthropic, maker van de generatieve AI-chatbot Claude, is een van de vele technologiebedrijven die AI-agenten aanbieden die verder gaan dan het vermogen van een chatbot om toegang te krijgen tot computerhulpmiddelen en namens iemand acties te ondernemen.
Ontvang het laatste nationale nieuws
Voor nieuws dat van invloed is op Canada en de rest van de wereld kunt u zich aanmelden om de laatste nieuwswaarschuwingen direct bij u te ontvangen zodra het zich voordoet.
“Agenten zijn van onschatbare waarde voor het dagelijkse werk en de productiviteit – maar in de verkeerde handen kunnen ze de kans op grootschalige cyberaanvallen aanzienlijk vergroten”, concludeerden de onderzoekers. “Deze aanvallen zullen waarschijnlijk steeds effectiever worden.”
Een woordvoerder van de Chinese ambassade in Washington heeft niet onmiddellijk een bericht teruggestuurd met het verzoek om commentaar op het rapport.
Microsoft waarschuwde eerder dit jaar dat buitenlandse tegenstanders steeds vaker AI gebruiken om hun cybercampagnes efficiënter en minder arbeidsintensief te maken. Hoofd OpenAIveiligheidspaneel, dat de bevoegdheid heeft om te stoppen GPT-chat De maker van AI-ontwikkeling vertelde onlangs aan The Associated Press dat hij op zijn hoede is voor nieuwe AI-systemen die kwaadwillende hackers “veel hogere mogelijkheden” geven.
De Amerikaanse tegenstanders, maar ook criminele bendes en hackbedrijven, hebben het potentieel van AI uitgebuit door het te gebruiken om cyberaanvallen te automatiseren en te verbeteren, opruiende desinformatie te verspreiden en gevoelige systemen binnen te dringen. AI kan slecht geformuleerde phishing-e-mails bijvoorbeeld vertalen naar vloeiend Engels, maar ook digitale klonen van hoge overheidsfunctionarissen produceren.
Anthropic zei dat de hackers Claude konden manipuleren met behulp van ‘jailbreaking’-technieken waarbij het AI-systeem werd misleid om de vangrails tegen kwaadaardig gedrag te omzeilen, in dit geval door te beweren dat ze werknemers waren van een legitiem bedrijf. cyberbeveiliging stevig.
“Dit benadrukt een grote uitdaging voor AI-modellen, en niet alleen beperkt tot Claude, namelijk dat ze onderscheid moeten kunnen maken tussen wat er feitelijk gebeurt in de ethiek van een situatie en de soorten rollenspelscenario’s die hackers en anderen mogelijk willen creëren”, zegt John Scott-Railton, senior onderzoeker bij Citizen Lab.
Het gebruik van AI om cyberaanvallen te automatiseren of te sturen zal ook kleinere hackgroepen en eenzame hackers aantrekken, die AI kunnen gebruiken om hun aanvallen op te schalen, aldus Adam Arellano, veld-CTO bij Harness, een technologiebedrijf dat AI gebruikt om klanten te helpen de softwareontwikkeling te automatiseren.
“De snelheid en automatisering die AI biedt, zijn enigszins intimiderend”, zegt Arellano. “In plaats van dat mensen met verfijnde vaardigheden geavanceerde systemen proberen te hacken, versnelt AI het proces en overwint ze consistenter obstakels.”
AI-programma’s zullen ook een steeds belangrijkere rol spelen bij de verdediging tegen dit soort aanvallen, zei Arellano, erop wijzend hoe AI en de automatisering die het mogelijk maakt beide partijen ten goede zullen komen.
De reacties op de onthulling van Anthropic waren gemengd: sommigen zagen het als een marketingtruc voor de aanpak van Anthropic om cyberveiligheid te verdedigen, terwijl anderen de waarschuwing verwelkomden.
“Dit zal ons vernietigen – sneller dan we denken – als we morgen niet van AI-regulering een nationale prioriteit maken”, schreef de Amerikaanse senator Chris Murphy, een democraat uit Connecticut, op sociale media.
Dit leidde tot kritiek van MetaChief AI-wetenschapper Yann LeCun, een voorstander van het open source AI-systeem van moederbedrijf Facebook dat, in tegenstelling tot dat van Anthropic, de belangrijkste componenten ervan openbaar toegankelijk maakt op een manier die sommige voorstanders van AI-veiligheid te riskant vinden.
“Je wordt gespeeld door mensen die regels willen”, schreef LeCun in zijn antwoord aan Murphy. “Ze maken iedereen bang met twijfelachtig onderzoek, zodat het open source-model niet meer bestaat.”
© 2025 Canadese pers
