Bedrijven hebben weliswaar cyberbeveiligingsteams, maar velen zijn nog steeds niet voorbereid op storingen in het AI-systeem, zegt een AI-beveiligingsonderzoeker.
Sander Schulhoff, die een van de eerste rapid engineering-gidsen schreef die zich richtte op de kwetsbaarheden van AI-systemen, zei in een zondag gepubliceerde aflevering van “Lenny’s Podcast” dat veel organisaties niet over het talent beschikken dat nodig is om AI-veiligheidsrisico’s te begrijpen en op te lossen.
Traditionele cyberbeveiligingsteams zijn getraind om bugs te patchen en bekende kwetsbaarheden aan te pakken, maar AI gedraagt zich niet op die manier.
“Je kunt bugs patchen, maar je kunt de hersenen niet patchen”, zegt Schulhoff, die beschrijft wat hij ziet als een discrepantie tussen de manier waarop beveiligingsteams denken en het falen van grote taalmodellen.
“Er zijn verschillen in de manier waarop AI werkt vergeleken met klassieke cyberbeveiliging”, voegde hij eraan toe.
Deze kloof is zichtbaar in toepassingen in de echte wereld. Cybersecurity-professionals zouden de technische zwakheden van een AI-systeem kunnen beoordelen zonder zich af te vragen: “Wat als iemand de AI misleidt om iets te doen wat niet de bedoeling is?” zei Schulhoff, die het rapid engineering-platform en de AI red team-hackathon beheert.
Anders dan traditionele software, AI-systemen kunnen worden gemanipuleerd door middel van taal en indirecte instructies, voegde hij eraan toe.
Schulhoff zei dat mensen met ervaring op het gebied van AI-beveiliging en cyberbeveiliging zullen weten wat ze moeten doen als een AI-model wordt misleid om kwaadaardige code te produceren. Ze zullen bijvoorbeeld code in een container uitvoeren en ervoor zorgen dat de AI-uitvoer het systeem als geheel niet beïnvloedt.
Het kruispunt tussen AI-beveiliging en traditionele cyberbeveiliging is “de toekomst van beveiligingswerk”, voegde hij eraan toe.
De opkomst van AI-beveiligingsstartups
Schulhoff zei ook dat veel AI-beveiligingsstartups vangrails opzetten die geen echte bescherming bieden. Omdat AI-systemen op veel manieren kunnen worden gemanipuleerd, zijn de beweringen dat deze tools “alles kunnen opvangen” misleidend.
“Dat is een complete leugen”, zei hij, eraan toevoegend dat er een marktcorrectie zou plaatsvinden waarbij “de inkomsten van de bedrijven waarmee ze samenwerken automatisch zouden dalen.”
AI-beveiliging opstarten heeft geprofiteerd van een golf van belangstelling van beleggers. Grote technologie- en durfkapitaalbedrijven hebben geld in de sector gestort terwijl bedrijven AI-systemen proberen te beveiligen.
In maart kocht Google cyberbeveiligingsstartup Wiz voor $32 miljard, een deal gericht op het versterken van zijn cloudbeveiligingsactiviteiten.
Google-CEO Sundar Pichai zei dat AI “nieuwe risico’s” introduceert in een tijd waarin multi-cloud en hybride opstellingen steeds gebruikelijker worden.
“Tegen deze achtergrond zijn veel organisaties op zoek naar cyberbeveiligingsoplossingen die de cloudbeveiliging verbeteren en meerdere clouds omvatten”, voegde hij eraan toe.
Business Insider meldde vorig jaar dat de toenemende zorgen over de veiligheid rond AI-modellen hebben geholpen leidde tot een golf van startups pitchingtools om AI-systemen te monitoren, testen en beveiligen.
