AI-agenten vinden het leuk Open klauwen onlangs is hun populariteit geëxplodeerd, juist omdat ze de controle over uw digitale leven kunnen overnemen. Of u nu een gepersonaliseerde ochtendnieuwssamenvatting wilt, een proxy die kan concurreren met de klantenservice van uw kabelmaatschappij, of een to-dolijst-auditor die een aantal taken voor u doet en u aanmoedigt de rest te voltooien, agent-assistenten zijn gebouwd om toegang te krijgen tot uw digitale accounts en uw opdrachten uit te voeren. Dit is nuttig, maar ook lonend waardoor er veel chaos ontstaat. Bots zijn er verwijder e-mails in bulk ze hebben de opdracht gekregen om te behouden, het schrijven van slagen voor waargenomen beledigingenEn lanceerde een phishing-aanval tegen de eigenaar.
Toen Niels Provos, een ervaren beveiligingsingenieur en onderzoeker, de chaos van de afgelopen weken zag, besloot hij iets nieuws te proberen. Vandaag lanceerde hij een veilige en open source AI-assistent genaamd IJzeren Gordijn ontworpen om een belangrijke controlelaag toe te voegen. In plaats van rechtstreeks met systemen en gebruikersaccounts te communiceren, draaien agenten op geïsoleerde virtuele machines. En haar vermogen om actie te ondernemen wordt bemiddeld door een beleid – je zou het zelfs als een grondwet kunnen beschouwen – dat de eigenaren ervan creëren om het systeem te besturen. Belangrijk is dat IronCurtain ook is ontworpen om dit uitgebreide beleid in het Engels te ontvangen en vervolgens door een uit meerdere stappen bestaand proces te leiden dat gebruik maakt van grote taalmodellen (LLM) om natuurlijke taal om te zetten in afdwingbaar beveiligingsbeleid.
“Diensten als OpenClaw zijn momenteel op het hoogtepunt van populariteit, maar ik hoop dat er een kans is om te zeggen: ‘Dit is misschien niet de weg die we willen inslaan'”, aldus Provos. “Laten we in plaats daarvan iets ontwikkelen dat u nog steeds zeer grote voordelen zal opleveren, maar dat niet op onbekende en soms destructieve paden zal leiden.”
Het vermogen van IronCurtain om intuïtieve, duidelijke uitspraken om te zetten in werkbare, deterministische (of voorspelbare) rode lijnen is van cruciaal belang, zegt Provos, omdat de LLM notoir ‘stochastisch’ en probabilistisch is. Met andere woorden: ze produceren niet altijd dezelfde inhoud of verstrekken niet altijd dezelfde informatie als antwoord op dezelfde verzoeken. Dit schept uitdagingen voor AI-beperkingen, aangezien AI-systemen in de loop van de tijd zodanig kunnen evolueren dat ze de manier waarop ze controlemechanismen of beperkingen interpreteren, herzien, wat zou kunnen resulteren in kwaadwillige activiteiten.
Het beleid van IronCurtain, zegt Provos, kan zo simpel zijn als: “Agenten kunnen al mijn e-mails lezen. Agenten kunnen e-mails sturen naar mensen in mijn contacten zonder te vragen. Voor anderen: vraag het mij eerst. Verwijder nooit iets permanent.”
IronCurtain neemt deze instructies, zet ze om in afdwingbaar beleid en bemiddelt vervolgens tussen de assistent-agent in de virtuele machine en een zogenaamde modelcontextprotocolserver die LLM toegang geeft tot gegevens en andere digitale diensten om taken uit te voeren. De mogelijkheid om agenten op deze manier te beperken voegt een belangrijk onderdeel van de toegangscontrole toe die webplatforms zoals e-mailproviders momenteel niet bieden, omdat ze niet zijn gebouwd voor scenario’s waarin een menselijke eigenaar en een AI-agentbot één account gebruiken.
Provos merkte op dat IronCurtain is ontworpen om de “constitutie” van elke gebruiker in de loop van de tijd te verfijnen en te verfijnen, naarmate het systeem met moeilijke gevallen wordt geconfronteerd en menselijke input zoekt over hoe verder te gaan. Dit systeem, dat modelonafhankelijk is en met elke LLM kan worden gebruikt, is ook ontworpen om een auditlogboek bij te houden van alle beleidsbeslissingen in de loop van de tijd.
IronCurtain is een onderzoeksprototype, geen consumentenproduct, en Provos hoopt dat het publiek zal bijdragen aan het project om het te verkennen en te helpen groeien. Dino Dai Zovi, een gerenommeerd cybersecurity-onderzoeker die heeft geëxperimenteerd met vroege versies van IronCurtain, zegt dat de conceptuele benadering van het project in overeenstemming is met zijn intuïtie over hoe AI-agenten moeten worden beperkt.
