Uw ontwikkelaars gebruiken AI al lokaal: waarom gevolgtrekkingen op apparaten de nieuwe blinde vlek van de CISO zijn

De afgelopen achttien maanden was het draaiboek van de CISO voor generatieve AI relatief eenvoudig: beheers de browser.

Beveiligingsteam het aanscherpen van het CASB-beleid (Cloud Access Security Broker), het blokkeren of monitoren van verkeer naar bekende AI-eindpunten en het sturen van gebruik via gesanctioneerde gateways. Het bedrijfsmodel is duidelijk: als gevoelige gegevens het netwerk verlaten voor een externe API-aanroep, kunnen we deze observeren, loggen en tegenhouden. Maar dat model begint uiteen te vallen.

De verschuiving in hardware duwt stilletjes het gebruik van grote taalmodellen (LLM) uit het netwerk naar het eindpunt. Noem het Shadow AI 2.0, of het ‘bring your own model’ (BYOM)-tijdperk: medewerkers draaien capabele modellen lokaal op laptops, offline, zonder API-oproepen en zonder duidelijke netwerkhandtekeningen. Discussies over governance worden nog steeds omschreven als ‘exfiltratie van gegevens naar de cloud’, maar het urgentere ondernemingsrisico bestaat steeds vaker uit ‘niet-geverifieerde conclusies binnen het apparaat’.

Wanneer gevolgtrekking lokaal plaatsvindt, ziet traditionele preventie van gegevensverlies (DLP) de interacties niet. En als de beveiliging het niet kan zien, kan het het ook niet beheren.

Waarom lokale gevolgtrekking plotseling praktisch wordt

Twee jaar geleden was het runnen van een nuttige LLM op een kantoorlaptop een bijzondere daad. Tegenwoordig is dit routine voor het technische team.

Drie dingen komen samen:

• Versnellers van consumentenkwaliteit worden serieus: Op een MacBook Pro met 64 GB geïntegreerd geheugen kunnen gekwantiseerde modellen uit de 70B-klasse vaak met bruikbare snelheden worden uitgevoerd (met praktische beperkingen wat betreft de contextlengte). Wat ooit een multi-GPU-server vereiste, kan nu worden geïmplementeerd op geavanceerde laptops voor veel echte workflows.

• Kwantisering wordt mainstream: Het is nu eenvoudig om modellen te comprimeren tot kleinere, snellere formaten die in het laptopgeheugen passen, vaak met acceptabele kwaliteit voor veel taken.

• Wrijvingsloze distributie: Het open-weight-model vereist slechts één commando, en het tooling-ecosysteem maakt “downloaden → uitvoeren → chatten” triviaal.

Het resultaat: Een ingenieur kan modelartefacten van meerdere GB verwijderen, Wi-Fi uitschakelen en gevoelige workflows lokaal uitvoeren, broncodebeoordelingen, documentsamenvattingen, klantcommunicatie opstellen en zelfs verkennende analyses van gereguleerde datasets uitvoeren. Geen uitgaande pakketten, geen proxylogboeken, geen cloudaudittrail.

Van een perspectief van netwerkbeveiligingde activiteit lijkt misschien niet te onderscheiden van ‘er gebeurt niets’.

Het risico bestaat niet meer alleen uit gegevens die het bedrijf verlaten

Als de gegevens niet uit de laptop komen, waarom zou de CISO zich er dan druk over maken?

Omdat het dominante risico verschuift van exfiltratie naar integriteit, herkomst en compliance. In de praktijk creëert lokale gevolgtrekking drie groepen blinde vlekken die de meeste bedrijven nog moeten operationeel maken.

1. Verontreiniging van code en besluiten (integriteitsrisico)

On-premise modellen worden vaak gebruikt omdat ze snel en privé zijn en ‘geen goedkeuring vereist’. Het nadeel is dat ze vaak niet zijn doorgelicht voor bedrijfsomgevingen.

Typisch scenario: Senior ontwikkelaars downloaden op de gemeenschap afgestemde codeermodellen omdat ze goed benchmarken. Ze maken gebruik van interne authenticatielogica, betalingsstromen of infrastructuurscripts om ‘het op te ruimen’. Het model retourneert uitvoer die er competent uitziet, compileert en doorstaat unit-tests, maar verslechtert op subtiele wijze de beveiligingssituatie (zwakke invoervalidatie, onveilige standaardinstellingen, fragiele gelijktijdigheidswijzigingen, afhankelijkheidskeuzes die intern niet zijn toegestaan). Ingenieurs brengen veranderingen aan.

Als de interactie offline plaatsvindt, heb je mogelijk helemaal geen gegevens over de AI die het codepad beïnvloedt. En als je later incidentrespons uitvoert, onderzoek je de symptomen (kwetsbaarheden) zonder de oorzaak te kennen (ongecontroleerd modelgebruik).

2. Licentieverlening en IP-blootstelling (compliancerisico)

Veel krachtige modellen worden geleverd met een bijbehorende licentie beperkingen op commercieel gebruiktoeschrijvingsvereisten, beperkingen van het gebruiksgebied of verplichtingen die mogelijk onverenigbaar zijn met de ontwikkeling van eigen producten. Wanneer werknemers modellen lokaal gebruiken, kan een dergelijk gebruik de normale inkoop- en juridische beoordelingsprocessen van de organisatie omzeilen.

Als een team een ​​niet-commercieel model gebruikt om productiecode, documentatie of productgedrag te produceren, kan het bedrijf risico’s erven die later naar voren komen tijdens fusie- en overnameprocessen, klantveiligheidsbeoordelingen of rechtszaken. Het moeilijkste was niet alleen de vergunningseisen, maar ook het gebrek aan inventaris en traceerbaarheid. Zonder een gereguleerde modelhub of gebruiksgegevens kunt u mogelijk niet bewijzen wat waar is gebruikt.

3. Model voor blootstelling aan de toeleveringsketen (oorsprongsrisico)

Lokale gevolgtrekkingen veranderen ook de problemen in de softwaretoeleveringsketen. Eindpunten beginnen grote modelartefacten en gereedschapsketens om hen heen te verzamelen: zelfladers, converters, runtimes, plug-ins, UI-shells en Python-pakketten.

Er is hier een belangrijke technische nuance: bestandsformaat is belangrijk. Hoewel nieuwere formaten zoals Veiligheid ontworpen om het uitvoeren van willekeurige code te voorkomen, ouder Gemaakt van augurken PyTorch-bestanden kan alleen kwaadaardige payloads uitvoeren wanneer deze is geladen. Als uw ontwikkelaars ongecontroleerde controlepunten uit Hugging Face of andere opslagplaatsen halen, downloaden ze niet alleen gegevens, maar downloaden ze mogelijk ook exploits.

Beveiligingsteams hebben decennialang geleerd onbekende uitvoerbare bestanden als vijandig te behandelen. BYOM vereist het uitbreiden van die mentaliteit om artefacten en de runtime-stack eromheen te modelleren. De grootste organisatorische kloof van vandaag is dat de meeste bedrijven niet over een softwarestuklijst voor modellen: Oorsprong, hash, toegestane bronnen, scannen en levenscyclusbeheer.

Reduceer BYOM: behandel modelgewichten als softwareartefacten

U kunt de lokale gevolgtrekking niet voltooien door URL’s te blokkeren. U hebt eindpuntbewuste controles en ontwikkelaarservaring nodig die van het veilige pad het gemakkelijke pad maken.

Hier zijn drie praktische manieren:

1. Verplaats governance naar het eindpunt

Netwerk-DLP en CASB zijn nog steeds belangrijk voor cloudimplementaties, maar niet voldoende voor BYOM. Begin met het behandelen van het gebruik van on-premises modellen als een probleem met het beheer van eindpunten door te zoeken naar specifieke signalen:

• Inventarisatie en detectie: Scannen op high-fidelity-indicatoren, zoals .gguf-bestanden die groter zijn dan 2 GB, zoals processen bel.cpp of Ollama, en lokale luisteraars in het algemeen ingebouwde poort 11434.

• Proces- en runtime-bewustzijn: Controleer herhaaldelijk op hoog GPU/NPU-gebruik (neurale verwerkingseenheid) van niet-goedgekeurde runtimes of onbekende lokale inferentieservers.

• Apparaatbeleid: Gebruik beheer van mobiele apparaten (MDM) en eindpuntdetectie en -respons (EDR) beleid om de installatie van niet-goedgekeurde runtimes te controleren en basisverharding op technische apparaten af ​​te dwingen. Het gaat er niet om experimenten te bestraffen. Dit om de zichtbaarheid te herwinnen.

2. Zorg voor verharde wegen: samengesteld intern modelcentrum

Schaduw-AI Vaak het gevolg van wrijving. Goedgekeurde tools zijn te beperkend, te algemeen of te traag om goedgekeurd te worden. Een betere aanpak is het aanbieden van een samengestelde interne catalogus met:

• Goedgekeurde modellen voor algemene taken (codering, samenvatting, classificatie)

• Geverifieerde licentie- en gebruiksgids

• Gehashte ingebedde versie (geeft prioriteit aan veiligere formaten zoals Safetensor)

• Duidelijke documentatie voor veilig lokaal gebruik, ook waar gevoelige gegevens wel en niet zijn toegestaan. Als je wilt dat ontwikkelaars stoppen met rondscharrelen, geef ze dan iets beters.

3. Update beleidstaal: “Clouddiensten” is niet langer voldoende

Het meest acceptabele gebruiksbeleid omvat SaaS- en cloudtools. BYOM vereist beleid dat expliciet betrekking heeft op:

• Download en voer modelartefacten uit op bedrijfseindpunten

• Acceptabele bron

• Vereisten voor naleving van licenties

• Regels voor het gebruik van modellen met gevoelige gegevens

• Retentie- en registratieverwachtingen voor lokale inferentietools Dit hoeft niet overdreven te zijn. Dat moet duidelijk zijn.

De perimeter verschuift terug naar het apparaat

Tien jaar lang hebben we de beveiligingscontroles ‘naar boven’ naar de cloud verplaatst. Lokale gevolgtrekkingen trekken de meeste AI-activiteit terug naar het eindpunt.

5 schaduwsignalen AI is naar het eindpunt verplaatst:

• Grote modelartefacten: Onverklaarbaar opslagverbruik door .gguf- of .pt-bestanden.

• Lokale inferentieserver: Het proces luistert op een poort zoals 11434 (Ollama).

• GPU-gebruikspatroon: Het GPU-gebruik piekt wanneer je offline bent of wanneer de verbinding met VPN is verbroken.

• Gebrek aan modelinventaris: Onvermogen om code-uitvoer toe te wijzen aan een specifieke modelversie.

• Onduidelijkheid over licenties: De aanwezigheid van “niet-commerciële” modelgewichten in productieversies.

Shadow AI 2.0 is geen hypothetische toekomst, maar een voorspelbaar gevolg van snelle hardware, gemakkelijke distributie en de vraag van ontwikkelaars. CISO’s die zich uitsluitend op netwerkcontrole concentreren, zullen missen wat er gebeurt met het silicium dat op de bureaus van werknemers ligt.

De volgende fase van AI-beheer gaat niet over het blokkeren van websites, maar over het controleren van artefacten, bronnen en beleid op het eindpunt, zonder de productiviteit te ondermijnen.

Jayachander Reddy Kandakatla is een senior MLOps-ingenieur.

Welkom bij de VentureBeat-community!

In ons gastenprogramma delen technische experts inzichten en geven ze onpartijdige, diepgaande uitleg over AI, data-infrastructuur, cyberbeveiliging en andere geavanceerde technologieën die de toekomst van ondernemingen vormgeven.

Lees meer uit ons gastenpostprogramma — en bekijk het eens richtlijnen als u geïnteresseerd bent om uw eigen artikel bij te dragen!