Aangeboden door F5
Terwijl bedrijven miljarden dollars in de GPU-infrastructuur voor AI-workloads steken, merken veel bedrijven dat hun dure computerbronnen veel vaker stil staan dan verwacht. De boosdoener is niet de hardware. Het zijn de vaak onzichtbare lagen van gegevensoverdracht tussen opslag en rekenkracht die GPU’s beroven van de informatie die ze nodig hebben.
“Hoewel mensen hun aandacht op GPU’s richten, vormen ze, omdat ze zo’n aanzienlijke investering zijn, zelden de beperkende factor”, zegt Mark Menger, solutions architect bij F5. “Ze kunnen meer werk doen. Ze wachten op gegevens.”
De prestaties van AI zijn steeds meer afhankelijk van onafhankelijke, programmeerbare controlepunten tussen het AI-framework en objectopslag – controlepunten waarvoor de meeste bedrijven niet opzettelijk zijn ontworpen. Naarmate AI-workloads groter worden, ontstaan er knelpunten en instabiliteit wanneer AI-frameworks nauw gekoppeld zijn aan specifieke opslageindpunten tijdens schalings-, failover- en cloudtransitiegebeurtenissen.
“Traditionele opslagtoegangspatronen zijn niet ontworpen voor zeer parallelle, bursty AI-workloads voor meerdere consumenten”, zegt Maggie Stringfellow, VP, productmanagement – BIG-IP. “Efficiënte AI-dataverplaatsing vereist een aparte dataleveringslaag die is ontworpen om de datastroom onafhankelijk van het opslagsysteem te abstraheren, optimaliseren en beveiligen, aangezien de economie van GPU’s inefficiënties onmiddellijk zichtbaar en kostbaar maakt.”
Waarom AI-workloads de objectopslag overbelasten
Dit tweerichtingspatroon omvat een enorme opname van continue gegevensverzameling, simulatie-uitvoer en modelcontrolepunten. Gecombineerd met intensieve training in lezen en gevolgtrekking werklastze benadrukken de nauw gekoppelde infrastructuur waarvan opslagsystemen afhankelijk zijn.
Hoewel opslagleveranciers aanzienlijk werk hebben verricht bij het opschalen van de doorvoer van gegevens die hun systemen binnenkomen en verlaten, zal een focus op doorvoer alleen een domino-effect hebben op de schakel-, verkeersbeheer- en beveiligingslagen die in opslag zijn opgenomen.
Stress op S3-compatibele systemen van de AI-workloads is multidimensionaal en verschilt aanzienlijk van traditionele toepassingspatronen. Het gaat minder om de ruwe doorvoer en meer om gelijktijdigheid, druk op de metagegevens en implementatieoverwegingen. Door training en aanpassingen ontstaan zeer uitdagende patronen, zoals massaal parallelle metingen op kleine tot middelgrote objecten. Deze werklast omvat ook het herhalen van trainingsgegevens gedurende de hele periode en periodieke schrijfpieken op controlepunten.
RAG-workloads introduceren hun eigen complexiteit door het versterken van verzoeken. Eén enkel verzoek kan zich verspreiden in tientallen of honderden extra stukjes gegevens, die zich vervolgens uitstrekken tot verdere details, gerelateerde brokken en complexere documenten. De nadruk ligt minder op capaciteit en snelheid van het opslagsysteem, en meer op vraagbeheer en verkeersvorming.
De risico’s van het nauw koppelen van AI-frameworks aan opslag
Wanneer AI-frameworks rechtstreeks verbinding maken met opslageindpunten zonder een tussenliggende leveringslaag, neemt de operationele kwetsbaarheid snel toe tijdens schalings-, storings- en cloudtransitiegebeurtenissen, wat grote gevolgen kan hebben.
“Elke instabiliteit in de opslagdiensten heeft nu een oncontroleerbare explosieradius”, aldus Menger. “Wat hier ook gebeurt, het zou een systeemfout zijn, geen opslagfout. Of eerlijk gezegd zou afwijkend gedrag in één applicatie een directe impact kunnen hebben op alle gebruikers van die opslagdienst.”
Menger beschreef een patroon dat hij bij drie verschillende klanten zag, waarbij een nauwe koppeling leidde tot een totale systeemstoring.
“We zagen dat grote trainings- of aanpassingswerklasten de opslaginfrastructuur overbelastten, waardoor de opslaginfrastructuur achteruitging”, legt hij uit. “Op die schaal wordt herstel nooit in seconden gemeten. Minuten als je geluk hebt. Meestal uren. GPU’s zijn nu onderbevoorraad. Ze hebben geen data meer. Terwijl het systeem uitvalt, hebben deze waardevolle bronnen een negatieve ROI.”
Hoe onafhankelijke lagen voor gegevenslevering het GPU-gebruik en de stabiliteit verbeteren
De financiële impact van het implementeren van een onafhankelijke laag voor gegevenslevering gaat verder dan het voorkomen van grote mislukkingen.
Door ontkoppeling kan de toegang tot gegevens worden geoptimaliseerd, onafhankelijk van opslaghardware, waardoor het GPU-gebruik wordt verhoogd door inactiviteit en conflicten te verminderen, terwijl de voorspelbaarheid van de kosten en de systeemprestaties worden verbeterd naarmate de schaal toeneemt, aldus Stringfellow.
“Dit maakt intelligente caching, traffic shaping en protocoloptimalisatie dichter bij de computer mogelijk, waardoor de kosten voor uitgaand verkeer naar de cloud en opslagversterking worden verlaagd”, legt hij uit. “Operationeel beschermt deze isolatie opslagsystemen tegen onbeperkte AI-toegangspatronen, wat resulteert in een voorspelbaarder kostengedrag en stabiele prestaties onder groei en variabiliteit.”
Maakt gebruik van programmeerbare controlepunten tussen rekenkracht en opslag
Het antwoord van F5 is om het te positioneren Platform voor applicatielevering en beveiliging, mogelijk gemaakt door BIG-IPals een ‘opslagvoordeur’ die gezondheidsbewuste routering, hotspotvermijding, beleidshandhaving en beveiligingscontroles biedt zonder dat het herschrijven van applicaties nodig is.
“Het introduceren van een leveringsniveau tussen compute en storage helpt bij het definiëren van verantwoordelijkheidsgrenzen”, aldus Menger. “Computing gaat over uitvoering. Opslag gaat over duurzaamheid. Levering gaat over betrouwbaarheid.”
Programmeerbare controlepunten, die gebruik maken van op gebeurtenissen gebaseerde voorwaardelijke logica in plaats van generatieve AI, maken intelligent verkeersbeheer mogelijk dat verder gaat dan eenvoudige taakverdeling. Routeringsbeslissingen zijn gebaseerd op de daadwerkelijke gezondheid van de backend, waarbij gebruik wordt gemaakt van intelligent gezondheidsbewustzijn om vroege tekenen van problemen te detecteren. Dit omvat het monitoren van belangrijke indicatoren van problemen. En wanneer er zich problemen voordoen, kan het systeem het problematische onderdeel isoleren zonder de hele service stop te zetten.
“Een onafhankelijke, programmeerbare dataleveringslaag is belangrijk omdat hierdoor beleid, optimalisatie, beveiliging en verkeerscontrole op uniforme wijze kunnen worden toegepast over het opname- en consumptiepad zonder het opslagsysteem of het AI-framework te veranderen”, aldus Stringfellow. “Door datatoegang te ontkoppelen van opslagimplementatie kunnen organisaties veilig burst-schrijfbewerkingen absorberen, leesbewerkingen optimaliseren en backend-systemen beschermen tegen onbelemmerde AI-toegangspatronen.”
Beveiligingsproblemen bij AI-gegevensoverdracht aanpakken
AI stimuleert opslagteams niet alleen in termen van doorvoer, maar dwingt hen ook om databeweging te behandelen als een prestatie- en beveiligingsprobleem, aldus Stringfellow. Beveiliging kan niet langer worden aangenomen alleen maar omdat gegevens zich diep in een datacenter bevinden. AI introduceert grote hoeveelheden geautomatiseerde toegangspatronen die snel moeten worden geverifieerd, gecodeerd en beheerd. Dit is waar de F5 BIG-IP in het spel komt.
“F5 BIG-IP zit direct in het AI-datapad om toegang met hoge doorvoer tot objectopslag te bieden, terwijl beleid wordt gehandhaafd, verkeer wordt geïnspecteerd en beslissingen over verkeersbeheer worden genomen op basis van belastinginformatie”, aldus Stringfellow. “Het snel leveren van GPU’s is noodzakelijk, maar niet voldoende; opslagteams hebben nu het vertrouwen nodig dat AI-datastromen geoptimaliseerd, gecontroleerd en veilig zijn.”
Waarom datalevering de schaalbaarheid van AI zal bepalen
In de toekomst zal de behoefte aan datatransmissie toenemen, aldus Stringfellow.
“De levering van AI-gegevens zal verschuiven van bulkoptimalisatie naar beleidsgestuurde, realtime gegevensorkestratie over gedistribueerde systemen”, zei hij. “Agent-gebaseerde en RAG-architecturen zullen gedetailleerde runtime-controle vereisen over de latentie, de toegangsomvang en gedelegeerde vertrouwensgrenzen. Bedrijven moeten datalevering gaan behandelen als programmeerbare infrastructuur, en niet als een bijproduct van opslag of netwerken. Organisaties die dit vroeg doen, zullen sneller en met minder risico opschalen.”
Gesponsorde artikelen zijn inhoud die is geproduceerd door bedrijven die voor de post hebben betaald of die een zakelijke relatie hebben met VentureBeat, en worden altijd duidelijk als zodanig gemarkeerd. Voor meer informatie kunt u contact opnemen met sales@venturebeat.com.
