- Thunderbolt 5-bandbreedte brengt externe GPU-hardware dichter bij het werkstationgebied
- On-premise AI-gevolgtrekking krijgt steeds meer aandacht nu de kosten voor de cloud blijven stijgen
- Ontwikkelaars onderzoeken steeds vaker taalmodellen die rechtstreeks op persoonlijke hardware draaien
Externe GPU-behuizingen bestaan al een tijdje, meestal geassocieerd met gaming-laptops en grafische versnellingstaken die de mogelijkheden van mobiele processors te boven gaan.
De onlangs uitgebrachte TBT5-AI Plugable valt in deze categorie, maar introduceert een ontwerp dat is gericht op het verbinden van grafische hardware op desktops met laptops voor lokale AI-workloads.
Deze behuizing biedt een PCIe x16-slot van volledige grootte waarmee gebruikers een grafische kaart van desktopklasse in een extern chassis kunnen installeren.
Artikel gaat hieronder verder
Hardware van desktopklasse in een externe behuizing
De geïntegreerde voeding van 850 watt levert de energie die nodig is voor het uitvoeren van krachtige GPU’s die doorgaans alleen in desktopwerkstations werken.
Voor connectiviteit wordt het apparaat geleverd met een enkele Thunderbolt 5-kabel, waardoor directe verbinding met een laptop mogelijk is, en ondersteunt het tweerichtingsbandbreedte tot 80 Gbps, terwijl de boost-modus de doorvoer voor bepaalde werklasten tot 120 Gbps kan verhogen.
Binnen de behuizing verbindt deze bandbreedte de geïnstalleerde GPU via PCIe 4.0 x4-lanes, waardoor de overdrachtsknelpunten worden verminderd die eerdere externe GPU-ontwerpen beperkten.
Naast het huisvesten van de grafische kaart, functioneert dit systeem ook als een hub die de connectiviteit voor de aangesloten laptop uitbreidt.
Hij levert tot 96 watt laadvermogen en biedt tegelijkertijd 2,5 gigabit Ethernet-netwerken en meerdere snelle USB-poorten.
Volgens Plugable willen veel ingenieurs de modelverwerking en gegevensverwerking steeds vaker in hun eigen systemen houden, en TBT5-AI biedt precies dat, omdat het is ontworpen voor ontwikkelaars die experimenteren met lokale AI-inferentieomgevingen.
Met deze tools kunnen ontwikkelaars grote taalmodellen rechtstreeks op lokale hardware uitvoeren in plaats van werklasten naar de cloudinfrastructuur te sturen.
Het ondersteunt algemene lokale AI-frameworks, waaronder llama.cpp, het Hugging Face-model en Nvidia’s NIM-inferentieplatform.
Bernie Thompson, Chief Technology Officer van Plugable, zei dat de hardware zich richt op industrieën waar het beschermen van gevoelige informatie een strikte operationele vereiste blijft.
“Gegevensprivacy is geen kenmerk maar een mandaat”, zei Thompson, verwijzend naar sectoren als de gezondheidszorg, financiële dienstverlening en juridische organisaties.
Plugable bereidt ook bedrijfsversies voor genaamd TBT5-AI16, TBT5-AI32 en TBT5-AI96, die een gebundelde grafische processor zullen bevatten.
Deze configuratie integreert een softwareomgeving genaamd Plugable Chat, die wordt beschreven als een air-gapped AI-orkestratieplatform voor gereguleerde organisaties.
Het bedrijf beweert dat dit systeem de AI-verwerking zal verschuiven van op abonnementen gebaseerde clouddiensten naar lokaal gecontroleerde computerinfrastructuur.
De TBT5-AI-behuizing van Plugable, geprijsd op $ 599,95 als zelfstandige eenheid, werd een paar dagen geleden officieel uitgebracht en is nu verkrijgbaar via Amazon en Plugable.com.
Via Macbronnen
Volg TechRadar op Google Nieuws En voeg ons toe als voorkeursbron om nieuws, recensies en onze deskundige meningen in uw feed te krijgen. Klik dan zeker op de knop Volgen!
En jij kunt dat natuurlijk ook Volg TechRadar op TikTok voor nieuws, recensies, unboxings in videovorm en ontvang regelmatig updates van ons Wat is het Ook.
