Home Nieuws MIT-tak Liquid AI heeft een blauwdruk uitgebracht voor training van kleine modellen...

MIT-tak Liquid AI heeft een blauwdruk uitgebracht voor training van kleine modellen op ondernemingsniveau

15
0
MIT-tak Liquid AI heeft een blauwdruk uitgebracht voor training van kleine modellen op ondernemingsniveau

Wanneer Liquid AI, een startup fontdekt door MIT-computerwetenschappers in 2023geïntroduceerd Liquid Foundation Models serie 2 (LFM2) in juli 2025het voorstel is duidelijk: het leveren van basismodellen op de snelste apparaten op de markt met behulp van een nieuwe ‘vloeibare’ architectuur, met efficiëntie op het gebied van training en inferentie die kleine modellen tot een serieus alternatief maken voor grote taalmodellen (LLM’s) die alleen in de cloud beschikbaar zijn, zoals OpenAI’s GPT en Google’s Gemini-serie.

De eerste release leverde solide controlepunten op bij parameters van 350M, 700M en 1,2B, een hybride architectuur die grote prioriteit geeft aan korte convoluties, en benchmarkcijfers die LFM2 een voorsprong geven op concurrenten van vergelijkbare grootte, zoals Qwen3, Llama 3.2 en Gemma 3 in termen van CPU-kwaliteit en doorvoer. De boodschap aan bedrijven is duidelijk: voor real-time, privacybeschermende AI op telefoons, laptops en voertuigen is het niet langer nodig om capaciteit op te offeren voor latentie.

In de maanden sinds die lancering heeft Liquid LFM2 uitgebreid naar een bredere productlijn taak- en domeinspecifieke variantenA Klein video-opname- en analysemodelen een een edge-gerichte implementatiestack genaamd LEAP – en positioneert het model als een controlelaag voor agentsystemen op apparaten en op locatie.

Nu, met publicatie van een gedetailleerd LFM2-technisch rapport van 51 pagina’s over arXivhet bedrijf ging verder: het publiceren van het architectuurzoekproces, de mix van trainingsgegevens, destillatiedoelen, de curriculumstrategie en de post-trainingstroom achter de modellen.

En in tegenstelling tot eerdere open modellen is LFM2 gebouwd op een herhaalbaar recept: een hardware-ontdekkingsproces in de loop, een trainingscurriculum dat een kleiner parameterbudget compenseert, en een pijplijn na de training die zich aanpast aan het volgen van instructies en het gebruik van tools.

In plaats van eenvoudigweg gewichten en een API aan te bieden, publiceert Liquid in feite een gedetailleerde blauwdruk die andere organisaties als referentie kunnen gebruiken om hun eigen kleine, efficiënte modellen helemaal opnieuw te trainen, afgestemd op hun hardware- en implementatiebeperkingen.

Een reeks modellen die zijn ontworpen op basis van echte beperkingen, niet op basis van GPU-labs

Dit witboek begint met een uitgangspunt dat het bedrijf goed begrijpt: echte AI-systemen bereiken hun grenzen lang voordat benchmarks dat doen. Latentiebudgetten, piekgeheugenplafonds en thermische beperking bepalen wat daadwerkelijk in productie kan worden uitgevoerd, vooral op laptops, tablets, standaardservers en mobiele apparaten.

Om dit aan te pakken, voert Liquid AI architectuurzoekopdrachten rechtstreeks uit op doelhardware, waaronder mobiele Snapdragon-SoC’s en Ryzen-laptop-CPU’s. Het resultaat is consistente resultaten over een breed scala aan maatregelen: een minimale hybride architectuur die wordt gedomineerd door gated korte convolutieblokken en een klein aantal gegroepeerde vraagaandacht (GQA) laag. Dit ontwerp werd herhaaldelijk verkozen boven meer exotische lineaire aandacht en SSM-hybriden, omdat het Pareto-profielen voor geheugenlatentie van betere kwaliteit biedt in reële apparaatomstandigheden.

Dit is op drie manieren belangrijk voor bedrijfsteams:

  1. Voorspelbaarheid. De architectuur is eenvoudig, efficiënt qua parameters en stabiel bij modelgroottes variërend van 350M tot 2,6B.

  2. Operationele draagbaarheid. De Dense- en MoE-varianten delen dezelfde structurele ruggengraat, waardoor de implementatie in gemengde hardwarevloten wordt vereenvoudigd.

  3. Geschiktheid op het apparaat. De doorvoersnelheid voor het vooraf laden en decoderen op de CPU overtreft vergelijkbare open modellen in de meeste gevallen met ongeveer 2×, waardoor de noodzaak wordt verminderd om routinetaken naar eindpunten voor cloudinferentie te verplaatsen.

In plaats van te optimaliseren voor academische nieuwigheid, leest het rapport als een systematische poging om een ​​model te ontwerpen dat door bedrijven kan worden geïmplementeerd. daadwerkelijk afgeleverd.

Dit is belangrijk en praktischer voor bedrijven in gebieden waar veel open modellen tijdens inferentie stilletjes toegang tot multi-H100-clusters veronderstellen.

Trainingskanalen afgestemd op bedrijfsrelevant gedrag

LFM2 hanteert een trainingsaanpak die de kleinere modelschaal compenseert met structuur in plaats van met brute kracht. Belangrijke elementen zijn onder meer:

  • 10-12T-tokens vooraf trainen en toevoegingen Middenfase van 32K contexttrainingwaardoor het venster van bruikbare modelcontext wordt vergroot zonder de rekenkosten te verhogen.

  • A scheidt Top-K’s doelstellingen op het gebied van kennisdistillatie wat de instabiliteit van de standaard KL-distillatie vermijdt wanneer leraren slechts gedeeltelijke logits verstrekken.

  • A post-trainingsvolgorde in drie fasen—SFT, op lengte genormaliseerde voorkeursuitlijning en het samenvoegen van modellen — zijn ontworpen om het volgen van instructies en het gedrag van gereedschapsgebruik betrouwbaarder te maken.

Voor zakelijke AI-ontwikkelaars is het belang dat LFM2-modellen zich minder gedragen als ‘kleine LLM’s’ en meer als praktische agenten die in staat zijn om gestructureerde formats te volgen, zich aan JSON-schema’s te houden en chatstromen met meerdere beurten te beheren. Veel open modellen van vergelijkbare omvang falen niet vanwege een gebrek aan redeneervermogen, maar vanwege een wankele naleving van het instructiesjabloon. Het post-trainingsvoorschrift van LFM2 richt zich rechtstreeks op dit ruwe randje.

Met andere woorden: Liquid AI optimaliseert kleine modellen operationele betrouwbaarheidniet alleen een scorebord.

Multimodaliteit is ontworpen voor apparaatbeperkingen, niet voor laboratoriumdemo’s

De LFM2-VL- en LFM2-Audio-varianten weerspiegelen nog een verandering: ingebouwde multimodaliteit symbolische efficiëntie.

In plaats van een grote visietransformator rechtstreeks in de LLM in te bedden, sluit de LFM2-VL een SigLIP2-encoder aan via een connector die het aantal visuele tokens via PixelUnshuffle op agressieve wijze vermindert. Invoer met hoge resolutie activeert automatisch dynamische tegels, waardoor tokenbudgetten onder controle blijven, zelfs op mobiele hardware. LFM2-Audio maakt gebruik van een gesplitste audiopijplijn (een voor insluiten en een voor weergave) die real-time of spraak-naar-spraak-transcriptie op bescheiden CPU’s ondersteunt.

Voor enterprise-platformarchitecten wijst dit ontwerp op een praktische toekomst waarin:

  • het begrijpen van documenten vindt direct plaats op eindpunten zoals veldapparatuur;

  • audiotranscriptie en spraakagenten worden lokaal uitgevoerd om aan de privacy te voldoen;

  • multimodale agenten werken binnen een vast latentiebereik zonder gegevens buiten het apparaat te streamen.

Het pad is hetzelfde: multimodale mogelijkheden zonder de noodzaak van een GPU-farm.

Het ophaalmodel is gebouwd voor agentsystemen, niet voor oudere zoekopdrachten

LFM2-ColBERT breidt het ophalen van late interactie uit tot een omvang die klein genoeg is voor bedrijfsimplementaties waarvoor meertalige RAG’s nodig zijn zonder de overhead van speciale vector-DB-versnellers.

Dit is van groot belang wanneer organisaties agentenvloten gaan beheren. Snel lokaal ophalen (dat op dezelfde hardware draait als het redeneringsmodel) vermindert de latentie en biedt beheervoordelen: documenten verlaten nooit de apparaatgrens.

Over het geheel genomen laten de VL-, Audio- en ColBERT-varianten zien dat de LFM2 een modulair systeem is, en niet een enkel model.

Een opkomende blauwdruk voor een hybride AI-architectuur voor ondernemingen

Over de varianten heen schetst het LFM2-rapport impliciet een beeld van hoe de zakelijke AI-stack van de toekomst eruit zal zien: hybride on-premise cloudorkestratiewaar kleine, snelle modellen die op apparaten werken, tijdkritische perceptie, opmaak, toolaanroepen en scoretaken afhandelen, terwijl grotere modellen in de cloud indien nodig zware overwegingen bieden.

Hier komen verschillende trends samen:

  • Kostenbeheersing. Het lokaal uitvoeren van routinematige gevolgtrekkingen voorkomt onvoorspelbare cloudfacturering.

  • latentiedeterminisme. TTFT-stabiliteit en decodering zijn belangrijk in agentworkflows; op het apparaat elimineert netwerkjitter.

  • Bestuur en naleving. Lokale uitvoering vereenvoudigt de verwerking van PII, de opslag van gegevens en de controleerbaarheid.

  • Taaiheid. Het agentsysteem verslechtert goed als het cloudpad niet beschikbaar is.

Bedrijven die deze architectuur adopteren, zullen kleine modellen op het apparaat waarschijnlijk beschouwen als het ‘controlevlak’ van de workflows van agenten, terwijl grote cloudmodellen dienen als on-demand versnellers.

LFM2 is tot nu toe een van de duidelijkste open source-fundamenten voor een dergelijke controlelaag.

De strategische conclusie: AI op het apparaat is nu een ontwerpkeuze, geen compromis

Organisaties die AI-tools bouwen, hebben jarenlang geaccepteerd dat ‘echte AI’ cloudgevolgtrekking vereist. LFM2 betwist die veronderstelling. De modellen presteren competitief op het gebied van redeneren, het volgen van instructies, meertalige taken en RAG, terwijl ze tegelijkertijd substantiële latentieverbeteringen bereiken ten opzichte van andere groepen kleine open modellen.

Voor CIO’s en CTO’s die de laatste hand leggen aan hun routekaart voor 2026 zijn de implicaties: kleine, open modellen op apparaten zijn nu krachtig genoeg om de meeste productiewerklasten te dragen.

LFM2 zal het cloudfrontier-model niet vervangen vanwege overwegingen op het gebied van grensschaling. Maar het biedt iets dat bedrijven meer nodig hebben: een reproduceerbare, open en operationeel levensvatbare basis agentsysteem dat overal moet worden uitgevoerdvan telefoons tot industriële eindpunten tot beveiligde faciliteiten met luchtspleten.

In het steeds omvangrijker wordende AI-landschap van ondernemingen is LFM2 niet zozeer een onderzoeksmijlpaal, maar eerder een teken van architectonische convergentie. De toekomst is noch cloud, noch edge: beide werken tegelijkertijd. En releases als LFM2 vormen de basis voor organisaties die klaar zijn om die hybride toekomst doelbewust op te bouwen, en niet per ongeluk.

Nieuwsbron

LAAT EEN REACTIE ACHTER

Vul alstublieft uw commentaar in!
Vul hier uw naam in