LinkedIn is toonaangevend op het gebied van AI-aanbevelingssystemen en heeft deze de afgelopen 15 jaar ontwikkeld. Maar het verkrijgen van de volgende generatie aanbevelingenstapels voor de werkzoekenden van morgen vereist geheel nieuwe technieken. Bedrijven moeten verder kijken dan de beschikbare modellen om het volgende niveau van nauwkeurigheid, latentie en efficiëntie te bereiken.
“Er is geen manier waarop we dat via push kunnen doen”, zegt Erran Berger, VP product engineering bij LinkedIn, in een nieuwe verklaring. Verder dan piloot podcast. “We hebben het niet eens geprobeerd op aanbevelingssystemen van de volgende generatie, omdat we beseften dat ze geen starter waren.”
In plaats daarvan begon zijn team een zeer gedetailleerd productbeleidsdocument te ontwikkelen om het aanvankelijk enorme parametermodel van 7 miljard te verfijnen; dat vervolgens verder wordt verfijnd tot aanvullende leraren- en leerlingmodellen die zijn geoptimaliseerd voor honderden miljoenen parameters.
Deze techniek heeft een iteratief kookboek opgeleverd dat nu wordt hergebruikt in de AI-producten van LinkedIn.
“Het overnemen van dit evaluatieproces over de hele linie zou tot substantiële kwaliteitsverbeteringen leiden, iets wat we waarschijnlijk al jaren niet meer hebben gezien bij LinkedIn”, aldus Berger.
Waarom multi-docent distillatie een ‘doorbraak’ is voor LinkedIn
Berger en zijn team wilden een LLM bouwen die individuele vacatures, kandidaatprofielen en functiebeschrijvingen in realtime kon interpreteren, en op een manier die het productbeleid van LinkedIn zo nauwkeurig mogelijk weerspiegelde.
In samenwerking met het productmanagementteam van het bedrijf creëerden de ingenieurs uiteindelijk een document van 20 tot 30 pagina’s waarin functiebeschrijvingen en profielparen “op vele dimensies” werden beoordeeld.
“We hebben hier veel iteratie op gedaan”, zei Berger. Het productbeleidsdocument wordt vervolgens gekoppeld aan een ‘gouden dataset’ die bestaat uit duizenden paren vragen en profielen; het team voerde het in ChatGPT in tijdens het genereren en experimenteren van gegevens, waardoor het model in de loop van de tijd werd gepusht om scoreparen te leren en uiteindelijk een veel grotere synthetische dataset genereerde om het lerarenmodel te trainen met 7 miljard parameters.
Berger zei echter dat het niet voldoende is om een LLM in productie te nemen, alleen gebaseerd op productbeleid. “Uiteindelijk is het een aanbevelingssysteem en moeten we aan klikvoorspelling en personalisatie doen.”
Daarom gebruikte zijn team het oorspronkelijke productbeleidgerichte goeroemodel om een tweede goeroemodel te ontwikkelen dat gericht was op klikvoorspelling. Met behulp van beide verfijnden ze het 1,7 miljard parametermodel verder voor trainingsdoeleinden. Het studentenmodel wordt uiteindelijk door ‘vele, vele trainingen’ gevolgd en ‘op elk punt’ geoptimaliseerd om kwaliteitsverlies te minimaliseren, zei Berger.
Dankzij deze distillatietechniek met meerdere docenten kon het team “veel overlap bereiken” met het oorspronkelijke productbeleid en op “land”-voorspellingen klikken, zei hij. Ze zijn ook in staat om het trainingsproces voor studenten te ‘moduleren en te componenteneren’.
Beschouw dit eens in de context van een chatagent met twee verschillende lerarenmodellen: de ene is om de agent te trainen in nauwkeurigheid bij het reageren, de andere in toon en manier van communiceren. Dit zijn twee heel verschillende maar belangrijke doelen, zei Berger.
“Door de twee te combineren krijg je betere resultaten, maar je kunt ze ook afzonderlijk herhalen”, zei hij. “Het was een doorbraak voor ons.”
Verander de manier waarop teams samenwerken
Berger zegt dat hij het belang van het vasthouden aan productbeleid en een iteratief evaluatieproces niet kan onderschatten.
Om een “echt goed productbeleid” te krijgen, moet de domeinexpertise van de productmanager worden vertaald in een uniform document. Historisch gezien, zo merkt Berger op, concentreerden productmanagementteams zich sterk op strategie en gebruikerservaring, waarbij ze de iteratieve modelleringsaanpak overlieten aan ML-ingenieurs. Maar nu werken beide teams samen om te ‘samensmelten’ en een op elkaar afgestemd lerarenmodel te creëren.
“De manier waarop productmanagers tegenwoordig met machine learning-ingenieurs werken, is heel anders dan wat we ooit eerder hebben gedaan,” zei hij. “Het is nu de blauwdruk voor alle AI-producten die we bij LinkedIn bouwen.”
Bekijk de volledige podcast om meer te horen over:
-
Hoe LinkedIn elke stap van het onderzoeks- en ontwikkelingsproces optimaliseert om de snelheid te ondersteunen, wat resulteert in echte resultaten in dagen of uren, niet weken;
-
Waarom teams pijplijnen moeten ontwikkelen voor plug-in en experimenten en verschillende modellen moeten uitproberen om flexibiliteit te ondersteunen;
-
Het belang van het debuggen van traditionele technieken.
Je kunt ook luisteren en abonneren Verder dan piloot op Spotify, Appel of waar u uw podcasts ook vandaan haalt.
