LinkedIn lanceerde deze week een nieuwe AI-aangedreven zoektocht naar mensen, na heel lang te hebben gewacht op een natuurlijk aanbod voor generatieve AI.
Dit komt drie jaar na de lancering van ChatGPT en zes maanden nadat LinkedIn zijn AI-aanbod voor het zoeken naar vacatures lanceerde. Voor technische leiders illustreert deze tijdlijn een belangrijke les voor ondernemingen: het inzetten van generatieve AI in echte bedrijfsomgevingen is een uitdaging, vooral op de schaal van 1,3 miljard gebruikers. Dit is een langzaam en brutaal proces van pragmatische optimalisatie.
Het volgende account is gebaseerd op verschillende exclusieve interviews met de product- en engineeringteams van LinkedIn achter de lancering.
Ten eerste, hier is hoe het product werkt: gebruikers kunnen nu zoekopdrachten in natuurlijke taal typen, zoals: “Wie heeft kennis van het genezen van kanker?” in de LinkedIn-zoekbalk.
Elke oude LinkedIn-zoekopdracht, gebaseerd op trefwoorden, zal onvermijdelijk tot doodlopende wegen leiden. Er wordt alleen gezocht naar verwijzingen naar “kanker”. Als gebruikers geavanceerd willen zijn, zouden ze afzonderlijke, rigide trefwoordzoekopdrachten moeten uitvoeren naar ‘kanker’ en vervolgens naar ‘oncologie’ en vervolgens handmatig moeten proberen de resultaten samen te voegen.
Het nieuwe AI-aangedreven systeem begrijpt dit echter Betekenis zoeken omdat de LLM onder de motorkap de semantische betekenis vastlegt. Hij erkent bijvoorbeeld dat ‘kanker’ conceptueel verband houdt met ‘oncologie’ en, nog indirecter, met ‘genomisch onderzoek’. Als gevolg hiervan ontstond er een veel relevantere lijst van mensen, waaronder oncologieleiders en onderzoekers, ook al werd in hun profielen niet het woord ‘kanker’ gebruikt.
Het systeem brengt deze relevantie ook in evenwicht nutsvoorziening. In plaats van alleen de leidende oncologen ter wereld te laten zien (wat mogelijk onbereikbare derdegraadsverbindingen zijn), zal het ook overwegen wie in uw directe netwerk – zoals eerstegraadsverbindingen – ‘relevant genoeg’ is en als een belangrijke brug voor die experts zou kunnen dienen.
Zie onderstaande video voor een voorbeeld.
De belangrijkste les voor bedrijfsprofessionals is echter ongetwijfeld het ‘kookboek’ dat LinkedIn heeft ontwikkeld: een meerfasige pijplijn van repliceerbare distillatie, co-design en meedogenloze optimalisatie. LinkedIn zou dit op het ene product moeten perfectioneren voordat het op een ander product wordt geprobeerd.
“Probeer niet te veel dingen tegelijk te doen”, schreef Wenjing Zhang, VP Engineering van LinkedIn, in een post over de productlancering, en sprak vorige week ook met VentureBeat in een interview. Hij merkte op dat eerdere ‘brede ambities’ om een uniform systeem voor alle LinkedIn-producten te bouwen ‘de vooruitgang tegenhielden’.
In plaats daarvan richt LinkedIn zich eerst op het winnen van één branche. Succes van de eerder gelanceerde AI Job Search – het genereren van werkzoekenden zonder een universitair diploma van vier jaar 10% meer kans om aangenomen te wordenvolgens VP Product Engineering Erran Berger – levert de blauwdruk.
Nu passen bedrijven die blauwdruk toe om veel grotere uitdagingen het hoofd te bieden. “Het is één ding om dit voor tientallen miljoenen banen te doen”, vertelde Berger aan VentureBeat. “Dit doen in een noordelijke regio met een miljard mensen is iets anders.”
Voor AI-ontwikkelaars op ondernemingsniveau biedt het traject van LinkedIn technische richtlijnen hierover Eigenlijk nodig om van een succesvol proefproduct over te gaan naar een product op schaal van een miljard gebruikers.
Nieuwe uitdaging: grafiek met 1,3 miljard leden
Producten voor het zoeken naar werk creëren een krachtig recept waarop nieuwe zoekproducten voor mensen kunnen voortbouwen, legt Berger uit.
Het recept begint met een ‘gouden dataset’ van slechts een paar honderd tot duizend echte zoekprofielparen, zorgvuldig beoordeeld aan de hand van een twintig tot dertig pagina’s tellend ‘productbeleid’-document. Om de training op te schalen, gebruikt LinkedIn deze kleine goudbronnen om grote basismodellen naar grote volumes te brengen synthetisch trainingsgegevens. Deze synthetische gegevens worden gebruikt om a 7 miljard parameters “Productbeleid”-modellen – high-fidelity relevantiebeoordelingen die te traag zijn voor live productie, maar perfect voor het aanleren van kleinere modellen.
Het team stuitte echter vanaf het begin op obstakels. Zes tot negen maanden lang worstelden ze met het trainen van één enkel model dat een evenwicht kon vinden tussen strikte naleving van het beleid (relevantie) en signalen van gebruikersbetrokkenheid. Het ‘aha-moment’ komt wanneer ze beseffen dat ze het probleem moeten oplossen. Ze distilleren het 7B-beleidsmodel in een Lerarenmodel 1.7B focus gewoon op relevantie. Vervolgens koppelden ze het aan een afzonderlijk lerarenmodel dat was getraind om specifieke acties van leden te voorspellen, zoals solliciteren op banen voor werkproducten, of het verbinden en volgen van zoekopdrachten van mensen. Dit ‘multi-leraar’-ensemble produceert zachte waarschijnlijkheidsscores die worden nagebootst door het uiteindelijke leerlingmodel door middel van KL-divergentieverlies.
De resulterende architectuur werkt als een pijplijn in twee fasen. Ten eerste is het groter modelparameters 8B behandelt het ophalen breed en werpt een breed net uit om kandidaten uit de grafiek te trekken. Vervolgens neemt een sterk gefilterd studentenmodel het over voor een gedetailleerde rangschikking. Terwijl het product voor het zoeken naar werk met succes werd geïmplementeerd 0,6 miljard (600 miljoen) studentparameters vereisen nieuwe mensenzoekproducten een agressievere compressie. Zoals Zhang opmerkt, heeft het team hun nieuwe studentenmodel teruggebracht van 440 miljoen naar slechts 440 miljoen Parameters 220 miljoenbereikte de vereiste snelheid voor 1,3 miljard gebruikers met minder dan 1% verlies aan relevantie.
Maar door dit toe te passen op mensenonderzoek wordt de oude architectuur doorbroken. Dit nieuwe probleem dekt niet alleen rangschikking maar ook nemen.
“Een miljard platen,” zei Berger, is “een ander beest.”
De pickstack van het vorige team wordt op de CPU gemaakt. Om aan de nieuwe schaal- en latentievereisten van een ‘snelle’ zoekervaring te kunnen voldoen, moest het team de indexering verplaatsen naar GPU-gebaseerde infrastructuur. Dit is een fundamentele architecturale verandering die het product voor het zoeken naar werk niet vereist.
Organisatorisch profiteert LinkedIn van verschillende benaderingen. Een tijdlang had LinkedIn twee afzonderlijke teams — zoeken naar werk en zoeken naar mensen — Probeer problemen parallel op te lossen. Maar toen het team voor het zoeken naar werk zijn doorbraak bereikte met behulp van op beleid gebaseerde distillatiemethoden, kwamen Berger en zijn leiderschapsteam tussenbeide. Ze halen architecten binnen uit de zoektocht naar banen. — productleider Rohan Rajiv en technisch leider Wenjing Zhang — om hun ‘kookboek’ rechtstreeks naar een nieuw domein te verhuizen.
Destillatie voor 10x doorvoerwinst
Toen het ophaalprobleem was opgelost, kreeg het team te maken met uitdagingen op het gebied van rangschikking en efficiëntie. Dit is waar kookboeken worden aangepast met nieuwe, agressieve optimalisatietechnieken.
Zhang technische post (Ik zal de link toevoegen zodra deze live gaat) biedt specifieke details die onze AI-ingenieurs zullen waarderen. Een van de belangrijkste optimalisaties is de invoergrootte.
Om het model te voeden traint het team ander LLM met versterkend leren (RL) voor één doel: de invoercontext samenvatten. Dit “samenvattings”-model kan de omvang van de modelinvoer verkleinen 20 keer zoveel met minimaal verlies aan informatie.
Het gecombineerde resultaat van een 220M parametermodel en een 20x inputreductie? A Verhoogde rankingdoorvoer met 10xwaardoor het team op efficiënte wijze modellen kan aanbieden aan zijn enorme gebruikersbasis.
Het pragmatisme weegt zwaarder dan de hype: bouw tools, geen agenten
Tijdens onze discussie was Berger onvermurwbaar over iets anders dat de aandacht van mensen zou kunnen trekken: de echte waarde voor bedrijven van vandaag ligt in het verbeteren van aanbevelingssystemen, en niet in het najagen van de ‘agenthype’. Hij weigerde ook te praten over het specifieke model dat het bedrijf gebruikt voor de zoektocht, en stelde dat het er nauwelijks toe doet. Bedrijven kiezen modellen op basis van de modellen die zij het meest efficiënt achten voor de taak.
Het door AI aangedreven zoeken naar nieuwe mensen is de belichaming van Bergers filosofie dat het het beste is om aanbevelingssystemen eerst te optimaliseren. De architectuur omvat een nieuwe ‘intelligente queryrouteringslaag’, legt Berger uit, mogelijk gemaakt door LLM. Deze router beslist op pragmatische wijze of een zoekopdracht van een gebruiker – zoals ‘vertrouwensexpert’ – moet worden gericht aan de nieuwe semantische natuurlijke taalstapel of aan de oude, betrouwbare lexicale zoekactie.
Dit hele complexe systeem is ontworpen als een ‘hulpmiddel’ dat a toekomst het te gebruiken middel, niet het middel zelf.
“Agent-producten zullen alleen werken als de tools die ze gebruiken menselijke taken uitvoeren”, aldus Berger. “Je kunt het beste redeneermodel ter wereld hebben, en als je een agent probeert te gebruiken om mensen te zoeken, maar de mensenzoekmachine is niet erg goed, dan kun je dat niet waarmaken.”
Nu mensen zoeken beschikbaar is, suggereert Berger dat het bedrijf op een dag agenten de mogelijkheid zal bieden om het te gebruiken. Details over het tijdstip gaf hij echter niet. Hij zei ook dat de recepten die worden gebruikt om banen en mensen te vinden, zullen worden verspreid naar de andere producten van het bedrijf.
Voor bedrijven die hun eigen AI-roadmap bouwen, zijn de richtlijnen van LinkedIn duidelijk:
-
Wees pragmatisch: Probeer de oceaan niet te koken. Win een verticale, ook al duurt het 18 maanden.
-
Codificeer “kookboek”: Zet deze overwinningen om in herhaalbare processen (beleidsdocumenten, verfijningstrajecten, co-design).
-
Optimaliseer meedogenloos: Echte 10x winst komt na initiële model, in snoeien, destillatie en creatieve optimalisatie zoals een door RL getrainde samenvatter.
De reis van LinkedIn laat zien dat voor echte AI voor ondernemingen de nadruk op specifieke modellen of coole agentsystemen op de achtergrond moet komen te staan. Strategische en langdurige voordelen komen voort uit meesterschap pijpleiding – een ‘AI-native’ kookboek over co-design, distillatie en meedogenloze optimalisatie.
(Noot van de redactie: binnenkort publiceren we een volledige podcast met Erran Berger van LinkedIn, die dieper ingaat op deze technische details, op de podcastfeed van VentureBeat.)
