Als je het vraagt Yann LeCunSilicon Valley heeft een groepsdenkenprobleem. Sinds ze Meta in november verlieten, hebben onderzoekers en AI-figuren precies dat gedaan gericht gebaseerd op de orthodoxe opvatting dat grote taalmodellen (LLM) ons naar kunstmatige algemene intelligentie (AGI) zullen brengen, de drempel waarop computers de menselijke intelligentie evenaren of overtreffen. Alles, zei hij in een recent interviewheeft “LLM gevuld.”
Op 21 januari startte de in San Francisco gevestigde startup Logical Intelligence benoemde LeCun tot lid van de raad van bestuur. Theorie bouwen bedacht door LeCun twintig jaar eerder beweerde de startup een andere vorm van AI te hebben ontwikkeld, beter toegerust om te leren, te redeneren en zichzelf te corrigeren.
Logical Intelligence heeft een zogenaamd energiegebaseerd redeneermodel (EBM) ontwikkeld. LLM voorspelt effectief het meest waarschijnlijke volgende woord in een reeks, terwijl EBM een reeks parameters absorbeert (bijvoorbeeld sudoku-regels) en de taak binnen die beperkingen voltooit. Deze methode zou fouten moeten elimineren en veel minder berekeningen vereisen, dankzij minder vallen en opstaan.
Het debuutmodel van de startup, Kona 1.0, kan sudoku-puzzels vele malen sneller oplossen dan ’s werelds toonaangevende LLM, ondanks het feit dat het slechts op een enkele Nvidia H100 GPU draait, aldus oprichter en CEO Eve Bodnia, in een interview met WIRED. (In deze test mochten LLM’s geen codeermogelijkheden gebruiken waarmee ze de puzzel konden ‘forceren’.)
Logical Intelligence beweert het eerste bedrijf te zijn dat een werkende EBM heeft gebouwd, tot nu toe was het slechts een academische verbeelding. Het idee is dat Kona complexe problemen kan oplossen, zoals het optimaliseren van het energienetwerk of het automatiseren van geavanceerde productieprocessen, onder nultolerantieomstandigheden. “Geen van deze taken heeft iets met taal te maken. Het is alles behalve taal”, zei Bodnia.
Bodnia verwacht dat Logical Intelligence nauw zal samenwerken met AMI Labs, een in Parijs gevestigde startup die onlangs door LeCun is gelanceerd, die een andere vorm van AI ontwikkelt: zogenaamde wereldmodellen, die bedoeld zijn om fysieke dimensies te herkennen, een persistent geheugen te tonen en te anticiperen op de uitkomsten van zijn acties. De weg naar AGI begint volgens Bodnia met het stapelen van deze verschillende soorten AI: LLM zal in natuurlijke taal met mensen communiceren, EBM zal redeneringstaken uitvoeren, terwijl wereldmodellen robots zullen helpen acties te ondernemen in de 3D-ruimte.
Bodnia sprak deze week via een videoconferentie met WIRED vanuit zijn kantoor in San Francisco. Het volgende interview is aangepast voor duidelijkheid en lengte.
WIRED: Ik moet vragen over Yann. Vertel me hoe jullie elkaar hebben ontmoet, zijn rol bij het leiden van onderzoek bij Logical Intelligence, en hoe zijn rol in de raad van bestuur eruit ziet.
Bodnia: Yann heeft veel academische ervaring als professor aan de New York University, maar hij is al jaren in contact gekomen met de echte industrie via Meta en andere medewerkers. Hij had beide werelden gezien.
Voor ons is hij de enige expert op het gebied van energiegebaseerde modellen en verschillende soorten gerelateerde architecturen. Toen we aan deze EBM begonnen te werken, was hij de enige met wie ik kon praten. Hij helpt ons technisch team bepaalde richtingen op te gaan. Hij is heel, heel actief. Zonder Yann kan ik me niet voorstellen dat we zo snel groeien.
Yann is openhartig over de potentiële beperkingen van de LLM en over welke modelarchitecturen het AI-onderzoek het meest waarschijnlijk zullen bevorderen. Waar sta jij?
LLM is een groot raadspel. Daarom heb je veel rekenkracht nodig. Je neemt een neuraal netwerk, geeft het alle rotzooi van internet en probeert het te leren hoe mensen met elkaar communiceren.
Als je spreekt, lijkt het mij dat je taal intelligent is, maar niet vanwege de taal. Taal is een manifestatie van wat er in je hersenen zit. Mijn redenering vindt plaats in een soort abstracte ruimte die ik opsplits in taal. Ik heb het gevoel dat mensen intelligentie proberen te reverse-engineeren door intelligentie te imiteren.
