Welkom bij AI Vertaald, Snel bedrijfeen wekelijkse nieuwsbrief met het belangrijkste nieuws ter wereld AI. Je kunt tekenen om deze nieuwsbrief wekelijks per e-mail te ontvangen Hier.
François Chollet over AI-benchmarks
Ik schreef een exclusieve kenmerken deze week over de nieuwe lancering AI benchmark genaamd ARC-AGI-3. De benchmark is gemaakt door de invloedrijke AI-onderzoeker Francois Chollet, die ook het veelgebruikte Keras deep learning-framework creëerde, een vereenvoudigde toolkit voor het bouwen van AI-modellen. Chollet heeft lang betoogd dat de huidige AI-modellen beperkt zijn in hun vermogen om door nieuwe situaties en problemen te navigeren. De ARC-test, die mensen wel kunnen beheersen, maar de meeste AI-systemen niet, is ontworpen om die beperkingen bloot te leggen. Mijn interview met Chollet bevatte veel algemene inzichten die niet in het verhaal terechtkwamen. Hier zijn er enkele (met mijn uitleg vetgedrukt.)
ARC-AGI-3 vraagt een AI-agent om zonder instructies door een reeks eenvoudige videogames te navigeren. Hier is Chollet over waarom de huidige modellen daar moeite mee hebben:
“Dat komt omdat ze afhankelijk zijn van onthouden en terugvinden, en het spel is iets dat ze nog nooit eerder hebben gezien. Ze hebben dat specifieke spel of zo’n spel nog nooit gespeeld, omdat elk spel uniek is. Ze raken dus verdwaald. Maar mensen zijn over het algemeen intelligent. Mensen verdwalen nooit. Mensen kunnen het snel doorgronden omdat ze over een vloeiende intelligentie beschikken.”
Ik begon me voor te stellen hoe ik het spel zou begrijpen. Ik stelde Chollet voor dat het mijn belangrijkste strategie was om soortgelijke scenario’s te bedenken die ik in het verleden of in andere contexten had gezien, en die te proberen toe te passen.
“In modellen zijn veel abstracties gecodeerd. Ze hebben eigenlijk meer kennis dan jij. Maar ze hebben een zeer slecht vermogen om die kennis op een test te recombineren om iets te begrijpen dat ze nog nooit eerder hebben gezien. Dat is hoe het hele paradigma werkt. We zijn erg goed in het absorberen van kennis, het absorberen van veel patronen. Beter dan het menselijk brein, en op een veel grotere schaal. We zijn erg slecht in vloeiende intelligentie, die deze patronen neemt en ze feitelijk snel combineert om een nieuw model te vormen (van een probleem).”
Over wat een AI-model precies nodig heeft om hoog te scoren op benchmarks:
“Ze vereisen een kleine hoeveelheid wereldmodellering en continu leren. Continu leren is het idee dat je op het ene niveau één concept leert, op het volgende niveau dat concept hergebruikt maar een nieuw concept leert, en op het derde niveau een derde concept toevoegt, enzovoort. Dit is continu leren.”
AI-modellen moeten niet alleen voortdurend leren, maar ze moeten ook een model van de wereld vormen dat oorzaak en gevolg kan vastleggen. Chollet legt uit:
“Over het algemeen zijn alle ingrediënten die je nodig hebt om ARC 3 op de juiste manier op te lossen, zonder geweld, zonder training in miljoenen games, de ingrediënten van de menselijke intelligentie, maar op een zeer kleine schaal. De controlekamer is erg klein, de sensorkamer is erg klein, de wereldmechanica is heel eenvoudig en je leertijdschaal is erg kort. Maar fundamenteel gaat het om het omgaan met het onbekende. Je moet verkennen. Je moet dingen proberen en dan, stap voor stap, beetje bij beetje, een causaal model bouwen van wat er gebeurt, zoals ‘Wat gebeurt er als ik op een knop druk?’”
Dan moet je nadenken over wat je wilt doen in deze wereld. Als een kind dat leert bewegen. Ze moeten begrijpen hoe ze werken in het begrijpen van de ruimte, hoe de omgeving reageert op wat ze doen. En als ze dingen beginnen te kunnen doen, zoals kruipen, moeten ze nadenken over wat ze willen doen. Waar wil ik kruipen? Als ik een voorwerp kan meenemen, waarom zou ik dan dit of dat voorwerp willen meenemen?
Over wat er zou gebeuren als we deze oplossing zouden implementeren en dicht bij een perfecte score zouden komen bij het spelen van de game op ARC-AGI-3:
Het causale model dat je moet bouwen om het spel op te lossen is veel eenvoudiger dan het causale model van de wereld in je hoofd. En het constante leren dat je moet doen om een van deze spellen te voltooien, ligt op de schaal van een spel van minuten – vijf minuten, tien minuten. Mensen leren al tientallen jaren voortdurend. Het zijn dus de juiste ingrediënten op zeer kleine schaal. Dit is een stap in de goede richting, maar je kunt niet zeggen dat dit op menselijk niveau is.
OpenAI heeft Sora mogelijk ingezet als onderdeel van een draai richting ‘wereldmodellering’
OpenAI heeft besloten precies dat te doen schakel de Sora-applicatie uitwaarmee gebruikers AI-video’s kunnen maken en deze vervolgens daarop kunnen delen TikTokstijlvolle sociale feed. Hun redenen om dit te doen kunnen in lijn zijn met de groeiende trend onder spelers van de AI-videogeneratie. AI-laboratoria kunnen overgaan op het gebruik van AI-videocreatietechnologie voor het modelleren en simuleren van de wereld.
“Naarmate onze focus en computerbehoeften toenemen, blijft het Sora-onderzoeksteam zich concentreren op wereldsimulatieonderzoek om robotica te bevorderen die mensen zal helpen fysieke taken in de echte wereld te voltooien”, zegt een woordvoerder van OpenAI. op de hoogte gebracht axio. De technologie kan ook worden gebruikt bij de ontwikkeling van games, digitale tweelingen en speciale effecten bij visueel entertainment. AI-videocreatiebedrijven Moonvalley en Runway AI zijn ook op weg naar het ontwikkelen van wereldmodellen.
OpenAI is mogelijk ook bang voor het reële risico op inbreuk op het auteursrecht door apps als Sora. Veel auteursrechthouders, waaronder Hollywood-studio’s en acteurs, waren verrast toen ze zagen dat Sora regelmatig beroemde gezichten gebruikte en geen duidelijke grenzen had om daar controle over te hebben. OpenAI reageerde door aan te bieden Hollywood-studio’s en acteurs meer controle te geven over hun IP en gelijkenissen op het platform.
Disney-personages waren een van de eerste auteursrechtelijk beschermde items die in Sora-video’s verschenen. Maar de twee bedrijven sloten een deal: Disney werd uitgenodigd om een miljard dollar te investeren in OpenAI, en stemde ermee in om het gebruik van klassieke Disney-personages in Sora-video’s toe te staan. Dat meldt The Hollywood Reporter nu de deal wordt geannuleerd.
OpenAI zal doorgaan met het uitbouwen van zijn modellen voor het maken van video’s, en het is mogelijk dat modellen zoals Sora aan ChatGPT worden toegevoegd.
Meer AI-dekking van Snel bedrijf:
- Wat gebeurt er als een AI-agent besluit u een e-mail te sturen?
- Dit Microsoft-beveiligingsteam test AI op de worstcasescenario’s
- Waarom het laatste nieuws nog steeds wint in het AI-tijdperk
- Het werk van deze kunstenaar is tentoongesteld in het MoMA. Nu AI aan het trainen
Wilt u exclusieve rapportage en trendanalyse over technologie, bedrijfsinnovatie, de toekomst van werk en design? Register Voor Snel bedrijf Premie.
