OpenAI-medeoprichter Ilya Sutskever is van mening dat het tij van de AI-industrie terug moet keren naar de onderzoeksfase.
In een aflevering van de “Dwarkesh Podcast”, die dinsdag werd gepubliceerd, daagde Sutskever, algemeen gezien als een pionier op het gebied van moderne kunstmatige intelligentie, de conventionele wijsheid uit dat schaalvergroting de ultieme routekaart naar AI-vooruitgang zou kunnen zijn.
Technologiebedrijven hebben honderden miljarden aan fondsen gestort GPU aanschaffen En een datacenter bouwen om hun AI-tools – of het nu LLM’s of modellen voor het genereren van afbeeldingen zijn – beter te maken.
Het is een goed idee dat hoe meer rekenkracht u heeft of hoe meer trainingsgegevens u heeft, hoe slimmer uw AI-tool zal zijn.
Sutskever zei in zijn interview dat dit ‘recept’ het afgelopen half decennium indrukwekkende resultaten heeft opgeleverd. Het is ook efficiënt voor bedrijven omdat deze methode een eenvoudige en “zeer laag risico” manier biedt om middelen te investeren in vergelijking met het uitgeven van geld aan onderzoek dat niets oplevert.
Sutskever is nu echter actief Veilig Superintelligence Inc.is van mening dat de methode geen grond meer heeft; De gegevens zijn beperkt en organisaties hebben al toegang tot grote hoeveelheden computergebruik, zei hij.
“Is de overtuiging waar: ‘Oh, dit is enorm, maar als je 100x meer had, zouden de dingen heel anders zijn?’ Het zal zeker anders zijn. Maar is de overtuiging dat als je het maar 100x opschaalt, alles zal veranderen? Ik denk niet dat dat waar is”, zei Sutskever. “We zijn dus terug in het tijdperk van onderzoek, alleen met grote computers.”
Sutskever negeert de noodzaak van computers niet en stelt dat computers nog steeds noodzakelijk zijn voor onderzoek en een van de “grote onderscheidende factoren” kunnen zijn in een sector waarin elke grote organisatie met hetzelfde paradigma opereert.
Dit onderzoek is echter van cruciaal belang voor het vinden van effectieve en productieve manieren om alle computerwinsten te benutten, zei hij.
Eén gebied dat volgens Sutskever meer onderzoek nodig heeft, is het generaliseerbaar maken van modellen – in wezen leren met behulp van kleine hoeveelheden informatie of voorbeelden – zoals mensen dat doen.
“Wat volgens mij het meest fundamenteel is, is dat deze modellen veel erger generaliseren dan mensen,” zei hij. ‘Het is heel duidelijk. Het lijkt iets heel fundamenteels.’
