Er is een debat gaande in Silicon Valley: hoe ver het kan gaan schaal wet neem de technologie?
CEO van Google DeepMind Demis Hassabiswiens bedrijf onlangs de Gemini 3 met veel bijval heeft uitgebracht, heeft zijn standpunt hierover duidelijk gemaakt.
“We moeten de schaalvergroting van bestaande systemen zo veel mogelijk stimuleren, omdat dit op zijn minst een belangrijk onderdeel zal zijn van het uiteindelijke AGI-systeem”, zei hij vorige week op de Axios AI+ Summit in San Francisco. “Dit zou een heel AGI-systeem kunnen zijn.”
AGI, of kunstmatige algemene intelligentieis een nog steeds theoretische versie van AI die hetzelfde kan denken als mensen. Dit is een doel waar alle toonaangevende AI-bedrijven naar streven grote uitgaven over infrastructuur en talent.
De wet van AI-schaling suggereert dat hoe meer gegevens en berekeningen aan een AI-model worden gegeven, hoe slimmer het zal zijn.
Hassabis zei dat schaalvergroting alleen de industrie waarschijnlijk naar AGI zal leiden, maar hij vermoedt dat er ook “een of twee” andere doorbraken nodig zullen zijn.
Het probleem met opschaling alleen is dat er beperkingen zijn aan openbaar beschikbare gegevens en aanvullende rekenmiddelen een datacenter bouwenDat is duur en belastend voor het milieu.
Sommige AI-waarnemers zijn ook bezorgd dat de AI-bedrijven achter de leidende grote taalmodellen hetzelfde beginnen te doen laat een afnemend rendement zien voor hun enorme investeringen in schaalvergroting.
Onderzoekers zijn er dol op Yann LeCunDe hoofd-AI-wetenschapper bij Meta, die onlangs aankondigde dat hij zou terugtreden om zijn eigen startup te runnen, is van mening dat de industrie andere wegen moet overwegen.
“De interessantste problemen zijn van zeer grote omvang”, zei hij in april aan de Nationale Universiteit van Singapore. “Je kunt er niet van uitgaan dat meer data en meer computergebruik slimmere AI betekent.”
LeCun verliet Meta om te werken aan het bouwen van wereldmodellen, een alternatief voor grote taalmodellen die afhankelijk zijn van het verzamelen van ruimtelijke gegevens in plaats van op taal gebaseerde gegevens.
“Het doel van de startup is om de volgende grote revolutie in AI te realiseren: systemen die de fysieke wereld begrijpen, sterke herinneringen hebben, kunnen denken en complexe reeksen acties kunnen plannen”, schreef hij in november op LinkedIn.
