Nvidia is de onbetwiste koning van AI chips. Dankzij de door hem gebouwde AI kan de kampioen echter al snel te maken krijgen met steeds heviger concurrentie.
Moderne AI draait op de ontwerpen van Nvidia, een dynamiek die het bedrijf naar een marktkapitalisatie van meer dan 4 biljoen dollar heeft gestuwd. Met elke nieuwe generatie Nvidia-chips kunnen bedrijven krachtigere AI-modellen trainen met behulp van honderden of duizenden processors die in enorme datacenters zijn genetwerkt. Een van de redenen voor het succes van Nvidia is dat het software levert om elke nieuwe generatie chips te helpen programmeren. Het is misschien geen onderscheidende vaardigheid.
Een startup belde Wafeltje traint AI-modellen om een van de moeilijkste en belangrijkste taken in AI uit te voeren: het optimaliseren van code om zo efficiënt mogelijk op een bepaalde siliciumchip te draaien.
Emilio Andere, mede-oprichter en CEO van Wafer, zei dat het bedrijf versterkend leren doet op een open source-model om hen te leren kernelcode te schrijven, of software die rechtstreeks samenwerkt met hardware in een besturingssysteem. Anderen zeiden dat Wafer ook ‘agentgebruik’ toevoegt aan bestaande codeermodellen zoals Claude van Anthropic en GPT van OpenAI om hun vermogen om code te schrijven die rechtstreeks op de chip draait te verbeteren.
Veel toonaangevende technologiebedrijven hebben inmiddels hun eigen chips. Apple en andere bedrijven gebruiken al jaren gespecialiseerd silicium om de prestaties en efficiëntie van software op laptops, tablets en smartphones te verbeteren. Aan de andere kant maken bedrijven als Google en Amazon hun eigen silicium om de prestaties van hun cloud computing-platforms te verbeteren. Recente meta gezegd het zal 1 gigawatt aan rekencapaciteit gebruiken met een nieuwe chip die samen met Broadcom is ontwikkeld. Het implementeren van op maat gemaakt silicium betekent ook dat er veel code moet worden geschreven om soepel en efficiënt op de nieuwe processor te kunnen werken.
Wafer werkt samen met bedrijven als AMD en Amazon om software te optimaliseren zodat deze efficiënt op hun hardware kan draaien. De startup heeft tot nu toe $4 miljoen aan startfinanciering opgehaald van Jeff Dean van Google, Wojciech Zaremba van OpenAI en anderen.
Andere gelooft dat de op AI gebaseerde aanpak van zijn bedrijf het potentieel heeft om de dominantie van Nvidia uit te dagen. Een aantal high-end chips bieden nu vergelijkbare ruwe drijvende-kommaprestaties (een belangrijke maatstaf voor de industrie voor het vermogen van een chip om eenvoudige berekeningen uit te voeren) als Nvidia’s beste silicium.
“De beste AMD-hardware, de beste Trainium (Amazon)-hardware, de beste TPU (Google) geven je dezelfde theoretische fouten als Nvidia GPU’s”, vertelde Andere me onlangs. “We willen de intelligentie per watt maximaliseren.”
Prestatie-ingenieurs met de vaardigheden die nodig zijn om code te optimaliseren om betrouwbaar en efficiënt op deze chips te draaien, zijn duur en er is veel vraag naar, zei Andere, terwijl Nvidia’s software-ecosysteem het gemakkelijker maakt om code voor zijn chips te schrijven en te onderhouden. Dit maakt het zelfs voor de grootste technologiebedrijven moeilijk om het zelf te doen.
Toen Anthropic bijvoorbeeld samenwerkte met Amazon om zijn AI-modellen op Trainium te bouwen, moest Anthropic de modelcode helemaal opnieuw schrijven, zodat deze zo efficiënt mogelijk op de hardware kon draaien, zei Andere.
Natuurlijk is Claude van Anthropic nu een van de vele AI-modellen die nu bovenmenselijk zijn in het schrijven van code. Andere denkt dus dat het waarschijnlijk niet lang zal duren voordat AI begint te profiteren van de voordelen van Nvidia’s software.
“Het probleem zit hem in de programmeerbaarheid van de chip”, zei Andere, verwijzend naar bibliotheken en software die het gemakkelijker maken om code voor Nvidia-hardware te optimaliseren. “Ik denk dat het tijd is om te heroverwegen of de gracht echt zo sterk is.”
Naast dat het gemakkelijker wordt om code voor verschillende soorten silicium te optimaliseren, zal AI het binnenkort ook gemakkelijker maken om de chips zelf te ontwerpen. Recursieve intelligentieeen startup opgericht door twee voormalige Google-ingenieurs, Azalia Mirhoseini en Anna Goldie, ontwikkelt een nieuwe manier om computerchips te ontwerpen met kunstmatige intelligentie. Als de technologie zich snel ontwikkelt, kunnen meer bedrijven chipontwerpen verbeteren, waardoor op maat gemaakt silicium ontstaat dat hun software efficiënter laat draaien.
