Fei-Fei Li lanceerde een AI-model dat de wereld heeft gegenereerd

Wereld laboratoriumDat AI modelontwikkelaar, mede opgericht door AI-pionier Fei-Fei Li, heeft een 3D-ruimtegenererend model uitgebracht, ‘Marble’. In Wereldlab websitemakers van inhoud kunnen nu tekst-, afbeeldings- of videoopdrachten invoeren vanuit echte omgevingen. Marble gebruikt ze om volledige 3D-omgevingen te creëren, die grote binnen- of buitenruimtes kunnen omvatten.

Marmer kan 3D-werelden reconstrueren, genereren en simuleren. Zie het als een soort ‘wereldmodel’. In een interview met Snel bedrijfLi beschreef het wereldmodel als een “significante” evolutie van het generatieve AI-tijdperk. “Grote wereldmodellen zijn echt een belangrijke stap in het ontsluiten van de mogelijkheden van AI”, een categorie die hij “ruimtelijk” noemt. Ruimtelijke intelligentie verwijst naar het vermogen van een systeem om de fysieke of geometrische ruimte te begrijpen, te modelleren, te redeneren en actie te ondernemen – vergelijkbaar met de manier waarop mensen en dieren acties kiezen op basis van hun begrip van hun omgeving.

Wereld laboratorium gelanceerd in september 2024, wanneer het begint te werken aan het Marble-model. Twee maanden geleden hebben ze een preview van het model vrijgegeven aan een groep creatievelingen, die begonnen met het bouwen van de wereld en het geven van feedback.

Deze week plaatste Li zoiets manifest bij Substack beweren dat ruimtelijke intelligentie de volgende grens is in AI. Voor mensen, zegt hij, biedt de ruimtelijke intelligentie van de fysieke wereld om ons heen een fundament waarop we onze cognitie kunnen bouwen. “Ruimtelijke intelligentie zal de manier veranderen waarop we echte en virtuele werelden creëren en ermee omgaan – een revolutie teweegbrengen in het vertellen van verhalen, creativiteit, robotica, wetenschappelijke ontdekkingen en nog veel meer”, schreef hij. World Labs is van mening dat het uitrusten van machines (waaronder robots) met ‘ruimtelijke intelligentie’ de komende jaren een transformerende impact kan hebben op een aantal industrieën.

Met behulp van de webinterface kunnen gebruikers Marble voorzien van een scènebeschrijving, afbeelding of video, of een ruwe 3D-lay-out en het model produceert een realistische 3D-omgeving. Gebruikers kunnen een reeks afbeeldingen invoeren van de slaapkamer waarin ze zijn opgegroeid en deze vervolgens uploaden naar Marble, dat ze vervolgens op intelligente wijze aan elkaar plakt om een ​​meeslepende digitale 3D-versie van de kamer te creëren.

Gebruikers kunnen vervolgens een reeks hulpmiddelen gebruiken om hun slaapkamerrecreatie te verbeteren of uit te breiden, door kleine details aan te brengen, zoals het toevoegen van een klok. Of ze kunnen grotere veranderingen doorvoeren: een tafel en stoelen toevoegen of de hele kamer aan een ander soort licht onderwerpen. Meer gevorderde gebruikers kunnen een ruwe 3D-scène maken (of importeren), inclusief de belangrijkste rekwisieten van een omgeving, en vervolgens tekstaanwijzingen gebruiken om de algehele stijl te bepalen.

Met bewerkingstools “kun je modellen herhalen en heen en weer gaan en het wereldbeeld op verschillende manieren bewerken om je te helpen die visie te (elimineren) en een perfecte wereld te creëren”, zegt Justin Johnson, medeoprichter van World Labs. World Labs heeft ook een ‘hub’ waar mensen hun 3D-creaties kunnen delen.

Marble kan 3D-werelden genereren die andere makers, misschien met behulp van andere tools, kunnen bouwen of verbeteren. Het kan werelden uitvoeren als Gaussiaanse splats, meshes of video’s: formaten die bekend zijn bij grafische professionals. “Dat is echt gaaf, omdat je dan die 3D-middelen kunt nemen en ze vervolgens kunt samenstellen met allerlei andere traditionele workflows”, aldus Johnson. “Je kunt driehoekige meshes nemen en deze in games stoppen. Je kunt gaussiaanse afbeeldingen maken en deze gebruiken voor VFX-opnamen, composieten en andere dingen.”

Bij generatieve AI is Gaussiaanse splat de beste manier om 3D-objecten en -ruimte weer te geven. Deze modellen produceren miljoenen of miljarden kleine ‘vonken’: semi-transparante deeltjes die verschillende punten in de 3D-ruimte bezetten. Het zijn kleine, gladde klodders waarvan de helderheid, dekking, kleur of dichtheid het grootst is in het midden, waarbij die waarden aan de randen vloeiend in een klokcurve naar nul dalen. De klodders verbinden zich vervolgens met hun buren, waardoor het soepele en consistente gevoel wordt versterkt. Wanneer miljarden van deze vonken elkaar overlappen, kunnen ze het gladde oppervlak, de kleur en de verlichting van een 3D-scène schatten.

Hoewel iedereen nu met Marble kan experimenteren, kunnen professionals zoals kunstenaars, ingenieurs en VFX-ontwerpers het nuttig vinden in hun werk. Li en zijn medeoprichters, Ben Mildenhall, Johnson en Christoph Lassner, zeggen dat deze ‘ruimtelijke intelligentie’ een verscheidenheid aan industrieën zou kunnen transformeren, waaronder gaming, filmproductie en robotica.

Li, die tevens leiding geeft aan het Stanford Institute for Human-Centered AI, ontving onlangs de prijs Koningin Elizabethprijs voor Techniek tijdens een ceremonie met koning Charles in Londen. De oprichters hebben ook indrukwekkende bona fides. Lassner bloeit pulsarsop bol gebaseerde renderer die de weg vrijmaakte voor 3D Gaussiaanse splatting. Johnson, die met Li werkte als afgestudeerde student aan Stanford, heeft het gemaakt realtime stijloverdracht (waarbij de visuele stijl van de ene afbeelding op de andere wordt toegepast), geïmplementeerd door Meta, Snap en Prisma. Ben Mildenhall creëert neurale emissievelden (NeRF)-methode, die een revolutie teweegbracht in de reconstructie van 3D-scènes.

World Labs biedt gelaagde abonnementen, te beginnen met een gratis laag die voldoende credits bevat om vier werelden te verdienen. Hogere niveaus voegen meer credits en meer tools toe, waarbij het topabonnement $ 95 per maand kost.