De robots komen eraan – en ze hebben een goede kaart nodig om zich te verplaatsen, of ze nu pakketten bezorgen, ons rondrijden of allerlei andere taken uitvoeren die hulprobots in de toekomst voor ons kunnen doen.
“Zonder ruimtelijke intelligentie kan je robot niet doen wat je wilt”, zegt John Hanke, voormalig CEO van Niantic Spatial. omgeleid werd een week geleden uitvoerend voorzitter van het bedrijf. “Uw Roomba werkt alleen bij u thuis. Maar omdat we op stadsschaal gaan werken, hebben we een grote, grootschalige, gedeelde en nauwkeurige weergave van de wereld nodig.”
Deze week zette Niantic de volgende stap bij het bouwen van die kaart: het bedrijf lanceerde zijn nieuwe Scaniverse-platform, dat tot doel heeft bedrijven en individuen de tools te geven om de wereld vast te leggen met telefoons, 360-gradencamera’s en drones, en die gegevens vervolgens te combineren tot enorme 3D-kaarten waarmee robots met nauwkeurigheid op centimeterniveau door de wereld om ons heen kunnen navigeren.
Deze aanpak verschilt sterk van de traditionele aanpak die bedrijven als Google voor dit probleem hebben gevolgd, zoals Hanke uit de eerste hand leerde toen hij twintig jaar geleden leiding gaf aan Google’s karteringsinspanningen. “Het probleem met de aanpak van Google, als het eenmaal actief is, is: je stuurt alle auto’s eropuit en legt alle wegen vast”, zei Hanke. “Dan worden er nieuwe wegen aangelegd. Alles verandert. Je loopt altijd achter. Je data zijn altijd verouderd. Ze zijn altijd oud. En ze zijn erg kapitaalintensief.”
En hoewel verouderde kaarten mensen kunnen irriteren, hebben robots er niets aan. “Je wilt dat deze kaart een levende kaart is, en geen statische reconstructie,” zei Hanke.
Een applicatie voor fans wordt een bedrijfsplatform
Niantic hanteerde een bottom-up, gedistribueerde benadering van mapping toen het werkte aan de populaire mobiele game Pokémon Go, en moest echte oriëntatiepunten omzetten in virtuele slagvelden voor zijn miljoenen spelers. Toen het bedrijf een jaar geleden Pokémon Go verkocht en zijn naam veranderde in Niantic Spatial, verdubbelde het zijn inspanningen op het gebied van 3D-kaarten en sloot het een deal. met een roboticabedrijf en andere partijen om hun georuimtelijke gegevens te gebruiken.
Het nieuwe Scaniverse-platform van het bedrijf is gebaseerd op een app voor de 3D-enthousiastelingen van het bedrijf verkregen vijf jaar geleden.
In de eerste versie was de Scaniverse-app er vooral op gericht om mensen kleinere objecten in 3D te laten vastleggen. Om dit te doen, zullen Scaniverse-gebruikers de camera van hun telefoon langzaam rond het object bewegen, en vervolgens zal de app de vastgelegde beelden omzetten in een driedimensionale weergave van het object. Sinds de overname heeft Niantic Scaniverse uitgebreid, zodat gebruikers een hele kamer kunnen scannen, terwijl alle gegevens nog steeds lokaal op de telefoon van de gebruiker worden verwerkt.
Nu zet Niantic de volgende stap door speciale, cloudgebaseerde videoverwerking te lanceren Scaniverse-website. De klanten van het bedrijf kunnen de website gebruiken om beelden van verschillende apparaten te uploaden, waaronder niet alleen mobiele telefoons, maar ook 360-gradencamera’s en drones, en die beelden vervolgens om te zetten in 3D-modellen.
Het toevoegen van 360-gradencamera-ondersteuning was een doorbraak voor het bedrijf. “Je camera ziet wat zich voor je bevindt, wat zich achter je, boven je en onder je bevindt”, zegt Niantic Spatial Senior Product Manager Azad Balabanian. “Dit is erg belangrijk om (scans) te kunnen maken die erg meeslepend lijken.”
Vorige maand liet Niantic me een grote doos scannen voor het Ferry Building in San Francisco, waar het bedrijf is gevestigd. Het vastleggen van dit gebied was eenvoudig: ik hield simpelweg de 360 graden camera op de selfiestick terwijl ik nonchalant in een grote cirkel rondliep – een proces dat misschien vijf minuten duurde. Nadat de beelden naar Scaniverse waren geüpload, verwijderde het platform automatisch mijn tracks en gaf vervolgens het volledige raster in 3D weer:
Om vastgelegde videobeelden om te zetten in 3D-modellen, gebruikt Scaniverse een technologie die bekend staat als Gaussiaanse splatting. In wezen verandert Gaussiaanse splatting een 2D-beeld in een groot aantal driedimensionale klodders die een verschillende mate van transparantie bieden en vanuit alle hoeken kunnen worden bekeken. Gaussiaanse spetters zijn een van de meest veelbelovende manieren geworden om de ruimte in 3D vast te leggen. Dat gebeurt ook gebruikt door Meta om echte kamers voor virtuele werelden vast te leggen.
Niantic heeft het in eigen beheer uitgebracht VR-kijkapplicatie voor de Scaniverse-scan van vorig jaar. Nu wil het bedrijf er niet alleen voor zorgen dat de scanresultaten er goed uitzien voor mensen, maar ook logisch zijn voor robots en bots AI algoritme. “Gaussiaanse spetters kunnen erg ingewikkeld zijn”, legt Balabanian uit. “Dingen (kunnen) mooi lijken, maar eigenlijk geen echt oppervlak hebben.”
Simpel gezegd: een wit geschilderde muur is bijna niet te onderscheiden van een mistmuur tot een 3D-scantoepassing. Dat is de reden waarom Niantic-onderzoekers het hebben ontwikkeld diepteschattingsmodel voor het Scaniverse-cloudverwerkingsplatform dat harde oppervlakken nauwkeurig vastlegt waar robots tegenaan kunnen botsen. “We kunnen kwaliteit op lidar-niveau bereiken zonder Lidar nodig te hebben”, zei Balabanian, verwijzend naar de lasersensoren die door zelfrijdende auto’s worden gebruikt om veilig over wegen te navigeren.
3D voor bouwbedrijven, Hollywood en AI
Enkele van de sectoren waarop Niantic zich richt met zijn nieuwe Scaniverse-platform zijn onder meer de bouw, logistiek en nutsvoorzieningen, allemaal industrieën die grote en complexe locaties beheren. Het hebben van 3D-modellen van deze locaties kan helpen bij de planning en het onderhoud, maar stelt bedrijven ook in staat robots te gebruiken om door hun magazijnen en energiecentrales te navigeren.
Ook voor het bouwen en trainen van robots, en voor de AI-modellen die gebruikt worden om ze te laten functioneren, is veel 3D-data nodig. “Robots hebben veel trainingsgegevens nodig en (bedrijven) willen deze in een trainingsomgeving simuleren voordat ze deze inzetten”, aldus Balabanian. “Als je er zeker van wilt zijn dat je robot op echte plekken goed werkt, kun je dat het beste doen door de plekken zelf in kaart te brengen.”
Zelfs Hollywood kan profiteren van technologieën zoals Gaussiaanse splatting, en bijvoorbeeld het scannen van filmlocaties om opnames te plannen, en het produceren van het soort ruwe conceptbeelden die onder studio-insiders bekend staan als pre-visualisatie.
Maar zelfs nu Niantic Spatial zijn aanbod nu uitbreidt naar ondernemingen, is het de hobbyisten en enthousiastelingen niet vergeten die van Scaniverse een vroeg succesverhaal op het gebied van 3D-scannen hebben gemaakt. Voorlopig biedt het bedrijf afzonderlijke consumenten- en bedrijfsaccounts voor Scaniverse. Uiteindelijk willen ze beide versies van het platform combineren en liefhebbers en prosumers ook toegang geven tot cloudgebaseerde verwerking.
Dit weerspiegelt de wortels van Niantic in de consumentenwereld – dezelfde wortels die ertoe hebben geleid dat het bedrijf meer op eenvoudige telefoongebaseerde apps is gaan vertrouwen dan op een vloot dure, met camera’s uitgeruste auto’s om de wereld te scannen. “In het begin groeiden we vrij snel met heel weinig”, zegt Balabanian. “Alles wat we hebben ontwikkeld voor consumententoepassingen is nu een springplank voor ondernemingen.”
