Door Adam Zewe
In gigantische autonome magazijnen schieten honderden robots door de gangpaden terwijl ze goederen verzamelen en distribueren om bestellingen van klanten uit te voeren. In deze drukke omgeving kan zelfs een kleine verkeersopstopping of een kleine botsing grote vertragingen veroorzaken.
Om veel inefficiënties te voorkomen, ontwikkelden onderzoekers van MIT en technologiebedrijf Symbotic een nieuwe methode die een vloot robots automatisch soepel laat bewegen. Hun methode leert welke robot elke keer als eerste moet gaan, op basis van hoe de storing optreedt, en past zich aan om prioriteit te geven aan welke robots vastlopen. Zo kan het systeem de route van de robot vooraf wijzigen om files te vermijden.
Dit hybride systeem maakt gebruik van diepgaand versterkend leren, een krachtige kunstmatige-intelligentiemethode voor het oplossen van complexe problemen, om te weten welke robots prioriteit moeten krijgen. Vervolgens geven snelle en betrouwbare planningsalgoritmen instructies aan de robots, waardoor ze snel kunnen reageren onder voortdurend veranderende omstandigheden.
In simulaties geïnspireerd op de lay-out van echte e-commerce magazijnen, zorgde de nieuwe aanpak voor een doorvoerverbetering van ongeveer 25 procent ten opzichte van andere methoden. Belangrijk is dat het systeem zich snel kan aanpassen aan nieuwe omgevingen met verschillende aantallen robots of variërende magazijnindelingen.
“Er zijn veel besluitvormingsproblemen in de productie en logistiek waar bedrijven vertrouwen op algoritmen die zijn ontworpen door menselijke experts. Maar we hebben aangetoond dat we met de kracht van diepgaand leren bovenmenselijke prestaties kunnen bereiken. Dit is een veelbelovende aanpak, omdat in deze gigantische magazijnen zelfs een productieverhoging van twee tot drie procent een grote impact kan hebben”, zegt Han Zheng, een afgestudeerde student in het Information and Decision Systems (LIDS) Laboratory aan het MIT en hoofdauteur van een artikel over de nieuwe aanpak.
Zheng wordt op het papier vergezeld door Yining Ma, een LIDS-postdoc; Brandon Araki en Jingkai Chen van Simbolik; en senior auteur Cathy Wu, universitair hoofddocent loopbaanontwikkeling in civiele techniek en milieutechniek (CEE) uit 1954 en het Institute for Data, Systems, and Society (IDSS) bij MIT, en lid van LIDS. Dit onderzoek verscheen vandaag in Tijdschrift voor onderzoek naar kunstmatige intelligentie.
De route van de robot wijzigen
Het gelijktijdig coördineren van honderden robots in een e-commerce magazijn is geen gemakkelijke taak.
Het probleem wordt ingewikkelder omdat magazijnen dynamische omgevingen zijn en robots voortdurend nieuwe taken krijgen nadat ze hun doelen hebben bereikt. Ze moeten onmiddellijk worden omgeleid bij het verlaten en betreden van de magazijnvloer.
Bedrijven maken vaak gebruik van algoritmen die zijn geschreven door menselijke experts om te bepalen waar en wanneer robots moeten bewegen om het aantal pakketten dat ze kunnen verwerken te maximaliseren.
Maar als er een file of aanrijding plaatsvindt, kan het bedrijf geen andere keuze hebben dan het hele magazijn urenlang te sluiten om het probleem handmatig op te lossen.
“In deze situatie hebben we geen exacte voorspellingen over de toekomst. We weten alleen wat er in de toekomst zou kunnen gebeuren, in termen van inkomende pakketten of toekomstige distributie van bestellingen. Het planningssysteem moet zich aanpassen aan deze veranderingen naarmate de magazijnactiviteiten vorderen,” zei Zheng.
MIT-onderzoekers bereikten dit aanpassingsvermogen met behulp van machine learning. Ze begonnen met het ontwerpen van een neuraal netwerkmodel om observaties van de magazijnomgeving te maken en te beslissen hoe robots prioriteit moesten krijgen. Ze hebben dit model getraind met behulp van deep Reinforcement Learning, een trial-and-error-methode waarbij het model leert een robot te besturen in een simulatie die een echt magazijn nabootst. Dit model wordt beloond voor het nemen van beslissingen die de algemene resultaten verbeteren en tegelijkertijd conflicten vermijden.
Na verloop van tijd leren neurale netwerken meerdere robots efficiënt te coördineren.
“Door interactie met simulaties die zijn geïnspireerd op echte magazijnindelingen, ontvangt ons systeem feedback die we gebruiken om de besluitvorming slimmer te maken. Het getrainde neurale netwerk kan zich vervolgens aanpassen aan magazijnen met verschillende indelingen”, legt Zheng uit.
Het is ontworpen om beperkingen en weerstanden op de lange termijn op het pad van elke robot vast te leggen, terwijl ook rekening wordt gehouden met dynamische interacties tussen robots terwijl ze door het magazijn bewegen.
Door huidige en toekomstige robotinteracties te voorspellen, wil het model knelpunten vermijden voordat ze zich voordoen.
Zodra het neurale netwerk beslist welke robot voorrang moet krijgen, gebruikt het systeem beproefde planningsalgoritmen om elke robot te vertellen hoe hij van het ene punt naar het andere moet komen. Deze efficiënte algoritmen helpen robots snel te reageren in veranderende magazijnomgevingen.
Deze combinatie van methoden is cruciaal.
“Deze hybride aanpak bouwt voort op het werk van mijn groep over hoe je het beste kunt bereiken tussen machine learning en klassieke optimalisatiemethoden. Pure machine learning-methoden hebben nog steeds moeite om complexe optimalisatieproblemen op te lossen, maar het is voor menselijke experts erg tijdrovend en arbeidsintensief om effectieve methoden te ontwerpen. Maar gecombineerd kan het op de juiste manier gebruiken van door experts ontworpen methoden de taken van machine learning aanzienlijk vereenvoudigen”, aldus Wu.
Het overwinnen van complexiteit
Nadat de onderzoekers het neurale netwerk hadden getraind, testten ze het systeem in een ander gesimuleerd magazijn dan het magazijn dat tijdens de training werd gezien. Omdat industriële simulaties te inefficiënt waren om dit complexe probleem aan te pakken, ontwierpen de onderzoekers hun eigen omgeving om na te bootsen wat er in een echt magazijn gebeurt.
Gemiddeld bereikt hun hybride, op leren gebaseerde aanpak een 25 procent grotere doorvoer dan traditionele algoritmen en willekeurige zoekmethoden, in termen van het aantal pakketten dat per robot wordt verzonden. Hun aanpak kan ook haalbare robotpadplannen opleveren om knelpunten veroorzaakt door traditionele methoden te overwinnen.
“Vooral naarmate de dichtheid van robots in magazijnen toeneemt, neemt de complexiteit exponentieel toe en beginnen deze traditionele methoden snel af te breken. In dit soort omgevingen is onze methode veel efficiënter”, aldus Zheng.
Hoewel hun systeem nog lang niet in de praktijk is geïmplementeerd, benadrukt deze demonstratie de haalbaarheid en voordelen van het gebruik van een machine learning-geleide aanpak in magazijnautomatisering.
In de toekomst willen onderzoekers taaktoewijzing opnemen in de probleemformulering, omdat het bepalen welke robot elke taak zal voltooien, knelpunten oplevert. Ze zijn ook van plan hun systeem uit te breiden naar grotere magazijnen met duizenden robots.
MIT-nieuws
