Veel technische uitdagingen veroorzaken hetzelfde probleem: te veel knoppen om om te draaien en te weinig mogelijkheden om ze te testen. Of het nu gaat om het afstemmen van het elektriciteitsnet of het ontwerpen van veiligere voertuigen, elke evaluatie kan kostbaar zijn en er kunnen honderden variabelen een rol spelen.
Denk aan het veiligheidsontwerp van de auto. Ingenieurs moeten duizenden onderdelen integreren, en veel ontwerpkeuzes kunnen de prestaties van een voertuig bij een ongeval beïnvloeden. Klassieke optimalisatietools kunnen moeite krijgen bij het zoeken naar de beste combinatie.
MIT-onderzoekers ontwikkelden een nieuwe aanpak die heroverweegt hoe klassieke methoden, bekend als Bayesiaanse optimalisatie, kunnen worden gebruikt om problemen met honderden variabelen op te lossen. Bij tests op realistische benchmarks voor technische krachten, zoals de optimalisatie van energiesystemen, vindt deze aanpak de beste oplossing 10 tot 100 keer sneller dan veelgebruikte methoden.
Hun techniek maakt gebruik van een basismodel dat is getraind op tabelgegevens en dat automatisch de belangrijkste variabelen identificeert om de prestaties te verbeteren, waarbij het proces wordt herhaald om steeds betere oplossingen te verfijnen. Basismodellen zijn grote kunstmatige-intelligentiesystemen die zijn getraind op grote, openbare datasets. Hierdoor kunnen ze zich aanpassen aan verschillende toepassingen.
Het tabelvormige basismodel van de onderzoekers hoeft niet voortdurend te worden bijgeschoold terwijl het naar een oplossing toewerkt, waardoor de efficiëntie van het optimalisatieproces wordt vergroot. Deze techniek zorgt ook voor een grotere snelheid bij complexere problemen, waardoor deze zeer nuttig kan zijn bij veeleisende toepassingen zoals de ontwikkeling van materialen of de ontdekking van geneesmiddelen.
“Moderne AI- en machine learning-modellen kunnen de manier waarop ingenieurs en wetenschappers complexe systemen creëren fundamenteel veranderen. We hebben één enkel algoritme bedacht dat niet alleen hoogdimensionale problemen kan oplossen, maar ook herbruikbaar is, zodat het op veel problemen kan worden toegepast zonder alles vanaf nul te hoeven beginnen”, zegt Rosen Yu, een afgestudeerde student in computationele wetenschappen en techniek en hoofdauteur van een artikel over de techniek.
Yu werd op de paper vergezeld door Cyril Picard, een voormalig postdoctoraal en onderzoekswetenschapper van MIT, en Faez Ahmed, hoogleraar werktuigbouwkunde en kernlid van MIT’s Center for Computational Science and Engineering. Dit onderzoek zal worden gepresenteerd op de International Conference on Learning Representations.
Beproefde methoden verbeteren
Wanneer wetenschappers problemen proberen op te lossen die veelzijdig zijn, maar dure methoden hebben om succes te evalueren, zoals auto-ongeluktests om erachter te komen hoe goed elk ontwerp is, gebruiken ze vaak een beproefde methode die Bayesiaanse optimalisatie wordt genoemd. Deze iteratieve methode vindt de beste configuratie voor een complex systeem door een surrogaatmodel te bouwen dat helpt voorspellen wat er vervolgens moet worden onderzocht, terwijl rekening wordt gehouden met de onzekerheid van de voorspellingen ervan.
Het surrogaatmodel moet echter na elke iteratie opnieuw worden getraind, wat snel rekenkundig onhandelbaar kan worden als de ruimte voor mogelijke oplossingen erg groot is. Bovendien moeten wetenschappers nieuwe modellen vanaf het begin opbouwen wanneer ze met verschillende scenario’s willen omgaan.
Om deze twee tekortkomingen te overwinnen, gebruikten de MIT-onderzoekers een generatief AI-systeem dat bekend staat als een tabellarisch basismodel als vervangingsmodel in het Bayesiaanse optimalisatie-algoritme.
“Het basismodel in tabelvorm is zoals ChatGPT is voor spreadsheets. De invoer en uitvoer van dit model bestaat uit gegevens in tabelvorm, die in het technische domein veel gebruikelijker zijn om te zien en te gebruiken dan talen, ” zei Yu.
Net als grote taalmodellen zoals ChatGPT, Claude en Gemini zijn ze vooraf getraind in grote hoeveelheden tabelgegevens. Dit maakt het goed uitgerust om een breed scala aan voorspellingsproblemen aan te pakken. Bovendien kan het model worden geïmplementeerd zoals het is, zonder dat er opnieuw training nodig is.
Om hun systeem nauwkeuriger en efficiënter te maken bij het optimaliseren, gebruikten de onderzoekers een truc waarmee het model de kenmerken van de ontwerpruimte kon identificeren die de grootste impact op de oplossing zullen hebben.
“Een auto heeft misschien wel 300 ontwerpcriteria, maar ze zijn niet allemaal de belangrijkste drijfveren voor het beste ontwerp als je bepaalde veiligheidsparameters probeert te verbeteren. Ons algoritme kan op intelligente wijze de belangrijkste kenmerken selecteren waarop we ons moeten concentreren”, zei Yu.
Dit wordt gedaan door gebruik te maken van een eenvoudig tabellarisch model om te schatten welke variabelen (of combinaties van variabelen) de resultaten het meest beïnvloeden.
Vervolgens wordt de zoektocht gericht op die variabelen met een grote impact, in plaats van tijd te verspillen door ze allemaal in gelijke mate te onderzoeken. Als de omvang van de kreukelzone aan de voorkant bijvoorbeeld aanzienlijk toeneemt en de veiligheidsbeoordeling van de auto verbetert, is het waarschijnlijk dat deze kenmerken een rol hebben gespeeld bij de verbetering.
Groter probleem, betere oplossing
Een van hun grootste uitdagingen was het vinden van het beste tabellarische funderingsmodel voor deze taak, zei Yu. Vervolgens moeten ze het op zo’n manier relateren aan een Bayesiaans optimalisatie-algoritme dat het de meest opvallende ontwerpkenmerken kan identificeren.
“Het vinden van de meest prominente dimensies is een veelvoorkomend probleem in de wiskunde en informatica, maar het vinden van een manier om de eigenschappen van tabellarische basismodellen te benutten is een echte uitdaging,” zei Yu.
Met een bestaand algoritmisch raamwerk testten de onderzoekers hun methode door deze te vergelijken met vijf geavanceerde optimalisatiealgoritmen.
Op basis van 60 benchmarkproblemen, waaronder realistische situaties zoals het ontwerp van het elektriciteitsnet en het testen van auto-ongelukken, vond hun methode consequent de beste oplossing tussen 10 en 100 keer sneller dan andere algoritmen.
“Wanneer het optimalisatieprobleem meer dimensionaal wordt, komt ons algoritme echt tot zijn recht”, voegde Yu eraan toe.
Hun methode presteert echter niet beter dan de basislijn bij alle problemen, zoals het plannen van robotpaden. Dit kan erop wijzen dat het scenario niet goed gedefinieerd was in de trainingsgegevens van het model, zei Yu.
In de toekomst willen onderzoekers methoden bestuderen die de prestaties van tabellarische funderingsmodellen kunnen verbeteren. Ze willen hun technieken ook toepassen op problemen met duizenden of zelfs miljoenen dimensies, zoals het ontwerpen van marineschepen.
“Op een hoger niveau wijst dit onderzoek op een bredere verschuiving: het gebruik van basismodellen niet alleen voor perceptie of taal, maar ook als algoritmische motoren in wetenschappelijke en technische hulpmiddelen, waardoor klassieke methoden zoals Bayesiaanse optimalisatie kunnen worden toegepast op systemen die voorheen onpraktisch waren,” zei Ahmed.
“De aanpak die in dit onderzoek wordt gepresenteerd, waarbij gebruik wordt gemaakt van voorgetrainde funderingsmodellen samen met hoogdimensionale Bayesiaanse optimalisatie, is een creatieve en veelbelovende manier om de grote gegevensvereisten bij op simulatie gebaseerd ontwerp te verminderen. Over het geheel genomen is dit onderzoek een praktische en krachtige stap in de richting van het toegankelijker en toepasbaarder maken van geavanceerde ontwerpoptimalisatie in echte omgevingen”, zegt Wei Chen, Wilson-Cook hoogleraar Engineering Design en voorzitter van de afdeling Werktuigbouwkunde aan de Northwestern University, die niet bij het onderzoek betrokken was.
