De eerste jaren van de carrière van een faculteitslid zijn een vormende en opwindende tijd voor het vestigen van een sterke positie die de richting van de studie van de onderzoeker helpt bepalen. Dit omvat het opbouwen van een onderzoeksteam dat innovatieve ideeën en leiding, creatieve medewerkers en betrouwbare middelen nodig heeft.
Voor een groep MIT-faculteiten die met en op het gebied van kunstmatige intelligentie werken, heeft de vroege betrokkenheid bij het MIT-IBM Watson AI Lab via het project een cruciale rol gespeeld bij het bevorderen van ambitieuze onderzoekslijnen en het opzetten van een productieve onderzoeksgroep.
Bouw momentum op
“Het MIT-IBM Watson AI Lab was van cruciaal belang voor mijn succes, vooral toen ik begon”, zegt Jacob Andreas – professor aan de afdeling Elektrotechniek en Computerwetenschappen (EECS), lid van MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL), en onderzoeker in het MIT-IBM Watson AI Lab – die natuurlijke taalverwerking (NLP) bestudeert. Kort nadat hij bij MIT kwam werken, startte Andreas zijn eerste grote project via het MIT-IBM Watson AI Lab, waarbij hij werkte aan taalrepresentatie en gestructureerde data-augmentatiemethoden voor talen met weinig hulpmiddelen. “Dat is de reden dat ik mijn lab heb gelanceerd en studenten ben gaan werven.”
Andreas merkt op dat dit op een “cruciaal moment” komt, wanneer het NLP-veld een significante verschuiving ondergaat in de richting van het begrijpen van taalmodellen – een taak die aanzienlijk meer computergebruik vereist, wat beschikbaar is via het MIT-IBM Watson AI Lab. “Ik heb het gevoel dat het werk dat we aan dat (eerste) project hebben gedaan, en de samenwerking met iedereen aan IBM-kant, behoorlijk nuttig was bij het uitzoeken hoe we door die transitie konden navigeren.” Bovendien kon de groep van Andreas een meerjarig project uitvoeren op het gebied van pre-training, versterkend leren en kalibratie om betrouwbare antwoorden te verkrijgen, dankzij de computerbronnen en expertise binnen de MIT-IBM-gemeenschap.
Voor verschillende andere faculteitsleden is tijdige deelname aan het MIT-IBM Watson AI Lab ook zeer nuttig gebleken. “Het hebben van die intellectuele steun en het kunnen benutten van een aantal van de computerbronnen die bij MIT-IBM bestaan, is zeer transformerend en zeer belangrijk geweest voor mijn onderzoeksprogramma”, zegt Yoon Kim – professor bij EECS, CSAIL en onderzoeker bij het MIT-IBM Watson AI Lab – die ook zijn onderzoeksgebied van richting heeft zien veranderen. Voordat hij bij MIT kwam, ontmoette Kim zijn toekomstige medewerkers tijdens een postdoctorale positie bij MIT-IBM, waar hij de ontwikkeling van neuro-symbolische modellen nastreefde; nu ontwikkelt Kim’s team methoden om de mogelijkheden en efficiëntie van grote taalmodellen (LLM’s) te verbeteren.
Een van de factoren die volgens hem tot het succes van zijn groep hebben geleid, was een soepel onderzoeksproces met intellectuele partners. Hierdoor kan zijn MIT-IBM-team een project aanvragen, op grote schaal experimenteren, knelpunten identificeren, technieken valideren en zich indien nodig aanpassen om geavanceerde methoden te ontwikkelen voor opname in toepassingen in de echte wereld. “Het is een drang naar nieuwe ideeën, en ik denk dat dat het unieke is aan deze relatie”, zei Kim.
Vaardigheden combineren
De aard van het MIT-IBM Watson AI Lab is dat het niet alleen onderzoekers op het gebied van AI samenbrengt om onderzoek te versnellen, maar ook werk uit verschillende disciplines combineert. Laboratoriumonderzoeker en MIT-universitair hoofddocent van EECS en CSAIL Justin Solomon beschrijft zijn onderzoeksgroep als opgegroeid met het laboratorium, en de samenwerking is “belangrijk…van het begin tot nu.” Het onderzoeksteam van Solomon richt zich op theoretisch georiënteerde geometrische problemen die verband houden met computergraphics, visie en machinaal leren.
Solomon crediteert de MIT-IBM-samenwerking met het verbreden van zijn expertise en de toepassing van het werk van zijn groep – een gevoel dat wordt gedeeld door laboratoriumonderzoekers Chuchu Fan, hoogleraar luchtvaart en ruimtevaart en lid van het Information and Decision Systems Laboratory, en Faez Ahmed, hoogleraar werktuigbouwkunde. “Zij (IBM) waren in staat om enkele van deze zeer rommelige technische problemen te vertalen naar wiskundige hulpmiddelen waarmee ons team kon werken, en die problemen op te lossen”, zei Solomon. Voor Solomon betekent dit het combineren van verschillende AI-modellen die zijn getraind op verschillende datasets voor afzonderlijke taken. “Ik denk dat dit allemaal heel interessante plaatsen zijn”, zei hij.
“Ik denk dat deze vroege carrièreprojecten (met het MIT-IBM Watson AI Lab) grotendeels mijn onderzoeksagenda hebben gevormd”, zegt Fan, wiens onderzoek kruist met robotica, controletheorie en veiligheidskritische systemen. Net als Kim, Solomon en Andreas begonnen Fan en Ahmed het project via samenwerking in hun eerste jaar bij MIT. Beperkingen en optimalisatie bepalen het probleem dat Fan en Ahmed aanpakken, en vereisen diepgaande domeinkennis die verder gaat dan alleen AI.
Door samen te werken met het MIT-IBM Watson AI Lab kon de groep van Fan formele methoden combineren met natuurlijke taalverwerking, waardoor het team volgens hem kon overstappen van het ontwikkelen van autoregressieve taken en bewegingsplanning voor robots naar het creëren van op LLM gebaseerde agenten voor reisplanning, besluitvorming en verificatie. “Het werk was de eerste verkenning van het gebruik van LLM om elke natuurlijke taal in vrije vorm te vertalen naar specificaties die een robot zou kunnen begrijpen en uitvoeren. Dat is iets waar ik erg trots op ben, en een heel moeilijke bovendien”, zei Fan. Bovendien heeft zijn team door gezamenlijke onderzoeken de redenering van de LLM kunnen verbeteren – werk dat “zonder de steun van IBM niet mogelijk zou zijn geweest”, zei hij.
Via het laboratorium vergemakkelijkt de samenwerking van Faez Ahmed de ontwikkeling van machine learning-methoden om het ontdekken en ontwerpen van complexe mechanische systemen te versnellen. Hun Linkages-werk maakt bijvoorbeeld gebruik van ‘generatieve optimalisatie’ om technische problemen op een datagestuurde en nauwkeurige manier op te lossen; onlangs hebben ze multimodale data en LLM toegepast op computerondersteund ontwerp. Ahmed stelt dat AI vaak wordt toegepast op problemen die al oplosbaar zijn, maar baat zouden kunnen hebben bij een grotere snelheid of efficiëntie; uitdagingen – zoals mechanische verbindingen die als “bijna onoverkomelijk” worden beschouwd – liggen nu echter binnen handbereik. “Ik denk dat dit een kenmerk is van (ons MIT-IBM-team),” zei Ahmed, terwijl hij de prestaties van zijn MIT-IBM-groep prees, onder leiding van IBM’s Akash Srivastava en Dan Gutfreund.
Wat begon als een eerste samenwerking voor individuele MIT-faculteitleden is uitgegroeid tot een duurzame intellectuele relatie, waarin beide partijen ‘gepassioneerd zijn door wetenschap’ en ‘studentgedreven’ zijn, voegde Ahmed eraan toe. Over het geheel genomen tonen de ervaringen van Jacob Andreas, Yoon Kim, Justin Solomon, Chuchu Fan en Faez Ahmed de impact aan die langdurige en directe relaties tussen de academische wereld en de industrie kunnen hebben op de vorming van ambitieuze onderzoeks- en wetenschappelijke verkenningsgroepen.
