Afbeelding afkomstig uit een YouTube-video gemaakt door de auteur (zie hieronder).
Een systeem ontwikkeld door onderzoekers van de Universiteit van Waterloo stelt mensen in staat samen te werken met een groep robots om kunstwerken te creëren die zijn geïnspireerd op muziek.
De nieuwe technologie maakt gebruik van robots met twee wielen ter grootte van voetballen die gekleurde lichten volgen terwijl ze binnen een vast gebied op de vloer bewegen als reactie op belangrijke kenmerken van de muziek, waaronder tempo en akkoordprogressie.
Een camera registreert gecoördineerde lichtsporen terwijl ze door het gebied slingeren, wat dient als canvas voor het creëren van een ‘schilderij’, of een visuele weergave van de emotionele inhoud van een bepaald muziekstuk.
“In wezen hebben we een zwerm robots geprogrammeerd om te schilderen op basis van muzikale input”, zegt dr. Gennaro Notomista, hoogleraar elektrische en computertechniek bij Waterloo.
“Het resultaat is een samenhangend systeem dat niet alleen muzikale input verwerkt, maar ook meerdere schilderrobots coördineert om adaptieve, expressieve kunst te creëren die de emotionele essentie van de gespeelde muziek weerspiegelt.”
De robots vertegenwoordigen emoties terwijl ze naar muziek ‘luisteren’ door de kleur, intensiteit en breedte van hun lichtpaden, maar ook door hun positie op het canvas en de snelheid van hun beweging daarin.
Mensen kunnen tegelijkertijd het schilderij dat wordt verwerkt beïnvloeden met behulp van bedieningselementen om de breedte van het lichtpad en de locatie ervan op het virtuele canvas te wijzigen.
“We gebruiken menselijke controle-input om mensen en robots te laten samenwerken”, zegt Notomista, wiens interesses zich uitstrekken over het snijvlak van kunst en technologie. “Menselijke schilders moeten complementair zijn en aangevuld worden met wat de robots doen.”
De eerste uitdaging voor onderzoekers is het ontwikkelen van algoritmen om meerdere robots in een specifiek gebied te besturen. Ze testten het systeem met maximaal twaalf robots, maar het systeem kan worden opgeschaald om een willekeurig aantal robots aan te kunnen.
De tweede stap omvat het creëren van technologie om muzikale kenmerken die emoties uitdrukken te extraheren en te analyseren, zodat deze vervolgens kunnen worden vertaald in lichte sporen die deze op passende wijze weergeven.
De lessen die tijdens dit project zijn geleerd, hebben potentiële toepassingen op andere gebieden die de controle en coördinatie vereisen van meerdere robots die tegelijkertijd werken, zoals milieumonitoring, precisielandbouw, zoek- en reddingsmissies en planetaire verkenning.
Dit onderzoek weerspiegelt ook het Global Futures-initiatief van de Universiteit van Waterloo, dat interdisciplinair werk bevordert dat nagaat hoe nieuwe technologieën de samenleving, cultuur en menselijke ervaringen vorm kunnen geven.
In de toekomst is Notomista van plan professionele schilders en muzikanten te werven om de mogelijkheden van dit nieuwe hulpmiddel te onderzoeken in gebruikersstudies en openbare tentoonstellingen te houden.
Een paper over het systeem, Painting a Music-Driven Robot Swarm, door Notomista en Jingde Cheng, een voormalig afgestudeerde studente in Waterloo, werd gepresenteerd op Internationale IEEE-conferentie 2025 over geavanceerde robotica en de sociale impact ervan.
Universiteit van Waterloo
