Yamaha's kunstmatige intelligentie (AI) transformeert een danser in een pianist
Danser: Kaiji Moriyama, begeleid door het Berliner Philharmoniker Scharoun Ensemble
HAMAMATSU, Japan, 31 januari 2018 - Yamaha Corporation is verheugd om aan te kondigen dat Yamaha's kunstmatige intelligentie-technologie (AI) de wereldberoemde danser Kaiji Moriyama in staat stelde een piano met zijn bewegingen te besturen. Het concert, gehouden in Tokio op 22 november 2017, kreeg de titel 'Mai Hi Ten Yu' en werd gesponsord door de Tokyo University of the Arts en Tokyo University of the Arts COI. Yamaha leverde een origineel systeem, dat menselijke bewegingen kan vertalen naar muzikale expressie door gebruik te maken van AI-technologie, als technische samenwerking voor het concert.
Korte versie (96 sec)
Volledige versie (5 min 16)
Gebaseerd op het systeem van Yamaha gaf Moriyama een briljante uitvoering met gesynchroniseerd prachtig pianogeluid. Bovendien werd de voorstelling begeleid door andere topspelers, het Berliner Philharmoniker Scharoun Ensemble.
Het concert dat werd uitgevoerd door getalenteerde musici met Yamaha-technologie toonde 'een expressievorm die lichaamsbewegingen en muziek met elkaar verbindt'.
Yamaha is van mening dat deze voorstelling een gestage vooruitgang betekent in het nastreven van nieuwe vormen van artistieke expressie en zal deze technologie blijven ontwikkelen om de mogelijkheden voor menselijke expressie verder uit te breiden.
Technologisch overzicht
De in het systeem geïntegreerde AI, dat nu in ontwikkeling is, kan de beweging van een danser in real time identificeren door signalen te analyseren van vier soorten sensoren die aan het lichaam van een danser zijn bevestigd. Dit systeem beschikt over een originele database die melodie en bewegingen koppelt, en met deze database creëert de AI op het systeem direct passende melodiegegevens (MIDI) uit de bewegingen van de danser. Het systeem stuurt de MIDI-gegevens vervolgens door naar een Yamaha Disklavier™-pianospeler en het wordt ook in muziek vertaald.
Om dansbewegingen om te zetten in muzikale expressie is de Yamaha Disklavier™ onmisbaar, omdat deze een rijk scala aan geluiden met uiterste nauwkeurigheid kan reproduceren door zeer kleine veranderingen in pianoaanslag. Bovendien gebruiken we een speciale Disklavier in het concert die werd geconfigureerd op basis van de Yamaha-vlaggenschipconcertvleugel, de CFX, om de uitvoering van de getalenteerde danser Moriyama integraal en volledig tot uitdrukking te brengen.
Disklavier™
De Disklavier™, een origineel systeem ontwikkeld door Yamaha, is een hybride pianospeler die automatisch speelt en de bewegingen van de toetsen en het pedaal uiterst nauwkeurig kan weergeven. Het nieuwste model, de Disklavier™ ENSPIRE, bevat opnames van de originele geluidsbronnen van wereldberoemde artiesten. Dit kenmerk verhoogt het genieten van muzikale optredens die gebruikers op hun gemak kunnen beleven.
Opmerkingen van deelnemers
Kaiji Moriyama, danser
Terwijl het AI-systeem mijn dansbewegingen verwerkte en vertaalde in muziek, voelde ik me ontwaken met de ongelooflijke kracht van mensen om gedachten en actie te begrijpen.
Peter Riegelbauer, vertegenwoordigend lid van het Berliner Philharmoniker Scharoun Ensemble
Het is zeer indrukwekkend voor ons geweest om met zo'n geweldige danser te spelen en we zijn zeer dankbaar dat we deze geweldige kans hebben gekregen.
Isao Matsushita, componist en vicepresident van de Tokio University of the Arts
Kunst moet mee veranderen met de veranderende tijden. Dit keer waren veel mensen betrokken bij het creëren van deze voorstelling, waaronder een danser en technici. Deze stijl van het creëren van muzikale composities is uitdagend, maar deze initiatieven hebben nieuwe mogelijkheden geopend en ons een nog krachtigere inspiratie gegeven dan we in het verleden hebben meegemaakt.
Motoichi Tamura, General Manager of Development Department No. 1, Research & Development Division, Yamaha Corporation
Bij Yamaha zijn we ervan overtuigd dat AI een brug zal vormen tussen mensen en muziekinstrumenten. We zetten onze AI-ontwikkelingsactiviteiten voort om mensen in staat te stellen zich vrijer en directer te uiten via muziekinstrumenten.