Signal compose
（Hiroshi YAMATO, Yoshitaka OISHI, Kota TSUMAGARI, Ryo MORITA）

Signal composeは、専門的技術・知識・独創性を持つメンバーによって駆動するクリエイティブチームです。音楽・映像・ソフトウェア・ハードウェアといった各々の感興から、世界をちょっとずつ豊かにしていきます。

このパフォーマンスは、人間とAIの両方によって即興として互いのパフォーマンスを実行しコラボレーションする作品です。 パフォーマンスでは音楽を共創するパートナーとしてAIを取り入れようとしました。 AIは、事前にピアノとギターのデュオを習得したリカレントニューラルネットワークを使用しています。 また、人間によるパフォーマンスに応じてMIDIデータをリアルタイムで生成し、 AIはそのMIDIデータを使用してトイピアノを自ら演奏しています。

現代においては「AI」の文字は至る所で目にすることができます。ですが、私たちはその「AI」を過去の技術同様に「便利に使い」「人間の欲望を達成する」だけになっているのではないでしょうか？そこで以下のコンセプトで作品制作を行いました。「人間の演奏をAIが解釈して 共演する(visible)。そこには 人間同士ではない別の音楽的 コミュニケーションが発生す る(hidden)。またそのコミュ ニケーションはすべてデジタル データであり、デジタルデー タである以上『再解釈』が可 能なものだ。そのデータを音 場として再生することで、観 客に体験可能な形で現代のコ ミュニケーションの形を提示する(re-visible)」つまりこのパフォーマンスは「パートナーとしてのAI」「共にクリエイトする仲間としてのAI」を、音楽という一過性の現象の中に呼び出す試みです。

まずAIを憑依させる御神体としての体が必要でした。当初はすでに製品として存在している自動演奏ピアノを使うことを考えました。しかし製品の自動演奏ピアノの音は、AIが行う演奏に対して完成され過ぎていました。そこで既製品のトイピアノにソレノイドを使って自動演奏機能を付け足すことにしました。ソレノイドもトイピアノのサイズに合わせて全て3Dプリンターを使って制作しています。AIには事前に人間のピアノとギターのデュオのデータや、他のピアノの演奏のデータを使って学習させています。実際の演奏では人間のギターの演奏をMIDIに変換することで、AIが聞ける状態を作り出しAIは人間の演奏に反応する形で演奏しています。

https://signalcompose.com/works/visible-hidden-revisible