こんにちは、カシオで「Music Tapestry（ミュージック タペストリー）」という技術を開発している奥田広子です。

音楽は時間芸術で、鳴ってゆくそばから消えていきます。
演奏を視覚化することができれば楽しいのではないかと思い、電子楽器を弾くと発生するMIDI信号※を音楽解析して演奏を絵にする技術「Music Tapestry」を創りました。

※MIDI信号：MIDI（ミディ、Musical Instrument Digital Interface）は、電子楽器の演奏データを機器間で転送・共有するための共通規格

Music Tapestryについて

音に反応して映像を作るビジュアライザーや、特定の音楽に対して用意された映像を映すものは世の中に多くありますが、「Music Tapestry」は弾いている演奏をリアルタイムで音楽解析して、演奏に合う絵や曲の雰囲気に合う絵を作り出すという、今までにないアプローチで映像を作ってゆくものです。

また、「Music Tapestry」は、演奏が終わると、今弾いた1曲の演奏の絵の要素を構成しなおして一枚のアートとして表現することを特徴としています。短い曲なら短い五線譜の上にアートが描かれ、長い演奏であれば五線譜がぐるぐる回って大きな花束になっていきます。
同じ演奏をすることはできないので、同じ人が同じ曲を弾いても、二度と同じアートができあがることはありません。弾くたびに新しい絵が描かれます。

・Music Tapestryを使った伊賀あゆみさんの演奏

演奏によってできるアートの納得感

演奏に合う絵というのはどういうものかというと、例えば小さい音だと花びらやつぼみの絵が出て、大きい音だとお花がでてくるという表現だったり、テンポ通りに弾く曲だと最後に綺麗な円の五線譜が現れるけれども、揺れるテンポの曲だと五線譜が揺れて（曲がって）表現されたりすることなどが当たります。

曲の雰囲気に合う絵というのは、演奏中に調性を判定し、背景の色が調の色に変わっていったり、コード進行や曲の音楽要素などを解析して曲の持つ雰囲気を背景色の微調整に使ったりします。下記は最後に出てくる演奏によるアートの例です。

・小さい音が多い曲と大きな音が多い曲の違い

小さい音が多い曲は花びらが多く、大きな音が多い曲は大きな花が多い花束になります。

・テンポ通りのかっちりした曲とテンポが揺れる曲の違い

テンポの揺れがないかっちりした演奏だと綺麗な円の五線譜の上に花が配置されますが、ジャズ風の曲だと五線譜が曲がって揺れを表現します。

・調性による背景色の違い

「カノン」は転調がなく全体的に黄色の背景ですが、「エリーゼのために」はイ短調で紫色の背景になっていて、転調部分は色が変わっています。
この仕組みについては、また機会がありましたら投稿します。

最近の活動について

「Music Tapestry」の最近の活動について、簡単にご紹介します。

●昨年MIDI Innovation Awards 2023にエントリーをし、ソフトウェア・プロトタイプの非商用製品の部門Finalistになり、今年の「NAMM Show」のMIDI Associationブースでデモンストレーションされました。

●鳥取砂丘コナン空港で、100万人のクラシックライブと共演。

●東京で行われた国際物理オリンピックでブース出展し、物理オリンピックのために来日した世界各地の学生さんたちに体験してもらいました。

●東京都羽村市の市民と産業の祭りに出展し、市民の皆様に体験してもらいました。

●大和市文化芸術ホールシリウスにてバリアフリーコンサートに出演。

東京近辺での展示が多いですが、現在鳥取砂丘コナン空港国際線2階ロビーで常設展示がされていて、地方でも展示機会があります。
弾いて絵を作るという、他にはないデジタルならではの体験なので、多くの皆さまに体験していただけると嬉しいです。
ご興味のある方は、下記の情報をご覧ください。

【Music Tapestry HP】

（日本語版）

（英語版）

・Music Tapestry Instagramアカウント

https://www.instagram.com/casio_music_tapestry/