メディアアート「多面体・鏡面」

同じ声データを反復する「音声合成ソフト」による歌唱。同じ再生を世界中で実現する「インターネットを通した音楽鑑賞」。一見すると「瞬間の芸術」とは対極に見えるが、果たして本当にそうなのだろうか。

ユーザのコメントや反応と共に視聴される空間や、そこに彩られるれる何千万ものN次創作。人の数だけ存在するコンテンツの多様な選択と解釈の還元、再構成。これらのプロセスは複雑に絡み合い、全体としての表象や質を変化・拡張させていく。この時、一瞬一瞬の音楽体験には、ゆるやかにインタラクティブな一回性があるとは言えないだろうか。

本作品では、こうした「再現や再生」の裏に隠れた、ユーザー毎の「選択や想像」の存在を捉え直し、一連のプロセスを空間化する。新たに合成音声キャラクターを創造し、その合成音声で歌唱された楽曲映像に対し鑑賞者が抱いたイメージを、回収して作品自体に反映できるようなシステムを構築する。

このシステムによって、鑑賞者は自分より前の鑑賞者の「想い」が反映された作品を見ることになる。これを踏まえた想像がまた、新たな「想い」として回収され、作品に変化をもたらす。こうした「選択や想像」の循環が、ゆるやかに音楽や歌唱者の在り方を変化させ、その一瞬一瞬に「一回性の体験」を提供する。

本作品では、ゲストとしてアーティストのたなか氏を招き、StudioGnuと共同で作品制作を行った。

たなか

音楽家、バンド・Diosのボーカル。他メンバーはIchika Nito、ササノマリイ。前職はぼくのりりっくのぼうよみで、2019年に終了。プロデューサーとしての顔も持ち、香取慎吾、花譜、葛葉、ヒプノシスマイクなど携わるアーティストは多岐に渡る。オンラインで不定期に発売される焼き芋屋「たなかいも。」を作り、わずか2ヶ月で2トン近くを売り上げるなど、単に美しい音楽を作るというよりは、様々な方法で、どうにか世界で生き延びる姿を表現したい、というのがテーマ。

軸となるキャラクターは、たなかの声を波形接続型の音声合成ソフトウェア「UTAU」によって合成音声化することで実現した。音源は連続音3音階7モーラで作成する。キー設定をA3、C3、F4で録音し、簡易的に原音設定を行った。作品では、たなかと椎乃味醂で今回新たに書き下ろした、異なるパターンの3楽曲を歌唱させた。

その後、出来上がった合成音声に対し立ち絵とキャッチコピーを与え、新たな合成音声キャラクター「彼方」としてとしてパッケージングする。彼方のキャラクターデザインは、氵戔マ氏にご協力頂いた。また、ポスターはkohakuno氏にご協力頂いた。音声のニュアンスやコンセプトなどを汲み取りつつ、製品に似た実装を試みた。作品では、ポスターはモニターに常時映し出される。

上記で完成した、彼方歌唱楽曲、およびポスターをシステムに組み込み、鑑賞者がアクションを起こすことで作品が変化する、インタラクション性を実装する。本作品では、システム全体の設計をnaporitan氏にご協力頂いた。また、システム構築にあたってインフラや機材周りのサポートをyuu氏にご協力頂いた。

Fig.1は、システムの概略図である。楽曲は、後述の再生システムによってMVと合成され、MVモニターから放映される。MVを観た鑑賞者は、作品を見て思い浮かんだ単語や色などの「想い」を、スマートフォンやタブレットなどからフォーム（Fig.2）を通じて入力することができる。

鑑賞者の入力はサーバーに回収され、内部で「生成システム」に受け渡される。すると、原初のキャッチコピーと MV 映像に対し、システムがユーザーの「想い」を反映した新たな文や映像を生成、再構築し上書きする。生成システムは 2 系統で構成される。

一つは文章生成系統で、組み込まれた Chat-GPT の API が回収された情報から要素を抽出し、モニターに映し出されているポスターに書かれたキャッチコピーを、 5 分ごとに上書きする。

もう一つはMV生成系統であり、ここにはパブリックドメインやCC0、オプトインなど、権利的にクリアな形で収集された画像で学習された生成AIモデル「Mitsua Diffusion One」が組み込まれている。鑑賞者から回収された「想い」は、細心の注意を払ってAIモデルに供され、既存の著作物に依拠しない抽象的な模様として出力されるよう調整した。なお、出力にはNVIDEA A100（80GB）を用いた。

出力された生成画像は、再生システムがリアルタイムにMVへ挿入する（Fig.3）。再生システムの実装は、ながい氏にご協力頂いた。

生成物に対し、再生システムが上から透過リリックビデオを合成することでMVにする。本作品では、楽曲「多面体・鏡面（M1）」をCube氏に、楽曲「大団円（M2）」を柚璃遥氏に、楽曲「隼（M3）」をぶるたるvap氏に、それぞれ透過リリックビデオの作成でご協力頂いた。