メディアアート「多面体・鏡面」

メディアアート「多面体・鏡面」's thumbnail
ゲスト / 構想 / 音声・楽曲制作
たなか
構想 / 設計 / 音声・楽曲制作 / 統括
椎乃味醂
映像再生制御(TouchDesigner)
ながい
システム構成
naporitan
システムインフラサポート
yuu
UI・ポスターデザイン
kohakuno
キャラクターデザイン
氵戔マ
M1透過リリックビデオ
Cube
M2透過リリックビデオ
柚璃遥
M3透過リリックビデオ
ぶるたるvap
トップに戻る▶

本作品は、大阪関西国際芸術祭出展作品です。

コンセプトと設計

同じ声データを反復する「音声合成ソフト」による歌唱。同じ再生を世界中で実現する「インターネットを通した音楽鑑賞」。一見すると「瞬間の芸術」とは対極に見えるが、果たして本当にそうなのだろうか。

ユーザのコメントや反応と共に視聴される空間や、そこに彩られるれる何千万ものN次創作。人の数だけ存在するコンテンツの多様な選択と解釈の還元、再構成。これらのプロセスは複雑に絡み合い、全体としての表象や質を変化・拡張させていく。この時、一瞬一瞬の音楽体験には、ゆるやかにインタラクティブな一回性があるとは言えないだろうか。

本作品では、こうした「再現や再生」の裏に隠れた、ユーザー毎の「選択や想像」の存在を捉え直し、一連のプロセスを空間化する。新たに合成音声キャラクターを創造し、その合成音声で歌唱された楽曲映像に対し鑑賞者が抱いたイメージを、回収して作品自体に反映できるようなシステムを構築する。

このシステムによって、鑑賞者は自分より前の鑑賞者の「想い」が反映された作品を見ることになる。これを踏まえた想像がまた、新たな「想い」として回収され、作品に変化をもたらす。こうした「選択や想像」の循環が、ゆるやかに音楽や歌唱者の在り方を変化させ、その一瞬一瞬に「一回性の体験」を提供する。

たなかの「合成音声キャラクター」化たなか , kohakuno , 氵戔マ

本作品では、ゲストとしてアーティストのたなか氏を招き、StudioGnuと共同で作品制作を行った。

たなか

音楽家、バンド・Diosのボーカル。他メンバーはIchika Nito、ササノマリイ。前職はぼくのりりっくのぼうよみで、2019年に終了。プロデューサーとしての顔も持ち、香取慎吾、花譜、葛葉、ヒプノシスマイクなど携わるアーティストは多岐に渡る。オンラインで不定期に発売される焼き芋屋「たなかいも。」を作り、わずか2ヶ月で2トン近くを売り上げるなど、単に美しい音楽を作るというよりは、様々な方法で、どうにか世界で生き延びる姿を表現したい、というのがテーマ。

軸となるキャラクターは、たなかの声を波形接続型の音声合成ソフトウェア「UTAU」によって合成音声化することで実現した。音源は連続音3音階7モーラで作成する。キー設定をA3、C3、F4で録音し、簡易的に原音設定を行った。作品では、たなかと椎乃味醂で今回新たに書き下ろした、異なるパターンの3楽曲を歌唱させた。

その後、出来上がった合成音声に対し立ち絵とキャッチコピーを与え、新たな合成音声キャラクター「彼方」としてとしてパッケージングする。彼方のキャラクターデザインは、氵戔マ氏にご協力頂いた。また、ポスターはkohakuno氏にご協力頂いた。音声のニュアンスやコンセプトなどを汲み取りつつ、製品に似た実装を試みた。作品では、ポスターはモニターに常時映し出される。

リアクション回収・MV生成システムの設計と構築naporitan , ながい , yuu

Fig.1 システム概略図

上記で完成した、彼方歌唱楽曲、およびポスターをシステムに組み込み、鑑賞者がアクションを起こすことで作品が変化する、インタラクション性を実装する。本作品では、システム全体の設計をnaporitan氏にご協力頂いた。また、システム構築にあたってインフラや機材周りのサポートをyuu氏にご協力頂いた。

Fig.1は、システムの概略図である。楽曲は、後述の再生システムによってMVと合成され、MVモニターから放映される。MVを観た鑑賞者は、作品を見て思い浮かんだ単語や色などの「想い」を、スマートフォンやタブレットなどからフォーム(Fig.2)を通じて入力することができる。

Fig.2 感想入力フォーム

鑑賞者の入力はサーバーに回収され、内部で「生成システム」に受け渡される。すると、原初のキャッチコピーと MV 映像に対し、システムがユーザーの「想い」を反映した新たな文や映像を生成、再構築し上書きする。生成システムは 2 系統で構成される。

一つは文章生成系統で、組み込まれた Chat-GPT の API が回収された情報から要素を抽出し、モニターに映し出されているポスターに書かれたキャッチコピーを、 5 分ごとに上書きする。

Fig.3 再生システム

もう一つはMV生成系統であり、ここにはパブリックドメインやCC0、オプトインなど、権利的にクリアな形で収集された画像で学習された生成AIモデル「Mitsua Diffusion One」が組み込まれている。鑑賞者から回収された「想い」は、細心の注意を払ってAIモデルに供され、既存の著作物に依拠しない抽象的な模様として出力されるよう調整した。なお、出力にはNVIDEA A100(80GB)を用いた。

出力された生成画像は、再生システムがリアルタイムにMVへ挿入する(Fig.3)。再生システムの実装は、ながい氏にご協力頂いた。

生成MV合成用透過リリックビデオCube , 柚璃遥 , ぶるたるvap

生成物に対し、再生システムが上から透過リリックビデオを合成することでMVにする。本作品では、楽曲「多面体・鏡面(M1)」をCube氏に、楽曲「大団円(M2)」を柚璃遥氏に、楽曲「隼(M3)」をぶるたるvap氏に、それぞれ透過リリックビデオの作成でご協力頂いた。