16進数の世界で生きるパンクスを思わせる名の映像ユニット「HEXPIXELS」は、プログラミングを駆使した視覚表現の実力派2人がタッグを組んだ、知る人ぞ知る存在です。Kezzardrixこと神田竜さんは、斬新な映像で多彩なミュージシャンと共演し、即興音楽集団「SjQ++」の映像担当などでも活躍。比嘉了さんは、メディアアートからPerfumeのライブまで先進的なプロジェクトに多数関わり、クリエイティブコーディングの世界で国際的に知られます。今回、DAIVを使ったリアルタイム生成映像でのVJを機に、彼らの創造性に迫ります。

作品制作メイキングムービー

プログラミングが可能にした新しい創造力

神田：もともと僕は音楽をやっていて、ラップトップでクラブイベントに出たりしていました。ライブ中にも音や曲を変化させたいと思ったのが、プログラミングを始めたきっかけです。映像も扱える環境（Max/MSP）だったので「VJもできない？」と知人に言われてやってみたら、声がかかることが増えて、今にいたります。

比嘉：僕の仕事は、メディアアートのインスタレーションからシステム開発までいろいろです。原点は大学のサウンドアートの授業で、プログラムで音楽を作る体験でした。そこからサウンドアートとソフトウェアアートに進み、今の仕事をしています。

プログラマー/VJ 神田 竜

神田：最初、これで食べていけるのか？　という不安はありました。自分はコンピュータを持ち歩いているだけのダメ人間じゃないかって（笑）。でも色々な出会いでここまでやってこれたと思います。初の本格的なMVの仕事は、今回も共演するDUB-Russell（プログラミングを駆使した多層的・即興的な電子音楽で知られるユニット）の曲で、それを比嘉さんもかつて在籍したライゾマティクスの真鍋大度さんが見てくれて、お仕事を紹介してくれるなどして世界が広がっていきました。

比嘉：僕らの世代は、プログラミングによる表現が、広告やエンタメ系へ広がっていった大きな流れがありました。たとえば卒業してすぐ機会を得た仕事は、携帯電話に吹き込んだ声を解析して、それを元に合成した曲が送り返されてくる企画。それに必要な技術が日本ではほぼ僕しかやってなかったようなニッチな領域で、自分の興味がこんなふうに社会とつながる道もあるんだと思えた体験でした。逆に、「できます！」と引き受けてからこっそり勉強したこともあるけど（笑）。今は依頼される仕事と自分の表現とが、割と地続きな感じです。

プログラマー/ビジュアルアーティスト　比嘉 了

「空気のようなマシン」が表現を加速する

神田：コンピューターに求めるのは、速くて、持ち運べて、外部インタフェースが豊富で、あとトラブらないこと。特に安定性は、ライブをやるうえでは大きいですよね。そういえば比嘉さんは、以前一緒にツアーを回ったとき、ミニデスクトップPCが「縦置きしたときだけまともに動く」状態になっても使ってましたよね（笑）。あれはよくやれたな〜って思う。

比嘉：フフフ。でも本当は「空気」のような存在になるのが、正しいコンピューターのありかただと思う。安定していて、何の問題もストレスもなく使えて「あ、今パソコン使ってたのか」というくらいの感覚になると理想です。DAIVはその感覚に結構近いなと思っています。2年前くらいからデスクトップのモデルを使っていて、今でも全然動きますし、今回一番新しいのを使わせてもらったら、また速くなったと感じました。特に、SSDのおかげかソフトの立ち上がりがとても速い。サポートも迅速なんですよ。じつは過去にOSアップデートの最中に部屋のブレーカーが落ちたことがあって、マザーボードを壊しちゃったんだけど（苦笑）、そのときもすぐ対応してくれました。

神田：「空気のよう」でいうと、DAIVのノートPCモデルは、グラフィックカードが１枚だけなのも僕らにとっては都合がいい。普通はこのタイプだと、CPUと合体したオンボードグラフィックスと、グラフィックボードという２枚構成なことが多い。でもこの場合、前者はメインディスプレイに対応し、後者がプロジェクター出力などを担うので、両者の映像が同期しないことがあるんです。しかも同期しようと頑張る結果、アプリの速度が落ちたりする。ライブでこれが起きると急に描画が遅くなってドキドキしますが、その心配がないのは嬉しいですよね。

比嘉：ノートPCは今回初めてさわってみたけど、スペックに照らし合わせたらコンパクトだし、グラフィックボードも強い印象です。神田くんの話にあったグラフィックボードを２枚載せるノートPCが多いのは、持ち歩く際もバッテリーの保ちをよくする省電力のためでもあるのかなと思うけど、DAIVはそれよりも今話したようなことを優先した設計なのでしょうね。こうした高いグラフィック表現にこだわるモデルはこれまでゲーマー向けにはあったけど、DAIVはさらにクリエイター向けに特化した印象です。パソコンの性能でハラハラして「祈る」場面が減ると、より本質的なことに集中できます。

ミュージシャンとの感応、コンピュータとの対話

神田：今回、マウスコンピューターさんが協賛するCINRA 主催のライブイベント『exPoP!!!!! 番外編』にて、DUB-RussellのステージのVJを僕らがやることになりました（2018年7月10日開催。本取材はその数日前に行われた）。DAIVのノートブック2台＋デスクトップ１台の計3台構成で、4つのカメラも使ってリアルタイムに映像を生成します。

比嘉：カメラで演者を撮影しますが、それを普通にステージの背後に映すのではなく、3Dモデル化された渋谷WWWの会場のスクリーンに、演者を移したカメラ映像を投影します。そのうえでカメラも仮想空間の視点も動いていくのを、実際の会場にいるお客さんが見ることになる。そういうカメラと映像投影のパースペクティブをめぐる試みになります。バーチャルとリアルがごっちゃになって面白いことになるはずです。

今回会場で投影された、実写とCGのリアルタイムレンダリングを使用した一部分

神田：DAIVのノートPCも3Dモデリングして登場させ、そのモニターにもライブ映像を合成する予定です。これらに加えて、僕と比嘉さんがそれぞれ個別に作った映像をライブでミックスしていきます。僕のつくるシーンのひとつでは、DAIVのモニターから飛び出した３DCGの男性が、合わせ鏡のように置いてある別のDAIVに入っていく。これはDAIVが異次元の入り口になる、というようなイメージを取り入れています。

比嘉：そんなふうに、技術的な意味づけとストーリーがつながって、2人の中では盛り上がっています。カメラ４台のライブ映像を一度に扱うのも結構チャレンジで、パソコンごとのクロック数を揃えたり、面倒なことはあるんですが、予想以上にスムーズにできて……苦労話が提供できない（笑）。ちなみに使っているソフトは、モデルの制作はBlender、リアルタイムレンダリングはTouchDesigner。エフェクト的な作業をノンリアルタイムでやるのにはHoudiniを使っています。あとは本番がどうなるか楽しみですね。

会場(WWW)モデリング作成画面

TouchDesignerでエフェクトをコントロールしている画面

神田： DUB-Russellには、破壊的で激しいバキバキした映像や、ちょっとシュールな映像も合うという目論見で、今お話したようなイメージがつながった感じです。あと、彼らのように即興性も強いミュージシャンとやるときは、とにかく曲の世界観に合わせるというより、映像の種みたいなものが自分たち寄りになるので、その面白さもありますね。音に映像が反応するオーディオリアクティブも普通にやりますが、これも音楽のビジュアライズというより、映像が曲にちゃんと「ノレている」かなど、両者のノリをつなぐ精神で臨んでいます。

比嘉：たとえば歌もののコンサートの演出みたいに、曲の構成や尺がきっちり決まっているとき、そこにハマる映像を作り込むのは有効だと思います。対して即興性がある音楽だと、こちらも本番で、ある程度即興で合わせざるを得ない。それぞれ難しさもあるけど、ハマったときの面白さは大きいですよね。

本番中の観客席からのパフォーマンス風景。大勢の観衆が没入感のある映像に釘付けになった。

神田：僕らがやっているリアルタイムに生成する映像って、トライ＆エラーを何度もできることや、予想もしなかった映像が出てくるところに魅力がある。一方で、たとえ演奏を自動解析して映像生成するようなときでも、解析ではこぼれ落ちてしまうけど、人間の聴覚では感じとれるような表現領域であれば、僕らがパラメーターをその場で調整するなどして対応できるんです。だからセッション的でもあるし、よく「コンピューターとの対話」なんて言い方もありますが、そうしたハイブリッドな作り方が楽しいですね。

インタビュー・テキスト：内田伸一