Device 21 VJプレイのためのMax活用法 by Satoru Higa
▲パッチ外観（プレゼンテーション・モード）※音声解析用パッチ
▲パッチ内部（パッチング・モード／パッチ全体）
ファイルをダウンロードする→sound_analyser
リアルタイムで映像を動かすための音声解析
今回は、友人の神田竜君と“HEXPIXELS”という名義で活動しているVJチームの中で、Maxをどう使っているかについてのお話です。
HEXPIXELSでは、映像出しの段で主に“openFrameworks”というC++ベースのプラットフォームを使っており、オーディオに反応するリアルタイム・グラフィックスを生成しつつ、それらをミックスしたり切り替えたりするスタイルでVJを行っています。“リアルタイム”というのが結構重要で、“今の音の具合で、映像のパラメーターがこの時に見られる一過性の気持ちよさ”を発見しつつ映像を付けていくのが、面白いポイントだと思っています。システムとしてMaxを使っている部分は、大きく分けて、音を解析するパート／映像アプリの制御／ビデオ・ミキサーのコントロールの３パートに分かれています。
まず音を解析するパートですが、“解析”と言っても特に難しいことをやっている訳ではなく、どちらかと言うと、必要十分な機能を持ったパッチの“安定性を上げていく”ことに注力しています。自作のプログラムでVJを行っているとパラメーターをいじらなければならない局面が多く、リハーサルの時間もそこまで取れないこともままあるので、音声解析部分に関しては、極論を言うと、“立ち上げたら動いて、終始まあまあな結果を返してくれる”パッチが理想になってきます。
解析の内容としては、lowpass、midpass、highpass、passthroughという４バンドのソースに対して、それぞれトリガー検出と【peakamp~】の結果を取り出すというシンプルなものです。トリガー検出は最初Max側で行っていたのですが、メッセージの処理が不安定になりがちだったので、今は【slide~】【edge~】などを組み合わせたMSPベースのものを使っています。また、環境によってはコンピューターの内蔵マイクで音を拾わなければならない事態も起こりがちなので、解析の前段階にhigh/lowのシェルビング・フィルターを入れて全体の音のバランスをおおまかに調整できるようにしています。同時に、各コンポーネントの間にオート・ゲインのサブパッチを入れるなど、本番中はできるだけメインテナンス・フリーになるよう工夫しています。
映像アプリのコントロール
映像アプリ側の方は、複数のプログラムがレイヤー構造を持って存在しており、それらレイヤーのアルファ値／合成モードなどを操作するミキサーのようなコンソールをMaxで作っています。アプリ間のメッセージングはOSCで行っており、レイヤー操作のほかにもエフェクトのパラメーター、先ほどの音解析の結果などはすべてOSCで映像アプリ側に渡ることになります。
最後にビデオ・ミキサーの制御ですが、HEXPIXELSでは基本的に２人以上でVJを行うので、映像のミックスにBLACKMAGIC DESIGNのHDビデオ・ミキサーを使っています。通常は専用アプリケーションやハードウェア・コンソールを使って操作するのですが、SDKが公開されているので、自分でアプリケーションを書いて好きなようにシステムに組み込むことが可能になっています。
僕らのVJのシステムではミキサーのコントロールも音解析の結果でオートクルーズにしてしまうことが多く、その制御もMax上で行っています。例えば“ofAtem”（https://github.com/telematique/ofAtem）というOSCとSDKの中継をしてくれるソフトウェアを使うと、簡単な設定でMaxからミキサーが制御できるようになります。ABLETONのMax for Liveで使用できるサンプルが付属しており、Liveのシーケンスから映像の切り替えができたりと、非常に面白いです。
VJのシステムは毎回何かしらの新しい要素を入れつつアップデートしているのですが、その際もMaxのインタラクティブに操作できるロジック部分と、豊富なGUIコンポーネント群にはお世話になっています。作品制作にあたっては欠かせないツールですし、あらためてMaxの奥深さに感心する今日このごろです。
Satoru Higa
【Profile】1983年生まれ。プログラマー／ビジュアル・アーティスト。リアルタイム3Dグラフィックス、コンピューター・ビジョンなどの高度なプログラミング技術と多様なプロジェクトにかかわった経験を生かし、インスタレーション／舞台演出／VJ／ライブ・パフォーマンスなど幅広く活動。2015年にはラボ・スペース“backspacetokyo”を立ち上げた。
www.satoruhiga.com
CYCLING '74 MaxはMI7 STOREでオーダー可能
