Device 23 “空間音声”をミックスするためのMaxパッチ by 國本 怜
▲パッチ外観（プレゼンテーション・モード）
▲パッチ内部（パッチング・モード）
ファイルをダウンロードする→spatialAudioMixer
YouTubeに空間音声を用いた動画をアップ
今年４月にYouTubeで“空間音声”を用いた動画をアップロードできるようになりました。執筆時点（2016年5月末）ではAndroid 4.2以降の端末でYouTube Androidアプリを使用すると、イヤホンまたはスピーカーで空間音声を聴くことができます（それ以外の環境だとステレオ音声が再生されます）。Androidをお持ちの方はYouTubeで“Spatial Audio”と検索してヒットする動画を視聴してみてください。YouTube空間音声は視点の移動とリンクして音像も移動しますが、これには“Ambisonics”という立体音響技術を用いています。Ambisonics自体は1970年代ごろからあるもので、当時は効果的に扱えるメディアが無かったことから普及しなかったのですが、近年VRや360°動画の普及により脚光を浴びています。今回はAmbisonicsを用いて空間音声をミックスするMaxパッチをご紹介します。
YouTubeのWebサイトに記載されている空間音声を使用した動画のアップロード要件を見てみると、X（前後）、Y（左右）、Z（上下）、W（全方位）の４つの指向性による音声をミックスすることによってYouTube空間音声が成り立っているようです。
手順としては空間に音源を配置し、前・後・左・右・上・下の６つの成分に変換し、それをミックスしてWXYZの4chの音声ファイルを生成します。それを実現するためにフランスの音楽／音響の研究機関であるCICMが開発したHOA Libraryを使用しました。
インタラクティブに視点を移動して試聴が可能
Maxパッチを開いたら、まず右側上段にある“Track 1”のボックスに音声ファイルをドラッグ&ドロップし、[buffer~]オブジェクトに読み込ませます。すると左側上段の3Dパンナー・インターフェースにTrack 1の音源が現れます。次に左側下段の“Play”ボタンを押して音源を立体的にモニタリングしながら好きな場所に配置します。その際、レベルがクリップしないように気をつけてください。複数音源を配置したい場合は、同じ手順でTrack 2以降に音源を足します。今回は便宜上、音源はすべてモノラルとしました。ミックスが完了したら“Rec”ボタンを押してください。ファイルが最後まで再生されたり途中で“Stop”ボタンを押して止めると自動的にファイル書き出しのダイアログが現れるので、ファイル・ネームを打ち保存してください。この生成したファイルは24ビット／48kHzの4chのWAVとなります。
次にこの4chの音声ファイルを動画にします。残念ながらMaxやフリー・ソフトで4chの音声を用いた動画を作ることはできないのですが、ADOBE Premiere Proで可能なことを確認しています。4chの動画ファイルを作成したら、その動画ファイルをYouTubeで360°対応ファイルに変換するため“360 Video Metadata”アプリをダウンロードし、バッチ処理をします。Premiere Proでの動画の作り方、バッチ処理の方法は、Maxパッチが入っているフォルダー内のPDFを参照してください。後は通常の方法で動画をアップするのみとなります。
今回のパッチはシンプルな機能しかありませんが、リバーブなどの空間処理を施したり、Soundflowerなどの仮想オーディオ・デバイスやReWireを用いてDAWと連携させたり、OSCやMIDIを使って音源の位置を移動させることも可能です。立体的な音像で音楽を作る場合、複数のスピーカーを用いたサラウンドやヘッドフォンによるバイノーラルなどが考えられますが、前者では環境構築の敷居が高く、後者ではリスニング・ポイントが１つに限られてしまいます。
YouTube空間音声のように、世界的に普及したメディアでユーザーがインタラクティブに視点を移動し、好きな音像で視聴できるのは革命的だと思いました。今はYouTube空間音声は限定的な機能で、対応する動画ファイルを作るのも少し大変ですが、将来的にさまざまな環境で手軽に作成／再生できたらうれしいです。
國本 怜
【Profile】1991年ニューヨーク生まれ。慶應義塾大学文学部美学美術史専攻卒業。作曲家としての楽曲提供／演奏活動と並行し、国内外のインスタレーション作品において作曲／サウンド・プログラミングを手掛ける。空間音響設計も含めた、新たな音楽体験の創造を志向する。
CYCLING '74 MaxはMI7 STOREでオーダー可能
