世界初の360 Reality Audioリアルタイム配信を行った『40代はいろいろ♫』。このプロジェクトの実現には、スタッフによる抜群のチーム・ワークが欠かせなかった。ここでは、ソニーのスタッフが登場。システムの開発に携わった満生一隆氏（写真右）と、コンテンツ制作面において、アーティストやエンジニアとの連携を行う渡辺忠敏氏（同左）に、プロジェクト始動からイベント実現までの過程を語ってもらった。
立体配置ツールとエンコーダー・ソフトを開発
─そもそも、なぜ“360 Reality Audioリアルタイム配信”の開発に至ったのでしょう？
満生 コロナ禍でリアル・イベントが急速に収束した時期に、オンラインのエンタメに力を入れる気運が業界全体に出はじめました。加えて“映像付き360 Reality Audioに価値があるんじゃないか”と部内で話していたタイミングも重なり、“映像付き360 Reality Audioでのリアルタイム配信”というビジョンができました。ただ、それを実現するために必要なソフトウェアやツールが無かったので、私を含む技術開発者で議論しつつ、並行して新規開発していきました。
─では、まずは『40代はいろいろ♫』で使用された配信システムの概要を教えてください。
満生 音に位置情報を付与してリアルタイムでエンコーダーに送る制作ツールと、360 Reality Audio対応のリアルタイム・エンコーダー・ソフトを新規開発しました。360 Reality Audioは全天球へのオブジェクト配置がポイントなので、前者はフル・オブジェクト・ベースで立体配置をし、演奏情報のメタデータをリアルタイムで送信するソフトウェアです。
渡辺 現在360 Reality Audio制作に使用されているAUDIO FUTURESの360 WalkMix Creator™でもモニター用ヘッドホン／スピーカーへのレンダリングはできますが、オーディオと位置情報、ゲイン情報をリアルタイム・エンコーダーへ同時に送り出すことはできないので、新規開発しました。なお、今回開発のソフトウェアはまだプロトタイプです。
満生 リアルタイム・エンコーダー・ソフトには、ビデオ・エンコーダーや360 Reality Audioフォーマットのリアルタイム・エンコーダーが含まれます。これらはすべてリアルタイムで処理され、最終的に映像と360 Reality Audioを一体化した状態のデータをクラウドに上げていました。
渡辺 視聴者向けには、配信をリアルタイムで楽しめるiOS/Android対応アプリ“360 Reality Audio Live”を新規開発しました。視聴者はどんなヘッドホン／イヤホンでも360 Reality Audioを聴くことができます。さらに360 Reality Audio認定ヘッドホンとアプリ“Headphones Connect”や“360 Spatial Sound Personalizer”を使えば、一人一人の耳の形に合わせた音場の“個人最適化”も可能で、より臨場感のある立体音響を体験できます。
360 Reality Audioライブ配信システム
─本番までの事前準備としては何を行ってきたのですか？
渡辺 『40代はいろいろ♫』での世界初360 Reality Audioリアルタイム配信に向け、インターナルでの練習を行ってきました。スタジオや大きなライブ会場、社内イベントでの実験を繰り返し、本番に挑んでいます。
満生 初期はライブや配信の会場に機材を持ち込んで機材実験をし、後期にはアーティストやディレクターに体験いただいて、どういうコンテンツを作るかディスカッションして配信実験を行いました。これまで360 Reality Audioの音楽配信はやってきましたが、ライブ・イベントは新しい取り組みで、今までとは異なる関係者の方々とのコミュニケーションが必要ですし、会場によってコンソールからケーブルまで使われる機材が全然違うんです。我々はそういった経験が無かったので、いろいろな場所でいろいろな方と組んで実験することが非常に重要で、現場ごとに全く違う課題も見えました。このように、ライブの制作チームと密に連携することも、今回の配信に向けた重要な準備でした。
渡辺 基本的には、既存の360 Reality Audioを聴いていただいてフォーマットを理解いただくところから始めて、表現の可能性を探ります。今回は、10月に360 Reality Audio対応のソニー・ミュージックUK イマーシブオーディオスタジオへスティーヴ・フィッツモーリスさんに来ていただいてデモをしました。そのとき興味深かったのは、彼が360 Reality Audioの全天球空間で、どういう音がどこに来るとどういう効果になるかをその場で探りはじめたことでした。彼自身が360 Reality Audioの特徴や生かし方を学んでいたんです。11月には本番と同じような環境で試すために、メトロポリス・スタジオからスティーヴさんのエンジニアリングでの生演奏配信を、ロンドンおよび日本で内部関係者が受ける実験をしました。少し違う点として、そのテストの際は、メトロポリス・スタジオ内の3Dオーディオ・ルームへDante接続し、スピーカーで聴いて確認できるようにしたんです。ただ、本番はStudio Aでスティーヴさんがディレクションしながら録りつつ、ステレオ・ミックスと360 Reality Audioミックスを作らないといけないという時間的制約もあり、ヘッドホンでモニターしながら360 Reality Audioミックスをしていただきました。
業務用機器を手掛けるイギリスのチームと連携
─ソニーの皆さんのチーム内での役割分担はどのように？
渡辺 私はコンテンツ制作側として、どんなコンテンツにするかをスティーヴさんや宇多田さんチームと技術的な連携を図り、満生はシステム全体を見つつ、今回は業務用機器の分野での開発経験を持つイギリスにあるソニー・ヨーロピアン・プロフェッショナル・エンジニアリング（EPE） と一緒にテクニカル・チームを担当しました。今回のプロジェクトでリーダー的な立ち位置の塚原彬は、ビジネス面もイベント全体の運用面もリーディングしていました。現場責任者として横山達也、鹿田英一の２名も立ち会っています。また、360 Reality Audio作品を多く作られているソニー・ミュージックスタジオのエンジニア、奥田裕亮さんにも来ていただき、現地のエンジニアやスティーヴさんと360 Reality Audioチームがスムーズに連携を取れるようサポートしていただきました。
満生 課題を即時に解決できる良いチームでした。ソニー全体としてはプロフェッショナル向けの配信も手掛けているので、EPEとの共同開発を行ったところもポイントで、当日のオペレーションも一緒に行いました。プロ用の業務経験を入れながらソフトウェア開発や問題解決ができたんです。
─UKのチームと組んだのは、今回の『40代はいろいろ♫』がイギリスでの配信だったからですか？
満生 これはたまたまで、彼らの開発拠点が近く、オペレーションを手伝ってもらうのにちょうど良かったんです。ライブ用エンコーダー・ソフトウェアの開発担当のエンジニアと一緒に、彼らが開発した機材も活用しながら配信をサポートしました。もともと彼らは商用のライブ配信システム、例えばサッカー2018年ワールドカップでは配信機材のシステム開発などを担当していたので、360 Reality Audioのリアルタイム配信のビジョンが提示された後、割と早い段階から開発に入ってもらっていました。
─今回の配信を皮切りにスタートした360 Reality Audioのリアルタイム配信が、今後どう発展するのか楽しみですね。
満生 今回の配信後、多くの方から音に関してポジティブなコメントをいただき、360 Reality Audioの進化の方向性は間違っていないと確信しました。個人的には360 Reality Audioをより音楽文化として広げるためにライブをうまく活用したいと思います。加えて、私は家庭用のスピーカー開発も担当しているので、フル・オブジェクト・ベースを生かし、視聴環境を広げられる技術にしたいです。
渡辺 宇多田さん、スティーヴさん、メトロポリス・スタジオというすごい布陣で、360 Reality Audio＋映像のリアルタイム配信を行わせていただきました。音の評価も伝え聞くところではすごく高いということで、今まで“360 Reality Audioってどんなものだろう？”と思っていた方々がその魅力に気付いたのではと期待しています。今後は、フル・オブジェクト・ベースの360 Reality Audio＋映像が、いろいろな再生環境でお楽しみいただける世界を、音楽業界の関係者やクリエイターの皆様と共創していきたいです。
