Device 14 3Dモデルをポイントクラウド音に変換 by 真鍋大度
▲3Dモデルからオシレーターを生成しようとしている
▲[poly~]オブジェクトの中身。3Dモデルのポイントクラウドの座標からオシレーターの周波数／音量／パンの値を設定
▲3Dモデルをスキャンしている様子。モデルの一部を選択しサウンドに変換
ライブで映像／デバイスを制御
こんにちは、真鍋大度です。CYCLING '74 Maxを使い始めて、はや10年以上が経過しました。もともとはサウンド・デザインやオーディオ・エフェクトのために使用していたのですが、Maxならではのエフェクトと思われていたものが、ABLETON Liveに付属するプラグインや、最近だとIZOTOPE Stutter Editなどのプロダクトに移植されるようになり、オーディオの処理が目的で使用することはかなり少なくなりました。最近ではライブ・パフォーマンス時のメインの映像／デバイスのコントロール環境としてMaxを使用しています。
Perfumeやイレブンプレイのようなテクノロジーがふんだんに盛り込まれたライブでは、楽曲や入力されるセンサーの値に合わせて映像／照明／ロボット・アーム／ドローンをコントロールする必要がでてきます。しかしながら、現在はすべてのデバイス／メディアを一括してコントロールできる環境が無く、Maxを中心にほかのアプリケーションを組み合わせて使うケースがほとんどです。僕らのように毎回やることが異なるチームはフレキシブルなシステムになっている必要があるのですが、そうした点でもMaxは最強です。シーケンスはLiveにMIDIで打ち込み、映像はopenFrameworksで生成してSyphon経由でMax/Jitterへと送り、JitterのshaderでエフェクトをかけつつMaxからロボット・アームやドローンのコントロール……というようなことを行っています。
一方、プロトタイピングをMax上で行うこともあります。今回は、いつの日か試そうと思って眠っていたアイディア＝3Dモデルを読み込んでポイントクラウド音に変換するパッチを作ってみたいと思います。
パッチの構造
Maxをインストールすると[apple.obj]というモデルがインストールされるので、まずはそちらを使います。[jit.gl.model]で読み込んだ3Dモデルのポイントは、それぞれx/y/zの座標値を持っているのですが、[matrixoutput]で取得できます。それをどうやってマッピングするのかを考えます。テクスチャーは、まずは無視します。例えば“x”はパン、“y”はオシレーターの周波数、“z”は音量に割り振ってみます。[ioscbank~]を使えば簡単にできそうだったのですが、パンニングが入ってくるということで、まずは[poly~]を使って実装してみます。当たり前ですが、同時に発音しようと思うと、かなり数が多いため処理できません。
次はモデルをスキャンするようなものにしてオシレーターの数を制限します。これも[jit.gl.model]の出力に簡単な演算を施すことで実現できます。今回のパッチでは、スキャンしているポイントクウンドを幾つかのパラメーターにマッピングしています。
通常、この手のマッピングはオシレーターの周波数かスペクトラムの値に割り当てられることが多いので、そちらに倣ってみます。スペクトラル・フィルター、ディレイはGenをインストールすると[gen~.spectraldelay]というエグザンプル・パッチが“example/gen”ディレクトリの中に入るので、そちらを参考にします。エグザンプルで用意されているパッチを簡単に使えるのも、Maxの良いところです。
今回と同じようなことをほかの環境でやろうとするとopenFrameworks＋SuperColliderでも同程度の時間でできたかもしれません。ですが、パラメーターをコントロールするためのユーザー・インターフェースを作ったり、トライ＆エラーを繰り返すことを考えると、やはりMaxの方が断然早いです。オープン・ソースでないことがさまざまな環境に組み込む際にネックとなり、コアなプログラマーからは敬遠されることも多いMaxですが、Pure Dataとは比べ物にならないくらい高機能で安定しているので、まだまだ活動の場は多そうです。
ファイルをダウンロードする→SR_MD
真鍋大度
【Profile】1976年生まれ。東京理科大学理学部数学科卒業、国際情報科学芸術アカデミー（IAMAS）DSPコース卒業。2006年にWebからインタラクティブデザインまで幅広いメディアをカバーするデザインファーム「rhizomatiks」を立ち上げ、2008年には石橋素とハッカーズスペース「4nchor5 La6」（アンカーズラボ）を設立。ジャンルやフィールドを問わず、プログラミングを駆使してさまざまなプロジェクトに参加している
CYCLING '74 MaxはMI7 STOREでオーダー可能
