Device 27 動画でグラニュラー合成をコントロール by ペルティエ・ジャン=マルク

基礎的な機能ブロックをつなぎ合わせることで独自のソフトウェアを構築できるCYCLING '74 Max。現在ネット上では数え切れないほどのパッチがシェアされており、それらのプレーヤーとしても活用が可能です。ここでは最先端のプロフェッショナルが作成したクールなパッチを紹介。パッチのサウンドを試聴できるほかファイルをWebよりダウンロードして、新しい音楽の制作に役立ててください

Device 27 動画でグラニュラー合成をコントロール by ペルティエ・ジャン=マルク

presentation▲プレゼンテーション・モード

patching(poly)のコピー▲パッチング・モード[poly~]

ファイルをダウンロードする→patch

動画の動きで音量と音高を制御

20年ほど前に、ダンス公演の音楽を担当させていただいたことがあります。私はそれまで“電子音響音楽”という少し実験的な音楽を作っていました。その制作方法ですが、録音したさまざまな音を大胆に編集したり加工したりして、絵画のように作品を作り上げます。しかし、この公演のダンサーは踊りに即興をふんだんに取り入れていたため、私のワークフローと彼女たちのあいまいな時間感覚を合わせるのに苦労しました。公演は無事に成功しましたが、あのとき以来、自分の音作りに即興性をもたらす方法を追求しました。

その後日本に来てIAMASという変わった大学院に入ったことをきっかけに、カメラをセンサーとして使い始めました。画像を解析すれば、ダンサーの踊りを邪魔することなく、リアルタイムでダンサーの動きに音を合わせることができたからです。当時Macで動く本格的な画像解析ツールはほとんど無く、Jitterがリリースされた際に幾つもの画像解析エクスターナルを作って、「cv.jit」という名称で公開しました。

皮肉なことに、ダンスが盛んなモントリオールを離れた後は、ダンサーと一緒に仕事をする機会が少なくなりました。その代わり、同じ技術を使って煙、風、光など自然現象の動きに音を合わせてみました。私はこの制作方法を“動画の可聴化”と名付け、以来、音素材の生成、インスタレーション、ライブ・パフォーマンスでも使用する得意技の一つとなっています。

今回紹介するのは、そうした発想を再現したパッチです。1990年代から愛用している“グラニュラー合成”は、音素材を短い“粒”に分けることによって複雑なテクスチャーを作ることができます。面白いテクニックですが、何十、何百の粒の制御が大変です。このパッチでは、一個一個の粒に動画の画像ピクセルを割り当て、動画内の動きの速さと方向で音量/音高をコントロールしています。グラニュラー合成の粒の再生位置は、ピクセルの横位置で決まります。このマッピングによって、音と動画の納得できる同期が得られるというわけです(元の動画とサウンド・ファイルによりますが)。

パッチの構造

このパッチの構成は、大まかに4つの部分に分かれています。まず動画の取り込み部分では、“jit.playlist”とカメラ入力の切り替えを行います。この次に、画像解析部分があります。ここは比較的に単純な分析を行っており、「cv.jit」の“cv.jit.opticalflow”で“オプティカル・フロー”を測定しています。“オプティカル・フロー”は、動画ピクセルが動く速度/方向を教えてくれます。パッチを使いやすくするために、この2つのパラメーターは0と1の間でノーマライズしています。

残りの部分は音響合成とパラメーター調整です。後者はスライダーのみの構成。音響合成は[poly~]の中に読み込まれている“grain.maxpat”が一つ一つの音の粒を鳴らします。ここでの重要なポイントは、[poly~]のボイス数(108)が、制御に使っているマトリクスのピクセル数と同じになっていることです。動画のパラメーターを音のパラメーターに変換する“マッピング”部分を独立させる方が良い設計と言えますが、ここはコンパクトにまとめるために、すべてを[poly~]の中で完結させました(エディット・モードの画面参照)。

このパッチは構造を分かりやすくするために、“send”“receive”“value”と名前の付いた“jit.matrix”を積極的に使っています。配線が複雑になるとパッチがスパゲティ状態になってデバッグと修正が困難になります。[poly~]の中では、sendで送ったメッセージがほかのボイスに送られないよう、名前を“#0coords”としています。“#0”の部分がボイスごとに違う記号に展開されるという、ちょっとした裏技です。“パッチを奇麗にする時間がもったいない”と言う人もいますが、将来の自分を考えれば、やはり片付けた方がいいですね。

ペルティエ・ジャン=マルク

jean-marc_pelletier

【Jean-Marc Pelletier Profile】モントリオール生まれ。1999年に来日し、大学でメディア・デザインを教えるほか、電子音楽、サウンド・インスタレーション、メディア・アート、ゲーム開発など幅広く活動。画像解析エクスターナル「cv.jit」の作者。現在、名古屋造形大学デジタルメディアデザインコースの専任講師。
http://jmpelletier.com
Twitter : @jovansystem
Facebook : jeanmarc.pelletier

CYCLING '74 MaxはMI7 STOREでオーダー可能

問合せ:エムアイセブンジャパン
http://www.mi7.co.jp/