Device 16 自撮りシンセサイザー by mirrorboy
▲パッチ外観（プレゼンテーション・モード）
▲パッチ内部（パッチング・モード）
ファイルをダウンロードする→selfie_synthesizer
カメラの映像でサウンドが変化
初めまして、mirrorboyと申します。CYCLING '74 Maxは個人的に超一押しのインタラクティブ・プログラミング環境です。まず初めに一つ、Maxにまつわる思い出話をさせてください。以前、プロジェクション・マッピングの撮影現場で48時間耐久のライブ・コーディングを経験しました。眠くて頭がさえていない状況だったのですが、Maxでの作業は、なぜかあまりミスをせずにコーディングを続けられました。Maxはビジュアル・プログラミングでオブジェクトつなげていくだけの単純な作業だったため、間違えにくかったことが要因として考えられます。
さて今回私が紹介するのは、今流行の自撮りによって音が変化する“自撮りシンセサイザー”です。パソコンのカメラから見えているあなたや部屋の様子が、ダイレクトに音に変換されます。仕組みを簡単に説明すると、コンピューター付属のカメラやWebカメラなどを利用して自分の姿をキャプチャーし、その動画の画素値を順番にスキャンして、音声に変換するというものです。例えば手を振ったり顔を近づけたり、コンピューターを揺すったりすることで音の変化を体感できます。世の中に全く同じ顔や同じ服を着ている人や、同じ部屋に住んでいる人は存在しないと思いますので、“自分だけの音が得られるシンセサイザー”と言えるかもしれません。
このパッチにはGenを利用した画像エフェクトも付いています。映像の変化が音の変化につながる仕組みにより、映像エフェクトが音声のエフェクトにもなるシステムが構築されています。幾つか試した中では、モザイクと波エフェクトが同期感があって良い感じでした。映像のモザイク・エフェクトを使うとビット・クラッシュがかかったような音になり、映像にサイン波を足すと音にLFOがかかります。
さらにGenを利用してプレビュー用の画像に青色のスキャン線を加える処理も行っています。画像の中で今どこがスキャンされているかをビジュアライゼーションしており、自撮りしているユーザーに“ここに手をかざすと音が変わるかな？”といったアクションを起こさせます。こうしたコンピューターの表示や応答によって人間の行為を誘発したり楽しい気持ちを作ることは、オーディオ／ビジュアル・プログラミングやインタラクティブ・デザインでは重要な要素です。さらに今回のパッチには、Max 7より使えるようになったMax for Live（.amxd）のオブジェクトが含まれているので、ABLETON Live上でも利用できます。
パッチの構造
パッチの構造としては、[jit.grab]によりコンピューターのカメラでとらえた映像をキャプチャーします。この際オプションとして、先述した[jit.gen]による画像エフェクトによってキャプチャーした映像を変化させます。１つ目の波エフェクトは[jit.gen]内でcosカーブの波を画像へ乗算し、外部から波の周期をパラメーターとして与えています。２つ目の[jit.gen]は、画像のモザイク処理を行っています。モザイク処理の中では、[sample]オブジェクトを使って元の画像からモザイク成分になる画素値を取得しています。次に[phasor~]で音声に変換する画像のキャプチャー位置を設定し、[jit.peak~]により画素値を波形へ変化させるという流れです。[jit.gen]は先述した青色スキャン線の描画にも利用されています。スキャン位置を[param phase]で受け取り、その位置にあたる画素を青色に塗るというプログラムになっています。
ちなみに今回利用したGenは[jit.gen]だったためCPU上で画像処理がなされていますが、これを[jit.gl.pix]に書き換えることでGPU（Graphic Processing Unit）上の画像と音のエフェクトが可能になります。近年発売されているコンピューターには高性能なGPUが積まれていることが多くなりました。MaxはGenによって、GPUを使った高速なシェーディングや並列処理が気軽に実装できるのも魅力です。興味がある方は、ぜひ試していただきたいです。
mirrorboy
【Profile】“秋葉系インタラクティブ”と題してMaxを使った企画開発を行う。コバルト爆弾αΩ名義でMaltine Recordsからリリースを行うほか、でんぱ組.incの夢眠ねむ、AZUMA HITOMIのリミックス、愛☆まどんなや遠藤一郎のライブ・ ペインティングに参加。秋葉系VJソフト「あのタグで待ってる」の開発やVocaloopの試作にも携わる。YAMAHAではVocaloidのキーボード試作開発に従事していた。
CYCLING '74 MaxはMI7 STOREでオーダー可能
