お久しぶりです、HIEIです。前回の記事からあっという間に1カ月が過ぎ、年も新たに2024年がスタートしました。毎年新年は元旦の朝6時から神社での雅楽奉奏をするのですが、これがとにかく寒い！ 演奏時に着る狩衣はペラペラなので、もう体中にカイロを貼って出かけるのですが、今年は少し暖かくて、何かいつもと違う感じがしました。人ってあらゆる感覚からいろんな情報を収集して、ちょっとした変化を感じ取っているんだなぁと思います。ということで、今回はDAWとセンシングについてです。
Webカメラで指の動きを検出してMIDIを生成するMotionHarp
今回も先月号に続きAbleton Live SuiteにバンドルされているMax for Live（以下、M4L）についてお伝えします。M4LはLive上でプログラミングを可能にする開発環境ですが、DAWとプログラミングってどう結びつくの⁇と思われる方にはぜひ本記事をご覧いただきたいです。きっと新たな可能性を発見できると思います。
サンプルとして、M4Lを使って簡単なMIDIデバイスを作ってみました。空中で手を動かしてハープを演奏するMIDIデバイスです。ハープと言っていますが、MIDIデバイスなので、インストゥルメントを変更することでお好みの音色で演奏することができます。仕組みは、Webカメラで取得した画像を解析して、ラインに手が触れたときにMIDIを生成するというものです。それでは実際に使用してみましょう。
【準備】以下のWebサイトを開き、右下に表示される“Download Device”ボタンをクリックしてデバイスファイルをダウンロードしてください。
＜MotionHarp＞
https://maxforlive.com/library/device/9921/181-motion-harp
ダウンロードしたファイル“181-motion-harp.amxd”をMIDIトラックにドラッグ＆ドロップしてインサートします。
M4Lで作られたデバイスは、オーディオエフェクト、インストゥルメント、MIDIエフェクトの３種類に分類されます。このデバイスはMIDIエフェクトに分類され、MIDI情報を出力しますが、これ自体は音源を持っていません。そのため、この後にインストゥルメントを追加する必要があります。ここでは例としてBasic Flange Harpをインサートしました。
【使い方】Webカメラを選択し、必要に応じて解像度を選択してください。カメラは自動的にオンになります。準備はこれだけです。頭上に白いラインが表示され、空中でそのラインに指で触れると、なんちゃってハープの演奏ができます。
また、このデバイスはCメジャースケールに設定されています。ほかのスケールで使用したい場合は、MIDIエフェクトから“Scale”を選択してインストゥルメントの前にインサートすれば、好きなスケールで演奏できます。
【原理】簡単に原理を説明します。このデバイスでは、白いラインの部分の画像を抽出し、各エリアでの色の変化を検出しています。検出方法は、現在のフレームと直前のフレームを比較していて、（現在のフレーム）ー（直前のフレーム）の差分の変化量が一定値以上になったときにMIDIを出力するというアルゴリズムです。
非常に単純で高速に動作するため、便利なアルゴリズムですが、一つ問題があります。背景の色と手の色が似ている場合、差分がうまく取れず検出が難しくなるのです。その場合は、Webカメラに映る場所を変えたり、手袋を使えば解決できます。
最後に、外でこのデバイスを使うとかなり怪しまれますので、ご注意ください。このデバイスをカフェで作っていたのですが、空中を指しながら指を動かしている様子を見て、前に座っている人にかなり怪しまれました。
マイク入力した音声をMIDIに変換するMicMidi
次に解説するのは、マイク入力した音声をMIDIに変換し、演奏や打ち込みを可能にするMIDIデバイスです。接続されたマイクや内蔵マイクに向かって歌うと、ピッチを検出してMIDI情報に変換します。このデバイスも、インストゥルメントに接続すればお好みの音で演奏することができます。さらに、MIDIデータの録音も可能です。
【準備】以下の2つのデバイスをダウンロードします。
＜MicMidi＞
https://maxforlive.com/library/device/9924/181-micmidi
＜MicMidiReciever＞
https://maxforlive.com/library/device/9925/181-micmidireciever
MicMidiをオーディオトラックにインサートし、MonitorをInに設定します。
次に新規MIDIトラックを用意して、MicMidiRecieverをインサート。さらにMicMidiRecieverの後にお好みのインストゥルメントをインサートすると、マイクの音でインストゥルメントを演奏できるようになります。
MicMidiはMIDIを出力するのに、なぜオーディオトラックにインサートするのか？と疑問に思うかもしれませんが、MicMidiはオーディオ信号を解析するため、分類上はAudio Effectです。そのためオーディオトラックにインサートする必要があります。ただし、オーディオトラックではインストゥルメントがインサートできないため、別のMIDIトラックにインサートしたMicMidiRecieverでMIDIを受信してインストゥルメントに渡しているわけです。
【使い方】MicMidi内の上段のキーボード“Range of detection”で検出したい範囲を指定してマイクに向かって歌うと、下のキーボードに検出したピッチが表示され、MIDIを出力します。
【原理】デバイス内のパッチをのぞいてみましょう。M4Lには“fzero~”というオブジェクトがあり、ここにオーディオ信号を流すことで周波数を検出してくれます。その後、この周波数を“ftom”というオブジェクトでMIDIノートナンバーに変換するという、とても単純な構造です。
いかがでしたか？ “こんなことができたらいいな”と思うちょっとしたアイディアも、M4Lを使えば簡単に実現できます。デバイスを開発することは面白いだけでなく、それを使って自分だけの個性的な音楽制作を可能にするかもしれません。ぜひ皆さんもチャレンジしてみてください。
HIEI
【Profile】テクノロジーとサウンドをテーマにさまざまなアプローチで作品を制作。2007年King Street Soundsからのリリースをきっかけに、macrophage lab.名義でディープハウスを中心に作品をリリース。また、Ableton Liveによるライブパフォーマンスや、Cycling '74 Max、Max for Liveを使用したサウンドアート作品、インタラクティブ作品を制作する。
【Recent work】
『THE SEQUENCE』(2021)
HIEI
ABLETON Live
LINE UP
Live 11 Lite（対象製品にシリアル付属）｜Live 11 Intro：10,800円｜Live 11 Standard：48,800円｜Live 11 Suite：80,800円
＊オープン・プライス（記載は市場予想価格）
REQUIREMENTS
▪Mac：macOS X 10.13〜13、INTEL Core I5以上またはAPPLE M1プロセッサー
▪Windows：Windows 10 Ver.1909以降、INTEL Core I5以上またはAMDのマルチコア・プロセッサー
▪共通：8GBのRAM、オーソライズに使用するインターネット接続環境
