シビック・クリエイティブ・ベース東京［CCBT］（以下、CCBT）が、東京藝術大学 芸術情報センター（AMC）と協働し、音を光や映像として体験できるシステム「VisVib」（ヴィズ・ヴィブ）を開発した。VisVibは、トーンチャイムを用いてその響きを光や映像として体験できるシステムで、ろう者や難聴者、子どもたちも音や音楽を楽しみながら演奏できるようにと生み出されたものだ。ここでは開発スタッフによる報告会をレポートしていくが、ろう者や難聴者への音楽的なインクルージョンにとどまらない、アート表現とその受け止め方についてのさまざまな課題の発見があった。
ろうや難聴の子どもの参加をあらかじめ想定したワークショップ
最初に、CCBTの伊藤隆之氏が、このプロジェクトの経緯を説明してくれた。
「CCBTは、アートとデジタルテクノロジーを通じて人々の創造性を社会に発揮するための活動拠点。僕なりの理解では、自分ごととして物事を作っていく、その作り手の数を増やすことを目標として活動に取り組んでいます。VisVibは、東京文化会館から“聴覚障害を持った子どもたちのための音楽体験のワークショップを作りたい。そのためのデバイスを一緒に作りませんか？”というお話をいただいて始まったプロジェクトですが、“そもそも聴覚障害を持っている方の音楽体験って何なのだろう？”というところからスタートしたんです」
その東京文化会館のワークショップ・リーダーを務めているのが、最初に登壇した伊原小百合氏。玉川大学で保育者や教員の養成に携わりながら、東京文化会館のミュージック・ワークショップにリーダーとして参加している。
「東京文化会館では、2019年から簡単な手話付きのミュージック・ワークショップを開催するようになりましたが、次第に課題を感じるようになっていきました。例えば、手話をつけて歌を歌う場合、手話という言語の間合いや文法、言語としての表情を無視して歌わなければいけないことに、違和感や不快感がある方がいらっしゃることを知りました。一方で、楽器を楽しんでもらおうとしても、“振動を楽しむ”ことを超えた提案が我々もなかなかできなくて、どうにかその可能性を広げられないかと検討を重ねてきました」
そこで、伊原氏をはじめワークショップ・リーダーの中で「聴者の文化をどうにかして一緒に楽しみましょうと工夫するアプローチではなく、ろうや難聴の子どもをあらかじめ想定したワークショップを作ってみることで、新しい音楽の体験が生み出せるのではないか」という意見が挙がったという。
そうした発想でプロジェクトが2022年からスタート。そこから生まれたのがVisVibであり、2024年3月に行われた「不思議なミュージアム」というミュージック・ワークショップで採用された。5歳～小学校低学年を対象とし、展示された“魔法のアイテム”に触れるとパワーを感じられるというストーリー仕立てのものだった。伊原氏はワークショップを制作する立場から、VisVibがろう者・難聴者の子どもたちに、あるいはもっと広くあらゆる子どもたちにどういう音楽装置であるべきかを考えて開発に参加してきたという。
「3部構成の中の第2部でVisVibが登場します。トーンチャイムの減衰とともにライトの光が弱まっていくことで、“音が消えたと思ったのにまだ鳴っているんだね”という状況を子どもたちが面白がってくれました。“自分がトーンチャイムを鳴らすことでライトが光ることが楽しかった”と」
音を鳴らせばライトが光る。VisVibは極めてシンプルだが、物理的なライトが光ることに伊原氏はこだわりを持っていたという。
「2次元の映像表現だけにすると、ゲームのように画面に夢中になってしまい、自分の体を感じられる瞬間が薄れてしまうかもしれないと思いました。ライトと自分の関係性にむかいあってもらうために、3次元のものとしてのライトは必要だったと思います。スクリーンでの映像も併用していますが、自分以外のお友達（参加している子ども）のパワーを感じながら楽しんでみようという意図で、映像として光のアンサンブルを楽しんでもらえるようにしました。トーンチャイムの音も、いつどのタイミングでどのトーンチャイムが鳴っても、音楽的にも美しいハーモニーになるようにこだわりました」
こうしたデバイスを「みんなで作っていく」ための第一歩
VisVibの技術面を担ったのは。東京藝術大学 芸術情報センター（AMC）特任助教の松浦知也氏だ。まずはVisVibのシステム概要を説明してくれた。
「SUZUKIのトーンチャイムに、300円くらいで制作できるコンタクトマイクと、3Dプリンターで制作したカバーを取り付けています。これをオーディオインターフェースでコンピューターに入力し、ソフトウェア（Cycling'74 Max）でノイズ処理と音量検出を行い、ライトや映像の制御信号として出力する仕組みです。今回は、クリップライトを使っていますが、例えば一般的な音楽ホールの照明装置に直接つなげて明るさを変えるといった拡張も可能になっています。映像はAMCの薄羽涼彌さんにUnityで制作していただき、ライトと色を合わせた映像表現にしました」
少しでもメディアアートに関心のある人ならこう思うかもしれない。「なんだ、簡単な仕組みじゃないか」と。そこには、このVisVibを今後につなげる目的がある。
「このVisVibについてのすべては、GitHubに公開しています。最終的には僕がいなくてもVisVibをみんなでサクッと使えるようになってほしいと思っているんです。さらに言えば、ちょっと頑張れば自力でこういうシステムを作れるよう、ハードルが下がっていけばいい。トーンチャイム以外の楽器でやりたいといったときのチューニングもそうですし、そういう基礎体力のある人が集まれば、もっと面白いものがみんなで作っていけるのではないかと」
Cycling'74 Maxは、メディアアートのプログラミング環境としては比較的平易なものであることは、サンレコ読者なら知るところであろう。しかし、実際にオーディオインターフェースを用意し、Maxのプログラムを作り、動作するシステムを組むことは、こうした知識がない人にとって大きな障壁となる。シンプルに言えば、デジタル・ディバイドだ。ハードウェアの導入コストも指摘した上で、松浦氏はこう語る。
「テクニカルなサポーターとして、ろうの方やワークショップ制作者とコラボレーションした結果、いいものが出来上がったという自負はありますが、いつまでもその制作体制でいいのかな？という疑問はあります。技術的な立場からすると、どうしても“聴者が聴いている音楽の世界の情報量を十全に表現する”という思考に向きがちなんです。でも、目指すところは“聴覚情報の完全な再現”なのか？と。そういう出発点を問われたときに、エンジニアは急にできることがなくなる。だからこそ、技術者を介さずに、例えば東京文化会館のワークショップ・リーダーを中心にこういうデバイスを自力で作れる体力を持てるようになるのが、理想形なのではないかと思っています」
ろう者・難聴者の音・音楽の受け止め方という視点
ここまででVisVibの仕組みや実際の利用例が語られてきたが、実際のVisVibの形に至るまでのプロセスは、非常に難しいものだった。最初に伊藤氏が述べたように“聴覚障害を持っている方の音楽体験”を考えることがスタート地点だったからだ。
3人目の登壇者、多田伊吹氏は、そんなVisVibの開発プロセスを解説してくれた。聴覚障害を持った手話話者で、昨年度までCCBTでインターンをていた氏は、“音を身体全体で感じる体験”を目的としたシステム開発の中で、ろう者として音や音楽をどう受け止めているかという視点を、チームに共有していく役割を果たした。
「VisVibが形になる前に、さまざまな試みがありました。例えば松浦さんが試作した振動スピーカーを使ったデバイスは、音が物理的にどのような振動に変化するか大変興味深かったのですが、音声が発生してから振動が来るまでのタイムラグがありました。また振動スピーカーのバッテリーの寿命が短い点、子どもが使っても問題にならないように安全性の向上、また発音音によって振動の区別をより明確にするべきなどが課題として挙げられました」
多田氏をはじめとするろう者・難聴者のこうした意見からは、音と時間、音と表現の関係性をあらためて見つめる機会を得たと言ってもいいだろう。
「会議を重ねながら、改良した振動デバイスをさまざまな楽器に取り付けたりしていく中で、トーンチャイムの高めの音と長い響きが特徴的で、これを中心として開発を進めるということが決定しました」
そうして、トーンチャイムの奏でる音の長さと減衰を視覚的に伝える装置としてライトと映像の制作が進んでいった。また、開発チームでは視察調査も重ねたとのこと。まず訪れたのは多田氏の母校でもある筑波技術大学。日本で初めて聴覚・視覚に障害を持つことを入学条件とした大学だ。
「ろう・難聴者の学生とのディスカッションを通して、音楽に対する考え方が非常に多様であることに気がつきました。例えば学生の大半が音楽を聴いており、好みのジャンル、聴き始めた時期もさまざまで、補聴器や人工内耳、耳の形などに合わせて利用する音楽機器も異なるなど、一人一人音楽に関する好みや考え方のニーズを持っていることが分かりました」
筑波技術大学に加え、手話を第一言語とする子どもたちを対象とした放課後デイサービス施設「あ〜とん塾」（東京都豊島区）にVisVibを持ち込み、子どもたちの感想を集めたりもした。こうした調査活動を経て、伊原氏が先述した「不思議なミュージアム」で使われたVisVib。多田氏はこのワークショップで“音楽を目や体で楽しむという新しい視点に気づかされた”という意見に触れられたという。
「子どもたちがトーンチャイムの振動を感じたときの反応がとてもよく、ろうの子が“腕や体に響いてきた”と手話で話し、音の仕組みや音の発声場所、さらには音楽を通して親子間の会話が深まる場面が多く見られました。大人からのリアクションもよく、トーンチャイムを飽きることなく振りながら、ライトや映像に夢中になっている姿を見て、心から音楽ワークショップを楽しんでいることが伝わってきました」
音の文化からの一方通行になっていないか？という問い
発表者として最後にオンライン登壇したのは、Sasa-Marie氏。東京文化会館ミュージック・ワークショップアクセシビリティアドバイザーを務めるろう詩人であり、ろう者の“おんがく”や芸術表現を伝える団体ミナテマリを結成。こうしたアート実践と並行して、ろう者・聴覚障害者の音楽の鑑賞環境などについて研究する立場から、このプロジェクトに参加した。
「ろう者・難聴者と一口で言っても、聴こえ方／聴こえなさには帯域、減衰具合の個人による違いがありますし、ろう者と音楽との関わり方も、多田さんがおっしゃったようにさまざまです。音楽を拒絶する人もいれば、さまざまなデバイスを通じて音楽を聴いたり、歌詞や映像で楽しんでいる人もいる、ということが頭に入れておくことが大切です」
Sasa-Marie氏は、“聴力で音を認知するもの”という音楽観から概念を拡張し、例えば手話による音楽表現として発展してきたサイン・ミュージックなどを例に挙げ、音で構成されるばかりでない音楽をひらがなの“おんがく”として定義している。
「特に音楽の場合、ろう者・難聴者が自身の“おんがく”観について語る言葉がまだ十分でない可能性があり、“楽しかった”“感じられた”という表現にとどまることがあることに注意する必要があります。つまり、注意しなければならないのは、音の文化からの一方通行になっていないか、ということです」
こうしたSasa-Marie氏の意見を踏まえ、「心地よく感じる」「楽しさ」の交差点はどこか？を検討していったことが、VisVibのビジュアル・フィードバックにも生かされているという。
「多田さんの発表にあったように、いろいろな提案や検討を重ねた結果、松浦さんや映像担当の薄羽さんがトーン・チャイムの雰囲気を眼に見える形で、最初の段階で提示してくださいました。私も多田さんも、トーン・チャイムの響きの違い、程度、音の重さ、響きの程度、減衰がよく見える……これなら何かできるかもしれないと感じたきっかけの一つになったと思います」
シンプルでいて、伝わる表現となっているかどうか。VisVibが現在の形になったのには、こうした経緯があったのだ。
「インクルーシブな音楽体制を生み出すときには、“おんがく”は音で構成されるものばかりではないという可能性について、そしてろう者の音楽経験を理解した上で“ありのまま受け止めていいんだよ”ということを、相互理解することが大切です。特に子どもを対象とする場合には、音の文化のみならず、大人の文化からの一方通行にならないよう注意する必要があります」
さらにSasa-Marie氏は、相互理解のプロセスも重要であると加える。
「インクルーシブな音楽体験にはプロセスが大事なのですが、どうしても一期一会の関係性になってしまうのが課題です。人が変わると、対応が変わり、雰囲気も変わってしまうということはありがちです。松浦さんが役割分担や細分化の話をされましたが、それを超えられるような安定性と成熟が大事だと考えます」
「聴こえないこと」と「音楽」との関わり方を埋めていくプロセス
第2部のディスカッションに先駆けて、筑波技術大学教授の大杉豊氏が登場。多田氏が先述した調査にも協力した大杉氏は、ろう学校から一般校へ転校した途端、音楽の授業が面白くなくなったという自身の幼少期の体験を元に、「Sasa-Marieさんが“一期一会のかかわりにならないように”とおっしゃったように、VisVibを音楽教育として子どもたちのために継続してほしい」と意見をを述べた。
ディスカッションでは、やはり伊藤氏が最初に述べたように、“聴覚障害を持っている方の音楽体験とは？”という疑問に立ち返り、VisVibプロジェクトの難しさが主な話題となった。プロジェクトの成り立ちと成果を発表した伊原氏は、その背景で考えていたことを付け加える。
「当初考えていたものとは良い意味で違うかたちになったと思います。手話表現の美しさをワークショップにできないかと思い至ったこともありましたが、手話話者ではない人がそれを強制するのは文化的冒涜ではないかと考え直しました。そこから、音楽的な好みや、聴こえる／聴こえないということとは違う形での楽しみ方を提案できたらという方向にシフトしていったんです」
これを受けてSasa-Marie氏も、「東京文化会館のワークショップに参加するようになって、聴こえないことと音楽との関わり方を説明するのは、私自身にとっても難しかった」と語る。
「その間を埋めていく作業をワークショップを通じてしてきたのですが、今回VisVibに関わる中で、“それは違うんだよね”と伝え合いながら見つけていくプロセスも必要な時間だったと思います。ろう者の目と聴こえる人の目では、同じものを見ていても伝わってくるものは違う。松浦さんや薄羽さんが作ったビジュアルは、それぞれ違和感なく受け止めることができましたが、それは積み重ねがあって実現できたことだと思います」
松浦氏は、ライトと映像を使うという構成に落ち着いたのは「不思議なミュージアム」の3カ月前だったと明かしたが、多田氏はそれを受けてこう語った。
「振動は、理屈は分かりますが、面白みに欠けます。振動の演出を加えたコンサートに行ったときに、音楽がどれだけ展開してもずっと振動の周波数が同じで、音と連動しておらず、違和感がありました。また、振動がどの楽器からのものか分からなかったんです。VisVibは、トーンチャイムの振動が自分でも分かりますし、ライトと映像の連動が分かる。それが楽しかったと思います」
最後はSasa-Marie氏が「子どもたちの夢につながっていることが、究極的な目標。どんな子どもでも、自分もこうなりたい。大人になって、こういうことをやってみたい、作ってみたい思えるようなプロジェクトにしていけたらと思います」と語り、報告会は幕を閉じた。
“みんなで作る”ための対話と相互理解の「グラウンドレベル」
この報告会を聞きながら、伊藤氏が疑問を投げかけ、Sasa-Marie氏が提言していた「音とは、音楽とは何か？」という根源的なテーマを考え続けていた。
正直に言えば、この報告会に参加する前は、「VisVib＝Maxで音を検知して光るもの」という認識であった。それは間違いではないのだが、単なる表面的な事実に過ぎない。その形に至るまでの過程で、本当にろう者・難聴者が音楽（Sasa-Marie氏の言葉を借りれば“おんがく”）を楽しむためのデバイスとして、何が求めらるのかを考え抜いた上での一つの到達点であることは、上記のレポートで分かるだろう。
一方で、松浦氏が指摘するデジタル・ディバイドの問題もある。メディアアート界の共通言語と言えるMaxであっても、まだまだ敷居は高い。数万円する8chのオーディオインターフェースも、一般の人から見れば十分高価だ。
つまり、インクルーシブな音楽、あるいはそのためのデバイスを目指す中で、聴こえる・聴こえないという差異以外にも、さまざまま障壁……乗り越えなければならない壁が幾重にもある。
報告会の後で、伊藤氏にその疑問を投げかけると、このような答えが返ってきた。
「“みんなで作る”ということが、キーワードだと思っています。価値観の違う人同士が一緒に何か作っていくときに、必要なのは対話と相互理解、そして価値の共有。「僕はプログラミングができます」「私はできません」というときに、そこでストップするのではなく、プログラミングで何ができるのかを理解するところからスタートする。そうすると、次はもう一段階上の対話ができるようになり、それが繰り返されることでその先に進める。“聴こえる・聴こえない”についても同様です。相互理解の解像度は、まだ低いとは思いますが、いろいろな発展可能性があると思います」
発展していくためには、継続していかねばならばい。「音が鳴ることで光る」というシンプルなVisVibから、もう一歩進めて、VisVibでなければできない表現や、音楽（ないし“おんがく”）としての作品性まで高めていく必要があるのではないか、とも感じた。これに対して伊藤氏はこう答える。
「僕自身も、現在のVisVibはまだテクノロジーの最もプリミティブな形だと思うんです。でも、グラウンドレベルを確かめるような感触はあって……どこが一番プリミティブに分かち合えるポイントなのか、という。その先にきっともっと面白いものが出てくるんじゃないかなという感覚を、今は持っています」
VisVibのようなシステムを用いたろう者・難聴者のための音楽は、まだ第一歩を踏み出したばかりだ。VisVibなのか、あるいはもっと違う形のものなのかは分からないが、音楽とは何か、テクノロジーはどう貢献できるのかを問いながら、こうした試みが枝葉のように広がっていく……それを「期待する」というよりも、そうなっていくのがきっと自然なことなのではないかとさえ思えてくる報告会であった。
