「こうなったら通学が楽しくなるのに」という、ろう学校の生徒たちの声を形にしたかった
──Twitterを通してエキマトペという装置があることを知り、今回行っている上野駅の実証実験を拝見しました。
はじめに、エキマトペとはどういった装置なのでしょうか？
富士通 今村：エキマトペは、駅のアナウンスや「ガタン、ゴトン」や「プルルルル」といった駅に溢れている環境音を、リアルタイムに文字化し、視覚的に情報を届けられるようにした装置です。その仕組は、事前にAIに学習させた音を認識し、文字化するもの。また、専用のマイクを使うことで、駅員がその場で話した内容もモニターに表示される機能もあります。
富士通 山本：富士通、JR東日本さん、DNPさんの３社がはじめにプロジェクトチームとなり、その後、駅の自動販売機を管轄する株式会社JR東日本クロスステーションさんにジョインしていただきました。誰もが使いやすく、毎日の鉄道利用が楽しくなるような体験を目指して、川崎市立聾学校の子どもたちとアイディアを出して開発し、現在は実証実験を重ねているところです。
──富士通、JR東日本、DNPの３社でのプロジェクトチーム結成には、どのような経緯があったのでしょうか？
富士通 今村：私たち３社は元々東京五輪のパートナー企業でして、JR東日本さんが開催した関連イベントで、富士通の〈Ontenna（オンテナ）〉を紹介したのがきっかけですね。Ontennaを見たJR東日本さんが、私たち富士通とDNPさんと３社で「何か一緒にできないか」と声をかけてくれました。
〈Ontenna（オンテナ）〉とは、髪の毛や耳たぶ、えり元やそで口などに身に付け、振動と光によって音の特徴を、からだで感じる全く新しいユーザインタフェース。音を振動と光の強さにリアルタイムに変換することで、ユーザーはリズムやパターン、大きさといった音の特徴を、聴覚を用いずに知覚することができる。従来、聴覚にハンデがある人々にとってはリアルに感じることが難しかった、スポーツ観戦やライブ鑑賞などの音が重要となる体験も、オンテナを活用することで会場の臨場感や一体感を感じることが可能。視覚障がい者と健常者がともに楽しむ未来に向け、さまざまな可能性を秘めるデバイスである。
DNP 宮田：私たちDNPも、文章を読み取り、感情や話題に合わせたフォントに自動で切り替える〈DNP感情表現フォントシステム〉というシステムを同じイベントで紹介しており、各社の技術を集結して、アイディアを出すことで、何かを生み出せるのではないかという期待がありましたね。
▼「DNP感情表現フォントシステム」コンセプト映像
富士通 今村：その後、2021年７月に川崎市立聾学校で「みらいの通学をデザインしよう」というテーマのワークショップを３社合同で実施したんです。各社の取り組みをそれぞれ紹介して、それをきっかけに生徒から“みらいの通学”のアイディアをたくさん出してもらいました。その中で「アナウンスを文字に出してほしい」「手話があると分かりやすい」という声が多くあったことから、その声を実現しようと動きはじめました。
JR東日本 高橋：そうですね。その結果、3社にできることを考え、駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置「エキマトペ」の開発プロジェクトをスタートしていきましたね。
──ワークショップで生徒たちのアイディアをみて、どのような印象でしたか？
富士通 山本：普段あまり意識していなかった生活の場面が多く挙げられたのは印象的でしたね。例えば、通勤で電車に乗っていても、「どんな音が鳴っているのか」を、気に止めたことはありませんでした。でも、聴覚障がいのある生徒たちと話をしていく中で、それを知りたい子がたくさんいたんですよね。そして、私たちの技術を使うことで、その要望を叶えることができると実感しました。私たちだけでブレストをしても、なかなか出なかった声を目の当たりにできたことは大変有意義でしたね。
JR東日本 高橋：私たちJR東日本はまさに通学の現場におりますので、たくさんアイディアを出してもらい、「もっとこうなったら通学が楽しくなるのに」という子どもたちの声を、なんとか形にしたいという思いが強くなりましたね。
音を一つひとつラベリングし、AIに音を教えていった
──その後、どのような役割分担でエキマトペが開発されていったのでしょうか？
富士通 今村：富士通はテクノロジー企業ですので、このアイディアをどう実現するかという部分で、システムの開発や、筐体のデザインを担当しました。具体的には、富士通は〈富岳〉をはじめとしたスーパーコンピュータやさまざまな最先端技術を持っているので、今回、駅に広がる情報をどう処理するか、そこにAIをどう絡ませるか、筐体はどのようなデザインにするのかなどについて社内で話し合っていきました。JR東日本さんには設置スペースの提供と駅のキオスクや自動販売機を管轄するＪＲ東日本クロスステーションを紹介してもらい、DNPさんにはフォントの開発をされているので、聞こえる音をどのようなフォントで伝えられるか、それぞれ考えていきましたね。
──テクノロジーの観点から、〈エキマトペ〉にはどのような技術が使われているのでしょうか？
富士通 今村：エキマトペには〈FUJITSU Supercomputer PRIMEHPC FX1000（※1）〉というスーパーコンピュータで構築したAIの学習モデルが内蔵されています。このAIの学習モデルは、マイクで集音した駅の音情報を認識し、文字にするというエキマトペの肝になってくるもの。富士通のエンジニアが調整に調整を重ねて開発しました。
富士通 山本：AIのモデルを作るためには大量のデータが必要ですが、特に音声データのラベリングには時間を要しましたね。例えば「１番線に電車がまいります」というアナウンスは、ラベル1。「2番線に電車がまいります」という音声にはラベル2。というように、駅で鳴っているさまざまな音に手作業でラベリングをしなければなりません。電車が止まる際の「キーッ」というブレーキの音や扉の開く音など、本当にたくさんの音をラベリングし、AIにどんな音が鳴っているかを教えていったため、開発の難易度は高かったですね。
視覚障がい者だけではなく誰もが、見ていて楽しい気持ちになれるデザインに
──DNPさんの技術としては、どのようなものが使われているのでしょうか？
DNP 宮田：富士通さんのAI技術で音をテキスト変換したあとは、DNPの〈DNP感情表現フォントシステム〉を通じて、音や文章を内容に適したフォントで表現しています。このシステムは言葉の意味を読み取り、感情や話題に合わせたフォントに自動で切り替えるというもので、どのようなフォントを当てるのか、駅員さんのアナウンスに適したフォントになっているのか、DNPでもすり合わせていきました。
──それぞれの技術が集まって、エキマトペが開発されていったのですね。JR巣鴨駅で最初の実証実験を行い、今回二度目の実証実験をJR上野駅でされていましたが、どのようなテストを行ったのでしょうか。
富士通 今村：エキマトペの実装化に向けてはさまざまな課題があるのですが、一番はAIが適切に作動するかを確認しました。ある程度の高い品質を担保した上で、実証実験に臨んでいますが、今回の実証実験を通じて、マイクで音を拾う際に、他の線の音を拾ってしまうという課題が見えてきました。１・２番線の情報を表示したいのに、３・４番線の音も拾ってしまい、どちらもモニターに文字として表示されてしまうといったことが起きてしまいました。幸い、AIは高い精度で作動していたのですが、マイクの指向性は実験をしないと見えてこなかった課題でしたね。
富士通 山本：デザイン面でも実験を重ねないとわからないことがありましたね。最初にJR巣鴨駅で実証実験を行った際は、エキマトペは巨大なモニターでした。しかし、電車を待つ人がモニターの前に立ってしまうと、そのモニターは見えなくなってしまいます。
▼巣鴨で第一回の実証実験を行った際のエキマトペの様子
富士通 山本：そこで、今回は自動販売機の上部に置いたら遠くからでも見られるようになるのではないかという考えで、小さいモニターに切り替えました。また、「モニターも楽しいデザインだといいよね」という議論から、言葉が踊るように、漫画の吹き出しのような筐体デザインに変更しました。
▼上野駅で第二回の実証実験を行った際のエキマトペの筐体
JR東日本 高橋：上野駅の実証実験で行った筐体のデザインはかなり議論しましたよね。安全性の観点から、筐体の落下などで駅を利用するお客様にお怪我をさせることがあってはなりません。ですのでJR東日本からは、強風でも動かない筐体、筐体の強度の条件などをいくつかリクエストさせていただきました。いろいろな条件を言ってしまい富士通さんは苦労されたと思いますが、現在のデザインを見て、情報を出すだけのサイネージではなく、聴覚障がい者の方だけではなく全ての人が、見ていて楽しい気持ちになれる優れたデザインだなと実感しています。
聴覚障がい者でも、健常者でも。人と人とが支え合うきっかけになるようなツールになりたい
──工夫や苦労を重ねて、少しずつ改良されている最中ですね。Twitterを中心にSNSで反響を呼んでいますが、これまでの反響で印象に残っているものはありますか？
富士通 今村：SNSでエキマトペの感想を発信してくれる人や、なかにはエキマトペと出会った体験を漫画にしてくれる人もいるので、そうした反響は逐一見ていますね。なかでも、聴覚障がい者の方々から、「エキマトペによって世界が広がった」「正解の音を知れた」という声が聞けたときは、とてもうれしかったですね。
JR東日本 高橋： SNSやテレビで反響を見て、とても話題になっているんだなということを私だけではなく、他の駅員も感じていますね。私としては、エキマトペをきっかけに「お客様にとって、どんな駅が利用しやすいか」を改めて考えるきっかけにもなりました。駅員の私でさえも駅の音はどういう風に聞こえているのか意識していませんでしたし、聴覚障がい者の方の意見を聞き「駅の音が知りたかったんだ」という気づきから、聴覚障がい者の方だけでなく駅を利用される方一人ひとりに対して、どうしたら快適な駅になるのか、考えています。
──最後にエキマトペの今後のビジョンをお聞かせください。
富士通 今村：エキマトペが聴覚障がい者のためだけの支援ツールではなく、全ての方へ気づきのきっかけを与えるようなものになってくれると嬉しいですね。エキマトペが今後製品化され、さまざまな駅に設置された時、例えば「世の中には耳の不自由な方も駅を利用していて、自分も何か手を差し伸べることができるんじゃないか」といった気持ちが芽生えるのではと。「障がい」に対する理解が深まれば、困っている人を見かけたとき、自然と「声を掛けてみよう」とも思えるのではないでしょうか。私たちはそんな、人と人とが支え合うきっかけになるようなツールを今後も展開していきたいと思っています。
富士通 山本：今は駅だけですが、今後は〈◯◯マトペ〉のように、空港や商店街、公共の場に設置されて、さまざまな場所で音が見えるようになったら嬉しいですね。JR巣鴨駅やJR上野駅だけではなく、今後あらゆる場所で実験をして、多くの場所で〈マトペ〉を広げられるよう、ブラッシュアップしていきたいです。
JR東日本 高橋：お客様に安全に電車を利用してもらうために「あれがあったらいい」「これもあったらいい」と考えると尽きないのですが、駅社員としては今ある設備の中でお客様に快適に利用してもらうにはどうしたら良いのかが重要になってくると思います。自分たちの提供するサービスが足りているのか、不十分なんじゃないかというのを常に考え続けていかないといけない。それは終わりがないものだと思っています。なので、一つひとつよりよいサービスを提供しようと社員全員が思うところからより良い世の中へのアイディアが生まれると考えています。
※1 FUJITSU Supercomputer PRIMEHPC FX1000：
Arm®v8-A命令セットアーキテクチャーをスーパーコンピュータ向けに拡張した「SVE（Scalable Vector Extension）」を採用したCPU「A64FX」を搭載。高い電力あたり性能とともに、高性能積層メモリであるHBM2の高いメモリバンド幅による高い計算効率を実現。
編集後記
JR上野駅でのエキマトペの実証実験中、駅のホームで聞こえる音がオノマトペとしてユニークなフォントになって表示された時「たしかに電車の発着音のイメージはこんなフォントの『プルルルルル』かもしれない」と、何気なく聞いていた音が視覚化される面白さを知りました。
そして、その帰路。歩く音は「ザッ、ザッ」なのかな、「ペタッ、ペタッ」なのかな。車の音はどう表せばいいのだろう、本をめくるときの音はどうだろう、と「もし自分が聴覚障がいのある人に音について聞かれたら」ということを考えるようになっていました。
普段音が当たり前に聞こえている私にとって、“音のない世界”を想像する機会はなかなかありません。しかし、「障がいを考えるきっかけに」と語るエキマトペの開発者の思いのように、このエキマトペを見ることが音について考えてみるきっかけにもなるでしょうし、もし目の前で困っている障がい者の方を見かけたら声をかけに行くことが増えるのかもしれません。
もしかしたら３年後、５年後には駅や空港に当たり前に置いてあるデバイスになっているのかもしれません。
テクノロジーで障がい者と健常者を繋ぐ試みに今後も期待したいと思います。
［プロフィール］
今村亮太
富士通株式会社 コンバージングテクノロジー研究所 ソーシャルテクノロジー社会実装推進室 マネージャー
エキマトペプロジェクトの全体マネジメント及び責任者。テクノロジーとアイデアを掛け合わせて、未来社会に貢献するサービス創出を担当。
山本悦子
富士通株式会社 コンバージングテクノロジー研究所 ソーシャルテクノロジー社会実装推進室
エキマトペでは、システム開発に関するプロジェクト推進、実証実験中のサポート等に従事。
宮田愛子
大日本印刷株式会社 秀英体事業開発部
より多くの方に秀英体（とフォント）の魅力を伝え、ユニバーサルコミュニケーションの実現を目指し、鋭意活動中。エキマトペでは、駅員アナウンスのフォント表示を担当。
高橋弘
JR東日本 上野営業統括センター（マネジメントオフィス）副長
上野駅でのエキマトぺ実証実験の実務担当者。上野地区の鉄道や駅の宣伝や販売促進を担う。
（文：高山諒、写真：飯山福子、編集：金澤李花子）
