CASE STUDY|聴覚障害者をテクノロジーで支援するサービス・プロダクト・アプリ(2023/6)

Case Study 聴覚障害者をテクノロジーで支援するサービス・プロダクト・アプリ

聴覚に障害がある人は世界で4.7億人います。そして、今後は高齢化により増加傾向にあると言われています。聴覚障害者の多くは社会生活におけるコミュニケーションについて、困難さを抱えています。この社会問題の解決に向け、世界中の企業・スタートアップ・大学・デザイナー・エンジニア・研究者などが、さまざまな取り組みを進めています。今回はその中でもテクノロジーによって聴覚障害に関する問題の解決にチャレンジしている、サービス・プロダクト・アプリを【 声 】【 音 】【 手話 】【 筆談 】【 その他 】に分類してご紹介します!(アップデート:2023/6)

 

 

VUEVO 言葉が見える、会話がわかる。

Pixie Dust Technologies

VUEVO(ビューボ)は、聴覚障害や聞こえにくさがある人と聴者のコミュニケーションをスムーズにしたい、それにより互いに余計なストレスや気遣い無くもっと向き合える機会を増やしたい、という想いからスタートしたサービスです。聴覚障害者と聴者の間には、職場での聞こえの違いによって会議など複数人の会話の場でコミュニケーションが難しいという課題があります。ピクシーダストテクノロジーズの先端技術を用いて開発したVUEVOは、「誰が」「何を」話しているかをリアルタイムに直感的に表示することでこの課題を解決します。

https://vuevo.net/

 

 

See-Through Captions

筑波大学 デジタルネイチャー研究室・xDiversity

音声認識を使ったリアルタイム文字起こしは,声を聞き取りづらい人の日常生活を支援する重要なツールとなりつつある。より良いコミュニケーションを図るためには,表情や身振り手振りなどのボディーランゲージを用い,誤認識を防ぎながら快適に利用できるシステムが必要だ。そこで,透明ディスプレイを利用したリアルタイム文字起こしのシステムを提案する。このシステムでは,自動音声認識の誤認識を話し手が確認するために,文字起こしの結果がディスプレイの両側に向けて表示される。また,透明度の高いディスプレイにより,ボディーランゲージと文字の両方を確認しながら会話を行うことができる。

See-Through Captionsの利用シーン

https://digitalnature.slis.tsukuba.ac.jp/2021/02/see-through-captions/

 

 

わかりやすい字幕表示システム 

京セラ

新型コロナウイルスの感染拡大を防ぐために、「新しい生活様式」としてマスク、アクリル板、ビニールカーテンなどが多用され、「声が聞こえづらい」「口元が見にくい」といったコミュニケーションの障壁が生まれています。音声をリアルタイムに認識し、アクリル板などに透明スクリーンを貼付して字幕として表示することで、会話の聞き取りづらさを解消するシステムです。

https://www.kyocera.co.jp/newsroom/news/2021/001696.html

 

 

みえる電話

NTTドコモ

通話相手の言葉をリアルタイムで文字に変換し、スマートフォン画面に表示する画期的なサービスです。通話相手の言葉を聞き取るのが難しいと感じている方に便利にご利用いただけます。また、文字を入力して相手に音声で伝える機能もございます。聴覚に障がいのある方(ろう者・難聴者)、ご高齢の方にも、24時間いつでも便利にご利用いただけます。

利用シーンのイラスト

https://www.nttdocomo.co.jp/service/mieru_denwa/

 

 

Pekoe 会話をその場で字幕に

リコー

「Pekoe」は手軽に使えて、会議に参加している誰もがブラウザ上で音声認識結果を見ることができ、誤変換をその場で修正できるクラウドサービスです。常に最前面にウインドウが表示されるため、他のアプリケーションによりコミュニケーションが遮断されることはありません。チャット機能も備えており、「Pekoe」の画面を会議資料と同時に表示させて画面共有することで、「Pekoe」の中だけで双方向コミュニケーションが可能です。

https://www.pekoe.ricoh/

  

 

UDトーク コミュニケーション支援・見える化アプリ

Shamrock Records

UDトークはコミュニケーションの「UD=ユニバーサルデザイン」を支援するためのアプリです。「音声認識+音声合成」機能を使って視聴覚障害間コミュニケーション、「多言語音声認識&翻訳」機能を使って多言語コミュニケーション、「漢字かな変換や手書き」機能を使って世代間コミュニケーション、UDトークは3つのコミュニケーションを実現します。1対1の会話から多人数の会話や会議まで、オンラインでもオフラインでも使い方次第で幅広く様々な方とのコミュニケーションに活用することができます。

UDトークの利用シーン

https://udtalk.jp/

 

 

YYProbe リアルタイム音声認識アプリ

アイシン

お手元の端末で音声を集音、リアルタイムで音声認識を行います。テキスト化された会話をアプリに表示、その場で音声を聞くことができます。また、発言数や頻出キーワードを集計して表示します。

YYprobe 説明イラスト

 

  

Live Speech

Apple
iPhone、iPad、MacのLive Speechにより、ユーザーは、電話、FaceTime通話、対面での会話中に自分が話したいことをタイプして読み上げてもらうことができます。また、よく使うフレーズを保存しておいて、家族、友人、同僚と実際に会話する際にすばやくそれを挟み込むこともできます。Live Speechは、発話できない、または徐々に発話能力を失っている、世界中の何百万人もの人々をサポートするために設計されました。

https://www.apple.com/jp/newsroom/2023/05/apple-previews-live-speech-personal-voice-and-more-new-accessibility-features/

 

 

声・筆談 

 

しゃべり描き

三菱電機

「しゃべり描き®UI」は、外国語や手話ができなくても外国人や聴覚障がい者との円滑なコミュニケーションを実現するタブレット・スマートフォン向けアプリです。好きな場所に絵を描くように、話した言葉を指でなぞった軌跡に表示することで、筆談より手軽で直感的な操作ができます。また、お絵かきや画像と組み合わせて表示できるので、文字だけに頼らない分かりやすい表現が行えます。さらに、多言語翻訳により、外国人ともより楽しくより深く想いを伝え合うことができます。このように、しゃべり描き®UIは音声認識技術を活用した次世代のコミュニケーションツールです。

利用シーン

https://www.mitsubishielectric.co.jp/corporate/randd/list/design/advanced/b212/

 

 

SpeechCanvas

FEAT

SpeechCanvas(スピーチキャンバス)は、聴覚障害者と健聴者との会話を、音声認識技術を使って強力にサポートするアプリです。話した言葉が次々と画面上に、ふりがな付きで文字となり、画面を指でなぞれば絵や字がかけます。操作がシンプルでわかりやすいので、どなたでも簡単に使えます。インターネットがつながらなくても音声認識してくれるので、いつでもどこでも安心です。公共機関の窓口応対や店頭での接客サービスのほか、職場や学校、ご家庭など、生活のさまざまなシーンでお使いいただけます。

利用シーン

https://www.speechcanvas.jp

 

 

 

コデカケ ちょっと遠くへ、ココロおどるおでかけ。

Panasonic

聴覚障がいを持つ方は、補聴器や人工内耳を装着しても、健聴者と同様に聞こえるわけではありません。特に後方からの音が聞こえづらく、外出中に接触事故の危険を感じたり、後方に注意を払うことで疲れてしまったり、おでかけが楽しくないこともしばしば。コデカケは、聴覚障がいを持つ方が、外出中でも気持ちに余裕を生む一助になればという想いで、背後からの車や自転車の接近の通知やルート案内をするデバイス/サービスです。知らない道も楽しく歩いて、いつもよりちょっと遠くへおでかけしませんか?

コデカケ イメージ画像

https://gccatapult.panasonic.com/ideas/kodekake.php

 

 

サウンド認識

APPLE

iPhoneでサウンドを認識する。赤ん坊の泣き声、ドアベル、サイレンなど、特定のサウンドをiPhoneに継続的に聞き取らせて、認識したときに通知を送信させることができます。

スマホ画面

https://support.apple.com/ja-jp/guide/iphone/iphf2dc33312/ios

 

 

音検知通知

Google

スマートフォンの音検知通知をオンにする。音検知通知を使用して、家の中の出来事を知ることができます。音検知通知をオンにすると、煙警報のビープ音やドアフォンのベルが鳴った場合など、聞き逃したくない音をスマートフォンで常時検出できます。

キャプチャ。まわりの音を文字にする

https://support.google.com/accessibility/android/answer/10092548?hl=ja

 

 

Sound Display

情報技術開発

Sound Display(サウンドディスプレイ)は、身の回りの音を認識して、ユーザーに通知してくれるスマートフォンアプリです。 AI・スマートデバイス・クラウドをフル活用し、より良い社会の実現を目指しています。 ろう者、難聴者、高齢者など、聴覚障がい者が感じる日常生活や就労時の不自由さ・身の危険を解消し、社会参加しやすい環境づくりのお手伝いをします。

利用シーンのイラスト

https://www.tdi.co.jp/sound-display/

  

 

お手元テレビスピーカー

SONY

テレビ音声が聴き取りにくいときや、家事をしながらテレビ音声を聴きたいときに便利なワイヤレススピーカー。テレビ番組の音声を手元のスピーカーへ送信しテレビ音声を聴きやすくします。持ちやすいハンドルで家中持ち運べます。

お手元テレビスピーカー 製品写真

https://www.sony.jp/ic-recorder/kikitori/SRS-LSR200/

 

 

ミライスピーカー

サウンドファン

ミライスピーカーは、「蓄音機の出す音は難聴者に聞こえやすい音だ」という発見を元に開発された曲面形状のスピーカーです。距離が離れた場所でも音量が減衰しないエネルギー波の高い音を出すことができ、聴こえづらさを解消するスピーカーです。

ミライスピーカーの製品写真

https://soundfun.co.jp/

 

 

Ontenna

富士通

Ontenna(オンテナ)は、髪の毛や耳たぶ、えり元やそで口などに身に付け、振動と光によって音の特徴をからだで感じる全く新しいユーザインタフェースです。 ろう者と健聴者が共に楽しむ未来を目指し、ろう者と協働で開発しました。

カバー画像:音をからだで感じるユーザーインターフェース

https://ontenna.jp/

 

 

エキマトペ

富士通

エキマトペは、駅のアナウンスや電車の音といった環境音を、文字や手話、オノマトペとして視覚的に表現する装置です。誰もが使いやすく、毎日の鉄道利用が楽しくなるような体験を目指して、川崎市立聾学校の子どもたちと一緒にアイデアを考えました。単一の無指向性マイクによって集音された音声を AI 分析し、各番線アナウンスの文字・手話動画化、および車両・ホームドア・スピーカーから鳴る音のオノマトペ化を行います。また、駅員のマイクから取得した駅アナウンスをリアルタイムに文字に変換するほか、 文章の意味に合わせてフォントを自動的に変化させます。

https://ekimatopeia.jp/

 

 

SOUND HUG あなたの身体が耳になる

Pixie Dust Technologies

聞こえないを、聴けないにしない。そんな想いから生まれたのが「SOUND HUG(サウンドハグ)」です。抱きかかえることで、音楽を視覚(光)と触覚(振動)で楽しむことができる音楽装置。聴く音楽から、感じる音楽へ。さぁ、新しい音楽の楽しみ方のはじまりです。

https://pixiedusttech.com/soundhug/

 

 

UDCastMovie

Palabra

UDCastMOVIE(ユーディーキャスト・ムービー)とは、映画や映像作品に合わせて、自動的に字幕や手話映像の表示、音声ガイド再生等を行うことのできる無料アプリケーションです。

カバー画像

https://udcast.net/service/

 

 

手話 

 

電話リレーサービス

日本財団

電話リレーサービスとは、聴覚や発話に困難のある人と、きこえる人との会話を通訳オペレータが「手話」または「文字」と「音声」を通訳することにより、電話で即時双方向につながることができるサービスです。令和2年6月、「聴覚障害者等による電話の利用の円滑化に関する法律(令和2年法律第53号)」が制定(同年12月1日施行)され、公共インフラとしての電話リレーサービスが制度化されました。

利用シーンイラスト

https://nftrs.or.jp

 

 

SureTalk

ソフトバンク

手話ユーザーと音声ユーザーのコミュニケーションをより円滑にするサービスです。手話と音声をリアルタイムでテキストに変換し、画面を通して会話ができます。

カバー画像

https://www.suretalk.mb.softbank.jp/

 

 

ゲームで学べる手話辞典

ソフトバンク

「ゲームで学べる手話辞典」は、実際の人の動きで作られた豊富な辞典と楽しいゲーム機能で、手話をわかりやすく楽しみながら学べるアプリです。

カバー画像

https://www.softbank.jp/mobile/service/shuwa-jiten/

 

 

手話CG

NHK

「手話CG」は、NHK放送技術研究所が開発を進めているもので、単語1つ1つについて、実際の手話の動きを取り込んで(モーションキャプチャ)、コンピューターグラフィックス(CG)化したものです。 現在およそ7,000語を作成しています。

テレビ画面での利用シーン

https://www2.nhk.or.jp/signlanguage/sp/index.cgi

 

 

手話タウン

Google

「手話タウン」は、手話が公用語の架空の町を舞台に、手話を駆使しながらアイテムを集めていくオンラインゲームです。言語は英語・日本語・中国語(繁体字)から選ぶことができ、学ぶ手話言語は日本手話と香港手話から選ぶことができます。日本手話の収集は関西学院大学手話言語研究センターに協力いただきました。学習者は、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なテーマに合わせた手話をゲーム感覚で学ぶことができます。

https://signtown.org/

 

 

筆談・手話

 

WriteWith 顔が見える筆談アプリ

Microsoft・PLAYERS・PLAYWORKS

公の場でのコミュニケーション手段として「筆談」は利用されることが多い。 しかし、「筆談を嫌がられる」「相手の顔が見えない」 「一方通行のやりとりになる」といった課題があります。 そこで、障害に関わらずコミュニケーションを楽しむことができる、会話よりも「より感情的なコミュニケーション」ができる、「聴覚障害への理解」や「筆談の利用」が促進されるアプリを作りました。

カバー画像

http://writewith.jp

  

  

その他

 

グラツナ 聴覚障害者のための求人サービス

方角

グラツナでは聴覚障害当事者1個人と1企業がスムーズにマッチングできる体制を整えます。当事者のヒアリングを元にした聴覚障害者の求人専用の求人テンプレートを掲載する求人サイトをオープンいたします。更に就業前の基礎知識研修などの「受入準備プログラム」、就業後も企業向けに適切な配慮と適宜アドバイスを行う「アフターサポートプログラム」もご提供してまいります

グラツナ イメージ画像

https://gratuna.com/

 

 

みなさんいかがでしたでしょうか? 実用化させているものから、開発中のものまで沢山の取り組みがありますが、これらによって聴覚障害者が暮らしやすい社会が少しでも実現されることを期待しています!

 

 


 

CASE STUDY|視覚障害者をテクノロジーで支援するサービス・プロダクト・アプリ

https://playworks-inclusivedesign.com/column/column-2186/

CASE STUDY 視覚障害者をテクノロジーで支援するサービス・プロダクト・アプリ

 

CASE STUDY|発達障害者を支援するサービス・プロダクト・アプリ

https://playworks-inclusivedesign.com/column/column-6969/

CASE STUDY 発達障害者を支援するサービス・プロダクト・アプリ

  

 


関連コラム・実績