JP2018531460A - 通知装置及び通知方法 - Google Patents

Abstract

全体として協働する複数の装置を含む警告通知装置は、聴覚障害者によって監視される限定的な周囲環境内の音イベントを捕捉するよう構成され、前記警告通知装置（１１）は、出力装置（１２）自体によって受信される少なくとも１つの一致指示信号と、出力装置（１２）内で実行されるリソース若しくは第三者アプリケーションによって捕捉されるソース信号とを分析する警告通知アプリケーションを実行するよう構成され、警告通知アプリケーション自体を用いてユーザによって選択された警告通知プロファイルに基づいて、携帯可能出力装置（１２）自体のリソースによって、ユーザにとって感覚的及び視覚的に適合された警告通知信号を生成するよう構成される。

Description

本発明はユーザの周囲環境において生じる聴覚信号の広い範囲に応答する、聴覚障害者のための警告通知システムに関する。

音響信号のセットを認識することと、聴覚障害者へ、聴覚障害者の近くの環境で音が生成されたことを通知することとが可能なシステムが従来知られている。

システムは、聴覚障害者へ、彼らの近傍での音声イベントを認識する機会を付与する。

システムは、監視される環境において展開される、捕捉音声についての装置セットを含む。これらの装置は障害者の近傍で生じる音を捕捉する。

音捕捉装置は、コントローラと無線通信する。コントローラは、その音捕捉装置によって捕捉された音イベントに関する、音捕捉装置によって送信された信号を受信する。

コントローラは、受信された信号がコントローラに関連付けられたデータベースに格納された音信号と一致するとき、コントローラによって発され送信された警告通知信号を受信する警告装置と無線通信する。

コントローラは、受信された捕捉音イベントに関する信号と、データベースに格納された標的音イベントに関する信号とを、リアルタイムで比較し、当該捕捉音と格納された標的音イベントとが一致するか否かを判定する。コントローラがその一致を特定すると、それは警告通知信号を、出力装置へ送信する。これにより出力装置は捕捉された音イベントをユーザに通知する。

したがって、聴覚障害者への通知を可能にするために、無線チャネルを有する利用可能な遠距離通信ネットワークを有する必要がある。無線チャネルは常には利用可能でないことがある。その結果、無線チャネルが利用不可能だと、聴覚障害者はユーザの近傍で生じる音イベントの通知を受けることを妨げられる。

本発明は、請求項に規定されたように音イベントを聴覚障害者へ通知する方法及び装置を用いて、上記の１以上の不利益を解決することを目的とする。

警告通知装置は全体として協働する複数の装置を含む。当該複数の装置は、監視中の限定的な環境において捕捉された所定の環境音を、完全な又は部分的な聴覚障害を有するユーザのために感覚的及び視覚的に適合されたマルチメディアコンテンツへ変換すると共に、所定時間に、ユーザへ、ユーザ自身に関する可能性があるイベントを通知する。監視中の限定的な環境はしたがって、聴覚障害者にとって安全となり、そのユーザへ、自由と可動性とを提供する。

提供されるマルチメディアコンテンツは、手話のマルチメディアコンテンツを含み、ユーザへ、所定の標的音が、監視中の周囲環境内の所定の位置（すなわち、限定的な環境）で生じたことを通知する。

システムは、ユーザによって監視される限定的な周囲内で生成される音イベントの継続的且つリアルタイムの捕捉に適合され、また、受信された音イベントを登録して、その音イベントとデータベースに格納された複数の標的音とを比較するよう構成されたコントローラへ捕捉された音イベントを送信するよう適合された少なくとも１つの音入力装置を含む。また、捕捉された音イベントと格納された標的音の１つとの間に一致指示信号があるとき、当該コントローラは、一致指示信号を生成して携帯可能出力装置（例えば着用可能装置、携帯可能スマート装置）へ送信するよう構成される。当該出力装置は一致指示信号を受信して、リアルタイムで、ユーザのために感覚的及び視覚的に適合された警告通知信号を送信して、ユーザに、所定の標的音が、監視中の限定的な周囲環境内の所定位置の近傍で生じたことを認識させる。

コントローラは、入力装置によって捕捉された音イベントと、データベースに格納された複数の標的音との間でのリアルタイムでの比較を有効にし、受信され当該捕捉された音イベントと、格納された標的音との間に一致が存在するか否かを判定する。一致が存在するときには、コントローラは、所定の一致指示信号をユーザの着用可能な出力装置へ送信し、当該ユーザへ、監視中の環境内の所定の位置で生じた音を通知する。

コントローラはデジタル信号プロセッサと、無線WIFI通信インタフェースと、遠距離通信ネットワーク（インターネット、イーサネット、無線リンク、又はそれらの組合せ等）との通信を確立する遠距離通信インタフェースとを含む。

音入力装置は、無線WIFI通信インタフェースへ既に電気的に接続された、音イベントを捕捉するマイクロフォンを含む。

複数の音入力装置は分散配置され、ユーザによって監視される限定的な環境内の少なくとも１つの生物的及び／又は電気化学的音源の近くに配置される。

（携帯可能出力装置は、ネイティブアプリケーション、ネイティブウェブアプリケーション又は装置のネイティブ言語で記述されたその他のものの性質を帯びた警告通知アプリケーションを実行するよう構成された携帯可能スマート装置を含む。これは、サービスプロバイダの、出力装置自体の内部にあるアプリケーションサーバからダウンロード可能である。このため、警告通知アプリケーションを実行することによって、装置は、一致指示信号を、無線インタフェース及び／又は無線WIFI通信インタフェースを介して受信可能であり、ユーザのために感覚的及び視覚的に適合された対応する警告通知信号を送信し、それにより、ユーザへ、監視中の周囲環境内で捕捉された音イベントを通知する。

捕捉された音は観測され、限定的な環境内で生じる必要がある。しかし、ユーザは、限定的な環境内及び／又はその環境の外部のいずれかでの一致を示す信号を受信してよい。

更に警告通知アプリケーションは出力装置自体のソースと通信し、装置の異なる機能（例えばアラーム、警告メッセージ、カメラ、GPSサービス、拡声器、装置自体によって実行可能な第三者アプリケーション（例えば音声認識アプリケーション、WhatsApp（登録商標）、Twitter（登録商標））等）へアクセス可能である。警告通知アプリケーションは、上記のリソース及びアプリケーションによって提供される異なるソース信号と、出力装置によって受信されたソース信号とを捕捉し、捕捉された信号のための少なくとも１つの警告通知信号を提供するよう適合される。提供される警告通知信号は、障害者のために感覚的及び視覚的に適合され、また同時に、ソース信号は障害を有さないユーザへの通知のためにも適合される。

警告通知アプリケーションは出力装置ソフトウェアのために直接的に設計される。よってアプリケーションの性能は、最適化され、出力装置のオペレーティングシステム用に適合された、人と機械との間のインタフェースに沿う。これに対してユーザは慣れているので、設計、可用性及び効率性に関して言えば、改良された結果が提供される。警告通知アプリケーションは出力装置のオペレーティングシステムの公式ダウンロードサーバを用いて配布されてよい。したがって、十分な可視性及びセキュリティが確実である。

警告通知アプリケーションの他の利点は、それがインターネットへ接続される必要が無く使用可能であることである。ただし、そのいくつかの部分はインターネット接続を要求する。

結果的に、携帯可能出力装置のための警告通知アプリケーションは、信号、警告又は当該携帯可能出力装置によって受信されたマルチメディアメッセージを、リソース及び／又は当該装置自体に関するアプリケーションを介して捕捉するよう設計されると共に、それを変換して、対応する警告通知信号を、聴覚障害者のために感覚的及び視覚的に適合された、テキスト形式、手話、信号、比色分析又はその他を提供する。

格納される標的音は、機械的ソース（例えばドアベル、着信音、マルチメディアメッセージトーン、火災警報、セキュリティ警告及び家電の警告）からの実際の音や、有機体の音（例えば子どもの泣き声、水のしたたり、以前に選択された言葉、音声コマンドの性質を帯びた所定の句）からの実際の音等を含む。

本発明のより詳細な説明が、添付の図に基づいて、下記の説明において提供される。
図１は、全体として協働する複数の装置を含む警告通知装置を概略的に示す。当該複数の装置は、監視中の限定的な環境において捕捉された所定の環境音を、完全な又は部分的な聴覚障害を有するユーザのために感覚的及び視覚的に適合されたマルチメディアコンテンツへ変換する。

図１は、全体として協働する複数の装置１２〜１９を含む警告通知装置１１を示す。当該複数の装置は、環境音イベントを捕捉し、それらを警告通知信号（これは、完全な又は部分的な聴覚障害を有するユーザによって感覚的及び視覚的に解釈されるよう適合されたマルチメディアコンテンツを含む）へ変換する。

環境音イベントは、監視中の特定の限定的な環境で生じる複数の音を含む。捕捉される音は、限定的な環境内で生じる。しかし、ユーザは、限定的な環境内及び／又はその環境の外部のいずれかで、警告通知信号を受信してよい。

警告通知装置１１は、少なくとも１つの無線音入力装置１８と、コントローラ１５と、少なくとも１つの携帯可能出力装置１２とを含む。

無線の音入力装置１８は継続的に、リアルタイムで、完全な又は部分的な聴覚障害を有するユーザによって監視される特定の限定的な環境で生じた音イベントを捕捉すると共に、同様にリアルタイムで、第１の無線インタフェース１７で捕捉された音に関する入力信号を、コントローラ１５に含まれる第２の無線インタフェース１６へ送信する。換言すれば、入力装置１８とコントローラ１５との間の通信リンクは、遠距離通信ネットワーク１９上で確立されない。

音入力装置１８は、第１のWIFIベースの、Bluetooth（登録商標）ベースの又は類似の無線のインタフェース１７へ電気的に接続されたマイクロフォンを有する。同時に、２つの機能部１８及び１７は、電力供給源（例えば電気グリッド、電池等）へ電気的に接続される。

更に第２の無線インタフェース１８は、WIFI又はBluetoothベースの機能部等の性質を有する。

ユーザは音入力装置１８を、監視対象の、特定の限定的な環境の異なる領域に配置してよく、ユーザにとっての所定の関心領域内で生じる音イベントを捕捉する。

複数の音入力装置１８は互いに離間して配置され且つコントローラ１５から離間して配置され、聴覚障害者にとっての潜在的関心音源（例えばドア、電話、家電、煙探知機、盗難警報器、又は生物若しくは非生物音の任意の他の音源）の近傍に配置されてよいし、これら全ての音等が検知可能な総合的な領域に配置されてよい。

コントローラ１５は捕捉された音イベントを、リアリタイムで受信し、当該受信された音イベントを、データベース２０に記録され格納された複数の標的音と比較すると共に、受信された音と格納された標的音との間の一致を検索する。当該データベース２０はコントローラ１５に接続される。

記録された標的音は、製造場所でデータベース２０に事前に記録されてよい。聴覚障害者にとって、監視中の限定的な環境（ここで、入力装置１８が配置される）に特有の追加の標的音を追加することが可能である。結果的に、一旦入力装置１８が動作場所に配置されると、データベース２０に記録される標的音を更新する手続きが実行される必要がある。したがって、標的音のデータベース２０は、周期的に更新される。

コントローラ１５は、受信される音が全ての記録された標的音（これはコントローラ１５からアクセス可能なデータベース２０に格納される）と比較されるステップを実行する。

もし当該比較の結果が肯定的なら、コントローラ１５は、一致指示信号を、携帯可能出力装置１２へ送信し、ユーザにとっての関心音が聴覚障害者の特定の周囲で生成されていることを通知する。

一致指示信号は第３の無線インタフェース１４１及び／又は第４の無線通信インタフェース１４２を介して送信され、遠距離通信ネットワーク１９内に無線通信チャネルを確立する。

無線チャネルは、コントローラ１５と出力装置１２との間の無線通信が実行不可能なときに使用される。

携帯可能出力装置１２は、一致指示信号をリアルタイムに受信する。その信号は、出力装置１２自体によって実行される警告通知アプリケーションへ提供され、一致指示信号は、ユーザにとって感覚的及び視覚的に適合された警告通知信号へ変換され、音イベントが、完全な又は部分的な聴覚障害を有するユーザによる監視中の限定的な環境で生じたことの認識及び理解を支援する。

出力装置は、第５の無線インタフェース１３１と第６の通信インタフェース１３２とを含み、一致指示信号を、コントローラの第３の無線インタフェース１４１及び／又は第４の通信インタフェースから受信する。

携帯可能出力装置１２は、ネイティブアプリケーション、ネイティブウェブアプリケーション又は装置１２のネイティブ言語で記述されたその他のものの形式で警告通知アプリケーションを実行するよう構成された、着用可能装置、携帯可能スマート装置等の性質を有する携帯可能スマート装置を含む。このため、警告通知アプリケーションを実行することによって、装置１２は、一致指示信号を、無線インタフェース１３２及び／又は無線WIFI通信インタフェース１３１を介して受信可能であり、それを、ユーザのために感覚的及び視覚的に適合された対応する警告通知信号へ変換する。それにより、監視中の周囲環境内で捕捉された音イベントの通知が提供される。

更に警告通知アプリケーションは、出力装置１２のリソースと通信し、出力装置１２のネイティブリソースの異なる機能と、出力装置１２によって実行可能な第三者アプリケーションとへアクセス可能である。これにより、警告通知アプリケーションは、当該リソース及びアプリケーションによって提供される様々なソース信号を捕捉すると共に、それらを調整して、聴覚障害者に感覚的に又は視覚的に適合された対応する警告通知信号を提供し、同時に障害を有さないユーザへの通知にも適するソース信号をも提供可能である。

出力装置１２内の実行可能な警告通知アプリケーションの機能は、受信された少なくとも１つの一致指示信号と、出力装置１２のソース若しくは出力装置１２の第三者アプリケーションから捕捉されたソース信号を分析することと、一致指示信号と捕捉されたソース信号警告通知アプリケーションとを用いてユーザによって選択された通知プロファイルに基づいて、ユーザにとって感覚的及び視覚的に適合された警告通知信号を生成することである。当該生成は例えば、振動を生成し、視聴覚スクリーンを点滅させ、テキストメッセージ若しくはポップアップウィンドウを生成し、またこれらの組合せ等によって、携帯可能出力装置１２自身のリソースを用いて実行される。

警告通知信号は、所定の音イベントが、ユーザによって監視される限定的な環境内で生じたことを示す。

警告通知アプリケーションはサービスプロバイダのアプリケーションサーバ２１から、遠距離通信ネットワーク１９を介してダウンロード可能である。そこではサーバ２１は、プッシュサーバであってよい。すなわち、警告通知アプリケーションは出力装置１２へ、アプリケーションサーバ２１から送信される。このとき、例えばインターネット１９を介して、出力装置１２から要求（リクエスト）が送信される必要がない。

各標的音は、所定の警告通知信号に関連付けられる。一致が検出されれば、携帯可能出力装置１２は即座に、対応する一致指示信号を受信し、検出された一致に関連付けられた所定の通知信号を提供する。

したがって、ユーザによって監視される限定的な環境内で生じる各音イベントと、リソース及び／又は出力装置１２によって実行可能な第三者アプリケーションによって生成される各信号とは、少なくとも１つの警告通知信号と関連付けられてよい。当該警告通知信号は、出力装置１２内部の警告通知アプリケーションによって作動され、したがって、捕捉された音イベントをユーザへ通知する。

携帯可能出力装置１２は警告通知アプリケーションによって、警告通知信号に対して感覚的及び視覚的に適合される。当該警告通知アプリケーションは、遠距離通信ネットワーク１９を介してアプリケーションサーバ２１からダウンロード可能であり、また、出力装置１２自体によって実行可能である。すなわち、所定の種別の音イベント（例えばドアベル）に関連付けられた所定の警告通知信号について、ユーザは、警告通知アプリケーションを用いて、警告通知信号が出力装置１２自体の視聴覚リソースによってどのように発されるかを選択可能である。例えば振動、照明効果、テキストメッセージ、明示のアイコン等、又はそれらの組合せの形態が挙げられる。

このことは、自動的に実行されてよいし、振動無しに実行されてよい。しかし、振動エミッタは、ユーザの注意を一層容易に惹くことができる。

コントローラ１５は第２の無線インタフェース１６と、第３の無線インタフェース１４１と、及び／又は、第４の通信インタフェースとへ電気的に接続されたデジタル信号プロセッサを含み、遠距離通信ネットワーク１９へ又は遠距離通信ネットワーク１９からの通信を確立すると共に、インターネット接続を有する。当該デジタル信号プロセッサは、音入力装置１８及び携帯可能出力装置１２への又はそれらからの無線通信を確立するよう構成された無線通信第２及び第１の無線インタフェース１６及び１７へ電気的に接続され、また、複数の標的音が記録され格納されるデータベース２０へ電気的に接続される。

コントローラ１５は、遠距離通信ネットワーク１９上のアプリケーションサーバ２１及び携帯可能出力装置１２と通信する。コントローラ１５は更に、携帯可能出力装置１２と相互に、情報の送受信の目的で、無線接続（これは、WIFI、Bluetooth等の性質を有する）により通信する。

コントローラ１５の動作、更新状態等は、アプリケーションサーバ２１から、遠距離通信ネットワーク１９により確立される通信チャネルを介して管理される。

人工内耳が、当該人工内耳自体のコイルに電気的に接続された無線インタフェースを含むよう適合される。このため、コントローラは、一致指示信号を人工内耳へ送信する。これにより一致指示信号は変換され、対応する警告通知信号を人工内耳のユーザへ提供する。

Claims (10)

1. 全体として協働する複数の装置を含む警告通知装置において、
   聴覚障害者によって監視される限定的な周囲環境内の音イベントを捕捉するよう構成され、
   前記警告通知装置（１１）は、音イベントを捕捉して、前記捕捉された前記音イベントに関する入力信号を、第１及び第２の無線通信インタフェース（１７、１６）を介してコントローラ（１５）へリアルタイムで送信する少なくとも１つの音入力装置（１８）を含み、前記第１及び第２の無線通信インタフェース（１７、１６）のそれぞれは、入力装置（１８）及びコントローラ（１５）に電気的に接続され、前記コントローラ（１５）は、受信された前記入力信号と、データベース（２０）内に格納された複数の標的音イベントとの間の一致を検索するよう構成され、一致が検出されると、第３の無線通信インタフェース（１４１）及び／又は第４の無線インタフェース（１４２）を介して一致指示信号を出力装置（１２）へ送信するよう構成される、警告通知装置。
2. 請求項１に記載の装置において、携帯可能出力装置（１２）は、当該出力装置（１２）自体の内部で、受信された前記一致指示信号と、出力装置（１２）内で実行されるアプリケーションによって捕捉されたソース信号とを少なくとも分析する警告通知アプリケーションを実行するよう構成され、前記警告通知アプリケーション自体を用いて前記ユーザによって選択された警告通知プロファイルに基づいて、携帯可能出力装置（１２）自体のリソースを用いて、前記ユーザにとって感覚的及び視覚的に適合された警告通知信号を生成するよう構成される、装置。
3. 請求項２に記載の装置において、携帯可能出力装置（１２）は、当該出力装置（１２）内部で、第６の無線インタフェース（１４２）及び／又は第５の無線通信インタフェース（１３１）を介して、サービスプロバイダのアプリケーションサーバ（２１）からダウンロード可能な警告通知アプリケーションを実行する、装置。
4. 請求項３に記載の装置において、携帯可能出力装置（１２）は、警報装置と、監視装置と、ＬＥＤ基盤と、視聴覚スクリーンと、振動手段と、無線送信器と、超音波変換器と、音声警告装置と、視覚的警告装置と、それらの組合せとのいずれかを含む、装置。
5. 請求項３又は４に記載の装置において、携帯可能出力装置（１２）は、携帯可能スマート装置と着用可能装置とその他とのいずれかの性質を有する、装置。
6. 請求項１に記載の装置において、前記データベースは、発生元が生体的又は電気化学的な音イベントと、コマンドワードと、それらの任意の組合せとのいずれかを格納及び更新するよう構成される、装置。
7. 請求項１に記載の装置において、音入力装置（１８）はマイクロフォンである、装置。
8. 請求項１に記載の装置において、コントローラ（１５）は、前記一致指示信号を人工内耳へ送信し、当該人工内耳は当該人工内耳自体のコイルに電気的に接続された無線インタフェースを含むよう適合されて、前記一致指示信号を、前記第３の無線通信インタフェース（１４１）を介して、前記人工内耳のユーザに対応する警告通知信号へ変換する、装置。
9. 聴覚障害を有するユーザへ、監視中の限定的な周囲環境で音イベントが生じていることを通知する方法において、
   格納された複数の標的音イベントを提供し、前記監視中の限定的な周囲環境における音イベントをリアルタイムに継続的に捕捉するステップと、
   捕捉された音イベントを、前記格納された複数の標的音イベントとリアルタイムに比較し、前記捕捉された音イベントと格納された標的音イベントとの間に一致が存在するか否かを判定するステップと、
   前記一致が存在するとき、出力装置（１２）のリソースによって、ダウンロード可能な警告通知アプリケーションを用いて前記ユーザによって選択された警告通知プロファイルに応じて感覚的及び視覚的に適合された警告通知信号を、前記ユーザへ提供するステップと、
   を含む方法。
10. 請求項９に記載の方法において、更に、
    出力装置（１２）内部で実行される第三者アプリケーションによって提供されるソース信号を捕捉するステップと、
    前記警告通知プロファイルに基づいて、携帯可能出力装置（１２）自体のリソースによって、前記ユーザにとって感覚的及び視覚的に適合された警告通知信号を生成するステップと、
    を含む方法。

Images