JP2016511648A - 自己管理音声を強化させるための方法及びシステム - Google Patents

Abstract

自己管理聴力検査から異なる音声周波数での音の大きさ許容レベルを含む聴覚特性を取得するシステム及び方法であって、個別化の成形の聴覚プロフィールとしてオーディオを自動的に強化して、特定の信号経路を介して経験される個人の聴力損失をできるだけ近く補償して対処し、ここで、信号経路が検査、音声環境、ユーザの聴覚能力を管理するオーディオ装置を含む。ユーザはスマートフォンなどの便利な個人設備で聴力検査を自己管理してもよい。成形の聴覚プロフィールが同じ信号経路を介してその後個人に送信された強化された音声を生成するために使用されてもよい。ある態様では、聴力が正常の範囲にある人でも、難聴者でも、強化される聴力体験を追求しよう任意の個人について、本発明は有用である。

Description

発明の詳細な説明

［関連出願の相互参照］
本願は、２０１３年１月９日に出願された米国仮出願第６１／７５０，７７９号に基づく優先権を主張する。
［背景］
本発明は、一般に聴覚学及びデジタル音声工学の分野に関し、特に個別の聴覚プロフィールに基づいてユーザの体験を向上させるためのシステム及び方法に関する。

難聴は既に先進国において最も一般的な障害であると推定された。世界中に文字通り何百万人は聴覚障害に苦しむが、そのうち自分の難聴を意識していない人が多い。聴覚能力の低下は、年齢、健康、職業、損傷、疾病など、いくつかの要因に起因する可能性がある。聴力損失は、生活の質の大幅な低下、人間関係の悪化、雇用機会の低下、及び生産性の低下を引き起こす。異なる種類の難聴と関連状態は、人の日常活動、特に電話で会話したり、音楽を聴いたりする活動に様々な方式で影響を与える。

一般的に、高音に対する聴覚感度は最初に低下する傾向がある。人は、一般的に、例えば、電話での会話がよく聞こえなかったり、雑音環境で聞くことが問題となったりなどの聴力問題を経験したまで、彼らの聴力感度の低下を意識していない。一般的に、聴力が低下した人にとして、彼らの聴覚能力は、ほとんどの状況で聞くためには十分である。そのような人たちは難聴の影響を我慢できるので、無視する、或いはそれを回避する方法を見つける傾向がある。彼らは雑音環境で電話することを避けて、聴覚健康管理専門家からの助けを求めそうにない。

聴力が大幅に低下した個人は、聴覚健康管理専門家に相談して処方してもらい、補聴器を取得してもよい。補聴器をつけるのは難聴者への侵入性が小さい支援技術の１つとして考えられているが、問題がないわけではない。ヘッドホンで電話したり音楽を楽しんだりする間に、補聴器を使用することは不器用で不便である。補聴器を使用している人は補聴器のマイクロホンが捕えた補聴器の出力音声によって生成された鳴き声のフィードバックをよく経験する。

難聴に関連する一般的な問題は耳鳴である。耳鳴は頭に起こる音の意識経験であり（即ち、外部音源ではない）、１つ以上の周波数の周りに他の音に干渉する明らかに聞こえる鳴き声として現れてもよい。耳鳴は、通常に加齢関連の難聴とともに観測された普通の状態と症状である。耳鳴が様々な程度で、多い方式で個人に影響を与えることは知られている。慢性耳鳴を患っているいくつかの人たちは当該状態を無視することができる一方、他の人たちはそれがうるさくて、邪魔で、気を散らさせて、さらに身体に障害を引き起こさせると思っている。耳鳴は睡眠を妨げる可能性があるので、精神的苦痛と全身の健康の他の弊害を引き起こす。

多くの耳鳴に患っている人は異なる音響環境において自分の耳鳴が変化することに気が付く。一般的に、静かな環境においてよりうるさくなり、音が豊かな環境においてそんなにうるさくない。この現象に起因して耳鳴を治療するための音療法が発展された。最も通常の推薦は背景音を富ませることによって「沈黙を避ける」ことである。これは、単にいくつかの背景音や音楽を再生することによって達成できる。より複雑な音療法は、耳鳴信号のピッチや音の大きさを測定することと、耳レベル装置と音声発生器で再生することができる信号を提供することと、を含む。

本発明の１つの態様は聴力プロファイリングであり、特に自己管理テストにより聴力プロファイリングを行う。聴力プロファイリングを行う間に、１連の聴力測定周波数の最小可聴聴力レベルが測定される。最小可聴聴力レベルを得るための様々な方法は知られている。しかし、特定の状況で、聴力プロファイリングが聴力強化装置（例えば、補聴器、増音器、又はＭＰ３プレーヤー、スマートフォンなどの個人聴取装置）に適用されている間に、ある時、人は聴力検査で確定された、他の方法で強化されたオーディオ及び音声強化処理の一部として耳での聴力プロフィールの対応変更を十分に聞いて理解するために、装置の音量を上げる或いは下げることを主張する可能性がある。１つの問題は、強化されたオーディオで無意識に誘発された音の大きさが聴覚の不快感と損傷を引き起こす可能性がある。人は、ある聴力測定周波数に対して高い許容度を持っているが、他の聴力測定周波数に対して低い許容度を持っている可能性がある。音量許容プロフィールは人によって異なる。当該差異は通常な聴力を持っている人々の間に顕著ではないかもしれないが、難聴、耳鳴、及び耳鳴を伴っている難聴などの様々な程度の聴覚障害者にとして状況が変わる。人の音量許容プロフィールは差異があるので、通常な聴力を持っている人の聴力曲線を標準として使用すべきではない。従って、人の音量許容プロフィールを考慮しないまま人の聴覚曲線を調整する場合に、聴覚の不快感或いは損傷を引き起こす可能性がある。

音声強化処理で支配される強化されたオーディオを十分に聞く或いは理解するために、単に装置の音量を上げるのは危ないかもしれない。装置の音量を上げる或いは下げることは全ての聴力測定周波数のオーディオを同じ因数でゲイン或いは減幅することを意味する。通常、人は限定された範囲における聴力測定周波数をゲイン或いは減幅することが必要である。全ての聴力測定周波数のオーディオの音の大きさを上げる或いは下げるのは様々な聴力問題を引き起こす可能性がある。様々な程度の聴覚障害に対する様々な音量許容プロフィールを処理できるシステムが必要とされる。具体的に、電話で会話している或いは音楽を聞いている間の聴力困難、及び補聴器の使用で生成されたフィードバックなどの、ここで特定された問題の解決策が必要とされる。

従来の「聴力検査」は静かな環境で校正装置によって個人の聴覚閾値を測定する必要がある。そのような聴力検査から取得したデータセットは個人の聴力閾値を表す。
装置に特定の音波の振幅をテストトーンとして生成させるために、当該装置とその変換器との組み合せを校正する必要がある。この理由は、各装置の回路と変換器又はイヤホンが音波の出力振幅に影響を与える、異なる周波数応答を有することである。これは、異なるモデルの装置とイヤホンに対して、同じ電気オーディオ信号が異なる音波振幅を生成することを意味する。従って、装置とイヤホンとの組み合せを校正することによって、聴力検査ための特定の音波振幅を試験信号音として生成できる。

校正装置を使用することによって、一致した音波振幅を得ることができ、そして、防音又は静かな環境において一定範囲の周波数における閾値を見つけることによって聴力レベルの精確な値を取得でき、被験者の聴力閾値或いは聴力図を表す「聴力プロフィール」が生成される。本発明者らが上記した方面について行った研究は既に「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ａｕｄｉｏｌｏｇｙ(国際聴覚学雑誌)」（Ｖｏｌ．５１、Ｎｏ．８、ｐ６０６−６１０、２０１２年８月）に出版された。従って、該装置において取得されたデータをパラメーターとして使用でき、信号処理エンジンは当該パラメーターに基づいて、オーディオ信号を修正したり強化したりすることができる。

開発中に実験を行って、「正常」な聴力を有する個人と様々な周波数の範囲に渡って難聴を有する個人からの実験結果は、オーディオ信号を強化する時に考慮すべき重要な要因があると明らかにしている。これらの要因において、イヤホン中の変換器と環境騒音がある。校正された（標準）イヤホンと異なる様々なイヤホンを使用するさらなる調査によって、「変換器効果」の重要性が確認された。実際に、任意の電子部品が別の部品に代替することでも、校正された信号経路に追加／から削除されることでも、変換器効果を起こす原因になる。例えば、本発明者らは、同じＳａｍｓｕｎｇＧａｌａｘｙＴａｂ（登録商標）モデルの２つのユニットでも、製造の年代と搭載されているサウンドカードの差異で、わずかな異なる音声特性があることを見出した。

また、異なるイヤホンを使用する場合に、取得された同じユーザのプロフィールはイヤホンの様々なモデルの間にわずかに異なることが分かった。その差異は、イヤホンの変換器とシステムが校正されたイヤホンの変換器との異なる周波数応答に起因する。

開発中に実験を行って、バックグラウンドノイズも音響信号を知覚したり理解したりする個人の能力に影響を与えることが明らかになった。これはバックグラウンドノイズの「マスキング効果」に起因する。環境騒音を解析してオーディオ信号強化する際に考慮すれば、ユーザに利益を提供できる。

変換器の効果と環境を両方考慮して、得られた閾値を除いて、付加的な情報／データを収集して格納してもよい。このデータは、使用される変換機とデータを収集している時の環境騒音の構成に特有である。変換機の特性がユーザで確定されてもよく、それにより、検査プロトコルを受ける前にシステムにイヤホンのブランド／モデルを示してもよい。環境騒音が、検査の期間に別々に抽出され分析されることができる。

以上で分かるように、特定のユーザの聴覚特性を分離するために、多くのオーディオ装置の特性を把握すること及び環境騒音を制御／把握することが必要である。これらの要求は、プロファイリングシステムにおいて必要とされるデータ収集及び／又は処理の部品の複雑性を増加する。従って、特定のユーザにカスタマイズされた強化された音声を提供できる、より実用的かつ効率的なシステム及び方法を提供することが必要である。また、異なるユーザは、周波数特有の聴覚、快適度又は耳鳴以外の、例えば個人の審美感を含む他の考慮事項によって確定された音声強化の好みがある。従って、ユーザが自動的に生成されたデフォルト強化信号から、装置のオーディオ出力を手動で調整可能である音声強化システムが必要とされる。
［概要］
本発明の一態様によれば、聴覚障害者に一般的で正常な聴覚体験を生成するためのシステム及び方法を提供する。具体的に、人のオーディオ聴覚特性を取得して個人化の聴覚プロフィールを生成するステップと、個人化の聴覚プロフィールを分析するステップと、処理結果を生成するステップと、オーディオ再生装置からの出力信号を自動的に強化して、満足できるオーディオ体験として処理結果を個人に提供するステップと、を含む。

好適な実施形態では、処理結果を生成するための聴覚プロフィールが一部又は全部校正されていない装置によって取得される。任意の変換器で任意の環境において、ある範囲における周波数にわたって閾値を見つけることによって、特定の経路に対して測定された、対象の「聴覚プロフィール」を表すデータセットが取得される。このように、取得されたデータは、測定された環境で測定された信号経路だけに適用される成形した「聴覚プロフィール」を生成する。このデータセットはテンプレートとして使用されてもよく、信号処理エンジンはそれによってオーディオ信号を強化することができる。当該方法は、装置の電子信号と成形したプロフィールを取得する環境における装置からの音声に対するユーザの聴覚との関係を効果的に確立することができる。

処理結果は、周波数を基礎とする音の大きさの強化と他の聴力関連の特性と個人の聴力パラメーターを含むことによって個人の聴力ニーズを対処して補償する。不快感や、さらなる聴覚障害を引き起こす過剰な音量から保護するために、この活動が安全性の限度を維持しながら、できるだけ正常な聴力標準に接近するように実現される。個人ユーザは、ＭＰ３プレーヤーやスマートフォンなどのパーソナルな装置を使用して、聴力検査を自己管理することができる。個人化の聴覚プロフィールは一般的に、（１）各聴力測定周波数における典型的な３つの音の大きさレベル（即ち、最も快適、不快、及び最小可聴レベル）の測定結果と、（２）音の大きさとピッチがある耳鳴検査からの測定結果と、（３）ユーザのカスタマイズ設定と、を含む。カスタマイズ設定は、ユーザに適切したり、ユーザより選択されたりする雑音環境で実施される設定を含む。本発明の態様では、聴覚障害があるかどうかにかかわらず、強化される聴力体験を追求しよう任意の個人について有用である。それによって、該システムは補聴器として有用である。

具体の実施形態では、本発明の独立機能を単一の多機能装置又は複数の装置に組み込むことができる。ソフトウェアベースのシステムが、本発明によって任意のコンピュータ化された装置で実施されてもよく、例えば、パソコン、スマートフォン、個人の増幅器又は個人化の聴覚プロフィールのローカルな、取り外し可能な、又は遠隔の記憶装置との組合せである。ソフトウェアベースのシステムは、様々な機能を実行する。それは周波数特定の個人オーディオ聴覚特性を取得し、これらの特性を分析して個人化の聴覚プロフィールを生成する。このプロフィールがローカル又は遠隔に格納されて、そして制御入力として使用されて、パソコン、スマートフォン、個人の増幅器又はそれらの組み合わせなどの適切にプログラム可能なオーディオ再生装置からの音声を強化し、プログラム可能なオーディオに通じてオーディオプログラム或いは類似の原材料（例えば、前もって録音された音楽又は電話の会話が再生される。

オーディオ再生装置において、信号処理は、時間領域でオーディオ信号形のオーディオプログラム材料を受信するステップと、音響環境における現在の周波数の組成を取得して分析し、音響環境の変化に伴って更新される周囲の音環境を反映する現在の環境プロフィールを生成するステップと、有限インパルス応答デジタルフィルタ等の１組のフィルタを介して、格納された個人化の聴覚プロフィールと現在の環境プロフィールをオーディオプログラム資料に適用し、前もって選択された周波数で１組の所望のゲインを算出するステップと、オーディオプログラム資料を修正するステップと、修正されたオーディオプログラム資料を時間領域から周波数領域に変換するステップと、各聴覚の周波数で、修正されたオーディオプログラム材料に対する音の大きさ許容レベルを人の音量許容レベル（以下、不快な音の大きさレベル―ＵＣＬも呼ばれる）と比較することにより、修正されたオーディオプログラム資料に対する音の大きさ許容レベルを分析するステップと、個人のＵＣＬを超えた選択された周波数で音の大きさを調整して、周波数領域のオーディオ信号を生成するステップと、周波数領域のオーディオ信号をそれと等価の時間領域のオーディオ出力信号に変換するステップと、時間領域のオーディオ出力信号を個人に送信するステップと、を含む。オーディオ聴覚特性がローカル或いは遠隔に格納されてもよく、聴覚特性の分析と個人化の聴覚プロフィールを生成する処理が個人装置で実行され格納されてもよく、或いはインターネットなどの通信リンクを介して接続された中央聴力処理センターで遠隔に格納されてもよく、本発明の原理によって音の再生が必要とされる場合に検索される。

本発明の様々な実施形態では、本発明の原理が、白色雑音又は有色雑音などの環境源の存在下で、耳鳴症状の存在下で、又はその両方の存在下で、オーディオプログラムに適用されてもよい。

本発明によれば、耳鳴が緩和される。耳鳴の音の大きさは、個人の耳鳴の強度から耳鳴ピッチの最小可聴レベルを減算することによって算出された個人の耳鳴の感覚レベル（ＳＬ）を指している。耳鳴に対処するために異なる方法が使用されてもよいが、１つの方法は、音療の使用によるものである。耳鳴緩和信号は、個人化の聴覚プロフィールを形成するためのオーディオの聴覚特性を取得する時に測定された耳鳴ピッチと音の大きさにより生成される。これらの生成された緩和信号は独立に（他の強化がない）使用され、或いは再生音の一部として埋め込まれる。

本発明の別の態様では、ユーザの聴力体験を「正常」に戻す目標として、コンピュータ化装置の任意のユーザは個人の聴覚プロフィールを容易に生成して個体の個人的ニーズを満たすとともに、不快感と聴覚損傷に対する安全限度を提供することが許可される。また、自己管理、職業的管理及びその他のオーディオ聴覚特性検査の結果が、ローカル及び／又は遠隔に取得され、分析され、格納されることができる。正常の聴覚体験が自動的に実現されるが、ユーザに確立された正常の聴力体験を自分の好みによって修正する能力が選択的に提供されてもよい。

本発明は、聴力検査結果と音声強化処理の間の顕著な差を認識し、両者を繋ぐ。証明されたやり方に従って分析された聴覚特性は、正常の聴覚体験を実現する音声強化処理の決定的要因である。

ユーザの聴取特性を取得する処理の間に格納された要因を除いて、オーディオ信号強化に影響を与える他のユーザ要因もある。これらの要因はユーザの好みであって、システムで適用された強化のレベル（例えば、２５％、５０％、７５％又は１００％）、及び処理されたオーディオ（例えば、音楽又はスピーチ）の種類による好ましい調整を含む。

強化のレベルについて、オーディオ処理に使用されるパラメーターに影響する、ユーザで行われる意図的な調整である。この調整は、ユーザの快適性、技術を使用する適応、及び強化レベルの選択に対処する。ユーザは異なる強化レベルを選択してもよい（例えば、２５％、５０％、７５％又は１００％）。

別の「ユーザの好み」は、ヘッドホン又はイヤホンの選択、及び耳の上のヘッドホン又は耳のボウル／耳道に入るイヤホンの物理的フィッティングである。任意の特定のオーディオ装置に対して、当該「ユーザの好み」が時々変化されるが、個人に対して相対的に一致した習慣又はフィッティング方法である傾向がある。しかし、異なるモデルにおける異なる構成の原因で、それらの物理的性質（例えば、大きさや形状など）の原因で、耳の上か耳の中か別にフィットされる。これらの要因は成形した「聴覚プロフィール」の差異に役立って、当該差異が個人のために、イヤホンの様々なモデルとこれらの個人ユーザの耳に関連する物理的フィッティングにより得られる。

オーディオの種類に応じる好ましい調整に対して、システムは、オーディオを強化するためのパラメーターが音楽の特性（さらに音楽のジャンル）或いはスピーチの特性にさらに適させるように、オーディオ信号の種類によりオーディオを強化するように配置されている。

個人の閾値（成形した「聴覚プロフィール」）、変換器特性、検査中のノイズ組成、及びユーザの好みを含む全ての要因がシステムに格納される。成形した「聴覚プロフィール」は信号経路に沿ってオーディオ信号からユーザの音の知覚への関係を表すとみなすことができ、当該関係は測定された信号経路に対して特定的であり、当該「聴覚プロフィール」がオーディオ信号強化用パラメーターを一連のルールにより生成するために使用できる。

図面に沿って以下の記述に基づいて本発明を更に理解できる。

本発明の一態様に係る遠隔記憶媒体に関連する１つ以上の個人用装置の使用を示す高レベルブロック図である。 本発明の一態様に係るシステムの高レベルブロック図である。 本発明の一態様に係る聴覚学プロフィールのサブシステムの高レベルブロック図である。 本発明の一態様に係る分析サブシステムのブロック図である。 本発明の一態様に係るユーザ識別サブシステムのブロック図である。 本発明の一態様に係るオーディオ信号サブシステムのブロック図である。 本発明の一実施形態に係る音声強化処理のアクティビティ図である。 本発明の一実施形態に係る音声強化処理のアクティビティ図である。 本発明の一態様に係る耳鳴マッチング処理のフローチャートである。 本発明の一態様に係る耳鳴マッチング処理の検査耳選択処理のフローチャートである。 本発明の一態様に係る耳鳴マッチング処理のトーン数判断テストのフローチャートである。 本発明の一態様に係る耳鳴マッチング処理の耳鳴種類判断処理のフローチャートである。 本発明の一態様に係る耳鳴マッチング処理の耳鳴トーン選択処理に使用される検査信号のトーンを示す図である。 本発明の一態様に係る耳鳴マッチング処理の耳鳴ピッチ判断処理のフローチャートである。 本発明の一態様に係る耳鳴マッチング処理の各耳鳴ピッチのための３レベル耳鳴検査のフローチャートである。 本発明の一態様に係る耳鳴マッチング処理の各耳鳴ピッチのための３レベル耳鳴検査のフローチャートである。 本発明の一態様に係る音声強化処理のフローチャートである。 図１４の処理能力を有する装置の高レベルブロック図である。 本発明の一態様に係る聴覚プロフィールの創造から強化のオーディオを生成して個人に出力するまでの進展を示すフローチャートである。 本発明の一態様に係るパラメーターの作成処理を示すフローチャートである。 本発明の一態様に係る個別オーディオ出力生成処理を示すフローチャートである。 本発明の一態様に係るシグネチャー（成形した聴覚プロフィール）の作成処理を示すフローチャートである。 本発明の一態様に係る音声基準点識別処理を示すフローチャートである。 本発明の一態様に係る最小音声基準点の識別処理を示すフローチャートである。 本発明の一態様に係る最も快適な音声基準点の識別処理を示すフローチャートである。 本発明の一態様に係る不快音の基準点識別処理を示すフローチャートである。 本発明の一態様に係るプロフィール選択処理を示すフローチャートである。 本発明の一態様に係るプロフィール作成処理を示すフローチャートである。 本発明の一態様に係る環境サンプリング処理を示すフローチャートである。 本発明の一態様に係る変換器識別処理を示すフローチャートである。

図１Ａに、個人用装置１の高レベルブロック図が代表的な環境要素で示されている。装置１Ａは、表示部２と、１組のイヤホン３と、及びキーボードなどの制御インターフェース４とを備える。装置１Ａは個人ユーザが制御インターフェース４を介して活性化された検査方案５を格納したり受信したりして、その後、当該制御インターフェース４は下記説明のように応答するユーザの聴覚とやりとりする。下記説明されるような個人の聴覚学プロフィールが生成され、装置１Ａでローカル（Ｓ）に格納されたり、取り外し可能な記憶装置（サムドライブ或いは非揮発性メモリカード）７に格納されたり、或いは通信リンク８Ｂを介してアクセス可能な遠隔分析と格納システム８Ａに遠隔的に格納される。個人の聴覚学プロフィールは、同じイヤホン３又はラウドスピーカー９へ出力されるオーディオ信号出力を修正するために、同じ又は類似の装置１Ｂにおいて使用される。オーディオ信号出力はプログラミング材１１の入力を基にして、当該プログラミング材１１の周波数依存性及び時間依存性が個人の聴覚学プロフィールと下記のような現在の環境から生成された環境プロフィールによって調節される。

図１Ｂに、本発明の一態様によるカスタマイズされた強化音声Ｅｎｈａｎｃｅｄ Ｓｏｕｎｄ（商標）（ＣＥＳ）システム１０が提供され、当該システム１０は情報入力、聴覚学プロファイリング、分析、表示、ユーザ識別、応答制御、及びデータレポジトリのためのサブシステムとクラスを有する。ここで使用されるようなクラスは、類似性質、共通行為、共通関係、及び共通意味があるソフトウェアベースの対象グループの記述である。サブシステムは、それが担当する１つの又は複数の行為を協力して遂行ための一連のクラスである。各クラスは、それぞれ、異なる任務を処理して互いに通信することによって、サブシステムにおいて役割を果たしてそれぞれの責任を遂行する。

適切な機能がある汎用のハードウェアプラットフォームにソフトウェアで実施されると、１つ以上の装置１Ａ／１Ｂ／８Ａのシステム１０は、プロフィールを開発するための検査及び特定の環境での音声再生という二重の機能がある。検査モードにおいて、システム１０は、インタラクティブに（一般的に、後の保存の前に使用される）１つの機能で個人的な聴覚能力を測定し、（一般的に、再生と同時に）他の機能で環境音声／騒音を測定する。システム１０は個人の聴覚学プロフィールをローカル又は遠隔に格納する。システム１０は環境プロフィールをローカルに格納する。生データを分析して個人の聴覚学プロフィールを生成することをローカルか、遠隔（通信リンクを介して）に実行してもよい。再生又はプレーバックモードにおいて、システム１０は、プログラムを個人ユーザの聴覚能力と好みに適合させるように、源オーディオプログラム（入力オーディオ信号）を個人と環境のプロフィールに応じて修正する。特定の実施形態において、システム１０はデータを取得して測定し、或いは取得されたデータを受信して、データを分析して、各聴力測定周波数にターゲットゲインを生成し、そして該ターゲットゲイン及び／或いは耳鳴緩和信号をオーディオ信号に印加し、不快な或いは損傷性の音の大きさを防げる、強化されたオーディオ出力信号を形成する。

ＣＥＳシステム１０の部品は、聴覚学プロフィールサブシステム１２、分析サブシステム１４、表示サブシステム１６、ユーザ識別サブシステム１８、オーディオ信号サブシステム２０、応答制御器２２、及びデータレポジトリ２６と（ローカル或いは遠隔に）通信するデータレポジトリコネクタ２４を含む。
［聴覚学プロフィールサブシステム］
ユーザのオーディオ聴覚特性に関係するので、聴覚学プロフィールサブシステム１２は、各耳に別々に実施される検査を行う。サブシステムの責任は、ユーザの聴覚特性を確定すること、ユーザの耳鳴特性を確定すること、各聴力測定周波数に対するユーザの最も快適な音の大きさレベルを確定すること、各聴力測定周波数に対するユーザの不快な音の大きさレベルを確定すること、必要に応じてオーディオ検査信号を生成すること、職業的管理聴力検査からユーザのオーディオ聴覚特性を確定すること、及び個人の聴覚学プロフィールを生成することを含む。

図２のように、聴覚学プロフィールサブシステムにおけるクラスは、職業的管理聴力検査クラス２７、自己管理聴力検査クラス２８、耳鳴マッチング検査クラス３０、快適及び不快な聴力レベル検査クラス３２、検査セレクタ３４、及びオーディオ検査信号発生器クラス３６を含む。
［分析サブシステム］
分析サブシステム１４は、はユーザ個人の聴覚学プロフィールを分析して、強化されたオーディオ出力信号を生成するためにオーディオ信号サブシステムが使用する処理結果を生成する。サブシステムの責任は、ユーザの聴覚プロフィールを解釈すること、必要のオーディオゲインを確定すること、生成する緩和音声の１つ以上の種類を確定すること、特定の緩和音声を生成すること、及びユーザのカスタマイズ設定を処理すること、を含む。緩和音声の種類は、ａ）音楽、ｂ）狭帯域ノイズ、ｃ）広帯域ノイズ、ｄ）環境音、及びｅ）純音オーディオ信号である。

図３のように、分析サブシステム１４のサブシステムとクラスは、ゲインサブシステム３８、信号処理サブシステム４０、音声緩和サブシステム４２、及びカスタマイザクラス４６を備える。ゲインサブシステム３８において、クラスはゲインアルゴリズムセレクタ３５とターゲットゲイン計算機３７である。信号処理サブシステム４０において、クラスはアルゴリズムセレクタ３９とフィルタ発生器４１である。音声緩和サブシステム４２において、クラスは音声緩和セレクタ４３と音声緩和発生器４５である。
［ユーザ識別サブシステム］
ユーザ識別サブシステム１８はユーザ識別処理を管理し、個人の聴覚プロフィールを保持する。サブシステム１８の責任は、ユーザの身元を判断すること、ユーザの身元を検証すること、及びユーザ個人の聴覚学プロフィールを保持すること、を含む。図４のように、ユーザ識別サブシステム１８において、クラスはプロフィール対象４８とユーザの識別５０を含む。
［オーディオ信号サブシステム］
オーディオ信号サブシステム２０は、オーディオ信号の保存と利用に関する全ての問題を管理する。当該サブシステムの責任は、事前に強化されたオーディオ信号をオーディオプログラム源から検索すること、分析サブシステムからの処理結果に基づいて事前に強化されたオーディオ信号から強化したオーディオ信号を生成すること、及び強化されたオーディオ信号を発送すること、を含む。図５のように、オーディオ信号サブシステム２０において、クラスは、オーディオ信号リトリーバー５２、オーディオ信号発信器５４、及びオーディオプロセッサ５６を含む。
［表示サブシステム］
表示サブシステム１６は本発明を使用する時にユーザと相互作用する全てのユーザインターフェイス要素を提供し、システム１０に適切な従来設計であってもよい。
［データリポジトリコネクタ］
データレポジトリコネクタ２４はデータレポジトリ２６との接続を管理するクラスである。当該クラスの責任は、データベースの接続を確立すること、１つ以上のデータベースクエリー文を生成すること、データレポジトリ２６に／からデータを検索／更新／書き込み／消去すること、及びデータレポジトリ２６からデータを検索することを含む。
［応答制御器］
応答制御器２２は、要求に基づいて表示が必要とされるものを解釈するモジュールである。当該応答制御器の責任は、表示サブシステムに表示される必要な情報を確定し、送信することを含む。
［フレームワークの論理フロー］
以下、図６Ａ及び６Ｂと下記の段落は、アクティビティ図の形で、本発明の一実施形態に係るＣＥＳシステム１０と処理１００の論理フローを説明する。図６Ａ及び６Ｂで示されるソフトウェアベースのシステムのアクティビティ図はほとんど自明であり、音声強化処理におけるノード、基本機能及び要素の相互関係を含む。音声強化処理は、ユーザ装置の状態を監視すること１０２、ユーザのプロフィールがあるかどうかを判断してプロフィールが格納される位置を確定すること１０４、周囲騒音レベルを検知すること１０６、個人の聴覚学プロフィールを生成すること１０８、ユーザのプロフィールの日付と時間を確定すること１１０、個人の聴覚学プロフィールを分析すること１１２、強化されたオーディオ信号を生成すること１１４、及びユーザ装置で強化されたオーディオ信号の強化されたオーディオを再生すること１１６、を含む。音声強化処理のいくつかの主なステップについて、いくつかの実施例が概略（疑似コード）の形で以下にように提供される。

ユーザ装置状態を監視（装置状態確認）する
装置の電力信号が存在するかどうかをチェックする
電力信号がある場合
装置状態をＯＮと標記する
電力信号がない場合
装置状態をＯＦＦと標記する
ソフトウェアベースのシステムは音声強化処理における別の処理と並列して装置状態監視を常に実行する。任意の時点で、該装置状態はＯＦＦになると、ソフトウェアベースのシステムは機能を停止する。

プロフィールが存在するかどうかとプロフィールが格納される位置をチェックする
インターネットの接続性をチェックする
インターネットとの接続がなく、装置状態がＯＮになる場合
プロフィールが存在するかどうかをチェックする
ローカル装置がプロフィールを有する場合
プロフィール年齢をチェックする
ローカル装置がプロフィールを有しなく、装置状態がＯＮになる場合
周囲騒音レベルを検知して、聴覚学プロフィールを生成する
インターネットとの接続があり、装置状態がＯＮになる場合
プロフィールが存在するかどうかとプロフィールの位置をチェックする
データレポジトリがプロフィールを有し、装置状態がＯＮになる場合
プロフィールをデータレポジトリからローカル装置にダウンロードする
プロフィール年齢と信号強化をチェックする
ローカル装置がプロフィールを有し、装置状態がＯＮになる場合
プロフィールをローカル装置からデータレポジトリにアップロードする
プロフィール年齢と信号強化をチェックする
データレポジトリ及びローカル装置両方ともプロフィールを有し、装置状態がＯＮになる場合
２つのプロフィールのタイムスタンプを比較する
現地のプロフィールが最新であり、装置状態がＯＮになる場合
プロフィールをローカル装置からデータレポジトリにアップロードする
プロフィール年齢と信号強化をチェックする
データレポジトリにおけるプロフィールが最新であり、装置状態がＯＮになる場合
プロフィールをデータレポジトリからローカル装置にダウンロードする
プロフィール年齢と信号強化をチェックする
プロフィールがなく、装置状態がＯＮになる場合
周囲騒音レベルを検知して、聴覚学プロフィールを生成する
プロフィール年齢と信号強化をチェックする
プロフィール年齢が１日より長く、装置状態がＯＮになる場合
プロフィール年齢をリセットする
プロフィールが存在するかどうかとプロフィールの位置をチェックする
プロフィール時期が１日以下であり、装置状態がＯＮになる場合
ＣＥＳ状態をチェックする
ＣＥＳを有効にした場合
個人の聴覚学プロフィールを分析する
強化されたオーディオ信号を生成する
強化されたオーディオを再生する
ＣＥＳを無効にした場合
事前に強化されたオーディオを再生する
周囲騒音レベル（環境）を検知する
周囲騒音レベルを測定する
周囲騒音レベルが４５ｄＢより高く、装置状態がＯＮになる場合
警告メッセージを表示する
周囲騒音レベルを検知する
周囲騒音レベルが４５ｄＢ以下であり、装置状態がＯＮになる場合
個人の聴覚学プロフィールを生成する
環境プロフィールはオーディオプログラム資料のプレーバックの間にリアルタイムで持続的に更新されている。環境プロフィールを更新する典型的な周期は１００ｍｓであるが、遅く変化する周囲騒音環境において、約１６ｍｓ〜５０ｍｓから数分までのデジタル化音声サンプリングレートで、多かれ少なかれ頻繁に更新できる。

個人の聴覚プロフィールを生成する
実行する聴力検査の種類を選択する
ユーザが自己管理聴力検査を選択する場合
各耳に純音聴力検査を別々に実行する
各聴力測定周波数でオーディオ信号を再生する
ユーザに各聴力測定周波数で最小可聴レベルを選択することを要求する
全ての聴力測定周波数での最小可聴レベルを取得したまで、純音聴力検査を繰り返す
各耳に不快な聴力検査を別々に実行する
各聴力測定周波数でオーディオ信号を再生する
ユーザに各聴力測定周波数で不快な音の大きさレベルを選択することを要求する
全ての聴力測定周波数での不快な音の大きさレベルを取得したまで、不快な聴力検査を繰り返す
各耳に最も快適な聴力検査を別々に実行する
各聴力測定周波数でオーディオ信号を再生する
ユーザに各聴力測定周波数で最も快適な音の大きさレベルを選択することを要求する
全ての聴力測定周波数での最も快適な音の大きさレベルを取得したまで、不快な聴力検査を繰り返す
ユーザを耳鳴マッチング検査の実行に勧める
ユーザが耳鳴マッチング検査を実行したい場合
耳鳴マッチング検査を実行する
検査の耳を判断する
耳鳴の種類を判断する
耳鳴ピッチにマッチングする
耳鳴の音の大きさにマッチングする
ユーザが耳鳴マッチング検査を実行したくない場合
耳鳴マッチング検査をスキップする
ユーザが職業的管理聴力検査を選択する場合
各耳に全ての聴力測定周波数に用いられる空気伝導でのマスクされていない最小可聴レベルを入力する
各耳に全ての聴力測定周波数に用いられる空気伝導でのマスクされた最小可聴レベルを入力する
各耳に全ての聴力測定周波数に用いられる骨伝導でのマスクされていない最小可聴レベルを入力する
各耳に全ての聴力測定周波数に用いられる骨伝導でのマスクされた最小可聴レベルを入力する
各耳に全ての聴力測定周波数に用いられる骨伝導での前額マスクされていない最小可聴レベルを入力する
各耳に全ての聴力測定周波数に用いられる骨伝導での前額マスクされた最小可聴レベルを入力する
各耳に全ての聴力測定周波数での不快な音の大きさレベルを入力する
各耳に全ての聴力測定周波数での最も快適な音の大きさレベルを入力する
耳鳴マッチング結果を入力する
語音聴取閾値検査からの結果を入力する
語音弁別検査からの結果を入力する
語音聴取閾値検査に使用されるオーディオ源を入力する
語音弁別検査に使用されるオーディオ源を入力する
取得されたデータに基づいて個人の聴覚学プロフィールを生成する
上記のように、検査方案の１つ様々な周波数での聴力感度に用いられて、検査方案のもう１つは個人耳鳴に用いられている。耳鳴ピッチ、耳鳴感覚レベル、耳鳴最小可聴レベル及び耳鳴ＵＣＬ検査方案は耳鳴マッチング処理という処理である。本発明で検討される耳鳴の種類は主観的で、即ち、外部音源がないまま音声に対する知覚である。図７のように、当該方案は、検査耳の判断（Ａ）、耳鳴トーン数の判断（Ｂ）、耳鳴種類の判断（Ｃ）、耳鳴ピッチの判断（Ｄ）、及び耳鳴感覚レベルの判断（Ｅ）である５つのステップを含む。以下、上記のステップをより詳細に説明する。
［ステップ１：検査耳の判断］
このステップの目的は、どの耳を検査耳として使用するかを判断することである。ユーザは、片側、両側、及び頭部の様々な位置で耳鳴を感知することができる。報告された耳鳴の位置に基づいて、検査耳が相応に選択される。図８は関連の手順を概説して、ほとんど自明である。以下の各ポイントは特定のステップに関する。

感知された耳鳴の報告位置は片側である場合に、対側耳は検査耳（ＡＡ）と判断される。対側耳を使用する選択は耳鳴と検査刺激の間の可能な干渉を最小限にして検査結果の精度を向上させるためである。

感知された耳鳴の報告位置は一方に傾ける場合に、対側耳は検査耳（ＡＡ）と判断される。対側耳を使用する選択は耳鳴と検査刺激の間の可能な干渉を最小限にして検査結果の精度を向上させるである。

感知された耳鳴の報告位置は片側でも個人の頭部の一方に傾けもない場合に、より良い聴覚を有する耳は検査耳（ＡＢ）と判断される。２つの耳の間に聴力の差異がない場合、検査耳は任意に選択される（ＡＣ）。
［ステップ２：耳鳴トーン数の判断］
耳鳴はトーンとして感知される。このステップの目的はユーザが感知する耳鳴トーン数を判断することである。図９のように、当該判断処理はユーザが有する耳鳴トーン数を要求し、入力された値を保存する（ＢＡ）。本発明の一実施形態において、当該検査は最もうるさい耳鳴トーン（一般に、個人によって個人的主観的に判断される）に集中する。別の実施形態において、当該検査は２つの最も顕著な耳鳴トーンに集中する。また、他の実施形態では、当該検査とそのプロフィールは任意の耳鳴トーン数を支持でき、この場合に、全ての音程が書き留められる（ＢＢ）。
［ステップ３：耳鳴種類の判断］
このステップの目的は耳鳴の種類（トーン耳鳴又は騒音のような耳鳴）を判断することである。図１０は当該ステップを示す。手順が検査信号によって設定される（ＣＡ）。ユーザはトーン耳鳴を患っている場合に、該検査信号の種類は純音である（ＣＢ）。ユーザは騒音のような耳鳴を患っている場合に、該検査信号の種類は狭帯域ノイズである（ＣＣ）。

本発明の一実施形態において、該判断処理はユーザに４０００Ｈｚでの純音と狭帯域ノイズである２つの形式の検査信号を再生する。ほとんどの人たちは４０００Ｈｚ範囲における耳鳴を患っていることが報告されるので、４０００Ｈｚで検査信号を再生することを選択する。ユーザは検査信号を比較して、耳鳴に最も近いような１つの音声を選択することを要求される。ユーザの検査信号における選択から耳鳴の種類を取得し、検査信号の種類を相応に設定する。
［ステップ４：耳鳴ピッチの判断］
このステップの目的はユーザが感知する耳鳴ピッチを測定する。該判断処理はある範囲における聴力測定周波数の検査信号を再生する。各検査信号は１０ｄＢ ＳＬで再生され、これは対応周波数で前もって測定された最小応答レベルより１０ｄＢ高くなる意味とする。ユーザは自分の耳鳴ピッチに最も近いような音声を選択する。

本発明の一実施形態において、ユーザが耳鳴ピッチの判断を３回繰り返すことが要求され、最後にマッチされた耳鳴ピッチはこれらの測定の平均値である。ユーザは１つ以上の耳鳴トーンを有する場合に、該ユーザは耳鳴ピッチ判断を耳鳴トーンに対して３回、合計６回実行すべきである。

様々な方法で耳鳴ピッチを測定してもよい。本発明の一実施形態において、離散周波数法が使用される。検査信号のセットは離散データの形である。当該判断処理において、２つの選択的な強制選択法を使用して信号ペアを示し、ユーザは自分の耳鳴のピッチに最も近い耳鳴の一つを選択する。

図１１は耳鳴判断処理の一例である。ほとんどの人たちは約４０００Ｈｚ範囲における耳鳴を患っていることが報告されるので、この判断処理は４０００Ｈｚで始まる。該検査の完成基準は全ての周波数に対して１２５Ｈｚの精度を得ることである。本発明の別の実施形態では、連続周波数法が使用される。図１２のように、検査信号のセットは周波数の有限区間内の値を使用してもよい。ユーザは自分の耳鳴のピッチに近い耳鳴の一つを選択する。
［ステップ５：耳鳴感覚レベル、耳鳴最小可聴レベル及び耳鳴不快な音の大きさレベルの判断］
最小感覚、快適さ及びＵＣＬという３つのレベルの検査が各耳鳴トーンに適用される。ある程度で、おおよその３つのレベルの検査を説明する必要があり、図１３Ａ及び１３Ｂのフローチャートは例示的である。図１３Ａ及び１３Ｂで示される多重特性検査において、検査信号の周波数を識別された耳鳴ピッチに設定することで確定を初める（ＥＡ）。次に、耳鳴ピッチで最小可聴レベルを識別する（ＥＢ）。判断処理は様々な可聴レベルで検査信号を再生し、ユーザが最小可聴レベルを識別すことを要求される。これは反復処理である。そして、検査は彼たちの耳鳴の感覚レベルを識別する。判断処理の間に、検査信号は最小可聴レベル以下のレベルから様々な可聴レベルで再生される。ユーザは彼の耳鳴と同じ音の大きさの検査信号を識別することを要求される。ここで、該音声強度が耳鳴音の大きさとして設定される（ＥＣ）。耳鳴感覚レベルが耳鳴音の大きさ（ＥＣ）から耳鳴最小可聴レベル（ＥＢ）を減算して算出される。

一実施形態では、ユーザに識別された耳鳴ピッチの狭帯域ノイズが再生され、ユーザが不快感を引き起こすノイズの音の大きさを識別することが要求され、これにより、耳鳴不快な音の大きさレベル（ＴＵＣＬ）が取得される。別の実施形態では、ユーザが耳鳴感覚レベルと耳鳴最小可聴レベルの判断を３回繰り返すことが要求される。最後にマッチされた感覚レベルはこれらの測定の平均値である。ユーザは１つ以上の耳鳴トーンを有する場合に、これらの耳鳴トーンが判断処理を受けることが要求される。

耳鳴検査の分析結果を含む個人の聴覚プロフィールが音声再生、即ち、音声強化処理の前に得られる。該プロフィールは任意の計画に基づいて更新してもよいが、一般的に、音声強化処理が最新であることを保証するように毎日更新される。

図１４は本発明の音声強化処理を広く要約し、オーディオプログラム資料をオーディオ信号として個人の聴覚プロフィール２０４に、好ましくは最新の、即ち、現在の図１５でさらに示される環境プロフィール２０２に関連する処理を示す。音声強化処理は音響環境周波数の組成の分析から始まる（ＦＡ）。システムは音響環境の周波数組成を自動的に取得して分析する。そして、当該システムは上記のように環境プロフィールを生成する２０２。該システムは最小可聴レベル、音量許容レベル、及び現在環境プロフィールを含む格納された個人の聴覚プロフィール２０４を提供して、個人の聴覚プロフィール２０４がオーディオ信号とともにゲインの調整に用いられる（ＦＢ）。該環境プロフィールと個人の聴覚学プロフィールは有限インパルス応答（ＦＩＲ）フィルタ２０６（１つ以上）などのフィルタ（１つ以上）の係数或いはパラメーターを導き出すために使用される。フィルタ（１つ以上）は、任意の源からのオーディオプログラム資料の個人の聴覚学プロフィールとオーディオ信号２０８に基づいて確定される、望ましい周波数特定のゲインを提供する。これらのゲインが入力したオーディオ信号を相応に修正するフィルタ（１つ以上）で加えられる。修正されたオーディオ信号が生成される場合に、システムはそれをフーリエ分析器２１０で時間領域表現から周波数領域オーディオ信号に変換する（ＦＣ）。その後、該周波数領域表現が音量許容レベルの分析を行う音量許容レベル分析器２１２介して適用される（ＦＤ）。音量許容レベルの分析は、修正されたオーディオ信号の音の大きさを検査することと、格納された個人の聴覚学プロフィールに従って各聴力測定周波数でそれをユーザの音量許容レベルと比較することと、を含む。は特定の周波数での音の大きさレベルはユーザの音量許容レベルより高い場合に、該システムは音の大きさを相応に調整する（ＦＥ）。許容レベルの分析が完成した後に、該システムは、強化されたオーディオとして再生される、望ましい強化のオーディオ信号を生成するように、フーリエ逆変換モジュール２１４において調整された周波数領域オーディオ信号を等価の時間領域オーディオ信号に変換する（ＦＦ）。その後、ユーザに提供される任意の音の大きさの警告信号を放出できる。

本発明の一実施形態では、システム１０は不快な音の大きさレベルを音量許容レベルとし、難聴を検討されている聴力障害の種類とする。
本発明の別の実施形態では、システム１０は耳鳴ピッチ、耳鳴感覚レベル、耳鳴最小可聴レベル及び耳鳴ＵＣＬを音量許容レベルとし、耳鳴を伴う難聴を検討されている聴覚障害の種類とする。

システム１０はユーザに自動的なゲイン調整選択と手動的なゲイン調整選択を両方提供し、該自動的なゲイン調整選択は音響環境によって引き起こされ、該手動的なゲイン調整選択はユーザによって引き起こされる。

本発明の一実施形態では、システム１０は音響環境周波数組成の分析を起動する機能から始める。該システムは現在音響環境での周波数組成を自動的に取得して分析し、更新された環境プロフィールを計画に基づいて(一般的に５０ｍｓ毎に)生成する。そして、該システムは更新された環境プロフィール特性を使用して自動的に必要なゲイン量を確定し、該必要なゲイン量はユーザにいずれかの新しい或いはさらなる耳損傷を受けないまま所望どおりに快適に聞いて、強化されたオーディオを理解することを可能にさせる。

本発明の他の実施形態では、システム１０はユーザに複数のゲイン調整選択肢を提供する。ユーザは、様々な状況で音声強化処理より管理される強化されたオーディオを十分に聞いて理解するように、ゲイン量を動的に調整してもよい。

要すると、このソフトウェアベースのシステムはユーザ個人の聴覚学プロフィールに基づいて特有のオーディオ聴覚特性を補完するように、コンピュータ化装置からのオーディオ強化処理を自動化する。個人の聴覚学プロフィールは自己管理聴力検査からでも、職業的管理聴力検査からでも得られる。自己管理聴力検査はコンピュータ化装置で生成されるプロフィールを指している。該方法は各耳で取得処理を実行し、聴力検査、ＵＣＬ検査、最も快適なレベル（ＭＣＬ）検査、及び／或いは耳鳴マッチング検査を行うことを含む。全ての検査はシステム１０で行われる必要であるわけではなく、選択的であると見なされる。該システムは現地の聴力強化設備で個人の聴覚学プロフィールを保存し、及び／或いはコピーをデータレポジトリに送信する。職業的管理検査は適切な医療従事者によって提供されたデータからコンパイルされたプロフィールを指している。以下で概説されるように、職業的管理検査からのデータは各聴力測定周波数及び耳鳴特性に用いられる純音聴力図及びＵＣＬとＭＣＬ検査結果を含む。医療従事者はデータを適当に起動される設備に入力し、或いはインターネットを介してウェブアクセスデータレポジトリに入力する。

本発明のある実施形態に係るソフトウェアベースのシステムは職業的に生成された聴力図から任意のパラメーターの受信能力を有利に有する。所属分野における標準的な呼称に応じて、該パラメーターは、通常の検査において、マスクされていない或いはマスクされたＡＣ、マスクされていない或いはマスクされたＢＣ、前額マスクされていない或いは前額マスクされたＢＣ、ＰＴＡ、ＭＣＬ、ＵＣＬ、ＳＲＴ語音弁別、及び語音聴取閾値（ＳＲＴ）と語音弁別検査に使用されるオーディオ源、即ち、以下の周波数で左耳と右耳両方に用いられるコンピュータで生成される音声クリップ、ＣＤ或いは磁気テープにおける音声クリップを含む：
１２５ＨｚでのｄＢを単位とする聴力レベル
２５０ＨｚでのｄＢを単位とする聴力レベル
５００ＨｚでのｄＢを単位とする聴力レベル
１ｋＨｚでのｄＢを単位とする聴力レベル
２ｋＨｚでのｄＢを単位とする聴力レベル
３ｋＨｚでのｄＢを単位とする聴力レベル
４ｋＨｚでのｄＢを単位とする聴力レベル
６ｋＨｚでのｄＢを単位とする聴力レベル
８ｋＨｚでのｄＢを単位とする聴力レベル
初期設定により、該システムは最新の個人の聴覚学プロフィールを音声強化処理の基礎とする。運転の間に、システムは最新の個人の聴覚学プロフィールを現地の設備とデータレポジトリにおける個人の聴覚学プロフィールと比較する。データレポジトリ２６に格納されたプロフィールはより新しい場合に、現地のバージョンを上書きする（別の配置がなければ）。現地の設備におけるプロフィールはより新しい場合に、システムは現地のプロフィールをデータレポジトリにアップロードする。インターネットとの接続がない場合は、システムは現地のプロフィールを音声強化処理に使用する。一般的に、現地の設備におけるプロフィールの変化を頻繁に監視することによって、データと時間との比較処理が毎日実行される。システムは変化を検知するたびに、ゲインを再計算し、更新されたデータで音声強化を実行する。

以下のように、本発明におけて、ＡＣＥ聴力処理として知られているカスタマイズされた強化音声（ＣＥＳ）のサンプル実施が［ＢＫＬ１］に基づいて一連の疑似コードリストとして示される。該疑似コードの明瞭さを向上するため、ここで、明瞭のためにＪａｖａなどのプログラム言語における通常の特定言語で記述していない。その解釈がソフトウェアプログラミング分野における当業者にとって自明である通常のステートメントを使用することを意図する。

本発明の前述した実施形態が、装置と環境要因から分離する個人ユーザの聴力プロフィールに関するコンテクストにおいて大体記述されたが、本発明の他のシステム及び方法は特定信号経路だけに適用される成形された「聴覚プロフィール」を有利に使用して、当該特定信号経路が当該特定信号経路の環境において測定される。従って、装置における電子信号と任意の環境で装置から生成された音声に対するユーザの聴覚の間の関係を確立し、ユーザの聴覚と任意に選択される環境での装置における電子信号の間に確立された関係を表すデータセット（「聴覚プロフィール」と呼ばれ、又は記述される。）を取得（プロフィール）し、また選択された「聴覚プロフィール」と一連の適用ルール、パラメーター及びアルゴリズムにより電子オーディオ信号を処理し、これによって、最適化された完全なオーディオ体験を提供するために、装置における電子部品の特性と任意の環境でのユーザの聴覚に対して電子オーディオ信号を調整するシステムと方法が記述される。
［１．「聴覚プロフィール」の取得］
一実施形態において、図１６〜１９、２１、及び２２のように、図形のユーザインターフェイスによって、ユーザが、音声出力レベルが最小限可聴レベルである範囲における周波数で（２つの異なる周波数まで少なくなってもよい）複数の基準点を識別することが要求される。該システムは、まず、ユーザに特定周波数の音声信号を提示する。音の大きさはスライダー、ノブ又はボリュームロッカー、又は音声コマンド、或いは眼球運動などの手段で調整できる。ユーザは彼又は彼女が信号がほとんど聞こえないまで、音の大きさを調整する。ユーザは最低可聴レベルで基準点を設定して、異なる周波数で次の設定を進める。この場合に、各基準点は装置の固有仕様（例えば、回路および変換器の特性）、装置の位置（例えば、イヤホンの装着）、識別が行われた環境、ユーザの耳道と鼓膜の解剖学的特性、及びユーザの聴覚能力、を考慮する。

ユーザは第１の基準点を順調に位置付けると、システムは当該第１の基準点を保存し、該処理を他の周波数で繰り返す。処理中に収集された基準点は職業的な聴力検査コンテクストで伝統的に観察される個人聴力の聴覚閾値を示していないことが重要である。収集された基準点は、ユーザが検査装置とその仕様、装置が耳に対する位置、識別が行われた環境、及び耳道、鼓膜及び聴力経路の解剖学的特性に対して、オーディオ信号がほとんど聞こえない点である。保存された基準点（耳ごとに２つまで少なくなってもよい）はこれらの状況での個人の「聴覚プロフィール」と呼ばれる。従って、ユーザは異なる装置、イヤホンの選択、及び／又はリスニング環境に用いられる複数の「聴覚プロフィール」を有してもよい。該「聴覚プロフィール」は測定された信号経路だけに適用される（ユーザの聴覚特性だけではなく、装置の信号、回路及び変換器／小型イヤホン又はイヤホンと、装置が耳の上にフィットされるか耳の中にフィットされるかと、ユーザの耳道の解剖学的構造と、環境と、を含む他の要因もある）。取得された「聴覚プロフィール」は装置の変換器特性とユーザの聴力知覚を一緒に組み合わせる。注目に値すべきなのは、プロフィールのいかなる部分が難聴に起因するかどうかを評価することは必要がない場合に、システムは「聴覚プロフィール」を使用して、測定された信号経路の特定状況におけるユーザの聴覚の周波数応答特性を償う所要の音声強化を確定してもよい。

真実の聴覚閾値を測定することに依頼せず、特定の完全経路にプロフィールの「形状」を提供する関係を確立することで、本発明の態様による方法は従来の聴力検査及び補聴器原理を利用するオーディオの強化を区別する。従って、「聴覚プロフィール」は防音又は静かな音環境で閾値が測定された個人ユーザの聴力プロフィールではなく、（装置の回路と変換器、或いはユーザによって選択された特定の小型イヤホン、及びそれによる耳道への装着を考慮する）任意の装置で生成された信号と任意の選択された環境での特定装置に対するユーザの可聴閾値との間に作成された関係を表すデータセット形の「聴覚プロフィール」である。それで、「聴覚プロフィール」（或いは音声信号を強化するプラットフォームとして使用されているデータセット）はそれが確立された状態での特定の回路とそのユーザに「所属する」或いは関する。以上のように、この「聴覚プロフィール」は測定された信号経路だけに適用される。異なる「聴覚プロフィール」が異なる状況（小型イヤホン及び／又は環境の変化）に応じて個人（又は同じ装置での多いユーザさえ）により取得でき、適切な使用のために装置に格納される。

該システムはデータ形の「聴覚プロフィール」を取得して保存する。
［２．ユーザの好み］
「聴覚プロフィール」が論理的に聴取装置及び／又は環境状況の選択に基づくユーザの好みによって、該装置で行われるカスタマイズ／強化用の好ましい「聴覚プロフィール」として（格納された１つ又は任意の数のプロフィールから）選択される。

また、複数の格納されたプロフィールから最も適合な聴覚プロフィールの選択は、サンプリング、特性の検知、又は強化されたオーディオを個人に送信するための信号経路の部品に基づいて自動的に実行してもよい。自動的にサンプリングされる又は検知される信号経路の特性は、環境音（例えば、総合的な強度、調性／無調性、及び／又は周波数特定の強度）、使用中の変換器の識別シグネチャー及び／又は測定された聴覚特性（例えば、周波数応答など）と、該変換器の位置、角度方向、或いは動き（変換器を個人のどの耳に位置するかを指示する動きも含む）と、変換器への任意の接触、タッチ、或いは圧力、特に、ユーザの耳で近接又は変換器が耳道に挿入された場合の取り付けの快適性を表すことと、を含んでもよいが、これらに限定されない。自動選択がユーザによって部分的に制御されてもよく、例えば、ユーザにプロンプトすることによって、自動選択に信号経路の異なる特性の相対的重要性を指定する。従って，簡単な例において、ユーザが装置に強化されたオーディオが伝送する時に存在している音声状態に最も近い環境音状態があるプロフィールを選択ことを要求してもよい。この場合は、背景音状態の変化可能な広範囲を考慮すれば、大量の異なる環境サウンドスケープに対応する、格納される大量のオーディオプロフィールに非常に有利である。

さらに、ユーザに任意の後の時間で高いトーンの低下及び／又は低いトーンの向上などの付加的な個人の好みを適用したり、選択したりすることを有利に可能させてもよい。この付加的な特性は自動的最良適合プロフィール識別とともにシナジーが与えられる。例えば、システムはサンプリングされた又は検知された条件に基づいて自動的に最良適合プロフィールを選択すると、続いてユーザが全音量又は周波数特定の音量に迅速な手動調整を行う場合に、機械学習原理に従って自動的プロフィール選択アルゴリズムを訓練するように、手動調整がシステムにフィードバックされてもよい。

また、或いはその上、手動調整を応答し、システムは活発な信号強化設定を手動的に修正されたものとしてサンプリングされた環境サウンドスケープと関連付ける、新しいプロフィールを格納するかどうかを選択することをユーザにプロンプトしてもよい。一実施形態において、システムはサンプリングされた条件とサンプリングされた条件と最類似の条件として自動的に選択された条件との間の多少測定の差異度合いに基づいて、自動選択アルゴリズムに訓練調整を適用するかどうか、及び／又はユーザを新しいプロフィールを格納することに勧めるかどうかを決めてもよい。例えば、該差異は大きい場合に、自動選択の不具合があるわけではなく、利用可能な格納プロフィールの範囲は十分に強固でないため、手動調整が必要とされるので、システムはユーザに新しいプロフィールを格納することだけを勧めてもよい。ユーザのこのようなプロンプトへの肯定的な応答は限界量の異なる格納されたプロフィールでシステムにポピュレートすることに役立って、従って、能力を改良して、広範囲の異なる背景サウンドスケープでユーザの聴取体験を最適化する。

一方、サンプリング条件と格納条件との差異は小さい場合に、該システムは選択アルゴリズムに訓練調整だけを行う。代わりに、ある場合に、該システムは、新しいプロフィールを格納するインビテイションに対するユーザの応答に全体的に又は部分的に基づいて、補正動作を行う。従って、例えば、ユーザが新しいプロフィールを格納しないと選択する場合に、システムは、ユーザが拒絶する全ての状況、又はユーザが新しいプロフィールだけの生成を拒絶するとともにサンプリング条件と格納条件との差異が一定の限度より低い状況で、アルゴリズムに訓練調整を適用する。ユーザが新しいプロフィールの生成を拒絶することにかかわらず、システムが選択アルゴリズムを補正しない差異の閾値度合いは、システムがユーザに新しいプロフィールの生成を勧める差異の閾値度合いより高くてもよい。
［３．実行時間要因］
図１９のように、選択された「聴覚プロフィール」データセットは一連の「パラメーター」を確定する。これらのパラメーターは、どうやって１つ又は多数の要因、例えばｉ）各基準点で測定されたｄＢレベルに対する要因、ｉｉ）測定された環境ノイズに対する要因、及びｉｉｉ）公知の変換器特性に対する要因を考慮したうえで該データを処理することに適用される規則に基く。図１８のように、事前に選択された「聴覚プロフィール」と適用可能な規則、パラメーター及びアルゴリズムにより、装置の電子信号が処理されて、選択された「聴覚プロフィール」が生成された環境でユーザの聴覚と該装置の電子部品の固有周波数応答特性を補償する。

信号処理は格納された検査条件と信号処理と同時に測定された条件との差異を検知する装置でガイドされても、されなくてもよい。例えば、手動的に選択したプロフィールと関連付ける検査条件と現在の聴取環境との差異は大きい場合に、システムはユーザにこの現実を注意させて、新しいプロフィールを生成するかどうかの選択をプロンプトし、自動のプロフィール選択の後に手動のユーザ調整が続くことと併せて上記して処理と似ている。また、システムは事前に選択されたプロフィールと関連付ける強化操作を修正することによって、実行される信号強化操作を分析的に推定して、該検査条件と現在検知された条件との差異の原因となる。

従って、該フローは下記のとおりであり、即ち、環境ノイズ測定がある又は環境ノイズ測定がない聴力検査プロトコル→聴覚プロフィールの取得→規則（プロフィールがどう使用される）→パラメーター（規則で生成される）→アルゴリズム（パラメーターがどう使用される）→処理（信号→結果）である。

従って、生成された信号は、聴者の聴力プロフィール（聴覚障害の影響を含んでも、含まなくでもよい）を補正し、聴者が聞きたい音声又は音楽（聴者は一部のスピーチ又は音楽を試みた後に聴覚プロフィールを調整することができる）を補正し、プロフィールを生成する特定装置の特有特性、例えば、電話（又は他のオーディオ出力装置）の変換器の周波数応答を補正し、聴者の個人の解剖学的構造と変換器に対する好みに頼る変換器から鼓膜へのエネルギー伝達を補正し、及び音声環境を補正し、聴者が当該音声環境において聴覚プロフィールを生成し、装置を使用つもりである。

別の一実施形態では、図２０及び２２のように、ユーザが、図形のユーザインターフェイスを介して複数の基準点を識別することが要求され、当該複数の基準点において、
ある範囲の周波数にわたって音声レベルが最も快適なレベルにある。

別の一実施形態では、図２０及び２３のように、ユーザが、図形のユーザインターフェイスを介して、複数の基準点を識別することが要求され、当該複数の基準点に及びそれ以上で、ある範囲の周波数にわたって音声レベルが不快なレベルである。

別の一実施形態では、図２４のように、ユーザが、図形のユーザインターフェイスを介して既存聴覚プロフィールリストから聴覚プロフィールを選択することが要求される。
別の一実施形態では、図２４及び２５のように、ユーザが、図形のユーザインターフェイスを介して、最初から新しい聴覚プロフィールを生成するか又は既存聴覚プロフィールリストから１つを選択するかの選択が与えられる。

別の一実施形態では、図２６のように、システムを、ユーザが図形のユーザインターフェイス介して始動することによって、又は自動的に、データ形の環境ノイズをサンプリングし、分析し、保存するように配置ことができる。

別の一実施形態では、図２７のように、ユーザが、図形のユーザインターフェイスを介して、検査プロトコルを行う前にシステムに、イヤホンのブランド／モデルを手動的に選択するか、半自動的に検知するか、又は自動的に検知するかの変換器識別機構の選択肢を指示する選択が与えられる。

本発明が、特定の実施形態を参照して説明された。当業者であれば、別の実施形態は自明である。従って、請求される特許請求の範囲によって示されるものを除いて、本発明が限定されるものではない。

Claims (22)

1. 個人の聴力体験を強化するシステムであって、
   検査信号経路用の個人のオーディオ聴覚特性を取得する部品と、
   前記検査信号経路用の個人のオーディオ聴覚特性を分析して成形の聴覚プロフィールを生成する部品と、
   前記検査信号経路と似ている聴取信号経路を介して個人へ送信された別の入力電子信号を応答し、前記成形の聴覚プロフィールを選択的に適用して、前記個人によって感知されたオーディオを強化する部品と、を備えており、
   前記検査信号経路は、入力検査電子信号を感知オーディオ信号に変換し、前記入力検査電子信号を出力検査オーディオ信号に変換する検査オーディオ装置の電子部品を含む素子と、前記個人が前記出力検査オーディオ信号を聞いた音声環境と、前記個人の聴覚能力とを含むことを特徴とする
   システム。
2. 前記検査信号経路は前記個人の耳に対する前記特定オーディオ装置の位置決め及び／又は取り付けをさらに含むことを特徴とする請求項１に記載のシステム。
3. 任意のユーザ好みを適用して前記オーディオ強化の指示、修正、又は調整を行う部品をさらに備えることを特徴とする請求項１に記載のシステム。
4. 強化されたオーディオがコンピュータ化装置で生成され、カスタマイズされた音の大きさレベルにおいて前記検査信号経路と似ている信号経路に感知されたオーディオ信号における周波数依存の音の大きさの欠陥を補償することを特徴とする請求項１に記載のシステム。
5. 前記成形の聴覚プロフィールは前記検査信号経路を介して送信される少なくとも１つの周波数に対する最小可聴音の大きさレベルの検査測定を含むことを特徴とする請求項１に記載のシステム。
6. 前記成形の聴覚プロフィールは前記検査信号経路を介して送信する少なくとも１つの周波数に対する、最も快適なレベルと不快なレベルの検査測定をさらに含むことを特徴とする請求項５に記載のシステム。
7. 前記最小可聴音の大きさレベルは複数の聴力測定周波数で測定されることを特徴とする請求項５に記載のシステム。
8. 前記分析部品はゲイン計算により処理結果を生成するためのサブシステムを含むことを特徴とする請求項１に記載のシステム。
9. 前記処理結果の圧縮特性と周波数ゲインを指示する前記ゲイン計算は周波数依存と入力レベル依存であることを特徴とする請求項８に記載のシステム。
10. 個別化の成形の聴覚プロフィールを保存するデータレポジトリをさらに備えており、前記データレポジトリは任意の源からデータを収集し、前記分析部品が使用する特定の個別化の成形の聴覚プロフィールを保存して更新し、前記特定の個別化の成形の聴覚プロフィールの要求に応答するように配置されていることを特徴とする請求項１に記載のシステム。
11. 前記個別化の成形の聴覚プロフィールは前記オーディオ強化を指示して、修正して又は調整するために前記個人によって選択された任意のカスタマイズ設定をさらに含むことを特徴とする請求項１０に記載のシステム。
12. 前記個別化の成形の聴覚プロフィールは耳鳴検査からの測定結果をさらに含むことを特徴とする請求項１１に記載のシステム。
13. 前記データレポジトリはインターネット接続でアクセス可能であることを特徴とする請求項１０に記載のシステム。
14. 前記取得部品は携帯用電子部品であることを特徴とする請求項１０に記載のシステム。
15. 前記分析部品は携帯用電子部品であることを特徴とする請求項１０に記載のシステム。
16. 前記聴取信号経路の少なくとも１つの素子を検知し、前記聴取信号経路素子と前記検査信号経路の対応素子との差異に基づいて、前記オーディオ強化を変更する部品をさらに含むことを特徴とする請求項１に記載のシステム。
17. 個人の聴力体験を強化する方法であって、
    入力電子信号を個人で感知された感知オーディオ信号に変換する検査信号経路に対応する前記個人のオーディオ聴覚特性を、前記個人が検査音声環境で検査オーディオ装置を使用して入力検査電子信号から前記個人に出力検査オーディオ信号を送信する聴力検査を管理することによって、取得するステップと、
    前記検査信号経路に対する前記個人のオーディオ聴覚特性を分析して、成形の聴覚プロフィールを生成するステップと、
    前記成形の聴覚プロフィールを適用して、前記検査音声環境と似ている聴取音声環境において前記検査オーディオ装置と似ている信号処理特性がある聴取オーディオ装置により前記個人に送信された出力オーディオ信号を強化するステップとを含むことを特徴とする方法。
18. 前記聴取オーディオ装置又は前記聴取音声環境の少なくとも１つの態様を検知し、前記聴取オーディオ装置又は音声環境の前記態様と前記検査オーディオ装置又は前記音声環境に対応する態様との差異に基づいて前記オーディオ強化を変更するステップをさらに含むことを特徴とする請求項１７に記載の方法。
19. 異なる検査信号経路に対応して前記個人に用いられる少なくとも２つの成形聴覚プロフィールを生成し、前記少なくとも２つの成形聴覚プロフィールをデータレポジトリに保存して、前記少なくとも２つの成形聴覚プロフィールの１つが選択されて前記出力オーディオ信号の強化に適用されることを許可することをさらに含むことを特徴とする請求項１７に記載の方法。
20. カスタマイズされた強化音声を特定の信号経路を介して個人に送信する装置であって、
    源から強化前のオーディオ信号を受信する部品と、
    前記個人及び前記特定信号経路と関連付ける、格納された個別化の成形の聴覚プロフィールを受信する部品と、
    前記個別化の成形の聴覚プロフィールを受信してフィルタ係数を確立し、前記強化前のオーディオ信号を入力として受信して、複数の周波数で前記オーディオ信号の音の大きさを修正して修正されたオーディオ信号を取得するフィルタ手段と、
    前記修正されたオーディオ信号を前記時間領域から前記周波数領域に変換する時間領域から周波数領域への変換器と、
    複数の聴覚周波数で前記個別化の成形の聴覚プロフィールの音の大きさ許容レベルを前記修正されたオーディオ信号の音の大きさレベルと比較するによって、前記修正されたオーディオ信号の音の大きさ許容レベルを分析し、前記音の大きさ許容レベルを超えて強化された周波数領域オーディオ信号を生成する選択された聴覚周波数での音の大きさを調整する部品と、
    前記個人に対して、前記強化された周波数領域オーディオ信号を等価な時間領域において強化されるオーディオに変換する部品とを備えることを特徴とする装置。
21. 前記フィルタ手段は時間領域有限インパルス応答フィルターバンクであることを特徴とする請求項２０記載の装置。
22. 前記時間領域から周波数領域への変換器はフーリエ変換素子であり、前記強化のオーディオ信号を変換する部品はフーリエ逆変換素子であることを特徴とする請求項２１記載の装置。