JP2015173369A

JP2015173369A - 信号処理装置、信号処理方法、およびプログラム

Info

Publication number: JP2015173369A
Application number: JP2014048426A
Authority: JP
Inventors: 康信村田; Yasunobu Murata; 宏平浅田; Kohei Asada; 祐史山邉; Yushi Yamabe
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-03-12
Filing date: 2014-03-12
Publication date: 2015-10-01
Also published as: CN104918177A; US10448142B2; US20190297411A1; US20250274696A1; US20180084332A1; US9854349B2; US12302058B2; US20210337302A1; US11838717B2; US20240064455A1; US11109143B2; US20150264469A1; CN104918177B

Abstract

【課題】複数のオーディオ信号処理機能を同時に実行することができるようにする。【解決手段】信号処理装置は、周囲音を収集して周囲音信号を生成するとともに、周囲音信号からノイズキャンセリング信号を生成し、周囲音信号から閉塞感除去信号を生成する。そして、信号処理装置は、生成されたノイズキャンセリング信号と閉塞感除去信号を、所定の割合で加算して出力する。本開示の技術は、例えば、ヘッドホン等の信号処理装置等に適用できる。【選択図】図４

Description

本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、複数のオーディオ信号処理機能を同時に実行することができるようにする信号処理装置、信号処理方法、およびプログラムに関する。

最近のヘッドホンには、周囲の騒音（ノイズ）を低減するノイズキャンセリング機能など、所定のオーディオ信号処理機能を備えるものがある（例えば、特許文献１乃至３参照）。

特開２０１１−２５４１８９号公報特開２００５−２９５１７５号公報特表２００９−５２９２７５号公報

所定のオーディオ信号処理機能を備えるこれまでのヘッドホンでは、ノイズキャンセリング機能などの単一機能のオン・オフを切替えたり、効き具合の調整をすることはできる。また、ヘッドホンが複数のオーディオ信号処理機能を備える場合、それらの１つの機能を選択して有効にすることはできる。しかしながら、複数のオーディオ信号処理機能を組み合わせた制御はできなかった。

本開示は、このような状況に鑑みてなされたものであり、複数のオーディオ信号処理機能を同時に実行することができるようにするものである。

本開示の一側面の信号処理装置は、周囲音を収集して周囲音信号を生成する周囲音信号取得部と、前記周囲音信号からノイズキャンセリング信号を生成するNC信号生成部と、前記周囲音信号から閉塞感除去信号を生成する閉塞感除去信号生成部と、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する加算出力部とを備える。

本開示の一側面の信号処理方法は、周囲音を収集して周囲音信号を生成し、前記周囲音信号からノイズキャンセリング信号を生成し、前記周囲音信号から閉塞感除去信号を生成し、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力するステップを含む。

本開示の一側面のプログラムは、コンピュータを、周囲音を収集して周囲音信号を生成する周囲音信号取得部と、前記周囲音信号からノイズキャンセリング信号を生成するNC信号生成部と、前記周囲音信号から閉塞感除去信号を生成する閉塞感除去信号生成部と、
生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する加算出力部として機能させるためのものである。

本開示の一側面においては、周囲音を収集して周囲音信号が生成され、前記周囲音信号からノイズキャンセリング信号が生成され、前記周囲音信号から閉塞感除去信号が生成される。そして、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号が、所定の割合で加算して出力される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の一側面によれば、複数のオーディオ信号処理機能を同時に実行することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示に係るヘッドホンの外観例を示す図である。閉塞感除去機能を説明する図である。ヘッドホンの機能構成を示すブロック図である。信号処理部の第１の実施の形態の構成例を示すブロック図である。第１のユーザインタフェースの例を説明する図である。第１のユーザインタフェースの例を説明する図である。第１のオーディオ信号処理を説明するフローチャートである。信号処理部の第２の実施の形態の構成例を示すブロック図である。第２のユーザインタフェースの例を説明する図である。第２のユーザインタフェースの例を説明する図である。第３のユーザインタフェースの例を説明する図である。第３のユーザインタフェースの例を説明する図である。第４のユーザインタフェースの例を説明する図である。第４のユーザインタフェースの例を説明する図である。第２のオーディオ信号処理を説明するフローチャートである。解析制御部の詳細構成例を示すブロック図である。レベル検出部の詳細構成例を示すブロック図である。レベル検出部のその他の詳細構成例を示すブロック図である。自動制御モードによる制御の例を説明する図である。本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．ヘッドホンの外観例
２．ヘッドホンの機能ブロック図
３．信号処理部の第１の実施の形態
４．信号処理部の第２の実施の形態
５．自動制御モードの例
６．応用例
７．変形例

＜１．ヘッドホンの外観例＞
図１は、本開示に係るヘッドホンの外観例を示す図である。

図１のヘッドホン１は、通常のヘッドホン等と同様に、外部の音楽再生装置等からオーディオ信号を取得して、そのオーディオ信号を、ハウジング２内のスピーカ３から、実際の音としてユーザに提供する。

なお、オーディオ信号が表すオーディオコンテンツは、例えば、音楽（楽曲）・ラジオ放送・テレビ放送・英会話などの教材・落語などの娯楽コンテンツ・ゲーム音・動画の音・コンピュータの操作音など、様々なものが挙げられ、特に限定されるものではない。本明細書において、オーディオ信号（音響信号）とは、人の声の音声信号に留まらない。

ヘッドホン１は、周囲音を収集して周囲音信号を出力するマイクロホン４を、ヘッドホン１のハウジング２の所定の箇所に備える。

マイクロホン４は、ヘッドホン１のハウジング２の内部に設けられていてもよく、ハウジング２の外部に設けられていてもよい。ハウジング２の外部にマイクロホン４を設ける場合には、ハウジング２の外側に直接設けてもよく、ハウジング２以外の場所、例えばヘッドホン１の左右のハウジングを繋げるバンド部分や、ヘッドホン１の音量等を調節するためのコントロールボックスに設けてもよい。ただし、耳に近い位置の周囲音を収音するには、耳に近い位置にマイクロホン４を備えることがより望ましい。また、周囲音を収集するマイクロホン４は、１つであってもよく、２つであってもよい。しかし、ヘッドホン１に装着されるマイクロホン４の位置と、通常の一般的な周囲音が殆ど低域に存在することとを考慮すれば、マイクロホン４は１つだけであってもよい。

また、ヘッドホン１は、マイクロホン４が収集した周囲音に対して、所定のオーディオ信号処理をかける機能（モード）を有している。具体的には、ヘッドホン１は、ノイズキャンセリング機能、特定音強調機能、閉塞感除去機能、周囲音増強機能の少なくとも４つのオーディオ信号処理機能を有している。

ノイズキャンセリング機能とは、鼓膜に到達する音波に対して、周囲音と逆位相の信号を発生させて鼓膜の位置で打ち消す（キャンセルする）機能である。ノイズキャンセリング機能がオンとされた場合、ユーザに聞こえる周囲音（周囲の音声を含む）は小さくなる。

特定音強調機能とは、ノイズと判定される特定の音（特定の周波数帯域の信号）を抑制（リダクション）する機能であり、ノイズリダクション機能とも呼ばれる。本実施の形態では、周囲の人が発する音声以外の音（例えば、環境音）をノイズと判定して抑制する処理として特定音強調機能が組み込まれている。したがって、特定音強調機能がオンとされた場合、ユーザに聞こえる周囲の環境音は小さくなるが、周囲の人の音声は適度に聞こえる。

閉塞感除去機能は、マイクロホン４で収集した音に信号処理をかけて出力することによって、ユーザがヘッドホン１をかけたままでありながら、あたかもヘッドホン１をまったくかけていない、あるいは開放型ヘッドホンを装着しているかのように周囲音が聞こえるようにする機能である。閉塞感除去機能がオンとされた場合、周囲の環境音も音声もヘッドホン１を装着していない通常の状態とほぼ同じように聞こえる。

図２は、閉塞感除去機能を説明する図である。

ユーザが、ヘッドホン１を装着せずに、音源Ｓを聴いたとき、ユーザが聞く音源Ｓの特性がＨ１であるとする。一方、ユーザがヘッドホン１を装着した場合に、ヘッドホン１のマイクロホン４で収集される音の特性がＨ２であるとする。

この場合、閉塞感除去処理（機能）として、
Ｈ１＝Ｈ２・Ｈ３・・・・・・・・・・・・・・・・（１）
となるような特性Ｈ３の信号処理を実行すれば、ユーザがヘッドホン１をかけたままでありながら、あたかもヘッドホン１をまったくかけていない状態をつくることができる。

換言すれば、閉塞感除去機能は、Ｈ３＝Ｈ１／Ｈ２となる特性Ｈ３を予め測定等により決定し、式（１）の信号処理を実行する機能である。

周囲音増強機能は、閉塞感除去機能において周囲音信号のレベルをさらに増強（boost）させて出力する機能である。周囲音増強機能がオンとされた場合、周囲の環境音及び音声がヘッドホン１を装着していない状態よりも大きく聞こえる。周囲音増強機能は、補聴器の機能にも似ている。

＜２．ヘッドホンの機能ブロック図＞
図３は、ヘッドホン１の機能構成を示すブロック図である。

ヘッドホン１は、上述したスピーカ３及びマイクロホン４の他、ADC(Analog Digital Converter)１１、操作部１２、オーディオ入力部１３、信号処理部１４、DAC(Digital Analog Converter)１５、及び、パワーアンプ１６を含んで構成される。

マイクロホン４は、周囲音を収集して周囲音信号を生成し、ADC１１に出力する。マイクロホン４は、周囲音信号取得部として機能する。

ADC１１は、マイクロホン４から入力されるアナログの周囲音信号を、デジタル信号に変換して、信号処理部１４に出力する。以下では、信号処理部１４に供給されるデジタルの周囲音信号を、マイクロホン信号という。

操作部１２は、ヘッドホン１に対するユーザの操作を受け付ける。例えば、操作部１２は、ヘッドホン１の電源のオン・オフ、スピーカ３から出力される音の音量、複数のオーディオ信号処理機能のオン・オフ、などのユーザの操作を受け付け、受け付けた操作に応じた操作信号を、信号処理部１４に出力する。

オーディオ入力部１３は、外部の音楽再生装置等から出力されたオーディオ信号（音響信号）の入力を受け付ける。本実施の形態では、オーディオ入力部１３から、所定の音楽（楽曲）の信号が入力されるものとして、以下では、オーディオ入力部１３から入力されるオーディオ信号を、音楽信号と記述する。しかし、上述したように、オーディオ入力部１３から入力されるオーディオ信号は、これに限られるものではない。

オーディオ入力部１３には、デジタルの音楽信号が入力されるものとするが、オーディオ入力部１３がAD変換機能を備え、入力されたアナログの音楽信号をデジタル信号に変換して、信号処理部１４に出力するものでもよい。

信号処理部１４は、ADC１１から供給されるマイクロホン信号に対して所定のオーディオ信号処理を実行し、処理後の信号をDAC１５に出力する。また、信号処理部１４は、オーディオ入力部１３から供給される音楽信号に対して所定のオーディオ信号処理を実行し、処理後の信号をDAC１５に出力する。

あるいはまた、信号処理部１４は、マイクロホン信号と音楽信号の両方に対して所定のオーディオ信号処理を実行し、処理後の信号をDAC１５に出力する。信号処理部１４は、例えば、複数のDSP(Digital Signal Processor)により構成することができる。信号処理部１４の詳細については図３以降を参照して後述する。

DAC１５は、信号処理部１４から出力されるデジタルのオーディオ信号をアナログ信号に変換し、パワーアンプ１６に出力する。

パワーアンプ１６は、DAC１５から出力されるアナログのオーディオ信号を増幅して、スピーカ３に出力する。スピーカ３は、パワーアンプ１６から供給されるオーディオ信号を音として出力する。

＜３．信号処理部の第１の実施の形態＞
＜信号処理部の機能ブロック図＞
図４は、信号処理部１４の第１の実施の形態の構成例を示すブロック図である。

信号処理部１４は、処理実行部３１と解析制御部３２を有する。処理実行部３１は、NC信号生成部４１、係数メモリ４２、可変アンプ４３、閉塞感除去信号生成部４４、可変アンプ４５、及び、加算器４６を備える。

マイクロホン４で集音されて生成されたマイクロホン信号は、処理実行部３１のNC信号生成部４１と閉塞感除去信号生成部４４に入力される。

NC信号生成部４１は、係数メモリ４２に記憶されているフィルタ係数を用いて、入力されるマイクロホン信号に対して、ノイズキャンセリング処理（機能）を実行する。すなわち、NC信号生成部４１は、マイクロホン信号と逆位相の信号をノイズキャンセリング信号として生成し、可変アンプ４３に出力する。NC信号生成部４１は、例えば、ＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタや、ＩＩＲ（ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタで構成することができる。

係数メモリ４２は、周囲環境に応じた複数種類のフィルタ係数を記憶しており、必要に応じて、所定のフィルタ係数を、NC信号生成部４１に供給する。例えば、係数メモリ４２は、ユーザが電車の車内にいる場合に最適なフィルタ係数（TRAIN）、飛行機の機内にいる場合に最適なフィルタ係数（JET）、オフィスにいる場合に最適なフィルタ係数（OFFICE）などを有している。

可変アンプ４３は、NC信号生成部４１の出力であるノイズキャンセリング信号に対して所定のゲインを乗算することにより、ノイズキャンセリング信号を増幅して加算器４６に出力する。可変アンプ４３のゲインは、解析制御部３２の制御により設定され、所定の範囲内で変更可能である。解析制御部３２から供給される可変アンプ４３のゲイン設定値を、ゲインA（Gain.A）とする。

閉塞感除去信号生成部４４は、入力されるマイクロホン信号に基づいて、閉塞感除去処理（機能）を実行する。すなわち、閉塞感除去信号生成部４４は、マイクロホン信号を用いて、式（１）の信号処理を実行し、処理後の閉塞感除去信号を、可変アンプ４５に出力する。

可変アンプ４５は、閉塞感除去信号生成部４４の出力である閉塞感除去信号に対して所定のゲインを乗算することにより、閉塞感除去信号を増幅して加算器４６に出力する。可変アンプ４５のゲインは、解析制御部３２の制御により設定され、可変アンプ４３のゲインと同様、可変である。解析制御部３２から供給される可変アンプ４５のゲイン設定値を、ゲインB（Gain.B）とする。

加算器４６は、可変アンプ４３から供給されるノイズキャンセリング信号と、可変アンプ４５から供給される閉塞感除去信号を加算（混合）し、加算結果の信号をDAC１５（図３）に出力する。ノイズキャンセリング信号と閉塞感除去信号の混合比は、可変アンプ４３のゲインAと可変アンプ４５のゲインBのゲイン比となる。

解析制御部３２は、操作部１２から供給される、ノイズキャンセリング機能と閉塞感除去機能の効き具合を示す操作信号に基づいて、可変アンプ４３のゲインAと、可変アンプ４５のゲインBを決定し、可変アンプ４３と可変アンプ４５のそれぞれに供給する。本実施の形態では、ゲイン設定値は、０から１までの範囲で設定されるものとする。

＜第１のユーザインタフェース例＞
ヘッドホン１の操作部１２は、ノイズキャンセリング機能と閉塞感除去機能の効き具合をユーザに設定させるためのユーザインタフェースを備えており、そのインタフェースを介してユーザが設定したノイズキャンセリング機能と閉塞感除去機能の割合が、操作部１２から、解析制御部３２に供給される。

図５は、ノイズキャンセリング機能と閉塞感除去機能の効き具合をユーザに設定させるためのユーザインタフェースの例を説明する図である。

例えば、ヘッドホン１は、操作部１２の一部として、左右のハウジング２の一方に、タッチ（接触）を検出する検出エリア５１を有し、その検出エリア５１内に、ノイズキャンセリング機能と閉塞感除去機能をそれぞれ端点とする１軸の操作エリア５２が設けられている。

ユーザは、１軸の操作エリア５２内の所定の位置をタッチすることで、ノイズキャンセリング機能と閉塞感除去機能の効き具合を操作することができる。

図６は、操作エリア５２に対するユーザ操作と、ノイズキャンセリング機能と閉塞感除去機能の効き具合を説明する図である。

図６に示されるように、操作エリア５２の左端が、ノイズキャンセリング機能のみを有効にする場合に対応し、操作エリア５２の右端が、閉塞感除去機能のみを有効にする場合に対応する。

例えば、ユーザが、操作エリア５２の左端をタッチすると、解析制御部３２は、ノイズキャンセリング機能のゲインAを1.0に設定し、閉塞感除去機能のゲインBを0.0に設定する。

一方、ユーザが、操作エリア５２の右端をタッチすると、解析制御部３２は、ノイズキャンセリング機能のゲインAを0.0に設定し、閉塞感除去機能のゲインBを1.0に設定する。

また例えば、ユーザが操作エリア５２内の中間の位置をタッチした場合には、解析制御部３２は、ノイズキャンセリング機能のゲインAを0.5に設定し、閉塞感除去機能のゲインBを0.5に設定する。すなわち、ノイズキャンセリング機能と閉塞感除去機能の割合（効き具合）が、半分ずつに設定される。

以上のように、操作部１２は、ノイズキャンセリング機能と閉塞感除去機能をそれぞれ端点とする１軸の操作エリア５２に対する操作により、ノイズキャンセリング機能と閉塞感除去機能の割合（効き具合）をスケーラブルに受け付け、解析制御部３２に出力する。

＜第１のオーディオ信号処理の処理フロー＞
次に、図７のフローチャートを参照して、第１の実施の形態におけるオーディオ信号処理（第１のオーディオ信号処理）を説明する。

初めに、ステップＳ１において、解析制御部３２は、各ゲインの初期値を設定する。具体的には、解析制御部３２は、初期値として予め決定された可変アンプ４３のゲインAの初期値と可変アンプ４５のゲインBの初期値を、可変アンプ４３と可変アンプ４５のそれぞれに供給する。

ステップＳ２において、マイクロホン４は、周囲音を収集して周囲音信号を生成し、ADC１１に出力する。ADC１１は、マイクロホン４から入力されるアナログの周囲音信号をデジタル信号に変換して、マイクロホン信号として、信号処理部１４に出力する。

ステップＳ３において、NC信号生成部４１は、入力されたマイクロホン信号と逆位相の信号であるノイズキャンセリング信号を生成し、可変アンプ４３に出力する。

ステップＳ４において、可変アンプ４３は、NC信号生成部４１の出力であるノイズキャンセリング信号に対してゲインAを乗算することにより、ノイズキャンセリング信号を増幅して加算器４６に出力する。

ステップＳ５において、閉塞感除去信号生成部４４は、入力されたマイクロホン信号に基づいて閉塞感除去信号を生成し、可変アンプ４５に出力する。

ステップＳ６において、可変アンプ４５は、閉塞感除去信号生成部４４の出力である閉塞感除去信号に対してゲインBを乗算することにより、閉塞感除去信号を増幅して加算器４６に出力する。

なお、ステップＳ３及びＳ４と、ステップＳ５及びＳ６の処理は、並行して同時に実行することができる。

ステップＳ７において、加算器４６は、可変アンプ４３から供給されるノイズキャンセリング信号と、可変アンプ４５から供給される閉塞感除去信号を加算し、加算結果のオーディオ信号をDAC１５に出力する。

ステップＳ８において、スピーカ３は、DAC１５とパワーアンプ１６を介して信号処理部１４から供給された、加算後のオーディオ信号に対応する音を出力する。すなわち、スピーカ３は、ノイズキャンセリング信号と閉塞感除去信号が所定の割合（混合比）で加算されたオーディオ信号に対応する音を出力する。

ステップＳ９において、解析制御部３２は、ノイズキャンセリング機能と閉塞感除去機能の割合が変更されたかを判定する。換言すれば、ステップＳ９では、ユーザが操作エリア５２をタッチし、ノイズキャンセリング機能と閉塞感除去機能の割合を変更する操作を行ったか否かが判定される。

ステップＳ９で、操作エリア５２をタッチした操作信号が操作部１２から解析制御部３２に供給されず、ノイズキャンセリング機能と閉塞感除去機能の割合が変更されていないと判定された場合、処理はステップＳ２に戻り、上述したステップＳ２乃至Ｓ９の処理が繰り返し実行される。

一方、ステップＳ９で、ノイズキャンセリング機能と閉塞感除去機能の割合が変更されたと判定された場合、処理はステップＳ１０に進み、解析制御部３２は、ノイズキャンセリング機能と閉塞感除去機能のゲインを設定する。具体的には、解析制御部３２は、ユーザが操作エリア５２をタッチした位置に対応する割合でゲインAとゲインBを決定し、可変アンプ４３と可変アンプ４５にそれぞれ供給する。

ステップＳ１０の処理後、処理はステップＳ２に戻り、上述したステップＳ２乃至Ｓ９の処理が繰り返し実行される。

図７の第１のオーディオ信号処理は、例えば、ノイズキャンセリング機能と閉塞感除去機能を併用する第１のモードがオンされたときに開始され、オフされたときに終了する。

以上の第１のオーディオ信号処理によれば、ヘッドホン１は、ノイズキャンセリング機能と閉塞感除去機能の２つの機能（オーディオ信号処理機能）を同時に実行することができる。また、そのとき、ノイズキャンセリング機能と閉塞感除去機能の効き具合を、ユーザの所望の割合に設定することができる。

＜４．信号処理部の第２の実施の形態＞
＜信号処理部の機能ブロック図＞
図８は、信号処理部１４の第２の実施の形態の構成例を示すブロック図である。

第２の実施の形態における信号処理部１４は、処理実行部７１及び７２と、解析制御部７３とを有する。

第２の実施の形態における信号処理部１４には、マイクロホン４で集音されて生成されたマイクロホン信号と、オーディオ入力部１３から入力されたデジタルの音楽信号が、入力される。

従って、上述した第１の実施の形態の信号処理部１４は、マイクロホン４で集音された周囲音に対するオーディオ信号処理のみを行うものであったが、第２の実施の形態における信号処理部１４は、外部の音楽再生装置等から出力された音楽信号に対しても所定の信号処理を行う。

また、第１の実施の形態では、信号処理部１４は、ノイズキャンセリング機能と閉塞感除去機能の２つを実行することができたが、第２の実施の形態では、ノイズキャンセリング機能、閉塞感除去機能、特定音強調機能、及び、周囲音増強機能の４つの機能を実行することができる。

処理実行部７１は、NC信号生成部４１、係数メモリ４２、可変アンプ４３、閉塞感除去信号生成部４４、可変アンプ４５’、加算器４６、及び、加算器８１を備える。即ち、処理実行部７１は、第１の実施の形態の処理実行部３１の構成に、加算器８１が新たに追加された構成を有している。

加算器８１を除く処理実行部７１の各部は、上述した第１の実施の形態と同様である。ただし、可変アンプ４５’のゲインBの設定範囲が、例えば、０から２までのように、１以上の値も可能となっており、処理実行部７１は、ゲインBが０から１までの値のときは、閉塞感除去機能として動作し、ゲインBが１から２までの値のときは、周囲音増強機能として動作する。

加算器８１は、加算器４６から供給される信号と、処理実行部７２から供給される信号を加算して、加算結果の信号をDAC１５（図３）に出力する。

後述するように、処理実行部７２から加算器８１には、特定音強調処理後のマイクロホン信号と、イコライザ処理後の音楽信号を加算した信号が供給される。したがって、加算器８１は、ノイズキャンセリング信号と閉塞感除去信号若しくは周囲音増強信号とを所定の混合比で混合した第１の混合信号と、特定音強調信号と音楽信号を所定の混合比で混合した第２の混合信号を加算した加算結果である第３の混合信号をDAC１５に出力する。

処理実行部７２は、特定音強調信号生成部９１、可変アンプ９２、イコライザ９３、可変アンプ９４、及び、加算器９５を備える。

特定音強調信号生成部９１は、入力されるマイクロホン信号に基づいて、特定音（特定の周波数帯域）の信号を強調する特定音強調処理（機能）を実行する。特定音強調信号生成部９１には、例えば、ＢＰＦ（ＢａｎｄＰａｓｓＦｉｌｔｅｒ；バンドパスフィルタ）やＨＰＦ（ＨｉｇｈＰａｓｓＦｉｌｔｅｒ；ハイパスフィルタ）などを用いることができる。

可変アンプ９２は、特定音強調信号生成部９１の出力である特定音強調信号に対して所定のゲインを乗算することにより、特定音強調信号を増幅して加算器９５に出力する。可変アンプ９２のゲインは、解析制御部３２の制御により設定され、所定の範囲内で変更可能である。解析制御部３２から供給される可変アンプ９２のゲイン設定値を、ゲインC（Gain.C）とする。

イコライザ９３は、入力される音楽信号に対してイコライズ処理を実行する。イコライズ処理とは、例えば、所定の周波数帯域に対する信号処理を行って、特定の音域の信号を強調したり、逆に減少させたりする処理をいう。

可変アンプ９４は、イコライザ９３の出力であるイコライズ後の音楽信号に対して所定のゲインを乗算することにより、音楽信号を増幅して加算器９５に出力する。

可変アンプ９４のゲイン設定値は、操作部１２で操作される音量の設定値に対応して制御される。可変アンプ９４のゲインは、解析制御部３２の制御により設定され、所定の範囲内で変更可能である。解析制御部３２から供給される可変アンプ９４のゲイン設定値を、ゲインD（Gain.D）とする。

加算器９５は、可変アンプ９２から供給される特定音強調信号と、可変アンプ９４から供給される音楽信号を加算（混合）し、加算結果の信号を加算器８１に出力する。特定音強調信号と音楽信号の混合比は、可変アンプ９２のゲインCと可変アンプ９４のゲインDのゲイン比となる。

加算器８１は、加算器４６から供給されるノイズキャンセリング信号と閉塞感除去信号若しくは周囲音増強信号とを所定の混合比で混合した第１の混合信号と、加算器９５から供給される特定音強調信号と音楽信号を所定の混合比で混合した第２の混合信号をさらに加算（混合）し、加算結果の信号をDAC１５（図３）に出力する。ノイズキャンセリング信号、閉塞感除去信号（周囲音増強信号）、特定音強調信号、及び音楽信号の混合比は、ゲインA乃至Dのゲイン比となる。

処理実行部７１は、１つのDSP(Digital Signal Processor)で構成し、処理実行部７２は、他の１つのDSPで構成することができる。

解析制御部７３は、第１の実施の形態と同様に、操作部１２から供給される、各機能の効き具合を示す操作信号に基づいて、可変アンプ４３、可変アンプ４５’、可変アンプ９２、および可変アンプ９４それぞれのゲインを制御する。

また、第２の実施の形態においては、解析制御部７３は、ユーザによる手動設定の他に、周囲の状況や、ユーザの動作状態などに基づいて、各機能の最適な割合を演算し、その演算結果に基づいて各ゲインを制御する自動制御モードも備える。自動制御モードが実行される場合には、音楽信号やマイクロホン信号、その他のセンサ信号が、必要に応じて、解析制御部７３に供給される。

＜第２のユーザインタフェース例＞
図９は、第２の実施の形態における各機能の効き具合をユーザに設定させるためのユーザインタフェースの例を説明する図である。

第１の実施の形態では、ノイズキャンセリング機能と閉塞感除去機能の２つの混合であったため、図５に示したように、検出エリア５１に１軸の操作エリア５２を設定して、ユーザがノイズキャンセリング機能と閉塞感除去機能の割合を設定できるようにした。

第２の実施の形態では、例えば、図９に示されるように、逆Ｔ字型の操作エリア１０１が、検出エリア５１に設定される。

操作エリア１０１では、ノイズキャンセリング機能、閉塞感除去機能、及び、特定音強調機能が直線上に配置され、直線上の中間点に配置された閉塞感除去機能のみから、周囲音増強機能へ移行できるようなインタフェースが設定されている。なお、ノイズキャンセリング機能と閉塞感除去機能との間の直線上を操作エリアＸ、閉塞感除去機能と特定音強調機能との間の直線上を操作エリアＹと呼ぶ。

周囲音増強機能は、閉塞感除去機能よりも、周囲の環境音及び音声を増強させるため、仮に、ノイズキャンセリング機能や特定音強調機能を働かせても、それらの機能が周囲音増強機能によって打ち消される。そのため、図９に示される操作エリア１０１のように、閉塞感除去機能のみが実行されている場合のみ、周囲音増強機能が実行可能とされている。

操作部１２は、検出エリア５１に設定された操作エリア１０１内で、ユーザがタッチした位置を検出し、検出結果を、操作信号として解析制御部７３に出力する。

解析制御部７３は、操作エリア１０１内のユーザのタッチ位置に基づいて、各機能の割合（混合比）を決定し、可変アンプ４３、可変アンプ４５’、可変アンプ９２、および可変アンプ９４それぞれのゲインを制御する。

ユーザが、操作エリアＸ内の所定の位置をタッチした場合には、ノイズキャンセリング信号と閉塞感除去信号を所定の割合で混合した信号が出力される。また、ユーザが、操作エリアＹ内の所定の位置をタッチした場合には、閉塞感除去信号と特定音強調信号を所定の割合で混合した信号が出力される。

図１０は、操作エリア１０１内のユーザのタッチ位置に対応して決定されるゲインA乃至Dの一例を示す図である。

解析制御部７３は、操作エリア１０１内のユーザのタッチ位置に応じて、図１０に示すようなゲインA乃至Dを設定する。

図１０の例では、閉塞感除去機能のみが実行されているとき、ゲインBが１以上に設定可能となっており、ゲインBが１以上に設定されている状態が、周囲音増強機能が実行されている状態に対応する。

＜第３のユーザインタフェース例＞
図９に示したインタフェースでは、ノイズキャンセリング信号と閉塞感除去信号の混合信号と、閉塞感除去信号と特定音強調信号の混合信号を出力させることはできるが、ノイズキャンセリング信号と特定音強調信号の混合信号を出力させることはできない。

そこで、例えば、検出エリア５１に、図１１に示すような操作エリア１０２を設定してもよい。

図１１は、第２の実施の形態におけるその他のユーザインタフェースの例を示している。

このユーザインタフェースにおいては、ユーザが、ノイズキャンセリング機能と特定音強調機能との間の直線上の操作エリアＺ内の所定の位置をタッチした場合、ヘッドホン１は、ノイズキャンセリング信号と特定音強調信号を所定の割合（混合比）で混合した信号を出力することができる。

図１２は、操作エリア１０２内のユーザのタッチ位置に対応して決定されるゲインA乃至Dの一例を示す図である。

解析制御部７３は、操作エリア１０２内のユーザのタッチ位置に応じて、図１２に示すようなゲインA乃至Dを設定する。

＜第４のユーザインタフェース例＞
また、図１３に示されるように、ノイズキャンセリング機能、閉塞感除去機能、周囲音増強機能、及び、特定音強調機能の４種類の機能を、単純に、四角形の操作エリア１０３として割り当て、検出エリア５１に設定してもよい。この場合、四角形の中心領域は不感帯とされる。

図１４は、図１３に示した操作エリア１０３内のユーザのタッチ位置に対応して決定されるゲインA乃至Dの一例を示す図である。

なお、図６、図１０、図１２、及び図１４に示したゲイン設定値は、飽くまで一例であり、これら以外の設定方法も勿論可能である。また、各機能ごとのゲイン設定値の遷移は、線形に限らず、非線形に遷移するものでもよい。

また、上述した例では、ユーザが各機能を結んだ直線上の所望の位置をタッチすることにより、各機能の割合を設定するようにしたが、スライド操作により、各機能に対する所望の割合を設定することも可能である。

例えば、検出エリア５１に、図９を参照して説明した操作エリア１０１が設定されている場合において、スライド操作をした方向及びスライド量に応じて、逆Ｔ字の直線上を設定点が移動するような操作方法とすることも可能である。

なお、このようなスライド操作による操作方法にした場合、例えば、閉塞感除去機能のみを実行させる位置に、設定点をちょうどよく移動させることは難しい。そこで、ユーザがスライド操作をした場合に、各機能が単独で実行されるような位置に到達した場合には、その位置で設定点が一旦停止（ロック）し、さらに設定点を移動させたい場合には、所望の方向にユーザがスライド操作を行うようなユーザインタフェースとすることができる。

＜第２のオーディオ信号処理の処理フロー＞
次に、図１５のフローチャートを参照して、第２の実施の形態におけるオーディオ信号処理（第２のオーディオ信号処理）を説明する。

初めに、ステップＳ２１において、解析制御部３２は、各ゲインの初期値を設定する。具体的には、解析制御部３２は、初期値として予め決定された可変アンプ４３のゲインA、可変アンプ４５’のゲインB、可変アンプ９２のゲインC、及び、可変アンプ９４のゲインDの初期値を、それぞれ設定する。

ステップＳ２２において、マイクロホン４は、周囲音を収集して周囲音信号を生成し、ADC１１に出力する。ADC１１は、マイクロホン４から入力されるアナログの周囲音信号をデジタル信号に変換して、マイクロホン信号として、信号処理部１４に出力する。

ステップＳ２３において、オーディオ入力部１３は、外部の音楽再生装置等から出力された音楽信号を入力させ、信号処理部１４に出力する。ステップＳ２２とステップＳ２３の処理は、並行して同時に実行することができる。

ステップＳ２４において、NC信号生成部４１は、ノイズキャンセリング信号を生成して可変アンプ４３に出力し、可変アンプ４３は、ノイズキャンセリング信号に対してゲインAを乗算することにより、ノイズキャンセリング信号を増幅して加算器４６に出力する。

ステップＳ２５において、閉塞感除去信号生成部４４は、マイクロホン信号に基づいて、閉塞感除去信号を生成して可変アンプ４５’に出力し、可変アンプ４５’は、閉塞感除去信号に対してゲインBを乗算することにより、閉塞感除去信号を増幅して加算器４６に出力する。

なお、ステップＳ２４とステップＳ２５の処理は、並行して同時に実行することができる。

ステップＳ２６において、加算器４６は、可変アンプ４３から供給されるノイズキャンセリング信号と、可変アンプ４５’から供給される閉塞感除去信号を加算し、ノイズキャンセリング信号と閉塞感除去信号を所定の混合比で混合した第１の混合信号を生成する。生成された第１の混合信号は、加算器８１に出力される。

ステップＳ２７において、特定音強調信号生成部９１は、マイクロホン信号に基づいて、特定音の信号を強調した特定音強調信号を生成して可変アンプ９２に出力し、可変アンプ９２は、特定音強調信号に対してゲインCを乗算することにより、特定音強調信号を増幅して加算器９５に出力する。

ステップＳ２８において、イコライザ９３は、音楽信号に対してイコライズ処理を施して可変アンプ９４に出力し、可変アンプ９４は、イコライザ処理後の音楽信号に対してゲインDを乗算することにより、音楽信号を増幅して加算器９５に出力する。

ステップＳ２９において、加算器９５は、可変アンプ９２から供給される特定音強調信号と、可変アンプ９４から供給される音楽信号を加算し、特定音強調信号と音楽信号を所定の混合比で混合した第２の混合信号を生成する。生成された第２の混合信号は、加算器８１に出力される。

なお、ステップＳ２７とステップＳ２８の処理は、並行して同時に実行することができる。また、ステップＳ２４乃至Ｓ２６の第１の混合信号を生成する処理と、ステップＳ２７乃至Ｓ２９の第２の混合信号を生成する処理は、並行して同時に実行することができる。

ステップＳ３０において、加算器８１は、ノイズキャンセリング信号と閉塞感除去信号を所定の混合比で混合した第１の混合信号と、特定音強調信号と音楽信号を所定の混合比で混合した第２の混合信号を加算し、その結果得られた第３の混合信号をDAC１５に出力する。

ステップＳ３１において、スピーカ３は、DAC１５とパワーアンプ１６を介して信号処理部１４から供給された第３の混合信号に対応する音を出力する。

ステップＳ３２において、解析制御部３２は、各機能の割合が変更されたかを判定する。

ステップＳ３２で、例えば、図９の操作エリア１０１をタッチした操作信号が操作部１２から解析制御部３２に供給されず、各機能の割合が変更されていないと判定された場合、処理はステップＳ２２に戻り、上述したステップＳ２２乃至Ｓ３２の処理が繰り返し実行される。

一方、ステップＳ３２で、ユーザによって操作エリア１０１がタッチされ、各機能の割合が変更されたと判定された場合、処理はステップＳ３３に進み、解析制御部３２は、各機能のゲインを設定する。具体的には、解析制御部３２は、操作エリア１０１内のユーザがタッチした位置に対応する割合で、可変アンプ４３、可変アンプ４５’、及び可変アンプ９２それぞれのゲイン（ゲインA,B,C）を設定する。

ステップＳ３３の処理後、処理はステップＳ２２に戻り、上述したステップＳ２２乃至Ｓ３２の処理が繰り返し実行される。

図１５の第２のオーディオ信号処理は、例えば、ノイズキャンセリング機能、閉塞感除去機能、特定音強調機能、及び、周囲音増強機能の４つの機能を併用する第２のモードがオンされたときに開始され、オフされたときに終了する。

以上の第２のオーディオ信号処理によれば、ヘッドホン１は、４つの機能（オーディオ信号処理機能）のなかから、２つ以上の機能を同時に実行することができる。また、そのとき、同時に働かせる各機能の効き具合を、ユーザの所望の割合に設定することができる。

＜５．自動制御モードの例＞
＜解析制御部の詳細構成例＞
次に、信号処理部１４が、周囲の状況や、ユーザの動作状態などに基づいて、各機能の最適な割合を演算し、その演算結果に基づいて各ゲインを制御する自動制御モードについて説明する。

図１６は、解析制御部７３の詳細構成例を示すブロック図である。

解析制御部７３は、レベル検出部１１１、係数変換部１１２、及び、制御部１１３により構成される。

レベル検出部１１１には、オーディオ入力部１３からの音楽信号、マイクロホン４からのマイクロホン信号のほか、ユーザの動作状態や、周囲の状況を検出するためのセンサから得られるセンサ信号が、必要に応じて入力される。

例えば、レベル検出部１１１には、ユーザの動作を検出するセンサとして、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）などのセンサで検出されたセンサ信号を入力させることができる。

また、レベル検出部１１１には、ユーザの生体情報を検出するセンサとして、体温センサ、心拍数センサ、血圧センサ、呼吸数センサなどのセンサで検出されたセンサ信号を入力させることができる。

また、レベル検出部１１１には、ユーザの場所を検出するセンサとして、GPS(Global Positioning System)に代表される全地球航法衛星システム（GNSS：Global Navigation Satellite System）からの位置情報を取得するGNSSセンサのセンサ信号を入力させることができる。GNSSセンサと組み合わせて使用するマップ情報も入力させてもよい。

例えば、速度センサ、加速度センサのセンサ信号を用いて、ユーザが静止しているのか、歩いているのか、走っているのか、電車や車、飛行機などの乗り物に乗っているのか、などを判定することができる。また、心拍数、血圧、呼吸数などの情報を組み合わせることで、ユーザの自発的な動作か、それとも乗り物等に乗っている受動的な動作かなどを判定することができる。

また、心拍数センサ、血圧センサなどのセンサ信号を用いて、ユーザがリラックス状態にあるのか、緊張状態にあるのか、など、ユーザのストレスや感情を判定することができる。

さらに、周囲音を収集したマイクロホン信号から、ユーザが、バスや電車の車内にいるか、飛行機の機内にいるか、などを判定することができる。

レベル検出部１１１は、入力される各種の信号それぞれについて、信号レベルの絶対値や、信号レベルが所定のレベル（閾値）を超えたか否かなどを検出し、検出結果を係数変換部１１２に出力する。

係数変換部１１２は、レベル検出部１１１から供給される各種の信号のレベル検出結果に基づいて、可変アンプ４３、可変アンプ４５’、及び、可変アンプ９２のゲイン設定値を決定し、制御部１１３に供給する。上述したように、可変アンプ４３、可変アンプ４５’、及び、可変アンプ９２のゲイン比が、ノイズキャンセリング信号、閉塞感除去信号（周囲音増強信号）、及び、特定音強調信号の混合比となるため、係数変換部１１２は、各機能の割合を決定する。

制御部１１３は、係数変換部１１２から供給された各ゲイン設定値を、可変アンプ４３、可変アンプ４５’、及び、可変アンプ９２のそれぞれに設定する。

なお、制御部１１３は、ユーザの動作状態に変化が検出されるなどして、可変アンプ４３、可変アンプ４５’、及び、可変アンプ９２の各ゲインを変更する必要が生じた場合、変更後のゲインに即座に変更するのではなく、現在のゲインから、徐々に変更後のゲインに変更するように制御することができる。

＜レベル検出部の詳細構成例＞
図１７は、レベル検出部１１１の詳細構成例を示すブロック図である。

なお、図１７は、一種類の入力信号（例えば、センサ信号）に対するレベル検出部１１１の構成を示しており、実際のレベル検出部１１１では、図１７の構成が、入力信号の信号数に応じて備えられている。

レベル検出部１１１は、ＢＰＦ１２１、帯域レベル検出部１２２、及び、アンプ１２３を、複数の周波数帯域に分割した分割数に応じた複数系列有するとともに、加算器１２４を有する。

図１７の例では、入力信号をＮ個の周波数帯域に分割して、レベル検出を行うものとして、ＢＰＦ１２１、帯域レベル検出部１２２、及び、アンプ１２３が、それぞれＮ個設けられている。すなわち、レベル検出部１１１は、ＢＰＦ１２１_１、帯域レベル検出部１２２_１、アンプ１２３_１、ＢＰＦ１２１_２、帯域レベル検出部１２２_２、アンプ１２３_２、・・・ＢＰＦ１２１_Ｎ、帯域レベル検出部１２２_Ｎ、及び、アンプ１２３_Ｎを有する。

ＢＰＦ１２１（ＢＰＦ１２１_１乃至ＢＰＦ１２１_Ｎ）は、入力信号のうち、割り当てられた所定の周波数帯域の信号のみを後段に出力する。

帯域レベル検出部１２２（帯域レベル検出部１２２_１乃至帯域レベル検出部１２２_Ｎ）は、ＢＰＦ１２１から出力された信号のレベルの絶対値を検出して出力する。あるいはまた、帯域レベル検出部１２２は、ＢＰＦ１２１から出力された信号のレベルが所定のレベル以上であるか否かを検出した検出結果を出力してもよい。

アンプ１２３（アンプ１２３_１乃至アンプ１２３_Ｎ）は、帯域レベル検出部１２２から出力された信号に対して、所定のゲインを乗算して加算器１２４に出力する。アンプ１２３_１乃至アンプ１２３_Ｎそれぞれのゲインは、センサ信号の種類や、検出動作等に応じて予め決定されており、同一の値でも、異なる値でもよい。

加算器１２４は、アンプ１２３_１乃至アンプ１２３_Ｎそれぞれから出力された信号を加算して、図１６の係数変換部１１２に出力する。

＜レベル検出部のその他の詳細構成例＞
図１８は、レベル検出部１１１のその他の詳細構成例を示すブロック図である。

なお、図１８において、図１７と対応する部分については同一の符号を付してあり、その部分の説明は省略する。

図１８に示されるレベル検出部１１１では、アンプ１２３_１乃至アンプ１２３_Ｎの後段に、閾値比較部１３１_１乃至閾値比較部１３１_Ｎが配置されており、閾値比較部１３１_１乃至閾値比較部１３１_Ｎの後段には、シリアル変換部１３２が配置されている。

閾値比較部１３１（閾値比較部１３１_１乃至閾値比較部１３１_Ｎ）は、前段のアンプ１２３から出力された信号が所定の閾値を超えているか否かを判定し、判定結果を“０”または“１”でシリアル変換部１３２に出力する。

シリアル変換部１３２は、閾値比較部１３１_１乃至閾値比較部１３１_Ｎそれぞれから入力された判定結果を表す“０”または“１”を、シリアルデータに変換して、図１６の係数変換部１１２に出力する。

係数変換部１１２は、マイクロホン信号、各種のセンサ信号などからなる複数種類の信号に対するレベル検出部１１１からの出力を基に、周囲環境やユーザの動作状態を推定する。換言すれば、係数変換部１１２は、レベル検出部１１１から出力されてきた複数種類の信号から、周囲環境やユーザの動作状態を示す各種の特徴量を抽出する。そして係数変換部１１２は、特徴量が所定の基準を満たした周囲環境やユーザの動作状態を、ユーザの現在の動作状態や周囲環境であると推定する。そして、係数変換部１１２は、推定結果に基づいて、可変アンプ４３、可変アンプ４５’、及び、可変アンプ９２のゲインを決定する。

なお、レベル検出部１１１では、ＢＰＦ１２１または帯域レベル検出部１２２通過後の信号を、FIRフィルタ等により時間方向に積分した信号を用いてもよい。

また上述した例では、入力された信号を、複数の周波数帯域に分割し、各周波数帯で信号処理を行うようにしたが、必ずしも複数の周波数帯域に分割して処理する必要はなく、入力信号をそのまま周波数解析してもよい。

すなわち、入力信号から、周囲環境やユーザの動作状態を推定する方法は、特定の方法に限定されず、任意の方法を採用することができる。

＜自動制御の例＞
図１９は、自動制御モードによる制御の例を示している。

より具体的には、図１９は、解析制御部７３が、ユーザの場所、周囲の騒音、ユーザの動作状態、及び、聴いている音楽の音量に基づいて、現在の状況を推定し、適切な機能を設定する例を示している。

例えば、マイクロホン４で取得されるマイクロホン信号を周波数解析することにより、飛行機（の機内）、電車（の車内）、バス（の車内）、オフィス、ホール、屋外（静か）、屋内（うるさい）、などのユーザの場所を判定することができる。

また、マイクロホン信号に対して、ユーザの場所判定とは異なる周波数解析を行うことにより、周囲の騒音が定常的なもの（定常音）であるか、非定常的なもの（非定常音）であるかを判定することができる。

さらに、速度センサや加速度センサからのセンサ信号を解析することにより、ユーザの動作状態、即ち、ユーザが静止しているのか、歩いているのか、または、走っているのかを判定することができる。

また、可変アップ９４に設定されるゲインDの値により、聴いている音楽の音量を判定することができる。

そして、例えば、場所が飛行機の機内で、騒音が定常音で、ユーザの動作状態が静止であり、音楽の音量がミュート（消音）であると認識された場合、解析制御部７３は、ユーザが飛行中の機内にいる状態であると推定し、ノイズキャンセリング処理を１００％で実行する。

例えば、場所が飛行機の機内で、騒音が非定常音で、ユーザの動作状態が静止であり、音楽の音量がミュート（消音）であると認識された場合、解析制御部７３は、現在の状態が飛行中の機内において機内アナウンス中やキャビンアテンダントとの会話中であると推定し、５０％の特定音強調処理と５０％のノイズキャンセリング処理を実行する。

また例えば、場所がオフィス内で、騒音が定常音で、ユーザの動作状態が静止であり、音楽の音量がミュートであると認識された場合、解析制御部７３は、ユーザがオフィス内で1人で仕事中であると推定し、ノイズキャンセリング処理を１００％で実行する。

また例えば、場所がオフィス内で、騒音が非定常音で、ユーザの動作状態が静止であり、音楽の音量がミュートであると認識された場合、解析制御部７３は、ユーザがオフィス内で、会議参加者の発言が不定期に聴こえる会議中であると推定し、５０％の特定音強調処理と５０％のノイズキャンセリング処理を実行する。

また例えば、場所が静かな屋外で、騒音が定常音で、ユーザの動作状態が歩いているか、または、走っている状態であり、音楽の音量が小程度であると認識された場合、解析制御部７３は、ユーザが移動中の危険を察知し、回避できるように、１００％の閉塞感除去処理を実行する。

また例えば、場所が静かな屋外で、騒音が定常音で、ユーザの動作状態が歩いているか、または、走っている状態であり、音楽の音量が中程度であると認識された場合、解析制御部７３は、ユーザが移動中の危険を察知し、回避できるように、５０％の閉塞感除去処理、２５％の特定音強調処理、及び、２５％のノイズキャンセリング処理を実行する。

以上のように、解析制御部７３は、入力される複数種類の信号それぞれに対して、ユーザの動作や状態を推定（認識）する動作状態推定処理を実行し、推定されたユーザの動作や状態に基づいて、可変アンプ４３、可変アンプ４５’、及び、可変アンプ９２の各ゲインを決定し、設定することができる。

なお、図１９で説明した例は、マイクロホン信号、センサ信号など、複数種類の入力信号を用いて、ユーザの現在の状況を推定し、各機能の割合（ゲイン）を決定する例であるが、どのような入力信号を用いて推定処理を行うかは適宜設定することができ、一つの入力信号のみを用いて、ユーザの現在の状況を推定してもよい。

＜６．応用例＞
ヘッドホン１の信号処理部１４は、マイクロホン４で収集されて生成されたマイクロホン信号を記憶する記憶部を備え、マイクロホン信号を一定時間録音する録音機能と、記憶されたマイクロホン信号を再生する再生機能を備えるようにすることができる。

そして、ヘッドホン１は、録音機能を用いて、例えば、以下のようなプレイバック機能を実行することができる。

例えば、ユーザが、閉塞感除去機能をオンにして、授業を受けていたり、会議に参加して発言を聴取している状況であるとする。ヘッドホン１は、マイクロホン４により周囲音を収集し、閉塞感除去処理を実行するとともに、マイクロホン４で収集されて生成されたマイクロホン信号を信号処理部１４のメモリに記憶する。

ユーザが授業や会議での発言を聞き逃してしまった場合、ユーザは、例えば、操作部１２のプレイバック操作ボタンを押下し、プレイバック機能を実行させる。

プレイバック操作ボタンが押下されると、ヘッドホン１の信号処理部１４は、信号処理機能（モード）を、それまでの閉塞感除去機能から、ノイズキャンセリング機能に変更する。ただし、マイクロホン４で収集されて生成されたマイクロホン信号のメモリへの記憶（すなわち、録音）は、並行して実行されている。

そして、信号処理部１４は、所定時間前のマイクロホン信号を、内部のメモリから読み出し、再生して、スピーカ３から出力する。このとき、ノイズキャンセリング機能が実行されているので、ユーザは、周囲音がキャンセルされた状態で再生信号を聴くことができ、聞き逃した発言に集中して聴くことができる。

プレイバックした部分の再生が終了した場合、信号処理機能（モード）が、ノイズキャンセリング機能から、元の閉塞感除去機能に戻される。

プレイバック機能は、以上のように実行される。プレイバック機能により、聞き逃した音声を瞬時に確認することができる。閉塞感除去機能だけではなく、周囲音増強機能においても同様のプレイバック機能が実現できる。

なお、プレイバックした部分の再生では、再生速度を、通常速度（１倍速）よりも速い速度（例えば、２倍速）で再生するようにしてもよい。これにより、元の閉塞感除去機能に早く復帰することができる。

また、プレイバックの再生では、プレイバックした部分に続けて、プレイバック再生中に録音された周囲音も、通常速度よりも速い速度で続けて再生するようにしてもよい。これにより、プレイバックによる聞き逃しを防止することができる。

プレイバック機能の開始時及び終了時における、閉塞感除去機能とノイズキャンセリング機能の切替えでは、切替えによる違和感を緩和するため、閉塞感除去信号とノイズキャンセリング信号の混合比を時間経過に応じて徐々に変化させるクロスフェード処理を実行してもよい。

＜７．変形例＞
本開示に係る実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

ヘッドホン１は、例えば、アウタイヤーヘッドホン、インナーイヤーヘッドホン、イヤホン、ヘッドセット、アクティブヘッドホンなどのヘッドホンとして実施が可能である。

上述した実施の形態では、ヘッドホン１が、ユーザが複数の機能の割合を設定する操作部１２、各機能に対応する信号処理を行う信号処理部１４を備えていた。しかし、これらの機能は、例えば、ヘッドホン１が接続される音楽再生装置やスマートフォンなどの外部の装置が備える形態とすることもできる。

例えば、１軸の操作エリア５２や逆Ｔ字型の操作エリア１０１を、音楽再生装置やスマートフォンの画面上に表示させ、音楽再生装置やスマートフォンにおいて、各機能に対応する信号処理を行うようにすることもできる。

あるいは、１軸の操作エリア５２や逆Ｔ字型の操作エリア１０１を、音楽再生装置やスマートフォンの画面上に表示させ、操作信号をBluetooth（登録商標）等の無線信号でヘッドホン１に送信し、ヘッドホン１内の信号処理部１４が、各機能に対応する信号処理を行うようにすることもできる。

また、上述した信号処理部１４を、単独の信号処理装置として構成することもできる。さらに、上述した信号処理部１４は、携帯電話機、携帯プレーヤ、コンピュータ、ＰＤＡ（ＰｅｒｓｏｎａｌＤａｔａＡｓｓｉｓｔａｎｃｅ）、補聴器の一部として、ＤＳＰ（ＤｉｇｉｔａｌＳｉｎｇｎａｌＰｒｏｃｅｓｓｏｒ）等により組み込むことも可能である。

本開示に係る信号処理装置は、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

本開示に係る信号処理装置は、上述した一連のオーディオ信号処理の一部をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

＜コンピュータのハードウエア構成例＞
上述した一連のオーディオ信号処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連のオーディオ信号処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２０は、上述した一連のオーディオ信号処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロホンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連のオーディオ信号処理が行われる。

コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
周囲音を収集して周囲音信号を生成する周囲音信号取得部と、
前記周囲音信号からノイズキャンセリング信号を生成するNC信号生成部と、
前記周囲音信号から閉塞感除去信号を生成する閉塞感除去信号生成部と、
生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する加算出力部と
を備える信号処理装置。
（２）
前記周囲音信号から特定の音声を強調する特定音強調信号を生成する特定音強調信号生成部をさらに備え、
前記加算出力部は、前記ノイズキャンセリング信号と前記閉塞感除去信号に加えて、前記生成された前記特定音強調信号も所定の割合で加算して出力する
前記（１）に記載の信号処理装置。
（３）
前記閉塞感除去信号生成部は、前記閉塞感除去信号のレベルを大きくすることで周囲音増強信号をさらに生成し、
前記加算出力部は、生成された前記ノイズキャンセリング信号と前記周囲音増強信号を、所定の割合で加算して出力する
前記（１）または（２）に記載の信号処理装置。
（４）
オーディオ信号の入力を受け付けるオーディオ信号入力部をさらに備え、
前記加算出力部は、入力された前記オーディオ信号も所定の割合で加算して出力する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記周囲音信号のレベルを検出する周囲音レベル検出部と、
検出された前記レベルに応じて前記所定の割合を決定する割合決定部と
をさらに備え、
前記加算出力部は、前記割合決定部で決定された所定の割合で、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を加算する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記周囲音レベル検出部は、前記周囲音信号を複数の周波数帯域に分割し、分割された周波数帯域ごとに、前記周囲音信号のレベルを検出する
前記（５）に記載の信号処理装置。
（７）
ユーザによる、前記所定の割合の操作を受け付ける操作部をさらに備える
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記操作部は、前記ノイズキャンセリング信号を生成するノイズキャンセリング機能と、前記閉塞感除去信号を生成する閉塞感除去機能をそれぞれ端点とする１軸上の操作を受け付けることにより、前記所定の割合をスケーラブルに受け付ける
前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
ユーザの動作状態を検出する動作センサ信号を取得する第１センサ信号取得部と、
取得された前記動作センサ信号に基づいて前記所定の割合を決定する割合決定部と
をさらに備え、
前記加算出力部は、前記割合決定部で決定された所定の割合で、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を加算する
前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
ユーザの生体情報を検出する生体センサ信号を取得する第２センサ信号取得部と、
取得された前記生体センサ信号に基づいて前記所定の割合を決定する割合決定部と
をさらに備え、
前記加算出力部は、前記割合決定部で決定された所定の割合で、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を加算する
前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
前記閉塞感除去信号生成部により生成された前記閉塞感除去信号を記憶する記憶部と、
前記記憶部に記憶された前記閉塞感除去信号を再生する再生部と
をさらに備える
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記再生部は、前記記憶部に記憶された前記閉塞感除去信号を、１倍速よりも速い速度で再生する
前記（１１）に記載の信号処理装置。
（１３）
周囲音を収集して周囲音信号を生成し、
前記周囲音信号からノイズキャンセリング信号を生成し、
前記周囲音信号から閉塞感除去信号を生成し、
生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する
ステップを含む信号処理方法。
（１４）
コンピュータを、
周囲音を収集して周囲音信号を生成する周囲音信号取得部と、
前記周囲音信号からノイズキャンセリング信号を生成するNC信号生成部と、
前記周囲音信号から閉塞感除去信号を生成する閉塞感除去信号生成部と、
生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する加算出力部
として機能させるためのプログラム。

１ヘッドホン，２ハウジング，３スピーカ，４マイクロホン，１１ ADC，１２操作部，１３オーディオ入力部，１４信号処理部，１５ DAC，３１処理実行部，３２解析制御部，４１ NC信号生成部，４２係数メモリ，４３可変アンプ，４４閉塞感除去信号生成部，４５可変アンプ，５１検出エリア，５２操作エリア，７１,７２処理実行部，７３解析制御部，８１加算器，９１特定音強調信号生成部，９２可変アンプ，９３イコライザ，９４可変アンプ，９５加算器，３０１ CPU，３０２ ROM，３０３ RAM，３０６入力部，３０７出力部，３０８記憶部，３０９通信部，３１０ドライブ

Claims

周囲音を収集して周囲音信号を生成する周囲音信号取得部と、
前記周囲音信号からノイズキャンセリング信号を生成するNC信号生成部と、
前記周囲音信号から閉塞感除去信号を生成する閉塞感除去信号生成部と、
生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する加算出力部と
を備える信号処理装置。
前記周囲音信号から特定の音声を強調する特定音強調信号を生成する特定音強調信号生成部をさらに備え、
前記加算出力部は、前記ノイズキャンセリング信号と前記閉塞感除去信号に加えて、前記生成された前記特定音強調信号も所定の割合で加算して出力する
請求項１に記載の信号処理装置。
前記閉塞感除去信号生成部は、前記閉塞感除去信号のレベルを大きくすることで周囲音増強信号をさらに生成し、
前記加算出力部は、生成された前記ノイズキャンセリング信号と前記周囲音増強信号を、所定の割合で加算して出力する
請求項１に記載の信号処理装置。
オーディオ信号の入力を受け付けるオーディオ信号入力部をさらに備え、
前記加算出力部は、入力された前記オーディオ信号も所定の割合で加算して出力する
請求項１に記載の信号処理装置。
前記周囲音信号のレベルを検出する周囲音レベル検出部と、
検出された前記レベルに応じて前記所定の割合を決定する割合決定部と
をさらに備え、
前記加算出力部は、前記割合決定部で決定された所定の割合で、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を加算する
請求項１に記載の信号処理装置。
前記周囲音レベル検出部は、前記周囲音信号を複数の周波数帯域に分割し、分割された周波数帯域ごとに、前記周囲音信号のレベルを検出する
請求項５に記載の信号処理装置。
ユーザによる、前記所定の割合の操作を受け付ける操作部をさらに備える
請求項１に記載の信号処理装置。
前記操作部は、前記ノイズキャンセリング信号を生成するノイズキャンセリング機能と、前記閉塞感除去信号を生成する閉塞感除去機能をそれぞれ端点とする１軸上の操作を受け付けることにより、前記所定の割合をスケーラブルに受け付ける
請求項７に記載の信号処理装置。
ユーザの動作状態を検出する動作センサ信号を取得する第１センサ信号取得部と、
取得された前記動作センサ信号に基づいて前記所定の割合を決定する割合決定部と
をさらに備え、
前記加算出力部は、前記割合決定部で決定された所定の割合で、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を加算する
請求項１に記載の信号処理装置。
ユーザの生体情報を検出する生体センサ信号を取得する第２センサ信号取得部と、
取得された前記生体センサ信号に基づいて前記所定の割合を決定する割合決定部と
をさらに備え、
前記加算出力部は、前記割合決定部で決定された所定の割合で、生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を加算する
請求項１に記載の信号処理装置。
前記閉塞感除去信号生成部により生成された前記閉塞感除去信号を記憶する記憶部と、
前記記憶部に記憶された前記閉塞感除去信号を再生する再生部と
をさらに備える
請求項１に記載の信号処理装置。
前記再生部は、前記記憶部に記憶された前記閉塞感除去信号を、１倍速よりも速い速度で再生する
請求項１１に記載の信号処理装置。
周囲音を収集して周囲音信号を生成し、
前記周囲音信号からノイズキャンセリング信号を生成し、
前記周囲音信号から閉塞感除去信号を生成し、
生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する
ステップを含む信号処理方法。
コンピュータを、
周囲音を収集して周囲音信号を生成する周囲音信号取得部と、
前記周囲音信号からノイズキャンセリング信号を生成するNC信号生成部と、
前記周囲音信号から閉塞感除去信号を生成する閉塞感除去信号生成部と、
生成された前記ノイズキャンセリング信号と前記閉塞感除去信号を、所定の割合で加算して出力する加算出力部
として機能させるためのプログラム。