JP7271695B2 - ハイブリッドスピーカ及びコンバータ - Google Patents

Description

関連出願の相互参照
本出願は、２０１９年２月１９日に出願された「ＨＹＢＲＩＤ ＳＰＥＡＫＥＲ ＡＮＤ ＣＯＮＶＥＲＴＥＲ」と題する米国特許出願第１６／２７９，８９６号の継続出願であり、その利益を主張するものであり、その内容全体及び開示は参照により本明細書に完全に組み込まれるものとする。

本発明は、概してオーディオ処理に関し、より具体的には指向性スピーカ用のオーディオ信号の生成に関する。

ラウドスピーカ（またはスピーカ）は、電気オーディオ信号を対応する音に変換する電気音響変換器である。例えば、従来のダイナミックコーンスピーカでは、永久磁石の極の間の環状ギャップに電線コイルが懸架される。交流電気オーディオ信号が印加されると、ファラデーの電磁誘導の法則によりコイルは前後に急速に移動し、これによりコイルに取り付けられた振動版が前後に移動し、空気を押して振動版の周りに音波を分散させる。

一実施形態は、システムを提供し、システムは、ソースオーディオを受信するように構成されたオーディオ入力と、少なくとも２つの無指向性スピーカ及び指向性スピーカを備えたハイブリッドスピーカに接続するように構成されたオーディオ出力と、ソースオーディオ内の特定の音を識別することと、ソースオーディオから特定の音を分離することと、特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成することと、ハイブリッドスピーカの少なくとも２つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも２つのチャネルを生成することと、により、ソースオーディオに基づいてハイブリッドスピーカの出力オーディオを生成するように構成されたプロセッサと、を備える。

別の実施形態は、方法を提供し、方法は、プロセッサにより、ソースオーディオ内の特定の音を識別することと、ソースオーディオから特定の音を分離することと、特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成することと、ハイブリッドスピーカの少なくとも２つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも２つのチャネルを生成することと、を含む。

別の実施形態は、オーディオスピーカ装置を提供し、オーディオスピーカ装置は、スピーカ筐体と、スピーカ筐体内に収納された左無指向性スピーカ及び右無指向性スピーカと、左無指向性スピーカと右無指向性スピーカとの間に配置され、スピーカ筐体内に収納された指向性スピーカと、を備える。

本発明の実施形態の原理が利用された例示的実施形態を示す下記の詳細説明及び添付図面を参照することにより、本発明の様々な実施形態の特徴及び利点がよりよく理解されよう。

本発明の実施形態の上記及び他の態様、特徴、及び利点は、以下の図面と合わせて示される下記のこれらのより具体的な説明から、より明らかとなるであろう。

本発明のいくつかの実施形態による、ハイブリッドスピーカを駆動するためのシステムを示すブロック図である。 本発明のいくつかの実施形態による、ハイブリッドスピーカ用にオーディオを変換するためのシステムを示すブロック図である。 本発明のいくつかの実施形態による、ハイブリッドスピーカ用にソースオーディオを変換するための方法を示すフロー図である。 Ａ及びＢは、本発明のいくつかの実施形態による、複数のパネルを有する指向性スピーカを示す。

指向性スピーカは、通常、従来のスピーカより広がりの少ない音場を作り出すデバイスを指す。いくつかの実施形態では、指向性スピーカには、超音波から音を生成するパラメトリックアレイスピーカが含まれ得る。指向性スピーカデバイスは、可聴音を高周波数超音波に変調することにより、高い指向性を達成する。高周波数音波は、波長が短いことから急速に広がらず、よって、従来の無指向性ラウドスピーカより高い指向性が得られる。

本明細書で説明されるいくつかの実施形態では、指向性スピーカを１つ以上の従来の無指向性スピーカと組み合わせて、臨場感のある音がシミュレートされ、及び／または部屋にいる特定のユーザ（複数可）に対し選択音が選択的に投射される。いくつかの実施形態では、指向性スピーカと無指向性スピーカを同じ筐体に収納して、ハイブリッドサウンドバーが提供され得る。いくつかの実施形態では、従来のオーディオファイル及び／またはストリームを、ハイブリッドスピーカを駆動する信号に変換するコンバータが提供される。コンバータは、指向性スピーカにより再生される特定の音を識別して分離し、スピーカアセンブリ内の指向性スピーカ及び無指向性スピーカ用の出力を生成するように構成され得る。

最初に図１を参照すると、ハイブリッドスピーカを駆動するためのシステムが示される。システムは、オーディオソース１１０と、オーディオコンバータ１２０と、ユーザ１３０用の音を生成するハイブリッドスピーカアセンブリ１００とを備える。

オーディオソース１１０は、通常、１つ以上のスピーカで再生する音を出力するデバイスを指す。いくつかの実施形態では、オーディオソース１１０には、テレビ、ケーブルボックス、メディアプレーヤ、ハードドライブ、メディアストレージデバイス、ホームエンターテインメントシステム、コンピュータ、ゲームコンソール、及びモバイルデバイスなどの再生デバイスが含まれ得る。オーディオソース１１０は、モノラルサウンド、ステレオサウンド、及び／またはサラウンドサウンドを出力し得る。いくつかの実施形態では、オーディオソース１１０は、１つ以上の無指向性オーディオチャネルを出力し得る。いくつかの実施形態では、オーディオソース１１０は、２つのチャネル（例えば左／右ステレオサウンド）、３つのチャネル（例えば中央、左、及び右）、６つのチャネル（例えば５．１サラウンド）、８つのチャネル（例えば７．１サラウンド）などのように、任意の数のオーディオチャネルを出力し得る。

オーディオコンバータ１２０は、オーディオソース１１０からのオーディオ信号を、ハイブリッドスピーカアセンブリ１００の指向性スピーカ及び無指向性スピーカを駆動するように構成された信号に変換するように構成されたデバイスを備える。いくつかの実施形態では、オーディオコンバータ１２０は、１つ以上の従来のオーディオチャネルを受け取り、指向性スピーカ１０３用の少なくとも１つの出力チャネルを生成するように構成される。いくつかの実施形態では、オーディオコンバータ１２０は、ソースオーディオ内の特定の音を識別し、ソースオーディオから特定の音を分離し、特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成し、ハイブリッドスピーカの少なくとも２つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも２つのチャネルを生成するように構成される、プロセッサを備える。いくつかの実施形態では、オーディオコンバータ１２０はさらに、ソースオーディオ内の特定の音を識別するためのサウンドデータベースを備え得る。いくつかの実施形態では、サウンドデータベースは、クラウドデータベースを備え得、クラウドデータベースは、複数のオーディオコンバータ１２０間で共有され、ホームネットワーク及び／またはインターネットなどのネットワークを介して通信するように構成されたオーディオコンバータ１２０上のネットワークアダプタを介してアクセス可能である。いくつかの実施形態では、オーディオコンバータ１２０は、サウンドデータベースに格納された成長及び進化するサウンド学習セットに基づいて、特定の音を識別するための機械学習アルゴリズムを実行するように構成され得る。オーディオコンバータ１２０のさらなる詳細は、本明細書の図２及び図３を参照して提供される。

ハイブリッドスピーカアセンブリ１００は、通常、少なくとも１つの指向性スピーカと、１つ以上の無指向性スピーカとを備えたスピーカデバイスを指す。図１に示される実施形態では、ハイブリッドスピーカは、スピーカ筐体内に収納された左無指向性スピーカ及び右無指向性スピーカ、並びに左無指向性スピーカと右無指向性スピーカとの間に配置された指向性スピーカとを備える。いくつかの実施形態では、ハイブリッドスピーカアセンブリ１００は、サウンドバーのフォームファクタを含み得る。いくつかの実施形態では、ハイブリッドスピーカアセンブリ１００は、２つ以上の別個に移動可能な筐体を含み得る。

左スピーカ１０１及び右スピーカ１０２には、無指向性スピーカが含まれる。無指向性スピーカは、通常、広がりが大きく、指向性の低い従来のスピーカを指す。例えば、無指向性スピーカが生成する音は、通常、スピーカに対し任意の方向に位置するリスナーには、同様に聞こえ得る。いくつかの実施形態では、左スピーカ１０１及び右スピーカ１０２は、ボイスコイルを抑制する可撓性サスペンションを介してフレームに結合された振動版を有するダイナミックラウドスピーカを備え得る。いくつかの実施形態では、左スピーカ１０１及び右スピーカ１０２は、従来のサウンドバーのスピーカ要素と同様のスピーカ要素を備え得る。いくつかの実施形態では、ハイブリッドスピーカアセンブリ１００は、センタースピーカ、及びサブウーファーなどの追加の無指向性スピーカを備え得る。

指向性スピーカ１０３は、通常、広がりが狭く、指向性の高いスピーカデバイスを指す。通常、指向性スピーカが投射する音は、スピーカに対し特定の方向においてのみ聞こえる。いくつかの実施形態では、指向性スピーカ１０３は、可聴音波を非可聴高周波波形（例えば超音波）で伝達するように構成され得る。いくつかの実施形態では、指向性スピーカ１０３には、超音波から音を生成するパラメトリックアレイスピーカが含まれ得る。

いくつかの実施形態では、指向性スピーカ１０３は、複数の固定パネルを備え得る。例えば、指向性スピーカ１０３は、相対的に角度が付けられた２つ以上の固定パラメトリックアレイパネルを備え得る。２パネル指向性スピーカ構成の例が図４Ａに示され、３パネル指向性スピーカ構成の例が図４Ｂに示される。指向性スピーカ１０３のパネルは、指向性スピーカ１０３の全体的な投射方向に作用するように、個別に制御され得る。例えば、各パネルの出力を変調して、指向性スピーカ１０３の投射方向を投射領域内の複数の角度にわたりスイープさせて、異なる目的方向に選択的に音が発信され得る。いくつかの実施形態では、スイープは、人間の耳により認識可能な速度で実行され得る。いくつかの実施形態では、速度スイープは、０．０１Ｈｚ～１０Ｈｚ、またはこれより速くあり得る。

異なるパネルの出力を変調することで制御される投射角度を使用して、離れて座っている２人以上のリスナーに個別に音を発信すること、及び／またはリスナーの左耳及び右耳に異なる音を投射して疑似サラウンドサウンド効果を作り出すこともできる。いくつかの実施形態では、指向性スピーカ１０３の各パネルは、オーディオコンバータ１２０から出力される別個のオーディオストリームにより駆動され得る。いくつかの実施形態では、ハイブリッドスピーカアセンブリ１００及び／またはオーディオコンバータ１２０は、オーディオ及び投射方向データを、指向性スピーカ１０３の各パネル用のオーディオ出力に変換するように構成され得る。例えば、左／右から右／左に信号をスイープすることで効果音を提供するために、音変調は音信号を、位相シフト及び／または振幅制御を使用して動的かつ経時的に処理し得る。

いくつかの実施形態では、指向性スピーカ１０３は、指向性スピーカ１０３を物理的に回転させてスピーカの投射方向を制御するように構成された機械式ロータを備え得る。例えば、ロータは、ユーザに向けて音を発信するために、パラメトリックアレイをユーザ１３０に向けて回転させ得る。いくつかの実施形態では、ロータは、投射領域にわたり指向性スピーカ１０３の投射方向をスイープし得、指向性スピーカ１０３は、回転中に目的角度でのみ音を生成し得、これにより、単一の指向性スピーカは、複数の離散的方向または連続的方向に音を投射するように知覚され得る。例えば、指向性スピーカ１０３は、出力オーディオのタイミングを回転に合わせることにより、部屋で離れて座っている異なるリスナーに異なる音を発信することができる。別の例では、指向性スピーカ１０３は、サラウンドサウンドまたは臨場感のある音をシミュレートするために、ユーザの左耳及び右耳に異なる音を発信することができる。いくつかの実施形態では、指向性スピーカ１０３は、オーディオの１つ以上の時間部分に関連付けられたオーディオ及び投射方向データを含む信号により駆動され、ロータは、オーディオ信号に関連付けられた投射方向データにより制御され得る。

ハイブリッドスピーカアセンブリ１００には１つだけの指向性スピーカ１０３が示されているが、いくつかの実施形態では、ハイブリッドスピーカアセンブリ１００は、異なる入力により駆動される複数の指向性スピーカ１０３を備え得る。例えば、ハイブリッドスピーカは、別個のロータに取り付けられた２つ以上のパラメトリックアレイ及び／または複数のパラメトリックアレイパネルセットを備え得る。オーディオコンバータ１２０は、ハイブリッドスピーカアセンブリ１００とは別個に示されているが、いくつかの実施形態では、オーディオコンバータ１２０は、１つの物理デバイスとしてハイブリッドスピーカアセンブリ１００の筐体内に統合され得る。いくつかの実施形態では、オーディオコンバータ１２０は、ハイブリッドスピーカアセンブリ１００のローカルに存在し、並びに／あるいはクラウドベース及び／またはサーバベースのコンバータを備え得る。いくつかの実施形態では、オーディオコンバータ１２０は、ホームエンターテインメントコンソール、ゲームコンソール、及びコンピュータシステムなどのオーディオソース１１０と統合され得る。オーディオソース１１０は、オーディオフォーマット（例えば従来のオーディオまたはハイブリッドスピーカ対応のオーディオフォーマット）及び／またはオーディオソース１１０に接続されたスピーカデバイス（例えば従来のスピーカまたはハイブリッドスピーカ）に基づいて、オーディオコンバータ１２０と選択的に連動し得る。

図１に示されるシステムでは、従来のオーディオソース１１０は、オーディオコンバータ１２０を介して、指向性スピーカ１０３を備えたハイブリッドスピーカアセンブリ１００を駆動するための信号に変換され得る。シングルユーザ１３０の場合、指向性スピーカ１０３は、ユーザの左側及び右側に異なる音を発信し、これらは従来のスピーカからの出力と混合され、サラウンドサウンド効果及び／または臨場感のある効果音がシミュレートされ得る。いくつかの実施形態では、従来のスピーカは全てのリスナーに聞こえる音を生成するが、指向性スピーカ１０３は、投射領域内の特定のリスナー（複数可）のみが聞こえる音を投射するように構成され得る。例えば、マルチプレーヤゲームでは、異なるプレーヤに異なる特定の音（例えば声による指示、ステータスアラート、警告など）が投射され得、一方、周囲音またはバックグラウンドミュージックは、無指向性スピーカを介して再生され得る。

いくつかの実施形態では、ハイブリッドスピーカアセンブリ１００は、オーディオコンバータ１２０なしで使用され得る。いくつかの実施形態では、オーディオソース１１０は、指向性及び無指向性スピーカ信号を含む、ハイブリッドスピーカアセンブリ１００用に構成されたオーディオを出力することができ、オーディオコンバータ１２０は省略され得る。例えば、ハイブリッドスピーカ互換ゲームコンソールは、選択サウンドファイル（例えば声による指示、ステータスアラート、警告）を指向性スピーカチャネルを介して出力し、残りのサウンドファイル（例えばバックグラウンドミュージック）を１つ以上の無指向性スピーカチャネルを介してそのオーディオ出力で出力し得る。別の例では、事前に記録されたオーディオ（例えば映画、音楽など）は、少なくとも１つの指向性オーディオチャネルで記録され得、ハイブリッドスピーカにより変換なしで直接使用することができる。

次に図２を参照すると、ハイブリッドスピーカが使用できるようにオーディオソースを変換するためのシステムが示される。オーディオコンバータ２００は、通常、オーディオソース２１０から信号を受け取り、信号をハイブリッドスピーカアセンブリ２２０の無指向性スピーカ２２１及び指向性スピーカ２２２に出力するように構成される。いくつかの実施形態では、オーディオソース２１０、オーディオコンバータ２００、及びハイブリッドスピーカアセンブリ２２０は、本明細書の図１を参照して説明されたオーディオソース１１０、オーディオコンバータ１２０、及びハイブリッドスピーカアセンブリ１００を含み得る。

オーディオコンバータ２００は、オーディオ入力２０１と、識別モジュール２０２と、サウンドデータベース２０３と、サウンドフィルタ２０４と、無指向性スピーカ出力２０５と、投射方向モジュール２０６と、指向性スピーカ出力２０８とを備える。

オーディオ入力２０１は、通常、オーディオソース２１０からアナログまたはデジタルのオーディオ信号を受信するように構成される。オーディオ入力２０１は、オーディオコネクタ、オーディオ／ビデオコネクタ、ＨＤＭＩ（登録商標）コネクタ、ＵＳＢコネクタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、及び無線ＨＤＭＩ（登録商標）トランシーバなどの有線及び／または無線コネクタを備え得る。いくつかの実施形態では、オーディオ入力２０１は、処理用回路の残りの部分に、入力信号をフィルタリング、変換、及び／またはブーストするための他の構成要素をさらに含み得る。

識別モジュール２０２は、通常、指向性スピーカを介して再生する入力オーディオ内で特定の音を識別するように構成される。識別モジュール２０２は、プロセッサ、制御回路、特定用途向け集積回路（ＡＳＩＣ）、及び／または１つ以上のデジタルまたはアナログオーディオフィルタ構成要素上に実装され得る。いくつかの実施形態では、特定の音は、ソースオーディオを、サウンドデータベース２０３内のサウンドクリップ及び／またはサウンドプロファイルと比較することにより識別される。例えば、サウンドデータベース２０３は、指向性スピーカを介した再生に好適な複数の種類の音に関連付けられたサウンドクリップ及び／またはサウンドプロファイル（例えば周波数スペクトル特性、周波数分布、周波数または振幅の経時的変化など）を含み得る。このような音の例には、車の音、鳥のさえずり、弾道発射体の音、人間の発話、アラート、及び警告音などが挙げられ得る。いくつかの実施形態では、識別モジュール２０２は、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、及び／または敵対的生成ネットワーク（ＧＡＮ）を利用するオーディオイベント検出アルゴリズムを備え得、これは、サウンドデータベース２０３内の音を学習セットとして使用する機械学習を介して、特定の音を識別する。いくつかの実施形態では、機械学習アルゴリズムへのフィードバックとして、リスナー応答が使用され得る。いくつかの実施形態では、機械学習に使用される他の種類のフィードバックには、カメラ入力、顔検出／追跡、及び／または物体検出／追跡が含まれ得る。いくつかの実施形態では、ユーザ及び環境フィードバックは、方向及び音量制御に使用され得る。いくつかの実施形態では、特定の音は、周波数、振幅、及び／または持続時間に基づいて識別され得る。例えば、音識別モジュール２０２は、指向性スピーカを介して再生する特定の音として、高周波数で短い持続時間の音を検出するように構成され得る。いくつかの実施形態では、特定の音は、音の周波数と、ソースオーディオの２つ以上のチャネル間の振幅差とのうちの少なくとも１つに基づいて、識別され得る。例えば、左または右のスピーカチャネル間でサウンドストリーム内の音がより大きい場合（例えば両耳間強度差（ＩＩＤ）または時間遅延がある（例えば両耳間時間差（ＩＴＤ）がある）場合）、識別モジュールは、指向性スピーカで再生する重要なＩＩＤまたはＩＴＤに関連付けられた音を識別し得る。いくつかの実施形態では、音は、最初にＩＩＤ及び／またはＩＴＤに基づいて識別され、サウンドデータベース２０３に追加され得る。次に、識別モジュール２０２は、サウンドデータベース２０３内のサウンドサンプルを使用して、重要なＩＩＤ及び／またはＩＴＤを有し得ないソースオーディオ内の類似音を識別し得る。

いくつかの実施形態では、サウンドデータベース２０３には、オーディオクリップ及び／またはサウンドプロファイルを格納するローカル及び／またはネットワークベースのデータベースが含まれ得る。いくつかの実施形態では、サウンドデータベース２０３は、異なるユーザ及び異なる空間に関連付けられた複数のオーディオコンバータ２００間で共有される中央サービスにより維持され得る。いくつかの実施形態では、サウンドデータベース２０３は、敵対的生成ネットワーク（ＧＡＮ）などの機械学習アルゴリズムにより、複数のオーディオコンバータで受信されたオーディオ及びフィードバックを使用して更新され、余分な部分が除去され得る。いくつかの実施形態では、オーディオコンバータ２００は、ネットワークベースのサウンドデータベース２０３と通信するためのネットワークインターフェース（例えばネットワークアダプタ、無線トランシーバなど）を備え得る。いくつかの実施形態では、識別モジュール２０２及びサウンドフィルタ２０４の機能の少なくとも一部は、ネットワークインターフェースを介してリモートサーバにより実行され得る。

サウンドフィルタ２０４は、識別モジュール２０２により識別された特定の音を、オーディオソース２１０内の他の音から分離するように構成される。いくつかの実施形態では、サウンドフィルタ２０４は、時間フィルタリング、振幅フィルタリング、及び／または高、低、もしくは帯域フィルタリングなどの周波数フィルタリングを使用して、音を分離し得る。いくつかの実施形態では、サウンドフィルタ２０４は、オーディオソース２１０の異なるチャネル間の差を使用して、特定の音を分離し得る。例えば、入力オーディオストリームのチャネル間で高度なＩＴＤまたはＩＩＤが検出された場合、１つのチャネルを使用して、減算またはマスキングにより別のチャネル内の特定の音が分離され得る。いくつかの実施形態では、フィルタリングは特定の音の分離を近似するだけであり得るが、指向性スピーカからの音は再生中に無指向性スピーカからの音と混合されるため、不完全な分離でもユーザ体験に大きな影響を与え得ない。いくつかの実施形態では、特定の音に一致するサウンドデータベース２０３からの音を使用して、音のフィルタリング及び／または特定の音の再現が行われ得る。次に、サウンドフィルタ２０４は、入力オーディオから分離された特定の音を、投射方向モジュール２０６及び指向性スピーカ出力２０８に提供する。サウンドフィルタ２０４は、さらに、ソースオーディオの１つ以上のチャネルから特定の音を差し引き、修正された無指向性オーディオ信号をハイブリッドスピーカの無指向性スピーカ２２１（複数可）に出力し得る。いくつかの実施形態では、ソースオーディオは、修正なしに無指向性スピーカ２２１に提供され得る。

無指向性スピーカ出力２０５は、通常、ハイブリッドスピーカアセンブリ２２０に接続し、無指向性スピーカ２２１（複数可）で再生するオーディオ信号を提供するように構成される。いくつかの実施形態では、無指向性スピーカ出力２０５は、オーディオコネクタ、オーディオ／ビデオコネクタ、ＨＤＭＩ（登録商標）コネクタ、ＵＳＢコネクタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、及び無線ＨＤＭＩ（登録商標）トランシーバなどの有線及び／または無線コネクタを備え得る。いくつかの実施形態では、無指向性スピーカ出力２０５はさらに、増幅器、及びデジタル‐アナログコンバータなどのスピーカに信号を提供する他の構成要素を備え得る。いくつかの実施形態では、無指向性スピーカ出力２０５は、ハイブリッドスピーカアセンブリ２２０の無指向性スピーカ（例えば右スピーカ、左スピーカ）にそれぞれ対応する複数のチャネルを、単一のワイヤ、複数のワイヤ、または無線接続を介して出力し得る。

投射方向モジュール２０６は、指向性スピーカ２２２への出力に関連する投射方向を決定するように構成される。いくつかの実施形態では、投射方向モジュール２０６は、ユーザ位置と、ソースオーディオの２つ以上のチャネル間の時間遅延差及び／または振幅差とのうちの１つ以上に基づいて、投射方向を決定する。いくつかの実施形態では、投射方向は、ハイブリッドスピーカアセンブリ２２０上及び／またはオーディオコンバータ２００上のユーザセンサ２２４により検出されたユーザの位置に基づいて決定され得、これにより、指向性スピーカは、１人以上のユーザに向けて特定の音を投射する。いくつかの実施形態では、ユーザ位置及び／または投射領域は、スピーカ較正プロセスを通して決定され得る。いくつかの実施形態では、投射方向モジュール２０６は、ソースオーディオの２つ以上のチャネルにおける特定の音の振幅差（例えば音量差）（ＩＩＤ）、及び／またはソースオーディオの２つ以上のチャネル間の特定の音の時間遅延差（ＩＴＤ）に基づいて決定され得る。例えば、特定の音が左チャネルで著しく大きい場合、指向性スピーカ２２２の投射方向は、左へと角度付けられ得る。別の例では、特定の音の振幅及びタイミングが両チャネルで実質的に同じである場合、指向性スピーカ２２２の投射方向は、中心へと向けられ得る。いくつかの実施形態では、投射方向モジュール２０６は、指向性スピーカ２２２により出力される２Ｄサウンドスケープを決定し、指向性スピーカ２２２が２Ｄサウンドスケープの投射領域を通してスイープする時に各角度で出力される音を決定し得る。いくつかの実施形態では、指向性スピーカ２２２は、固定パターンでサウンドスケープ空間を通してスイープするように構成され得、投射方向モジュール２０６は、オーディオ信号出力のタイミングを指向性スピーカ２２２のスイープ位置に設定して２Ｄサウンドスケープを出力するように構成される。いくつかの実施形態では、光学センサを使用してユーザの位置が検出され得、ユーザ検出／追跡情報を使用して投射方向が決定され得る。いくつかの実施形態では、ユーザ位置は、較正プロセスを通して決定され得、及び／またはユーザにより手動で調整され得る。

指向性スピーカ出力２０８は、通常、ハイブリッドスピーカに接続し、ハイブリッドスピーカアセンブリ２２０の指向性スピーカ２２２（複数可）で再生する信号を提供するように構成される。いくつかの実施形態では、指向性スピーカ出力２０８は、オーディオコネクタ、オーディオ／ビデオコネクタ、ＨＤＭＩ（登録商標）コネクタ、ＵＳＢコネクタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、及び無線ＨＤＭＩ（登録商標）トランシーバなどの有線及び／または無線コネクタを備え得る。いくつかの実施形態では、指向性スピーカ入力２０１はさらに、増幅器、及びデジタル‐アナログコンバータなどのスピーカに信号を提供する他の構成要素を備え得る。いくつかの実施形態では、出力信号は、指向性スピーカ２２２のスイープに同期されたオーディオ信号を含み得る。いくつかの実施形態では、出力信号は、オーディオストリームの時間部分にそれぞれ関連付けられた１つ以上の投射角度を含み得る。例えば、オーディオ出力は、最初の２ナノ秒のオーディオを３５度で投射し、次の３ナノ秒のオーディオを５０度で投射することを指定し得る。いくつかの実施形態では、出力信号は、オーディオストリームと、オーディオストリームにタイミングを合わせた指向性スピーカ動作命令とを含み得る。例えば、指向性スピーカ動作命令は、スイープの速度、スイープの範囲などを指定し得る。いくつかの実施形態では、機械式ロータを備えた指向性スピーカ２２２の場合、オーディオコンバータは、オーディオストリームとは別個にロータ制御信号を出力し得る。いくつかの実施形態では、複数の固定パネルを備えた指向性スピーカ２２２の場合、出力信号は、指向性スピーカ２２２のパネルのそれぞれで出力される個別のオーディオチャネルを含み得、これは、指向性スピーカ２２２の投射方向を制御するように変調される。いくつかの実施形態では、出力信号は、指向性スピーカ２２２により再生される２Ｄサウンドスケープを含み得、ハイブリッドスピーカアセンブリ２２０は、指向性スピーカ２２２の投射方向及びオーディオ出力を制御して、２Ｄサウンドスケープを再現するように構成されたプロセッサを備え得る。

いくつかの実施形態では、無指向性スピーカ出力２０５及び指向性スピーカ出力２０８からの出力は、各スピーカデバイスの音がリスナーに到達する時に、無指向性スピーカ２２１及び指向性スピーカ２２２からの出力が同期され混合されるように、タイミングが設定される。いくつかの実施形態では、サウンドデータベース２０３を使用して無指向性スピーカ２２１及び指向性スピーカ２２２からの出力を選択的に混合及び同期するように、ＧＡＮなどの機械学習が適用され得る。

いくつかの実施形態では、本明細書で説明される投射方向モジュール２０６の１つ以上の機能は、代わりにハイブリッドスピーカアセンブリ２２０により実行され得る。例えば、指向性スピーカ２２２がユーザ位置にのみ基づいて特定の音を投射するように構成される実施形態では、指向性スピーカ出力２０８は、特定の音の出力のみ行い得、ハイブリッドスピーカアセンブリ２２０が、ユーザセンサ２２４により検出されたユーザ位置に基づいて投射方向を決定し得る。このような事例では、ユーザセンサ２２４はオーディオコンバータ２００にユーザ位置情報を提供し得ず、オーディオコンバータ２００上の投射方向モジュール２０６は省略され得る。

ユーザセンサ２２４は、通常、指向性スピーカの近くの１人以上のリスナーの位置を検出するように構成される。いくつかの実施形態では、ユーザセンサ２２４には、光センサ、マイクロフォン、音波センサ、超音波センサ、及び熱センサなどが含まれ得る。いくつかの実施形態では、ユーザ位置は、指向性スピーカにより生成された音の音反射を検出することにより、特定され得る。例えば、指向性スピーカ２２２は、指向性音で投射領域をスイープし得、マイクロフォンを備えたユーザセンサ２２４は、各角度での音反射のタイミングを測定して、ユーザ（複数可）の存在及び／または位置を特定し得る。

いくつかの実施形態では、オーディオコンバータ２００とハイブリッドスピーカアセンブリ２２０との間の接続は、複数の矢印で示されるが、これには単一の有線接続または無線接続が含まれ得る。いくつかの実施形態では、オーディオコンバータ２００及びハイブリッドスピーカアセンブリ２２０は、単一の筐体に収納された統合デバイスであり得る。いくつかの実施形態では、オーディオコンバータ２００は、オーディオフォーマット及び／またはスピーカの種類に基づいてオーディオコンバータと選択的に連動するオーディオソース２１０と統合され得る。

次に図３を参照すると、ハイブリッドスピーカ用にオーディオを変換する方法の例が示される。いくつかの実施形態では、図３に示されるステップは、オーディオコンバータ、ハイブリッドスピーカコントローラ、コンピュータシステム、及びサーバのうちの１つ以上により実行され得る。いくつかの実施形態では、図３に示される１つ以上のステップは、本明細書において図１を参照して説明されたオーディオコンバータ１２０及び／またはハイブリッドスピーカアセンブリ１００により、並びに／あるいは図２を参照して説明されたオーディオコンバータ２００及び／またはハイブリッドスピーカアセンブリ２２０により、実行され得る。通常、図３のステップは、制御回路と、コンピュータ実行可能命令の集合を格納するメモリとを備えた１つ以上のプロセッサベースデバイスにより、実行され得る。

ステップ３０１にて、システムは、オーディオソース３１０から提供されるオーディオ内の特定の音を識別する。特定の音は、通常、指向性スピーカを介して再生するために選択された音を指す。いくつかの実施形態では、特定の音は、ソースオーディオを、サウンドデータベース３１２内の音及び／またはサウンドプロファイルと比較することにより識別される。いくつかの実施形態では、特定の音は、サウンドデータベース３１２を学習セットとして使用する機械学習アルゴリズム３１１を介して識別される。いくつかの実施形態では、機械学習アルゴリズム３１１は、敵対的生成ネットワーク（ＧＡＮ）を含み得る。いくつかの実施形態では、特定の音は、音の周波数、トーン、及び振幅のうちの１つ以上に基づいて識別される。いくつかの実施形態では、サウンドデータベース３１２は、指向性スピーカを介した再生に好適な複数の種類の音に関連付けられたサウンドクリップ及び／またはサウンドプロファイル（例えば周波数スペクトル特性、周波数分布、周波数または振幅の経時的変化など）を含み得る。このような音の例には、車の音、鳥のさえずり、弾道発射体の音、人間の発話、アラート、及び警告音などが挙げられ得る。いくつかの実施形態では、音は、周波数、持続時間、振幅、並びに／あるいはソースオーディオの２つ以上のチャネル間のＩＩＤ及び／またはＩＴＤに基づいて最初に識別され、サウンドデータベース３１２に追加され得る。音は、機械学習アルゴリズム３１１により使用され、他の同様の音が識別され得る。いくつかの実施形態では、サウンドデータベース３１２は、機械学習アルゴリズムにより優先順位が付けられ、及び／または余分なものが除去され得る。いくつかの実施形態では、ステップ３０１は、本明細書で図２を参照して説明された識別モジュール２０２により実行され得る。

ステップ３０２にて、システムは特定の音を分離する。通常、ステップ３０２にて、ステップ３０１で識別された特定の音は、オーディオソース２１０から受信されたオーディオ内の他の音から分離される。いくつかの実施形態では、ステップ３０２は、時間フィルタリング、振幅フィルタリング、及び／または高、低、もしくは帯域フィルタリングなどの周波数フィルタリングに基づいて実行され得る。いくつかの実施形態では、システムは、オーディオソース３１０の異なるチャネルを使用して、特定の音を分離し得る。例えば、入力オーディオストリームのチャネル間で大きなＩＴＤまたはＩＩＤが存在する場合、１つのチャネルを使用して、減算またはマスキングにより別のチャネル内の特定の音が分離され得る。いくつかの実施形態では、特定の音は、サウンドデータベース３１２内の一致する音を使用して、減算またはマスキングにより分離され得る。いくつかの実施形態では、ステップ３０２にて、特定の音の略分離のみが実行される。いくつかの実施形態では、特定の音は、サウンドデータベース内の音を使用して再作成され得る。例えば、サウンドデータベース内の音の再生速度、トーン、及び／または振幅は、オーディオソース３１０で識別された特定の音を近似するように修正され得る。いくつかの実施形態では、ステップ３０２は、本明細書で図２を参照して説明されたサウンドフィルタ２０４により実行され得る。

ステップ３０３にて、システムは、指向性スピーカ３２１の出力を生成する。いくつかの実施形態では、出力は、ステップ３０２で分離された特定の音を含む。いくつかの実施形態では、指向性スピーカは、投射領域の周期的スイープを実行するように構成され得、指向性スピーカのオーディオ出力は、周期的スイープにタイミングを合わせられ得る。いくつかの実施形態では、指向性スピーカ出力はさらに、投射方向データを含み得る。いくつかの実施形態では、投射方向データは、図２を参照して説明された投射方向モジュール２０６により決定され得る。いくつかの実施形態では、投射方向は、ユーザ位置に関連付けられ得る。いくつかの実施形態では、投射方向データは、２人以上のユーザに関連付けられた２つ以上の別個の投射ゾーンを含み得、これにより、１つの指向性スピーカを使用して、同じ部屋にいる異なるユーザに対し異なる音が投射され得る。いくつかの実施形態では、投射方向データは、投射角度を、指向性スピーカオーディオの時間部分に関連付け得る。いくつかの実施形態では、指向性スピーカ出力は、指向性スピーカにより生成される２Ｄサウンドスケープを含み得る。いくつかの実施形態では、指向性スピーカ出力は、固定マルチパネルを有する指向性スピーカの各パネル用の別個のオーディオストリームを含み得る。いくつかの実施形態では、指向性スピーカ出力は、ロータ制御型指向性スピーカの回転命令を含み得る。

ステップ３０４にて、システムは、無指向性スピーカ３２２の出力を生成する。いくつかの実施形態では、指向性スピーカ出力は、特定の音が差し引かれたオーディオソース３１０を含み得る。いくつかの実施形態では、指向性スピーカ出力は、変更されていないソースオーディオに対応し得る。いくつかの実施形態では、無指向性スピーカ出力は、ハイブリッドスピーカアセンブリ内の無指向性スピーカデバイス（例えば左スピーカ、右スピーカ）にそれぞれ対応する２つ以上のチャネルを含み得る。

いくつかの実施形態では、変換されたオーディオが、ソースオーディオに関連付けられたビデオ再生と同期されるように、図３に示されるステップは、ほぼリアルタイムでオーディオストリームに対し連続的に繰り返され得る。いくつかの実施形態では、システムは、ソースオーディオを事前にバッファリングして、ビデオ／オーディオ再生同期化を可能にし得る。いくつかの実施形態では、図３に示されるステップは、事前に記録されたオーディオファイルに対して実行され得る。いくつかの実施形態では、生成された指向性スピーカ出力及び無指向性スピーカ出力は、スピーカに出力される代わりに、後で再生するオーディオファイルとして格納され得る。

図４Ａ及び図４Ｂは、いくつかの実施形態によるマルチパネル指向性スピーカの例示である。図４Ａ及び図４Ｂは、変調を通して投射領域４２０にわたり複数の角度で音を投射するように配置された指向性スピーカのパネルの上面図を含む。いくつかの実施形態では、パネル４１０ａ～ｅはそれぞれ、超音波を通して狭い広がりの音を投射するように構成されたパラメトリックアレイを備え得る。

図４Ａでは、２パネル構成が示される。パネル４１０ａ及び４１０ｂは、相対的に角度を付けられた状態で、無指向性の左スピーカ４３０と右スピーカ４３１との間に配置される。２つのパネル間の角度は１７０～９０度の間であり得る。２つのパネル４１０ａ及び４１０ｂは、２つのパネルのオーディオ出力を変調することを通して、投射領域４２０内の音の投射方向を変更するように構成される。

図４Ｂでは、３パネル構成が示される。パネル４１０ｃ、４１０ｄ、及び４１０ｅは、相対的に角度を付けられた状態で、無指向性の左スピーカ４３０と右スピーカ４３１との間に配置される。いくつかの実施形態では、中央パネル４１０ｄは、通常、スピーカアセンブリの無指向性の左スピーカ４３０と右スピーカ４３１との間に引かれた線に平行である。サイドパネル４１０ｃ及び４１０ｅのそれぞれと、センターパネル４１０ｄとの間の角度は、１７０～７０度であり得る。３つのパネル４１０ｃ～４１０ｅは、３つのパネルのオーディオ出力を変調することを通して、投射領域４２０内の音の投射方向を変更するように構成される。

いくつかの実施形態では、ハイブリッドスピーカは、他の構成の指向性スピーカを備え得る。例えば、指向性スピーカは、４つ以上のパラメトリックパネルを備え得る。別の例では、指向性スピーカは、１つ以上の湾曲したパラメトリックパネルを備え得る。さらに別の例では、指向性スピーカは、２つの軸（例えば左右及び上下）で音を投射する２Ｄマトリックスのパネル（例えば２ｘ２、３ｘ３など）を備え得る。いくつかの実施形態では、ハイブリッドスピーカは、１つ以上のパラメトリックアレイを回転及び／または傾斜させるように構成された機械式ロータにより駆動される指向性スピーカを備え得る。図４Ａ及び図４Ｂの要素の距離、比率、及び相対位置は、参照用にのみ提供されており、必ずしも一定の縮尺で描かれてはいない。

いくつかの実施形態では、前述の実施形態、方法、手法、及び／または技法のうちの１つ以上は、プロセッサベースの装置またはシステムにより実行可能な１つ以上のコンピュータプログラムまたはソフトウェアアプリケーションで実施され得る。例として、このようなプロセッサベースの装置またはシステムには、コンピュータ、エンターテインメントシステム、ゲームコンソール、ワークステーション、グラフィックスワークステーション、サーバ、クライアント、ポータブルデバイス、パッド状デバイスなどが挙げられ得る。このようなコンピュータプログラム（複数可）は、前述の方法及び／または技法の様々なステップ及び／または特徴を実行するために使用され得る。すなわち、コンピュータプログラム（複数可）は、プロセッサベースの装置またはシステムに前述の機能を実行させ達成させる、またはそのようにプロセッサベースの装置またはシステムを構成するように、適合され得る。例えば、このようなコンピュータプログラム（複数可）は、前述の方法、ステップ、技法、または特徴の任意の実施形態を実施するために使用され得る。別の例として、このようなコンピュータプログラム（複数可）は、前述の実施形態、方法、手法、及び／または技法のうちのいずれか１つ以上を使用する任意の種類のツールまたは同様のユーティリティを実施するために使用され得る。いくつかの実施形態では、コンピュータプログラム（複数可）の中または外のプログラムコードマクロ、モジュール、ループ、サブルーチン、呼び出しなどを使用して、前述の方法及び／または技法の様々なステップ及び／または特徴が実行され得る。いくつかの実施形態では、コンピュータプログラム（複数可）は、本明細書で説明されるコンピュータ可読記憶媒体（複数可）またはコンピュータ可読記録媒体（複数可）のうちのいずれかなど、コンピュータ可読記憶媒体（複数可）またはコンピュータ可読記録媒体（複数可）上で、格納または具現化され得る。

従って、いくつかの実施形態では、本発明は、コンピュータプログラム製品を提供し、コンピュータプログラム製品は、コンピュータに入力するためのコンピュータプログラムを具現化する媒体と、媒体に具現化されるコンピュータプログラムとを備え、コンピュータプログラムは、本明細書で説明される実施形態、方法、手法、及び／または技法のうちのいずれか１つ以上に関するステップのうちのいずれか１つ以上を含むステップを、コンピュータに行わせる、または実行させる。例えば、いくつかの実施形態では、本発明は、１つ以上のコンピュータプログラムを格納する１つ以上の非一時的コンピュータ可読記憶媒体を提供し、１つ以上のコンピュータプログラムは、プロセッサベースの装置またはシステムに、ユーザに表示するためのコンピュータシミュレーションシーンをレンダリングすることと、コンピュータシミュレーションシーンを見ているユーザの眼球運動において、サッケードマスキングを生じるサッケードの開始を検出することと、サッケード発生期間の少なくとも一部の間は、コンピュータシミュレーションシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することと、を含むステップを実行させるように、適応または構成される。

開示される本明細書の発明は、特定の実施形態及びその適用により説明されたが、これらに対する多数の修正及び変形が、特許請求の範囲に定められる本発明の範囲から逸脱することなく、当業者により行われてもよい。

Claims (21)

1. ソースオーディオを受信するように構成されたオーディオ入力と、
   少なくとも２つの無指向性スピーカ及び指向性スピーカを備えたハイブリッドスピーカに接続するように構成されたオーディオ出力と、
   機械学習により更新されるサウンドデータベース内の音を学習セットとして使用する機械学習を介して、前記ソースオーディオ内の特定の音を識別することと、
   前記ソースオーディオから前記特定の音を分離することと、
   前記特定の音に基づいて前記ハイブリッドスピーカの前記指向性スピーカ用の指向性スピーカ出力を生成することと、
   前記ハイブリッドスピーカの前記少なくとも２つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも２つのチャネルを生成することと、
   を含むステップを実行することにより、
   前記ソースオーディオに基づいて前記ハイブリッドスピーカの出力オーディオを生成するように構成されたプロセッサと、
   を備える、オーディオコンバータシステム。
2. 前記機械学習は、敵対的生成ネットワーク（ＧＡＮ）である、請求項１に記載のシステム。
3. 無指向性スピーカ出力の前記少なくとも２つのチャネルは、前記ソースオーディオから前記特定の音を差し引くことに基づいて生成される、請求項１に記載のシステム。
4. 前記プロセッサはさらに、ユーザ位置、前記ソースオーディオの２つ以上のチャネル間の振幅差、及び／または前記ソースオーディオの２つ以上のチャネル間の時間遅延差に基づいて、前記ハイブリッドスピーカの前記指向性スピーカの投射方向を決定するように構成される、請求項１～３のいずれか１項に記載のシステム。
5. 前記指向性スピーカの前記投射方向は、前記指向性スピーカを回転させるように構成された機械式ロータを制御するために、前記指向性スピーカに出力される、請求項４に記載のシステム。
6. 前記指向性スピーカは複数のパネルを備え、前記指向性スピーカ出力は、前記複数のパネルのそれぞれに関する出力を含む、請求項１～３のいずれか１項に記載のシステム。
7. 前記指向性スピーカの投射方向は、前記複数のパネルの出力を変調することにより制御される、請求項６に記載のシステム。
8. 前記ハイブリッドスピーカは、左無指向性スピーカと右無指向性スピーカとの間に配置された前記指向性スピーカを有するサウンドバーを備える、請求項１～３のいずれか１項に記載のシステム。
9. プロセッサにより、機械学習により更新されるサウンドデータベース内の音を学習セットとして使用する機械学習を介して、ソースオーディオ内の特定の音を識別することと、
   前記ソースオーディオから前記特定の音を分離することと、
   前記特定の音に基づいてハイブリッドスピーカの指向性スピーカ用の指向性スピーカ出力を生成することと、
   前記ハイブリッドスピーカの少なくとも２つの無指向性スピーカ用の無指向性スピーカ出力の少なくとも２つのチャネルを生成することと、
   を含む、オーディオ変換方法。
10. 前記機械学習は、敵対的生成ネットワーク（ＧＡＮ）である、請求項９に記載の方法。
11. 無指向性スピーカ出力の前記少なくとも２つのチャネルは、前記ソースオーディオから前記特定の音を差し引くことに基づいて生成される、請求項９に記載の方法。
12. ユーザ位置、前記ソースオーディオの２つ以上のチャネル間の振幅差、及び／または前記ソースオーディオの２つ以上のチャネル間の時間遅延差に基づいて、前記ハイブリッドスピーカの前記指向性スピーカの投射方向を決定すること、
    をさらに含む、請求項９～１１のいずれか１項に記載の方法。
13. 前記指向性スピーカの前記投射方向は、前記指向性スピーカを回転させるように構成された機械式ロータを制御するために、前記指向性スピーカに出力される、請求項１２に記載の方法。
14. 前記指向性スピーカは複数のパネルを備え、前記指向性スピーカ出力は、前記複数のパネルのそれぞれに関する出力を含む、請求項９～１１のいずれか１項に記載の方法。
15. 前記指向性スピーカの投射方向は、前記複数のパネルの出力を変調することにより制御される、請求項１４に記載の方法。
16. 前記ハイブリッドスピーカは、左無指向性スピーカと右無指向性スピーカとの間に配置された前記指向性スピーカを有するサウンドバーを備える、請求項９～１１のいずれか１項に記載の方法。
17. スピーカ筐体と
    前記スピーカ筐体内に収納された左無指向性スピーカ及び右無指向性スピーカと、
    前記左無指向性スピーカと前記右無指向性スピーカとの間に配置され、前記スピーカ筐体内に収納された指向性スピーカと、
    ソースオーディオを受信し、機械学習により更新されるサウンドデータベース内の音を学習セットとして使用する機械学習を介して、前記ソースオーディオ内の特定の音を識別し、前記特定の音に基づいて前記指向性スピーカ用の出力を生成するように構成されたオーディオコンバータと、
    を備える、オーディオシステム。
18. 前記指向性スピーカは、１つ以上のパラメトリックパネルを備える、請求項１７に記載のシステム。
19. 前記指向性スピーカの投射方向を制御する機械式ロータ
    をさらに備える、請求項１７に記載のシステム。
20. 前記指向性スピーカは複数のパネルを備え、前記指向性スピーカの投射方向は、前記複数のパネルの出力を変調することにより制御される、請求項１７～１９のいずれか１項に記載のシステム。
21. ユーザの位置を検出するセンサであって、前記指向性スピーカの投射方向は、前記ユーザの前記位置に基づいて制御される、前記センサ
    をさらに備える、請求項１７～１９のいずれか１項に記載のシステム。

Images