[go: up one dir, main page]

JP2018534848A - オブジェクトベースオーディオからｈｏａへの変換 - Google Patents

オブジェクトベースオーディオからｈｏａへの変換 Download PDF

Info

Publication number
JP2018534848A
JP2018534848A JP2018517745A JP2018517745A JP2018534848A JP 2018534848 A JP2018534848 A JP 2018534848A JP 2018517745 A JP2018517745 A JP 2018517745A JP 2018517745 A JP2018517745 A JP 2018517745A JP 2018534848 A JP2018534848 A JP 2018534848A
Authority
JP
Japan
Prior art keywords
audio
loudspeaker
vector
location
audio object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018517745A
Other languages
English (en)
Inventor
キム、ム・ユン
セン、ディパンジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018534848A publication Critical patent/JP2018534848A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

デバイスは、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得する。オーディオ信号は、時間間隔に対応する。加えて、デバイスは、オーディオオブジェクトに対する空間ベクトルの表現を取得し、空間ベクトルは、高次アンビソニックス（ＨＯＡ）領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく。デバイスは、オーディオオブジェクトのオーディオ信号および空間ベクトルに基づいて、複数のオーディオ信号を生成する。複数のオーディオ信号の各それぞれのオーディオ信号は、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する。
【選択図】図１

Description

関連出願
[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１５年１０月８日に出願された米国仮特許出願第６２／２３９，０４３号の利益を主張する。
[0002]本開示は、オーディオデータに関し、より詳細には、高次アンビソニックオーディオデータのコーディングに関する。
[0003]高次アンビソニックス（ＨＯＡ）信号（複数の球面調和係数（ＳＨＣ）または他の階層的な要素によって表されることが多い）は、音場の３次元表現である。このＨＯＡ表現またはＳＨＣ表現は、ＳＨＣ信号からレンダリングされるマルチチャネルオーディオ信号を再生するために使用されるローカルスピーカー幾何学的配置に依存しない方法で音場を表し得る。ＳＨＣ信号は、５．１オーディオチャネルフォーマットまたは７．１オーディオチャネルフォーマットなどのよく知られており広く採用されているマルチチャネルフォーマットにレンダリングされ得るので、ＳＨＣ信号はまた、下位互換性を容易にし得る。したがって、ＳＨＣ表現は、下位互換性にも対応する、音場のより良い表現を可能にし得る。
[0004]一例では、本開示は、コーディングされたオーディオビットストリームを復号するためのデバイスを説明し、デバイスは、コーディングされたオーディオビットストリームを記憶するように構成されたメモリと、メモリに電気的に結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得すること、オーディオ信号は、時間間隔に対応する、と、コーディングされたオーディオビットストリームから、オーディオオブジェクトに対する空間ベクトルの表現を取得すること、ここにおいて、空間ベクトルは、高次アンビソニックッス（ＨＯＡ）領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく、と、オーディオオブジェクトのオーディオ信号および空間ベクトルに基づいて、複数のオーディオ信号を生成すること、ここにおいて、複数のオーディオ信号の各それぞれのオーディオ信号は、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する、とを行うように構成される。
[0005]別の例では、この開示は、コーディングされたオーディオビットストリームを符号化するためのデバイスを説明し、デバイスは、オーディオオブジェクトの仮想ソースロケーションを示すデータとオーディオオブジェクトのオーディオ信号とを記憶することを行うように構成されたメモリと、メモリに電気的に結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、オーディオオブジェクトの仮想ソースロケーションを示すデータと、オーディオオブジェクトのオーディオ信号とを受信することと、オーディオオブジェクトに対する仮想ソースロケーションを示すデータおよび複数のラウドスピーカーロケーションを示すデータに基づいて、高次アンビソニックス（ＨＯＡ）領域内でオーディオオブジェクトの空間ベクトルを決定することと、コーディングされたオーディオビットストリーム中に、空間ベクトルのデータ表現およびオーディオ信号のオブジェクトベースの表現を含むこととを行うように構成される。
[0006]別の例では、この開示は、コーディングされたオーディオビットストリームを復号するための方法を説明し、方法は、コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得すること、オーディオ信号は、時間間隔に対応する、と、コーディングされたオーディオビットストリームから、オーディオオブジェクトに対する空間ベクトルの表現を取得すること、ここにおいて、空間ベクトルは、高次アンビソニックッス（ＨＯＡ）領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく、と、オーディオオブジェクトのオーディオ信号および空間ベクトルに基づいて、複数のオーディオ信号を生成すること、ここにおいて、複数のオーディオ信号の各それぞれのオーディオ信号は、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する、とを備える。
[0007]別の例では、この開示は、コーディングされたオーディオビットストリームを符号化するための方法を説明し、方法は、オーディオオブジェクトの仮想ソースロケーションを示すデータと、オーディオオブジェクトのオーディオ信号とを受信することと、オーディオオブジェクトに対する仮想ソースロケーションを示すデータおよび複数のラウドスピーカーロケーションを示すデータに基づいて、高次アンビソニックス（ＨＯＡ）領域内でオーディオオブジェクトの空間ベクトルを決定することと、コーディングされたオーディオビットストリーム中に、空間ベクトルのデータ表現およびオーディオ信号のオブジェクトベースの表現を含むこととを備える。
[0008]別の例では、この開示は、コーディングされたオーディオビットストリームのためのデバイスを説明し、デバイスは、コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得するための手段、オーディオ信号は、時間間隔に対応する、と、コーディングされたオーディオビットストリームから、オーディオオブジェクトに対する空間ベクトルの表現を取得するための手段、ここにおいて、空間ベクトルは、高次アンビソニックッス（ＨＯＡ）領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく、と、オーディオオブジェクトのオーディオ信号および空間ベクトルに基づいて、複数のオーディオ信号を生成するための手段、ここにおいて、複数のオーディオ信号の各それぞれのオーディオ信号は、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する、とを備える。
[0009]別の例では、この開示は、コーディングされたオーディオビットストリームを符号化するためのデバイスを説明し、デバイスは、オーディオオブジェクトの仮想ソースロケーションを示すデータと、オーディオオブジェクトのオーディオ信号とを受信するための手段と、オーディオオブジェクトに対する仮想ソースロケーションを示すデータおよび複数のラウドスピーカーロケーションを示すデータに基づいて、高次アンビソニックス（ＨＯＡ）領域内でオーディオオブジェクトの空間ベクトルを決定するための手段とを備える。
[0010]別の例では、この開示は、実行されたとき、デバイスの１つまたは複数のプロセッサに、コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得すること、オーディオ信号は、時間間隔に対応する、と、コーディングされたオーディオビットストリームから、オーディオオブジェクトに対する空間ベクトルの表現を取得すること、ここにおいて、空間ベクトルは、高次アンビソニックッス（ＨＯＡ）領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく、と、オーディオオブジェクトのオーディオ信号および空間ベクトルに基づいて、複数のオーディオ信号を生成すること、ここにおいて、複数のオーディオ信号の各それぞれのオーディオ信号は、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する、とを行わせる命令を記憶するコンピュータ可読記憶媒体を説明する。
[0011]別の例では、この開示は、実行されたとき、デバイスの１つまたは複数のプロセッサに、オーディオオブジェクトの仮想ソースロケーションを示すデータと、オーディオオブジェクトのオーディオ信号とを受信することと、オーディオオブジェクトに対する仮想ソースロケーションを示すデータおよび複数のラウドスピーカーロケーションを示すデータに基づいて、高次アンビソニックス（ＨＯＡ）領域内でオーディオオブジェクトの空間ベクトルを決定することと、コーディングされたオーディオビットストリーム中に、空間ベクトルのデータ表現およびオーディオ信号のオブジェクトベースの表現を含むこととを行わせる命令を記憶するコンピュータ可読記憶媒体を説明する。
[0012]本開示の１つまたは複数の例の詳細が、添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
本開示で説明される技法の様々な態様を実行し得るシステムを示す図。 様々な次数および副次数の球面調和基底関数を示す図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、図３に示されるオーディオ符号化デバイスの例示的な実装形態とともに使用するためのオーディオ復号デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、ベクトル符号化ユニットの例示的な実装形態を示すブロック図。 理想的な球面設計位置の例示的なセットを示す表。 理想的な球面設計位置の別の例示的なセットを示す表。 本開示の１つまたは複数の技法による、ベクトル符号化ユニットの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、ベクトル復号ユニットの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、ベクトル復号ユニットの代替実装形態を示すブロック図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスがオブジェクトベースオーディオデータを符号化するように構成される、オーディオ符号化デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、オブジェクトベースオーディオデータに対するベクトル符号化ユニット６８Ｃの例示的な実装形態を示すブロック図。 ＶＢＡＰを示す概念図。 本開示の１つまたは複数の技法による、オーディオ復号デバイスがオブジェクトベースオーディオデータを復号するように構成される、オーディオ復号デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスが空間ベクトルを量子化するように構成される、オーディオ符号化デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、図１７に示されるオーディオ符号化デバイスの例示的な実装形態とともに使用するためのオーディオ復号デバイスの例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、レンダリングユニット２１０の例示的な実装形態を示すブロック図。 本開示の１つまたは複数の技法による、自動車スピーカー再生環境を示す図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な動作を示すフロー図。 本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な動作を示すフロー図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な動作を示すフロー図。 本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な動作を示すフロー図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な動作を示すフロー図。 本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な動作を示すフロー図。 本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な動作を示すフロー図。 本開示の技法による、コーディングされたオーディオビットストリームを符号化するための例示的な動作を示すフロー図。 本開示の技法による、コーディングされたオーディオビットストリームを復号するための例示的な動作を示すフロー図。
[0042]ラウンドサウンドの発展は、現今では娯楽のための多くの出力フォーマットを利用可能にしている。そのような消費者向けのサラウンドサウンドフォーマットの例は、ある幾何学的な座標にあるラウドスピーカーへのフィードを暗黙的に指定するという点で、大半が「チャネル」ベースである。消費者向けのサラウンドサウンドフォーマットは、普及している５．１フォーマット（これは、次の６つのチャネル、すなわち、フロントレフト（ＦＬ）と、フロントライト（ＦＲ）と、センターまたはフロントセンターと、バックレフトまたはサラウンドレフトと、バックライトまたはサラウンドライトと、低周波効果（ＬＦＥ）とを含む）、発展中の７．１フォーマット、７．１．４フォーマットおよび２２．２フォーマット（たとえば、超高精細度テレビジョン規格とともに使用するための）などのハイトスピーカーを含む様々なフォーマットを含む。消費者向けではないフォーマットは、「サラウンドアレイ」としばしば呼ばれる（対称な、および非対称な幾何学的配置の）任意の数のスピーカーに及び得る。そのようなアレイの一例は、切頂二十面体の角の座標に配置される３２個のラウドスピーカーを含む。
[0043]オーディオエンコーダは、３つの可能なフォーマット：（ｉ）あらかじめ指定された位置におけるラウドスピーカーを通じて再生されることが意図される、（上で論じられたような）従来のチャネルベースオーディオ、（ｉｉ）単一オーディオオブジェクトのための離散的なパルス符号変調（ＰＣＭ）データを、（情報の中でも）それらのロケーション座標を含む関連付けられたメタデータとともに伴うオブジェクトベースオーディオ、および（ｉｉｉ）球面調和基底関数の係数（「球面調和係数」すなわちＳＨＣ、「高次アンビソニックス」すなわちＨＯＡ、および「ＨＯＡ係数」とも呼ばれる）を使用して音場を表すことを伴うシーンベースオーディオのうちの１つのフォーマットでの入力を受信し得る。いくつかの例では、オーディオオブジェクトのためのロケーション座標は、方位角、および仰角を指定し得る。いくつかの例では、オーディオオブジェクトのためのロケーション座標は、方位角、仰角、および半径を指定し得る。
[0044]いくつかの例では、エンコーダは、受信されたオーディオデータを、それが受信されたフォーマットで符号化し得る。たとえば、従来の７．１チャネルベースオーディオを受信するエンコーダは、チャネルベースオーディオを、デコーダによって再生され得るビットストリームに符号化し得る。しかしながら、いくつかの例では、５．１再生機能（７．１再生機能ではない）を有するデコーダにおいて再生を可能にするために、エンコーダはまた、ビットストリーム内に７．１チャネルベースオーディオの５．１バージョンを含み得る。いくつかの例では、ビットストリーム内に複数のバージョンのオーディオを含むことは、エンコーダにとって望ましくない場合がある。一例として、ビットストリーム内に複数のバージョンのオーディオを含むことは、ビットストリームのサイズを増加させ、したがって送信に必要な帯域幅の量および／またはビットストリームを記憶するために必要なストレージの量を増加させる。別の例として、コンテンツ作成者（たとえば、ハリウッドスタジオ）は、一度に映画のサウンドトラックを作成することを望み、各々のスピーカー構成のためにサウンドトラックをリミックスする努力を行うことを望まない。したがって、規格化されたビットストリームへの符号化と、スピーカーの幾何学的配置（と数）および（レンダラを伴う）再生のロケーションにおける音響条件に対して適応可能でありアグノスティックな後続の復号とを提供することが望ましい。
[0045]いくつかの例では、オーディオデコーダが任意のスピーカー構成を用いてオーディオを再生することを可能にするために、オーディオエンコーダは、符号化のための単一フォーマットで入力オーディオを変換し得る。たとえば、オーディオエンコーダは、マルチチャネルオーディオデータおよび／またはオーディオオブジェクトを階層的な要素のセットに変換し、得られた要素のセットをビットストリーム内で符号化し得る。階層的な要素のセットは、モデル化された音場の完全な表現をより低次の要素の基本セットが提供するように要素が順序付けられる、要素のセットを指し得る。セットがより高次の要素を含むように拡張されると、表現はより詳細になり、分解能は向上する。
[0046]階層的な要素のセットの一例は、高次アンビソニックス（ＨＯＡ）係数とも呼ばれることもある球面調和係数（ＳＨＣ）のセットである。以下の式（１）は、ＳＨＣを使用する音場の記述または表現を示す。
[0047]式（１）は、時間ｔにおける音場の任意の点｛ｒr，θr，φr｝における圧力ｐiが、ＳＨＣ、
によって一意に表され得ることを示す。ここで、
であり、ｃは、音速（約３４３ｍ／ｓ）であり、
は、基準点（または観測点）であり、ｊm（・）は、次数ｎの球ベッセル関数であり、｛ｒr，θr，φr｝は、次数ｎおよび副次数ｍの球面調和基底関数である。角括弧内の項が、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、またはウェーブレット変換などの様々な時間−周波数変換によって概算され得る信号（すなわち、Ｓ（ω，ｒr，θr，φr））の周波数領域表現であることが認識され得る。階層的セットの他の例としては、ウェーブレット変換係数のセットおよび多分解能基底関数の係数の他のセットがある。簡素化の目的のために、以下の本開示は、ＨＯＡ係数に関して説明される。しかしながら、本技法は、他の階層的セットに等しく適用可能であり得ることを諒解されたい。
[0048]しかしながら、いくつかの例では、受信されたオーディオデータのすべてをＨＯＡ係数に変換することは望ましくない場合がある。たとえば、オーディオエンコーダが受信されたオーディオデータのすべてをＨＯＡ係数に変換するとすれば、得られるビットストリームは、ＨＯＡ係数を処理し得ないオーディオデコーダ（例えば、マルチチャネルオーディオデータとオーディオオブジェクトの片方または両方だけを処理し得るオーディオデコーダ）との後方互換性はない。したがって、得られるビットストリームは、オーディオデコーダが任意のスピーカー構成を用いてオーディオデータを再生することを可能にしながら同時に、ＨＯＡ係数を処理し得ないコンテンツ消費者システムとの後方互換性を可能にするように、オーディオエンコーダが、受信されたオーディオデータを符号化することが望ましい。
[0049]本開示の１つまたは複数の技法によれば、受信されたオーディオデータをＨＯＡ係数に変換することおよび得られたＨＯＡ係数をビットストリーム内で符号化することとは対照的に、オーディオエンコーダは、それの元のフォーマットにおける受信されたオーディオデータを、符号化されたオーディオデータのＨＯＡ係数への変換を可能にする情報とともに、ビットストリーム内で符号化し得る。たとえば、オーディオエンコーダは、符号化されたオーディオデータのＨＯＡ係数への変換を可能にし、１つまたは複数の空間位置決めベクトル（ＳＰＶ）の表現と受信されたオーディオデータの表現とをビットストリーム内で符号化する、１つまたは複数のＳＰＶを決定し得る。いくつかの例では、１つまたは複数のＳＰＶのうちの特定のＳＰＶの表現は、コードブック内の特定のＳＰＶに対応するインデックスであり得る。空間位置決めベクトルは、ソースラウドスピーカー構成（すなわち、受信されたオーディオデータが再生を対象とするラウドスピーカー構成）に基づいて決定され得る。このようにして、オーディオエンコーダは、オーディオデコーダが任意のスピーカー構成を用いて受信されたオーディオデータを再生することを可能にしながら同時に、ＨＯＡ係数を処理し得ないオーディオデコーダとの後方互換性を可能にするビットストリームを出力し得る。
[0050]オーディオデコーダは、それの元のフォーマットにおけるオーディオデータを、符号化されたオーディオデータのＨＯＡ係数への変換を可能にする情報とともに含むビットストリームを受信し得る。たとえば、オーディオデコーダは、５．１フォーマットでのマルチチャネルオーディオデータと１つまたは複数の空間位置決めベクトル（ＳＰＶ）とを受信し得る。１つまたは複数の空間位置決めベクトルを使用して、オーディオデコーダは、５．１フォーマットでのオーディオデータからのＨＯＡ音場を生成し得る。たとえば、オーディオデコーダは、マルチチャネルオーディオ信号および空間位置決めベクトルに基づいてＨＯＡ係数のセットを生成し得る。オーディオデコーダは、ローカルラウドスピーカー構成に基づいてＨＯＡ音場をレンダリングし得るか、または別のデバイスがレンダリングすることを可能にし得る。このようにして、ＨＯＡ係数を処理し得るオーディオデコーダは、任意のスピーカー構成を用いてマルチチャネルオーディオデータを再生しながら同時に、ＨＯＡ係数を処理し得ないオーディオデコーダとの後方互換性を可能にし得る。
[0051]上記で説明したように、オーディオエンコーダは、符号化されたオーディオデータのＨＯＡ係数への変換を可能にする１つまたは複数の空間位置決めベクトル（ＳＰＶ）を決定し、符号化し得る。しかしながら、それはいくつかの例、ビットストリームが１つまたは複数の空間位置決めベクトルの表示を含まないときは、オーディオデコーダは、任意のスピーカー構成を用いて受信されたオーディオデータを再生することが望ましい。
[0052]本開示の１つまたは複数の技法によれば、オーディオデコーダは、符号化されたオーディオデータとソースラウドスピーカー構成の表示（すなわち、符号化されたオーディオデータが再生を対象とするラウドスピーカー構成の表示）とを受信し、ソースラウドスピーカー構成の表示に基づいて、符号化されたオーディオデータのＨＯＡ係数への変換を可能にする空間位置決めベクトル（ＳＰＶ）を生成し得る。いくつかの例では、符号化されたオーディオデータが５．１フォーマットでのマルチチャネルオーディオデータである場合などには、ソースラウドスピーカー構成の表示は、符号化されたオーディオデータが５．１フォーマットでのマルチチャネルオーディオデータであることを示し得る。
[0053]空間位置決めベクトルを使用して、オーディオデコーダは、オーディオデータからＨＯＡ音場を生成し得る。たとえば、オーディオデコーダは、マルチチャネルオーディオ信号および空間位置決めベクトルに基づいてＨＯＡ係数のセットを生成し得る。オーディオデコーダは、ローカルラウドスピーカー構成に基づいてＨＯＡ音場をレンダリングし得るか、または別のデバイスがレンダリングすることを可能にし得る。このようにして、オーディオデコーダは、オーディオデコーダが任意のスピーカー構成を用いて受信されたオーディオデータを再生することを可能にしながら同時に、空間位置決めベクトルを生成および符号化し得ないオーディオエンコーダとの後方互換性を可能にするビットストリームを出力する。
[0054]上記で説明したように、オーディオコーダ（すなわち、オーディオエンコーダまたはオーディオデコーダ）は、符号化されたオーディオデータのＨＯＡ音場への変換を可能にする空間位置決めベクトルを取得（すなわち、生成、決定、取り出し、受信、など）を行い得る。いくつかの例では、空間位置決めベクトルは、オーディオデータのほぼ「完全な」再構成を可能にすることを目的に取得され得る。空間位置決めベクトルが、入力されたＮチャネルオーディオデータをＨＯＡ音場に変換するために使用され、そのＨＯＡ音場が、元のＮチャネルのオーディオデータに変換されたとき、入力されたＮチャネルオーディオデータとほぼ同等である場合に、空間位置決めベクトルは、オーディオデータのほぼ「完全な」再構成を可能にすると見なされ得る。
[0055]ほぼ「完全な」再構成を可能にする空間位置決めベクトルを取得するために、オーディオコーダは、各ベクトルに対して使用するために係数の数ＮHOAを決定し得る。ＨＯＡ音場が式（２）および（３）に従って表現され、レンダリング行列Ｄを用いてＨＯＡ音場をレンダリングすることによって得られるＮチャネルオーディオが式（４）および（５）に従って表現される場合、ほぼ「完全な」再構成は、係数の数が入力されたＮチャネルオーディオデータ内のチャネル数以上になるように選択されるならば可能であり得る。
[0056]言い換えれば、ほぼ「完全な」再構成は、式（６）が満足されるならば可能であり得る。 Ｎ≦ＮHOA （６） 言い換えれば、ほぼ「完全な」再構成は、入力されたチャネル数Ｎが、各空間位置決めベクトルに対して使用される係数の数ＮHOA以下であるならば可能であり得る。
[0057]オーディオコーダは、選択された数の係数を有する空間位置決めベクトルを取得し得る。ＨＯＡ音場Ｈは、式（７）に従って表現され得る。
[0058]式（７）では、チャネルｉに対するＨiは、式（８）に示すように、チャネルｉに対するオーディオチャネルＣiとチャネルｉに対する空間位置決めベクトルＶiの転置との積であり得る。
[0059]Ｈiは、式（９）に示すチャネルベースオーディオ信号
を生成するためにレンダリングされ得る。
[0060]式（９）は、式（１０）または式（１１）が真であれば成立し得、式（１１）に対する第２の解は、特異であるために除去される。
[0061]式（１０）または式（１１）が真であれば、チャネルベースオーディオ信号
は、式（１２）〜式（１４）に従って表され得る。
[0062]したがって、ほぼ「完全な」再構成を可能にするために、オーディオコーダは、式（１５）および式（１６）を満足する空間位置決めベクトルを取得し得る。
[0063]完全のために、以下は、上記の諸式を満足する空間位置決めベクトルがほぼ「完全な」再構成を可能にすることの証明である。式（１７）に従って表現される所与のＮチャネルオーディオに対して、オーディオコーダは、式（１８）および（１９）に従って表現され得る空間位置決めベクトルを取得し得、ここでＤはＮチャネルオーディオデータのソースラウドスピーカー構成に基づいて決定されるソースレンダリング行列であり、［０，．．．，１，．．．，０］はＮ個の要素を含み、ｉ番目の要素は１であってその他の要素はゼロである。
[0064]オーディオコーダは、式（２０）に従って空間位置決めベクトルおよびＮチャネルオーディオデータに基づいてＨＯＡ音場Ｈを生成し得る。
[0065]オーディオコーダは、式（２１）に従ってＨＯＡ音場Ｈを元のＮチャネルオーディオデータ
に変換し得、ここでＤはＮチャネルオーディオデータのソースラウドスピーカー構成に基づいて決定されるソースレンダリング行列である。
[0066]上記で説明したように、「完全な」再構成は、
がほぼΓと同等である場合に達成される。式（２２）〜式（２６）において以下に示すように、
はほぼΓと同等であり、したがって、ほぼ「完全な」再構成が可能であり得る。
[0067]レンダリング行列などの行列は、様々な方法で処理され得る。たとえば、行列は、行、列、ベクトルとして、または他の方法で処理（たとえば、記憶、加算、乗算、検索など）され得る。
[0068]図１は、本開示で説明される技法の様々な態様を実行することができるシステム２を示す図である。図１の例に示すように、システム２は、コンテンツ作成者システム４とコンテンツ消費者システム６とを含む。コンテンツ作成者システム４およびコンテンツ消費者システム６の文脈で説明されているが、技法は、オーディオデータを表すビットストリームを形成するためにオーディオデータが符号化される任意の文脈で実施され得る。その上、コンテンツ作成者システム４は、いくつか例を挙げると、ハンドセット（またはセルラーフォン）、タブレットコンピュータ、スマートフォン、またはデスクトップコンピュータを含む、本開示で説明する技法を実施することが可能な任意の形態の１つまたは複数のコンピューティングデバイスを含み得る。同様に、コンテンツ消費者システム６は、いくつか例を挙げると、ハンドセット（またはセルラーフォン）、タブレットコンピュータ、スマートフォン、セットトップボックス、ＡＶ受信機、ワイヤレススピーカー、またはデスクトップコンピュータを含む、本開示で説明する技法を実施することが可能な任意の形態の１つまたは複数のコンピューティングデバイスを含み得る。
[0069]コンテンツ作成者システム４は、映画スタジオ、テレビジョンスタジオ、インターネットストリーミングサービス、またはコンテンツ消費者システム６など、コンテンツ消費者システムの事業者による消費のためのオーディオコンテンツを生成し得る他のエンティティなど、様々なコンテンツ作成者によって操作され得る。多くの場合、コンテンツ作成者は、ビデオコンテンツとともに、オーディオコンテンツを生成する。コンテンツ消費者システム６は、個人によって操作され得る。概して、コンテンツ消費者システム６は、マルチチャネルオーディオコンテンツを出力可能な任意の形態のオーディオ再生システムを指し得る。
[0070]コンテンツ作成者システム４は、受信されたオーディオデータをビットストリームに符号化可能であり得るオーディオ符号化デバイス１４を含む。オーディオ符号化デバイス１４は、様々なソースからオーディオデータを受信し得る。たとえば、オーディオ符号化デバイス１４は、ライブオーディオデータ１０および／または事前生成されたオーディオデータ１２を取得し得る。オーディオ符号化デバイス１４は、様々なフォーマットにおけるライブオーディオデータ１０および／または事前生成されたオーディオデータ１２を受信し得る。一例として、オーディオ符号化デバイス１４は、ＨＯＡ係数、オーディオオブジェクト、またはマルチチャネルオーディオデータとして１つまたは複数のマイクロフォン８からライブオーディオデータ１０を受信し得る。別の例として、オーディオ符号化デバイス１４は、ＨＯＡ係数、オーディオオブジェクト、またはマルチチャネルオーディオデータとして事前生成されたオーディオデータ１２を受信し得る。
[0071]上述のように、オーディオ符号化デバイス１４は、一例として、ワイヤードチャネルまたはワイヤレスチャネルであり得る送信チャネル、データ記憶デバイスなどを介した送信のために、受信されたオーディオデータをビットストリーム２０などのビットストリームに符号化し得る。いくつかの例では、コンテンツ作成者システム４は、符号化ビットストリーム２０をコンテンツ消費者システム６に直接送信する。他の例では、符号化ビットストリームはまた、復号および／または再生のためのコンテンツ消費者システム６による後のアクセスのために記憶媒体またはファイルサーバ上に記憶され得る。
[0072]上記で説明したように、いくつかの例では、受信されたオーディオデータは、ＨＯＡ係数を含み得る。しかしながら、いくつかの例では、受信されたオーディオデータは、マルチチャネルオーディオデータおよび／またはオブジェクトベースオーディオデータなど、ＨＯＡ係数以外のフォーマットでのオーディオデータを含み得る。いくつかの例では、オーディオ符号化デバイス１４は、受信されたオーディオデータを符号化のために単一フォーマットで変換し得る。たとえば、上記で説明したように、オーディオ符号化デバイス１４は、マルチチャネルオーディオデータおよび／またはオーディオオブジェクトをＨＯＡ係数に変換し、得られたＨＯＡ係数をビットストリーム２０内で符号化し得る。このようにして、オーディオ符号化デバイス１４は、コンテンツ消費者システムが任意のスピーカー構成を用いてオーディオデータを再生することを可能にし得る。
[0073]しかしながら、いくつかの例では、受信されたオーディオデータのすべてをＨＯＡ係数に変換することは望ましくない場合がある。たとえば、オーディオ符号化デバイス１４が受信されたオーディオデータのすべてをＨＯＡ係数に変換するとすれば、得られるビットストリームは、ＨＯＡ係数を処理し得ないコンテンツ消費者システム（すなわち、マルチチャネルオーディオデータとオーディオオブジェクトの片方または両方だけを処理し得るコンテンツ消費者システム）との後方互換性はない。したがって、得られるビットストリームが、コンテンツ消費者システムが任意のスピーカー構成を用いてオーディオデータを再生することを可能にしながら同時に、ＨＯＡ係数を処理し得ないコンテンツ消費者システムとの後方互換性を可能にするように、オーディオ符号化デバイス１４が受信されたオーディオデータを符号化することが望ましい。
[0074]本開示の１つまたは複数の技法によれば、受信されたオーディオデータをＨＯＡ係数に変換することおよび得られたＨＯＡ係数をビットストリーム内で符号化することとは対照的に、オーディオ符号化デバイス１４は、それの元のフォーマットにおける受信されたオーディオデータを、符号化されたオーディオデータのＨＯＡ係数への変換を可能にする情報とともに、ビットストリーム２０内で符号化し得る。たとえば、オーディオ符号化デバイス１４は、符号化されたオーディオデータのＨＯＡ係数への変換を可能にし、１つまたは複数の空間位置決めベクトル（ＳＰＶ）の表現と受信されたオーディオデータの表現とをビットストリーム２０内で符号化する、１つまたは複数のＳＰＶを決定し得る。いくつかの例では、オーディオ符号化デバイス１４は、上記の式（１５）および（１６）を満足する１つまたは複数の空間位置決めベクトルを決定し得る。このようにして、オーディオ符号化デバイス１４は、コンテンツ消費者システムが任意のスピーカー構成を用いて受信されたオーディオデータを再生することを可能にしながら同時に、ＨＯＡ係数を処理し得ないコンテンツ消費者システムとの後方互換性を可能にするビットストリームを出力し得る。
[0075]コンテンツ消費者システム６は、ビットストリーム２０に基づいてラウドスピーカーフィード２６を生成し得る。図１に示すように、コンテンツ消費者システム６は、オーディオ復号デバイス２２とラウドスピーカー２４とを含み得る。ラウドスピーカー２４は、ローカルラウドスピーカーとも呼ばれ得る。オーディオ復号デバイス２２は、ビットストリーム２０を復号することが可能であり得る。一例として、オーディオ復号デバイス２２は、オーディオデータと、復号されたオーディオデータのＨＯＡ係数への変換を可能にする情報とを再構成するためにビットストリーム２０を復号し得る。別の例として、オーディオ復号デバイス２２は、オーディオデータを再構成するためにビットストリーム２０を復号し、復号されたオーディオデータのＨＯＡ係数への変換を可能にする情報をローカルに決定し得る。たとえば、オーディオ復号デバイス２２は、上記の式（１５）および（１６）を満足する１つまたは複数の空間位置決めベクトルを決定し得る。
[0076]いずれの場合にも、オーディオ復号デバイス２２は、復号されたオーディオデータをＨＯＡ係数に変換するために情報を使用し得る。たとえば、オーディオ復号デバイス２２は、復号されたオーディオデータをＨＯＡ係数に変換し、ＨＯＡ係数をレンダリングするためにＳＰＶを使用し得る。いくつかの例では、オーディオ復号デバイスは、ラウドスピーカー２４のうちの１つまたは複数を駆動し得るラウドスピーカーフィード２６を出力するために、得られたＨＯＡ係数をレンダリングし得る。いくつかの例では、オーディオ復号デバイスは、ラウドスピーカー２４のうちの１つまたは複数を駆動し得るラウドスピーカーフィード２６を出力するためにＨＯＡ係数をレンダリングし得る外部のレンダ（図示せず）に得られたＨＯＡ係数を出力し得る。言い換えれば、ＨＯＡ音場は、ラウドスピーカー２４によって再生される。様々な例では、ラウドスピーカー２４は、車両、家、劇場、コンサート会場、または他のロケーションであり得る。
[0077]オーディオ符号化デバイス１４およびオーディオ復号デバイス２２はそれぞれ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せを含む、１つまたは複数の集積回路など、様々な好適な回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用して集積回路などのハードウェアでその命令を実行し得る。
[0078]図２は、０次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を示す図である。理解できるように、各次数に対して、説明を簡単にするために図示されているが図１の例では明示的に示されていない副次数ｍの拡張が存在する。
[0079]ＳＨＣ
は、様々なマイクロフォンアレイ構成によって物理的に取得（たとえば、録音）され得るか、または代替的に、それらは音場のチャネルベースもしくはオブジェクトベースの記述から導出され得る。ＳＨＣはシーンベースオーディオを表し、ここで、ＳＨＣは、より効率的な送信または記憶を促し得る符号化されたＳＨＣを取得するために、オーディオエンコーダに入力され得る。たとえば、（１＋４）2個の（２５個の、したがって４次の）係数を伴う４次表現が使用され得る。
[0080]上述されたように、ＳＨＣは、マイクロフォンアレイを使用したマイクロフォン録音から導出され得る。ＳＨＣがマイクロフォンアレイからどのように導出され得るかの様々な例は、Ｐｏｌｅｔｔｉ，Ｍ、「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｕｒｒｏｕｎｄ Ｓｏｕｎｄ Ｓｙｓｔｅｍｓ Ｂａｓｅｄ ｏｎ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ」、Ｊ．Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ．、Ｖｏｌ． ５３、Ｎｏ． １１、２００５年１１月、ｐｐ．１００４−１０２５において説明されている。
[0081]ＳＨＣがどのようにオブジェクトベースの記述から導出され得るかを例示するために、次の式を考える。個々のオーディオオブジェクトに対応する音場についての係数
は、式（２７）に示すように表現されてよく、ここでｉは√−１であり、
は次数ｎの（第二種の）球ハンケル関数であり、｛ｒr，θr，φr｝は、オブジェクトのロケーションである。
[0082]周波数の関数として（たとえば、ＰＣＭストリームに対して高速フーリエ変換を実行するなど、時間−周波数分析技法を使用して）オブジェクトソースエネルギーｇ（ω）を知ることで、我々は、各ＰＣＭオブジェクトと、対応するロケーションとをＳＨＣ
に変換することが可能になる。さらに、各オブジェクトの
係数は、（上式は線形であり直交分解であるので）加法的であることが示され得る。このようにして、多数のＰＣＭオブジェクトが
個の係数によって（たとえば、個々のオブジェクトについての係数ベクトルの和として）表され得る。本質的に、これらの係数は、音場についての情報（３Ｄ座標の関数としての圧力）を含んでおり、上記は、観測点｛ｒr，θr，φr｝の近傍において、個々のオブジェクトから全音場の表現への変換を表す。
[0083]図３は、本開示の１つまたは複数の技法による、オーディオ符号化デバイス１４の例示的な実装形態を示すブロック図である。図３に示すオーディオ符号化デバイス１４の例示的な実装形態は、オーディオ符号化デバイス１４Ａとラベル付けられる。オーディオ符号化デバイス１４Ａは、オーディオ符号化ユニット５１と、ビットストリーム生成ユニット５２Ａと、メモリ５４とを含む。他の例では、オーディオ符号化デバイス１４Ａは、より多数の、より少数の、または異なるユニットを含み得る。たとえば、オーディオ符号化デバイス１４Ａは、オーディオ符号化ユニット５１を含まないか、またはオーディオ符号化ユニット５１は別個のデバイス内に実装され得、１つまたは複数のワイヤードもしくはワイヤレス接続を介してオーディオ符号化デバイス１４Ａに接続され得る。
[0084]オーディオ信号５０は、オーディオ符号化デバイス１４Ａによって受信された入力オーディオ信号を表し得る。いくつかの例では、オーディオ信号５０は、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号であり得る。たとえば、図３に示すように、オーディオ信号５０は、チャネルＣ1〜チャネルＣNとして示されるＮチャネルのオーディオデータを含み得る。一例として、オーディオ信号５０は、５．１のソースラウドスピーカー構成（すなわち、左前チャネル、中央チャネル、右前チャネル、サラウンドバック左チャネル、サラウンドバック右チャネル、および低周波効果（ＬＦＥ）チャネル）に対する６チャネルオーディオ信号であり得る。別の例として、オーディオ信号５０は、７．１のソースラウドスピーカー構成（すなわち、左前チャネル、中央チャネル、右前チャネル、サラウンドバック左チャネル、サラウンド左チャネル、サラウンドバック右チャネル、サラウンド右チャネル、および低周波効果（ＬＦＥ）チャネル）に対する８チャネルオーディオ信号であり得る。２４チャネルオーディオ信号（たとえば、２２．２）、９チャネルオーディオ信号（たとえば、８．１）、および任意の他のチャネルの組合せなど、他の例が可能である。
[0085]いくつかの例では、オーディオ符号化デバイス１４Ａは、オーディオ信号５０をコーディングされたオーディオ信号６２に符号化するように構成され得るオーディオ符号化ユニット５１を含み得る。たとえば、オーディオ符号化ユニット５１は、オーディオ信号６２を生成するためにオーディオ信号５０を量子化、フォーマット、またはさもなければ圧縮し得る。図３の例に示すように、オーディオ符号化ユニット５１は、オーディオ信号５０のチャネルＣ1〜ＣNをコーディングされたオーディオ信号６２のチャネルＣ’1〜Ｃ’Nに符号化し得る。いくつかの例では、オーディオ符号化ユニット５１は、オーディオＣＯＤＥＣと呼ばれることがある。
[0086]ソースラウドスピーカーセットアップ情報４８は、ソースラウドスピーカーセットアップ内のラウドスピーカーの数（たとえば、Ｎ）とソースラウドスピーカーセットアップ内のラウドスピーカーの位置とを指定し得る。いくつかの例では、ソースラウドスピーカーセットアップ情報４８は、方位角および仰角の形態（たとえば、｛θi，φi｝i=1,...,N）でソースラウドスピーカーの位置を示し得る。いくつかの例では、ソースラウドスピーカーセットアップ情報４８は、あらかじめ規定されたセットアップの形態（たとえば、５．１、７．１、２２．２）でソースラウドスピーカーの位置を示し得る。いくつかの例では、オーディオ符号化デバイス１４Ａは、ソースラウドスピーカーセットアップ情報４８に基づいてソースレンダリングフォーマットＤを決定し得る。いくつかの例では、ソースレンダリングフォーマットＤは、行列として表され得る。
[0087]ビットストリーム生成ユニット５２Ａは、１つまたは複数の入力に基づいてビットストリームを生成するように構成され得る。図３の例では、ビットストリーム生成ユニット５２Ａは、ラウドスピーカー位置情報４８とオーディオ信号５０とをビットストリーム５６Ａに符号化するように構成され得る。いくつかの例では、ビットストリーム生成ユニット５２Ａは、圧縮なしにオーディオ信号を符号化し得る。たとえば、ビットストリーム生成ユニット５２Ａは、オーディオ信号５０をビットストリーム５６Ａに符号化し得る。いくつかの例では、ビットストリーム生成ユニット５２Ａは、圧縮を用いてオーディオ信号を符号化し得る。たとえば、ビットストリーム生成ユニット５２Ａは、コーディングされたオーディオ信号６２をビットストリーム５６Ａに符号化し得る。
[0088]いくつかの例では、ビットストリーム５６Ａへのラウドスピーカー位置情報４８に対して、ビットストリーム生成ユニット５２Ａは、ソースラウドスピーカーセットアップ内のラウドスピーカーの数（たとえば、Ｎ）と、方位角および仰角の形態（たとえば、｛θi，φi｝i=1,...,N）でのソースラウドスピーカーセットアップのラウドスピーカーの位置とを符号化（たとえば、シグナリング）し得る。さらにいくつかの例では、ビットストリーム生成ユニット５２Ａは、オーディオ信号５０をＨＯＡ音場に変換するとき、いくつのＨＯＡ係数が使用されるべきである（たとえば、ＮHOA）かの表示を決定して符号化し得る。いくつかの例では、オーディオ信号５０は、フレームに分割され得る。いくつかの例では、ビットストリーム生成ユニット５２Ａは、ソースラウドスピーカーセットアップ内のラウドスピーカーの数と、各フレームに対するソースラウドスピーカーセットアップのラウドスピーカーの位置とをシグナリングし得る。いくつかの例では、現在のフレームに対するソースラウドスピーカーセットアップが前のフレームに対するソースラウドスピーカーセットアップと同じである場合などには、ビットストリーム生成ユニット５２Ａは、ソースラウドスピーカーセットアップ内のラウドスピーカーの数と、現在のフレームに対するソースラウドスピーカーセットアップのラウドスピーカーの位置とをシグナリングすることを省略し得る。
[0089]動作中、オーディオ符号化デバイス１４Ａは、オーディオ信号５０を６チャネルのマルチチャネルオーディオ信号として受信し、ラウドスピーカー位置情報４８を５．１のあらかじめ規定されたセットアップの形態でのソースラウドスピーカーの位置の表示として受信し得る。上記で説明したように、ビットストリーム生成ユニット５２Ａは、ラウドスピーカー位置情報４８とオーディオ信号５０とをビットストリーム５６Ａに符号化し得る。たとえば、ビットストリーム生成ユニット５２Ａは、６チャネルのマルチチャネル（オーディオ信号５０）の表現、および符号化されたオーディオ信号が５．１オーディオ信号であるとの表示（ソースラウドスピーカー位置情報４８）をビットストリーム５６Ａに符号化し得る。
[0090]上記で説明したように、いくつかの例では、オーディオ符号化デバイス１４Ａは、符号化されたオーディオデータ（すなわち、ビットストリーム５６Ａ）をオーディオ復号デバイスに直接送信し得る。他の例では、オーディオ符号化デバイス１４Ａは、符号化されたオーディオデータ（すなわち、ビットストリーム５６Ａ）を、復号および／または再生のためにオーディオ復号デバイスによって後でアクセスするために、記憶媒体またはファイルサーバに記憶し得る。図３の例では、メモリ５４は、ビットストリーム５６Ａの少なくとも一部を、オーディオ符号化デバイス１４Ａによる出力の前に記憶し得る。言い換えれば、メモリ５４は、ビットストリーム５６Ａの全部またはビットストリーム５６Ａの一部を記憶し得る。
[0091]したがって、オーディオ符号化デバイス１４Ａは、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号（たとえば、ラウドスピーカー位置情報４８に対するマルチチャネルオーディオ信号５０）を受信することと、マルチチャネルオーディオ信号と組み合わせて、マルチチャネルオーディオ信号を表す高次アンビソニックス（ＨＯＡ）係数のセットを表す、高次アンビソニックス（ＨＯＡ）領域内の複数の空間位置決めベクトルをソースラウドスピーカー構成に基づいて取得することと、マルチチャネルオーディオ信号の表現（たとえば、コーディングされたオーディオ信号６２）および複数の空間位置決めベクトルの表示（たとえば、ラウドスピーカー位置情報４８）をコーディングされたオーディオビットストリーム（たとえば、ビットストリーム５６Ａ）内で符号化することとを行うように構成された１つまたは複数のプロセッサを含み得る。さらに、オーディオ符号化デバイス１４Ａは、１つまたは複数のプロセッサに電気的に結合され、コーディングされたオーディオビットストリームを記憶するように構成されたメモリ（たとえば、メモリ５４）を含み得る。
[0092]図４は、本開示の１つまたは複数の技法による、図３に示すオーディオ符号化デバイス１４Ａの例示的な実装形態とともに使用するためのオーディオ復号デバイス２２の例示的な実装形態を示すブロック図である。図４に示すオーディオ復号デバイス２２の例示的な実装形態は、２２Ａとラベル付けられる。図４のオーディオ復号デバイス２２の実装形態は、メモリ２００と、逆多重化ユニット２０２Ａと、オーディオ復号ユニット２０４と、ベクトル生成ユニット２０６と、ＨＯＡ生成ユニット２０８Ａと、レンダリングユニット２１０とを含む。他の例では、オーディオ復号デバイス２２Ａは、より多数の、より少数の、または異なるユニットを含み得る。たとえば、レンダリングユニット２１０は、ラウドスピーカー、ヘッドフォンユニット、またはオーディオベースもしくはサテライトデバイスなど、別個のデバイス内に実装され、１つまたは複数のワイヤードもしくはワイヤレス接続を介してオーディオ復号デバイス２２Ａに接続され得る。
[0093]メモリ２００は、ビットストリーム５６Ａなどの符号化されたオーディオデータを取得し得る。いくつかの例では、メモリ２００は、オーディオ符号化デバイスから符号化されたオーディオデータ（すなわち、ビットストリーム５６Ａ）を直接受信し得る。他の例では、符号化されたオーディオデータが記憶され得、メモリ２００は、記憶媒体またはファイルサーバから符号化されたオーディオデータ（すなわち、ビットストリーム５６Ａ）を取得し得る。メモリ２００は、逆多重化ユニット２０２など、オーディオ復号デバイス２２Ａの１つまたは複数の構成要素にビットストリーム５６Ａへのアクセスを提供し得る。
[0094]逆多重化ユニット２０２Ａは、コーディングされたオーディオデータ６２とソースラウドスピーカーセットアップ情報４８とを取得するためにビットストリーム５６Ａを逆多重化し得る。逆多重化ユニット２０２Ａは、オーディオ復号デバイス２２Ａの１つまたは複数の構成要素に、取得されたデータを提供し得る。たとえば、逆多重化ユニット２０２Ａは、オーディオ復号ユニット２０４にコーディングされたオーディオデータ６２を提供し、ベクトル生成ユニット２０６にソースラウドスピーカーセットアップ情報４８を提供し得る。
[0095]オーディオ復号ユニット２０４は、コーディングされたオーディオ信号６２をオーディオ信号７０に復号するように構成され得る。たとえば、オーディオ復号ユニット２０４は、オーディオ信号７０を生成するためにオーディオ信号６２を逆量子化、デフォーマット、またはさもなければ解凍し得る。図４の例に示すように、オーディオ復号ユニット２０４は、オーディオ信号６２のチャネルＣ’1〜Ｃ’Nを復号されたオーディオ信号７０のチャネルＣ’1〜Ｃ’Nに復号し得る。いくつかの例では、オーディオ信号６２がロスレスコーディング技法を使用してコーディングされる場合などには、オーディオ信号７０は、図３のオーディオ信号５０とほぼ等しい場合がある。いくつかの例では、オーディオ復号ユニット２０４は、オーディオＣＯＤＥＣと呼ばれることがある。オーディオ復号ユニット２０４は、ＨＯＡ生成ユニット２０８Ａなど、オーディオ復号デバイス２２Ａの１つまたは複数の構成要素に復号されたオーディオ信号７０を提供し得る。
[0096]ベクトル生成ユニット２０６は、１つまたは複数の空間位置決めベクトルを生成するように構成され得る。たとえば、図４の例に示すように、ベクトル生成ユニット２０６は、ソースラウドスピーカーセットアップ情報４８に基づいて空間位置決めベクトル７２を生成し得る。いくつかの例では、空間位置決めベクトル７２は、高次アンビソニックス（ＨＯＡ）領域内にあり得る。いくつかの例では、空間位置決めベクトル７２を生成するために、ベクトル生成ユニット２０６は、ソースラウドスピーカーセットアップ情報４８に基づいてソースレンダリングフォーマットＤを決定し得る。決定されたソースレンダリングフォーマットＤを使用して、ベクトル生成ユニット２０６は、上記の式（１５）および（１６）を満足するために空間位置決めベクトル７２を決定し得る。ベクトル生成ユニット２０６は、ＨＯＡ生成ユニット２０８Ａなど、オーディオ復号デバイス２２Ａの１つまたは複数の構成要素に空間位置決めベクトル７２を提供し得る。
[0097]ＨＯＡ生成ユニット２０８Ａは、マルチチャネルオーディオデータおよび空間位置決めベクトルに基づいてＨＯＡ音場を生成するように構成され得る。たとえば、図４の例に示すように、ＨＯＡ生成ユニット２０８Ａは、復号されたオーディオ信号７０および空間位置決めベクトル７２に基づいてＨＯＡ係数２１２Ａのセットを生成し得る。いくつかの例では、ＨＯＡ生成ユニット２０８Ａは、以下の式（２８）に従ってＨＯＡ係数２１２Ａのセットを生成し得、ここでＨはＨＯＡ係数２１２Ａを表し、Ｃiは復号されたオーディオ信号７０を表し、
は空間位置決めベクトル７２の転置を表す。
[0098]ＨＯＡ生成ユニット２０８Ａは、１つまたは複数の他の構成要素に、生成されたＨＯＡ音場を提供し得る。たとえば、図４の例に示すように、ＨＯＡ生成ユニット２０８Ａは、レンダリングユニット２１０にＨＯＡ係数２１２Ａを提供し得る。
[0099]レンダリングユニット２１０は、複数のオーディオ信号を生成するためにＨＯＡ音場をレンダリングするように構成され得る。いくつかの例では、レンダリングユニット２１０は、図１のラウドスピーカー２４など、複数のローカルラウドスピーカーにおいて再生するためのオーディオ信号２６Ａを生成するために、ＨＯＡ音場のＨＯＡ係数２１２Ａをレンダリングし得る。複数のローカルラウドスピーカーがＬ個のラウドスピーカーを含む場合、オーディオ信号２６Ａは、ラウドスピーカー１〜Ｌを通じて再生するためにそれぞれインデントされたチャネルＣ1〜ＣLを含み得る。
[0100]レンダリングユニット２１０は、複数のローカルラウドスピーカーの位置を表し得るローカルラウドスピーカーセットアップ情報２８に基づいてオーディオ信号２６Ａを生成し得る。いくつかの例では、ローカルラウドスピーカーセットアップ情報２８は、ローカルレンダリングフォーマット
の形態であり得る。いくつかの例では、ローカルレンダリングフォーマット
は、ローカルレンダリング行列であり得る。いくつかの例では、ローカルラウドスピーカーセットアップ情報２８がローカルラウドスピーカーの各々の方位角および仰角の形態である場合などには、レンダリングユニット２１０は、ローカルラウドスピーカーセットアップ情報２８に基づいてローカルレンダリングフォーマット
を決定し得る。いくつかの例では、レンダリングユニット２１０は、式（２９）に従ってローカルラウドスピーカーセットアップ情報２８に基づいてオーディオ信号２６Ａを生成し得、ここで
はオーディオ信号２６Ａを表し、ＨはＨＯＡ係数２１２Ａを表し、
はローカルレンダリングフォーマット
の転置を表す。
[0101]いくつかの例では、ローカルレンダリングフォーマット
が、空間位置決めベクトル７２を決定するために使用されるソースレンダリングフォーマットＤと異なる場合がある。一例として、複数のローカルラウドスピーカーの位置が、複数のソースラウドスピーカーの位置と異なる場合がある。別の例として、複数のローカルラウドスピーカー内のラウドスピーカーの数が、複数のソースラウドスピーカー内のラウドスピーカーの数と異なる場合がある。別の例として、複数のローカルラウドスピーカーの位置が、複数のソースラウドスピーカーの位置と異なると同時に、複数のローカルラウドスピーカー内のラウドスピーカーの数が、複数のソースラウドスピーカー内のラウドスピーカーの数と異なる場合がある。
[0102]したがって、オーディオ復号デバイス２２Ａは、コーディングされたオーディオビットストリームを記憶するように構成されたメモリ（たとえば、メモリ２００）を含み得る。オーディオ復号デバイス２２Ａは、メモリに電気的に結合され、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号の表現（たとえば、ラウドスピーカー位置情報４８に対するコーディングされたオーディオ信号６２）をコーディングされたオーディオビットストリームから取得することと、ソースラウドスピーカー構成に基づく高次アンビソニックス（ＨＯＡ）領域内の複数の空間位置決めベクトル（ＳＰＶ）（たとえば、空間位置決めベクトル７２）の表現を取得することと、マルチチャネルオーディオ信号および複数の空間位置決めベクトルに基づいてＨＯＡ音場（たとえば、ＨＯＡ係数２１２Ａ）を生成することとを行うように構成された、１つまたは複数のプロセッサをさらに含み得る。
[0103]図５は、本開示の１つまたは複数の技法による、オーディオ符号化デバイス１４の例示的な実装形態を示すブロック図である。図５に示すオーディオ符号化デバイス１４の例示的な実装形態は、オーディオ符号化デバイス１４Ｂとラベル付けられる。オーディオ符号化デバイス１４Ｂは、オーディオ符号化ユニット５１と、ビットストリーム生成ユニット５２Ａと、メモリ５４とを含む。他の例では、オーディオ符号化デバイス１４Ｂは、より多数の、より少数の、または異なるユニットを含み得る。たとえば、オーディオ符号化デバイス１４Ｂはオーディオ符号化ユニット５１を含まないか、またはオーディオ符号化ユニット５１は、１つまたは複数のワイヤードもしくはワイヤレス接続を介してオーディオ符号化デバイス１４Ｂに接続された別個のデバイスメイビー内に実装され得る。
[0104]空間位置決めベクトルの表示を符号化することなく、コーディングされたオーディオ信号６２およびラウドスピーカー位置情報４８を符号化し得る図３のオーディオ符号化デバイス１４Ａとは対照的に、オーディオ符号化デバイス１４Ｂは、空間位置決めベクトルを決定し得るベクトル符号化ユニット６８を含む。いくつかの例では、ベクトル符号化ユニット６８は、ラウドスピーカー位置情報４８に基づいて空間位置決めベクトルを決定し、ビットストリーム生成ユニット５２Ｂによってビットストリーム５６Ｂに符号化するために空間ベクトル表現データ７１Ａを出力し得る。
[0105]いくつかの例では、ベクトル符号化ユニット６８は、コードブック内のインデックスとしてベクトル表現データ７１Ａを生成し得る。一例として、ベクトル符号化ユニット６８は、（たとえば、ラウドスピーカー位置情報４８に基づいて）動的に生成されるコードブック内のインデックスとしてベクトル表現データ７１Ａを生成し得る。動的に生成されるコードブック内のインデックスとしてベクトル表現データ７１Ａを生成するベクトル符号化ユニット６８の一例のさらなる詳細は、図６〜図８を参照しながら以下で説明される。別の例として、ベクトル符号化ユニット６８は、所定のソースラウドスピーカーセットアップに対する空間位置決めベクトルを含むコードブック内のインデックスとしてベクトル表現データ７１Ａを生成し得る。所定のソースラウドスピーカーセットアップに対する空間位置決めベクトルを含むコードブック内のインデックスとしてベクトル表現データ７１Ａを生成するベクトル符号化ユニット６８の一例のさらなる詳細は、図９を参照しながら以下で説明される。
[0106]ビットストリーム生成ユニット５２Ｂは、ビットストリーム５６Ｂ内のコーディングされたオーディオ信号６０および空間ベクトル表現データ７１Ａを表すデータを含み得る。いくつかの例では、ビットストリーム生成ユニット５２Ｂはまた、ビットストリーム５６Ｂ内のラウドスピーカー位置情報４８を表すデータを含み得る。図５の例では、メモリ５４は、ビットストリーム５６Ｂの少なくとも一部を、オーディオ符号化デバイス１４Ｂによる出力の前に記憶し得る。
[0107]したがって、オーディオ符号化デバイス１４Ｂは、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号（たとえば、ラウドスピーカー位置情報４８に対するマルチチャネルオーディオ信号５０）を受信することと、マルチチャネルオーディオ信号と組み合わせて、マルチチャネルオーディオ信号を表す高次アンビソニックス（ＨＯＡ）係数のセットを表す、高次アンビソニックス（ＨＯＡ）領域内の複数の空間位置決めベクトルをソースラウドスピーカー構成に基づいて取得することと、マルチチャネルオーディオ信号の表現（たとえば、コーディングされたオーディオ信号６２）および複数の空間位置決めベクトルの表示（たとえば、空間ベクトル表現データ７１Ａ）をコーディングされたオーディオビットストリーム（たとえば、ビットストリーム５６Ｂ）内で符号化することとを行うように構成された１つまたは複数のプロセッサを含み得る。さらに、オーディオ符号化デバイス１４Ｂは、１つまたは複数のプロセッサに電気的に結合され、コーディングされたオーディオビットストリームを記憶するように構成されたメモリ（たとえば、メモリ５４）を含み得る。
[0108]図６は、本開示の１つまたは複数の技法による、ベクトル符号化ユニット６８の例示的な実装形態を示すブロック図である。図６の例では、ベクトル符号化ユニット６８の例示的な実装形態は、ベクトル符号化ユニット６８Ａとラベル付けられる。図６の例では、ベクトル符号化ユニット６８Ａは、レンダリングフォーマットユニット１１０と、ベクトル生成ユニット１１２と、メモリ１１４と、表現ユニット１１５とを備える。さらに、図６の例に示すように、レンダリングフォーマットユニット１１０は、ソースラウドスピーカーセットアップ情報４８を受信する。
[0109]レンダリングフォーマットユニット１１０は、ソースレンダリングフォーマット１１６を決定するためにソースラウドスピーカーセットアップ情報４８を使用する。ソースレンダリングフォーマット１１６は、ソースラウドスピーカーセットアップ情報４８によって説明される方法で配置されたラウドスピーカーに対するラウドスピーカーフィードのセットにＨＯＡ係数のセットをレンダリングするためのレンダリング行列であり得る。レンダリングフォーマットユニット１１０は、様々な方法でソースレンダリングフォーマット１１６を決定し得る。たとえば、レンダリングフォーマットユニット１１０は、ＩＳＯ／ＩＥＣ ２３００８−３、「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ−Ｐａｒｔ ３： ３Ｄ ａｕｄｉｏ」、第１版、２０１５年（ｉｓｏ．ｏｒｇにおいて入手可能）で記述される技法を使用し得る。
[0110]レンダリングフォーマットユニット１１０がＩＳＯ／ＩＥＣ ２３００８−３で記述される技法を使用する一例では、ソースラウドスピーカーセットアップ情報４８は、ソースラウドスピーカーセットアップ内のラウドスピーカーの方向を指定する情報を含む。説明を簡単にするために、本開示は、ソースラウドスピーカーセットアップ内のラウドスピーカーを「ソースラウドスピーカー」と呼ぶ場合がある。したがって、ソースラウドスピーカーセットアップ情報４８は、Ｌ個のラウドスピーカーの方向を指定するデータを含んでよく、ここでＬはソースラウドスピーカーの数である。Ｌ個のラウドスピーカーの方向を指定するデータは、ＤLと示され得る。ソースラウドスピーカーの方向を指定するデータは、球面座標のペアとして表現され得る。したがって、
であり、球面角は
である。
は傾斜角を示し、
は、ｒａｄで表現され得る方位角の角度を示す。この例では、レンダリングフォーマットユニット１１０は、ソースラウドスピーカーが音響スイートスポットを中心とする球面配置を有すると仮定し得る。
[0111]この例では、レンダリングフォーマットユニット１１０は、ＨＯＡ次数および理想的な球面設計位置のセットに基づいて
で示されるモード行列を決定し得る。図７は、理想的な球面設計位置の例示的なセットを示す。図８は、理想的な球面設計位置の別の例示的なセットを示す表である。理想的な球面設計位置は
で示されてよく、ここでＳは理想的な球面設計位置の数であり、Ωs＝［θs，φs］である。モード行列は、
であり、
であるように定義されてよく、ここでｙsは、実数値の球面調和係数
を持つ。一般に、実数値の球面調和係数
は、式（３０）および（３１）に従って表され得る。
[0112]式（３０）および（３１）において、ルジャンドル関数Ｐn,m（ｘ）は、ルジャンドル多項式Ｐn（ｘ）を用いて、およびコンドンショートレー位相項（−１）mを用いないで、以下の式（３２）に従って定義され得る。
[0113]図７は、理想的な球面設計位置に対応するエントリを有する例示的な表１３０を提示する。図７の例では、表１３０の各行は、あらかじめ規定されたラウドスピーカー位置に対応する１つのエントリである。表１３０の列１３１は、ラウドスピーカーに対する理想的な方位角を度で指定する。表１３０の列１３２は、ラウドスピーカーに対する理想的な仰角を度で指定する。表１３０の列１３３および１３４は、ラウドスピーカーに対する方位角の角度の許容範囲を度で指定する。表１３０の列１３５および１３６は、ラウドスピーカーの仰角の角度の許容範囲を度で指定する。
[0114]図８は、理想的な球面設計位置に対応するエントリを有する別の例示的な表１４０の一部を提示する。図８に示さないが、表１４０は９００のエントリを含み、各々は、ラウドスピーカーロケーションの異なる方位角の角度φおよび仰角θを指定する。図８の例では、オーディオ符号化デバイス１４は、表１４０内のエントリのインデックスをシグナリングすることによってソースラウドスピーカーセットアップ内のラウドスピーカーの位置を指定し得る。たとえば、オーディオ符号化デバイス１４は、インデックス値４６をシグナリングすることによって、ソースラウドスピーカーセットアップ内のラウドスピーカーが方位角１．９６７７７８ラジアンおよび仰角０．４２８９６７におけるものであると指定し得る。
[0115]図６の例を参照すれば、ベクトル生成ユニット１１２は、ソースレンダリングフォーマット１１６を取得し得る。ベクトル生成ユニット１１２は、ソースレンダリングフォーマット１１６に基づいて空間ベクトル１１８のセットを決定し得る。いくつかの例では、ベクトル生成ユニット１１２によって生成された空間ベクトルの数は、ソースラウドスピーカーセットアップ内のラウドスピーカーの数と同等である。たとえば、ソースラウドスピーカーセットアップ内にＮ個のラウドスピーカーがある場合、ベクトル生成ユニット１１２はＮ個の空間ベクトルを決定し得る。ｎが１〜Ｎにわたる、ソースラウドスピーカーセットアップ内の各ラウドスピーカーｎに対して、ラウドスピーカーに対する空間ベクトルは、Ｖn＝［Ａn（ＤＤT）-1Ｄ］Tと同等であり得る。この式において、Ｄは行列として表されるソースレンダリングフォーマットであり、ＡnはＮに等しい数の要素の単一行からなる行列である（すなわち、ＡnはＮ次元ベクトルである）。Ａn内の各要素は、その値が１に等しい一要素を除いて０に等しい。１に等しい要素のＡn内の位置のインデックスはｎに等しい。したがって、ｎが１に等しいとき、Ａnは［１，０，０，．．．，０］に等しく、ｎが２に等しいとき、Ａnは［０，１，０，．．．，０］に等しく、以下同様である。
[0116]メモリ１１４はコードブック１２０を記憶し得る。メモリ１１４は、ベクトル符号化ユニット６８Ａから分離され、オーディオ符号化デバイス１４の汎用メモリの一部を形成し得る。コードブック１２０は、エントリのセットを含み、エントリのセットの各々は、それぞれのコード−ベクトルインデックスを空間ベクトル１１８のセットのそれぞれの空間ベクトルにマッピングする。以下の表は、例示的なコードブックである。この表において、各それぞれの行はそれぞれのエントリに対応し、Ｎはラウドスピーカーの数を示し、Ｄは行列として表されるソースレンダリングフォーマットを表す。
[0117]ソースラウドスピーカーセットアップの各それぞれのラウドスピーカーに対して、表現ユニット１１５は、それぞれのラウドスピーカーに対応するコード−ベクトルインデックスを出力する。たとえば、表現ユニット１１５は、第１のチャネルに対応するコード−ベクトルインデックスは２であり、第２のチャネルに対応するコード−ベクトルインデックスは４であり、以下同様であることを示すデータを出力し得る。コードブック１２０のコピーを有する復号デバイスは、ソースラウドスピーカーセットアップのラウドスピーカーに対する空間ベクトルを決定するためにコード−ベクトルインデックスを使用することが可能である。したがって、コード−ベクトルインデックスは、１つのタイプの空間ベクトル表現データである。上記で説明したように、ビットストリーム生成ユニット５２Ｂは、ビットストリーム５６Ｂ内に空間ベクトル表現データ７１Ａを含み得る。
[0118]さらに、いくつかの例では、表現ユニット１１５は、ソースラウドスピーカーセットアップ情報４８を取得し、空間ベクトル表現データ７１Ａ内にソースラウドスピーカーのロケーションを示すデータを含み得る。他の例では、表現ユニット１１５は、空間ベクトル表現データ７１Ａ内にソースラウドスピーカーのロケーションを示すデータを含まない。そうではなく、少なくともいくつかのそのような例では、ソースラウドスピーカーのロケーションは、オーディオ復号デバイス２２において事前設定され得る。
[0119]表現ユニット１１５が、空間ベクトル表現データ７１Ａ内のソースラウドスピーカーのロケーションを示すデータを含む場合の例では、表現ユニット１１５は、様々な方法でソースラウドスピーカーのロケーションを示し得る。一例では、ソースラウドスピーカーセットアップ情報４８は、５．１フォーマット、７．１フォーマット、または２２．２フォーマットなどのサラウンドサウンドフォーマットを指定する。この例では、ソースラウドスピーカーセットアップのラウドスピーカーの各々は、あらかじめ規定されたロケーションにおけるものである。したがって、表現ユニット１１５は、あらかじめ規定されたサラウンドサウンドフォーマットを示すデータを、空間表現データ１１５内に含み得る。あらかじめ規定されたサラウンドサウンドフォーマット内のラウドスピーカーはあらかじめ規定された位置にあるので、あらかじめ規定されたサラウンドサウンドフォーマットを示すデータは、オーディオ復号デバイス２２がコードブック１２０と一致するコードブックを生成するのに十分であり得る。
[0120]別の例では、ＩＳＯ／ＩＥＣ ２３００８−３は、異なるラウドスピーカーレイアウトに対する複数のＣＩＣＰスピーカーレイアウトインデックス値を定義する。この例では、ソースラウドスピーカーセットアップ情報４８は、ＩＳＯ／ＩＥＣ ２３００８−３において指定されるようにＣＩＣＰスピーカーレイアウトインデックス（ＣＩＣＰｓｐｅａｋｅｒＬａｙｏｕｔＩｄｘ）を指定する。レンダリングフォーマットユニット１１０は、ソースラウドスピーカーセットアップ内のラウドスピーカーのロケーションを、このＣＩＣＰスピーカーレイアウトインデックスに基づいて決定し得る。したがって、表現ユニット１１５は、ＣＩＣＰスピーカーレイアウトインデックスの表示を、空間ベクトル表現データ７１Ａ内に含み得る。
[0121]別の例では、ソースラウドスピーカーセットアップ情報４８は、ソースラウドスピーカーセットアップ内のラウドスピーカーの任意の数と、ソースラウドスピーカーセットアップ内のラウドスピーカーの任意のロケーションとを指定する。この例では、レンダリングフォーマットユニット１１０は、ソースラウドスピーカーセットアップ内のラウドスピーカーの任意の数およびソースラウドスピーカーセットアップ内のラウドスピーカーの任意のロケーションに基づいてソースレンダリングフォーマットを決定し得る。この例では、ソースラウドスピーカーセットアップ内のラウドスピーカーの任意のロケーションは、様々な方法で表現され得る。たとえば、表現ユニット１１５は、ソースラウドスピーカーセットアップ内のラウドスピーカーの球面座標を、空間ベクトル表現データ７１Ａ内に含み得る。別の例では、オーディオ符号化デバイス２０およびオーディオ復号デバイス２４は、複数のあらかじめ規定されたラウドスピーカー位置に対応するエントリを有する表を用いて構成される。図７および図８は、そのような表の例である。この例では、空間ベクトル表現データ７１Ａは、ラウドスピーカーの球面座標をさらに指定するのではなく、空間ベクトル表現データ７１Ａは代わりに、表内のエントリのインデックス値を示すデータを含み得る。インデックス値をシグナリングすることは、球面座標をシグナリングすることよりも効率的であり得る。
[0122]図９は、本開示の１つまたは複数の技法による、ベクトル符号化ユニット６８の例示的な実装形態を示すブロック図である。図９の例では、ベクトル符号化ユニット６８の例示的な実装形態は、ベクトル符号化ユニット６８Ｂとラベル付けられる。図９の例では、空間ベクトルユニット６８Ｂは、コードブックライブラリ１５０と選択ユニット１５４とを含む。コードブックライブラリ１５０は、メモリを使用して実装され得る。コードブックライブラリ１５０は、１つまたは複数のあらかじめ規定されたコードブック１５２Ａ〜１５２Ｎ（総称して「コードブック１５２」）を含む。コードブック１５２のうちの各それぞれのコードブックは、１つまたは複数のエントリのセットを含む。各それぞれのエントリは、それぞれのコード−ベクトルインデックスをそれぞれの空間ベクトルにマッピングする。
[0123]コードブック１５２のうちの各それぞれのコードブックは、異なるあらかじめ規定されたソースラウドスピーカーセットアップに対応する。たとえば、コードブックライブラリ１５０内の第１のコードブックは、２つのラウドスピーカーからなるソースラウドスピーカーセットアップに対応し得る。この例では、コードブックライブラリ１５０内の第２のコードブックは、５．１サラウンドサウンドフォーマットに対する標準的ロケーションに配置された５つのラウドスピーカーからなるソースラウドスピーカーセットアップに対応する。さらに、この例では、コードブックライブラリ１５０内の第３のコードブックは、７．１サラウンドサウンドフォーマットに対する標準的ロケーションに配置された７つのラウドスピーカーからなるソースラウドスピーカーセットアップに対応する。この例では、コードブックライブラリ１００内の第４のコードブックは、２２．２サラウンドサウンドフォーマットに対する標準的ロケーションに配置された２２個のラウドスピーカーからなるソースラウドスピーカーセットアップに対応する。他の例は、前の例において述べたものより多数の、より少数の、または異なるコードブックを含み得る。
[0124]図９の例では、選択ユニット１５４は、ソースラウドスピーカーセットアップ情報４８を受信する。一例では、ソースラウドスピーカー情報４８は、５．１、７．１、２２．２およびその他のようなあらかじめ規定されたサラウンドサウンドフォーマットを特定する情報からなるかまたはそれを備える場合がある。別の例では、ソースラウドスピーカー情報４８は、ラウドスピーカーの別のタイプのあらかじめ規定された数および配置を特定する情報からなるかまたはそれを備える。
[0125]選択ユニット１５４は、コードブック１５２のうちのどのコードブックが、オーディオ復号デバイス２４によって受信されたオーディオ信号に適用可能であるかを、ソースラウドスピーカーセットアップ情報に基づいて特定する。図９の例では、選択ユニット１５４は、オーディオ信号５０のうちのどのオーディオ信号が特定されたコードブック内のどのエントリに対応するかを示す空間ベクトル表現データ７１Ａを出力する。たとえば、選択ユニット１５４は、オーディオ信号５０の各々に対するコード−ベクトルインデックスを出力し得る。
[0126]いくつかの例では、ベクトル符号化ユニット６８は、図６のあらかじめ規定されたコードブック手法と図９の動的コードブック手法のハイブリッドを採用する。たとえば、本開示の他の場所で説明するように、チャネルベースオーディオが使用される場合、各それぞれのチャネルはソースラウドスピーカーセットアップのそれぞれのラウドスピーカーに対応し、ベクトル符号化ユニット６８は、ソースラウドスピーカーセットアップのうちの各それぞれのラウドスピーカーに対するそれぞれの空間ベクトルを決定する。そのような例のいくつかにおいて、チャネルベースオーディオが使用される場合などには、ベクトル符号化ユニット６８は、ソースラウドスピーカーセットアップの特定のラウドスピーカーの空間ベクトルを決定するために、１つまたは複数のあらかじめ規定されたコードブックを使用し得る。ベクトル符号化ユニット６８は、ソースラウドスピーカーセットアップに基づいてソースレンダリングフォーマットを決定し、ソースラウドスピーカーセットアップの他のラウドスピーカーに対する空間ベクトルを決定するために、ソースレンダリングフォーマットを使用し得る。
[0127]図１０は、本開示の１つまたは複数の技法による、オーディオ復号デバイス２２の例示的な実装形態を示すブロック図である。図５に示すオーディオ復号デバイス２２の例示的な実装形態は、オーディオ復号デバイス２２Ｂとラベル付けられる。図１０のオーディオ復号デバイス２２の実装形態は、メモリ２００と、逆多重化ユニット２０２Ｂと、オーディオ復号ユニット２０４と、ベクトル生成ユニット２０７と、ＨＯＡ生成ユニット２０８Ａと、レンダリングユニット２１０とを含む。他の例では、オーディオ復号デバイス２２Ｂは、より多数の、より少数の、または異なるユニットを含み得る。たとえば、レンダリングユニット２１０は、ラウドスピーカー、ヘッドフォンユニット、またはオーディオベースもしくはサテライトデバイスなど、別個のデバイス内に実装され、１つまたは複数のワイヤードもしくはワイヤレス接続を介してオーディオ復号デバイス２２Ｂに接続され得る。
[0128]空間位置決めベクトルの表示を受信することなくラウドスピーカー位置情報４８に基づいて空間位置決めベクトル７２を生成し得る図４のオーディオ復号デバイス２２Ａとは対照的に、オーディオ復号デバイス２２Ｂは、受信された空間ベクトル表現データ７１Ａに基づいて空間位置決めベクトル７２を決定し得るベクトル復号ユニット２０７を含む。
[0129]いくつかの例では、ベクトル復号ユニット２０７は、空間ベクトル表現データ７１Ａによって表されるコードブックインデックスに基づいて空間位置決めベクトル７２を決定し得る。一例として、ベクトル復号ユニット２０７は、（たとえば、ラウドスピーカー位置情報４８に基づいて）動的に生成されるコードブック内のインデックスから空間位置決めベクトル７２を決定し得る。動的に生成されるコードブック内のインデックスから空間位置決めベクトルを決定するベクトル復号ユニット２０７の一例のさらなる詳細は、図１１を参照しながら以下で説明される。別の例として、ベクトル復号ユニット２０７は、所定のソースラウドスピーカーセットアップに対する空間位置決めベクトルを含むコードブック内のインデックスから空間位置決めベクトル７２を決定し得る。所定のソースラウドスピーカーセットアップに対する空間位置決めベクトルを含むコードブック内のインデックスから空間位置決めベクトルを決定するベクトル復号ユニット２０７の一例のさらなる詳細は、図１２を参照しながら以下で説明される。
[0130]いずれの場合も、ベクトル復号ユニット２０７は、ＨＯＡ生成ユニット２０８Ａなど、オーディオ復号デバイス２２Ｂの１つまたは複数の他の構成要素に空間位置決めベクトル７２を提供し得る。
[0131]したがって、オーディオ復号デバイス２２Ｂは、コーディングされたオーディオビットストリームを記憶するように構成されたメモリ（たとえば、メモリ２００）を含み得る。オーディオ復号デバイス２２Ｂは、メモリに電気的に結合され、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号の表現（たとえば、ラウドスピーカー位置情報４８に対するコーディングされたオーディオ信号６２）をコーディングされたオーディオビットストリームから取得することと、ソースラウドスピーカー構成に基づく高次アンビソニックス（ＨＯＡ）領域内の複数の空間位置決めベクトル（ＳＰＶ）（たとえば、空間位置決めベクトル７２）の表現を取得することと、マルチチャネルオーディオ信号および複数の空間位置決めベクトルに基づいてＨＯＡ音場（たとえば、ＨＯＡ係数２１２Ａ）を生成することとを行うように構成された、１つまたは複数のプロセッサをさらに含み得る。
[0132]図１１は、本開示の１つまたは複数の技法による、ベクトル復号ユニット２０７の例示的な実装形態を示すブロック図である。図１１の例では、ベクトル復号ユニット２０７の例示的な実装形態は、ベクトル復号ユニット２０７Ａとラベル付けられる。図１１の例では、ベクトル復号ユニット２０７は、レンダリングフォーマットユニット２５０と、ベクトル生成ユニット２５２と、メモリ２５４と、再構成ユニット２５６とを含む。他の例では、ベクトル復号ユニット２０７は、より多数の、より少数の、または異なる構成要素を含み得る。
[0133]レンダリングフォーマットユニット２５０は、図６のレンダリングフォーマットユニット１１０の方法と同様の方法で動作し得る。レンダリングフォーマットユニット１１０と同様に、レンダリングフォーマットユニット２５０は、ソースラウドスピーカーセットアップ情報４８を受信し得る。いくつかの例では、ソースラウドスピーカーセットアップ情報４８はビットストリームから取得される。他の例では、ソースラウドスピーカーセットアップ情報４８は、オーディオ復号デバイス２２において事前設定される。さらに、レンダリングフォーマットユニット１１０と同様に、レンダリングフォーマットユニット２５０は、ソースレンダリングフォーマット２５８を生成し得る。ソースレンダリングフォーマット２５８は、レンダリングフォーマットユニット１１０によって生成されるソースレンダリングフォーマット１１６と一致し得る。
[0134]ベクトル生成ユニット２５２は、図６のベクトル生成ユニット１１２の方法と同様の方法で動作し得る。ベクトル生成ユニット２５２は、空間ベクトル２６０のセットを決定するためにソースレンダリングフォーマット２５８を使用し得る。空間ベクトル２６０は、ベクトル生成ユニット１１２によって生成される空間ベクトル１１８と一致し得る。メモリ２５４はコードブック２６２を記憶し得る。メモリ２５４は、ベクトル復号２０６から分離され得、オーディオ復号デバイス２２の汎用メモリの一部を形成し得る。コードブック２６２は、エントリのセットを含み、エントリのセットの各々は、それぞれのコード−ベクトルインデックスを空間ベクトル２６０のセットのそれぞれの空間ベクトルにマッピングする。コードブック２６２は、図６のコードブック１２０と一致し得る。
[0135]再構成ユニット２５６は、ソースラウドスピーカーセットアップの特定のラウドスピーカーに対応するとして特定される空間ベクトルを出力し得る。たとえば、再構成ユニット２５６は、空間ベクトル７２を出力し得る。
[0136]図１２は、本開示の１つまたは複数の技法による、ベクトル復号ユニット２０７の代替実装形態を示すブロック図である。図１２の例では、ベクトル復号ユニット２０７の例示的な実装形態は、ベクトル復号ユニット２０７Ｂとラベル付けられる。ベクトル復号ユニット２０７は、コードブックライブラリ３００と再構成ユニット３０４とを含む。コードブックライブラリ３００は、メモリを使用して実装され得る。コードブックライブラリ３００は、１つまたは複数のあらかじめ規定されたコードブック３０２Ａ〜３０２Ｎ（総称して「コードブック３０２」）を含む。コードブック３０２のうちの各それぞれのコードブックは、１つまたは複数のエントリのセットを含む。各それぞれのエントリは、それぞれのコード−ベクトルインデックスをそれぞれの空間ベクトルにマッピングする。コードブックライブラリ３００は、図９のコードブックライブラリ１５０と一致し得る。
[0137]図１２の例では、再構成ユニット３０４は、ソースラウドスピーカーセットアップ情報４８を取得する。図９の選択ユニット１５４と同様の方法で、再構成ユニット３０４は、コードブックライブラリ３００内の適用可能なコードブックを特定するためにソースラウドスピーカーセットアップ情報４８を使用し得る。再構成ユニット３０４は、ソースラウドスピーカーセットアップ情報のラウドスピーカーに対して適用可能なコードブック内で指定される空間ベクトルを出力し得る。
[0138]図１３は、本開示の１つまたは複数の技法による、オーディオ符号化デバイス１４がオブジェクトベースオーディオデータを符号化するように構成される、オーディオ符号化デバイス１４の例示的な実装形態を示すブロック図である。図１３に示すオーディオ符号化デバイス１４の例示的な実装形態は、１４Ｃとラベル付けられる。図１３の例では、オーディオ符号化デバイス１４Ｃは、ベクトル符号化ユニット６８Ｃと、ビットストリーム生成ユニット５２Ｃと、メモリ５４とを含む。
[0139]図１３の例では、ベクトル符号化ユニット６８Ｃは、ソースラウドスピーカーセットアップ情報４８を取得する。加えて、ベクトル符号化ユニット５８Ｃは、オーディオオブジェクト位置情報３５０を取得する。オーディオオブジェクト位置情報３５０は、オーディオオブジェクトの仮想位置を指定する。ベクトル符号化ユニット６８Ｂは、オーディオオブジェクトに対する空間ベクトル表現データ７１Ｂを決定するためにソースラウドスピーカーセットアップ情報４８とオーディオオブジェクト位置情報３５０とを使用する。以下で詳細に説明する図１４は、ベクトル符号化ユニット６８Ｃの例示的な実装形態を説明する。
[0140]ビットストリーム生成ユニット５２Ｃは、オーディオオブジェクトに対するオーディオ信号５０Ｂを取得する。ビットストリーム生成ユニット５２Ｃは、ビットストリーム５６Ｃ内のオーディオ信号５０Ｃおよび空間ベクトル表現データ７１Ｂを表すデータを含み得る。いくつかの例では、ビットストリーム生成ユニット５２Ｃは、ＭＰ３、ＡＡＣ、Ｖｏｒｂｉｓ、ＦＬＡＣ、およびＯｐｕｓなど、知られているオーディオ圧縮フォーマットを使用してオーディオ信号５０Ｂを符号化し得る。いくつかの例では、ビットストリーム生成ユニット５２Ｃは、オーディオ信号５０Ｂを１つの圧縮フォーマットから別の圧縮フォーマットにコード変換し得る。いくつかの例では、オーディオ符号化デバイス１４Ｃは、オーディオ信号５０Ｂを圧縮および／またはコード変換するために、図３および図５のオーディオ符号化ユニット５１などのオーディオ符号化ユニットを含み得る。図１３の例では、メモリ５４は、ビットストリーム５６Ｃの少なくとも一部を、オーディオ符号化デバイス１４Ｃによる出力の前に記憶する。
[0141]したがって、オーディオ符号化デバイス１４Ｃは、時間間隔の間のオーディオオブジェクトのオーディオ信号（たとえば、オーディオ信号５０Ｂ）と、オーディオオブジェクトの仮想ソースロケーションを示すデータ（たとえば、オーディオオブジェクト位置情報３５０）とを記憶するように構成されたメモリを含む。さらに、オーディオ符号化デバイス１４Ｃは、メモリに電気的に結合された１つまたは複数のプロセッサを含む。１つまたは複数のプロセッサは、ＨＯＡ領域内のオーディオオブジェクトの空間ベクトルを、オーディオオブジェクトに対する仮想ソースロケーションを示すデータおよび複数のラウドスピーカーロケーションを示すデータ（たとえば、ソースラウドスピーカーセットアップ情報４８）に基づいて決定するように構成される。さらに、いくつかの例では、オーディオ符号化デバイス１４Ｃは、オーディオ信号を表すデータと空間ベクトルを表すデータとを、ビットストリーム内に含み得る。いくつかの例では、オーディオ信号を表すデータは、ＨＯＡ領域内のデータの表現ではない。さらに、いくつかの例では、時間間隔の間にオーディオ信号を含む音場を記述するＨＯＡ係数のセットは、オーディオ信号に空間ベクトルの転置を乗じたものに等しいかまたは同等である。
[0142]加えて、いくつかの例では、空間ベクトル表現データ７１Ｂは、ソースラウドスピーカーセットアップ内のラウドスピーカーのロケーションを示すデータを含み得る。ビットストリーム生成ユニット５２Ｃは、ビットストリーム５６Ｃ内のソースラウドスピーカーセットアップのラウドスピーカーのロケーションを表すデータを含み得る。他の例では、ビットストリーム生成ユニット５２Ｃは、ビットストリーム５６Ｃ内のソースラウドスピーカーセットアップのラウドスピーカーのロケーションを表すデータを含まない。
[0143]図１４は、本開示の１つまたは複数の技法による、オブジェクトベースオーディオデータに対するベクトル符号化ユニット６８Ｃの例示的な実装形態を示すブロック図である。図１４の例では、ベクトル符号化ユニット６８Ｃは、レンダリングフォーマットユニット４００と、中間ベクトルユニット４０２と、ベクトル確定ユニット４０４と、利得決定ユニット４０６と、量子化ユニット４０８とを含む。
[0144]図１４の例では、レンダリングフォーマットユニット４００は、ソースラウドスピーカーセットアップ情報４８を取得する。レンダリングフォーマットユニット４００は、ソースラウドスピーカーセットアップ情報４８に基づいてソースレンダリングフォーマット４１０を決定する。レンダリングフォーマットユニット４００は、本開示における他の場所で提供される例のうちの１つまたは複数に従ってソースレンダリングフォーマット４１０を決定し得る。
[0145]図１４の例では、中間ベクトルユニット４０２は、ソースレンダリングフォーマット４１０に基づいて中間空間ベクトル４１２のセットを決定する。中間空間ベクトル４１２のセットの各それぞれの中間空間ベクトルは、ソースラウドスピーカーセットアップのそれぞれのラウドスピーカーに対応する。たとえば、ソースラウドスピーカーセットアップ内にＮ個のラウドスピーカーがある場合、中間ベクトルユニット４０２はＮ個の中間空間ベクトルを決定する。ｎが１〜Ｎにわたる、ソースラウドスピーカーセットアップ内の各ラウドスピーカーｎに対して、ラウドスピーカーに対する中間空間ベクトルは、Ｖn＝［Ａn（ＤＤT）-1Ｄ］Tに等しい。この式において、Ｄは行列として表されるソースレンダリングフォーマットであり、ＡnはＮに等しい数の要素の単一行からなる行列である。Ａn内の各要素は、その値が１に等しい一要素を除いて０に等しい。１に等しい要素のＡn内の位置のインデックスはｎに等しい。
[0146]さらに、図１４の例では、利得決定ユニット４０６は、ソースラウドスピーカーセットアップ情報４８とオーディオオブジェクトロケーションデータ４９とを取得する。オーディオオブジェクトロケーションデータ４９は、オーディオオブジェクトの仮想ロケーションを指定する。たとえば、オーディオオブジェクトロケーションデータ４９は、オーディオオブジェクトの球面座標を指定し得る。図１４の例では、利得決定ユニット４０６は、利得係数４１６のセットを決定する。利得係数４１６のセットの各それぞれの利得係数は、ソースラウドスピーカーセットアップのそれぞれのラウドスピーカーに対応する。利得決定ユニット４０６は、利得係数４１６を決定するためにベクトルベース振幅パニング（ＶＢＡＰ：vector base amplitude panning）を使用し得る。ＶＢＡＰは、ラウドスピーカーが聴取位置から同じ距離にあることが仮定される任意のラウドスピーカーセットアップを用いて仮想オーディオソースを設置するために使用され得る。Ｐｕｌｋｋｉ、「Ｖｉｒｔｕａｌ Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｐｏｓｉｔｉｏｎｉｎｇ Ｕｓｉｎｇ Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ」、オーディオ技術学会ジャーナル、第４５巻、第６号、１９９７年６月は、ＶＢＡＰの記述を提供している。
[0147]図１５は、ＶＢＡＰを示す概念図である。ＶＢＡＰでは、３つのスピーカーによって出力されるオーディオ信号に適用される利得係数はリスナーを錯覚させて、オーディオ信号が３つのラウドスピーカーの間のアクティブな（active）三角形４５２内に位置する仮想ソース位置４５０から到来していると思わせる。仮想ソース位置４５０は、オーディオオブジェクトのロケーション座標によって示される位置であり得る。たとえば、図１５の例では、仮想ソース位置４５０は、ラウドスピーカー４５４Ｂよりもラウドスピーカー４５４Ａに近い。したがって、ラウドスピーカー４５４Ａに対する利得係数は、ラウドスピーカー４５４Ｂに対する利得係数よりも大きくてよい。より多数のラウドスピーカーまたは２つのラウドスピーカーを有する他の例が可能である。
[0148]ＶＢＡＰは、利得係数４１６を計算するために幾何学的手法を使用する。図１５のような例では、３つのラウドスピーカーが各オーディオオブジェクトに対して使用される場合、３つのラウドスピーカーは、ベクトル基底を形成するために三角形内に配置される。各ベクトル基底は、ラウドスピーカー番号ｋ、ｍ、ｎおよび単位長に正規化されたデカルト座標で与えられるラウドスピーカー位置ベクトルＩk、ＩmおよびＩnによって特定される。ラウドスピーカーｋ、ｍおよびｎに対するベクトル基底は、 Ｉk,m,n＝（Ｉk，Ｉm，Ｉn） （３３） によって定義され得る。オーディオオブジェクトの所望の方向Ω＝（θ，φ）は、方位角の角度φおよび仰角の角度θとして与えられ得る。θ，φは、オーディオオブジェクトのロケーション座標であり得る。したがって、デカルト座標内の仮想ソースの単位長位置ベクトルｐ（Ω）は、 Ｐ（Ω）＝（ｃｏｓφｓｉｎθ，ｓｉｎφｓｉｎθ，ｃｏｓθ）T によって定義される。
[0149]仮想ソース位置は、ベクトル基底および利得係数
を用いて
によって表され得る。
[0150]ベクトル基底行列を反転することによって、要求される利得係数は、
によって計算され得る。
[0151]使用されるべきベクトル基底は、式（３６）に従って決定される。最初に、利得は、すべてのベクトル基底に対して式（３６）に従って計算される。その後、各ベクトル基底に対して、利得係数の最小値が、
によって評価される。
が最高値を有するベクトル基底が使用される。一般に、利得係数は、負になることを許可されない。聴取室内音響に応じて、利得係数は、エネルギー保存に対して正規化され得る。
[0152]図１４の例では、ベクトル確定ユニット４０４は、利得係数４１６を取得する。ベクトル確定ユニット４０４は、オーディオオブジェクトに対する空間ベクトル４１８を、中間空間ベクトル４１２および利得係数４１６に基づいて生成する。いくつかの例では、ベクトル確定ユニット４０４は、次式
を使用して空間ベクトルを決定する。上記の式では、Ｖは空間ベクトルであり、Ｎはソースラウドスピーカーセットアップ内のラウドスピーカーの数であり、ｇiはラウドスピーカーｉに対する利得係数であり、Ｉiはラウドスピーカーｉに対する中間空間ベクトルである。利得決定ユニット４０６が３つのラウドスピーカーを有するＶＢＡＰを使用するいくつかの例では、利得係数ｇiのうちの３つだけが非ゼロである。
[0153]したがって、ベクトル確定ユニット４０４が式（３７）を使用して空間ベクトル４１８を決定する例では、空間ベクトル４１８は、複数のオペランドの合計と同等である。複数のオペランドのうちの各それぞれのオペランドは、複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応する。複数のラウドスピーカーロケーションのうちの各それぞれのラウドスピーカーロケーションに対して、複数のラウドスピーカーロケーションベクトルは、それぞれのラウドスピーカーロケーションに対して１つのラウドスピーカーロケーションベクトルを含む。さらに、複数のラウドスピーカーロケーションのうちの各それぞれのラウドスピーカーロケーションに対して、それぞれのラウドスピーカーロケーションに対応するオペランドは、それぞれのラウドスピーカーロケーションに対する利得係数に、それぞれのラウドスピーカーロケーションに対するラウドスピーカーロケーションベクトルを乗じたものと同等である。この例では、それぞれのラウドスピーカーロケーションに対する利得係数は、それぞれのラウドスピーカーロケーションにおけるオーディオ信号に対するそれぞれの利得を示す。
[0154]したがって、この例では、空間ベクトル４１８は、複数のオペランドの合計と同等である。複数のオペランドのうちの各それぞれのオペランドは、複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応する。複数のラウドスピーカーロケーションのうちの各それぞれのラウドスピーカーロケーションに対して、複数のラウドスピーカーロケーションベクトルは、それぞれのラウドスピーカーロケーションに対する１つのラウドスピーカーロケーションベクトルを含む。さらに、それぞれのラウドスピーカーロケーションに対応するオペランドは、それぞれのラウドスピーカーロケーションに対する利得係数に、それぞれのラウドスピーカーロケーションに対するラウドスピーカーロケーションベクトルを乗じたものと同等である。この例では、それぞれのラウドスピーカーロケーションに対する利得係数は、それぞれのラウドスピーカーロケーションにおけるオーディオ信号に対するそれぞれの利得を示す。
[0155]要約するために、いくつかの例では、ベクトル符号化ユニット６８Ｃのレンダリングフォーマットユニット４００は、ＨＯＡ係数のセットをソースラウドスピーカーロケーションにおけるラウドスピーカーに対するラウドスピーカーフィードにレンダリングするためのレンダリングフォーマットを決定し得る。加えて、ベクトル確定ユニット４０４は、複数のラウドスピーカーロケーションベクトルを決定し得る。複数のラウドスピーカーロケーションベクトルのうちの各それぞれのラウドスピーカーロケーションベクトルは、複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応し得る。複数のラウドスピーカーロケーションベクトルを決定するために、利得決定ユニット４０６は、複数のラウドスピーカーロケーションの各それぞれのラウドスピーカーロケーションに対して、それぞれのラウドスピーカーロケーションに対する利得係数を、オーディオオブジェクトのロケーション座標に基づいて決定し得る。それぞれのラウドスピーカーロケーションに対する利得係数は、それぞれのラウドスピーカーロケーションにおけるオーディオ信号に対するそれぞれの利得を示し得る。加えて、複数のラウドスピーカーロケーションの各それぞれのラウドスピーカーロケーションに対して、オーディオオブジェクトのロケーション座標に基づいて決定し、中間ベクトルユニット４０２は、それぞれのラウドスピーカーロケーションに対応するラウドスピーカーロケーションベクトルを、レンダリングフォーマットに基づいて決定し得る。ベクトル確定ユニット４０４は、複数のオペランドの合計として空間ベクトルを決定してよく、複数のオペランドのうちの各それぞれのオペランドは、複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応する。複数のラウドスピーカーロケーションのうちの各それぞれのラウドスピーカーロケーションに対して、それぞれのラウドスピーカーロケーションに対応するオペランドは、それぞれのラウドスピーカーロケーションに対する利得係数に、それぞれのラウドスピーカーロケーションに対応するラウドスピーカーロケーションベクトルを乗じたものと同等である。
[0156]量子化ユニット４０８は、オーディオオブジェクトに対する空間ベクトルを量子化する。たとえば、量子化ユニット４０８は、本開示の他の場所で説明するベクトル量子化技法に従って空間ベクトルを量子化し得る。たとえば、量子化ユニット４０８は、スカラー量子化、ハフマンコーディングを用いるスカラー量子化、または図１７に関して説明するベクトル量子化技法を使用して空間ベクトル４１８を量子化し得る。したがって、ビットストリーム７０Ｃ内に含まれる空間ベクトルを表すデータは、量子化空間ベクトルである。
[0157]上記で説明したように、空間ベクトル４１８は、複数のオペランドの合計に等しいかまたは同等であり得る。本開示の目的に対して、以下の（１）第１の要素の値は第２の要素の値に数学的に等しい、（２）（たとえば、ビット深度、レジスタ限度、浮動小数点表現、固定小数点表現、２進化１０進表現などによって）丸められたときの第１の要素の値は、（たとえば、ビット深度、レジスタ限度、浮動小数点表現、固定小数点表現、２進化１０進表現などによって）丸められたときの第２の要素の値と同じである、または（３）第１の要素の値は第２の要素の値と同一である、のうちのいずれかが真である場合、第１の要素は第２の要素と等価であると見なされ得る。
[0158]図１６は、本開示の１つまたは複数の技法による、オーディオ復号デバイス２２がオブジェクトベースオーディオデータを復号するように構成される、オーディオ復号デバイス２２の例示的な実装形態を示すブロック図である。図１６に示すオーディオ復号デバイス２２の例示的な実装形態は、２２Ｃとラベル付けられる。図１６の例では、オーディオ復号デバイス２２Ｃは、メモリ２００と、逆多重化ユニット２０２Ｃと、オーディオ復号ユニット６６と、ベクトル復号ユニット２０９と、ＨＯＡ生成ユニット２０８Ｂと、レンダリングユニット２１０とを含む。一般に、メモリ２００、逆多重化ユニット２０２Ｃ、オーディオ復号ユニット６６、ＨＯＡ生成ユニット２０８Ｂ、およびレンダリングユニット２１０は、図１０の例のメモリ２００、逆多重化ユニット２０２Ｂ、オーディオ復号ユニット２０４、ＨＯＡ生成ユニット２０８Ａ、およびレンダリングユニット２１０に関して説明した方法と同様の方法で動作し得る。他の例では、図１４に関して説明したオーディオ復号デバイス２２の実装形態は、より多数の、より小数の、または異なるユニットを含み得る。たとえば、レンダリングユニット２１０は、ラウドスピーカー、ヘッドフォンユニットまたはオーディオベースもしくはサテライトデバイスなど、別個のデバイス内に実装され得る。
[0159]図１６の例では、オーディオ復号デバイス２２Ｃは、ビットストリーム５６Ｃを取得する。ビットストリーム５６Ｃは、オーディオオブジェクトの符号化されたオブジェクトベースオーディオ信号とオーディオオブジェクトの空間ベクトルを表すデータとを含み得る。図１６の例では、オブジェクトベースオーディオ信号は、ＨＯＡ領域内のデータに基づかず、そのデータから導出されず、そのデータを表さない。しかしながら、オーディオオブジェクトの空間ベクトルは、ＨＯＡ領域内にある。図１６の例では、メモリ２００は、ビットストリーム５６Ｃの少なくとも部分を記憶するように構成され、したがって、オーディオオブジェクトのオーディオ信号を表すデータとオーディオオブジェクトの空間ベクトルを表すデータとを記憶するように構成される。
[0160]逆多重化ユニット２０２Ｃは、ビットストリーム５６Ｃから空間ベクトル表現データ７１Ｂを取得し得る。空間ベクトル表現データ７１Ｂは、各オーディオオブジェクトに対する空間ベクトルを表すデータを含む。したがって、逆多重化ユニット２０２Ｃは、オーディオオブジェクトのオーディオ信号を表すデータをビットストリーム５６Ｃから取得し、オーディオオブジェクトに対する空間ベクトルを表すデータをビットストリーム５６Ｃから取得し得る。空間ベクトルを表すデータが量子化される場合などの例では、ベクトル復号ユニット２０９は、オーディオオブジェクトの空間ベクトル７２を決定するために空間ベクトルを逆量子化し得る。
[0161]次いで、ＨＯＡ生成ユニット２０８Ｂは、図１０に関して説明した方法で空間ベクトル７２を使用し得る。たとえば、ＨＯＡ生成ユニット２０８Ｂは、空間ベクトル７２およびオーディオ信号７０に基づいて、ＨＯＡ音場、そのようなＨＯＡ係数２１２Ｂを生成し得る。
[0162]したがって、オーディオ復号デバイス２２Ｂは、ビットストリームを記憶するように構成されたメモリ５８を含む。加えて、オーディオ復号デバイス２２Ｂは、メモリに電気的に結合された１つまたは複数のプロセッサを含む。１つまたは複数のプロセッサは、オーディオオブジェクトのオーディオ信号をビットストリーム内のデータに基づいて決定するように構成され、オーディオ信号は時間間隔に対応する。さらに、１つまたは複数のプロセッサは、オーディオオブジェクトに対する空間ベクトルを、ビットストリーム内のデータに基づいて決定するように構成される。この例では、空間ベクトルは、ＨＯＡ領域内で定義される。さらに、いくつかの例では、１つまたは複数のプロセッサは、オーディオオブジェクトのオーディオ信号および空間ベクトルを、時間間隔の間の音場を記述するＨＯＡ係数２１２Ｂのセットに変換する。本開示の他の場所で説明するように、ＨＯＡ生成ユニット２０８Ｂは、ＨＯＡ係数のセットが、オーディオ信号に空間ベクトルの転置を乗じたものと等価になるように、ＨＯＡ係数のセットを決定し得る。
[0163]図１６の例では、レンダリングユニット２１０は、図１０のレンダリングユニット２１０と同様の方法で動作し得る。たとえば、レンダリングユニット２１０は、レンダリングフォーマット（たとえば、ローカルレンダリング行列）をＨＯＡ係数２１２Ｂに適用することによって複数のオーディオ信号２６を生成し得る。複数のオーディオ信号２６のうちの各それぞれのオーディオ信号は、図１のラウドスピーカー２４など、複数のラウドスピーカー内のそれぞれのラウドスピーカーに対応し得る。
[0164]いくつかの例では、レンダリングユニット２１０Ｂは、ローカルラウドスピーカーセットアップのロケーションを示す情報２８に基づいてローカルレンダリングフォーマットを適応させ得る。レンダリングユニット２１０Ｂは、図１９に関して以下で説明する方法でローカルレンダリングフォーマットを適応させ得る。
[0165]図１７は、本開示の１つまたは複数の技法による、オーディオ符号化デバイス１４が空間ベクトルを量子化するように構成される、オーディオ符号化デバイス１４の例示的な実装形態を示すブロック図である。図１７に示すオーディオ符号化デバイス１４の例示的な実装形態は、１４Ｄとラベル付けられる。図１７の例では、オーディオ符号化デバイス１４Ｄは、ベクトル符号化ユニット６８Ｄと、量子化ユニット５００と、ビットストリーム生成ユニット５２Ｄと、メモリ５４とを含む。
[0166]図１７の例では、ベクトル符号化ユニット６８Ｄは、図５および／または図１３に関して上記で説明した方法と同様の方法で動作し得る。たとえば、オーディオ符号化デバイス１４Ｄがチャネルベースオーディオを符号化している場合、ベクトル符号化ユニット６８Ｄは、ソースラウドスピーカーセットアップ情報４８を取得し得る。ベクトル符号化ユニット６８は、ソースラウドスピーカーセットアップ情報４８によって指定されるラウドスピーカーの位置に基づいて空間ベクトルのセットを決定し得る。オーディオ符号化デバイス１４Ｄがオブジェクトベースオーディオを符号化している場合、ベクトル符号化ユニット６８Ｄは、ソースラウドスピーカーセットアップ情報４８に加えて、オーディオオブジェクト位置情報３５０を取得し得る。オーディオオブジェクト位置情報４９は、オーディオオブジェクトの仮想ソースロケーションを指定し得る。この例では、空間ベクトルユニット６８Ｄは、図１３の例に示すベクトル符号化ユニット６８Ｃがオーディオオブジェクトに対する空間ベクトルを決定するのとほとんど同じ方法でオーディオオブジェクトに対する空間ベクトルを決定し得る。いくつかの例では、空間ベクトルユニット６８Ｄは、チャネルベースオーディオとオブジェクトベースオーディオの両方に対する空間ベクトルを決定するように構成される。他の例では、ベクトル符号化ユニット６８Ｄは、チャネルベースオーディオまたはオブジェクトベースオーディオの一方のみに対する空間ベクトルを決定するように構成される。
[0167]オーディオ符号化デバイス１４Ｄの量子化ユニット５００は、ベクトル符号化ユニット６８Ｃによって決定された空間ベクトルを量子化する。量子化ユニット５００は、空間ベクトルを量子化するために様々な量子化技法を使用し得る。量子化ユニット５００は、単一の量子化技法だけを実行するように構成されてもよく、または複数の量子化技法を実行するように構成されてもよい。量子化ユニット５００が複数の量子化技法を実行するように構成される場合の例では、量子化ユニット５００は、量子化技法のうちのどの技法を使用すべきかを示すデータを受信してもよく、または量子化技法のうちのどの技法を適用すべきかを内部で決定してもよい。
[0168]例示的な一量子化技法では、空間ベクトルは、チャネルについてベクトル符号化ユニット６８Ｄによって生成され得、またはオブジェクトｉはＶiで示される。この例では、量子化ユニット５００は、
がＶi／｜｜Ｖi｜｜と等価になるように中間空間ベクトル
を計算してよく、ここで｜｜Ｖi｜｜は量子化ステップサイズであり得る。さらに、この例では、量子化ユニット５００は、中間空間ベクトル
を量子化し得る。中間空間ベクトル
の量子化されたバージョンは、
で示され得る。加えて、量子化ユニット５００は、｜｜Ｖi｜｜を量子化し得る。｜｜Ｖi｜｜の量子化されたバージョンは、
で示され得る。量子化ユニット５００は、ビットストリーム５６Ｄに含めるために
および
を出力し得る。したがって、量子化ユニット５００は、オーディオ信号５０Ｄに対して量子化ベクトルデータのセットを出力し得る。オーディオ信号５０Ｃに対する量子化ベクトルデータのセットは、
を含み得る。
[0169]量子化ユニット５００は、様々な方法で中間空間ベクトル
を量子化し得る。一例では、量子化ユニット５００は、スカラー量子化（ＳＱ）を中間空間ベクトル
に適用し得る。別の例示的な量子化技法では、量子化ユニット２００は、ハフマンコーディングによるスカラー量子化を中間空間ベクトル
に適用し得る。別の例示的な量子化技法では、量子化ユニット２００は、ベクトル量子化を中間空間ベクトル
に適用し得る。量子化ユニット２００がスカラー量子化技法、スカラー量子化プラスハフマンコーディング技法、またはベクトル量子化技法を適用する場合の例では、オーディオ復号デバイス２２は、量子化空間ベクトルを逆量子化し得る。
[0170]概念的に、スカラー量子化では、数直線は複数の帯域に分割され、各帯域は異なるスカラー値に対応する。量子化ユニット５００が、スカラー量子化を中間空間ベクトル
に適用するとき、量子化ユニット５００は、中間空間ベクトル
の各それぞれの要素を、それぞれの要素によって指定される値を含む帯域に対応するスカラー値と置き換える。説明を簡単にするために、本開示は、空間ベクトルの要素によって指定される値を含む帯域に対応するスカラー値を、「量子化された値」と呼ぶ場合がある。この例では、量子化ユニット５００は、量子化された値を含む量子化空間ベクトル
を出力し得る。
[0171]スカラー量子化プラスハフマンコーディング技法は、スカラー量子化技法と同様であり得る。しかしながら、量子化ユニット５００は、付加的に、量子化された値の各々に対するハフマンコードを決定する。量子化ユニット５００は、空間ベクトルの量子化された値を対応するハフマンコードと置き換える。したがって、量子化空間ベクトル
の各要素は、ハフマンコードを指定する。ハフマンコーディングは、要素の各々が、固定長の値ではなく可変長の値として表されることを可能にし、そのことが、データ圧縮を向上させ得る。オーディオ復号デバイス２２Ｄは、ハフマンコードに対応する量子化された値を決定し、量子化された値をそれらの元のビット深度に復元することによって、空間ベクトルの逆量子化されたバージョンを決定し得る。
[0172]量子化ユニット５００が、ベクトル量子化を中間空間ベクトル
に適用する場合の少なくともいくつかの例では、量子化ユニット５００は、中間空間ベクトル
をより低次元の離散部分空間内の値のセットに変換し得る。説明を簡単にするために、本開示は、より低次元の離散部分空間の次元を「低減された次元セット（reduced dimension set）」と呼び、空間ベクトルの元の次元を「全次元セット」と呼ぶ場合がある。たとえば、全次元セットは２２次元からなり、低減された次元セットは８次元からなる場合がある。したがって、この例では、量子化ユニット５００は、中間空間ベクトル
を２２つの値のセットから８つの値のセットに変換する。この変換は、空間ベクトルの高次元空間から低次元の部分空間への投影の形態をとることができる。
[0173]量子化ユニット５００がベクトル量子化を適用する場合の少なくともいくつかの例では、量子化ユニット５００は、エントリのセットを含むコードブックを用いて構成される。コードブックは、あらかじめ規定されてもよく、または動的に決定されてもよい。コードブックは、空間ベクトルの統計的分析に基づき得る。コードブック内の各エントリは、低次元部分空間内の点を示す。空間ベクトルを全次元セットから低減された次元セットに変換した後、量子化ユニット５００は、変換された空間ベクトルに対応するコードブックエントリを決定し得る。コードブック内のコードブックエントリの間で、変換された空間ベクトルに対応するコードブックエントリは、変換された空間ベクトルによって指定される点に最も近い点を指定する。一例では、量子化ユニット５００は、特定されたコードブックエントリによって指定されるベクトルを量子化空間ベクトルとして出力する。別の例では、量子化ユニット２００は、変換された空間ベクトルに対応するコードブックエントリのインデックスを指定するコード−ベクトルインデックスの形態で量子化空間ベクトルを出力する。たとえば、変換された空間ベクトルに対応するコードブックエントリがコードブック内の８番目のエントリである場合、コード−ベクトルインデックスは８に等しくてよい。この例では、オーディオ復号デバイス２２は、コードブック内の対応するエントリを検索することによってコード−ベクトルインデックスを逆量子化し得る。オーディオ復号デバイス２２Ｄは、低減された次元セット内ではなく全次元セット内にある空間ベクトルの成分がゼロに等しいことを仮定することによって、空間ベクトルの逆量子化バージョンを決定し得る。
[0174]図１７の例では、オーディオ符号化デバイス１４Ｄのビットストリーム生成ユニット５２Ｄは、量子化ユニット２００から量子化空間ベクトル２０４を取得し、オーディオ信号５０Ｃを取得し、ビットストリーム５６Ｄを出力する。オーディオ符号化デバイス１４Ｄがチャネルベースオーディオを符号化している場合の例では、ビットストリーム生成ユニット５２Ｄは、各それぞれのチャネルに対するオーディオ信号と量子化空間ベクトルとを取得し得る。オーディオ符号化デバイス１４がオブジェクトベースオーディオを符号化している場合の例では、ビットストリーム生成ユニット５２Ｄは、各それぞれのオーディオオブジェクトに対するオーディオ信号と量子化空間ベクトルとを取得し得る。いくつかの例では、ビットストリーム生成ユニット５２Ｄは、より大きいデータ圧縮のためにオーディオ信号５０Ｃを符号化し得る。たとえば、ビットストリーム生成ユニット５２Ｄは、ＭＰ３、ＡＡＣ、Ｖｏｒｂｉｓ、ＦＬＡＣ、およびＯｐｕｓなど、知られているオーディオ圧縮フォーマットを使用してオーディオ信号５０Ｃの各々を符号化し得る。いくつかの例では、ビットストリーム生成ユニット５２Ｃは、オーディオ信号５０Ｃを１つの圧縮フォーマットから別のフォーマットにコード変換し得る。ビットストリーム生成ユニット５２Ｄは、量子化空間ベクトルを、符号化されたオーディオ信号を伴うメタデータとしてビットストリーム５６Ｃ内に含み得る。
[0175]したがって、オーディオ符号化デバイス１４Ｄは、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号（たとえば、ラウドスピーカー位置情報４８に対するマルチチャネルオーディオ信号５０）を受信することと、マルチチャネルオーディオ信号と組み合わせて、マルチチャネルオーディオ信号を表す高次アンビソニックス（ＨＯＡ）係数のセットを表す、高次アンビソニックス（ＨＯＡ）領域内の複数の空間位置決めベクトルをソースラウドスピーカー構成に基づいて取得することと、マルチチャネルオーディオ信号の表現（たとえば、オーディオ信号５０Ｃ）および複数の空間位置決めベクトルの表示（たとえば、量子化ベクトルデータ５５４）をコーディングされたオーディオビットストリーム（たとえば、ビットストリーム５６Ｄ）内で符号化することとを行うように構成された１つまたは複数のプロセッサを含み得る。さらに、オーディオ符号化デバイス１４Ａは、１つまたは複数のプロセッサに電気的に結合され、コーディングされたオーディオビットストリームを記憶するように構成されたメモリ（たとえば、メモリ５４）を含み得る。
[0176]図１８は、本開示の１つまたは複数の技法による、図１７に示すオーディオ符号化デバイス１４の例示的な実装形態とともに使用するためのオーディオ復号デバイス２２の例示的な実装形態を示すブロック図である。図１８に示すオーディオ復号デバイス２２の実装形態は、オーディオ復号デバイス２２Ｄとラベル付けられる。図１０に関して説明したオーディオ復号デバイス２２の実装形態と同様に、図１８のオーディオ復号デバイス２２の実装形態は、メモリ２００と、逆多重化ユニット２０２Ｄと、オーディオ復号ユニット２０４と、ＨＯＡ生成ユニット２０８Ｃと、レンダリングユニット２１０とを含む。
[0177]図１０に関して説明したオーディオ復号デバイス２２の実装形態とは対照的に、図１８に関して説明するオーディオ復号デバイス２２の実装形態は、ベクトル復号ユニット２０７の代わりに逆量子化ユニット５５０を含み得る。他の例では、オーディオ復号デバイス２２Ｄは、より多数の、より少数の、または異なるユニットを含み得る。たとえば、レンダリングユニット２１０は、ラウドスピーカー、ヘッドフォンユニットまたはオーディオベースもしくはサテライトデバイスなど、別個のデバイス内に実装され得る。
[0178]メモリ２００、逆多重化ユニット２０２Ｄ、オーディオ復号ユニット２０４、ＨＯＡ生成ユニット２０８Ｃ、およびレンダリングユニット２１０は、図１０の例に関して本開示の他の場所で説明した方法と同じ方法で動作し得る。しかしながら、逆多重化ユニット２０２Ｄは、ビットストリーム５６Ｄから量子化ベクトルデータ５５４のセットを取得し得る。量子化ベクトルデータの各それぞれのセットは、オーディオ信号７０のそれぞれのオーディオ信号に対応する。図１８の例では、量子化ベクトルデータ５５４のセットはＶ’1〜Ｖ’Nで示される。逆量子化ユニット５５０は、逆量子化空間ベクトル７２を決定するために量子化ベクトルデータ５５４のセットを使用し得る。逆量子化ユニット５５０は、ＨＯＡ生成ユニット２０８Ｃなど、オーディオ復号デバイス２２Ｄの１つまたは複数の構成要素に、逆量子化空間ベクトル７２を提供し得る。
[0179]逆量子化ユニット５５０は、様々な方法で逆量子化ベクトルを決定するためにセットの量子化ベクトルデータ５５４を使用し得る。一例では、量子化ベクトルデータの各セットは、量子化空間ベクトル
と量子化された量子化ステップサイズ
とをオーディオ信号
に対して含む。この例では、逆量子化ユニット５５０は、逆量子化空間ベクトル
を、量子化空間ベクトル
および量子化された量子化ステップサイズ
に基づいて決定し得る。たとえば、逆量子化ユニット５５０は、逆量子化空間ベクトル
を決定してよく、それにより
になる。逆量子化空間ベクトル
およびオーディオ信号
に基づいて、ＨＯＡ生成ユニット２０８Ｃは、ＨＯＡ領域表現を
として決定し得る。本開示の他の場所で説明するように、レンダリングユニット２１０は、ローカルレンダリングフォーマット
を取得し得る。加えて、ラウドスピーカーフィード８０は、
で示され得る。レンダリングユニット２１０Ｃは、ラウドスピーカーフィード２６を
として生成し得る。
[0180]したがって、オーディオ復号デバイス２２Ｄは、コーディングされたオーディオビットストリーム（たとえば、ビットストリーム５６Ｄ）を記憶するように構成されたメモリ（たとえば、メモリ２００）を含み得る。オーディオ復号デバイス２２Ｄは、メモリに電気的に結合され、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号の表現（たとえば、ラウドスピーカー位置情報４８に対するコーディングされたオーディオ信号６２）をコーディングされたオーディオビットストリームから取得することと、ソースラウドスピーカー構成に基づく高次アンビソニックス（ＨＯＡ）領域内の複数の空間位置決めベクトル（ＳＰＶ）（たとえば、空間位置決めベクトル７２）の表現を取得することと、マルチチャネルオーディオ信号および複数の空間位置決めベクトルに基づいてＨＯＡ音場（たとえば、ＨＯＡ係数２１２Ｃ）を生成することとを行うように構成された、１つまたは複数のプロセッサをさらに含み得る。
[0181]図１９は、本開示の１つまたは複数の技法による、レンダリングユニット２１０の例示的な実装形態を示すブロック図である。図１９に示すように、レンダリングユニット２１０は、リスナーロケーションユニット６１０と、ラウドスピーカー位置ユニット６１２と、レンダリングフォーマットユニット６１４と、メモリ６１５と、ラウドスピーカーフィード生成ユニット６１６とを含み得る。
[0182]リスナーロケーションユニット６１０は、図１のラウドスピーカー２４など、複数のラウドスピーカーのリスナーのロケーションを決定するように構成され得る。いくつかの例では、リスナーロケーションユニット６１０は、リスナーのロケーションを周期的（たとえば、１秒、５秒、１０秒、３０秒、１分、５分、１０分ごと、など）に決定し得る。いくつかの例では、リスナーロケーションユニット６１０は、リスナーによって配置されるデバイスによって生成される信号に基づいてリスナーのロケーションを決定し得る。リスナーのロケーションを決定するためにリスナーロケーションユニット６１０によって使用され得るデバイスのいくつかの例は、限定はしないが、モバイルコンピューティングデバイス、ビデオゲームコントローラ、リモートコントロール、またはリスナーの位置を示し得る任意の他のデバイスを含む。いくつかの例では、リスナーロケーションユニット６１０は、１つまたは複数のセンサに基づいてリスナーのロケーションを決定し得る。リスナーのロケーションを決定するためにリスナーロケーションユニット６１０によって使用され得るセンサのいくつかの例は、限定はしないが、カメラ、マイクロフォン、圧力センサ（たとえば、家具、車両の座席に埋め込まれるかまたは取り付けられる）、シートベルトセンサ、またはリスナーの位置を示し得る任意の他のセンサを含む。リスナーロケーションユニット６１０は、リスナーの位置の表示６１８を、レンダリングフォーマットユニット６１４など、レンダリングユニット２１０の１つまたは複数の他の構成要素に提供し得る。
[0183]ラウドスピーカー位置ユニット６１２は、図１のラウドスピーカー２４など、複数のローカルラウドスピーカーの位置の表現を取得するように構成され得る。いくつかの例では、ラウドスピーカー位置ユニット６１２は、ローカルラウドスピーカーセットアップ情報２８に基づいて複数のローカルラウドスピーカーの位置の表現を決定し得る。ラウドスピーカー位置ユニット６１２は、多種多様なソースからローカルラウドスピーカーセットアップ情報２８を取得し得る。一例として、ユーザ／リスナーは手動で、オーディオ復号デバイス２２のユーザインターフェースを介してローカルラウドスピーカーセットアップ情報２８を入力し得る。別の例として、ラウドスピーカー位置ユニット６１２は、複数のローカルラウドスピーカーに様々なトーンを放出させ、そのトーンに基づいてローカルラウドスピーカーセットアップ情報２８を決定するためにマイクロフォンを利用し得る。別の例として、ラウドスピーカー位置ユニット６１２は、１つまたは複数のカメラから画像を受信し、その画像に基づいてローカルラウドスピーカーセットアップ情報２８を決定するために画像認識を実行し得る。ラウドスピーカー位置ユニット６１２は、複数のローカルラウドスピーカーの位置の表現６２０を、レンダリングフォーマットユニット６１４など、レンダリングユニット２１０の１つまたは複数の他の構成要素に提供し得る。別の例として、ローカルラウドスピーカーセットアップ情報２８は、オーディオ復号ユニット２２に（たとえば、工場において）事前にプログラムされ得る。たとえば、ラウドスピーカー２４が車両に組み込まれる場合、ローカルラウドスピーカーセットアップ情報２８は、車両の製造業者および／またはラウドスピーカー２４のインストーラによってオーディオ復号ユニット２２に事前にプログラムされ得る。
[0184]レンダリングフォーマットユニット６１４は、複数のローカルラウドスピーカーの位置（たとえば、ローカル再生レイアウト）および複数のローカルラウドスピーカーのリスナーの位置の表現に基づいてローカルレンダリングフォーマット６２２を生成するように構成され得る。いくつかの例では、レンダリングフォーマットユニット６１４は、ＨＯＡ係数２１２がラウドスピーカーフィードにレンダリングされ、複数のローカルラウドスピーカーを通じて再生されるときに、音響「スイートスポット」がリスナーの位置にまたはその付近に位置するように、ローカルレンダリングフォーマット６２２を生成し得る。いくつかの例では、ローカルレンダリングフォーマット６２２を生成するために、レンダリングフォーマットユニット６１４は、ローカルレンダリング行列
を生成し得る。レンダリングフォーマットユニット６１４は、ラウドスピーカーフィード生成ユニット６１６および／またはメモリ６１５など、レンダリングユニット２１０の１つまたは複数の他の構成要素にローカルレンダリングフォーマット６２２を提供し得る。
[0185]メモリ６１５は、ローカルレンダリングフォーマット６２２などのローカルレンダリングフォーマットを記憶するように構成され得る。ローカルレンダリングフォーマット６２２がローカルレンダリング行列
を備える場合、メモリ６１５は、ローカルレンダリング行列
を記憶するように構成され得る。
[0186]ラウドスピーカーフィード生成ユニット６１６は、複数のローカルラウドスピーカーのそれぞれのローカルラウドスピーカーにそれぞれ対応する複数の出力オーディオ信号にＨＯＡ係数をレンダリングするように構成され得る。図１９の例では、ラウドスピーカーフィード生成ユニット６１６は、得られたラウドスピーカーフィード２６が複数のローカルラウドスピーカーを通じて再生されるときに音響「スイートスポット」がリスナーロケーションユニット６１０によって決定されたリスナーの位置にまたはその付近に位置するように、ローカルレンダリングフォーマット６２２に基づいてＨＯＡ係数をレンダリングし得る。いくつかの例では、ラウドスピーカーフィード生成ユニット６１６は、式（３５）に従ってラウドスピーカーフィード２６を生成してよく、ここで
はラウドスピーカーフィード２６を表し、ＨはＨＯＡ係数２１２であり、
はローカルレンダリング行列の転置である。
[0187]図２０は、本開示の１つまたは複数の技法による、自動車スピーカー再生環境を示す。図２０に示すように、いくつかの例では、オーディオ復号デバイス２２は、自動車２０００などの車両内に含まれ得る。いくつかの例では、車両２０００は、１つまたは複数の占有者センサを含み得る。車両２０００内に含まれ得る占有者センサの例は、必ずしも限定されるとは限らないが、シートベルトセンサと、車両２０００のシートに組み込まれている圧力センサとを含む。
[0188]図２１は、本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な動作を示すフロー図である。図２１の技法は、図１、図３、図５、図１３および図１７のオーディオ符号化デバイス１４などのオーディオ符号化デバイスの１つまたは複数のプロセッサによって実行され得るが、オーディオ符号化デバイス１４以外の構成を有するオーディオ符号化デバイスが、図２１の技法を実行してもよい。
[0189]本開示の１つまたは複数の技法によれば、オーディオ符号化デバイス１４は、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号を受信し得る（２１０２）。たとえば、オーディオ符号化デバイス１４は、（つまり、５．１のソースラウドスピーカー構成に対する）５．１サラウンドサウンドフォーマットで６チャネルのオーディオデータを受信し得る。上記で説明したように、オーディオ符号化デバイス１４によって受信されたマルチチャネルオーディオ信号は、図１のライブオーディオデータ１０および／または事前生成されたオーディオデータ１２を含み得る。
[0190]オーディオ符号化デバイス１４は、マルチチャネルオーディオ信号を表す高次アンビソニックス（ＨＯＡ）音場を生成するために、マルチチャネルオーディオ信号と結合可能なＨＯＡ領域内で複数の空間位置決めベクトルを、ソースラウドスピーカー構成に基づいて取得し得る（２１０４）。いくつかの例では、複数の空間位置決めベクトルは、上記の式（２０）に従ってマルチチャネルオーディオ信号を表すＨＯＡ音場を生成するために、マルチチャネルオーディオ信号と結合可能であり得る。
[0191]オーディオ符号化デバイス１４は、マルチチャネルオーディオ信号の表現および複数の空間位置決めベクトルの表示を、コーディングされたオーディオビットストリーム内で符号化し得る（２０１６）。一例として、オーディオ符号化デバイス１４Ａのビットストリーム生成ユニット５２Ａは、ビットストリーム５６Ａ内で、コーディングされたオーディオデータ６２の表現とラウドスピーカー位置情報４８の表現とを符号化し得る。別の例として、オーディオ符号化デバイス１４Ｂのビットストリーム生成ユニット５２Ｂは、ビットストリーム５６Ｂ内で、コーディングされたオーディオデータ６２の表現と空間ベクトル表現データ７１Ａとを符号化し得る。別の例として、オーディオ符号化デバイス１４Ｄのビットストリーム生成ユニット５２Ｄは、ビットストリーム５６Ｄ内で、オーディオ信号５０Ｃの表現と量子化ベクトルデータ５５４の表現とを符号化し得る。
[0192]図２２は、本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な動作を示すフロー図である。図２２の技法は、図１、図４、図１０、図１６および図１８のオーディオ復号デバイス２２などのオーディオ復号デバイスの１つまたは複数のプロセッサによって実行され得るが、オーディオ符号化デバイス１４以外の構成を有するオーディオ符号化デバイスが、図２２の技法を実行してもよい。
[0193]本開示の１つまたは複数の技法によれば、オーディオ復号デバイス２２は、コーディングされたオーディオビットストリームを取得し得る（２２０２）。一例として、オーディオ復号デバイス２２は、ワイヤードもしくはワイヤレスチャネル、データ記憶デバイスなどであり得る送信チャネルを介してビットストリームを取得し得る。別の例として、オーディオ復号デバイス２２は、記憶媒体またはファイルサーバからビットストリームを取得し得る。
[0194]オーディオ復号デバイス２２は、ソースラウドスピーカー構成に対するマルチチャネルオーディオ信号の表現を、コーディングされたオーディオビットストリームから取得し得る（２２０４）。たとえば、オーディオ復号ユニット２０４は、（すなわち、５．１のソースラウドスピーカー構成に対する）５．１サラウンドサウンドフォーマットで６チャネルのオーディオデータを、ビットストリームから受信し得る。
[0195]オーディオ復号デバイス２２は、ソースラウドスピーカー構成に基づく高次アンビソニックス（ＨＯＡ）領域内で複数の空間位置決めベクトルの表現を取得し得る（２２０６）。一例として、オーディオ復号デバイス２２Ａのベクトル生成ユニット２０６は、ソースラウドスピーカーセットアップ情報４８に基づいて空間位置決めベクトル７２を生成し得る。別の例として、オーディオ復号デバイス２２Ｂのベクトル復号ユニット２０７は、空間ベクトル表現データ７１Ａから、ソースラウドスピーカーセットアップ情報４８に基づく空間位置決めベクトル７２を復号し得る。別の例として、オーディオ復号デバイス２２Ｄの逆量子化ユニット５５０は、ソースラウドスピーカーセットアップ情報４８に基づく空間位置決めベクトル７２を生成するために、量子化ベクトルデータ５５４を逆量子化し得る。
[0196]オーディオ復号デバイス２２は、マルチチャネルオーディオ信号および複数の空間位置決めベクトルに基づいてＨＯＡ音場を生成し得る（２２０８）。たとえば、ＨＯＡ生成ユニット２０８Ａは、上記の式（２０）に従ってマルチチャネルオーディオ信号７０および空間位置決めベクトル７２に基づいてＨＯＡ係数２１２Ａを生成し得る。
[0197]オーディオ復号デバイス２２は、複数のオーディオ信号を生成するためにＨＯＡ音場をレンダリングし得る（２２１０）。たとえば、レンダリングユニット２１０（それはオーディオ復号デバイス２２内に含まれても含まれなくてもよい）は、ローカルレンダリング構成（たとえば、ローカルレンダリングフォーマット）に基づいて複数のオーディオ信号を生成するためにＨＯＡ係数のセットをレンダリングし得る。いくつかの例では、レンダリングユニット２１０は、上記の式（２１）に従ってＨＯＡ係数のセットをレンダリングし得る。
[0198]図２３は、本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な動作を示すフロー図である。図２３の技法は、図１、図３、図５、図１３および図１７のオーディオ符号化デバイス１４などのオーディオ符号化デバイスの１つまたは複数のプロセッサによって実行され得るが、オーディオ符号化デバイス１４以外の構成を有するオーディオ符号化デバイスが、図２３の技法を実行してもよい。
[0199]本開示の１つまたは複数の技法によれば、オーディオ符号化デバイス１４は、オーディオオブジェクトのオーディオ信号とオーディオオブジェクトの仮想ソースロケーションを示すデータとを受信し得る（２２３０）。加えて、オーディオ符号化デバイス１４は、ＨＯＡ領域内のオーディオオブジェクトの空間ベクトルを、オーディオオブジェクトに対する仮想ソースロケーションを示すデータおよび複数のラウドスピーカーロケーションを示すデータに基づいて決定し得る（２２３２）。加えて、図２３の例では、オーディオ符号化デバイス１４は、コーディングされたオーディオビットストリーム中に、空間ベクトルのデータ表現およびデータ信号のオブジェクトベースの表現を含み得る。
[0200]図２４は、本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な動作を示すフロー図である。図２４の技法は、図１、図４、図１０、図１６および図１８のオーディオ復号デバイス２２などのオーディオ復号デバイスの１つまたは複数のプロセッサによって実行され得るが、オーディオ符号化デバイス１４以外の構成を有するオーディオ符号化デバイスが、図２４の技法を実行してもよい。
[0201]本開示の１つまたは複数の技法によれば、オーディオ復号デバイス２２は、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を、コーディングされたオーディオビットストリームから取得し得る（２２５０）。この例では、オーディオ信号は、時間間隔に対応する。加えて、オーディオ復号デバイス２２は、オーディオオブジェクトに対する空間ベクトルの表現を、コーディングされたオーディオビットストリームから取得し得る（２２５２）。この例では、空間ベクトルは、ＨＯＡ領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく。
[0202]さらに、ＨＯＡ生成ユニット２０８Ｂ（またはオーディオ復号デバイス２２の別のユニット）は、オーディオオブジェクトのオーディオ信号および空間ベクトルを、時間間隔の間の音場を記述するＨＯＡ係数のセットに変換し得る（２２５４）。さらに、図２４の例では、オーディオ復号デバイス２２は、HOA係数のセットにレンダリングフォーマットを適用することによって、複数のオーディオ信号を生成し得る。この例では、複数のオーディオ信号の各それぞれのオーディオ信号は、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する。
[0203]図２５は、本開示の１つまたは複数の技法による、オーディオ符号化デバイスの例示的な動作を示すフロー図である。図２５の技法は、図１、図３、図５、図１３および図１７のオーディオ符号化デバイス１４などのオーディオ符号化デバイスの１つまたは複数のプロセッサによって実行され得るが、オーディオ符号化デバイス１４以外の構成を有するオーディオ符号化デバイスが、図２５の技法を実行してもよい。
[0204]本開示の１つまたは複数の技法によれば、オーディオ符号化デバイス１４は、時間間隔の間の１つまたは複数のオーディオ信号のセットの、オブジェクトベースまたはチャネルベースの表現を、コーディングされたオーディオビットストリーム内に含み得る（２３００）。さらに、オーディオ符号化デバイス１４は、ＨＯＡ領域内の１つまたは複数の空間ベクトルのセットを、ラウドスピーカーロケーションのセットに基づいて決定し得る（２３０２）。この例では、空間ベクトルのセットの各それぞれの空間ベクトルは、オーディオ信号のセット内のそれぞれのオーディオ信号に対応する。さらに、この例では、オーディオ符号化デバイス１４は、空間ベクトルの量子化されたバージョンを表すデータを生成し得る（２３０４）。加えて、この例では、オーディオ符号化デバイス１４は、空間ベクトルの量子化されたバージョンを表すデータを、コーディングされたオーディオビットストリーム内に含み得る（２３０６）。
[0205]図２６は、本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な動作を示すフロー図である。図２６の技法は、図１、図４、図１０、図１６および図１８のオーディオ復号デバイス２２などのオーディオ復号デバイスの１つまたは複数のプロセッサによって実行され得るが、オーディオ復号デバイス２２以外の構成を有するオーディオ復号デバイスが、図２６の技法を実行してもよい。
[0206]本開示の１つまたは複数の技法によれば、オーディオ復号デバイス２２は、時間間隔の間の１つまたは複数のオーディオ信号のセットの、オブジェクトベースまたはチャネルベースの表現を、コーディングされたオーディオビットストリームから取得し得る（２４００）。加えて、オーディオ復号デバイス２２は、１つまたは複数の空間ベクトルのセットの量子化されたバージョン表すデータを、コーディングされたオーディオビットストリームから取得し得る（２４０２）。この例では、空間ベクトルのセットの各それぞれの空間ベクトルは、オーディオ信号のセットのそれぞれのオーディオ信号に対応する。さらに、この例では、空間ベクトルの各々はＨＯＡ領域内にあり、ラウドスピーカーロケーションのセットに基づいて計算される。
[0207]図２７は、本開示の１つまたは複数の技法による、オーディオ復号デバイスの例示的な動作を示すフロー図である。図２７の技法は、図１、図４、図１０、図１６および図１８のオーディオ復号デバイス２２などのオーディオ復号デバイスの１つまたは複数のプロセッサによって実行され得るが、オーディオ復号デバイス２２以外の構成を有するオーディオ復号デバイスが、図２７の技法を実行してもよい。
[0208]本開示の１つまたは複数の技法によれば、オーディオ復号デバイス２２は、高次アンビソニックス（ＨＯＡ）音場を取得し得る（２７０２）。たとえば、オーディオ復号デバイス２２のＨＯＡ生成ユニット（たとえば、ＨＯＡ生成ユニット２０８Ａ／２０８Ｂ／２０８Ｃ）は、ＨＯＡ係数（たとえば、ＨＯＡ係数２１２Ａ／２１２Ｂ／２１２Ｃ）のセットをオーディオ復号デバイス２２のレンダリングユニット２１０に提供し得る。
[0209]オーディオ復号デバイス２２は、複数のローカルラウドスピーカーの位置の表現を取得し得る（２７０４）。たとえば、オーディオ復号デバイス２２のレンダリングユニット２１０のラウドスピーカー位置ユニット６１２は、ローカルラウドスピーカーセットアップ情報（たとえば、ローカルラウドスピーカーセットアップ情報２８）に基づいて複数のローカルラウドスピーカーの位置の表現を決定し得る。上記で説明したように、ラウドスピーカー位置ユニット６１２は、多種多様なソースからローカルラウドスピーカーセットアップ情報２８を取得し得る。
[0210]オーディオ復号デバイス２２は、周期的に、リスナーのロケーションを決定し得る（２７０６）。たとえば、いくつかの例では、オーディオ復号デバイス２２のレンダリングユニット２１０のリスナーロケーションユニット６１０は、リスナーによって配置されるデバイスによって生成される信号に基づいてリスナーのロケーションを決定し得る。リスナーのロケーションを決定するためにリスナーロケーションユニット６１０によって使用され得るデバイスのいくつかの例は、限定はしないが、モバイルコンピューティングデバイス、ビデオゲームコントローラ、リモートコントロール、またはリスナーの位置を示し得る任意の他のデバイスを含む。いくつかの例では、リスナーロケーションユニット６１０は、１つまたは複数のセンサに基づいてリスナーのロケーションを決定し得る。リスナーのロケーションを決定するためにリスナーロケーションユニット６１０によって使用され得るセンサのいくつかの例は、限定はしないが、カメラ、マイクロフォン、圧力センサ（たとえば、家具、車両の座席に埋め込まれるかまたは取り付けられる）、シートベルトセンサ、またはリスナーの位置を示し得る任意の他のセンサを含む。
[0211]オーディオ復号デバイス２２は、周期的に、ローカルレンダリングフォーマットを、リスナーのロケーションおよび複数のローカルラウドスピーカーの位置に基づいて決定し得る（２７０８）。たとえば、オーディオ復号デバイス２２のレンダリングユニット２１０のレンダリングフォーマットユニット６１４は、ＨＯＡ音場がラウドスピーカーフィードにレンダリングされ、複数のローカルラウドスピーカーを通じて再生されるときに、音響「スイートスポット」がリスナーの位置にまたはその付近に位置するように、ローカルレンダリングフォーマットを生成し得る。いくつかの例では、ローカルレンダリングフォーマットを生成するために、レンダリング構成ユニット６１４は、ローカルレンダリング行列
を生成し得る。
[0212]オーディオ復号デバイス２２は、複数のローカルラウドスピーカーのそれぞれのローカルラウドスピーカーにそれぞれ対応する複数の出力オーディオ信号にＨＯＡ音場を、ローカルレンダリングフォーマットに基づいてレンダリングし得る（２７１０）。たとえば、ラウドスピーカーフィード生成ユニット６１６は、ＨＯＡ係数をレンダリングしてよく、上記の式（３５）に従ってラウドスピーカーフィード２６を生成する。
[0213]一例では、マルチチャネルオーディオ信号（たとえば、｛Ｃi｝i=1,...,N）を符号化するために、オーディオ符号化デバイス１４は、ソースラウドスピーカー構成内のラウドスピーカーの数（たとえば、Ｎ）、マルチチャネルオーディオ信号に基づいてＨＯＡ音場を生成するときに使用されるべきＨＯＡ係数の数（たとえば、ＮHOA）、およびソースラウドスピーカー構成内のラウドスピーカーの位置（たとえば、｛θi，φi｝i=1,...,N）を決定し得る。この例では、オーディオ符号化デバイス１４は、ビットストリーム内でＮ、ＮHOA、および｛θi，φi｝i=1,...,Nを符号化し得る。いくつかの例では、オーディオ符号化デバイス１４は、各フレームに対してビットストリーム内でＮ、ＮHOA、および｛θi，φi｝i=1,...,Nを符号化し得る。いくつかの例では、前のフレームが同じＮ、ＮHOA、および｛θi，φi｝i=1,...,Nを使用する場合、オーディオ符号化デバイス１４は、現在のフレームに対するビットストリーム内でＮ、ＮHOA、および｛θi，φi｝i=1,...,Nを符号化することを省略し得る。いくつかの例では、オーディオ符号化デバイス１４は、Ｎ、ＮHOA、および｛θi，φi｝i=1,...,Nに基づいてレンダリング行列Ｄ1を生成し得る。いくつかの例では、必要な場合、オーディオ符号化デバイス１４は、１つまたは複数の空間位置決めベクトル（たとえば、
）を生成して使用し得る。いくつかの例では、オーディオ符号化デバイス１４は、量子化されたマルチチャネルオーディオ信号（たとえば、
）を生成するためにマルチチャネルオーディオ信号（たとえば、｛Ｃi｝i=1,...,N）を量子化し、ビットストリーム内で量子化されたマルチチャネルオーディオ信号を符号化し得る。
[0214]オーディオ復号デバイス２２は、ビットストリームを受信し得る。ソースラウドスピーカー構成内のラウドスピーカーの受信された数（たとえば、Ｎ）、マルチチャネルオーディオ信号に基づいてＨＯＡ音場を生成するときに使用されるべきＨＯＡ係数の数（たとえば、ＮHOA）、およびソースラウドスピーカー構成内のラウドスピーカーの位置（たとえば、｛θi，φi｝i=1,...,N）に基づいて、オーディオ復号デバイス２２はレンダリング行列Ｄ2を生成し得る。いくつかの例では、Ｄ2が、受信されたＮ、ＮHOA、および｛θi，φi｝i=1,...,N（すなわち、ソースラウドスピーカー構成）に基づいて生成される限り、Ｄ2は、Ｄ1と同じでなくてもよい。Ｄ2に基づいて、オーディオ復号デバイス２２は、１つまたは複数の空間位置決めベクトル（たとえば、
）を計算し得る。１つまたは複数の空間位置決めベクトルおよび受信されたオーディオ信号（たとえば、
）に基づいて、オーディオ復号デバイス２２は、ＨＯＡ領域表現を
として生成し得る。ローカルラウドスピーカー構成（すなわち、デコーダにおけるラウドスピーカーの数および位置）（たとえば、
）に基づいて、オーディオ復号デバイス２２は、ローカルレンダリング行列Ｄ3を生成し得る。オーディオ復号デバイス２２は、ローカルレンダリング行列を生成されたＨＯＡ領域表現で乗じることによって、ローカルラウドスピーカーに対するスピーカーフィード（たとえば、
）を生成し得る（たとえば、
）。
[0215]別の例では、マルチチャネルオーディオ信号（たとえば、｛Ｃi｝i=1,...,N）を符号化するために、オーディオ符号化デバイス１４は、ソースラウドスピーカー構成内のラウドスピーカーの数（たとえば、Ｎ）、マルチチャネルオーディオ信号に基づいてＨＯＡ音場を生成するときに使用されるべきＨＯＡ係数の数（たとえば、ＮHOA）、およびソースラウドスピーカー構成内のラウドスピーカーの位置（たとえば、｛θi，φi｝i=1,...,N）を決定し得る。いくつかの例では、オーディオ符号化デバイス１４は、Ｎ、ＮHOA、および｛θi，φi｝i=1,...,Nに基づいてレンダリング行列Ｄ1を生成し得る。いくつかの例では、オーディオ符号化デバイス１４は、１つまたは複数の空間位置決めベクトル（たとえば、
）を計算し得る。いくつかの例では、オーディオ符号化デバイス１４は、空間位置決めベクトルを
として正規化し、
に（たとえば、ＩＳＯ／ＩＥＣ ２３００８−３における（ＳＱ、ＳＱ＋Ｈｕｆｆ、ＶＱ）などのベクトル量子化方法を使用して量子化し、ビットストリーム内で
および｜｜Ｖi｜｜を符号化し得る。いくつかの例では、オーディオ符号化デバイス１４は、量子化されたマルチチャネルオーディオ信号（たとえば、
）を生成するためにマルチチャネルオーディオ信号（たとえば、｛Ｃi｝i=1,...,N）を量子化し、量子化されたマルチチャネルオーディオ信号をビットストリーム内で符号化し得る。
[0216]オーディオ復号デバイス２２は、ビットストリームを受信し得る。
および｜｜Ｖi｜｜に基づいて、オーディオ復号デバイス２２は、空間位置決めベクトルを
によって再構成し得る。１つまたは複数の空間位置決めベクトル（たとえば、
）および受信されたオーディオ信号（たとえば、
）に基づいて、オーディオ復号デバイス２２は、ＨＯＡ領域表現を
として生成し得る。ローカルラウドスピーカー構成（すなわち、デコーダにおけるラウドスピーカーの数および位置）（たとえば、
）に基づいて、オーディオ復号デバイス２２は、ローカルレンダリング行列Ｄ3を生成し得る。オーディオ復号デバイス２２は、ローカルレンダリング行列を、生成されたＨＯＡ領域表現で乗じることによって、ローカルラウドスピーカーに対するスピーカーフィード（たとえば、
）を生成し得る（たとえば、
）。
[0217]図２８は、本開示の技法による、コーディングされたオーディオビットストリームを復号するための例示的な動作を示すフロー図である。図２８の例では、オーディオ復号デバイス２２は、コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得する、オーディオ信号は、時間期間に対応する（２８００）。加えて、オーディオ復号デバイス２２は、コーディングされたオーディオビットストリームから、オーディオオブジェクトに対する空間ベクトルの表現を取得する（２８０２）。空間ベクトルは、HOA領域内で定義され、複数のラウドスピーカーロケーションに基づく。
[0218]図２８の例では、オーディオ復号デバイス２２は、オーディオオブジェクトのオーディオ信号および空間ベクトルに基づいて、複数のオーディオ信号を生成する（２８０４）。複数のオーディオ信号の各それぞれのオーディオ信号は、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する。いくつかの例では、オーディオ復号デバイス２２は、１つまたは複数のカメラからの画像を取得し、画像に基づいてローカルラウドスピーカーセットアップ情報を決定する、ローカルラウドスピーカーセットアップ情報は、複数のローカルラウドスピーカーの位置を表す。
[0219]複数のオーディオ信号を生成することの一部として、オーディオ復号デバイス２２は、オーディオオブジェクトのオーディオ信号および空間ベクトルを、時間間隔の間の音場を記述するＨＯＡ係数のセットに変換し得る。加えて、オーディオ復号デバイス２２は、レンダリングフォーマットをＨＯＡ係数のセットに適用することによって複数のオーディオ信号を生成し得る。画像に基づいて決定されたローカルラウドスピーカーセットアップ情報は、レンダリングフォーマットの形態であり得る。いくつかの例では、複数のラウドスピーカーロケーションは、第１の複数のラウドスピーカーロケーションであり、レンダリングフォーマットは、第１の複数のラウドスピーカーロケーションと異なる第２の複数のラウドスピーカーロケーションでのラウドスピーカーに対するオーディオ信号内のＨＯＡ係数のセットをレンダリングするためのものである。
[0220]図２９は、本開示の技法による、コーディングされたオーディオビットストリームを復号するための例示的な動作を示すフロー図である。図２８の例では、オーディオ復号デバイス２２は、コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得する、オーディオ信号は、時間間隔に対応する（２９００）。加えて、オーディオ復号デバイス２２は、コーディングされたオーディオビットストリームから、オーディオオブジェクトに対する空間ベクトルの表現を取得する（２９０２）。空間ベクトルは、ＨＯＡ領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく。
[0221]図２９の例では、オーディオ復号デバイス２２は、オーディオオブジェクトのオーディオ信号およびオーディオオブジェクトに対する空間ベクトルに基づいて音場を生成する（２９０４）。オーディオ復号デバイス２２は、本開示における他の場所で説明される例に従ってHOA音場を生成し得る。いくつかの例では、複数のラウドスピーカーロケーションは、ソースラウドスピーカー構成である。いくつかの例では、複数のラウドスピーカーロケーションは、ローカルラウドスピーカー構成である。さらに、いくつかの例では、HOA音場は、複数のローカルによって再生される。
[0222]上記で説明された様々な場合の各々において、オーディオ符号化デバイス１４は、ある方法を実行し、またはさもなければ、オーディオ符号化デバイス１４が実行するように構成される方法の各ステップを実行するための手段を備え得ることを理解されたい。いくつかの場合には、これらの手段は１つまたは複数のプロセッサを備え得る。いくつかの場合には、１つまたは複数のプロセッサは、非一時的コンピュータ可読記憶媒体に記憶される命令によって構成される、専用のプロセッサを表し得る。言い換えれば、符号化の例のセットの各々における本技法の様々な態様は、実行されると、１つまたは複数のプロセッサに、オーディオ符号化デバイス１４が実行するように構成されている方法を実行させる命令を記憶した、非一時的コンピュータ可読記憶媒体を提供し得る。
[0223]１つまたは複数の例において、前述の機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。データ記憶媒体は、本開示で説明される技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
[0224]同様に、上記で説明された様々な場合の各々において、オーディオ復号デバイス２２は、ある方法を実行し、またはさもなければ、オーディオ復号デバイス２２が実行するように構成される方法の各ステップを実行するための手段を備え得ることを理解されたい。いくつかの場合には、これらの手段は１つまたは複数のプロセッサを備え得る。いくつかの場合には、１つまたは複数のプロセッサは、非一時的コンピュータ可読記憶媒体に記憶される命令によって構成される、専用のプロセッサを表し得る。言い換えれば、符号化の例のセットの各々における本技法の様々な態様は、実行されると、１つまたは複数のプロセッサに、オーディオ復号デバイス２４が実施するように構成されている方法を実施させる命令を記憶した、非一時的コンピュータ可読記憶媒体を提供し得る。
[0225]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含めるべきである。
[0226]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な任意の他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。
[0227]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々な構成要素、モジュール、またはユニットは、開示された技法を実行するように構成されたデバイスの機能的態様を強調するように本開示において記載されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされ得るか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
[0228]本技法の様々な態様が説明された。本技法のこれらおよび他の態様は、以下の特許請求の範囲内に入る。

Claims (30)

  1. コーディングされたオーディオビットストリームを復号するためのデバイスであって、
    コーディングされたオーディオビットストリームを記憶するように構成されたメモリと、
    前記メモリに電気的に結合された１つまたは複数のプロセッサと
    を備え、前記１つまたは複数のプロセッサは、
    前記コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得すること、前記オーディオ信号は、時間間隔に対応する、と、
    前記コーディングされたオーディオビットストリームから、前記オーディオオブジェクトに対する空間ベクトルの表現を取得すること、ここにおいて、前記空間ベクトルは、高次アンビソニックッス（ＨＯＡ）領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく、と、
    前記オーディオオブジェクトの前記オーディオ信号および前記空間ベクトルに基づいて、複数のオーディオ信号を生成すること、ここにおいて、前記複数のオーディオ信号の各それぞれのオーディオ信号は、前記第１の複数のラウドスピーカーロケーションと異なる前記第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する、と
    を行うように構成される、デバイス。
  2. 前記１つまたは複数のプロセッサは、
    １つまたは複数のカメラから画像を取得することと、
    前記画像に基づいてローカルラウドスピーカーセットアップ情報を決定すること、前記ローカルラウドスピーカーセットアップ情報は、前記複数のローカルラウドスピーカーの位置を表す、と
    を行うように構成される、請求項１に記載のデバイス。
  3. 前記１つまたは複数のプロセッサは、
    前記オーディオオブジェクトの前記オーディオ信号および前記空間ベクトルを、前記時間間隔の間の音場を記述するＨＯＡ係数のセットに変換することと、
    前記ＨＯＡ係数のセットにレンダリングフォーマットを適用することによって前記複数のオーディオ信号を生成すること、前記ローカルラウドスピーカーセットアップ情報は、前記レンダリングフォーマットの形態内にある、と
    を行うように構成される、請求項２に記載のデバイス。
  4. 前記１つまたは複数のプロセッサは、
    前記オーディオオブジェクトの前記オーディオ信号および前記空間ベクトルを、前記時間間隔の間の音場を記述するＨＯＡ係数のセットに変換することと、
    前記ＨＯＡ係数のセットにレンダリングフォーマットを適用することによって前記複数のオーディオ信号を生成することと
    を行うように構成される、請求項１に記載のデバイス。
  5. 前記１つまたは複数のプロセッサは、前記オーディオ信号および前記空間ベクトルを前記ＨＯＡ係数のセットに変換することの一部として、前記１つまたは複数のプロセッサは、前記ＨＯＡ係数のセットが、前記オーディオ信号に前記空間ベクトルの転置を乗じたものと同等になるように、前記ＨＯＡ係数のセットを決定するように構成される、
    請求項４に記載のデバイス。
  6. 前記オーディオオブジェクトは、第１のオーディオオブジェクトであり、前記空間ベクトルは、第１の空間ベクトルであり、前記１つまたは複数のプロセッサは、
    前記コーディングされたオーディオビットストリームから、複数のオブジェクトベースの表現を取得すること、前記複数のオブジェクトベースの表現の各それぞれのオブジェクトベースの表現は、複数のオーディオオブジェクトのそれぞれのオーディオオブジェクトのそれぞれの表現であり、前記複数のオーディオオブジェクトは、前記第１のオーディオオブジェクトを含む、と、
    前記コーディングされたオーディオビットストリームから、複数のベクトル表現を取得すること、前記複数のベクトル表現の各それぞれの空間ベクトル表現は、前記複数のオーディオオブジェクトのそれぞれのオーディオオブジェクトに対するそれぞれの空間ベクトルの表現であり、前記複数のベクトル表現の各それぞれの空間ベクトル表現は、前記ＨＯＡ領域内で定義され、前記第１の複数のラウドスピーカーロケーションに基づき、前記複数の空間ベクトル表現は、前記第１のオーディオオブジェクトに対する前記空間ベクトルの前記表現を含む、と、
    前記複数のオーディオオブジェクトの各それぞれのオーディオオブジェクトについて、前記ＨＯＡ係数のセットが、前記それぞれのオーディオオブジェクトの前記オーディオ信号に、前記それぞれのオーディオオブジェクトに対する前記空間ベクトルの転置を乗じたものと同等になるように、前記それぞれのオーディオオブジェクトに対するそれぞれのＨＯＡ係数のセットを決定することと、
    前記複数のオーディオオブジェクトに対する前記ＨＯＡ係数のセットの合計に基づいて前記音場を記述する前記ＨＯＡ係数のセットを決定することと
    を行うように構成される、請求項４に記載のデバイス。
  7. 前記空間ベクトルは、複数のオペランドの合計と同等であり、前記複数のオペランドのうちの各それぞれのオペランドは、前記第１の複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応し、
    前記第１の複数のラウドスピーカーロケーションの各それぞれのラウドスピーカーロケーションに対して、
    複数のラウドスピーカーロケーションベクトルは、前記それぞれのラウドスピーカーロケーションに対して１つのラウドスピーカーロケーションベクトルを含み、
    前記それぞれのラウドスピーカーロケーションに対応する前記オペランドは、前記それぞれのラウドスピーカーロケーションに対する利得係数に、前記それぞれのラウドスピーカーロケーションに対する前記ラウドスピーカーロケーションベクトルを乗じたものと同等であり、
    前記それぞれのラウドスピーカーロケーションに対する前記利得係数は、前記それぞれのラウドスピーカーロケーションにおける前記オーディオ信号に対するそれぞれの利得を示す、
    請求項４に記載のデバイス。
  8. １からＮにわたる各値ｎについて、前記第１の複数のラウドスピーカーロケーションのうちのｎ番目のラウドスピーカーロケーションベクトルは、第１の行列、第２の行列、および第３の行列の乗算から得られる行列の転置と同等であり、前記第１の行列は、前記複数のラウドスピーカー位置内のラウドスピーカー位置の数の同数である要素の単一のそれぞれの行からなり、前記要素のそれぞれの行の前記ｎ番目の要素は、１に等しく、前記それぞれの行の前記ｎ番目の要素以外の要素は、０に等しく、前記第２の行列は、レンダリング行列と前記レンダリング行列の転置との乗算から得られる行列の逆行列であり、前記第３の行列は、前記レンダリング行列と同等であり、前記レンダリング行列は、前記第１の複数のラウドスピーカーロケーションに基づき、Ｎは、前記第１の複数のラウドスピーカーロケーション内の前記ラウドスピーカーロケーションの数と同等である、
    請求項７に記載のデバイス。
  9. コーディングされたオーディオビットストリームを符号化するためのデバイスであって、
    オーディオオブジェクトのオーディオ信号および前記オーディオオブジェクトの仮想ソースロケーションを示すデータを記憶するように構成されたメモリ、前記オーディオ信号は、時間間隔に対応する、と、
    前記メモリに電気的に結合された１つまたは複数のプロセッサと
    を備え、前記１つまたは複数のプロセッサは、
    前記オーディオオブジェクトの前記オーディオ信号および前記オーディオオブジェクトの前記仮想ソースロケーションを受信することと、
    前記オーディオオブジェクトに対する前記仮想ソースロケーションを示す前記データおよび複数のラウドスピーカーロケーションを示すデータに基づいて、高次アンビソニックス（ＨＯＡ）領域内の前記オーディオオブジェクトの空間ベクトルを決定することと、
    コーディングされたオーディオビットストリーム中に、前記オーディオ信号のオブジェクトベースの表現および前記空間ベクトルのデータ表現を含むことと
    を行うように構成される、デバイス。
  10. 前記１つまたは複数のプロセッサは、
    １つまたは複数のカメラから画像を取得することと、
    前記画像に基づいて前記ラウドスピーカーロケーションを決定することと
    を行うように構成される、請求項９に記載のデバイス。
  11. 前記１つまたは複数のプロセッサは、前記空間ベクトルを量子化することを行うように構成され、前記空間ベクトルの前記データ表現は、前記量子化空間ベクトルを備える、
    請求項９に記載のデバイス。
  12. 前記時間間隔の間の音場を記述する高次アンビソニックス（ＨＯＡ）係数のセットは、前記オーディオ信号に前記空間ベクトルの転置を乗じたものと同等である、
    請求項９に記載のデバイス。
  13. 前記オーディオオブジェクトは、第１のオーディオオブジェクトであり、前記空間ベクトルは、第１の空間ベクトルであり、前記１つまたは複数のプロセッサは、
    前記コーディングされたオーディオビットストリーム中に、複数のオブジェクトベースの表現を含むこと、前記複数のオーディオオブジェクトの各それぞれのオーディオオブジェクトベースの表現は、複数のオーディオオブジェクトのそれぞれのオーディオオブジェクトのそれぞれの表現であり、前記複数のオーディオオブジェクトは、前記第１のオーディオオブジェクトを含む、と、
    前記複数のオーディオオブジェクトの各それぞれのオーディオオブジェクトに対して、
    前記それぞれのオーディオオブジェクトのそれぞれの仮想ソースロケーションを示すデータおよび前記複数のラウドスピーカーロケーションを示すデータに基づいて、前記それぞれのオーディオオブジェクトに対するそれぞれの空間ベクトルの表現を決定すること、前記それぞれのオーディオオブジェクトに対する前記それぞれの空間ベクトルは、前記ＨＯＡ領域内で定義され、前記それぞれのオーディオオブジェクトに対するそれぞれのＨＯＡ係数のセットは、前記それぞれのオーディオオブジェクトの前記オーディオ信号に前記それぞれのオーディオオブジェクトに対する前記それぞれの空間ベクトルの転置を乗じたものと同等である、と、
    前記コーディングされたオーディオビットストリーム内に、前記それぞれのオーディオオブジェクトに対する前記それぞれの空間ベクトルの前記表現を含むことと
    を行うように構成される、請求項９に記載のデバイス。
  14. 前記１つまたは複数のプロセッサは、前記空間ベクトルを決定することの一部として、前記１つまたは複数のプロセッサは、
    前記ラウドスピーカーロケーションでのラウドスピーカーのためのラウドスピーカーフィード内に高次アンビソニックス（ＨＯＡ）係数のセットをレンダリングするためのレンダリングフォーマットを決定することと、
    前記複数のラウドスピーカーロケーションベクトルを決定すること、ここにおいて、
    前記複数のラウドスピーカーロケーションベクトルの各それぞれのラウドスピーカーロケーションベクトルは、前記複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応し、
    前記１つまたは複数のプロセッサは、前記複数のラウドスピーカーロケーションベクトルを決定することの一部として、前記複数のラウドスピーカーロケーションベクトルの各それぞれのラウドスピーカーロケーションについて、前記１つまたは複数のプロセッサは、
    前記オーディオオブジェクトのロケーション座標に基づいて、前記それぞれのラウドスピーカーロケーションに対する利得係数を決定すること、前記それぞれのラウドスピーカーロケーションに対する前記利得係数は、前記それぞれのラウドスピーカーロケーションでの前記オーディオ信号に対するそれぞれの利得を示す、と、
    前記レンダリングフォーマットに基づいて、前記それぞれのラウドスピーカーロケーションに対応する前記ラウドスピーカーロケーションベクトルを決定することと
    を行うように構成される、と、
    複数のオペランドの合計として前記空間ベクトルを決定すること、前記複数のオペランドの各それぞれのオペランドは、前記複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応し、前記複数のラウドスピーカーロケーションの各それぞれのラウドスピーカーロケーションについて、前記それぞれのラウドスピーカーロケーションに対応する前記オペランドは、前記それぞれのラウドスピーカーロケーションに対する前記利得係数に、前記それぞれのラウドスピーカーロケーションに対応する前記ラウドスピーカーロケーションベクトルを乗じたものと同等である、と
    を行うように構成される、請求項９に記載のデバイス。
  15. 前記複数のラウドスピーカーロケーションの各それぞれのラウドスピーカーロケーションについて、前記１つまたは複数のプロセッサは、前記それぞれのラウドスピーカーロケーションに対する前記利得係数を決定するためにベクトルベース振幅パニング（ＶＢＡＰ）を使用することを行うように構成される、
    請求項１４に記載のデバイス。
  16. １からＮにわたる各値ｎについて、前記第１の複数のラウドスピーカーロケーションのうちのｎ番目のラウドスピーカーロケーションベクトルは、第１の行列、第２の行列、および第３の行列の乗算から得られる行列の転置と同等であり、前記第１の行列は、前記複数のラウドスピーカー位置内のラウドスピーカー位置の数の同数である要素の単一のそれぞれの行からなり、前記要素のそれぞれの行の前記ｎ番目の要素は、１に等しく、前記それぞれの行の前記ｎ番目の要素以外の要素は、０に等しく、前記第２の行列は、レンダリング行列と前記レンダリング行列の転置との乗算から得られる行列の逆行列であり、前記第３の行列は、前記レンダリング行列と同等であり、前記レンダリング行列は、前記第１の複数のラウドスピーカーロケーションに基づき、Ｎは、前記第１の複数のラウドスピーカーロケーション内の前記ラウドスピーカーロケーションの数と同等である、
    請求項９に記載のデバイス。
  17. 前記オーディオ信号を捕捉するように構成されたマイクロフォンをさらに備える、
    請求項９に記載のデバイス。
  18. コーディングされたオーディオビットストリームを復号するための方法であって、
    前記コーディングされたオーディオビットストリームから、オーディオオブジェクトのオーディオ信号のオブジェクトベースの表現を取得すること、前記オーディオ信号は、時間間隔に対応する、と、
    前記コーディングされたオーディオビットストリームから、前記オーディオオブジェクトに対する空間ベクトルの表現を取得すること、ここにおいて、前記空間ベクトルは、高次アンビソニックッス（ＨＯＡ）領域内で定義され、第１の複数のラウドスピーカーロケーションに基づく、と、
    前記オーディオオブジェクトの前記オーディオ信号および前記空間ベクトルに基づいて、複数のオーディオ信号を生成すること、ここにおいて、前記複数のオーディオ信号の各それぞれのオーディオ信号は、前記第１の複数のラウドスピーカーロケーションと異なる前記第２の複数のラウドスピーカーロケーションでの複数のローカルラウドスピーカー内のそれぞれのラウドスピーカーに対応する、と
    を備える、方法。
  19. １つまたは複数のカメラから画像を取得することと、
    前記画像に基づいてローカルラウドスピーカーセットアップ情報を決定すること、前記ローカルラウドスピーカーセットアップ情報は、前記複数のローカルラウドスピーカーの位置を表す、と
    をさらに備える、請求項１８に記載の方法。
  20. 前記オーディオオブジェクトの前記オーディオ信号および前記空間ベクトルを、前記時間間隔の間の音場を記述するＨＯＡ係数のセットに変換することと、
    前記ＨＯＡ係数のセットにレンダリングフォーマットを適用することによって前記複数のオーディオ信号を生成すること、前記ローカルラウドスピーカーセットアップ情報は、前記レンダリングフォーマットの形態内にある、と
    をさらに備える、請求項１９に記載の方法。
  21. 前記オーディオオブジェクトの前記オーディオ信号および前記空間ベクトルを、前記時間間隔の間の音場を記述するＨＯＡ係数のセットに変換することをさらに備え、
    前記複数のオーディオ信号を生成することは、前記ＨＯＡ係数のセットにレンダリングフォーマットを適用することを備える、
    請求項１８に記載の方法。
  22. 前記オーディオ信号および前記空間ベクトルを前記ＨＯＡ係数のセットに変換することは、前記ＨＯＡ係数のセットが、前記オーディオ信号に前記空間ベクトルの転置を乗じたものと同等になるように、前記ＨＯＡ係数のセットを決定することを備える、
    請求項２１に記載の方法。
  23. 前記オーディオオブジェクトは、第１のオーディオオブジェクトであり、前記空間ベクトルは、第１の空間ベクトルであり、
    前記コーディングされたオーディオビットストリームから、複数のオブジェクトベースの表現を取得すること、前記複数のオブジェクトベースの表現の各それぞれのオブジェクトベースの表現は、複数のオーディオオブジェクトのそれぞれのオーディオオブジェクトのそれぞれの表現であり、前記複数のオーディオオブジェクトは、前記第１のオーディオオブジェクトを含む、と、
    前記コーディングされたオーディオビットストリームから、複数のベクトル表現を取得すること、前記複数のベクトル表現の各それぞれの空間ベクトル表現は、前記複数のオーディオオブジェクトのそれぞれのオーディオオブジェクトに対するそれぞれの空間ベクトルの表現であり、前記複数のベクトル表現の各それぞれの空間ベクトル表現は、前記ＨＯＡ領域内で定義され、前記第１の複数のラウドスピーカーロケーションに基づき、前記複数の空間ベクトル表現は、前記第１のオーディオオブジェクトに対する前記空間ベクトルの前記表現を含む、と、
    前記複数のオーディオオブジェクトの各それぞれのオーディオオブジェクトについて、前記ＨＯＡ係数のセットが、前記それぞれのオーディオオブジェクトの前記オーディオ信号に、前記それぞれのオーディオオブジェクトに対する前記空間ベクトルの転置を乗じたものと同等になるように、前記それぞれのオーディオオブジェクトに対するそれぞれのＨＯＡ係数のセットを決定することと、
    前記複数のオーディオオブジェクトに対する前記ＨＯＡ係数のセットの合計に基づいて前記音場を記述する前記ＨＯＡ係数のセットを決定することと
    をさらに備える、請求項２１に記載の方法。
  24. 前記空間ベクトルは、複数のオペランドの合計と同等であり、
    前記複数のオペランドのうちの各それぞれのオペランドは、前記第１の複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応し、
    前記第１の複数のラウドスピーカーロケーションの各それぞれのラウドスピーカーロケーションに対して、
    複数のラウドスピーカーロケーションベクトルは、前記それぞれのラウドスピーカーロケーションに対して１つのラウドスピーカーロケーションベクトルを含み、
    前記それぞれのラウドスピーカーロケーションに対応する前記オペランドは、前記それぞれのラウドスピーカーロケーションに対する利得係数に、前記それぞれのラウドスピーカーロケーションに対する前記ラウドスピーカーロケーションベクトルを乗じたものと同等であり、
    前記それぞれのラウドスピーカーロケーションに対する前記利得係数は、前記それぞれのラウドスピーカーロケーションにおける前記オーディオ信号に対するそれぞれの利得を示す、
    請求項２１に記載の方法。
  25. １からＮにわたる各値ｎについて、前記第１の複数のラウドスピーカーロケーションのうちのｎ番目のラウドスピーカーロケーションベクトルは、第１の行列、第２の行列、および第３の行列の乗算から得られる行列の転置と同等であり、前記第１の行列は、前記複数のラウドスピーカー位置内のラウドスピーカー位置の数の同数である要素の単一のそれぞれの行からなり、前記要素のそれぞれの行の前記ｎ番目の要素は、１に等しく、前記それぞれの行の前記ｎ番目の要素以外の要素は、０に等しく、前記第２の行列は、レンダリング行列と前記レンダリング行列の転置との乗算から得られる行列の逆行列であり、前記第３の行列は、前記レンダリング行列と同等であり、前記レンダリング行列は、前記第１の複数のラウドスピーカーロケーションに基づき、Ｎは、前記第１の複数のラウドスピーカーロケーション内の前記ラウドスピーカーロケーションの数と同等である、
    請求項１８に記載の方法。
  26. コーディングされたオーディオビットストリームを符号化するための方法であって、
    オーディオオブジェクトのオーディオ信号および前記オーディオオブジェクトの仮想ソースロケーションを示すデータを受信すること、前記オーディオ信号は、時間間隔に対応する、と、
    前記オーディオオブジェクトに対する前記仮想ソースロケーションを示す前記データおよび複数のラウドスピーカーロケーションを示すデータに基づいて、高次アンビソニックス（ＨＯＡ）領域内の前記オーディオオブジェクトの空間ベクトルを決定することと、
    コーディングされたオーディオビットストリーム中に、前記オーディオ信号のオブジェクトベースの表現および前記空間ベクトルのデータ表現を含むことと
    を備える、方法。
  27. １つまたは複数のカメラから画像を取得することと、
    前記画像に基づいて前記ラウドスピーカーロケーションを決定することと
    をさらに備える、請求項２６に記載の方法。
  28. 前記時間間隔の間の音場を記述する高次アンビソニックス（ＨＯＡ）係数のセットは、前記オーディオ信号に、前記空間ベクトルの転置を乗じたものと同等である、
    請求項２６に記載の方法。
  29. 前記オーディオオブジェクトは、第１のオーディオオブジェクトであり、前記空間ベクトルは、第１の空間ベクトルであり、前記方法は、
    前記コーディングされたオーディオビットストリーム中に、複数のオブジェクトベースの表現を含むこと、前記複数のオーディオオブジェクトの各それぞれのオーディオオブジェクトベースの表現は、複数のオーディオオブジェクトのそれぞれのオーディオオブジェクトのそれぞれの表現であり、前記複数のオーディオオブジェクトは、前記第１のオーディオオブジェクトを含む、と、
    前記複数のオーディオオブジェクトの各それぞれのオーディオオブジェクトに対して、
    前記それぞれのオーディオオブジェクトのそれぞれの仮想ソースロケーションを示すデータおよび前記複数のラウドスピーカーロケーションを含むデータに基づいて、前記それぞれのオーディオオブジェクトに対するそれぞれの空間ベクトルの表現を決定すること、前記それぞれのオーディオオブジェクトに対する前記それぞれの空間ベクトルは、前記ＨＯＡ領域内で定義され、前記それぞれのオーディオオブジェクトに対するそれぞれのＨＯＡ係数のセットは、前記それぞれのオーディオオブジェクトの前記オーディオ信号に前記それぞれのオーディオオブジェクトに対する前記それぞれの空間ベクトルの転置を乗じたものと同等である、と、
    前記コーディングされたオーディオビットストリーム内に、前記それぞれのオーディオオブジェクトに対する前記それぞれの空間ベクトルの前記表現を含むことと
    をさらに備える、請求項２６に記載の方法。
  30. 前記空間ベクトルを決定することは、
    前記ラウドスピーカーロケーションでのラウドスピーカーのためのラウドスピーカーフィード内に高次アンビソニックス（ＨＯＡ）係数のセットをレンダリングするためのレンダリングフォーマットを決定することと、
    前記複数のラウドスピーカーロケーションベクトルを決定すること、ここにおいて、
    前記複数のラウドスピーカーロケーションベクトルの各それぞれのラウドスピーカーロケーションベクトルは、前記複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応し、
    前記複数のラウドスピーカーロケーションベクトルを決定することは、前記複数のラウドスピーカーロケーションベクトルの各それぞれのラウドスピーカーロケーションについて、
    前記オーディオオブジェクトのロケーション座標に基づいて、前記それぞれのラウドスピーカーロケーションに対する利得係数を決定すること、前記それぞれのラウドスピーカーロケーションに対する前記利得係数は、前記それぞれのラウドスピーカーロケーションでの前記オーディオ信号に対するそれぞれの利得を示す、と、
    前記レンダリングフォーマットに基づいて、前記それぞれのラウドスピーカーロケーションに対応する前記ラウドスピーカーロケーションベクトルを決定することと
    を備える、と、
    複数のオペランドの合計として前記空間ベクトルを決定すること、前記複数のオペランドの各それぞれのオペランドは、前記複数のラウドスピーカーロケーションのそれぞれのラウドスピーカーロケーションに対応し、前記複数のラウドスピーカーロケーションの各それぞれのラウドスピーカーロケーションについて、前記それぞれのラウドスピーカーロケーションに対応する前記オペランドは、前記それぞれのラウドスピーカーロケーションに対する前記利得係数に前記それぞれのラウドスピーカーロケーションに対応する前記ラウドスピーカーロケーションベクトルを乗じたものと同等である、と
    を備える、請求項２６に記載の方法。
JP2018517745A 2015-10-08 2016-09-16 オブジェクトベースオーディオからｈｏａへの変換 Pending JP2018534848A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562239043P 2015-10-08 2015-10-08
US62/239,043 2015-10-08
US15/266,910 2016-09-15
US15/266,910 US9961475B2 (en) 2015-10-08 2016-09-15 Conversion from object-based audio to HOA
PCT/US2016/052251 WO2017062160A1 (en) 2015-10-08 2016-09-16 Conversion from object-based audio to hoa

Publications (1)

Publication Number Publication Date
JP2018534848A true JP2018534848A (ja) 2018-11-22

Family

ID=57043009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517745A Pending JP2018534848A (ja) 2015-10-08 2016-09-16 オブジェクトベースオーディオからｈｏａへの変換

Country Status (6)

Country Link
US (1) US9961475B2 (ja)
EP (1) EP3360343B1 (ja)
JP (1) JP2018534848A (ja)
KR (1) KR102032072B1 (ja)
CN (1) CN108141689B (ja)
WO (1) WO2017062160A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024512347A (ja) * 2021-03-05 2024-03-19 華為技術有限公司 仮想スピーカセットを決定するための方法および装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12087311B2 (en) * 2015-07-30 2024-09-10 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding an HOA representation
US10332530B2 (en) * 2017-01-27 2019-06-25 Google Llc Coding of a soundfield representation
US10972859B2 (en) * 2017-04-13 2021-04-06 Sony Corporation Signal processing apparatus and method as well as program
EP3622509B1 (en) 2017-05-09 2021-03-24 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal
US10674301B2 (en) * 2017-08-25 2020-06-02 Google Llc Fast and memory efficient encoding of sound objects using spherical harmonic symmetries
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers
JP7552617B2 (ja) * 2019-12-17 2024-09-18 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
WO2021127286A1 (en) * 2019-12-18 2021-06-24 Dolby Laboratories Licensing Corporation Audio device auto-location
US20230088922A1 (en) 2020-03-10 2023-03-23 Telefonaktiebolaget Lm Ericsson (Publ) Representation and rendering of audio objects
CN118138980A (zh) * 2022-12-02 2024-06-04 华为技术有限公司 场景音频解码方法及电子设备
US20240404531A1 (en) * 2023-06-03 2024-12-05 Apple Inc. Method and System for Coding Audio Data
US12518772B2 (en) 2023-08-01 2026-01-06 Samsung Electronics Co., Ltd. Codec bitrate selection in audio object coding

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4676140B2 (ja) 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
EP2094032A1 (en) 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
US8964994B2 (en) 2008-12-15 2015-02-24 Orange Encoding of multichannel digital audio signals
GB2467534B (en) * 2009-02-04 2014-12-24 Richard Furse Sound system
EP2389016B1 (en) 2010-05-18 2013-07-10 Harman Becker Automotive Systems GmbH Individualization of sound signals
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
CN104115229B (zh) 2011-12-23 2017-03-08 英特尔公司 动态存储器性能调节
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
US20140086416A1 (en) 2012-07-15 2014-03-27 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9190065B2 (en) 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9473870B2 (en) 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
KR102131810B1 (ko) * 2012-07-19 2020-07-08 돌비 인터네셔널 에이비 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
CN105009207B (zh) * 2013-01-15 2018-09-25 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
US10178489B2 (en) * 2013-02-08 2019-01-08 Qualcomm Incorporated Signaling audio rendering information in a bitstream
US9609452B2 (en) * 2013-02-08 2017-03-28 Qualcomm Incorporated Obtaining sparseness information for higher order ambisonic audio renderers
US10075795B2 (en) 2013-04-19 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
EP2997742B1 (en) * 2013-05-16 2022-09-28 Koninklijke Philips N.V. An audio processing apparatus and method therefor
MY199032A (en) * 2013-05-24 2023-10-10 Dolby Int Ab Audio encoder and decoder
US9883312B2 (en) 2013-05-29 2018-01-30 Qualcomm Incorporated Transformed higher order ambisonics audio data
WO2014195190A1 (en) 2013-06-05 2014-12-11 Thomson Licensing Method for encoding audio signals, apparatus for encoding audio signals, method for decoding audio signals and apparatus for decoding audio signals
WO2015060654A1 (ko) * 2013-10-22 2015-04-30 한국전자통신연구원 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
US9502045B2 (en) 2014-01-30 2016-11-22 Qualcomm Incorporated Coding independent frames of ambient higher-order ambisonic coefficients
US20150243292A1 (en) * 2014-02-25 2015-08-27 Qualcomm Incorporated Order format signaling for higher-order ambisonic audio data
US10063207B2 (en) * 2014-02-27 2018-08-28 Dts, Inc. Object-based audio loudness management
US10134403B2 (en) * 2014-05-16 2018-11-20 Qualcomm Incorporated Crossfading between higher order ambisonic signals
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
WO2016050899A1 (en) * 2014-10-01 2016-04-07 Dolby International Ab Audio encoder and decoder
US9875745B2 (en) 2014-10-07 2018-01-23 Qualcomm Incorporated Normalization of ambient higher order ambisonic audio data
US10200806B2 (en) * 2016-06-17 2019-02-05 Dts, Inc. Near-field binaural rendering

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024512347A (ja) * 2021-03-05 2024-03-19 華為技術有限公司 仮想スピーカセットを決定するための方法および装置
JP7648787B2 (ja) 2021-03-05 2025-03-18 華為技術有限公司 仮想スピーカセットを決定するための方法および装置
US12513465B2 (en) 2021-03-05 2025-12-30 Huawei Technologies Co., Ltd. Method and apparatus for determining virtual speaker set

Also Published As

Publication number Publication date
KR102032072B1 (ko) 2019-10-14
CN108141689B (zh) 2020-06-23
KR20180061218A (ko) 2018-06-07
CN108141689A (zh) 2018-06-08
WO2017062160A1 (en) 2017-04-13
EP3360343A1 (en) 2018-08-15
US20170105085A1 (en) 2017-04-13
EP3360343B1 (en) 2019-12-11
US9961475B2 (en) 2018-05-01

Similar Documents

Publication Publication Date Title
KR102122672B1 (ko) 공간 벡터들의 양자화
EP3360343B1 (en) Conversion from object-based audio to hoa
US20250299682A1 (en) Synchronizing enhanced audio transports with backward compatible audio transports
CN105027199B (zh) 在位流中指定球谐系数和/或高阶立体混响系数
CN108141688B (zh) 从以信道为基础的音频到高阶立体混响的转换
EP3400598B1 (en) Mixed domain coding of audio
US11081116B2 (en) Embedding enhanced audio transports in backward compatible audio bitstreams
JP6605725B2 (ja) 複数の遷移の間の高次アンビソニック係数のコーディング
US20200120438A1 (en) Recursively defined audio metadata
CN112313744A (zh) 使用不同的渲染器渲染音频数据的不同部分
US20190392845A1 (en) Spatially formatted enhanced audio data for backward compatible audio bitstreams