JP6204681B2

JP6204681B2 - 音響信号再生装置

Info

Publication number: JP6204681B2
Application number: JP2013079620A
Authority: JP
Inventors: 大出　訓史; 訓史大出; 靖茂中山; 渡辺　馨; 馨渡辺
Original assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2013-04-05
Filing date: 2013-04-05
Publication date: 2017-09-27
Anticipated expiration: 2033-04-05
Also published as: JP2014204320A

Description

この発明は、複数の音響空間層を持つマルチチャンネル音響方式の音響信号再生装置に関する。

現在番組制作が行われている2チャンネル音響方式、5.1チャンネル音響方式に加え、7.1チャンネルや22.2チャンネルなどの5.1チャンネル音響方式を超えた「3次元(立体)音響方式」など複数の音響方式が提案されている。オーディオ関連の国際標準化団体であるITU-Rでは、ITU-R勧告として5.1チャンネル音響方式を超えた3次元音響方式（advanced multichannel audio system）に対する要求条件（非特許文献１）を定めており、今後も複数の音響方式が提案されることが予測される。これらの音響方式を共通のフォーマットで表現することで、次世代オーディオシステムに適用可能であり種々の方面への活用が可能な柔軟なシステムとすることができる。

"Performance requirements for an advanced multichannel stere ophonic sound system for use with or without accompanying picture", ITU-R勧告BS. 1909

種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。

例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。近年、制作環境、再生環境の違いによる番組間の聴感上の音の大きさの不均一性を解消するため、ラウドネスによる音量調整法がITUやARIBといった標準化団体にて提案されている。しかし、再生環境、番組ジャンルによって最適な音量調整値は異なり、再生装置側で再生環境及び視聴者の好みに合わせた音量調整が求められる。

したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、音響空間層毎に規定された推奨ラウドネスを維持しながら音量調整が可能な音響信号再生装置、及び当該音響信号を作成する音響信号作成装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、番組を構成する部品をそれぞれマルチチャネンル音響信号からなる音響空間層として、複数の音響空間層を重ね合わさせて再生することで一つの番組が実現される、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれ、番組を構成する音響空間層の数と、番組全体の推奨ラウドネスと、番組ジャンルと、各音響空間層を構成する音響チャンネル信号の数とその配置と、前記各音響空間層の推奨ラウドネスと、前記各音響空間層の内容と、が記載されたメタデータに基づき、前記各音響空間層の音量を調整することで番組全体の音量を調整する音量調整部と、ユーザからマルチチャンネル音響信号全体の音量入力と特定の音響空間層の音量入力を受け付ける音量入力部と、を備え、前記音量調整部は、前記各音響空間層の推奨ラウドネスを基準として、前記マルチチャンネル音響信号全体の音量を調整する音量入力に基づいて、前記各音響空間層の音量を同じ割合で連動させて調整する機能と、前記特定の音響空間層の音量を調整する音量入力に基づいて、前記特定の音響空間層の音量を調整する機能とを有することを特徴とする。

また、マイクロホンと、前記マイクロホンにより環境音を測定する環境測定部とを備え、前記音量調整部は、前記メタデータに記載された前記各音響空間層の推奨ラウドネス、前記音量入力、及び、前記環境音の測定結果に基づき前記各音響空間層の音量を調整することが好ましい。

本発明に係る音響信号再生装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、音響空間層毎に規定された推奨ラウドネスを維持しながら音量調整をすることが可能となる。

本発明の第１の実施形態に係る音響信号再生装置の構成を示す図である。マルチチャンネル音響信号に含まれる音響空間層の一例を示す図である。マルチチャンネル音響信号におけるメタデータの一例を示す図である。本発明の第２の実施形態に係る音響信号再生装置の構成を示す図である。第２の実施形態に係る音響信号再生装置の音量入力部の一例を示す図である。本発明の第３の実施形態に係る音響信号再生装置の構成を示す図である。本発明の一実施形態に係る音響信号作成装置の構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願（10-2012-0112984）を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願（特願2013-010544）を行っている。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置１０は、デマルチプレクサ１１（ＤＥＭＵＸ）と、復号化部１２と、音量調整部１５と、再生チャンネル変換部１３とを備え、音響信号再生装置１０の出力信号はスピーカ１４により音として再生される。

デマルチプレクサ１１は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ１１は、音響チャンネル信号を復号化部１２に出力し、メタデータを復号化部１２、音量調整部１５及び再生チャンネル変換部１３に出力する。

図２は、本実施形態におけるマルチチャンネル音響信号（音響データストリーム）に含まれる音響空間層の一例を示す図である。図２のマルチチャンネル音響信号は、２つの音響空間層を含んで構成される。第１の音響空間層２００は５チャンネルの音響チャンネル（２１０〜２５０）であり、Ｍｕｓｉｃ（背景音、環境音、音楽など）を再生する。第２の音響空間層３００はステレオ方式（２ｃｈ）の音響チャンネル（３１０、３２０）であり、Ｄｉａｌｏｇｕｅ（俳優のせりふ、会話など）を再生する。

図３は、図２に示すマルチチャンネル音響信号のメタデータの一例を示す図である。図３のメタデータ（Sound Essence 000）には、当該マルチチャンネル音響信号が２層の音響空間層（Sound Field）を持つことが記載され、マルチチャンネル音響信号全体の推奨ラウドネス（−２４ＬＫＦＳ）及び番組ジャンル（Ｔａｌｋ）が記載されている。第１の音響空間層２００（Sound Field 01）は５ｃｈで構成され、推奨ラウドネスは−１８ＬＫＦＳであり、音響チャンネル信号２１０（Channel 01）がＬｃｈ、音響チャンネル信号２２０（Channel 02）がＲｃｈ、音響チャンネル信号２３０（Channel 03）がＣｃｈ、音響チャンネル信号２４０（Channel 04）がＢＬｃｈ、音響チャンネル信号２５０（Channel 05）がＢＲｃｈより再生されることが記載されている。第２の音響空間層３００（Sound Field 02）は、２ｃｈのステレオ方式で推奨ラウドネスは−２５ＬＫＦＳであり、音響チャンネル信号３１０（Channel 06）がＬｃｈ、音響チャンネル信号３２０（Channel 07）がＲｃｈより再生されることが記載されている。

復号化部１２は、デマルチプレクサ１１からの音響チャンネル信号をチャンネルごとに復号化し、メタデータに基づいて、音響チャンネル信号を音響空間層毎にグルーピングすする。

音量調整部１５は、メタデータに記載されている各音響空間層の推奨ラウドネスに基づき、各音響空間層の音量を調整する。音量調整部１５は、メタデータに記載された各音響空間層の推奨ラウドネスに基づいて各音響空間層の音量を調整するものであり、例えば図３の場合、音量調整部１５は、第１の音響空間層２００と第２の音響空間層３００との推奨ラウドネスの割合（−１８：−２５）を維持して各音響空間層の音量を調整する。また、音量調整部１５は、マルチチャンネル音響信号全体の音量を調整する場合、メタデータに記載された各音響空間層の推奨ラウドネスを基準としつつ、ラウドネスの変更幅を音響空間層毎変えて音響を調整することができる。例えば図３の場合、音量調整部１５は、全体の音量を−２４ＬＫＦＳから−２８ＬＫＦＳへと下げるとき、第１の音響空間層２００（音楽）は−１８ＬＫＦＳから−２４ＬＫＦＳへと比較的下げ幅を大きくし、第２の音響空間層３００（音声）は−２５ＬＫＦＳから−２６ＬＫＦＳへと比較的下げ幅を小さくするなど、音響空間層の役割に応じて各音響空間層の音量を調整する。これにより、コンテンツに応じてより聞き取りやすい音量調整が可能となる。

再生チャンネル変換部１３は、複数の音響空間層を一つの音響空間にまとめ、再生環境に合わせ、各再生スピーカに入力する音響チャンネル信号を生成する。

このように、本実施形態によれば、音量調整部１５は、マルチチャンネル音響信号に含まれるメタデータに記載された各音響空間層の推奨ラウドネスに基づき、各音響空間層の音量を調整する。これにより、複数の音響空間層を持つマルチチャンネル音響方式に対応し、音響空間層毎に規定された推奨ラウドネスを維持しながら音量調整をすることが可能となる。また、高齢者で音声が聞き取りにくい場合など、音声の音響空間層のラウドネスを推奨値とし、背景音のラウドネスだけを小さくするなど、好みの割合で音響空間層の音量を調整することも可能である。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る音響信号再生装置の構成を示す図である。第２の実施形態に係る音響信号再生装置は、第１の実施形態に係る音響信号再生装置にユーザから音量入力を受け付ける音量入力部１６を加えた構成である。第１の実施形態と共通の機能ブロックについては、第１の実施形態と重複する説明は省略する。

図５は、音量入力部１６の一例を示す図である。図５（ａ）において、キー１６１は放送チャンネルの選択キーであり、キー１６２及びキー１６３が音量入力部としてユーザからの音量入力を受け付ける。キー１６２はマルチチャンネル音響信号全体の音量を調整するものであり、音量調整部１５は、キー１６２から音量入力を受けると、メタデータに記載された各音響空間層の推奨ラウドネスに基づいて、各音響空間層の音量を調整する。例えば図３の場合、音量調整部１５は、第１の音響空間層２００と第２の音響空間層３００との推奨ラウドネスの割合（−１８：−２５）を維持して、各音響空間層の音量を調整する。キー１６３は音声（Ｄｉａｌｏｇｕｅ）という特定の音響空間層の音量を調整するものであり、音量調整部１５は、キー１６３から音量入力を受けると、メタデータにＤｉａｌｏｇｕｅと記載された音響空間層の音量を調整する。例えば図３の場合、音量調整部１５は、Ｄｉａｌｏｇｕｅである第２の音響空間層３００の音量を調整する。図５（ｂ）において、キー１６１は放送チャンネルの選択キーであり、キー１６４及びキー１６５が音量入力部としてユーザからの音量入力を受け付ける。キー１６４は音量調整の対象となる音響空間層を切り替えるものである。例えば図３の場合、キー１６４により、音量調整の対象が第１の音響空間層２００と第２の音響空間層３００との間で切り替えられる。キー１６５はキー１６４により選択された音響空間層の音量を調整するものであり、音量調整部１５は、キー１６５から音量入力を受けると、キー１６４により選択された音響空間層の音量を調整する。例えば図３の場合、音量調整部１５は、キー１６４の選択により、第１の音響空間層２００又は第２の音響空間層３００の音量を調整する。

このように、本実施形態によれば、音響信号再生装置１０はユーザから音量入力を受け付ける音量入力部１６を備え、音量調整部１５は、メタデータに記載された各音響空間層の推奨ラウドネスに基づいて、音量入力に基づき各音響空間層の音量を調整する。これにより、音響空間層毎に規定された推奨ラウドネスを維持しながら音量調整をすることが可能となる。また、音声といった特定の音響空間層の音を大きく聞きたい場合など、ユーザの好みに応じて音響空間層毎に音量調整を行うことも可能である。これにより、背景音にまぎれた音声を聞き取りやすくすることができる。さらに、対象とする音響空間層を選択して音量調整を行うことも可能となる。これにより、音量調整部１５は、ユーザの好みに応じたラウドネスの割合で、音量入力に基づき各音響空間層の音量を調整することができる。なお、音量入力部１６のインターフェースは図５に限定されない。

（第３の実施形態）
図６は、本発明の第３の実施形態に係る音響信号再生装置の構成を示す図である。第３の実施形態に係る音響信号再生装置は、第１の実施形態に係る音響信号再生装置にマイクロホン１７と、マイクロホン１７により環境音を測定する環境測定部１８とを加えた構成である。第１の実施形態と共通の機能ブロックについては、第１の実施形態と重複する説明は省略する。

マイクロホン１７は周囲の環境音を集音し、環境測定部１８は、環境音と再生音の差を基に再生環境の背景音の大きさを推定し、番組全体の音量調整値を音量調整部１５に対して出力する。音量調整部１５は、環境測定部１８から音量調整値を受けると、メタデータに記載された各音響空間層の推奨ラウドネスに基づいて、各音響空間層の音量を調整する。また、番組全体の音量が大きくなりすぎる場合など、音声の音響空間層のラウドネスだけを大きくすることも可能である。例えば図３の場合、音量調整部１５は、第１の音響空間層２００と第２の音響空間層３００との推奨ラウドネスの割合（−１８：−２５）を維持して、各音響空間層の音量を調整する。しかし、環境音が大きい場合は、第１の音響空間層２００（音楽）と第２の音響空間層３００（音声）のラウドネスを音声だけ大きく（−１８：−２０）する。なお、このとき実際の環境音にそのまま追従すると、音量調整値が絶えず変化してしまうため、環境測定部１８は、環境音を時間方向に平滑化し、ある一定時間以上、調整が必要な変化が続いた場合のみ音量調整値を出力する構成としても良い。また、トーク番組では音声に関する音響空間層の音量だけを大きくするなど、番組ジャンルに合わせて音量を調整することも可能である。

このように、本実施形態によれば、音響信号再生装置１０はマイクロホン１７と、環境測定部１８とを備え、音量調整部１５は、メタデータに記載された各音響空間層の推奨ラウドネスの割合を維持、もしくはユーザの好みに応じて、または環境音に基づき各音響空間層の音量を調整する。これにより、音響空間層毎に規定された推奨ラウドネスを維持しながら音量調整をすることが可能となる。また、マイクロホン１７及び環境測定部１８で常に再生環境をモニターすることにより、生活音などに合わせ自動的に音量調整を行うことが可能となる。

図７は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置２０は、ミキサ２１と、符号化部２２と、マルチプレクサ２３（ＭＵＸ）とを備える。

ミキサ２１は、複数の音響信号をミキシングして、音響空間層毎の音響チャンネル信号として符号化部２２に出力する。

符号化部２２は、ミキサ２１からの各音響空間層の音響チャンネル信号を符号化してマルチプレクサ２３に出力する。

マルチプレクサ２３（多重化部）は、各音響空間層の音響チャンネル信号と、各音響空間層の推奨ラウドネスを含むメタデータとを多重化するものであり、番組制作者等により入力されるメタデータと、符号化された音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。マルチプレクサ２３は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはＩＰ回線等で家庭など遠隔地に伝送する。

このように、本実施形態によれば、マルチプレクサ２３は、各音響空間層の音響チャンネル信号と、各音響空間層の推奨ラウドネスを含むメタデータとを多重化する。これにより、音響信号再生装置側で、複数の音響空間層を持つマルチチャンネル音響方式に対応し、音響空間層毎に規定された推奨ラウドネスを維持しながら音量調整をすることが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１０音響信号再生装置
１１デマルチプレクサ
１２復号化部
１３再生チャンネル変換部
１４スピーカ
１５音量調整部
１６音量入力部
１７マイクロホン
１８環境測定部
２０音響信号作成装置
２１ミキサ
２２符号化部
２３マルチプレクサ（多重化部）

Claims

番組を構成する部品をそれぞれマルチチャネンル音響信号からなる音響空間層として、複数の音響空間層を重ね合わさせて再生することで一つの番組が実現される、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、
前記マルチチャンネル音響信号に含まれ、番組を構成する音響空間層の数と、番組全体の推奨ラウドネスと、番組ジャンルと、各音響空間層を構成する音響チャンネル信号の数とその配置と、前記各音響空間層の推奨ラウドネスと、前記各音響空間層の内容と、が記載されたメタデータに基づき、前記各音響空間層の音量を調整することで番組全体の音量を調整する音量調整部と、
ユーザからマルチチャンネル音響信号全体の音量入力と特定の音響空間層の音量入力を受け付ける音量入力部と、
を備え、
前記音量調整部は、前記各音響空間層の推奨ラウドネスを基準として、前記マルチチャンネル音響信号全体の音量を調整する音量入力に基づいて、前記各音響空間層の音量を同じ割合で連動させて調整する機能と、前記特定の音響空間層の音量を調整する音量入力に基づいて、前記特定の音響空間層の音量を調整する機能とを有することを特徴とする、音響信号再生装置。
マイクロホンと、
前記マイクロホンにより環境音を測定する環境測定部とを備え、
前記音量調整部は、前記メタデータに記載された前記各音響空間層の推奨ラウドネス、前記音量入力、及び、前記環境音の測定結果に基づき前記各音響空間層の音量を調整する、請求項１に記載の音響信号再生装置。