JP2009081482A - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

Abstract

【課題】映像制作者の意図する撮影シーンの雰囲気や場面設定に応じた、最適な視聴環境の照明制御を実現できる視聴環境制御システムを提供する。
【解決手段】データ送信装置は、映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを、前記セグメント単位で前記映像データに多重するデータ多重部１と、セグメント区切り情報、照明制御種別情報が多重された映像データを変調して送出する送信部とを設けて構成される。一方、データ受信装置は、映像データからセグメント区切り情報、照明制御種別情報を分離するデータ分離部３２と、該セグメント区切り情報、照明制御種別情報を用いて、照明装置３８の照明光を制御する照明制御データ生成部３５とを設けて構成される。
【選択図】図７

Description

本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。

例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。

例えば特許文献１には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。

また、例えば特許文献２には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。

さらに、例えば特許文献３には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
特開平２−１５８０９４号公報 特開平２−２５３５０３号公報 特開平３−１８４２０３号公報

通常、映像のシーンは例えば映像制作者（脚本家や演出家など）の意図により、一連の場面設定に基づく一区切りの映像として作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン状況に応じた照明光を視聴空間に照射することが望ましい。

しかしながら、上述した従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、場面設定に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。

図１１は上記従来の技術による照明制御の問題点の一例を説明するための図である。図１１に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がアップショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。

このような場合、ショット１では、月夜の比較的暗い映像が連続している。これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。

すなわち、一つの場面（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

図１２はシーン内の照明の変動による問題点の他の例を説明するための図である。図１２に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。

このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。

このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、一つの場面（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化してしまい、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

以上のように、同一シーン内では、各フレームの映像特徴量に応じてフレーム毎に視聴環境照明光を切り替えるのではなく、視聴環境照明光を略一定に保持することが望ましい。

さらに、ドラマや映画、音楽番組などのオープニング（あらすじ）や予告編、コマーシャルメッセージ（ＣＭ）期間では、短時間にショットが頻繁に変化するため、上記従来の技術のように、各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させた場合、照明光が煩雑に変化し、視聴者が違和感を感じるという問題が生じる。

図１３はオープニング（あらすじ）表示時の照明の変動による問題点の例を説明するための図である。図１３に示す例では、ドラマ番組のストーリー上、特に重要なショット（１，２，３，４）が短時間（数秒）で切り替えられた要約映像であり、ここでは、ショット１は晴天の日中の屋外、ショット２は晴天の早朝の屋外、ショット３は曇天の日中の屋外、ショット４は晴天の夕暮れの屋外の場面設定でそれぞれ撮影された映像である。

すなわち、この映像を構成するフレームの映像特徴量は、各ショット毎に異なっており、上記従来の技術のように、各フレーム毎の色度や輝度を使用して照明光を制御すると、各ショットの切り替わりに同期して照明光も短時間で頻繁に変化することになり、却って視聴環境の雰囲気を阻害して視聴者に違和感を与えることになる。

このように、複数のショットが短時間で頻繁に変化する映像を表示する際には、各フレームの映像特徴量に応じてフレーム毎に視聴環境照明光を切り替えるのではなく、予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するのが望ましい。

そしてまた、テレビ番組の中では、シーンとシーンの間に短時間だけアイキャッチ（例えばＣＭ前後に挿入される番組クレジットや、バラエティ番組等で次のコーナーで取り上げる内容の抜粋やテロップなど）のような映像が挿入されることがある。このような場合、上記従来の技術のように、各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させると、シーンとシーンの間に挿入された短時間の映像に応じて照明光が変化し、視聴者が違和感を感じるという問題が生じる場合がある。

図１４はシーンとシーンの間に短時間のショット映像が挿入された映像表示時の照明の変動による問題点の例を説明するための図である。図１４に示す例では、晴天の日中の屋外の場面設定からなるシーン１と屋内の場面設定からなるシーン２との間に、夜間の湖面のショットが短時間だけ挿入された映像である。

このような場合、上記従来の技術のように、各フレーム毎の色度や輝度を使用して照明光を制御すると、そしてシーン１からショットに切り替わると、明るい照明光から暗い照明光に大きく切り替わり、短時間ですぐにシーン２に切り替わると、これに合わせて再び明るい照明光に切り替わることとなり、却って視聴環境の雰囲気を阻害して視聴者に違和感を与えることになる。

このように、シーンとシーンの間に短時間のショットが挿入された映像を表示する際には、該ショットを構成する各フレームの映像特徴量に応じて視聴環境照明光を切り替えるのではなく、直前のシーンの映像特徴量に応じた視聴環境照明光をそのまま維持して視聴環境空間に照射するか、或いは予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するのが望ましい場合がある。

さらに、例えばドラマや映画番組の中の回想シーンなどのように特殊映像処理が施されたシーンが挿入されることがあるが、このような場合、上記従来の技術においては、特殊映像効果が付加された各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させることとなり、視聴者が違和感を感じるという問題が生じる場合がある。

このように、特殊映像処理が施された映像を表示する際には、各フレームの映像特徴量に応じて視聴環境照明光を切り替えるのではなく、直前のシーンの映像特徴量に応じた視聴環境照明光をそのまま維持して視聴環境空間に照射するか、或いは予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するのが望ましい場合がある。

また、例えばスポーツ番組の競技シーンや、ニュース／報道、情報／ワイドショーなどのスタジオ収録シーンは、一般的にスポーツ会場や収録スタジオなどの一定の照明下で撮影された映像である。しかしながら、上記従来の技術のように、各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させると、映像信号に含まれる背景の人工物や、人物の顔や服装などの影響を受けて、不適切な色の照明光を周囲に照射してしまうこととなり、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることがある。

このように、一定の白色光照明下で撮影された映像を表示する際には、各フレームの映像特徴量に応じて視聴環境照明光を切り替えるのではなく、予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するか、或いはロングショットで撮影された競技場やスタジオの照明を含むフレームの映像特徴量に応じた視聴環境照明光をそのまま維持して視聴環境空間に照射するのが望ましい。

一方、例えば夜空に稲妻が走るようなシーンなど、各フレームの映像特徴量に応じて視聴環境照明光を切り替えるのが望ましい場合も存在するため、表示する映像内容に応じて視聴環境照明光を更新すべきタイミングを可変する必要がある。しかしながら、このようなフレーム単位での視聴環境照明光の切り替えが必要な表示映像は出現頻度が少なく、映像データを構成する全てのフレーム毎に視聴環境照明光を更新すべきか維持すべきか等を指示する照明制御種別情報を付加した場合、いたずらにデータ量の増大を招来するという問題がある。

本発明は、上記課題に鑑みてなされたものであり、データ量の増加を抑制しつつ、視聴環境の照明光を切り替えるタイミングを適切に制御することにより、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。

本願の第１の発明は、１以上のフレームから構成される映像データを送信するデータ送信装置において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを、前記セグメント単位で前記映像データに付加して送信することを特徴とする。

本願の第２の発明は、前記照明制御種別情報が、前記セグメント内の全てのフレームを表示する際、直前の視聴環境照明光を維持して一定に保つ維持モードを指示する情報を含むことを特徴とする。

本願の第３の発明は、前記照明制御種別情報が、前記セグメント内の全てのフレームを表示する際の視聴環境照明を更新する全更新モードを指示する情報を含むことを特徴とする。

本願の第４の発明は、前記照明制御種別情報が、前記セグメント内の最初のフレームを表示する際の視聴環境照明のみを更新し、以降のフレームを表示する際の視聴環境照明を維持して一定に保つ更新モードを指示する情報を含むことを特徴とする。

本願の第５の発明は、前記照明制御種別情報が、前記セグメント内の各フレーム単位で視聴環境照明の制御種別を変更するフレーム制御モードを指示する情報を含むことを特徴とする。

本願の第６の発明は、前記照明制御種別情報が、前記フレーム制御モードを指示する場合において、当該セグメント内の各フレームに対して、当該フレームを表示する際の視聴環境照明を更新するか、直前の視聴環境照明を維持するかを指示する情報を含むことを特徴とする。

本願の第７の発明は、前記照明制御種別情報が、前記セグメント内の全てのフレームを表示する際、視聴環境照明光を予め設定された一定の状態を保つデフォルト照明モードを指示する情報を含むことを特徴とする。

本願の第８の発明は、前記照明制御種別情報が、前記セグメント内の全てのフレームを表示する際、視聴環境照明を消灯状態に保つ消灯モードを指示する情報を含むことを特徴とする。

本願の第９の発明は、前記照明制御種別情報が、前記セグメント内の全てのフレームを表示する際、視聴環境照明の制御を停止する非制御モードを指示する情報を含むことを特徴とする。

本願の第１０の発明は、表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データを構成する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを受信する受信手段と、前記照明制御種別情報に基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする。

本願の第１１の発明は、前記視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする。

本願の第１２の発明は、１以上のフレームから構成される映像データを送信するデータ送信方法において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを、前記セグメント単位で前記映像データに付加して送信することを特徴とする。

本願の第１３の発明は、外部からの要求を受けて、映像データを構成する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報を送信するデータ送信方法であって、前記映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記照明制御種別情報とを前記セグメント単位で送信することを特徴とする。

本願の第１４の発明は、表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データを構成する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを受信し、前記照明制御種別情報に基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする。

本発明によれば、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて、視聴環境の照明光を適切に制御することが可能となり、視聴者に臨場感を与えてより高度な映像効果を得ることができる。

＜第１の実施形態＞
以下、本発明の視聴環境制御システムの第１実施形態について、図１乃至図７とともに詳細に説明する。ここで、図１は本実施形態の視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図、図２は本実施形態の視聴環境制御システムにおける付加データのデータ構造の一例を説明するための図である。

図３は本実施形態の視聴環境制御システムにおけるシーン区切り情報の一例を示す説明図、図４は本実施形態の視聴環境制御システムにおける照明制御種別情報の一例を示す説明図、図５は本実施形態の視聴環境制御システムにおける照明制御モードの動作を説明するための図、図６は映像の構成要素を説明するための図、図７は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。

本実施形態における映像送信装置（データ送信装置）は、図１に示すように、映像データ、音声データ、セグメント区切り情報、照明制御種別情報などを含む付加データのそれぞれを多重するデータ多重部１と、データ多重部１の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部２とを備えている。

図２は付加データのデータ構造の一例を説明するための図である。本実施形態においては、映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントに関する各種付加情報がセグメント単位で記述されている。

セグメント区切り情報は、図３に示すように、セグメント番号、開始時刻、区間情報により構成されている。セグメント開始時刻は、映像データ、音声データそれぞれの再生時間情報を示すために付加されたタイムコードにより指定されており、例えば図３に示すように、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。セグメント区間は、当該セグメントの開始タイムコードを示す時間から次のセグメントの開始タイムコードとの期間を示す時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。

尚、ここでは、セグメントの開始時刻（開始フレーム）、区間（フレーム数）の両方を記述しているが、少なくともいずれかが記述されていればよい。いずれか一方のみの場合のセグメント区切りは、当該セグメントが次のセグメントと連続していて重なりが無いとすれば一意に決めることができる。例えばある照明制御種別情報が設定されたフレームを当該セグメントの開始フレームとし、次に照明制御種別情報が設定されたフレームまでを当該セグメントの区間とすればよい。

ここで、セグメントとは、映像コンテンツの構成を時間方向に任意の長さで区切ったものとして定義され、例えばシーン、ショット、フレームなどに対応して区切られたものである。例えば、セグメントがシーンに対応する場合、ショット単位で存在する情報はセグメント内にまとめて記述する。セグメントがショットに対応する場合、シーン単位に存在する情報は、対応するセグメント全てで同じものを繰り返し記述する。また、セグメントがフレームに対応する場合、シーン単位やショット単位で存在する情報は、対応するセグメント全てで同じものを繰り返し記述する。

尚、視聴環境照明の制御においては、主に場面の状況が一定となるシーン単位での制御が多いが、撮影の状況が一定となるショット単位で制御することも少なからずある。また、時にはフレーム単位でのきめ細やかな制御が望ましい場合も存在することから、表示データの内容によって視聴環境照明を一定に制御すべきことが多い単位でセグメントを区切ることにより、付加するデータ量の増加を抑制して、効率的に付加データを記述することができる。

照明制御種別情報は、当該セグメントに含まれる各フレームを表示する際の視聴環境照明の制御種別を示すものであり、その詳細については図４とともに後述する。

シーン設定情報は、当該セグメントに含まれる映像データのシーン場面設定状況を示すものであり、具体的には、当該シーンのストーリー上における季節を表わす季節情報、時刻を表わす時刻情報、場所を表わす場所情報、時代を表わす時代情報、天候を表わす天候情報、地域を表わす地域情報などが記述されている。

このシーン設定情報を利用することにより、表示する映像の特徴量に関わらず、表示映像のシーン状況（ストーリー上の場面設定状況）に応じた照明光を推定して視聴空間に照射することが可能となる（詳しくは、本願の出願人が先に出願したPCT/JP2007/057458明細書参照）。尚、このシーン設定情報は、シーン単位で変化するものであるため、セグメントをシーンに合わせて区切ることにより、シーン設定情報をセグメント単位で効率良く記述することができる。

また、撮影照明情報は、当該セグメントに含まれる映像データの撮影時における照明状況を示すものであり、具体的には、当該映像データの撮影に用いられた撮影照明のライティング種別を表わすライティング種別情報、撮影照明の性質を表わす照明器具情報、撮影照明の光の方向を表す照射方向情報、撮影照明の光の強度を表わす照明強度情報、撮影照明の光の色度を表わす照明色情報などが記述されている。

この撮影照明情報を利用することにより、表示する映像の特徴量に関わらず、映像の撮影時における照明状況に応じた照明光を推定して視聴空間に照射することが可能となる（詳しくは、本願の出願人が先に出願したPCT/JP2007/057760明細書参照）。尚、この撮影照明情報は、ショット単位又はシーン単位で変化することが多いため、セグメントをショット、シーンに合わせて区切ることにより、撮影照明情報をセグメント単位で効率良く記述することができる。

さらに、カメラワーク情報は、当該セグメントに含まれる映像データの撮影時におけるカメラワーク状況を示すものであり、具体的には、当該映像データの撮影時におけるカメラポジションを表わすポジション情報、カメラアングルを表わすアングル情報、被写体のサイズを表わす被写体サイズ情報、被写体の数を表わす被写体数情報、カメラの動きを表わすカメラの動き情報、カメラレンズの種別を表わすレンズワーク情報などが記述されている。

このカメラワーク情報を利用することにより、例えば前景部（被写体）などの映像特徴量を用いて照明光の推定を行うことによる不適切な視聴環境照明を防止することが可能となる（詳しくは、本願の出願人が先に出願したPCT/JP2007/058035明細書参照）。尚、このカメラワーク情報は、ショット単位で変化することが多いため、セグメントをショットに合わせて区切ることにより、カメラワーク情報をセグメント単位で効率良く記述することができる。

尚、本実施形態では、より適切な視聴環境照明を求めるために、シーン設定情報、撮影照明情報、カメラワーク情報を付加データに含めることとしているが、これらの情報は必ずしも必要ではない。

次に、本実施形態の照明制御種別情報の詳細について、図４とともに説明する。図４に示すように、本実施形態では、維持モード、全更新モード、更新モード、非制御モード、消灯モード、デフォルト照明モード、フレーム制御モードの７種類の照明制御モードが規定されており、１つのセグメントに対していずれかのモードがモード指定領域に記述・指定される。また、フレーム制御モードが指定される場合のみ、制御種別指定領域に、当該セグメントに含まれる全てのフレームに対する制御種別指定データが記述される。

各照明制御モードについて、図５とともに説明する。維持モードは、当該セグメント区間に対応する映像データを表示する際、直前の視聴環境照明を維持して一定に保つ動作モードである。全更新モードは、当該セグメント区間に対応する全てのフレームを表示する際の視聴環境照明を更新する動作モードである。更新モードは、当該セグメント区間における最初のフレームを表示する際の視聴環境照明のみを更新し、以降のフレームを表示する際の視聴環境照明を維持して一定に保つ動作モードである。

また、非制御モードは、当該セグメント区間に対応する全てのフレームを表示する際の視聴環境照明の制御を停止する動作モードである。消灯モードは、当該セグメント区間に対応する映像データを表示する際、視聴環境照明を消灯状態に切り替えて維持する動作モードである。デフォルト照明モードは、当該セグメント区間に対応する映像データを表示する際、例えば明るい白色照明などのように予め決められた明るさ及び色の視聴環境照明（デフォルト照明）に切り替えて維持する動作モードである。

さらに、フレーム制御モードは、当該セグメント区間内の各フレーム単位で視聴環境照明の制御種別を変更する動作モードであり、当該セグメント内の各フレームに対して記述された、当該フレームを表示する際の視聴環境照明の制御種別に応じて、視聴環境照明を制御するものである。ここでは、各フレームに対して記述された、維持、更新、非制御、消灯、デフォルトのいずれかに基づいて、各フレームを表示する際の視聴環境照明を制御することができるようになっている。

尚、上記付加データは、例えばＭＰＥＧ２（Moving Picture Experts Group 2）−Ｓｙｓｔｅｍｓで規定されたトランスポートストリームパケット（ＴＳＰ）の拡張ヘッダ（アダプテーション・フィールド）で伝送したり、映像、音声などのデータから構成されるペイロードに埋め込んで伝送することが可能である。また、映像データ、音声データ、付加データのそれぞれのデータストリームを多重して伝送するようにしてもよい。また、本実施形態においては、セグメント区切り情報と照明制御種別情報とを、映像データまたは音声データに付加すればよく、その際のデータ構造は上記のものに限らない。さらに、この付加データは、テキスト形式で記述されてもよいし、符号化されてバイナリ形式で記述されてもよい。

ここで、シーンやショットを含む映像の構成について、図６を参照して説明する。連続する動画像シーケンスを構成する映像データは、図６に示すように、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤは、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤはショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤがシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。

ここでは、上述したとおり、映像データを１以上の任意の数のフレームから構成されるシーンやショットなどに対応したセグメントに分割し、該セグメント単位で、上記照明制御種別情報（照明制御モード）を付加するようにしているので、データ量の増加を抑制しつつ、映像制作者（脚本家や演出家など）の意図に応じて、後述するように各フレームを表示する際の視聴環境照明を任意のタイミングで切り替えて適切に制御することが可能になっている。

また、同一シーン、ショット内であっても視聴環境照明を一定にするのではなく、フレーム単位できめ細かく視聴環境照明を切替制御するのが望ましい場合にも、セグメント分割数を増加させることなく、フレーム制御モードの記述により対応することが可能である。

次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。

本実施形態における映像受信装置は、図７に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部３１と、受信部３１の出力データから、映像表示装置３６に出力する映像データ、ＴＣ（タイムコード）、音声再生装置３７に出力する音声データ、ＴＣ（タイムコード）、セグメント区切り情報、照明制御種別情報などを含む付加データのそれぞれを分離・抽出するデータ分離部３２とを備えている。

また、データ分離部３２で分離された付加データ及び／又は前記映像データ及び前記音声データの特徴量に基づいて、各フレーム表示時に適した照明制御データ（ＲＧＢデータ）を生成し、視聴環境空間を照明する照明装置３８に出力する照明制御データ生成部３５と、照明制御データ生成部３５における処理時間分だけ映像データ、音声データを遅延して出力するディレイ発生部３３，３４とを備えている。

ここで、照明装置３８は、映像表示装置３６の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置３８は、映像表示装置３６の周囲環境の照明色及び明るさを制御することができるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置３８は１個以上設置されていればよい。

そしてまた、タイムコードは、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。

本実施形態の照明制御データ生成部３５は、映像データ、音声データの特徴量に基づいて、各フレーム表示時に適した照明推定処理を行う、或いは、付加データに含まれるシーン設定情報及び／又は撮影照明情報に基づいて、各シーン、ショット表示時に適した照明推定処理を行う。さらに、付加データにカメラワーク情報が含まれる場合は、このカメラワーク情報と映像データ、音声データの特徴量とに基づいて、各フレーム表示時に適した照明推定処理を行うこともできる。また、シーン設定情報及び／又は撮影照明情報に基づく照明推定結果と映像データ、音声データの特徴量に基づく照明推定結果とを加重平均するなどして照明推定処理を行うように構成してもよい。

尚、この照明制御データ生成部３５による撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。尚、ここでは、場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。

また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。

以上のように、本実施形態においては、映像データ、音声データの特徴量を用いた照明推定処理を行うモードと、映像データ、音声データの特徴量を用いず、付加データに含まれるシーン設定情報及び／又は撮影照明情報のみから照明推定処理を行うモードとを備えており、これらモードは受信装置側で視聴者により切替設定することが可能となっている。

さらに、照明制御データ生成部３５は、付加データに含まれる照明制御種別情報に基づいて、上述した照明推定処理の結果に応じた視聴環境照明への切り替えタイミングを制御する。すなわち、セグメント毎に記述・指定された照明制御モードが維持モードである場合は、映像データ、音声データの特徴量、シーン設定情報、撮影照明情報の内容に関わらず、当該セグメント区間内の全てのフレームを表示する際の視聴環境照明として、直前の視聴環境照明を変更することなく維持するように制御する。これによって、直前のセグメントと同一のシーンに含まれるセグメントを表示する場合であっても、直前のセグメント表示時の雰囲気を保った視聴環境照明を実現することができる。

また、セグメント毎に記述・指定された照明制御モードが全更新モードである場合は、当該セグメント内の全てのフレームを表示する際の視聴環境照明を、上述した照明推定処理の結果に応じて更新するように制御する。これによって、表示する映像の内容にきめ細かく追従したダイナミックな視聴環境照明の制御を行うことができる。

さらに、セグメント毎に記述・指定された照明制御モードが更新モードである場合は、当該セグメント内の最初のフレームを表示する際の視聴環境照明のみを、上述した照明推定処理の結果に応じて更新し、以降のフレームを表示する際の視聴環境照明を、当該セグメントが終了するまで維持するように制御する。これによって、セグメント内の映像の内容が頻繁に変化する場合であっても、セグメントの雰囲気に合わせた一定の視聴環境照明を実現することができる。

また、セグメント毎に記述・指定された照明制御モードが非制御モードである場合は、当該セグメント内の全てのフレームを表示する際の視聴環境照明の制御を停止する。これによって、例えば報道番組の映像などのように、視聴環境照明を変化させることが不適切な映像を表示する際は、映像の内容に連動した視聴環境照明制御を行わず、視聴者が所望する任意の視聴環境照明を実現することができる。

さらに、セグメント毎に記述・指定された照明制御モードが消灯モードである場合は、映像データ、音声データの特徴量、シーン設定情報、撮影照明情報の内容に関わらず、当該セグメント区間内の全てのフレームを表示する際の視聴環境照明を、消灯状態に切り替えてこれを保持するように制御する。これによって、照明による影響を排除して視聴者を映像のみに集中させるような視聴環境を実現することができる。

また、セグメント毎に記述・指定された照明制御モードがデフォルト照明モードである場合は、映像データ、音声データの特徴量、シーン設定情報、撮影照明情報の内容に関わらず、当該セグメント内に含まれる全てのフレームを表示する際の視聴環境照明を、予め決められたデフォルト照明に切り替えてこれを保持するように制御する。これによって、予め決められた特定の視聴環境照明を再現することができる。

そしてまた、セグメント毎に記述・指定された照明制御モードがフレーム制御モードである場合は、当該セグメント内の各フレームに対応して記述された制御種別に基づいて、各フレームを表示する際の視聴環境照明を制御する。すなわち、維持が指定されたフレームを表示する際は、直前の視聴環境照明を維持するように制御する。更新が指定されたフレームを表示する際は、上述した照明推定処理の結果に応じた視聴環境照明へ切り替える。また、非制御が指定されたフレームを表示する際は、視聴環境照明の制御を停止する。消灯が指定されたフレームを表示する際は、視聴環境照明を消灯状態とするように制御する。デフォルト照明が指定されたフレームを表示する際は、予め決められた明るさ及び色の視聴環境照明とするように制御する。これによって、フレーム単位でのきめ細かな視聴環境照明の切替制御を行うことも可能となっている。

上述のとおり、本実施形態によれば、前記照明制御種別情報により、視聴環境照明を切替制御するよう指示されている場合は、各フレームの映像特徴量／音声特徴量、或いは、シーン設定情報、撮影照明情報の内容に基づいて、撮影現場の照明状態や場面設定（雰囲気）を推定し、この推定結果に基づいて、照明装置３８を制御する照明制御データを出力する。また、前記照明制御種別情報により、視聴環境照明を維持制御するよう指示されている場合は、場（雰囲気）の推定処理は行わず、直前の照明制御データを繰り返し照明装置３８に出力する。

また、照明制御データ生成部３５は、１以上の予め決められた明るさ及び色の照明光に対応した照明制御データを、図示しない記憶部に格納している。前記照明制御種別情報により、予め決められた所定の視聴環境照明に切替制御するよう指示されている場合は、上述した場（雰囲気）の推定処理は行わず、上記予め記憶されている照明制御データを上記記憶部から読み出して出力する。

同様に、前記照明制御種別情報により、視聴環境照明を消灯状態に切替制御するよう指示されている場合は、上述した場（雰囲気）の推定処理は行わず、視聴環境照明を消灯状態とする照明制御データを出力する。

これによって、各フレームの映像特徴量／音声特徴量、或いは、シーン設定情報、撮影照明情報の内容に関わらず、前記照明制御種別情報により指定されたタイミングで、予め決められた所定の照明光に切り替えて、視聴環境空間を照射したり、視聴環境空間を消灯状態にすることが可能となる。

一方、映像表示装置３６、音声再生装置３７に出力される映像データ、音声データは、上述した映像データ及び音声データによる場（雰囲気）推定処理に必要な時間分だけ、ディレイ発生部３３，３４により遅延されるため、映像受信装置から照明装置３８に出力される照明制御データと、映像表示装置３６、音声再生装置３７に出力される映像データ、音声データとは同期することになり、映像表示に同期したタイミングで照明装置３８の照明光を切り替えることが可能となる。

以上のように、本実施形態においては、１つ以上の任意のフレーム数からなるセグメント単位で付加された照明制御種別情報（照明制御モード）に基づいて、視聴環境照明を制御する構成としているので、データ量の増加を抑制しつつ、映像制作者の意図に応じた任意のタイミングで視聴環境照明の切替制御を行うことが可能となる。

すなわち、映像データ、音声データの特徴量、或いは、シーン設定情報、撮影照明情報の変化に関わらず、任意の期間、視聴環境照明光を同一状態に保持することが可能となり、例えば、撮影時の場（雰囲気）、すなわち照明状態に変化のない同一シーン内では、視聴環境照明光を略同一に保持することが可能になる。

また、映像特徴量／音声特徴量に基づいた視聴環境照明の制御が不適切な期間では、例えば一定の白色照明光を保持して照射することが可能となる。従って、不適切な視聴環境照明により視聴者に違和感を与えることを防止し、最適な視聴環境を実現することができる。

さらに、照明制御種別情報（照明制御モード）は、シーンやショットなどに対応したセグメント単位で付加されるため、フレーム毎に照明制御種別情報を付加する場合に比べて、データ量を大幅に削減することが可能である。また、照明制御モードのひとつとしてフレーム制御モードを設けることにより、例えば同一シーン、ショット内であっても、フレーム単位での細やかな視聴環境照明の切替制御が望ましいような場合にも、セグメント分割数をいたずらに増加させることなく、これに対応することが可能である。

また、上記本発明の第１の実施形態においては、セグメント区切り情報、照明制御種別情報が放送データに付加されて送信される場合について説明したが、放送データに付加データが付加されていない場合、表示する映像データに対応するセグメント区切り情報、照明制御種別情報を外部サーバ装置等より送受信することによって、映像再生時の最適な視聴環境を実現することが可能となる。これについて、本発明の第２の実施形態として以下に説明する。

＜第２の実施形態＞
以下、本発明の視聴環境制御システムの第２実施形態について、図８乃至図１０とともに詳細に説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。ここで、図８は本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図、図９は本実施形態の視聴環境制御システムにおける照明制御種別情報格納テーブルの一例を示す説明図、図１０は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。

本実施形態における外部サーバ装置（データ送信装置）は、図８に示すように、映像受信装置（データ受信装置）側から特定の映像データ（コンテンツ）に関する照明制御種別情報の送信要求を受信する受信部５１と、映像データ（コンテンツ）毎の照明制御種別情報を格納しているデータ格納部５２と、送信要求を受けた照明制御種別情報を、セグメント区切り情報とともに、要求元の映像受信装置（データ受信装置）へ送信する送信部５３とを備えている。

ここで、本実施形態のデータ格納部５２に格納されている照明制御種別情報は、図９に示すように、各セグメントの開始時刻情報に対応付けてテーブル形式で記述されており、送信要求を受けた映像データ（番組コンテンツ）の照明制御種別情報を、当該セグメントの開始時刻を示すＴＣ（タイムコード）とともに、送信部５３より要求元の映像受信装置へ送信する。

次に、上記外部サーバ装置より送出されたセグメント区切り情報、照明制御種別情報を受けて、視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。本実施形態における映像受信装置は、図１０に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部６１と、受信部６１の出力データから、映像表示装置３６に出力する映像データ、音声再生装置３７に出力する音声データのそれぞれを分離・抽出するデータ分離部６２と、表示する映像データ（コンテンツ）に対応した照明制御種別情報の送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部６７と、前記送信要求した照明制御種別情報を、セグメント区切り情報とともに、通信ネットワークを介して外部サーバ装置より受信する受信部６８とを備えている。

また、前記受信部６８で受信したセグメント区切り情報、照明制御種別情報を一旦記憶し、このセグメント区切り情報として記述された開始時刻ＴＣ（タイムコード）と、データ分離部６２で抽出された映像データのＴＣ（タイムコード）とを比較し、それらが一致したときに、対応する照明制御種別情報を出力するＣＰＵ６６と、ＣＰＵ６６からの照明制御種別情報と、前記映像データ及び前記音声データの特徴量とに基づいて、照明制御データ（ＲＧＢデータ）を生成し、視聴環境空間を照明する照明装置３８に出力する照明制御データ生成部６５とを備えている。

すなわち、ＣＰＵ６６は、外部サーバ装置より受信して内部に記憶している照明制御種別情報格納テーブルの各セグメントの開始タイムコードと、照明制御データ生成部６５に入力される映像データのタイムコードとを比較し、これらが一致した時にそのセグメントに対応する照明制御種別情報を照明制御データ生成部６５に出力する。そして、照明制御データ生成部６５は、前記照明制御種別情報に応じて、各フレーム表示時に適した照明制御データ（ＲＧＢデータ）を生成・出力する。

すなわち、前記照明制御種別情報により、各フレームの映像特徴量／音声特徴量に基づいて、視聴環境照明を切替制御するよう指示されている場合は、当該フレームの映像データ及び音声データに基づいて撮影現場の照明状態や場面設定（雰囲気）を推定し、この推定結果に基づいて、照明装置３８を制御する照明制御データを出力する。

また、前記照明制御種別情報により、各フレームの映像特徴量／音声特徴量に関わらず、直前の視聴環境照明を維持制御（照明切替無し）するよう指示されている場合は、上述した映像撮影時の場（雰囲気）の推定処理は行わず、直前に出力された照明制御データを繰り返し出力する。

さらに、前記照明制御種別情報により、各フレームの映像特徴量／音声特徴量に関わらず、予め決められた所定の視聴環境照明に切替制御するよう指示されている場合は、上述した映像撮影時の場（雰囲気）の推定処理は行わず、予め内部に用意されている照明制御データを読み出して出力する。

これによって、放送データに照明制御種別情報が付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応する照明制御種別情報を外部サーバ装置より入手し、この照明制御種別情報に基づいて、視聴環境照明を制御する構成としているので、上述した第１の実施形態と同様、データ量の増加を抑制しつつ、映像制作者の意図に応じた任意のタイミングで視聴環境照明の切替制御を行うとともに、映像データの特徴量に応じた視聴環境照明と、予め決められた所定の視聴環境照明とを適切に切替制御することにより、最適な視聴環境の照明制御を実現することが可能となる。

尚、本実施形態においては、セグメント区切り情報、照明制御種別情報のみを外部サーバ装置との間で送受信し、各フレームの映像特徴量／音声特徴量のみに基づいた照明推定処理を行うものについて説明したが、上記第１の実施形態のように、セグメント区切り情報、照明制御種別情報に加えて、シーン設定情報、撮影照明情報、カメラワーク情報などを同時に送受信するようにし、多彩な照明推定処理を行うことが可能な構成としてもよいことは言うまでもない。

また、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、環境照明制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。

さらに、上述したセグメント区切り情報、照明制御種別情報は、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に記録されたセグメント区切り情報、照明制御種別情報を読み出して、これを用いるようにしてもよい。この場合、セグメント区切り情報、照明制御種別情報は映像情報に付加されていてもよいし、メディア媒体内で映像情報と異なる領域に記録されていてもよい。また、セグメント区切り情報、照明制御種別情報は、映像情報が記録されたメディア媒体とは別のメディア媒体や外部サーバ装置から取得するようにしてもよく、セグメント区切り情報、照明制御種別情報がセグメント単位で映像データに対応付けられていればよいことは言うまでもない。

本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。 本発明の第１実施形態に係る視聴環境制御システムにおける付加データのデータ構造の一例を説明するための図である。 本発明の第１実施形態に係る視聴環境制御システムにおけるシーン区切り情報の一例を示す説明図である。 本発明の第１実施形態に係る視聴環境制御システムにおける照明制御種別情報の一例を示す説明図である。 本発明の第１実施形態に係る視聴環境制御システムにおける照明制御モードの動作を説明するための図である。 映像の構成要素を説明するための図である。 本発明の第１実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 本発明の第２実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。 本発明の第２実施形態に係る視聴環境制御システムにおける照明制御種別情報格納テーブルの一例を示す説明図である。 本発明の第２実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 従来技術による照明変動の問題点の一例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。

符号の説明

１…データ多重部
２…送信部
３１、６１…受信部
３２、６２…データ分離部
３３、３４…ディレイ発生部
３５、６５…照明制御データ生成部
３６…映像表示装置
３７…音声再生装置
３８…照明装置
５１…受信部
５２…データ格納部
５３…送信部
６６…ＣＰＵ
６７…送信部
６８…受信部

Claims (14)

1. １以上のフレームから構成される映像データを送信するデータ送信装置において、
   前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを、前記セグメント単位で前記映像データに付加して送信することを特徴とするデータ送信装置。
2. 前記照明制御種別情報は、前記セグメント内の全てのフレームを表示する際、直前の視聴環境照明を維持して一定に保つ維持モードを指示する情報を含むことを特徴とする前記請求項１に記載のデータ送信装置。
3. 前記照明制御種別情報は、前記セグメント内の全てのフレームを表示する際の視聴環境照明を更新する全更新モードを指示する情報を含むことを特徴とする前記請求項１または２に記載のデータ送信装置。
4. 前記照明制御種別情報は、前記セグメント内の最初のフレームを表示する際の視聴環境照明のみを更新し、以降のフレームを表示する際の視聴環境照明を維持して一定に保つ更新モードを指示する情報を含むことを特徴とする前記請求項１乃至３のいずれかに記載のデータ送信装置。
5. 前記照明制御種別情報は、前記セグメント内の各フレーム単位で視聴環境照明の制御種別を変更するフレーム制御モードを指示する情報を含むことを特徴とする前記請求項１乃至４のいずれかに記載のデータ送信装置。
6. 前記照明制御種別情報は、前記フレーム制御モードを指示する場合において、当該セグメント内の各フレームに対して、当該フレームを表示する際の視聴環境照明を更新するか、直前の視聴環境照明を維持するかを指示する情報を含むことを特徴とする前記請求項５に記載のデータ送信装置。
7. 前記照明制御種別情報は、前記セグメント内の全てのフレームを表示する際、視聴環境照明を予め設定された一定の状態を保つデフォルト照明モードを指示する情報を含むことを特徴とする前記請求項１乃至６のいずれかに記載のデータ送信装置。
8. 前記照明制御種別情報は、前記セグメント内の全てのフレームを表示する際、視聴環境照明を消灯状態に保つ消灯モードを指示する情報を含むことを特徴とする前記請求項１乃至７のいずれかに記載のデータ送信装置。
9. 前記照明制御種別情報は、前記セグメント内の全てのフレームを表示する際、視聴環境照明の制御を停止する非制御モードを指示する情報を含むことを特徴とする前記請求項１乃至８のいずれかに記載のデータ送信装置。
10. 表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データを構成する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを受信する受信手段と、
    前記照明制御種別情報に基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
11. 前記請求項１０に記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
12. １以上のフレームから構成される映像データを送信するデータ送信方法において、
    前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを、前記セグメント単位で前記映像データに付加して送信することを特徴とするデータ送信方法。
13. 外部からの要求を受けて、映像データを構成する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報を送信するデータ送信方法であって、
    前記映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記照明制御種別情報とを前記セグメント単位で送信することを特徴とするデータ送信方法。
14. 表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データを構成する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報とを受信し、
    前記照明制御種別情報に基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。