JP2019508991A - ビデオ及びデータを同期するための方法、及び、システム - Google Patents

Abstract

方法は、
− 原フレーム（Ｆ）の領域（Ｒ）から画像フラグメント（Ｖ）を抽出することによってマークされたビデオ信号を生成し、その上に透かし（Ｍ）を配置するステップ、
− 抽出された画像フラグメント及び再構成情報の少なくとも一つを含むデータ信号を生成するステップ、及び、
− 付加的な同期ステップを実行するステップであって、
− データ信号から、画像フラグメント（Ｖ）及び再構成情報の少なくとも一つを取得するステップ、
− マークされたビデオ信号から、不完全フレーム（Ｆｒ）を取得するステップ、及び、
− データ信号及びマークされたビデオ信号から取得された情報から原フレーム（Ｆ）を再構成することを試行し、再構成が成功する場合、同期が正しいと判定するステップ、を含むステップ、
を含む。システムは、本発明の方法を実装することに適合する。
【選択図】図１

Description

本発明は、第１態様では、透かし情報を使用することを含む、ビデオ及びデータを同期するための方法に広く関連し、特に、付加的な同期ステップを、透かしの情報の一部とともに実行することを含む方法に関連する。

本発明の第２態様は、第１態様の方法を実装することに適合した、ビデオ及びデータを同期するためのシステムに関連する。

従来の技術において、ビデオ及びデータを同期するための方法は、本発明の請求項１のプリアンブルに含まれる特徴とともに開示されていた。すなわち、それは、以下の内容を含む。

ｉ）少なくとも一つの原フレーム（「原」は当初を意味すると理解する）の一つの領域上に透かしを含む少なくとも一つのマークされたフレームを含むビデオ信号を含む少なくとも一つのマークされたビデオ信号を提供するステップであって、透かしは、少なくとも一つの原フレームを、原フレームに関連付けられたデータに同期させるための符号化された情報を含む、ステップ。

ｉｉ）前述のマークされたビデオ信号を、関連付けられたデータを含むデータ信号にアクセス可能な受信機に送信するステップ。

ｉｉｉ）受信機が、マークされたビデオ信号のマークされたフレームの透かしに含まれる同期情報を抽出し、同期情報を復号し、同期情報を使用して原フレームを原フレームに関連付けられたデータに同期させることを含む、同期ステップを実行するステップ。

これは、特許文献である米国特許出願公開第２０１５／０２４２９８３号明細書（Ａ１）、国際公開第２００７／０７２３２７号（Ａ２）及び国際公開第２００５／０８９４７６号（Ａ２）に開示されている方法の事例である。それらのすべては、透かしは感知できない状態でなければならないか、認識できないという事実を強調している。透かしの感知できない状態とそのロバスト性との間で達成されるべき妥協案について議論する米国特許出願公開第２０１５／０２４２９８３号明細書（Ａ１）でさえ、より高いロバスト性を提供する付加的技術（additive techniques）のような侵襲的技術（invasive techniques）は、感知できない状態を向上させるために、ピクセルの群の中で付加される値を分割することによって提供されねばならないと認めている。

ビデオ信号フレームに含まれる透かしのそのような感知できない状態は、ビデオ信号が伝送される通信経路の質が悪化したとき、透かしの中に符号化された情報を回復することが（米国特許出願公開第２０１５／０２４２９８３号明細書（Ａ１）で説明されている“informed”又は“non-blind”法によってですら）ときどき不可能となり、又は、ビデオ信号がその送り先に到達したときに非常に悪化している場合、ビデオ信号を再構成することが、ときどき不可能となることを引き起こす。

他方で、非常に正確な、フレーム毎の同期が要求されるとき、その方法によって提案される同期は、そのような目的のために十分ではないかもしれない。

さらに、前述の方法は、ビデオ信号中のフレーム又はビデオ信号自身と関連付けられるように判定されたデータが、受信機に到達するより前に何らかの種類の改ざんをされていないこと、すなわち、それらは両方とも正確であり、互いに関連付けられていること、を、確実には保証しない。

したがって、ビデオとデータとの間の前述の正確な同期を達成することを可能にする方法及びシステムを提供することによって、データ及びビデオ信号の少なくとも一つの改ざん又は交替がなかったことの前述の保証と同様に、従来技術の中にみられる欠陥に打ち勝つ、従来技術の代替案を提示することが不可欠である。

米国特許出願公開第２０１５／０２４２９８３号明細書 国際公開第２００７／０７２３２７号 国際公開第２００５／０８９４７６号

この目的のために、本発明の第１態様は、ビデオ及びデータを同期するための方法に関連し、
ｉ）少なくとも一つの原フレームの一つの領域上に一つの透かしを含む少なくとも一つのマークされたフレームを含む一つのビデオ信号を含む少なくとも一つのマークされたビデオ信号を提供するステップであって、透かしは、データが関連付けられた少なくとも一つのフレームに関する符号化された同期情報を含む、ステップと、
ｉｉ）前述のマークされたビデオ信号を、関連付けられたデータを含むデータ信号にアクセス可能な受信機に送信するステップと、
ｉｉｉ）受信機が、マークされたビデオ信号のマークされたフレームの透かしに含まれる同期情報を抽出し、同期情報を復号し、同期情報を使用して、フレームをフレームに関連付けられたデータに同期させることを含む、同期ステップを実行するステップと、
を含む。

既知の方法と異なり、本発明の第１態様によって提案される特徴的な方法において：
前述のステップｉ）は、
ｉａ）前述の原フレームの領域から画像フラグメントを抽出し、原フレームの領域上に透かしを配置し、そこから抽出された画像フラグメントを置き換えて、前述のマークされたフレームを取得する、ことによって、前述のマークされたビデオ信号を生成するステップと、
ｉｂ）抽出された画像フラグメント、及び、抽出された画像フラグメントの再構成を許可する再構成情報の少なくとも一つを含む前述のデータ信号を生成するステップと、
を含み、
前述のステップｉｉｉ）は、
ｉｉｉａ）前述の同期ステップを実行するステップと、
ｉｉｉｂ）受信機が付加的な同期ステップを実行するステップであって、付加的な同期ステップは、
ｉｉｉｂ１）データ信号から、画像フラグメント及び前記画像フラグメントに含まれる再構成情報の少なくとも一つを取得するステップと、
ｉｉｉｂ２）受信したマークされたビデオ信号から、透かし及び抽出された画像フラグメントのない原フレームを含む不完全フレームを取得するステップと、
ｉｉｉｂ３）ｉｉｉｂ１）のステップ及びｉｉｉｂ２）のステップにおいて取得された情報から原フレームを再構成することを試行し、再構成が成功する場合、ビデオ信号のフレーム及びデータ信号の関連付けられたデータは、十分に同期していると判定するステップと、
を含む。

実施形態において、サブステップｉｂ）は、データ信号に、フレームに関連付けられたデータに関する同期情報を含めるステップを含み、サブステップｉｉａ）は、受信機によって、同期ステップを実行し、データ信号に含まれる同期情報を抽出し、同期情報を使用してフレームをフレームに関連付けられたデータに同期させることを含む。

好都合に、本発明の第１態様によって提案される方法において、ステップｉｉ）は、互いに独立した通信経路を経由して、マークされたビデオ信号及びデータ信号の両方を受信機に送信するステップを含む。

一般的に、ビデオ信号の同期情報、又は、ビデオ信号及びデータ信号の両方の同期情報は、原フレームに関連付けられた少なくとも一つのタイムコードを含む。

本発明の第１態様によって提案される方法の好適な実施形態において、前述のフレームは第１フレームであり、方法は、ビデオ信号の複数のフレームを、データ信号に含まれる対応する複数の関連付けられたデータに、第１フレームと同様な方法によって、すなわち、先行する段落で説明したように、フレーム毎に同期させるステップを含む。

本発明の第１態様の方法は、通信経路が信号の損失又は悪化（衛星通信の場合に起こるかもしれない）を引き起こすかもしれないときですら、各種の通信経路を経由して、ビデオ信号をエミッタから前述の遠隔受信機に送信することを含む。一方では、透かしが、必要に応じて侵襲的及び非可逆的な方法でフレーム上に配置されているので、その送り先で復号できないことは非常に好ましくなく、他方では、たとえフレームが受信機に到着したときに非常に悪化していても、データ信号に含まれる再構成情報のおかげで再構成されることがある。

実施形態において、本発明の第１態様の方法は、ステップｉｉｉｂ３）の再構成が成功する場合に、再構成された一つ又は複数のフレームを含むビデオ信号を、少なくとも一つの画面に表示し、それぞれの再構成されたフレームに関連付けられたデータを使用して、フレームが表示される時点と同時に、関連付けられたデータによって判定され、フレームに関連付けられた動作を実行すること、を含む。

ある実施形態において、前述の動作は、関連付けられたデータに含まれる、又は、関連付けられたデータを経由してアクセス可能な、図形及びテキスト情報の少なくとも一つ（図形、字幕、キャプション等）を、少なくとも前述の画面に表示する動作、関連付けられたデータに含まれる、又は、関連付けられたデータを経由してアクセス可能な音声信号から、音声を再生する動作、及び、関連付けられたデータに含まれる、又は、関連付けられたデータを経由してアクセス可能な制御コマンドを使用して、受信機に接続された機器を制御する動作、の少なくとも一つである。

好都合に、本発明の方法は、受信機から複数のテレビ受信機又は同様なものへのビデオ信号のテレビ放送に適用される。関連付けられたデータと結合して、フレーム毎に十分に同期し、もしそれらがそのような目的を有する場合、又は、もし後者が制御コマンドを含むデータである場合、それに基づいて制御される。

本発明の第２態様は、ビデオ及びデータを同期するためのシステムに関連し、
− 第１態様の方法のステップｉ）及びｉｉ）を実行するように適合した第１コンピュータエンティティと、
− 第２コンピュータエンティティを含み、第１態様の方法のステップｉｉｉ）を実行するように適合した受信機と、
を含む。

実施形態において、前述の第１コンピュータエンティティ及び前述の受信機は、第１態様の方法を実装するために、少なくとも二つの独立した通信経路を経由して互いに通信する能力を有する。

本発明において、「透かし」という用語に与えられる意味は非常に広い：データ又はその中に符号化される「メタデータ」に関わらず、空間的領域又は周波数領域のビデオ信号の一つ又は複数のフレームに埋め込まれる／差し込まれる（inset with）／付着する図形マーク（graphic mark）のいずれかの種類、又は、それらの組み合わせを意味すると解釈される（すなわち、それが関連付けられたコンテンツの作者に関する識別情報を含むマークを意味する、時に「透かし」という用語に与えられる制限的な定義は、受け入れられない）。

添付された図面を参照するいくつかの実施形態の以下の詳細な記述によって、上述した又はその他の長所及び特徴は、より十分に理解されるであろう。以下の詳細な記述は、例示かつ非制限的なものとして考慮されなければならない。
本発明の第１態様の実施形態によって提案される方法において、透かしを含めるために原フレームが操作される方法を、絵的に示す。 第１態様の方法を実装したときに、本発明の第２態様によって提案されるシステムを、ブロックダイヤグラムを用いて概略的に説明する。

本発明の第１態様によって提案される方法は、ｉａ）、ｉｂ）、ｉｉ）、ｉｉｉａ）及びｉｉｉｂ）（ｉｉｉｂ１、ｉｉｉｂ２及びｉｉｉｂ３）のステップを含み、それらは、前の節においてすでに説明されている。

ステップｉａ）、すなわち、マークされたビデオ信号を生成するためのステップに関して、図１は、原フレームＦ（表示ａ））が、前述のマークされたビデオ信号に含まれるマークされたフレームＦｍに変換されるように操作される方法を絵的に説明する。特に、表示ｂ）に見られるように、原フレームＦの領域Ｒから画像フラグメントＶを抽出することによって、原フレームＦは不完全フレームＦｒになり、フレームＦの領域Ｒ上に透かしＭを配置し、抽出された画像フラグメントＶを置き換えて、マークされたフレームＦｍを取得する（表示ｃ））。

ステップｉｂ）において、抽出された画像フラグメントＶ及び再構成情報の少なくとも一つは、受信機Ｒに送信されるデータ信号に含まれる（図２参照）。

付加的な同期ステップｉｉｉｂ）に関して、前節で説明された通り、それは以下のサブステップを含む：
ｉｉｉｂ１）データ信号から、画像フラグメントＶ及びそれに含まれる再構成情報の少なくとも一つを取得するステップと、
ｉｉｉｂ２）受信したマークされたビデオ信号から、透かしＭ及び抽出された画像フラグメントＶのない原フレームＦを含む不完全フレームＦｒを取得するステップと、
ｉｉｉｂ３）ｉｉｉｂ１）のステップ及びｉｉｉｂ２）のステップにおいて取得された情報から原フレームＦを再構成することを試行し、再構成が成功する場合、ビデオ信号のフレーム及びデータ信号の関連付けられたデータは、十分に同期していると判定するステップ。

図２は、第１態様の方法におけるビデオ及びデータの送信及び同期のために、本発明の第２態様によって提案されるシステムの一つの可能な実装を示す。

システムは、最後の再構成のために不可欠なビデオ情報、すなわち、画像の部分Ｖ又は複数の部分（フレーム毎に一つ以上）と再構成情報との少なくとも一方、を抽出するビデオ分析装置１と、本方法のステップｉａ）において、原ビデオ信号Ｖｉ（操作された、すなわち、画像の部分Ｖのないフレームとともに）とタイムコードｔを透かしＭ（フレーム毎に一つ以上）の形式で組み合わせるビデオ信号を生成するビデオエンコーダ２によって形成され、組み合わされたビデオ信号は、通信経路Ｐ１を経由して受信機Ｒへ送信される。

システムは、また、本方法のステップｉｂ）において、現フレームのタイムコードと、送信されるべき情報、すなわちデータＤ、及び、後続する再構成のために不可欠な情報、すなわち画像部分Ｖ及び再構成情報の少なくとも一つ、とを組み合わせるデータパッカー３を含み、組み合わされたデータ信号は、他の通信経路Ｐ２を経由して受信機Ｒへ送信される。

送り先において、システムは、透かしＭに含まれるタイムコードを解釈できるビデオデコーダ４、組み合わされたデータ信号を蓄積して、ビデオデコーダ４によって取り出されたタイムコードに同期させる同期装置５、及び、透かしＭが付されたビデオと、同じフレームから生じた同期されたデータとから、すなわちＦｍ、Ｆｒ及びＶから、原ビデオを再構成できる再構成器６を、システムの出口において原データＤと同期した原ビデオＶｉが取得されるように備える受信機Ｒを含む。

一般的に、本発明の第１態様の方法において、ビデオ信号のフレームの大部分又はそれぞれは、そこに関連付けられたデータと意味が明りょうに（univocally）、フレーム毎に同期する。

＜既知の提案に対する優位性＞
可逆透かし符号化技術は、「隠された」データを送信するために、それらが感知できないように、または、原画像がフレーム自身に含まれる情報によってのみ再構成されてもよいように、ビデオ信号自身を使用する。本発明は、そのような技術を実装するシステム／方法に対して、以下の優位性を提示する。
− 信号の悪化に対する大きなセキュリティ。
− それぞれのフレームのための使用可能な帯域幅は、画像を「汚く」しない必要によって制限されない。
− データが、ビデオ信号の経路から異なる経路をたどるので、既知の提案に対して大きなセキュリティレベルが提供される（原ビデオを再構成し、データにアクセスするために、両方の信号が不可欠である）。

＜使用例＞
本発明は、特に、以下のシナリオで使用されてもよい：
− 排出点（point of emission）と受信機との間で時計を同期させるため（例えば、送り先からサッカーの放送内の時計を描く、音声とビデオを同期させる、等）。
− 始点（origin）から制御された図形を送信するため（放送の終了時に、試合終了（end-of-match）のコンピュータグラフィックを送信する）。
− 始点から送り先の装置を制御するため（例えば、始点におけるカメラの変更は、送り先においてビデオを起動する）。
− 画像に関連付けられたメタデータを送信する（例えば、登場人物の画像が表示された場合、その登場人物の名前を送信する）。

当業者は、添付された特許請求の範囲に定義された発明の範囲を超えることなく、上述した実施形態に変更及び修正を導入してもよい。

Claims (9)

1. ｉ）少なくとも一つの原フレーム（Ｆ）の一つの領域（Ｒ）上に一つの透かし（Ｍ）を含む少なくとも一つのマークされたフレーム（Ｆｍ）を含む一つのビデオ信号を含む少なくとも一つのマークされたビデオ信号を提供するステップであって、前記透かし（Ｍ）は、データが関連付けられた前記少なくとも一つの原フレーム（Ｆ）に関する符号化された同期情報を含む、ステップと、
   ｉｉ）前記マークされたビデオ信号を、前記関連付けられたデータを含むデータ信号にアクセス可能な受信機（Ｒ）に送信するステップと、
   ｉｉｉ）前記受信機（Ｒ）が、
   前記マークされたビデオ信号の前記マークされたフレーム（Ｆｍ）の前記透かし（Ｍ）に含まれる前記同期情報を抽出し、
   前記同期情報を復号し、
   前記同期情報を使用して、前記原フレーム（Ｆ）を前記原フレームに関連付けられた前記データに同期させることを含む、同期ステップを実行するステップと、
   を含む、ビデオ及びデータを同期するための方法であって、
   前記ステップｉ）は、
   ｉａ）前記原フレーム（Ｆ）の領域（Ｒ）から画像フラグメント（Ｖ）を抽出し、
   前記フレーム（Ｆ）の前記領域（Ｒ）上に前記透かし（Ｍ）を配置し、
   前記抽出された画像フラグメント（Ｖ）を置き換えて、前記マークされたフレーム（Ｆｍ）を取得する、
   ことによって前記マークされたビデオ信号を生成するステップと、
   ｉｂ）前記抽出された画像フラグメント（Ｖ）、及び、前記抽出された画像フラグメント（Ｖ）の再構成を許可する再構成情報の少なくとも一つを含む前記データ信号を生成するステップと、
   を含み、
   前記ステップｉｉｉ）は、
   ｉｉｉａ）前記同期ステップを実行するステップと、
   ｉｉｉｂ）前記受信機（Ｒ）が付加的な同期ステップを実行するステップであって、前記付加的な同期ステップは、
   ｉｉｉｂ１）前記データ信号から、前記画像フラグメント（Ｖ）及び前記画像フラグメント（Ｖ）に含まれる前記再構成情報の少なくとも一つを取得するステップと、
   ｉｉｉｂ２）受信した前記マークされたビデオ信号から、前記透かし（Ｍ）及び前記抽出された画像フラグメント（Ｖ）のない前記原フレーム（Ｆ）を含む不完全フレーム（Ｆｒ）を取得するステップと、
   ｉｉｉｂ３）ｉｉｉｂ１）のステップ及びｉｉｉｂ２）のステップにおいて取得された前記情報から前記原フレーム（Ｆ）を再構成することを試行し、前記再構成が成功する場合、前記ビデオ信号の前記フレーム及び前記データ信号の前記関連付けられたデータは、十分に同期していると判定するステップと、
   を含む、ことを特徴とする方法。
2. サブステップｉｂ）は、前記データ信号に、前記原フレーム（Ｆ）に関連付けられた前記データに関する同期情報を含めるステップを含み、
   サブステップｉｉａ）は、前記受信機（Ｒ）によって、前記同期ステップを実行し、前記データ信号に含まれる前記同期情報を抽出し、前記同期情報を使用して前記原フレーム（Ｆ）を前記原フレーム（Ｆ）に関連付けられた前記データに同期させることを含む、請求項１に記載の方法。
3. ステップｉｉ）は、互いに独立した通信経路を経由して、前記マークされたビデオ信号及び前記データ信号の両方を前記受信機（Ｒ）に送信するステップを含む、請求項１又は２に記載の方法。
4. 前記ビデオ信号の前記同期情報、又は、前記ビデオ信号及び前記データ信号の両方の前記同期情報は、前記原フレーム（Ｆ）に関連付けられたタイムコードを含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記原フレーム（Ｆ）は第１フレームであり、
   前記方法は、前記ビデオ信号内の複数のフレームを、前記データ信号に含まれる対応する複数の関連付けられたデータに、前記第１フレームと同様な方法によって、フレーム毎に同期させるステップを含む、請求項１〜４のいずれか一項に記載の方法。
6. ステップｉｉｉｂ３）の前記再構成が成功する場合に、
   前記再構成された一つ又は複数のフレームを含む前記ビデオ信号を、少なくとも一つの画面に表示し、
   それぞれの再構成されたフレームに関連付けられた前記データを使用して、前記フレームが表示される時点と同時に、前記関連付けられたデータによって判定され、前記フレームに関連付けられた動作を実行すること、
   を含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記動作は、
   前記関連付けられたデータに含まれる、又は、前記関連付けられたデータを経由してアクセス可能な、図形及びテキスト情報の少なくとも一つを、少なくとも前記画面に表示する動作、
   前記関連付けられたデータに含まれる、又は、前記関連付けられたデータを経由してアクセス可能な音声信号から、音声を再生する動作、及び、
   前記関連付けられたデータに含まれる、又は、前記関連付けられたデータを経由してアクセス可能な制御コマンドを使用して、前記受信機に接続された機器を制御する動作、
   のうち少なくとも一つである、請求項６に記載の方法。
8. 請求項１〜７のいずれか一項に記載の方法のステップｉ）及びｉｉ）を実行するように適合した第１コンピュータエンティティ（Ｅ）と、
   第２コンピュータエンティティを含み、請求項１〜７のいずれか一項に記載の方法のステップｉｉｉ）を実行するように適合した受信機（Ｒ）と、
   を含む、ビデオ及びデータを同期するためのシステム。
9. 前記第１コンピュータエンティティ（Ｅ）及び前記受信機（Ｒ）は、請求項３に記載の方法を実装するために、少なくとも二つの独立した通信経路を経由して互いに通信する能力を有する、請求項８に記載のシステム。

Images