JP3536891B2 - 情報多重化方法及び情報抽出方法 - Google Patents
情報多重化方法及び情報抽出方法Info
- Publication number
- JP3536891B2 JP3536891B2 JP1438897A JP1438897A JP3536891B2 JP 3536891 B2 JP3536891 B2 JP 3536891B2 JP 1438897 A JP1438897 A JP 1438897A JP 1438897 A JP1438897 A JP 1438897A JP 3536891 B2 JP3536891 B2 JP 3536891B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- multiplexing
- multiplexed
- orthogonal transform
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明のデジタル動画像に対
して別の情報を情報多重化する際に、人間の知覚に認知
されないように情報多重化を行う方法、さらに、この秘
密裏に動画像に多重化された情報を抽出する方法に関す
るものである。今日、このような情報多重化および抽出
技術は、著作権情報や利用ユーザＩＤなどを情報コンテ
ンツに秘密裏に多重化することによりデジタル情報コン
テンツの著作権保護や不正複製防止を行うシステムに広
く用いられている。
して別の情報を情報多重化する際に、人間の知覚に認知
されないように情報多重化を行う方法、さらに、この秘
密裏に動画像に多重化された情報を抽出する方法に関す
るものである。今日、このような情報多重化および抽出
技術は、著作権情報や利用ユーザＩＤなどを情報コンテ
ンツに秘密裏に多重化することによりデジタル情報コン
テンツの著作権保護や不正複製防止を行うシステムに広
く用いられている。
【０００２】
【従来の技術】従来、デジタル動画像に対して、人間の
知覚に認知されないように別の情報を多重化する場合、
細分化されたブロックと呼ばれる単位に情報を多重化す
る方式が一般的であった。しかしながら、この方式で
は、情報多重化済みの画像にブロック歪みというノイズ
が多く見られたり、動画像のビットレートを落すなどの
圧縮処理により、簡単に多重化されている情報が消えて
しまうといった問題点があった。
知覚に認知されないように別の情報を多重化する場合、
細分化されたブロックと呼ばれる単位に情報を多重化す
る方式が一般的であった。しかしながら、この方式で
は、情報多重化済みの画像にブロック歪みというノイズ
が多く見られたり、動画像のビットレートを落すなどの
圧縮処理により、簡単に多重化されている情報が消えて
しまうといった問題点があった。
【０００３】
【発明が解決しようとする課題】本発明の目的は、従来
の人間に知覚されない情報多重化方式が抱えている問題
の、画像の品質および圧縮処理などの編集に対して、画
像の品質を格段に向上させ、かつ、極端な圧縮処理にも
多重化情報が耐え得て情報抽出を可能とすることにあ
る。
の人間に知覚されない情報多重化方式が抱えている問題
の、画像の品質および圧縮処理などの編集に対して、画
像の品質を格段に向上させ、かつ、極端な圧縮処理にも
多重化情報が耐え得て情報抽出を可能とすることにあ
る。
【０００４】
【課題を解決するための手段】上記目的を達成するた
め、本発明では、デジタル動画像を単位時間Ｔのフレー
ム群に分解し、任意のＭ×Ｎ×Ｔ（Ｍ×Ｎは最大で画像
サイズ）サイズの直交変換を行ってＭ×Ｎ×Ｔの直交変
換係数行列を生成し、情報多重化鍵から乱数を順次生成
し、前記Ｍ×Ｎ×Ｔの直交変換係数行列から前記乱数を
用いて任意の直交変換係数を順次選択し、前記選択され
た直交変換係数の値を多重化すべき情報に基づいて変更
することを繰り返して、個々の単位時間のフレーム群に
閉じた形式でデジタル動画像に対して別の情報を多重化
する情報多重化方法において、情報多重化後のＭ×Ｎ×
Ｔサイズの直交変換係数行列を逆直交変換してＭ×Ｎ×
Ｔサイズの画素値行列を得、該画素値行列の示す画素値
が所定の定義域を越えている場合に、多重化処理を行っ
た直交変換係数以外の交流成分値の振幅を変更し、ある
いは直流成分の値を変更することで、多重化処理を行っ
た直交変換係数の値を維持しつつ、逆直交変換で得られ
る画素値行列の示す画素値が所定の定義域に収まるよう
にして、画素値のレンジオーバが回避された情報多重化
直交変換係数行列を得るようにする。
め、本発明では、デジタル動画像を単位時間Ｔのフレー
ム群に分解し、任意のＭ×Ｎ×Ｔ（Ｍ×Ｎは最大で画像
サイズ）サイズの直交変換を行ってＭ×Ｎ×Ｔの直交変
換係数行列を生成し、情報多重化鍵から乱数を順次生成
し、前記Ｍ×Ｎ×Ｔの直交変換係数行列から前記乱数を
用いて任意の直交変換係数を順次選択し、前記選択され
た直交変換係数の値を多重化すべき情報に基づいて変更
することを繰り返して、個々の単位時間のフレーム群に
閉じた形式でデジタル動画像に対して別の情報を多重化
する情報多重化方法において、情報多重化後のＭ×Ｎ×
Ｔサイズの直交変換係数行列を逆直交変換してＭ×Ｎ×
Ｔサイズの画素値行列を得、該画素値行列の示す画素値
が所定の定義域を越えている場合に、多重化処理を行っ
た直交変換係数以外の交流成分値の振幅を変更し、ある
いは直流成分の値を変更することで、多重化処理を行っ
た直交変換係数の値を維持しつつ、逆直交変換で得られ
る画素値行列の示す画素値が所定の定義域に収まるよう
にして、画素値のレンジオーバが回避された情報多重化
直交変換係数行列を得るようにする。
【０００５】また、複数のサイズの直交変換を行い、そ
れぞれの直交変換係数行列に対して別々に情報多重化を
行なうことにより、複数の情報を多重化できるようにす
る。
れぞれの直交変換係数行列に対して別々に情報多重化を
行なうことにより、複数の情報を多重化できるようにす
る。
【０００６】一方、情報抽出側では、デジタル動画像に
別の情報が多重化された情報多重化済みデジタル動画像
を単位時間Ｔのフレーム群に分解し、情報多重化時と同
じＭ×Ｎ×Ｔサイズの直交変換を行うと共に、情報多重
化鍵と同じ情報抽出鍵により乱数を順次生成し、該乱数
を用いて直交変換係数を順次選択し、該選択された直交
変換係数の値に基づいて多重化された情報を抽出し、個
々の単位時間のフレーム群から多数決を用いて多重化情
報を決定する。この情報抽出処理の際、多重化時に複数
サイズの直交変換を行い、それぞれの直交変換係数行列
に対して別々に情報多重化を行うことにより、情報多重
化済みデジタル動画像に複数の情報が多重化されている
場合に、多重化時と同じ複数のサイズの直交変換を行
い、それぞれ別々に多重化情報を抽出することにより、
複数の多重化情報を抽出する。
別の情報が多重化された情報多重化済みデジタル動画像
を単位時間Ｔのフレーム群に分解し、情報多重化時と同
じＭ×Ｎ×Ｔサイズの直交変換を行うと共に、情報多重
化鍵と同じ情報抽出鍵により乱数を順次生成し、該乱数
を用いて直交変換係数を順次選択し、該選択された直交
変換係数の値に基づいて多重化された情報を抽出し、個
々の単位時間のフレーム群から多数決を用いて多重化情
報を決定する。この情報抽出処理の際、多重化時に複数
サイズの直交変換を行い、それぞれの直交変換係数行列
に対して別々に情報多重化を行うことにより、情報多重
化済みデジタル動画像に複数の情報が多重化されている
場合に、多重化時と同じ複数のサイズの直交変換を行
い、それぞれ別々に多重化情報を抽出することにより、
複数の多重化情報を抽出する。
【０００７】なお、情報を抽出する処理では、生成され
た乱数から選出される直交変換係数のみを抽出し、該直
交変換係数の値を計算して多重化された情報を抽出する
も可能である。
た乱数から選出される直交変換係数のみを抽出し、該直
交変換係数の値を計算して多重化された情報を抽出する
も可能である。
【０００８】
【発明の実施の形態】以下、本発明の実施の形態の一実
施例を図面を参照して説明する。図１は、本発明による
情報多重化側の動画像処理装置の処理およびデータフロ
ー図である。該動画像処理装置１では、符号化された原
動画像２と情報多重化鍵３と多重化情報４を入力とし、
情報多重化済み符号化動画像５を出力する。
施例を図面を参照して説明する。図１は、本発明による
情報多重化側の動画像処理装置の処理およびデータフロ
ー図である。該動画像処理装置１では、符号化された原
動画像２と情報多重化鍵３と多重化情報４を入力とし、
情報多重化済み符号化動画像５を出力する。
【０００９】動画像処理装置１は、符号化された原動画
像２を受け取り、復号化処理部６によって画像のフォー
マットを解釈し、復号処理を行なう。該復号化処理部６
では、まず、受け取った動画像から水平および垂直画素
数および時間軸方向単位画像数７を抽出して、情報多重
化ユニット８へ送る。ここで、時間軸方向単位画像数と
は、例えば、ＭＰＥＧ(Ｍoving Ｐicture Ｉmage Ｃ
oroding Ｅxperts Ｇroup)のデジタル動画像符号化方
式でいうと、ＧＯＰ（Ｇroup Ｏf Ｐicture）内のフ
レーム数である。その後、復号化処理部６は、動画像デ
ータを動画像の属性情報９と時間軸方向単位画像数のフ
レーム画像（例えば１５枚毎のフレーム画像）１０に分
解して、属性情報９は符号化処理部１１へ送り、時間軸
方向単位画像数のフレーム画像１０は情報多重化ユニッ
ト８へ逐次的に送られる。情報多重化ユニット８は、情
報多重化鍵３と多重化情報４と画像の水平および垂直画
素数および時間軸方向単位画像数７と時間軸方向単位画
像数のフレーム画像１０を入力として受け取り、情報多
重化処理を行い、情報多重化された時間軸方向単位画像
数のフレーム画像１２を出力する。符号化処理部１１
は、動画像の属性情報９と情報多重化済みの時間軸方向
単位画像数のフレーム画像１２を同期をとりながら符号
化を行ない、情報多重化済み符号化動画像５を出力す
る。
像２を受け取り、復号化処理部６によって画像のフォー
マットを解釈し、復号処理を行なう。該復号化処理部６
では、まず、受け取った動画像から水平および垂直画素
数および時間軸方向単位画像数７を抽出して、情報多重
化ユニット８へ送る。ここで、時間軸方向単位画像数と
は、例えば、ＭＰＥＧ(Ｍoving Ｐicture Ｉmage Ｃ
oroding Ｅxperts Ｇroup)のデジタル動画像符号化方
式でいうと、ＧＯＰ（Ｇroup Ｏf Ｐicture）内のフ
レーム数である。その後、復号化処理部６は、動画像デ
ータを動画像の属性情報９と時間軸方向単位画像数のフ
レーム画像（例えば１５枚毎のフレーム画像）１０に分
解して、属性情報９は符号化処理部１１へ送り、時間軸
方向単位画像数のフレーム画像１０は情報多重化ユニッ
ト８へ逐次的に送られる。情報多重化ユニット８は、情
報多重化鍵３と多重化情報４と画像の水平および垂直画
素数および時間軸方向単位画像数７と時間軸方向単位画
像数のフレーム画像１０を入力として受け取り、情報多
重化処理を行い、情報多重化された時間軸方向単位画像
数のフレーム画像１２を出力する。符号化処理部１１
は、動画像の属性情報９と情報多重化済みの時間軸方向
単位画像数のフレーム画像１２を同期をとりながら符号
化を行ない、情報多重化済み符号化動画像５を出力す
る。
【００１０】次に、情報多重化ユニット８について具体
的に説明する。図２はＭ×Ｎ×Ｔ直交変換を用いた情報
多重化ユニット８の構成図である。ここで、Ｍは画像の
水平画素数、Ｎは画像の垂直画素数、Ｔは時間軸方向単
位画像数であるが、これらは一例にすぎない。
的に説明する。図２はＭ×Ｎ×Ｔ直交変換を用いた情報
多重化ユニット８の構成図である。ここで、Ｍは画像の
水平画素数、Ｎは画像の垂直画素数、Ｔは時間軸方向単
位画像数であるが、これらは一例にすぎない。
【００１１】図２において、情報多重化ユニット８で
は、まず、Ｍ×Ｎ×Ｔ直交変換処理部１４が、入力であ
る水平および垂直画素数および時間軸方向単位画像数
（Ｍ×Ｎ×Ｔ）７と時間軸方向単位画像数のフレーム画
像１０をＭ×Ｎ×Ｔの係数行列１５に変換する。この係
数行列１５は行列バッファ１６に保存される。
は、まず、Ｍ×Ｎ×Ｔ直交変換処理部１４が、入力であ
る水平および垂直画素数および時間軸方向単位画像数
（Ｍ×Ｎ×Ｔ）７と時間軸方向単位画像数のフレーム画
像１０をＭ×Ｎ×Ｔの係数行列１５に変換する。この係
数行列１５は行列バッファ１６に保存される。
【００１２】一方、多重化情報４はバッファ１８に保存
される。ここで、入力された多重化情報４をビット列ｂ
0，ｂ1，・・・，ｂn-1（ビット長をｎ）と仮定する。
ヘッド制御部１８は、新たな多重化情報４の入力がある
たびにヘッド位置を先頭ビットｂ0に固定する。
される。ここで、入力された多重化情報４をビット列ｂ
0，ｂ1，・・・，ｂn-1（ビット長をｎ）と仮定する。
ヘッド制御部１８は、新たな多重化情報４の入力がある
たびにヘッド位置を先頭ビットｂ0に固定する。
【００１３】乱数生成器１９は、入力された情報多重化
鍵３の前半部から乱数（ｒi,k）２０を、多重化情報４
のビットごとにひとつずつ生成し、情報多重化処理部２
１へ送る。ここで、乱数生成器１９は十分に大きな数字
を衝突しないように生成するものとする。入力された情
報多重化鍵３の後半部は、情報多重化処理部２１へ送ら
れ、情報多重化強度embedding_rangeに変換される。
鍵３の前半部から乱数（ｒi,k）２０を、多重化情報４
のビットごとにひとつずつ生成し、情報多重化処理部２
１へ送る。ここで、乱数生成器１９は十分に大きな数字
を衝突しないように生成するものとする。入力された情
報多重化鍵３の後半部は、情報多重化処理部２１へ送ら
れ、情報多重化強度embedding_rangeに変換される。
【００１４】以下では、バッファ１７に保存されている
多重化情報４のうち、ヘッダが読み出してきたｋ番目の
多重化情報ビットｂk∈｛０，１｝を、行列バッファ１
６に保存されているＭ×Ｎ×Ｔの係数行列
［ｃ(h,v,t)］iに多重化する場合を説明する。
多重化情報４のうち、ヘッダが読み出してきたｋ番目の
多重化情報ビットｂk∈｛０，１｝を、行列バッファ１
６に保存されているＭ×Ｎ×Ｔの係数行列
［ｃ(h,v,t)］iに多重化する場合を説明する。
【００１５】情報多重化処理部２１は、乱数生成器１９
から送られてきた乱数ｒi,kを用いて、行列バッファ１
６に保存されているＭ×Ｎ×Ｔの係数行列
［ｃ(h,v,t)］iのうち、比較的低周波領域にある一つの
係数
から送られてきた乱数ｒi,kを用いて、行列バッファ１
６に保存されているＭ×Ｎ×Ｔの係数行列
［ｃ(h,v,t)］iのうち、比較的低周波領域にある一つの
係数
【００１６】
【外１】
【００１７】を１対１写像により選定し、その値を、
【００１８】
【数１】
【００１９】
【数２】
【００２０】
【数３】
【００２１】に変更することにより、多重化情報４中の
ビットｋを多重化する。この多重化を行なった係数の座
標
ビットｋを多重化する。この多重化を行なった係数の座
標
【００２２】
【外２】
【００２３】は座標バッファ２２に保存される。
【００２４】ヘッド制御部１８は、ヘッド位置がｂnの
場合はヘッド位置ｂ0へ、それ以外の場合は、ヘッド位
置を右へひとつずらし、ｂkからｂk+1にする。これと同
期して、乱数生成器１９は次の乱数を生成する。
場合はヘッド位置ｂ0へ、それ以外の場合は、ヘッド位
置を右へひとつずらし、ｂkからｂk+1にする。これと同
期して、乱数生成器１９は次の乱数を生成する。
【００２５】情報多重化処理部２１では、バッファ１７
の各ビットと乱数２０を順次入力して、行列バッファ１
６内のＭ×Ｎ×Ｔの係数行列に対して、上記多重化プロ
セスを多重化情報４のビット長分のｎ回行ない、さら
に、これを情報多重化処理部２１内にある秘密情報で示
されるｌ回繰り返すことにより、多重化情報４をＭ×Ｎ
×Ｔのフレーム画像に閉じた形式で複数回（ｎ×ｌ）多
重化する。
の各ビットと乱数２０を順次入力して、行列バッファ１
６内のＭ×Ｎ×Ｔの係数行列に対して、上記多重化プロ
セスを多重化情報４のビット長分のｎ回行ない、さら
に、これを情報多重化処理部２１内にある秘密情報で示
されるｌ回繰り返すことにより、多重化情報４をＭ×Ｎ
×Ｔのフレーム画像に閉じた形式で複数回（ｎ×ｌ）多
重化する。
【００２６】図２の実施例では、情報多重化処理部２１
での多重化処理がｌ×ｎ回繰り返された後、行列バッフ
ァ１６に保存されている係数行列［ｃ(h,v,t)］iはレン
ジオーバ回避処理部２３へ送られる。レンジオーバ回避
処理部２３は、Ｍ×Ｎ×Ｔ逆直交変換処理部２４及びＭ
×Ｎ×Ｔ直交変換処理部１４と協働して、画素値のレン
ジオーバ回避を施す処理部である。
での多重化処理がｌ×ｎ回繰り返された後、行列バッフ
ァ１６に保存されている係数行列［ｃ(h,v,t)］iはレン
ジオーバ回避処理部２３へ送られる。レンジオーバ回避
処理部２３は、Ｍ×Ｎ×Ｔ逆直交変換処理部２４及びＭ
×Ｎ×Ｔ直交変換処理部１４と協働して、画素値のレン
ジオーバ回避を施す処理部である。
【００２７】ここで、レンジオーバ回避処理部２３へ入
力された係数行列［ｃ(h,v,t)］iをＭ×Ｎ×Ｔ逆直交変
換処理部２４を用いて逆変換した画素値行列［ｐ
(h,v,t)］iとする。また、レンジオーバ回避処理部２３
へ入力された係数行列［ｃ(h,v,t)］iを、ひとつは、
（０，０，０）成分（ＤＣ成分）を、全画素値をすべて
最低値にしたものをＭ×Ｎ×Ｔ直交変換したときの
（０，０，０）成分値（たとえば、直交変換としてＤＣ
Ｔを選択したとき、その値は−Ｌｍ×√（Ｍ×Ｎ×Ｔ）
（Ｌｍは画素値の中間値）である）に変更し、かつ、座
標バッファ２２にあるｌ×ｎ個の座標の成分の値をすべ
て０にしたものを、もうひとつは、（０，０，０）成分
値および座標バッファ２２にあるｌ×ｎ個の座標の成分
以外の値をすべて０に変更したものを、Ｍ×Ｎ×Ｔ逆直
交変換処理部２４を用いて逆変換した画素値行列を、そ
れぞれ、［ｐ１(h,v,t)］i，［ｐ２(h,v,t)］iとする。
力された係数行列［ｃ(h,v,t)］iをＭ×Ｎ×Ｔ逆直交変
換処理部２４を用いて逆変換した画素値行列［ｐ
(h,v,t)］iとする。また、レンジオーバ回避処理部２３
へ入力された係数行列［ｃ(h,v,t)］iを、ひとつは、
（０，０，０）成分（ＤＣ成分）を、全画素値をすべて
最低値にしたものをＭ×Ｎ×Ｔ直交変換したときの
（０，０，０）成分値（たとえば、直交変換としてＤＣ
Ｔを選択したとき、その値は−Ｌｍ×√（Ｍ×Ｎ×Ｔ）
（Ｌｍは画素値の中間値）である）に変更し、かつ、座
標バッファ２２にあるｌ×ｎ個の座標の成分の値をすべ
て０にしたものを、もうひとつは、（０，０，０）成分
値および座標バッファ２２にあるｌ×ｎ個の座標の成分
以外の値をすべて０に変更したものを、Ｍ×Ｎ×Ｔ逆直
交変換処理部２４を用いて逆変換した画素値行列を、そ
れぞれ、［ｐ１(h,v,t)］i，［ｐ２(h,v,t)］iとする。
【００２８】レンジオーバ回避処理部２３は、集合Ａi
＝｛（ｘ，ｙ，ｚ）｜ｐ(x,y,z)i＜Ｌmin orｐ
(x,y,z)i＞Ｌmax｝において（Ｌminは画素値の最低値、
Ｌmaxは画素値の最大値）、Ａiが空集合でないときに限
り、［ｐ１(x,y,z)］i，［ｐ２(x,y,z)］iを用いて、
＝｛（ｘ，ｙ，ｚ）｜ｐ(x,y,z)i＜Ｌmin orｐ
(x,y,z)i＞Ｌmax｝において（Ｌminは画素値の最低値、
Ｌmaxは画素値の最大値）、Ａiが空集合でないときに限
り、［ｐ１(x,y,z)］i，［ｐ２(x,y,z)］iを用いて、
【００２９】
【数４】
【００３０】
【数５】
【００３１】
【数６】
【００３２】
【数７】
【００３３】の計算を行なうことにより、画素値行列
［ｐ′(h,v,t)］iを得、それをＭ×Ｎ×Ｔ直交変換処理
部１４を用いて直交変換することにより、画素値のレン
ジオーバ対策を行なった係数行列［ｃ′(h,v,t)］iを得
る。ただし、画素値行列［ｐ２(h,v,t)］iにおいて、Ｌ
minより小さな画素値とＬmaxよりも大きな画素値が混在
する場合は、このレンジオーバ回避のアルゴリズムは適
用できない。
［ｐ′(h,v,t)］iを得、それをＭ×Ｎ×Ｔ直交変換処理
部１４を用いて直交変換することにより、画素値のレン
ジオーバ対策を行なった係数行列［ｃ′(h,v,t)］iを得
る。ただし、画素値行列［ｐ２(h,v,t)］iにおいて、Ｌ
minより小さな画素値とＬmaxよりも大きな画素値が混在
する場合は、このレンジオーバ回避のアルゴリズムは適
用できない。
【００３４】レンジオーバ回避処理部２３では、上記レ
ンジオーバ対策を行なった係数行列［ｃ′(h,v,t)］を
Ｍ×Ｎ×Ｔ逆直交変換処理部２４を用いてあらためて逆
直交変換し、情報多重化済みの時間軸方向単位画像数の
フレーム画像２５を出力する。
ンジオーバ対策を行なった係数行列［ｃ′(h,v,t)］を
Ｍ×Ｎ×Ｔ逆直交変換処理部２４を用いてあらためて逆
直交変換し、情報多重化済みの時間軸方向単位画像数の
フレーム画像２５を出力する。
【００３５】上記多重化プロセスを各時間軸方向単位画
像について、多重化する情報ビット長であるｎ回を情報
多重化処理部２１内にある秘密情報１回ずつ繰り返すこ
とにより、ひとつの動画像に対する多重化処理が終了す
る。
像について、多重化する情報ビット長であるｎ回を情報
多重化処理部２１内にある秘密情報１回ずつ繰り返すこ
とにより、ひとつの動画像に対する多重化処理が終了す
る。
【００３６】図３は、本発明による情報抽出側の動画像
処理装置の処理およばデータフロー図である。該動画像
処理装置２６では、既に情報が多重化され且つ符号化さ
れた動画像２７と情報抽出鍵２８を入力とし、動画像内
に多重化された情報２９を出力する。
処理装置の処理およばデータフロー図である。該動画像
処理装置２６では、既に情報が多重化され且つ符号化さ
れた動画像２７と情報抽出鍵２８を入力とし、動画像内
に多重化された情報２９を出力する。
【００３７】動画像処理装置２６は、既に情報が多重化
されて符号化された動画像２７を受け取り、復号化処理
部３０によって画像フォーマットを解釈し、復号処理を
開始する。該復号化処理部３０は、まず、受け取った動
画像から水平および垂直画素数および時間軸方向単位画
像数３１を抽出し、情報抽出ユニット３２へ送る。その
後、復号化処理部３０は、動画像データを情報多重化済
みの時間軸方向単位画像数のフレーム画像３３に分解
し、情報抽出ユニット３２へ送る。情報抽出ユニット３
２は、情報抽出鍵２８と画像の水平および垂直画素数お
よび時間軸方向単位画像数３１を入力として受け取り、
情報抽出処理を行ない、各時間軸方向単位画像に多重化
された情報３４を出力する。多重化情報決定処理部３５
は、逐次入力として与えられる各時間軸方向単位画像に
多重化された情報から、多数決などで多重化情報を決定
し、その結果を動画像内に多重化された情報２９として
出力する。
されて符号化された動画像２７を受け取り、復号化処理
部３０によって画像フォーマットを解釈し、復号処理を
開始する。該復号化処理部３０は、まず、受け取った動
画像から水平および垂直画素数および時間軸方向単位画
像数３１を抽出し、情報抽出ユニット３２へ送る。その
後、復号化処理部３０は、動画像データを情報多重化済
みの時間軸方向単位画像数のフレーム画像３３に分解
し、情報抽出ユニット３２へ送る。情報抽出ユニット３
２は、情報抽出鍵２８と画像の水平および垂直画素数お
よび時間軸方向単位画像数３１を入力として受け取り、
情報抽出処理を行ない、各時間軸方向単位画像に多重化
された情報３４を出力する。多重化情報決定処理部３５
は、逐次入力として与えられる各時間軸方向単位画像に
多重化された情報から、多数決などで多重化情報を決定
し、その結果を動画像内に多重化された情報２９として
出力する。
【００３８】次に、情報抽出装置３２について具体的に
説明する。図４はＭ×Ｎ×Ｔ直交変換を用いた情報抽出
ユニット３２の構成図である。ここで、Ｍ，Ｎ，Ｔは情
報多重化を行った際に用いた直交変換と同じ値である。
説明する。図４はＭ×Ｎ×Ｔ直交変換を用いた情報抽出
ユニット３２の構成図である。ここで、Ｍ，Ｎ，Ｔは情
報多重化を行った際に用いた直交変換と同じ値である。
【００３９】図４において、乱数生成器３７は、入力さ
れた情報抽出鍵２８の前半部の情報を用いて、乱数（ｒ
i,k）３８をひとつずつ生成し、情報抽出処理部３９へ
送る。入力された情報抽出鍵２８の後半部は、そのまま
情報抽出処理部３９へ送られ、情報抽出強度verifying_
rangeに変換される。
れた情報抽出鍵２８の前半部の情報を用いて、乱数（ｒ
i,k）３８をひとつずつ生成し、情報抽出処理部３９へ
送る。入力された情報抽出鍵２８の後半部は、そのまま
情報抽出処理部３９へ送られ、情報抽出強度verifying_
rangeに変換される。
【００４０】なお、入力される情報抽出鍵２８は、情報
を多重化する際に用いた情報多重化鍵３と同じものと
し、それ以外の鍵を入力しても正しい情報を抽出できな
いようにするために、乱数生成器３７は十分に大きな数
字を衝突しないように生成するものとする。また、情報
多重化済みの時間軸方向単位画像数のフレーム画像３３
にｎビットの情報がｌ回繰り返し多重化されているもの
とする。
を多重化する際に用いた情報多重化鍵３と同じものと
し、それ以外の鍵を入力しても正しい情報を抽出できな
いようにするために、乱数生成器３７は十分に大きな数
字を衝突しないように生成するものとする。また、情報
多重化済みの時間軸方向単位画像数のフレーム画像３３
にｎビットの情報がｌ回繰り返し多重化されているもの
とする。
【００４１】以下では、情報多重化済みの時間軸方向単
位画像数のフレーム画像３３に多重化されているｋ番目
（ｋ：０以上の整数）の情報ビットｂk in｛０，１｝
を抽出する場合を説明する。
位画像数のフレーム画像３３に多重化されているｋ番目
（ｋ：０以上の整数）の情報ビットｂk in｛０，１｝
を抽出する場合を説明する。
【００４２】情報抽出処理部３９は、乱数生成器３７か
ら送られてきた乱数ｒikを用いて、比較的低周波領域に
ある直交変換係数成分位置
ら送られてきた乱数ｒikを用いて、比較的低周波領域に
ある直交変換係数成分位置
【００４３】
【外３】
【００４４】を１対１写像により選定し、これを直交変
換係数の単一成分のみを計算するＭ×Ｎ×Ｔ直交変換処
理部４０へ送り、その結果として、Ｍ×Ｎ×Ｔ直交変換
係数値
換係数の単一成分のみを計算するＭ×Ｎ×Ｔ直交変換処
理部４０へ送り、その結果として、Ｍ×Ｎ×Ｔ直交変換
係数値
【００４５】
【外４】
【００４６】を得るこのＭ×Ｎ×Ｔ直交変換処理部４０
により直交変換係数の単一成分のみを計算することによ
り、高速情報抽出が可能であり、動画像の再生中などの
実時間での処理ができるようになる。
により直交変換係数の単一成分のみを計算することによ
り、高速情報抽出が可能であり、動画像の再生中などの
実時間での処理ができるようになる。
【００４７】情報抽出処理部３９では、得られたＭ×Ｎ
×Ｔ直交変換係数成分値
×Ｔ直交変換係数成分値
【００４８】
【外５】
【００４９】に対して、
【００５０】
【数８】
【００５１】を計算することにより、情報多重化済みの
時間軸方向単位画像数のフレーム画像３３に多重化され
たｋ番目の情報を抽出し、バッファ４１のｋ mod ｎ
番目に保存する。バッファ４１の情報は、ｋ mod ｎ
＝ｎ−１の時、多数決定処理部４３に送られる。
時間軸方向単位画像数のフレーム画像３３に多重化され
たｋ番目の情報を抽出し、バッファ４１のｋ mod ｎ
番目に保存する。バッファ４１の情報は、ｋ mod ｎ
＝ｎ−１の時、多数決定処理部４３に送られる。
【００５２】上記情報抽出プロセスを、各時間軸方向単
位画像に多重化されている情報のビット長であるｎ回行
い、さらに、これを情報抽出処理部３９内にある秘密情
報で示されるｌ回繰り返して、多重化されたｎビット長
の情報を各ビット対応にｌ組抽出する。これを多数決定
処理部４２に入力して多数決で一つを決定することで、
ひとつの各時間軸方向単位画像に多重化された情報３４
を出力する。
位画像に多重化されている情報のビット長であるｎ回行
い、さらに、これを情報抽出処理部３９内にある秘密情
報で示されるｌ回繰り返して、多重化されたｎビット長
の情報を各ビット対応にｌ組抽出する。これを多数決定
処理部４２に入力して多数決で一つを決定することで、
ひとつの各時間軸方向単位画像に多重化された情報３４
を出力する。
【００５３】以上、本発明の一実施例について説明した
が、本発明は、動画像に情報を多重化する際にＴ＝１と
し、各フレームごとに閉じた情報を多重化することによ
り、動画像全体および各静止画像という別々のメディア
に対して同時に情報多重化し、それぞれの情報を抽出す
ることが可能である。
が、本発明は、動画像に情報を多重化する際にＴ＝１と
し、各フレームごとに閉じた情報を多重化することによ
り、動画像全体および各静止画像という別々のメディア
に対して同時に情報多重化し、それぞれの情報を抽出す
ることが可能である。
【００５４】また、直交変換によるお互いの影響が少な
握複数のサイズの直交変換を行ない、それぞれの直交変
換行列に対して別々に情報多重化を行なうことにより、
複数の情報を多重化し、抽出することが可能である。
握複数のサイズの直交変換を行ない、それぞれの直交変
換行列に対して別々に情報多重化を行なうことにより、
複数の情報を多重化し、抽出することが可能である。
【００５５】さらに、多重化する複数の情報をすべて同
じものにし、該複数得られる抽出情報それぞれを比較す
ることにより、情報多重化した動画像の改竄事実の有無
を検出することが可能になる。
じものにし、該複数得られる抽出情報それぞれを比較す
ることにより、情報多重化した動画像の改竄事実の有無
を検出することが可能になる。
【００５６】
【発明の効果】本発明によれば、以下のような効果が得
られる。（１） 情報多重化された直交変換係数行列を逆直交変
換して、画素値のレンジオーバ対策を行うことにより、
トレードオフの関係にある被多重化情報の品質と多重化
情報の存続率のボーダラインのボトムアップを計ること
が可能となる。
られる。（１） 情報多重化された直交変換係数行列を逆直交変
換して、画素値のレンジオーバ対策を行うことにより、
トレードオフの関係にある被多重化情報の品質と多重化
情報の存続率のボーダラインのボトムアップを計ること
が可能となる。
【００５７】（２） 符号化の有無に関わらず、動画像
と鍵情報と多重化情報を入力とし、本来の画質を保った
まま多重化情報を動画像に多重化し、この多重化された
情報を抽出することが可能である。
と鍵情報と多重化情報を入力とし、本来の画質を保った
まま多重化情報を動画像に多重化し、この多重化された
情報を抽出することが可能である。
【００５８】（３） 動画像に情報を多重化する際に、
動画像を単位時間のフレーム群に分解し、Ｍ×Ｎ×Ｔサ
イズの直交変換を用いて情報多重化を行なうことで、多
重化画像からブロック歪みなどを解消し、また、情報圧
縮による量子化に影響を及ぼさない周波数領域に情報多
重化することで、極端な圧縮を行なっても情報の抽出が
可能である。
動画像を単位時間のフレーム群に分解し、Ｍ×Ｎ×Ｔサ
イズの直交変換を用いて情報多重化を行なうことで、多
重化画像からブロック歪みなどを解消し、また、情報圧
縮による量子化に影響を及ぼさない周波数領域に情報多
重化することで、極端な圧縮を行なっても情報の抽出が
可能である。
【００５９】（４） 動画像に情報を多重化する際に、
各フレームごとに閉じた情報を多重化することにより、
動画像全体および各静止画像という別々のメディアに対
して同時に、情報を多重化し、この多重化された情報を
抽出することが可能である。
各フレームごとに閉じた情報を多重化することにより、
動画像全体および各静止画像という別々のメディアに対
して同時に、情報を多重化し、この多重化された情報を
抽出することが可能である。
【００６０】（５） 動画像からの情報の抽出の際、必
要のある直交変換係数の単一成分のみを計算することに
より、動画像再生中の実時間で情報を抽出することがで
き、情報抽出の高速化が可能となる。
要のある直交変換係数の単一成分のみを計算することに
より、動画像再生中の実時間で情報を抽出することがで
き、情報抽出の高速化が可能となる。
【００６１】（６） 情報コンテンツと多重化情報が分
離不能である性質を利用することにより、高度な著作権
保護システムの要素技術として用いることが可能であ
る。
離不能である性質を利用することにより、高度な著作権
保護システムの要素技術として用いることが可能であ
る。
【図１】本発明による動画像処理装置の情報多重化処理
側の一実施例の概略ブロック図である。
側の一実施例の概略ブロック図である。
【図２】図１の情報多重化ユニットの詳細ブロック図で
ある。
ある。
【図３】本発明による動画像処理装置の情報抽出処理側
の一実施例の概略ブロック図である。
の一実施例の概略ブロック図である。
【図４】図３の情報抽出ユニットの詳細ブロック図であ
る。
る。
１ 動画像処理装置（情報多重化処理装置）
２ 原動画像
３ 情報多重化鍵
４ 多重化情報
５ 情報多重化済み符号化動画像
６ 復号処理部
７ 水平および垂直画素数および時間軸方向単位画像数
８ 情報多重化ユニット
９ 属性情報
１０ 時間軸方向の単位画像数のフレーム画像
１１ 符号化処理部
１２ 情報多重化済みの時間軸方向単位画像数のフレー
ム画像 ２６ 動画像処理装置（情報抽出処理装置） ２７ 情報多重化済み符号化動画像 ２８ 情報抽出鍵 ２９ 動画像内に多重化された情報 ３０ 復号化処理部 ３１ 水平および垂直画素数および時間軸方向単位画像
数 ３２ 情報抽出ユニット ３３ 情報多重化済みの時間軸方向単位画像数のフレー
ム画像 ３４ 各時間軸方向単位画像に多重化された情報 ３５ 多重化情報決定処理部
ム画像 ２６ 動画像処理装置（情報抽出処理装置） ２７ 情報多重化済み符号化動画像 ２８ 情報抽出鍵 ２９ 動画像内に多重化された情報 ３０ 復号化処理部 ３１ 水平および垂直画素数および時間軸方向単位画像
数 ３２ 情報抽出ユニット ３３ 情報多重化済みの時間軸方向単位画像数のフレー
ム画像 ３４ 各時間軸方向単位画像に多重化された情報 ３５ 多重化情報決定処理部
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平６−189286（ＪＰ，Ａ)
特開 平６−141301（ＪＰ，Ａ)
特開 平５−236424（ＪＰ，Ａ)
国際公開97／000578（ＷＯ，Ａ１)
Ｊｉａｎ Ｚｈａｏ， Ｅｃｋｈａｒ
ｄ Ｋｏｃｈ，ｍｂｅｄｄｉｎｇ Ｒｏ
ｂｕｓｔ Ｌａｂｅｌｓ Ｉｎｔｏ Ｉ
ｍａｇｅｓ Ｆｏｒ Ｃｏｐｙｒｉｇｈ
ｔ Ｐｒｏｔｅｃｔｉｏｎ，Ｉｎｔｅｒ
ｎａｔｉｏｎａｌ Ｃｏｎｇｒｅｓｓ
ｏｎ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒ
ｏｐｅｒｔｙ Ｒｉｇｈｔｓ ｆｏｒ
Ｓｐｅｃｉａｌｉｓｅｄ Ｉｎｆｏｒｍ
ａｔｉｏｎ， Ｋｎｏｗｌｅｄｇｅ ａ
ｎｄ Ｎｅ，1995年 ８月
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/00 - 7/088
H04N 7/12
H04N 7/24 - 7/68
H04N 1/38 - 1/393
ＪＳＴＰｌｕｓファイル
Claims (4)
- 【請求項１】 デジタル動画像を単位時間Ｔのフレーム
群に分解し、任意のＭ×Ｎ×Ｔ（Ｍ×Ｎは最大で画像サ
イズ）サイズの直交変換を行ってＭ×Ｎ×Ｔの直交変換
係数行列を生成し、情報多重化鍵から乱数を順次生成
し、前記Ｍ×Ｎ×Ｔの直交変換係数行列から前記乱数を
用いて任意の直交変換係数を順次選択し、前記選択され
た直交変換係数の値を多重化すべき情報に基づいて変更
することを繰り返して、個々の単位時間のフレーム群に
閉じた形式でデジタル動画像に対して別の情報を多重化
する情報多重化方法において、 情報多重化後のＭ×Ｎ×Ｔサイズの直交変換係数行列を
逆直交変換してＭ×Ｎ×Ｔサイズの画素値行列を得、該
画素値行列の示す画素値が所定の定義域を越えている場
合に、多重化処理を行った直交変換係数以外の交流成分
値の振幅を変更し、あるいは直流成分の値を変更するこ
とで、多重化処理を行った直交変換係数の値を維持しつ
つ、逆直交変換で得られる画素値行列の示す画素値が所
定の定義域に収まるようにして、画素値のレンジオーバ
が回避された情報多重化直交変換係数行列を得ることを
特徴とする情報多重化方法。 - 【請求項２】 請求項１記載の情報多重化方法におい
て、 複数のサイズの直交変換を行い、それぞれの直交変換係
数行列に対して別々に情報多重化を行なうことにより、
複数の情報を多重化することを特徴とする情報多重化方
法。 - 【請求項３】 請求項１記載の情報多重化方法を適用し
てデジタル動画像に別の情報が多重化された情報多重化
済みデジタル動画像を単位時間Ｔのフレーム群に分解
し、情報多重化時と同じＭ×Ｎ×Ｔサイズの直交変換を
行うと共に、情報多重化鍵と同じ情報抽出鍵により乱数
を順次生成し、該乱数を用いて直交変換係数を順次選択
し、該選択された直交変換係数の値に基づいて多重化さ
れた情報を抽出し、個々の単位時間のフレーム群から多
数決を用いて多重化情報を決定する情報抽出方法におい
て、 多重化時に複数サイズの直交変換を行い、それぞれの直
交変換係数行列に対して別々に情報多重化を行うことに
より、情報多重化済みデジタル動画像に複数の情報が多
重化されている場合に、多重化時と同じ複数のサイズの
直交変換を行い、それぞれ別々に多重化情報を抽出する
ことにより、複数の多重化情報を抽出することを特徴す
る情報抽出方法。 - 【請求項４】 請求項３記載の情報抽出方法において、 乱数から選出される直交変換係数のみを抽出し、該直交
変換係数の値を計算して多重化された情報を抽出するこ
とを特徴とする情報抽出方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1438897A JP3536891B2 (ja) | 1997-01-28 | 1997-01-28 | 情報多重化方法及び情報抽出方法 |
| US09/014,159 US6185312B1 (en) | 1997-01-28 | 1998-01-27 | Method for embedding and reading watermark-information in digital form, and apparatus thereof |
| EP98300609A EP0855681B1 (en) | 1997-01-28 | 1998-01-28 | Method of embedding watermark-information into digital data |
| DE69834063T DE69834063T2 (de) | 1997-01-28 | 1998-01-28 | Verfahren zum Einbetten eines Wasserzeichens in Digitaldaten |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1438897A JP3536891B2 (ja) | 1997-01-28 | 1997-01-28 | 情報多重化方法及び情報抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10210427A JPH10210427A (ja) | 1998-08-07 |
| JP3536891B2 true JP3536891B2 (ja) | 2004-06-14 |
Family
ID=11859684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1438897A Expired - Lifetime JP3536891B2 (ja) | 1997-01-28 | 1997-01-28 | 情報多重化方法及び情報抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3536891B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6704431B1 (en) | 1998-09-04 | 2004-03-09 | Nippon Telegraph And Telephone Corporation | Method and apparatus for digital watermarking |
-
1997
- 1997-01-28 JP JP1438897A patent/JP3536891B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| Ｊｉａｎ Ｚｈａｏ， Ｅｃｋｈａｒｄ Ｋｏｃｈ，ｍｂｅｄｄｉｎｇ Ｒｏｂｕｓｔ Ｌａｂｅｌｓ Ｉｎｔｏ Ｉｍａｇｅｓ Ｆｏｒ Ｃｏｐｙｒｉｇｈｔ Ｐｒｏｔｅｃｔｉｏｎ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｇｒｅｓｓ ｏｎ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｒｉｇｈｔｓ ｆｏｒ Ｓｐｅｃｉａｌｉｓｅｄ Ｉｎｆｏｒｍａｔｉｏｎ， Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｎｅ，１９９５年 ８月 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10210427A (ja) | 1998-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8656174B2 (en) | Recovering from de-synchronization attacks against watermarking and fingerprinting | |
| CN111917558B (zh) | 一种基于区块链的视频帧数据双认证与分级加密方法 | |
| US7188248B2 (en) | Recovering from de-synchronization attacks against watermarking and fingerprinting | |
| US7526099B2 (en) | Motion picture data processing device, method, and program | |
| Liu et al. | Secure steganography in compressed video bitstreams | |
| Liao et al. | Efficient information hiding in H. 264/AVC video coding | |
| JP3353691B2 (ja) | デジタルデータのエンコードシステム及び電子透かしデータ挿入方法並びに制御プログラムを格納した記憶媒体 | |
| WO2004070998A2 (en) | Recovering from de-synchronization attacks against watermarking and fingerprinting | |
| Mareen et al. | Camcording-resistant forensic watermarking fallback system using secondary watermark signal | |
| CN101409830B (zh) | Dct系数块相似性判断、图像加解密方法及装置 | |
| JP2006325199A (ja) | データ処理装置 | |
| Barni et al. | Object watermarking for for MPEG-4 video streams copyright protection | |
| JP3536891B2 (ja) | 情報多重化方法及び情報抽出方法 | |
| JP3536890B2 (ja) | 情報多重化方法及び情報抽出方法 | |
| Kesavan Gopal | Watermarking of digital video stream for source authentication | |
| Kelkoul et al. | Digital cinema watermarking state of art and comparison | |
| KR20050108515A (ko) | 디씨티 기반의 영상 압축 시스템을 위한 데이터 위변조방지 방법 | |
| Phadikar et al. | Quality access control of compressed color images using data hiding | |
| JP4944966B2 (ja) | デジタル画像をデジタル透かしにより印付ける方法 | |
| Ernawan et al. | A New Embedding Technique Based On Psychovisual Threshold for Robust and Secure Compressed Video Steganography | |
| CN119155460B (zh) | 基于编码可微模拟的抗屏摄水印方法、系统、设备及介质 | |
| Saikia et al. | Video authentication using temporal wavelet transform | |
| CN111182365B (zh) | 一种基于视觉敏感块的压缩域视频水印嵌入和提取方法 | |
| Shojanazeri et al. | Analysis of watermarking techniques in video | |
| ME | Improved Protection in Video Steganography Used Compressed Video Bitstreams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040309 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040309 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110326 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110326 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |