JP5338170B2 - 電子透かし情報の埋め込みおよび抽出を行う装置、方法およびプログラム - Google Patents

Description

この発明は、電子透かし情報の埋め込み伝送技術に係り、特に空気中を伝播する音響信号等に電子透かし情報を埋め込んで伝送し、受信側において音響信号等から電子透かし情報を抽出する技術に関する。

オーディオ信号を電子透かし情報の担い手であるキャリア信号とし、このキャリア信号の一部の帯域に電子透かし情報を埋め込んで伝送する技術が各種提案されている（例えば特許文献１参照）。この埋め込み技術によれば、例えば電子透かし情報の埋め込まれたオーディオ信号が音として再生され、この音をマイクにより収音することにより得られるオーディオ信号が録音されて伝播する過程においても、録音されたオーディオ信号に電子透かし情報を留めておくことができる。従って、この埋め込み技術は、圧縮符号化データに電子透かし情報を埋め込む技術に比べて、幅広い用途に使用することができる。
特許第３６５９３２１号

ところで、上述した従来の技術において、電子透かし情報が埋め込まれているキャリア信号の帯域が分かると、キャリア信号を取得した第３者がこの帯域から電子透かし情報を抽出することが可能になるため、その帯域に埋め込まれた電子透かし情報を改竄する、といった行為が可能になるという問題があった。

この発明は、以上説明した事情に鑑みてなされたものであり、電子透かし情報をキャリア信号に埋め込んで伝送する場合においてキャリア信号に埋め込まれた電子透かし情報の秘匿性を高めることができる技術的手段を提供することを目的とする。

この発明は、キャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割手段と、電子透かし情報を示す各シンボルに対応した変調信号を各々発生する変調信号生成手段と、前記複数の帯域キャリア信号を所定時間長のシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散し、かつ、時間軸方向に分散した複数の変調対象要素に対し、前記変調信号生成手段により発生された１シンボル分の変調信号を用いた変調処理を施す埋め込み手段と、前記埋め込み手段による処理を終えた複数の帯域キャリア信号を合成して、電子透かし情報の埋め込まれたキャリア信号を出力する帯域合成手段とを具備することを特徴とする電子透かし情報の埋め込み装置を提供する。
また、この発明は、キャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割手段と、前記複数の帯域キャリア信号を所定時間長のシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散し、かつ、時間軸方向に分散した複数の変調対象要素に対して復調処理を施し、復調結果信号を出力する復調手段と、前記復調手段から得られる復調結果信号と所定のシンボルを示す変調信号との相互相関係数を算出し、この相互相関係数の算出結果に基づいて、キャリア信号に埋め込まれた電子透かし情報を示すシンボルを判定する電子透かし情報抽出手段とを具備することを特徴とする電子透かし情報の抽出装置を提供する。
この発明による埋め込み装置の埋め込み手段は、複数の帯域キャリア信号の各帯域間を横切る方向に分散し、かつ、時間軸方向に分散した複数の変調対象要素に対し、変調信号生成手段により発生された１シンボル分の変調信号を用いた変調処理を施す。従って、この発明による抽出装置以外の装置がキャリア信号を構成する複数の帯域キャリア信号の中の複数の変調対象要素を特定し、それらからキャリア信号に埋め込まれたシンボルを抽出することは極めて困難である。従って、この発明によれば、キャリア信号に埋め込まれる電子透かし情報の秘匿性を高めることができる。
なお、特許文献１は、電子透かし情報の埋め込み先である帯域を変化させる技術（例えば特許文献１の図１１参照）を開示している。しかし、この技術は、シンボルフレーム単位で埋め込み先の帯域を変えるものであり、本発明のように、複数の帯域キャリア信号間に分散し、かつ、時間軸方向に分散した複数の変調対象要素の列に対して、１つのシンボルを示す変調信号による変調処理を施すものではない。

以下、図面を参照し、この発明の一実施形態について説明する。

＜第１実施形態＞
キャリア信号に電子透かし情報を埋め込んで伝送する埋め込み伝送技術は、電子透かし情報の抽出の際に電子透かし情報の埋め込まれていない元のキャリア信号を必要としないブラインド透かし方式の埋め込み伝送技術と、元のキャリア信号を必要とするノンブラインド透かし方式の埋め込み伝送技術に大別される。以下説明する第１実施形態は、前者のブラインド透かし方式の埋め込み伝送技術に属する。

図１は、この発明の第１実施形態による電子透かし情報の埋め込み装置１００の構成を示すブロック図、図２は、同実施形態による電子透かし情報の抽出装置２００の構成を示すブロック図である。なお、埋め込み装置１００および抽出装置２００の各々は、キャリア信号へ電子透かし情報を埋め込む処理またはキャリア信号から電子透かし情報を抽出する処理を実行する専用のハードウェアとして実現してもよいし、埋め込み処理や抽出処理をコンピュータに実行させるコンピュータプログラムとして実現してもよい。

まず、図１に示す電子透かし情報の埋め込み装置１００について説明する。図１において、帯域分割部１１０は、キャリア信号のサンプル列に帯域分割を施し、互いに異なる帯域に属するＭ個の帯域キャリア信号を出力する。ここで、キャリア信号は、オーディオ信号であってもよいし、画像を構成する画素信号をラスタスキャン順に一次元化した信号であってもよい。

ある好ましい態様において、帯域分割部１１０は、窓掛け部と、帯域分割フィルタバンクとにより構成されている（図示略）。ここで、窓掛け部は、キャリア信号のサンプル列を１ハーフブロック当たりＮサンプルのハーフブロックに区切る処理と、現在までの最新の１ブロック＝２ハーフブロックのサンプル列に窓関数を乗じて帯域分割フィルタバンクに供給する処理を繰り返す。帯域分割フィルタバンクは、各々、通過帯域中心角周波数が異なったＭ個の複素係数ＢＰＦ（Band Pass Filter；帯域通過フィルタ）からなる。各複素係数ＢＰＦは、窓掛け部から窓関数の乗算された１ブロック分のサンプルの列を受け取る都度、受け取ったサンプル列に対して、各々の通過帯域中心角周波数に対応した複素係数を用いたＢＰＦ処理を施すことにより、サンプル列に含まれた通過帯域中心角周波数の成分を示す複素スペクトラム係数を算出し、帯域キャリア信号として出力する。

他の好ましい態様において、帯域分割部１１０は、上記と同様な窓掛け部と、窓掛け部により窓関数が乗算された１ブロック分のサンプル列にＦＦＴ（Fast Fourier Transform；高速フーリエ変換）を施して、異なる周波数に対応したＭ個の複素スペクトラム係数を算出するＦＦＴ部とにより構成される。

以上の各態様では、Ｌブロック分（Ｌは２以上の整数）のキャリア信号から得られる複素スペクトラム係数（帯域キャリア信号）が電子透かし情報を示すシンボル列における１個のシンボルの埋め込み先となる。

さらに他の好ましい態様において、帯域分割部１１０は、複素ウェーブレット変換部または複素ウェーブレットパケット分解部である。この態様において、帯域分割部１１０は、キャリア信号のサンプル列を時間軸上においてオーバラップしないブロックに区切り、区切ったブロックに対して複素ウェーブレット変換または複素ウェーブレットパケット分解を施し、Ｍ帯域分の複素ウェーブレット係数を帯域キャリア信号として出力する。この態様では、Ｌブロック分の複素ウェーブレット変換または複素ウェーブレットパケット分解から得られる複素ウェーブレット係数が、電子透かし情報を示すシンボル列の１個のシンボルの埋め込み先となる。
以下では、帯域分割部１１０が、帯域毎に、Ｌブロック（１シンボルフレーム）当たり（Ｎ／Ｍ）＊Ｌ個の帯域キャリア信号のサンプルを出力するものとする。

絶対値検出部１２１は、帯域分割部１１０が出力するＭ個の帯域キャリア信号の各々の実数部と虚数部とから各帯域キャリア信号の絶対値成分を算出する。また、偏角検出部１２２は、帯域分割部１１０が出力するＭ個の帯域キャリア信号の各々の実数部と虚数部とから各帯域キャリア信号の偏角成分を算出する。

変調信号生成部１３１および１３２は、電子透かし情報を示すシンボルに応じた変調信号を発生する手段である。本実施形態による埋め込み装置１００は、電子透かし情報を示すシンボルを埋め込むための手段として、絶対値検出部１２１から得られるＭ個の帯域キャリア信号の絶対値成分にシンボルを埋め込む第１埋め込み部１４０と、偏角検出部１２２から得られるＭ個の帯域キャリア信号の偏角成分にシンボルを埋め込む第２埋め込み部１５０とを有している。変調信号生成部１３１は、前者の第１埋め込み部１４０に対し、埋め込み対象であるシンボルを示す変調信号を供給する手段である。変調信号生成部１３２は、後者の第２埋め込み部１５０に対し、埋め込み対象であるシンボルを示す変調信号を供給する手段である。変調信号生成部１３１および１３２は、電子透かし情報を示すシンボル列のうち異なるシンボルに対応した各変調信号を発生するものであってもよいし、同じシンボルに対応した変調信号を重複して発生するものであってもよい。

変調信号生成部１３１および１３２の各々は、１個のシンボルを示す変調信号として、互いに逆相関係にある２相の変調信号を発生する。これらの変調信号は、１シンボル当たりＬｍ個（Ｌｍ≦Ｍ×（Ｎ／Ｍ）＊Ｌ）のサンプルにより構成されている。図１に示す例において、変調信号生成部１３１は、１つのシンボルｂを示す変調信号として正逆２相の三角波信号を発生している。ここで、正相の変調信号は、表現するシンボルｂがビット“０”である場合には前半が山、後半が谷の波形となり、表現するシンボルがビット“１”である場合には前半が谷、後半が山の波形となる。そして、逆相の変調信号は、これとは逆相の信号となる。

第１埋め込み部１４０は、スペクトログラム記憶部１４１と、乗算器１４２と、加算器１４３とを有する。スペクトログラム記憶部１４１には、１シンボルフレーム毎に絶対値検出部１２１から得られるＭ×（Ｎ／Ｍ）＊Ｌ個の帯域キャリア信号の絶対値がＭ行（Ｎ／Ｍ）＊Ｌ列の行列として書き込まれる。

図１に示す例において、スペクトログラム記憶部１４１を示すボックスの中には帯域キャリア信号の絶対値を要素とするＭ行（Ｎ／Ｍ）＊Ｌ列の行列が図示されており、この行列の各要素の中には数字１’〜１２’の記入された要素と、数字１〜１２の記入された要素がある。ここで、数字１’〜１２’の記入された各要素は、変調信号生成部１３１から与えられる正相の変調信号による変調処理の対象となる要素（以下、正相変調対象要素という）を例示するものである。また、数字１〜１２の記入された各要素は、変調信号生成部１３１から与えられる逆相の変調信号による変調処理の対象となる要素（以下、逆相変調対象要素という）を例示するものである。

第１埋め込み部１４０は、これらの各正相変調対象要素と各逆相変調対象要素がスペクトログラム記憶部１４１に記憶されたＭ行（Ｎ／Ｍ）＊Ｌ列の行列のどこに所在するか、すなわち、シンボルの埋め込み先の所在を示す２次元埋め込みパターンを予め記憶している。そして、第１埋め込み部１４０は、この２次元埋め込みパターンに従い、スペクトログラム記憶部１４１に記憶されたＭ行（Ｎ／Ｍ）＊Ｌ列の各行列要素（帯域キャリア信号の絶対値のサンプル）のうち一連の正相変調対象要素の列に対する正相の変調信号に応じた振幅変調処理と一連の逆相変調対象要素の列に対する逆相の変調信号に応じた振幅変調処理を実行する。

さらに詳述すると、第１埋め込み部１４０は、スペクトログラム記憶部１４１に記憶されたＭ行Ｌ列の行列要素の中から複数の正相変調対象要素（図１の例では数字１’〜１２’の記入された各要素）を読み出し、これらの各正相変調対象要素と変調信号生成部１３１から与えられる正相の変調信号の各サンプル（この例では１２個のサンプルの各々）との乗算を乗算器１４２に各々行わせる。そして、各乗算結果と各正相変調対象要素（図１の例では数字１’〜１２’の記入されたもの各要素）との加算を加算器１４３に行わせ、この各加算結果をスペクトログラム記憶部１４１内の元の各正相変調対象要素に上書きするのである。また、第１埋め込み部１４０は、スペクトログラム記憶部１４１に記憶されたＭ行Ｌ列の行列要素の中から複数の逆相変調対象要素（図１の例では数字１〜１２の記入された各要素）を読み出し、これらの各逆相変調対象要素と変調信号生成部１３１から与えられる逆相の変調信号の各サンプル（この例では１２個のサンプルの各々）との乗算を乗算器１４２に各々行わせる。そして、各乗算結果と各逆相変調対象要素（図１の例では数字１〜１２の記入された各要素）との加算を加算器１４３に行わせ、この各加算結果をスペクトログラム記憶部１４１内の元の各逆相変調対象要素に上書きするのである。

第２埋め込み部１５０は、スペクトログラム記憶部１５１と、加算器１５２とを有する。スペクトログラム記憶部１５１には、１シンボルフレーム毎に偏角検出部１２２から得られるＭ×（Ｎ／Ｍ）＊Ｌ個の帯域キャリア信号の偏角成分がＭ行（Ｎ／Ｍ）＊Ｌ列の行列として書き込まれる。第２埋め込み部１５０は、各正相変調対象要素と各逆相変調対象要素がスペクトログラム記憶部１５１に記憶されたＭ行（Ｎ／Ｍ）＊Ｌ列の行列のどこに所在するかを示す２次元埋め込みパターンを予め記憶している。この２次元埋め込みパターンは、第１埋め込み部１４０が記憶しているものと同一内容のものでもよく、異なった内容のものでもよい。そして、第２埋め込み部１５０は、この２次元埋め込みパターンに従い、スペクトログラム記憶部１５１に記憶されたＭ行Ｌ列の各行列要素（帯域キャリア信号の偏角成分のサンプル）のうち一連の正相変調対象要素の列に対する正相の変調信号に応じた位相変調処理と一連の逆相変調対象要素の列に対する逆相の変調信号に応じた位相変調処理を実行する。

さらに詳述すると、第２埋め込み部１５０は、スペクトログラム記憶部１５１に記憶されたＭ行（Ｎ／Ｍ）＊Ｌ列の行列要素の中から複数の正相変調対象要素（図１の例では数字１’〜１２’の記入されたもの各要素）を読み出し、これらの各正相変調対象要素と変調信号生成部１３２から与えられる正相の変調信号の各サンプル（この例では１２個のサンプルの各々）との加算を加算器１５２に各々行わせる。そして、各加算結果をスペクトログラム記憶部１５１内の元の各正相変調対象要素に上書きする。また、第２埋め込み部１５０は、スペクトログラム記憶部１５１に記憶されたＭ行（Ｎ／Ｍ）＊Ｌ列の行列要素の中から複数の逆相変調対象要素（図１の例では数字１〜１２の記入されたもの各要素）を読み出し、これらの各逆相変調対象要素と変調信号生成部１３２から与えられる逆相の変調信号の各サンプル（この例では１２個のサンプルの各々）との加算を加算器１５２に各々行わせる。そして、各加算結果をスペクトログラム記憶部１５１内の元の各逆相変調対象要素に上書きするのである。

図１に例示するように、本実施形態では、１シンボルの各部（１シンボルを表す変調信号の各サンプル）の埋め込み先である正相変調対象要素および逆相変調対象要素は、Ｍ帯域の帯域キャリア信号の各帯域間を横切る方向に分散し、かつ、時間軸方向に分散している。従って、第３者がＭ帯域の帯域キャリア信号から１シンボルを示す変調信号の各部を読み出して１シンボル分の変調信号を構成するのは極めて困難であり、高い秘匿性を実現することができる。

再結合部１６０は、第１埋め込み部１４０の振幅変調処理を経たＭ行（Ｎ／Ｍ）＊Ｌ列からなる帯域キャリア信号の絶対値のサンプルを受け取るとともに、第２埋め込み部１５０の位相変調処理を経たＭ行（Ｎ／Ｍ）＊Ｌ列からなる帯域キャリア信号の偏角成分のサンプルを受け取り、各絶対値成分と各偏角成分を同一帯域・同一時刻のもの同士結合させ、複素形式のＭ帯域分の帯域キャリア信号を発生する。帯域合成部１７０は、帯域分割部１１０の処理に対する逆変換処理を行う手段であり、Ｍ帯域分の帯域キャリア信号を時間領域の信号に戻して合成し、電子透かし情報の埋め込まれたキャリア信号を出力する。

次に図２に示す抽出装置２００について説明する。帯域分割部２１０、絶対値検出部２２１および偏角検出部２２２は、埋め込み装置１００の帯域分割部１１０、絶対値検出部１２１および偏角検出部１２２と同様な構成のものである。例えばオーディオ信号をキャリア信号として用いる場合、前述した埋め込み装置１００により電子透かし情報の埋め込まれたキャリア信号（オーディオ信号）は、例えば音として空気中に放音され、図示しない収音装置により収音され、音声波形の時系列サンプルであるキャリア信号となって、一時的な記憶手段に蓄積される。そして、この記憶手段から読み出されて帯域分割部２１０に供給される。帯域分割部２１０は、このキャリア信号を１シンボルフレームの区間に分割して、シンボルフレーム単位で、１帯域当たり（Ｎ／Ｍ）＊Ｌ個のサンプルからなるＭ帯域分の帯域キャリア信号を出力する。絶対値検出部２２１は、このＭ帯域の帯域キャリア信号のサンプルの絶対値を出力し、偏角検出部２２２は、Ｍ帯域の帯域キャリア信号のサンプルの偏角成分を出力する。

第１復調部２４０は、絶対値検出部２２１から得られるＭ帯域の帯域キャリア信号の絶対値に対して、上述した振幅変調処理の逆処理である復調処理を施し、復調結果信号を出力する手段である。また、第２復調部２５０は、偏角検出部２２２から得られるＭ帯域の帯域キャリア信号の偏角成分に対して、上述した位相変調処理の逆処理である復調処理を施し、復調結果信号を出力する手段である。

図２に示すように、第１復調部２４０は、スペクトログラム記憶部２４１と、除算器２４２と、後処理部２４３とを有する。スペクトログラム記憶部１４１には、１シンボルフレーム毎に絶対値検出部２２１から得られるＭ×（Ｎ／Ｍ）＊Ｌ個の帯域キャリア信号の絶対値がＭ行（Ｎ／Ｍ）＊Ｌ列の行列として書き込まれる。第１復調部２４０は、埋め込み装置１００の第１埋め込み部１４０が記憶しているものと同様な２次元埋め込みパターンを記憶している。第１復調部２４０は、この２次元埋め込みパターンに従い、スペクトログラム記憶部２４１に記憶されたＭ行Ｌ列の各行列要素（帯域キャリア信号の絶対値のサンプル）の中から、正相変調対象要素と考えられるものの列と逆相変調対象要素と考えられるものの列を読み出し、前者を後者によって除算する処理を除算器２４２に行わせ、除算器２４２から復調結果信号を出力させる。

後処理部２４３は、復調結果信号に対してオフセット除去処理と正規化処理を施す手段である。さらに詳述すると、オフセット除去処理では、過去一定期間内に出力された復調結果信号のサンプルの平均値（すなわち、移動平均値）を求めて、それをオフセットとして、復調結果信号のサンプルから減算する。これにより復調結果信号からオフセット成分（直流成分）が除去される。正規化処理では、このようにしてオフセット成分が除去された復調結果信号の過去一定期間内における絶対値の最大値を求め、オフセット除去済みの復調結果信号のサンプルをこの最大値によって除算することにより正規化し、正規化された復調結果信号を出力する。

図１および図２に例示するように、Ｍ帯域の帯域キャリア信号において、正相変調対象要素（数字１’〜１２’が記入された要素）は逆相変調対象要素（数字１〜１２が記入された要素）が属する帯域の隣接帯域の要素である。従って、振幅変調前において正相変調対象要素と逆相変調対象要素は近似した内容であると考えられる。従って、第１復調部２４０において、仮に正相変調対象要素の列と逆相変調対象要素の列とが正常に読み出されて除算器２４２に供給された場合、除算により得られる復調結果信号は、第１埋め込み部１４０において正相変調対象要素の列と逆相変調対象要素の列の振幅変調に用いられた変調信号に近い波形を持った信号となる。

第２復調部２５０は、スペクトログラム記憶部２５１と、減算器２５２と、後処理部２５３とを有する。スペクトログラム記憶部２５１には、１シンボルフレーム毎に偏角検出部２２２から得られるＭ×（Ｎ／Ｍ）＊Ｌ個の帯域キャリア信号の偏角成分がＭ行（Ｎ／Ｍ）＊Ｌ列の行列として書き込まれる。第２復調部２５０は、埋め込み装置１００の第２埋め込み部１５０が記憶しているものと同様な２次元埋め込みパターンを記憶している。第２復調部２５０は、この２次元埋め込みパターンに従い、スペクトログラム記憶部２５１に記憶されたＭ行（Ｎ／Ｍ）＊Ｌ列の各行列要素（帯域キャリア信号の偏角成分のサンプル）の中から、正相変調対象要素と考えられるものの列と逆相変調対象要素と考えられるものの列を読み出し、前者から後者を減算する処理を減算器２５２に行わせ、減算器２５２から復調結果信号を出力させる。後処理部２５３は、復調結果信号に対して後処理部２４３と同様なオフセット除去処理と正規化処理を施す手段である。

第２復調部２５０において、仮に正相変調対象要素の列と逆相変調対象要素の列とが正常に読み出されて減算器２５２に供給された場合、第２復調部２５０から得られる復調結果信号は、第２埋め込み部１５０において正相変調対象要素の列と逆相変調対象要素の列の位相変調に用いられた変調信号に近い波形を持った信号となる。

第１電子透かし情報抽出部２６０は、第１復調部２４０が出力する復調結果信号から電子透かし情報を示すシンボルを抽出する手段である。また、第２電子透かし情報抽出部２７０は、第２復調部２５０が出力する復調結果信号から電子透かし情報を示すシンボルを抽出する手段である。

図２に示すように、第１電子透かし情報抽出部２６０は、バッファ２６１と、変調信号生成部２６２と、相関算出部２６３と、相関判定部２６４を有している。バッファ２６１は、第１復調部２４０から出力される１シンボルフレーム分の復調結果信号のサンプルを一時記憶するバッファである。変調信号生成部２６２は、ビット“０”を示す変調信号のサンプル列とビット“１”を示す変調信号のサンプル列を交互に発生する手段である。相関算出部２６３は、バッファ２６１に記憶された復調結果信号のサンプル列とビット“０”を示す変調信号のサンプル列との相互相関係数（以下、第１の相互相関係数）および復調結果信号のサンプル列とビット“１”を示す変調信号のサンプル列との相互相関係数（以下、第２の相互相関係数）を算出する。

相関判定部２６４の役割は２つある。第１の役割は、相関算出部２６３から得られる第１の相互相関係数と第２の相互相関係数の履歴に基づき、帯域分割部２１０および第１復調部２４０の動作がキャリア信号におけるシンボルフレームの区切りと同期しているかどうかを判定する役割である。

キャリア信号においてシンボルの埋め込まれた区間以外の区間の帯域キャリア信号が帯域分割部２１０、絶対値検出部２２１および第１復調部２４０により処理された場合、２次元埋め込みパターンに従ってスペクトログラム記憶部２４１から行列要素を読み出したとしても、正相変調対応要素および逆相変調対象要素は読み出されない。従って、第１復調部２４０から得られる復調結果信号は、ビット“０”を示す変調信号でもなく、ビット“１”を示す変調信号でもなく、そのような変調信号とは無相関の信号である。従って、相関算出部２６３により得られる第１および第２の相互相関係数はいずれも０に近い値となる。

また、キャリア信号においてシンボルの埋め込まれた区間と概ね一致する区間の帯域キャリア信号が帯域分割部２１０、絶対値検出部２２１および第１復調部２４０により処理されたが、キャリア信号をシンボルフレーム単位に区切るときの区切り位置が埋め込み装置１００の帯域分割部１１０がキャリア信号をシンボルフレーム単位に区切ったときの区切り位置からずれている場合も、同様な結果となる。

そこで、相関判定部２６４には、相関算出部２６３から得られる第１および第２の相互相関係数の履歴を監視し、これらの相互相関係数がいずれも０に近い値である期間は、読み出し開始位置（シンボルフレームの開始位置）を所定量だけシフトして、１シンボルフレーム分の帯域分割処理を帯域分割部２１０に行わせ、絶対値検出部２２１および第１復調部２４０に帯域分割部１１０から得られる帯域キャリア信号の処理を行わせる、という操作を繰り返す。そして、このような操作を繰り返しつつ相関算出部２６３から得られる第１および第２の相互相関係数を監視し、一方の相互相関係数が「１」に顕著に接近したことを以って、帯域分割部２１０、絶対値検出部２２１および第１復調部２４０の動作がキャリア信号におけるシンボルフレームの区切りに同期した状態になったと判定するのである。

相関判定部２６４の第２の役割は、キャリア信号に埋め込まれた電子透かし情報を示すシンボルを判定する役割である。上述のようにして帯域分割部２１０、絶対値検出部２２１および第１復調部２４０の動作がキャリア信号におけるシンボルフレームの区切りに同期した状態において、相関判定部２６４は、この同期状態を維持しつつ、各シンボルフレームの処理を帯域分割部２１０、絶対値検出部２２１および第１復調部２４０に行わせる。そして、各シンボルフレーム毎に相関算出部２６３から得られる第１の相互相関係数および第２の相互相関係数の大小比較を行い、第１の相互相関係数の方が大きければ埋め込まれたシンボルがビット“０”であると判定し、第２の相互相関係数の方が大きければ埋め込まれたシンボルがビット“１”であると判定するのである。

第２電子透かし情報抽出部２７０も、第１電子透かし情報抽出部２６０と同様な構成を有する。なお、第１電子透かし情報抽出部２６０に同期化制御機能（キャリア信号におけるシンボルフレームの区切り位置に帯域分割部２１０およびその後段部の動作を同期化させる制御機能）を設ける場合には、この同期化制御機能を第２電子透かし情報抽出部２７０に設けなくてもよい。
以上が本実施形態の詳細である。

本実施形態によれば、次の効果が得られる。
（１）埋め込み装置１００では、キャリア信号を帯域分割することにより得られた複数の帯域キャリア信号において、複数の帯域キャリア信号の帯域間を横切る方向に分散し、かつ、時間軸方向に分散した複数の変調対象要素に対し、電子透かし情報の１つのシンボルを示す変調信号による変調処理が施される。従って、抽出装置２００以外の装置がキャリア信号における電子透かし情報の埋め込み箇所を見つけることは極めて困難であり、第３者がキャリア信号に埋め込まれた電子透かし情報を改竄する行為等を防止することができる。

（２）埋め込み装置１００では、シンボルに対応した変調信号の各サンプルを用いた変調処理を、複数の帯域キャリア信号において、複数の帯域キャリア信号の帯域間を横切る方向に分散し、かつ、時間軸方向に分散した複数の変調対象要素に施す。従って、１シンボルの埋め込みを行うシンボルフレーム長を短くしても、１シンボルに対応した変調信号のサンプルとして十分な個数のサンプルをシンボルフレーム内の帯域キャリア信号の変調に用いることができる。従って、抽出装置２００側でのシンボルの抽出の容易さを犠牲にすることなく、シンボルフレーム長を短縮することが可能になる。

（３）埋め込み装置１００の帯域分割部１１０において帯域分割の手段として複素ウェーブレット変換や複素ウェーブレットパケット分解を用いた場合には、次の効果が得られる。まず、キャリア信号をブロックに区切って、ＦＦＴにより帯域キャリア信号への帯域分割を行うと、電子透かし情報の抽出時にブロック境界においてアーティファクト（振幅や位相の不連続）が生じる。このため、切り出しのための手段としてＦＦＴを用いるときには、キャリア信号を時間軸上においてオーバラップしたブロックに区切る必要がある。しかし、キャリア信号をこのようなオーバラップしたブロックに区切って、電子透かし情報のシンボルを各ブロックに埋め込むと、シンボルの抽出時に隣接するシンボル間の干渉が発生する場合がある。これに対し、帯域分割の手段として、時間・周波数的な分割を行う複素ウェーブレット変換や複素ウェーブレットパケット分解を用いた場合には、抽出時のアーティファクトを発生させることなく、キャリア信号を時間軸上においてオーバラップしないブロックに区切って、キャリア信号を帯域キャリア信号に分割することができ、抽出時における隣接シンボルの干渉を回避することができる。

（４）本実施形態において埋め込み装置１００では、Ｍ帯域の帯域キャリア信号に散在する隣接した２帯域の正相変調対象要素および逆相変調対象要素に対し、電子透かし情報のシンボルに対応した波形を持った正逆２相の変調信号による変調を施すことより、電子透かし情報のシンボルのキャリア信号への埋め込みを行った。従って、抽出装置２００側では、変調に用いられた変調信号を大きな振幅で抽出することができ、安定して電子透かし情報をキャリア信号から抽出することができる。

＜第２実施形態＞
本実施形態は、ブラインド透かし方式の埋め込み伝送技術に属する上記第１実施形態をノンブラインド透かし方式に変更したものである。図示は省略したが、本実施形態における電子透かし情報の埋め込み装置は、上記第１実施形態における埋め込み装置１００において例えばスペクトログラム記憶部１４１および１５１に記憶された各帯域キャリア信号の絶対値および偏角成分の各行列要素において、例えば正相変調対象要素（数字１’〜１２’の記入された要素）のみに対して正相の変調信号による変調処理を施し、逆相変調対象要素（数字１〜１２の記入された要素）に対する変調処理を行わない構成となっている。

図３は、本実施形態による抽出装置２００Ａの構成を示すブロック図である。なお、図３では、図面が煩雑になるのを防止するため、振幅変調により埋め込まれたシンボルを抽出するための装置構成のみを図示し、位相変調により埋め込まれたシンボルを抽出するための装置構成の図示を省略した。

図３に示すように、抽出装置２００Ａでは、上記第１実施形態における抽出装置２００に対し、帯域分割部２１０ａが追加されており、同抽出装置２００の第１復調部２４０が第１復調部２４０ａに置き換えられている。

本実施形態では、電子透かし情報の埋め込まれたキャリア信号が帯域分割部２１０に供給されるのに同期し、電子透かし情報の埋め込まれていない元のキャリア信号が帯域分割部２１０ａに供給される。帯域分割部２１０ａは、元のキャリア信号の帯域分割を行い、帯域分割部２１０が出力するＭ帯域の帯域キャリア信号と同じ帯域の帯域キャリア信号を出力する。絶対値検出部２２１ａは、この帯域分割部２１０ａが出力するＭ帯域の帯域キャリア信号の絶対値を算出し、Ｍ帯域分の絶対値のサンプル列を出力する。

第１復調部２４０ａは、スペクトログラム記憶部２４１の他に、スペクトログラム記憶部２４１ａを有する。上記第１実施形態と同様、スペクトログラム記憶部２４１には、絶対値検出部２２１から出力される１シンボルフレーム当たりＭ×（Ｎ／Ｍ）＊Ｌ個の帯域キャリア信号の絶対値の行列が書き込まれる。また、スペクトログラム記憶部２４１ａには、絶対値検出部２２１ａから出力される１シンボルフレーム当たりＭ×（Ｎ／Ｍ）＊Ｌ個の帯域キャリア信号の絶対値の行列が書き込まれる。

第１復調部２４０ａは、スペクトログラム記憶部２４１に記憶されたＭ行Ｌ列の行列における変調対象要素（図３の例では、スペクトログラム記憶部２４１内のＭ行Ｌ列の行列において、数字１’〜１２’が記入された要素）の所在を示す２次元埋め込みパターンを記憶している。第１復調部２４０ａは、この２次元埋め込みパターンに従い、スペクトログラム記憶部２４１に記憶された行列要素のうち変調対象要素と考えられるものの列を読み出すとともに、スペクトログラム記憶部２４１ａに記憶された行列要素のうち変調対象要素と同じ位置にあるものの列を読み出し、前者を後者によって除算する処理を除算器２４２に行わせ、除算器２４２から復調結果信号を出力させる。後処理部２４２の処理内容は上記第１実施形態と同様である。

本実施形態においても、第１復調部２４０ａにおいて、仮に変調対象要素の列が正常に読み出されて除算器２４２に供給された場合、除算により得られる復調結果信号は、埋め込み装置側において変調対象要素の列の振幅変調に用いられた変調信号に近い波形を持った信号となる。従って、上記第１実施形態と同様、電子透かし情報抽出部２６０では、振幅変調によりキャリア信号に埋め込まれた電子透かし情報のシンボルを判定することができる。

図示は省略したが、位相変調によりキャリア信号に埋め込まれた電子透かし情報を抽出する装置の構成および動作も、以上説明したものと基本的に同様である。

＜他の実施形態＞
以上、この発明の第１および第２実施形態を説明したが、この発明には、他にも各種の実施形態が考えられる。例えば次の通りである。

（１）上記各実施形態では、振幅変調および位相変調の両方を用いて、電子透かし情報を示すシンボルをキャリア信号に埋め込んだが、振幅変調または位相変調のいずれか一方のみを利用して、電子透かし情報を示すシンボルをキャリア信号に埋め込んでもよい。

（２）振幅変調および位相変調の両方を用いて、電子透かし情報を示すシンボルをキャリア信号に埋め込む場合において、同一のシンボルについて振幅変調による埋め込みと位相変調による埋め込みを行ってもよい。この場合において、抽出装置側では、シンボルフレーム毎に、振幅変調により埋め込まれたシンボルを抽出する処理と位相変調により埋め込まれたシンボルを抽出する処理を実行し、両処理において同一シンボルが抽出されるか否かにより、抽出されたシンボルの信頼度に関する判定を行うようにしてもよい。

（３）電子透かし情報を示す複数のシンボルからなるシンボル列をキャリア信号に埋め込む場合において、例えば第１のシンボルは２次元埋め込みパターンＰ１、第２のシンボルは２次元埋め込みパターンＰ２、…という具合に、変調対象要素を指定する２次元埋め込みパターンを埋め込み装置および抽出装置間で予め合意されたルールに従って変化させてもよい。この態様によれば、キャリア信号に埋め込まれる電子透かし情報の秘匿性をさらに高めることができる。

（４）上記各実施形態において、１個のシンボルは、２値を表すビットであったが、１つのシンボルを表す変調波形を３種類以上用意し、１シンボル当たり３値以上を表すシンボルを帯域キャリア信号に埋め込んでもよい。

（５）上記第１実施形態では、同一時刻に対応し、かつ、互いに隣接する帯域に属する正相変調対象要素と逆相変調対象要素を各シンボルフレーム内の複数の帯域キャリア信号の中から選択し、正相変調対象要素の列に対して正相の変調信号による変調処理を施し、逆相変調対象要素の列に対して前記逆相の変調信号による変調処理を施した。しかし、正相変調対象要素と逆相変調対象要素は、必ずしも隣接する帯域に属するものである必要はなく、周波数の近い異なる帯域に属するものであればよい。

（６）上記各実施形態において、変調信号として、所定範囲（例えば振幅変調の場合は−１から＋１までの範囲。位相変調の場合は逆相関係にある２相の変調信号の差分が−πから＋πとなる範囲。）の振幅を持った基本的な変調信号に対し、変調強度Ａを乗算した信号を発生してもよい。この場合において、変調強度Ａは、０から１までの範囲の中から選択する。Ａ＝１である場合、最大限の変調が行われ、Ａ＝０である場合は無変調となる。この変調強度Ａは、帯域毎に要求されるシンボル埋め込みによる音質劣化の抑制効果、シンボルの外乱に対する耐性等に応じて決定すればよい。

（７）スペクトログラム記憶部１４１等に書き込む１シンボルフレーム分の帯域キャリア信号の絶対値または偏角のサンプルの個数は、帯域分割部１１０等が行う帯域分割の方法に合わせて適切に定めればよい。また、複素ウエーブレット変換や複素ウェーブレットパケット分解により等分割でない帯域分割を行う場合、１シンボルフレーム当たりの帯域キャリア信号のサンプルの個数が帯域間で異なる場合がある。このような場合、例えばサンプル数の多い帯域の帯域キャリア信号のサンプルは複数行に跨って行列の要素にする等の処理を行い、全帯域の帯域キャリア信号のサンプルを１つの行列の中に収めればよい。あるいは、１シンボルフレーム分の帯域キャリア信号の絶対値または偏角のサンプルを行列の形式にはしないでメモリに記憶させ、１シンボルフレーム分の帯域キャリア信号の絶対値または偏角のサンプルにおいて帯域間を跨る方向に分散し、かつ、時間軸方向に分散した複数サンプルを予め定めたルールに従って選択し、埋め込み対象であるシンボルに応じた変調を施しても良い。

この発明の第１実施形態による電子透かし情報の埋め込み装置１００の構成を示すブロック図である。 同実施形態による電子透かし情報の抽出装置２００の構成を示すブロック図である。 この発明の第２実施形態による電子透かし情報の抽出装置２００Ａの構成を示すブロック図である。

符号の説明

１００……埋め込み装置、２００，２００Ａ……抽出装置、１１０，２１０，２１０ａ……帯域分割部、１２１，２２１，２２１ａ……絶対値検出部、１２２，２２２……偏角検出部、１４０……第１埋め込み部、１５０……第２埋め込み部、１６０……再結合部、１７０……帯域合成部、１３１，１３２……変調信号生成部、１４１，１５１，２４１，２５１，２４１ａ……スペクトログラム記憶部、１４２……乗算器、１４３，１５２……加算器、２４２……除算器、２５２……減算器、２４３，２５３……後処理部、２６０，２７０……電子透かし情報抽出部、２６１……バッファ、２６２……変調信号生成部、２６３……相関算出部、２６４……相関判定部。

Claims (7)

1. 所定時間長のブロック毎にキャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割手段と、
   電子透かし情報を示す各シンボルに対応した１シンボル分の変調信号波形のサンプル列を各々発生する変調信号生成手段と、
   前記複数の帯域キャリア信号を時間的に連続する複数の前記ブロックから構成されるシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散すると共に、Ｌブロック（Ｌは２以上の整数）に亙って時間軸方向に分散した複数の変調対象要素に対し、前記変調信号生成手段により発生された１シンボル分の変調信号波形のサンプル列の各サンプルを用いた変調処理を施す埋め込み手段と、
   前記埋め込み手段による処理を終えた複数の帯域キャリア信号を合成して、電子透かし情報の埋め込まれたキャリア信号を出力する帯域合成手段と
   を具備することを特徴とする電子透かし情報の埋め込み装置。
2. 前記変調信号生成手段は、１つのシンボルに対応した変調信号波形のサンプル列として、正逆２相の変調信号波形のサンプル列を出力し、
   前記埋め込み手段は、前記複数の変調対象要素の各変調対象要素として、同一時刻に対応し、かつ、互いに異なる帯域に属する正相変調対象要素と逆相変調対象要素を各シンボルフレーム内の複数の帯域キャリア信号の中から選択し、前記正相変調対象要素の列に対して前記正相の変調信号波形のサンプル列の各サンプルによる変調処理を施し、前記逆相変調対象要素の列に対して前記逆相の変調信号波形のサンプル列の各サンプルによる変調処理を施すことを特徴とする請求項１に記載の電子透かし情報の埋め込み装置。
3. 所定時間長のブロック毎にキャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割手段と、
   前記複数の帯域キャリア信号を時間的に連続する複数の前記ブロックから構成されるシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散すると共に、Ｌブロック（Ｌは２以上の整数）に亙って時間軸方向に分散した複数の変調対象要素に対して復調処理を施し、復調結果信号を出力する復調手段と、
   前記復調手段から得られる復調結果信号と所定のシンボルを示す変調信号との相互相関係数を算出し、この相互相関係数の算出結果に基づいて、キャリア信号に埋め込まれた電子透かし情報を示すシンボルを判定する電子透かし情報抽出手段と
   を具備することを特徴とする電子透かし情報の抽出装置。
4. 所定時間長のブロック毎にキャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割過程と、
   電子透かし情報を示す各シンボルに対応した１シンボル分の変調信号波形のサンプル列を各々発生する変調信号生成過程と、
   前記複数の帯域キャリア信号を時間的に連続する複数の前記ブロックから構成されるシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散すると共に、Ｌブロック（Ｌは２以上の整数）に亙って時間軸方向に分散した複数の変調対象要素に対し、前記変調信号生成手段により発生された１シンボル分の変調信号波形のサンプル列の各サンプルを用いた変調処理を施す埋め込み過程と、
   前記埋め込み過程による処理を終えた複数の帯域キャリア信号を合成して、電子透かし情報の埋め込まれたキャリア信号を出力する帯域合成過程と
   を具備することを特徴とする電子透かし情報の埋め込み方法。
5. 所定時間長のブロック毎にキャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割過程と、
   前記複数の帯域キャリア信号を時間的に連続する複数の前記ブロックから構成されるシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散すると共に、Ｌブロック（Ｌは２以上の整数）に亙って時間軸方向に分散した複数の変調対象要素に対して復調処理を施し、復調結果信号を出力する復調過程と、
   前記復調過程において得られる復調結果信号と所定のシンボルを示す変調信号との相互相関係数を算出し、この相互相関係数の算出結果に基づいて、キャリア信号に埋め込まれた電子透かし情報を示すシンボルを判定する電子透かし情報抽出過程と
   を具備することを特徴とする電子透かし情報の抽出方法。
6. コンピュータに、
   所定時間長のブロック毎にキャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割過程と、
   電子透かし情報を示す各シンボルに対応した１シンボル分の変調信号波形のサンプル列を各々発生する変調信号生成過程と、
   前記複数の帯域キャリア信号を時間的に連続する複数の前記ブロックから構成されるシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散すると共に、Ｌブロック（Ｌは２以上の整数）に亙って時間軸方向に分散した複数の変調対象要素に対し、前記変調信号生成手段により発生された１シンボル分の変調信号波形のサンプル列の各サンプルを用いた変調処理を施す埋め込み過程と、
   前記埋め込み過程による処理を終えた複数の帯域キャリア信号を合成して、電子透かし情報の埋め込まれたキャリア信号を出力する帯域合成過程と
   を実行させることを特徴とするコンピュータプログラム。
7. コンピュータに、
   所定時間長のブロック毎にキャリア信号に帯域分割を施し、互いに異なる帯域に属する複数の帯域キャリア信号を出力する帯域分割過程と、
   前記複数の帯域キャリア信号を時間的に連続する複数の前記ブロックから構成されるシンボルフレームに区切り、各シンボルフレーム内の複数の帯域キャリア信号において、前記複数の帯域キャリア信号の各帯域間を横切る方向に分散すると共に、Ｌブロック（Ｌは２以上の整数）に亙って時間軸方向に分散した複数の変調対象要素に対して復調処理を施し、復調結果信号を出力する復調過程と、
   前記復調過程において得られる復調結果信号と所定のシンボルを示す変調信号との相互相関係数を算出し、この相互相関係数の算出結果に基づいて、キャリア信号に埋め込まれた電子透かし情報を示すシンボルを判定する電子透かし情報抽出過程と
   を実行させることを特徴とするコンピュータプログラム。

Images