JP3780102B2 - Mosaic image generation method - Google Patents

Description

ステップＳ７０６ではＰ回演算された二乗平均の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルが選択される。
【００１５】
Ｓ７０７では第一の画像のすべてのタイルについてその処理が行われたかどうかを判断し、未処理のタイルがあれば、Ｓ７０４に戻り処理を続ける。すべてのタイルについて処理が終わっていれば、終了する。
上記実施形態１により、各タイルに最適な画像の抽出が可能となる。しかしながら、実施形態１では、素材画像の枚数Ｐは一般に第二の画像を構成するために必要とする、色・テクスチャの種類が用意できるだけの十分大きな数であることを前提としているが、実際にはあらかじめ膨大な量の画像を用意することは困難であり、少数の素材画像を用いるしかなかった。そのため、構成される第二の画像のモザイク画としての画質が悪いという問題があった。この課題を以下に示す実施形態２または３、４により解決する。
【００１６】
［実施形態２］
図１は実施形態２に係る、モザイク画像構成方法を実現するハードウエア構成図である。１０１はＣＰＵ、１０２はメモリ、１０３はハードディスク、１０４はキーボードおよびマウスである。１０５はディスプレイ、１０６はネットワークインタフェース、１０７はＤＶＤ−ＲＯＭドライブ、１０８はスキャナ、１０９はビデオキャプチャカード、１１０はネットワークを介して接続されているデータベース、１１１はバスである。
【００１７】
ＣＰＵ１０１は上記構成の制御を行う。メモリ１０２は本手法を実現するソフトウエアの実行モジュールあるいは画像データをハードディスク１０３からロードする。キーボード、マウスはユーザインタフェースを通じて、プログラムの制御を行う。ディスプレイ１０５は、第一の画像、第二の画像、素材画像の表示を行う。ビデオキャプチャカード１０９は不図示のビデオプレイヤー、テレビチューナあるいはＤＶＤプレイヤーと接続され、ビデオインタフェースから入力されるビデオ信号をビデオキャプチャカード上のメモリに一時記録し、その後必要に応じて圧縮し、ハードディスク１０３に順次蓄積する。
【００１８】
またＤＶＤ−ＲＯＭに記録された映像を取り込むために、ＤＶＤ−ＲＯＭドライブ１０７を利用することも可能である。
ビデオキャプチャカード１０９に対し、プログラムインタフェースを通じて、コマンドを発行することで、入力されたビデオ信号から静止画像データをメモリ上に取り込む。このコマンドを一定間隔で発行することによって、あらたな静止画が順次ハードディスクに記録される。
【００１９】
図５は一定間隔で動画のキャプチャを行うフローチャートである。
ステップＳ５０１でタイマ変数Ｔｍをある値ＩＮＴにセットする。ステップＳ５０２ではＴＭから１を引く。ステップＳ５０３ではＴＭが０かどうかを判断し、０の場合はＳ５０４でビデオキャプチャのコマンドを発行する。Ｓ５０３でＴＭが０でない場合はＳ５０２に戻り処理を続ける。ステップＳ５０４で入力されたビデオ信号から静止画像データをキャプチャした後、ステップＳ５０５ではハードディスクに記録する。ステップＳ５０６では終了指示の有無を確認し、終了指示が出されていなければ（Ｓ５０６−Ｎｏ）、ステップＳ５０１に戻り処理を続ける。この処理でキャプチャされた静止画像データはモザイクを構成する素材画像として使用される。
【００２０】
ステップＳ５０６で終了指示がでていたら（Ｓ５０６−Ｙｅｓ）終了する。なお、終了指示は不図示のフローにおいて、キーボードあるいはマウス入力によって行われる。
次にモザイク画像の構成方法について図２を用いて説明する。
ステップＳ２０１、Ｓ２０２は実施形態１のＳ７０１、Ｓ７０２（図７）と同様の処理を行う。ステップＳ２０１では第一の画像を図８のごとくＭ×Ｎ個のタイル領域に分割する。
【００２１】
図８においてＸ，Ｙはそれぞれ第一の画像６０１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。従って、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、実施形態としては必ずしもその必要はない。
【００２２】
ステップＳ２０２ではＳ２０１で分割したＭ×Ｎ個の各タイルについて、第１の特徴量を計算する。モザイク画像を構成するためには、第一の画像を分割したタイル領域の画像と、そのタイルを模して貼り付ける素材画像とがある共通の評価基準のもとで似ている必要がある。
ここで、第１の特徴量とは、第一の画像を分割した個々のタイルの特徴量をある一定の方法で算出したものである。特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第１の特徴量は（８）から（１０）式により求めることができる。
【００２３】
Ｒd-av＝{１／（ｐ・ｑ）}・ΣＲi …（８）
Ｇd-av＝{１／（ｐ・ｑ）}・ΣＧi …（９）
Ｂd-av＝{１／（ｐ・ｑ）}・ΣＢi …（１０）
Ｒi，Ｇi，Ｂiはタイル領域を構成する画素単位の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各刺激値成分を示す。
【００２４】
ステップＳ２０３では素材画像の枚数を計数し、その結果を素材画像枚数のパラメータＰに代入する。素材画像は図５で示したように、所定のタイミングでビデオキャプチャカード１０９によってビデオ信号から取り込まれた静止画像であり、キャプチャを継続して静止画像を取り込むことで、時間とともにハードディスク１０３内の素材画像数は増加する。ステップＳ２０３でキャプチャされた静止画像（素材画像になる）に対して第２の特徴量を設定算出するために以下のステップＳ２０４〜Ｓ２０７の処理を行う。
【００２５】
ステップＳ２０４では、Ｐ枚の素材画像について第２の特徴量を算出する。第２の特徴量とは、ステップＳ２０２で使った特徴量と同じである。特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第２の特徴量は以下の式で得る。
Ｒs-av＝{１／（ｐ・ｑ）}・ΣＲi …（１１）
Ｇs-av＝{１／（ｐ・ｑ）}・ΣＧi …（１２）
Ｂs-av＝{１／（ｐ・ｑ）}・ΣＢｉ …（１３）
ステップＳ２０５ではＭ×Ｎ個のタイルの中から処理対象とするタイルを一つ選択する。例として画像に向かって左上から右端まで処理し、順次下まで処理する場合、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を共に０に初期化する。
【００２６】
タイル領域に分割された画像は２次元の行列ＴＬ（Ｘ、Ｙ）として表現され、位置を示すカウンタ（Ｘ−Ｐｏｓ、Ｙ−Ｐｏｓ）を制御変数としてループを構成することで、分割されたタイル領域の画像を順次選択することができる。
ステップＳ２０６では処理対象のタイル領域の画像の第１の特徴量とＰ枚の素材画像のそれぞれの第２の特徴量とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としてはＲ，Ｇ，Ｂ平均輝度値の二乗平均があげられ、（１４）式で算出される。Ｒ，Ｇ、Ｂ平均輝度値はそれぞれ（８）〜（１３）式に基づき求められたデータである。
【００２７】

（１４）式の二乗平均は、選択されたタイル領域の画像１枚に対して、各素材画像枚数について演算されることになる。従って、素材画像枚数がＰ枚のときは、タイル画像１枚に対してＰ回の二乗平均演算が行われる。
【００２８】
ステップ２０７ではＰ回演算された二乗平均の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルとする。
ステップＳ２０８では第一の画像のすべてのタイル画像についてその処理が行われたかどうかを判断し、未処理のタイル画像があれば、ステップＳ２０５に戻り処理を続ける。 すべてのタイルについて処理が終わっていれば、ステップＳ２０９に進む。ステップＳ２０９では、キーボード１０４から終了指示があるかどうかを判断し、終了指示がある場合は終了する。それ以外の場合はＳ２０３に戻り、処理を続ける。
【００２９】
［実施形態２の効果］
動画像を静止画として所定のタイミングで取り込み、素材画像として蓄積する。素材画像と、第一の画像を分割したタイル画像との特徴量を比較し誤差の二乗平均が最小となる素材画像が選択される。常時膨大な素材データを保存していなくても、第一の画像と相関性の高い動画データから静止画像を捕捉し、素材画像とすることにより、特徴量誤差を最小化したモザイク画像の構成が可能となる。
【００３０】
素材画像は静止画の捕捉を所定のタイミングで、継続して行うことで比較対象母数として増やすことが可能であり、新たに追加された素材画像との特徴量比較を行い、更に誤差を最小とする素材が選択される。このプロセスを継続することで漸次モザイク画像の画質が向上する。
［実施形態３］
次に実施形態３について説明する。
【００３１】
ハードウエア構成は図１に示した実施形態２と同じであり、また、動画から素材画像を生成するフローは図５と同じであるので説明は省略する。
モザイク画像の構成方法について図３を用いて説明する。
ステップＳ３０１は第一の画像を図８のごとくＭ×Ｎ個のタイルに分割する。図８において、Ｘ，Ｙはそれぞれ第一の画像６０１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、実施形態としては必ずしもその必要はない。
【００３２】
ステップＳ３０２ではＳ３０１で分割したＭ×Ｎ個の各タイルについて、第１の特徴量を計算する。モザイク画像を構成するためには、第一の画像を分割したタイルと、そのタイルを模して貼り付ける素材画像とがある評価基準のもとで似ている必要がある。第１の特徴量とは、第一の画像を分割した個々のタイルの特徴量をある一定の方法で算出したものである。たとえば、特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第１の特徴量は
Ｒd-av＝{１／（ｐ・ｑ）}・ΣＲi …（１５）
Ｇd-av＝{１／（ｐ・ｑ）}・ΣＧi …（１６）
Ｂd-av＝{１／（ｐ・ｑ）}・ΣＢi …（１７）
によって算出される。
【００３３】
ステップＳ３０３で処理済み素材画像リストＬａをクリアする。処理済み素材画像リストＬａとは素材画像のインデックスを記録したデータテーブルである。ステップＳ３０４で素材画像リストＬｂを作成する。素材画像リストＬｂは素材画像のインデックスを記録したデータテーブルであり、ハードディスク１０３をスキャンし、そこに格納された素材画像のインデックスが記録される。素材画像は図５で示したように、前記ビデオキャプチャカード１０９によってビデオ信号から取り込まれた静止画像であり、連続して取り込むことで時間とともにハードディスク１０３内の画像数は増加する。
【００３４】
ステップＳ３０５は前記素材画像リストＬｂから、処理済み素材画像リストＬａに含まれるものを差し引いて未処理素材画像リストＬｃを作成する。Ｌｃ中の未処理の素材画像の個数をＰｃとする。
ステップＳ３０６では、未処理素材画像リストＬｃ中の素材画像Ｐｃ枚について第２の特徴量を算出する。第２の特徴量とは、ステップＳ３０２で使った特徴量と同じものである。特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第２の特徴量は以下の式で求められる。
【００３５】
Ｒs-av＝{１／（ｐ・ｑ）}・ΣＲi …（１８）
Ｇs-av＝{１／（ｐ・ｑ）}・ΣＧi …（１９）
Ｂs-av＝{１／（ｐ・ｑ）}・ΣＢｉ …（２０）
ステップＳ３０７ではＭ×Ｎ個のタイルの中から処理対象とするタイルを一つ選択する。例として画像に向かって左上から右端まで処理し、順次下まで処理する場合、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を共に０に初期化する。
【００３６】
タイル領域に分割された画像は２次元の行列ＴＬ（Ｘ、Ｙ）として表現され、位置を示すカウンタ（Ｘ−Ｐｏｓ、Ｙ−Ｐｏｓ）を制御変数としてループを構成することで、分割されたタイル領域の画像を順次選択することができる。
ステップＳ３０８では処理対象のタイルの第１の特徴量と未処理素材画像リストＬｃ中の素材画像Ｐｃ枚のそれぞれの第２の特徴量とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としてはＲ，Ｇ，Ｂ平均輝度値の二乗平均があげられ、（２１）式で算出される。Ｒ，Ｇ、Ｂ平均輝度値はそれぞれ（１５）〜（２０）式に基づき求められたデータである。
【００３７】

（２１）式の二乗平均は、選択されたタイル領域の画像１枚に対して、各素材画像枚数について演算されることになる。従って、素材画像枚数がＰｃ枚のときは、タイル画像１枚に対してＰｃ回の二乗平均演算が行われる。
【００３８】
ステップ３０９ではＰｃ回の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルとする。
ステップＳ３１０では第一の画像のすべてのタイル領域の画像についてその処理が行われたかどうかを判断し、未処理のタイル画像があれば、ステップＳ３０７に戻り処理を続ける。すべてのタイルについて処理が終わっていればステップＳ３１１に進む。
【００３９】
ステップＳ３１１では処理済みリストＬａに処理済みとなった素材画像リストＬｃを加える。あるいは、処理済みリストＬａに素材リストＬｂを代入しても同じ結果が得られる。
ステップＳ３１２では、キーボード１０４から終了指示があるかどうかを判断し、終了指示がある場合は終了する。それ以外の場合はステップＳ３０４に戻り処理を続ける。
【００４０】
［実施形態３の効果］
タイル画像と素材画像との特徴量比較のための演算処理は、新たに追加となった未処理の素材画像の個数のみに限定できるので処理速度の向上が可能となる。
［実施形態４］
次に実施形態４について説明する。
【００４１】
ハードウエア構成は図１に示した実施形態２と同じであり、また、動画から素材画像を生成するフローは図５と同じであるので説明は省略する。
次にモザイク画像の構成方法について図４を用いて説明する。
ステップＳ４０１は第一の画像を図８のごとくＭ×Ｎ個のタイル領域に分割する。図８において、Ｘ，Ｙはそれぞれ第一の画像６０１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、実施形態としては必ずしもその必要はない。
【００４２】
ステップＳ４０２ではＳ４０１で分割したＭ×Ｎ個の各タイルについて、第１の特徴量を計算する。
モザイク画像を構成するためには、第一の画像を分割したタイル領域の画像と、そのタイルを模して貼り付ける素材画像とが、ある評価基準のもとで似ている必要がある。第１の特徴量とは、第一の画像を分割した個々のタイルの特徴量をある一定の方法で算出したものである。例えば、特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第１の特徴量は
Ｒd-av＝{１／（ｐ・ｑ）}・ΣＲi …（２２）
Ｇd-av＝{１／（ｐ・ｑ）}・ΣＧi …（２３）
Ｂd-av＝{１／（ｐ・ｑ）}・ΣＢi …（２４）
によって算出される。
【００４３】
ステップＳ４０３では再処理タイルリストＬｄに前記Ｓ４０１で分割したすべてのタイルのインデックスを記録する。
ステップＳ４０４では処理済み素材画像リストＬａをクリアする。処理済み素材画像リストＬａとはタイル画像との間で、特徴量比較の演算が終了した素材画像のインデックスを記録したデータテーブルである。
【００４４】
ステップＳ４０５は素材画像リストＬｂを作成する。素材画像リストＬｂは素材画像のインデックスを記録したデータテーブルであり、ハードディスク１０３をスキャンし、そこに格納された素材画像のインデックスが記録される。素材画像は図５で示したように、前記ビデオキャプチャカード１０９によってビデオ信号から取り込まれた静止画像であり、連続して取り込むことで時間とともにハードディスク１０３内の画像数は増加する。
【００４５】
ステップＳ４０６では前記素材画像リストＬｂから、処理済み素材画像リストＬａに含まれるものを差し引いて未処理素材画像リストＬｃを作成する。Ｌｃ中の素材画像の個数をＰｃとする。
ステップＳ４０７では、未処理素材画像リストＬｃ中の素材画像Ｐｃ枚について第２の特徴量を算出する。第２の特徴量とは、ステップＳ３０２で使った特徴量と同じものである。特徴量としてＲ，Ｇ，Ｂ平均輝度値を用いる場合、第２の特徴量は以下の式で求めることができる。
【００４６】
Ｒs-av＝{１／（ｐ・ｑ）}・ΣＲi …（２５）
Ｇs-av＝{１／（ｐ・ｑ）}・ΣＧi …（２６）
Ｂs-av＝{１／（ｐ・ｑ）}・ΣＢｉ …（２７）
ステップＳ４０８では再処理タイルリストＬｄのタイルの中から処理対象とするタイルを一つ選択する。初めてこの処理を行う場合は、Ｍ×Ｎ個タイルすべてが対象となる。
【００４７】
例として画像に向かって左上から右端まで処理し、順次下まで処理する場合、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を共に０に初期化する。
再処理タイルリストＬｄからタイル領域に分割された画像は２次元の行列ＴＬ（Ｘ、Ｙ）として表現され、位置を示すカウンタ（Ｘ−Ｐｏｓ、Ｙ−Ｐｏｓ）を制御変数としてループを構成することで、分割されたタイル領域の画像を順次選択することができる。
【００４８】
ステップＳ４０９では処理対象のタイルの第１の特徴量と未処理素材画像リストＬｃ中の素材画像Ｐｃ枚のそれぞれの第２の特徴量とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としてはＲ，Ｇ，Ｂ輝度の二乗平均があげられ、（２８）式により求めることができる。

（２８）式の二乗平均は、選択されたタイル領域の画像１枚に対して、各素材画像枚数について演算されることになる。従って、素材画像枚数がＰｃ枚のときは、タイル画像１枚に対してＰｃ回の二乗平均演算が行われる。
【００４９】
ステップ４１０ではＰｃ回の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルとする。
ステップＳ４１１ではＳ４１０での評価結果△Ｅがあらかじめ与えられた誤差基準値ＥrrorThより小さいかどうか判定する。結果が真であった場合（ＥrrorThより小さい場合）はステップＳ４１２に進み、現在処理中のタイル画像インデックスを再処理タイルリストＬｄから削除する。結果が偽であった場合（ＥrrorThより大きい場合）はそのままステップＳ４１４に進む。
【００５０】
ステップＳ４１４は再処理タイルリストＬｄ中のすべてのタイルについてその処理が行われたかどうかを判断し、未処理のタイルがあれば、Ｓ４０８に戻り処理を続ける。すべてのタイルについて処理が終わっていればステップＳ４１５に進む。
ステップＳ４１５では処理済みリストＬａに新たに処理済みとなったリストＬｃ分を加える。あるいは、処理済みリストＬａに素材リストＬｂを代入しても同じ結果が得られる。
【００５１】
ステップＳ４１６では、キーボード１０４から終了指示があるかどうかを判断し、終了指示がある場合は終了する。それ以外の場合はＳ４０５に戻りさらに処理を続行する。
［実施形態４の効果］
所定の誤差基準値を設け、この基準値を満足する素材の決定したタイル画像を、特徴量比較の対象から除外することで、再処理タイルリスト中のタイルの個数のみに限定できるので、演算回数を更に削減でき処理速度の向上が図れる。
【００５２】
【他の実施形態】
なお、本発明にかかるモザイク構成方法は、複数の画像形成機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００５３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明にかかるモザイク画像構成方法を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図９のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
すなわち、少なくとも「素材画像追加モジュール９０１」「分割モジュール９０２」および「第１特徴量算出モジュール９０３」「素材画像計数モジュール９０４」「第２特徴量算出モジュール９０５」「素材選択評価モジュール９０６」「最適画像選択モジュール９０７」「継続判断モジュール９０８」「未処理素材画像リスト作成モジュール９０９」「再処理タイルリスト作成モジュール９１０」「誤差基準判定モジュール９１１」の各モジュールのプログラムコードを記憶媒体に格納すればよい。
【００５８】
【発明の効果】
本発明によれば、ユーザの所望の処理時間に応じた、視覚的に自然なモザイク画像の生成方法、及びコンピュータにより読み取り可能な記録媒体を提供することが出来る。
【図面の簡単な説明】
【図１】ハードウエア構成を示す図である。
【図２】実施形態２を説明するフローチャートである。
【図３】実施形態３を説明するフローチャートである。
【図４】実施形態２を説明するフローチャートである。
【図５】動画の捕捉を説明するフローチャートである。
【図６】モザイク画像の構成を説明する第一の画像、第二の画像、素材画像を示す図である。
【図７】モザイク画像構成を説明するフローチャートである。
【図８】第一の画像をタイル画像に分割した図である。
【図９】記録媒体のメモリマップを示す図である。
【符号の説明】
１０１ ＣＰＵ
１０２ メモリ
１０３ ハードディスク
１０４ 入力装置（キーボード、マウス）
１０５ モニタ
１０６ ネットワークインタフェース
１０７ ＤＶＤ−ＲＯＭ
１０８ スキャナ
１０９ レーザプリンタ[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to generation of a mosaic image.
[0002]
[Prior art]
Traditional mosaics have been widely known as “a combination of stones, glass, marble, etc. of various colors, which are inlaid into floors and walls, and designed, or its technique” (Sanseido Contemporary Language Dictionary). . Using this technique, it is possible to combine a large number of photographic images to form a design or a single photographic image.
[0003]
[Problems to be solved by the invention]
  However, when an image imitating a certain image is formed using this mosaic technique, the formation of an image that favorably reflects the image has not been sufficiently studied. The present invention has been made in view of such points,Depending on the user's desired processing time,Visually natural mosaic imageGenerationIt is an object to provide a method and a computer-readable recording medium.
[0004]
[Means for Solving the Problems]
  In order to solve the above problems, a mosaic image according to the present invention is used.GenerationThe method isAn accumulation process of capturing a still image from a video at a preset timing and accumulating it in a memory as a material image;
A dividing step of dividing the target image into a plurality of tile areas;
A first calculation step of calculating a first feature amount for each of the plurality of tile regions;
A list step of creating a material image list by scanning the memory;
A second calculation step of calculating a second feature amount for each of a plurality of material images corresponding to the material image list;
A selection step of selecting a material image corresponding to each tile region from the plurality of material images for each of the plurality of tile regions using the first feature amount and the second feature amount;
A determination step of determining whether or not to end the mosaic image generation process in response to a user instruction;
In the determination step, if it is determined that the process does not end, the memory is scanned again in the list step, and the material image list is updated.
In the second calculation step, a second feature amount is calculated for each of the material images corresponding to the updated material image list,
In the selection step, using the second feature amount of the material image corresponding to the updated material image list, information processing for reselecting the material image for the tile area is performed,
The number of material images stored in the memory increases over time by continuously capturing still images from the video,
The material image list is updated by scanning a memory in which the number of accumulated material images is increasing.It is characterized by that.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
[Embodiment 1]
The first embodiment will be described below with reference to the drawings. FIG. 6 illustrates the relationship between a plurality of types of images used in the mosaic method. In FIG. 6, a first image 601 is a design or image that becomes a base when an image is constructed using a mosaic technique. The second image 602 is an image configured using a plurality of small images by a mosaic method. The second image is composed of a combination of M × N material images. The material image 603 is an image used to construct the second image 602. The number P of material images is generally large enough to prepare the types of colors and textures necessary for constructing the second image. Here, in order to simplify the explanation, the P material images have the same size as the tile, that is, p × q. However, this is not necessarily the same, and all the P images need to be the same size. There is no. In that case, it is necessary to convert the size of the material image to the tile size when pasting on the corresponding tile portion.
[0010]
Next, the image construction method will be described with reference to FIG.
In step S701, the first image is divided into M × N tiles. As a result of the division, as shown in FIG. 8, the first image has M × N rectangular tiles TL (0,0), TL (1,0), TL (2,0)... TL (2,4 ), TL (3, 4). In FIG. 8, X and Y are the numbers of pixels in the horizontal direction and the vertical direction of the first image 2001, respectively. p and q are the numbers of pixels in the horizontal and vertical directions of each tile. Therefore, the relationship X = p × M, Y = q × N is established. Here, for simplification of explanation, the sizes of the tiles are all equal, but this is not necessarily required in the embodiment.
[0011]
In step S702 of FIG. 7, the first feature amount is calculated for each of the M × N tiles divided in step S701. In order to construct a mosaic image, it is necessary that the tile obtained by dividing the first image and the material image to be pasted by imitating the tile are similar under a certain evaluation criterion.
The first feature amount is obtained by calculating the feature amount of each tile obtained by dividing the first image by a certain method. For example, when the average luminance value of R, G, and B is used as the feature amount, the first feature amount is calculated based on the following equations (1) to (3).
[0012]
Rd-av = {1 / (p · q)} · ΣR i (1)
Gd-av = {1 / (p · q)} · ΣG i (2)
Bd-av = {1 / (p · q)} · ΣB i (3)
In step S703, a second feature amount is calculated for P material images. The second feature amount is the same as the feature amount used in S702. When the average luminance values of R, G, and B are used as the feature amount, the second feature amount is calculated based on the equations (4) to (6).
[0013]
Rs-av = {1 / (p · q)} · ΣR i (4)
Gs-av = {1 / (p · q)} · ΣG i (5)
Bs-av = {1 / (p · q)} · ΣBi (6)
In step S704, one tile to be processed is selected from the M × N tiles. As an example, when processing from the upper left to the right end toward the image, and sequentially processing from the bottom to the bottom, counters X-Pos (0 ≦ X-Pos ≦ M−1) and Y-Pos (0 ≦ Y-Pos) indicating the position of the tile ≦ N−1) are both initialized to 0.
[0014]
In step S2105, the first feature value of the tile to be processed and the second feature value of each of the P material images are evaluated by the evaluation function f (). An example of the evaluation function f () is the root mean square of R, G, and B luminances (Equation (7)).

In step S706, a material image having the smallest value is selected from the result of the mean square evaluation function calculated P times, and a tile to be pasted on the second image is selected.
[0015]
In S707, it is determined whether all tiles of the first image have been processed. If there is an unprocessed tile, the process returns to S704 and continues. If all tiles have been processed, the process ends.
According to the first embodiment, it is possible to extract an image optimal for each tile. However, in the first embodiment, it is assumed that the number P of material images is generally large enough to prepare the types of colors and textures necessary for constructing the second image. However, it was difficult to prepare a huge amount of images in advance, and only a small number of material images were used. For this reason, there is a problem that the image quality of the second image to be constructed is poor as a mosaic image. This problem is solved by the second, third, and fourth embodiments described below.
[0016]
[Embodiment 2]
FIG. 1 is a hardware configuration diagram for realizing a mosaic image configuration method according to the second embodiment. Reference numeral 101 denotes a CPU, 102 denotes a memory, 103 denotes a hard disk, and 104 denotes a keyboard and a mouse. Reference numeral 105 denotes a display, 106 denotes a network interface, 107 denotes a DVD-ROM drive, 108 denotes a scanner, 109 denotes a video capture card, 110 denotes a database connected via a network, and 111 denotes a bus.
[0017]
The CPU 101 controls the above configuration. The memory 102 loads a software execution module or image data for realizing this method from the hard disk 103. The keyboard and mouse control the program through the user interface. The display 105 displays the first image, the second image, and the material image. The video capture card 109 is connected to a video player, a TV tuner, or a DVD player (not shown). The video signal input from the video interface is temporarily recorded in a memory on the video capture card, and then compressed as necessary. Sequentially accumulate.
[0018]
It is also possible to use a DVD-ROM drive 107 to capture video recorded on a DVD-ROM.
By issuing a command to the video capture card 109 through a program interface, still image data is captured from the input video signal into the memory. By issuing this command at regular intervals, new still images are sequentially recorded on the hard disk.
[0019]
FIG. 5 is a flowchart for capturing moving images at regular intervals.
In step S501, the timer variable Tm is set to a certain value INT. In step S502, 1 is subtracted from TM. In step S503, it is determined whether TM is 0. If it is 0, a video capture command is issued in S504. If TM is not 0 in S503, the process returns to S502 and continues. After capturing still image data from the video signal input in step S504, it is recorded on the hard disk in step S505. In step S506, the presence / absence of an end instruction is confirmed. If no end instruction has been issued (S506-No), the process returns to step S501 and continues. The still image data captured by this processing is used as a material image constituting the mosaic.
[0020]
If an end instruction is issued in step S506 (S506-Yes), the process ends. Note that the end instruction is given by keyboard or mouse input in a flow (not shown).
Next, a method for constructing a mosaic image will be described with reference to FIG.
Steps S201 and S202 perform the same processing as S701 and S702 (FIG. 7) of the first embodiment. In step S201, the first image is divided into M × N tile areas as shown in FIG.
[0021]
In FIG. 8, X and Y are the numbers of pixels of the first image 601 in the horizontal and vertical directions, respectively. p and q are the numbers of pixels in the horizontal and vertical directions of each tile. Therefore, the relationships X = p × M and Y = q × N are established. Here, for simplification of explanation, the sizes of the tiles are all equal, but this is not necessarily required in the embodiment.
[0022]
In step S202, a first feature amount is calculated for each of the M × N tiles divided in step S201. In order to construct a mosaic image, it is necessary to resemble an image of a tile area obtained by dividing the first image and a material image to be imitated with the tile under a common evaluation criterion.
Here, the first feature amount is obtained by calculating the feature amount of each tile obtained by dividing the first image by a certain method. When the average luminance value of R, G, B is used as the feature quantity, the first feature quantity can be obtained from the equations (8) to (10).
[0023]
Rd-av = {1 / (p · q)} · ΣR i (8)
Gd-av = {1 / (p · q)} · ΣG i (9)
Bd-av = {1 / (p · q)} · ΣB i (10)
Ri, Gi, and Bi indicate red (R), green (G), and blue (B) stimulus value components in pixel units that constitute the tile area.
[0024]
In step S203, the number of material images is counted, and the result is substituted into the parameter P for the number of material images. As shown in FIG. 5, the material image is a still image captured from the video signal by the video capture card 109 at a predetermined timing, and the material in the hard disk 103 is captured over time by continuously capturing still images. The number of images increases. In order to set and calculate the second feature amount for the still image (which becomes a material image) captured in step S203, the following steps S204 to S207 are performed.
[0025]
In step S204, a second feature amount is calculated for P material images. The second feature amount is the same as the feature amount used in step S202. When the average luminance value of R, G, B is used as the feature amount, the second feature amount is obtained by the following equation.
Rs-av = {1 / (p · q)} · ΣR i (11)
Gs-av = {1 / (p · q)} · ΣG i (12)
Bs-av = {1 / (p · q)} · ΣBi (13)
In step S205, one tile to be processed is selected from the M × N tiles. As an example, when processing from the upper left to the right end toward the image, and sequentially processing from the bottom to the bottom, counters X-Pos (0 ≦ X-Pos ≦ M−1) and Y-Pos (0 ≦ Y-Pos) indicating the position of the tile ≦ N−1) are both initialized to 0.
[0026]
An image divided into tile areas is expressed as a two-dimensional matrix TL (X, Y), and a tile is formed by configuring a loop using counters (X-Pos, Y-Pos) indicating positions as control variables. The images in the area can be selected sequentially.
In step S206, the first feature value of the image of the tile area to be processed and the second feature value of each of the P material images are evaluated by the evaluation function f (). An example of the evaluation function f () is a mean square of R, G, B average luminance values, and is calculated by the equation (14). The R, G, and B average luminance values are data obtained based on the equations (8) to (13), respectively.
[0027]

The root mean square of equation (14) is calculated for each number of material images for one image of the selected tile area. Therefore, when the number of material images is P, P times of the mean square calculation are performed on one tile image.
[0028]
In step 207, a material image having the smallest value is selected from the result of the evaluation function of the mean square calculated P times, and the tile is pasted into the second image.
In step S208, it is determined whether all tile images of the first image have been processed. If there is an unprocessed tile image, the process returns to step S205 and continues. If all tiles have been processed, the process proceeds to step S209. In step S209, it is determined whether there is an end instruction from the keyboard 104. If there is an end instruction, the process ends. In other cases, the process returns to S203 to continue the processing.
[0029]
[Effect of Embodiment 2]
A moving image is captured as a still image at a predetermined timing and stored as a material image. The feature amount of the material image and the tile image obtained by dividing the first image are compared, and the material image that minimizes the mean square of the error is selected. Even if a large amount of material data is not always stored, a still image is captured from moving image data highly correlated with the first image and used as a material image, so that a mosaic image configuration with minimized feature error can be obtained. It becomes possible.
[0030]
The material image can be increased as a comparison target parameter by continuously capturing still images at a predetermined timing, and feature quantities are compared with newly added material images to minimize errors. The material to be selected is selected. By continuing this process, the image quality of the mosaic image is gradually improved.
[Embodiment 3]
Next, Embodiment 3 will be described.
[0031]
The hardware configuration is the same as that of the second embodiment shown in FIG. 1, and the flow for generating a material image from a moving image is the same as that in FIG.
A method for constructing a mosaic image will be described with reference to FIG.
In step S301, the first image is divided into M × N tiles as shown in FIG. In FIG. 8, X and Y are the numbers of pixels of the first image 601 in the horizontal direction and the vertical direction, respectively. p and q are the numbers of pixels in the horizontal and vertical directions of each tile. Therefore, the relationship X = p × M, Y = q × N is established. Here, in order to simplify the description, the sizes of the tiles are all equal, but this is not necessarily required in the embodiment.
[0032]
In step S302, the first feature amount is calculated for each of the M × N tiles divided in step S301. In order to construct a mosaic image, it is necessary that the tile obtained by dividing the first image and the material image to be pasted by imitating the tile are similar under a certain evaluation criterion. The first feature amount is obtained by calculating the feature amount of each tile obtained by dividing the first image by a certain method. For example, when the average luminance values of R, G, and B are used as feature amounts,
Rd-av = {1 / (p · q)} · ΣR i (15)
Gd-av = {1 / (p · q)} · ΣG i (16)
Bd-av = {1 / (p · q)} · ΣB i (17)
Is calculated by
[0033]
In step S303, the processed material image list La is cleared. The processed material image list La is a data table in which an index of material images is recorded. In step S304, the material image list Lb is created. The material image list Lb is a data table that records material image indexes, scans the hard disk 103, and records material image indexes stored therein. As shown in FIG. 5, the material image is a still image captured from the video signal by the video capture card 109. By continuously capturing the material image, the number of images in the hard disk 103 increases with time.
[0034]
In step S305, an unprocessed material image list Lc is created by subtracting those included in the processed material image list La from the material image list Lb. Let Pc be the number of unprocessed material images in Lc.
In step S306, the second feature amount is calculated for the material images Pc in the unprocessed material image list Lc. The second feature amount is the same as the feature amount used in step S302. When the average luminance value of R, G, B is used as the feature amount, the second feature amount is obtained by the following equation.
[0035]
Rs-av = {1 / (p · q)} · ΣR i (18)
Gs-av = {1 / (p · q)} · ΣG i (19)
Bs-av = {1 / (p · q)} · ΣBi (20)
In step S307, one tile to be processed is selected from the M × N tiles. As an example, when processing from the upper left to the right end toward the image, and sequentially processing from the bottom to the bottom, counters X-Pos (0 ≦ X-Pos ≦ M−1) and Y-Pos (0 ≦ Y-Pos) indicating the position of the tile ≦ N−1) are both initialized to 0.
[0036]
The image divided into tile regions is expressed as a two-dimensional matrix TL (X, Y), and the divided tiles are configured by forming a loop with counters (X-Pos, Y-Pos) indicating positions as control variables. The images in the area can be selected sequentially.
In step S308, the first feature value of the tile to be processed and the second feature value of each of the material images Pc in the unprocessed material image list Lc are evaluated by the evaluation function f (). An example of the evaluation function f () is a mean square of R, G, B average luminance values, and is calculated by the equation (21). The R, G, and B average luminance values are data obtained based on the equations (15) to (20), respectively.
[0037]

The root mean square of equation (21) is calculated for each number of material images for one image of the selected tile area. Therefore, when the number of material images is Pc, Pc times of the mean square calculation are performed on one tile image.
[0038]
In step 309, the material image with the smallest value is selected from the results of the evaluation function of Pc times, and the tile is pasted into the second image.
In step S310, it is determined whether or not the processing has been performed for all the tile area images of the first image. If there is an unprocessed tile image, the process returns to step S307 and the processing is continued. If all tiles have been processed, the process proceeds to step S311.
[0039]
In step S311, the processed material image list Lc is added to the processed list La. Alternatively, the same result can be obtained by substituting the material list Lb into the processed list La.
In step S312, it is determined whether there is an end instruction from the keyboard 104. If there is an end instruction, the process ends. Otherwise, the process returns to step S304 and continues.
[0040]
[Effect of Embodiment 3]
Since the arithmetic processing for comparing the feature amount between the tile image and the material image can be limited to the number of newly added unprocessed material images, the processing speed can be improved.
[Embodiment 4]
Next, a fourth embodiment will be described.
[0041]
The hardware configuration is the same as that of the second embodiment shown in FIG. 1, and the flow for generating a material image from a moving image is the same as that in FIG.
Next, a method for constructing a mosaic image will be described with reference to FIG.
In step S401, the first image is divided into M × N tile areas as shown in FIG. In FIG. 8, X and Y are the numbers of pixels of the first image 601 in the horizontal direction and the vertical direction, respectively. p and q are the numbers of pixels in the horizontal and vertical directions of each tile. Therefore, the relationship X = p × M, Y = q × N is established. Here, for simplification of explanation, the sizes of the tiles are all equal, but this is not necessarily required in the embodiment.
[0042]
In step S402, a first feature amount is calculated for each of the M × N tiles divided in step S401.
In order to construct a mosaic image, an image of a tile area obtained by dividing the first image and a material image to be imitated with the tile need to be similar under a certain evaluation criterion. The first feature amount is obtained by calculating the feature amount of each tile obtained by dividing the first image by a certain method. For example, when the average luminance value of R, G, and B is used as the feature amount, the first feature amount is
Rd-av = {1 / (p · q)} · ΣR i (22)
Gd-av = {1 / (p · q)} · ΣG i (23)
Bd-av = {1 / (p · q)} · ΣB i (24)
Is calculated by
[0043]
In step S403, the indexes of all tiles divided in S401 are recorded in the reprocessed tile list Ld.
In step S404, the processed material image list La is cleared. The processed material image list La is a data table in which indexes of material images for which feature amount comparison calculation has been completed between tile images are recorded.
[0044]
In step S405, a material image list Lb is created. The material image list Lb is a data table that records material image indexes, scans the hard disk 103, and records material image indexes stored therein. As shown in FIG. 5, the material image is a still image captured from the video signal by the video capture card 109. By continuously capturing the material image, the number of images in the hard disk 103 increases with time.
[0045]
In step S406, an unprocessed material image list Lc is created by subtracting those included in the processed material image list La from the material image list Lb. Let Pc be the number of material images in Lc.
In step S407, the second feature amount is calculated for the material images Pc in the unprocessed material image list Lc. The second feature amount is the same as the feature amount used in step S302. When the R, G, B average luminance value is used as the feature amount, the second feature amount can be obtained by the following equation.
[0046]
Rs-av = {1 / (p · q)} · ΣR i (25)
Gs-av = {1 / (p · q)} · ΣG i (26)
Bs-av = {1 / (p · q)} · ΣBi (27)
In step S408, one tile to be processed is selected from the tiles in the reprocessing tile list Ld. When this process is performed for the first time, all M × N tiles are targeted.
[0047]
As an example, when processing from the upper left to the right end toward the image, and sequentially processing from the bottom to the bottom, counters X-Pos (0 ≦ X-Pos ≦ M−1) and Y-Pos (0 ≦ Y-Pos) indicating the position of the tile ≦ N−1) are both initialized to 0.
An image divided into tile areas from the reprocessed tile list Ld is expressed as a two-dimensional matrix TL (X, Y), and a loop is formed with counters (X-Pos, Y-Pos) indicating positions as control variables. Thus, the images of the divided tile areas can be sequentially selected.
[0048]
In step S409, the first feature value of the tile to be processed and the second feature value of each of the material images Pc in the unprocessed material image list Lc are evaluated by the evaluation function f (). An example of the evaluation function f () is the mean square of R, G, and B luminances, which can be obtained from equation (28).

The root mean square of equation (28) is calculated for each number of material images for one image of the selected tile area. Therefore, when the number of material images is Pc, Pc times of the mean square calculation are performed on one tile image.
[0049]
In step 410, the material image having the smallest value is selected from the results of the Pc evaluation function, and the tile is pasted into the second image.
In step S411, it is determined whether the evaluation result ΔE in S410 is smaller than a predetermined error reference value ErrorTh. If the result is true (smaller than ErrorTh), the process advances to step S412 to delete the currently processed tile image index from the reprocessed tile list Ld. If the result is false (larger than ErrorThr), the process proceeds to step S414 as it is.
[0050]
In step S414, it is determined whether all tiles in the reprocessed tile list Ld have been processed. If there is an unprocessed tile, the process returns to S408 and continues. If the processing has been completed for all tiles, the process proceeds to step S415.
In step S415, the newly processed list Lc is added to the processed list La. Alternatively, the same result can be obtained by substituting the material list Lb into the processed list La.
[0051]
In step S416, it is determined whether there is an end instruction from the keyboard 104. If there is an end instruction, the process ends. In other cases, the process returns to S405 to continue the processing.
[Effect of Embodiment 4]
By setting a predetermined error reference value and excluding the tile images for which the material satisfying this reference value has been determined, the number of operations can be limited to the number of tiles in the reprocessed tile list. Can be further reduced and the processing speed can be improved.
[0052]
[Other Embodiments]
Note that the mosaic configuration method according to the present invention can be applied to a system including a plurality of image forming devices (for example, a host computer, an interface device, a reader, a printer, etc.). The present invention may be applied to a copying machine, a facsimile machine, etc.
[0053]
Another object of the present invention is to supply a storage medium storing software program codes for implementing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in the.
[0054]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the mosaic image forming method according to the present invention.
As a storage medium for supplying the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0055]
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0056]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0057]
When the present invention is applied to the above-mentioned storage medium, the program code corresponding to the above-described flowchart is stored in the storage medium. In brief, each module shown in the memory map example of FIG. Is stored in a storage medium.
That is, at least “material image addition module 901”, “division module 902”, “first feature quantity calculation module 903”, “material image count module 904”, “second feature quantity calculation module 905”, “material selection evaluation module 906”, “optimum” If the program codes of each of the image selection module 907, the continuation determination module 908, the unprocessed material image list creation module 909, the reprocessed tile list creation module 910, and the error criterion determination module 911 are stored in a storage medium Good.
[0058]
【The invention's effect】
  According to the present invention, it is possible to provide a visually natural mosaic image generation method and a computer-readable recording medium according to a user's desired processing time.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a hardware configuration.
FIG. 2 is a flowchart illustrating a second embodiment.
FIG. 3 is a flowchart for explaining a third embodiment;
FIG. 4 is a flowchart illustrating the second embodiment.
FIG. 5 is a flowchart for explaining capturing of a moving image.
FIG. 6 is a diagram illustrating a first image, a second image, and a material image for explaining a configuration of a mosaic image.
FIG. 7 is a flowchart illustrating a mosaic image configuration.
FIG. 8 is a diagram in which a first image is divided into tile images.
FIG. 9 is a diagram illustrating a memory map of a recording medium.
[Explanation of symbols]
101 CPU
102 memory
103 hard disk
104 Input devices (keyboard, mouse)
105 Monitor
106 Network interface
107 DVD-ROM
108 Scanner
109 Laser printer

Claims (5)

An accumulation process of capturing a still image from a video at a preset timing and accumulating it in a memory as a material image;
A dividing step of dividing the target image into a plurality of tile areas;
A first calculation step of calculating a first feature amount for each of the plurality of tile regions;
A list step of creating a material image list by scanning the memory;
A second calculation step of calculating a second feature amount for each of a plurality of material images corresponding to the material image list;
A selection step of selecting a material image corresponding to each tile region from the plurality of material images for each of the plurality of tile regions using the first feature amount and the second feature amount;
A determination step of determining whether or not to end the mosaic image generation process in response to a user instruction;
In the determination step, if it is determined that the process does not end, the memory is scanned again in the list step, and the material image list is updated.
In the second calculation step, a second feature amount is calculated for each of the material images corresponding to the updated material image list,
In the selection step, using the second feature amount of the material image corresponding to the updated material image list, information processing for reselecting the material image for the tile area is performed,
The number of material images stored in the memory increases over time by continuously capturing still images from the video,
The mosaic image generating method, wherein the material image list is updated by scanning a memory in which the number of accumulated material images is increasing . The mosaic image generating method according to claim 1 , wherein the list step updates the material image list so that the material image selected in the selection step is not included in the material image list . The selection step does not reselect the material image for a tile area in which a difference between the first feature value and the second feature value is equal to or less than a preset value. 2. A method for generating a mosaic image according to 1. The selecting step selects a material image that minimizes a sum of squares of differences between the first feature amount and the second feature amount for each of the plurality of tile regions. The method for generating a mosaic image according to claim 1. A computer-readable recording medium having recorded thereon a program for causing a computer to execute the mosaic image generating method according to claim 1 .

Images