JP2000358194A - 画像合成装置、方法及びプログラムを記憶した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 システムの実装メモリに比べて非常に大きい
画像ファイル同士で画像合成を行う場合、特に超高精細
画像同士での画像処理を行う場合にも、データバッファ
の大きさに関わらず画像合成処理を容易に実行可能とす
る。 【解決手段】 データ管理部１０２は、ファイル保存部
１１０に保存された画像合成対象となる複数の画像デー
タの各縮小画像を作成してデータバッファ１０３に格納
する。次に、各縮小画像の重複領域を抽出し、抽出され
た重複領域に基づいて各縮小画像の仮の位置合わせを行
うことにより、前記重複領域とその周辺領域に関する情
報を算出する。画像処理部１０１は、前記算出された情
報に基づいて各画像データを正確に合成して１枚の画像
を作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、非常に大きな画像
ファイル同士の合成処理を行う場合、特に超高精細画像
同士でのモザイク合成処理を行う場合に用いて好適な画
像合成装置、方法及びプログラムを記憶した記憶媒体に
関する。

【０００２】

【従来の技術】従来の画像合成装置の一例としては、デ
ジタルカメラ製品に付属するソフトウェア製品としてＰ
ｈｏｔｏＳｔｉｔｃｈ（キヤノン株式会社）などのソフ
トウェアが知られている。また、特開平９−３２２０５
９号公報には、オーバーラップ部分を有する複数枚の画
像をパノラマ合成して１枚の画像を作成する、即ち、画
像処理分野におけるモザイク合成処理を行う装置が記載
されている。

【０００３】この従来の画像合成装置は、図８に示すよ
うに、主としてアプリケーションソフトウェアと、オペ
レーティングシステムと、ハードウェアとから構成され
ている。このような構成を有する従来の画像合成装置は
次のように動作する。

【０００４】画像合成の実際の処理では、まず、カメラ
からあるいはファイルシステムから画像データをアプリ
ケーションソフト内の画像データ管理システム部に読み
込み、読み込まれた画像データに付属する属性情報など
により合成対象となる画像データを特定する。この特定
された複数枚の画像データを対象に、合成処理を実行す
る。合成のための処理としては、まず、手動あるいは自
動で重ね合わせ位置を指定した後、対応点抽出処理、合
成パラメータ算出を行い、実際の合成処理を行う。

【０００５】前記公報においては、２枚の画像の場合に
ついて合成処理の流れが図９のように示されている。即
ち、合成の対象となる画像の組をアプリケーションソフ
ト内に読み込み、合成画像領域を、合成対象の画像の２
倍の大きさで確保し、順次、合成対象の画像を合成画像
領域に座標変換しながらコピーすることによって行う。
合成対象となる画像が増えた場合には、同様に合成対象
分の画像及びその合計分のサイズを持つ合成画像領域を
アプリケーションソフトウェア内に確保して合成を実行
することになる。

【０００６】

【発明が解決しようとする課題】しかしながら、前記従
来例においては、以下のような問題点がある。アプリケ
ーションソフトウェア内に全ての画像の領域を確保する
ことから、入力画像の一枚の大きさが非常に大きい場
合、又は合成対象となる画像の枚数が多い場合には、処
理対象となる画像データ量が、処理装置の備えるアプリ
ケーションソフトが確保できるメモリに比して大きくな
り、処理時間が非常にかかる、あるいは処理が不可能と
なる場合がある。

【０００７】本発明の目的は、合成の対象となる入力画
像の１枚の大きさが大きい場合、あるいは入力画像の枚
数が多い場合など、合成結果の画像が非常に大きな画像
となる場合についても、処理装置の備えるメモリの多少
に関わらず、精度よく画像合成が可能なシステムを提供
することにある。

【０００８】

【課題を解決するための手段】かかる目的を達成するた
めに、本発明による画像合成装置は、画像合成対象とな
る複数の画像データの各縮小画像を作成する作成手段
と、作成された各縮小画像の重複領域を抽出する抽出手
段と、抽出された重複領域に基づいて各縮小画像の位置
合わせを行うことにより、各画像データの位置合わせに
必要な情報を算出する算出手段と、算出された情報に基
づいて各画像データを合成して１枚の画像を作成する合
成手段とを設けたものである。

【０００９】また、本発明による画像合成方法は、画像
合成対象となる複数の画像データの各縮小画像を作成す
る作成工程と、作成された各縮小画像の重複領域を抽出
する抽出工程と、抽出された重複領域に基づいて各縮小
画像の位置合わせを行うことにより、各画像データの位
置合わせに必要な情報を算出する算出工程と、算出され
た情報に基づいて各画像データを合成して１枚の画像を
作成する合成工程とを設けたものである。

【００１０】また、本発明によるプログラムを記憶した
記憶媒体は、画像合成対象となる複数の画像データの各
縮小画像を作成する手順と、作成された各縮小画像の重
複領域を抽出する手順と、抽出された重複領域に基づい
て各縮小画像の位置合わせを行うことにより、各画像デ
ータの位置合わせに必要な情報を算出する手順と、算出
された情報に基づいて各画像データを合成して１枚の画
像を作成する手順とを実行するためのプログラムを記憶
したものである。

【００１１】また、前記合成手段は、複数の画像データ
の合計データ量が所定量を越えたとき縮小画像を作成す
るようにしてよく、その際、各縮小画像の合計データ量
が所定量以下となる縮小比率を選択して縮小画像を作成
するようにしてもよい。

【００１２】また、前記算出手段は、抽出された縮小画
像の重複領域とその周辺領域とを示す情報を算出するよ
うにしてもよい。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１は本発明の第１
の実施の形態による画像合成装置を示すブロック図であ
る。

【００１４】図１において、画像合成装置は、プログラ
ム制御により動作するコンピュータ（中央処理装置；プ
ロセッサ；データ処理装置）１００と、ファイル保存部
１１０とで構成されている。コンピュータ１００は、画
像処理部１０１とデータ管理部１０２とデータバッファ
１０３を含む。

【００１５】前記各部はそれぞれ概略次のように動作す
る。画像処理部１０１は、データバッファ１０３に読み
込まれている画像を対象に画像合成のための位置合わせ
処理を行い、位置合わせ演算のためのパラメータ算出、
及び算出したパラメータによる画素の合成処理を行う。

【００１６】データ管理部１０２は、ファイル保存部１
１０に保存されている画像データのデータバッファ１０
３への部分読み込み処理、及び間引き縮小処理を行う。

【００１７】データバッファ１０３は、画像処理部１０
１から高速にアクセス可能なデータ領域であり、画像処
理部１０１で処理する画像を蓄える。

【００１８】次に、図１及び図２のフローチャートを参
照して本実施の形態の全体の動作について詳細に説明す
る。まず、合成対象となる画像の組、即ち合成対象画像
ファイルの組を、利用者が個々のファイル名を指定する
又は設定ファイル内に一括して記述し、指定をする。デ
ータ管理部１０２は、指定された画像名をデータ管理部
内に登録する。合成対象となる画像は、それぞれ画像同
士の周辺部分の一部がオーバーラップしている画像デー
タである（図２のステップＡ１）。

【００１９】次にデータ管理部１０２は、ファイル保存
部１１０に保存されている各画像のヘッダ情報を読み取
り、各画像をメモリ上に展開した場合に必要なメモリ量
を算出し、各画像データの合計が、データバッファの大
きさを基準として予め算出した一度に処理できる画像デ
ータ量を示すしきい値よりも大きい場合には、画像デー
タ量の合計がしきい値よりも小さくなるように、画素を
一定間隔で間引き、あるいは平均値を求めることによ
り、より小さな、例えば縦横がそれぞれ１／８〜１／１
６の画像サイズの縮小画像を生成して保存する。

【００２０】その際、元の画像ファイル名及び縮小画像
のファイル名の対応、及び縮小比率などをデータ管理部
１０２内に管理情報として保存する（ステップＡ２）。
これによって生成される縮小画像の組はデータバッファ
１０３内に一括して読み込める大きさとなる。

【００２１】次に、縮小画像の組をデータバッファ１０
３内に全て読み込み、縮小画像同士で位置合わせを手
動、又は自動で行う。当該ステップでは、全ての画像を
一覧して組み合わせることで、それぞれの画像同士のど
の部分が重複しているのかを容易に確認することができ
る。縮小画像同士での位置合わせ処理は、例えば図３に
示すような画像Ａ、Ｂの場合、前記従来例の公報に示さ
れているような対応点同士を指示手段によって手動で指
定する、あるいは自動的に特徴点間の対応づけを求める
ことによって行うことができる（ステップＡ３）。

【００２２】各画像組のずれが、各画像間の並進、回
転、拡大で表せるとすると、複数の対応点の情報を使う
ことによって、例えば最小自乗法を用いて、合成のため
のパラメータを算出することができる。このパラメータ
による変換を各画像の四隅の点に適用することにより、
例えば図４（ａ）のような各縮小画像間の重複領域を算
出することができる（ステップＡ４）。

【００２３】さらに、先に縮小画像を作成する際に作成
した管理情報を用いることにより、図４（ａ）の各縮小
画像間での重複領域が、（ｂ）のように元の合成対象画
像ファイルでどの範囲に対応するかを算出することがで
きる（ステップＡ５）。

【００２４】次に、元の合成対象画像ファイル組中に含
まれる重複領域について、順次、詳細な位置合わせを処
理を行う。縮小画像で行った位置合わせ処理では、位置
合わせに用いる画像が元の合成対象の画像よりも小さい
ため、精度が低いものとなる。このため、ステップＡ５
で算出した図４（ｂ）の重複領域とその周辺領域を順に
データバッファ１０３に読み込み、正確な位置合わせを
行う。該位置合わせ処理では、画像全体の位置関係は、
縮小画像での位置合わせの段階で既知であるので、手動
の位置合わせにおいても、画像の全体の関係でなく、部
分画像内の詳細な特徴のみによって位置合わせを行って
も問題がない。この位置合わせ処理は、ステップＡ３と
同様に手動による対応点の指定、あるいは自動的に特徴
点間の対応づけを求めることによって行うことができる
（ステップＡ６）。

【００２５】さらに、ステップＡ６で行った正確な位置
合わせ処理からステップＡ４と同様に位置合わせのため
のパラメータを算出する（ステップＡ７）。最後に、全
体の合成画像作成のための領域をファイル保存部１１０
上に確保し、ステップＡ７で算出したパラメータを用い
てファイル保存部１１０上にある合成対象画像ファイル
から合成画像ファイルに順次画像データをコピーするこ
とで、最終的に合成画像を作成することができる（ステ
ップＡ８）。

【００２６】次に、重複領域とその周辺領域の算出につ
いて詳しく説明する。図５において、（ａ）での対応点
５０１が一致するように２枚の画像Ａ、Ｂを重ね合わせ
た場合が（ｂ）である。まず、対応点から求めた変換の
関数Ｆを用いて画像Ｂの四隅の点（０，０）、（ｘ０，
０）、（０，ｙ０）、（ｘ０，ｙ０）の画像Ａの座標系
における値を求める。

【００２７】次に、この領域のうち画像Ａに含まれる領
域を求める。さらに、画像Ａの座標系において、求めた
領域を含み、ｘ軸、ｙ軸に平行な辺を持つ領域を求め、
重複領域とする。縮小画像での重複領域の座標値を、デ
ータ管理部１０２で管理されている縮小比率で除算する
ことによって、元の高精細画像における重複領域の境界
を表す座標値とすることができる。

【００２８】最後にこの重複領域に対し、図５（ｂ）の
ように周囲に一定の幅を持つ領域を考え、これを周辺領
域とする。画像Ｂ内の重複領域及び周辺領域についても
同様に求めることができる。

【００２９】本実施の形態によれば、合成対象画像ファ
イルの大きさを予め調べ、データバッファ１０３内に収
まる大きさの縮小画像を予め作成し、縮小画像を用いて
位置合わせ処理を行い、重複領域及びその周辺領域だけ
を順次読み込み、詳細な位置合わせ及び合成処理を行う
ように構成したので、合成の対象となる入力画像の１枚
の大きさが大きい場合、あるいは入力画像の枚数が多い
場合など、合成結果の画像が非常に大きな画像となる場
合についても、処理装置の備えるメモリの多少に関わら
ず画像合成を行うことができる効果がある。

【００３０】次に、本発明の第２の実施の形態について
説明する。本実施の形態では、図６に示すように、プロ
グラム制御により動作するコンピュータ（中央処理装
置；プロセッサ；データ処理装置）１００と、ファイル
保存部１１０から構成されている。

【００３１】コンピュータ１００は、画像処理部１０１
と階層データ管理部１０４とデータバッファ１０３を含
む。これらの各部の動作は階層データ管理部１０４を除
き、第１の実施の形態の場合と同様である。

【００３２】階層データ管理部１０４は、概略以下のよ
うに動作する。画像データが指定されると、画像データ
の階層的な縮小画像を作成し、該階層情報を管理する。
また、必要に応じて適切な階層の部分画像をデータバッ
ファに読み込む。

【００３３】次に、図６及び図７のフローチャートを参
照して本実施の形態の全体の動作について説明する。ま
ず、合成対象となる画像の組、即ち合成対象画像ファイ
ルの組を、利用者が個々のファイル名を指定する、又は
設定ファイル内に一括して記述して指定する。階層デー
タ管理部１０２は、指定された画像名を階層データ管理
部内に登録する。合成対象となる画像は、それぞれ画像
同士の周辺部分の一部がオーバーラップしている画像デ
ータである（図７のステップＢ１）。

【００３４】次に階層データ管理部１０２は、ファイル
保存部１１０に保存されている各画像のヘッダ情報を読
み取り、各画像をメモリ上に展開した場合に必要なメモ
リ量を算出し、各画像データの合計が、データバッファ
の大きさを基準として予め算出した一度に処理できる画
像データ量を示すしきい値よりも大きい場合には、各画
像を縦横それぞれ１／２に縮小した画像を作成し、この
縮小画像をファイル保存部１１０に保存する。さらに、
この縮小画像の画像データ量がまだしきい値を越える場
合には、さらに縦横１／２に縮小する。これを画像デー
タの量がしきい値以下になるまで繰り返す。その際、元
の画像ファイル名及び階層的な縮小画像のファイル名の
対応をデータ管理部内に管理情報として保存する（ステ
ップＢ２）。

【００３５】これによって生成される最下位の縮小画像
の組は、データバッファ１０３内に一括して読み込める
大きさとなる。次に、最下位の縮小画像組をデータバッ
ファ１０３内に全て読み込み、縮小画像同士で位置合わ
せを手動、又は自動で行う。このステップでは、全ての
画像を一覧して組み合わせることで、それぞれの画像同
士のどの部分が重複しているのかを容易に確認すること
ができる。領域縮小画像同士での位置合わせ処理、及び
位置合わせパラメータ、重複領域の算出は第１の実施の
形態の場合と同様に、手動又は自動で行うことができる
（ステップＢ３、ステップＢ４）。

【００３６】さらに、先に縮小画像を作成する際に作成
した管理情報を用いることにより、各縮小画像の一つ上
位、即ち縦横２倍の大きさを持つ画像同士間での重複領
域を算出することができる（ステップＢ５）。

【００３７】次に、一つ上位の階層の縮小画像に含まれ
る重複領域について、順次、詳細な位置合わせを処理を
行う。下位の縮小画像で行った位置合わせ処理では、位
置合わせに用いる画像が小さいため、精度が低いものと
なる。このため、ステップＢ５で算出した重複領域とそ
の周辺領域を順にデータバッファ１０３に読み込み、正
確な位置合わせを行う。この位置合わせ処理はステップ
Ｂ３と同様に手動による対応点の指定、あるいは自動的
に特徴点間の対応づけを求めることによって行うことが
できる。第１の実施の形態で１／８〜１／１６に縮小し
た縮小画像でパラメータを求め、重複領域を求めた場合
に比べて、誤差の範囲は狭く想定することができ、周辺
領域の幅は小さくすることができる。（ステップＢ
６）。

【００３８】当該詳細位置合わせ処理は、縮小画像同士
の位置合わせ処理によって、範囲が限定されているた
め、元の合成対象画像ファイル全体をデータバッファに
読み込む必要はない。また、画像全体の位置関係は、縮
小画像での位置合わせの段階で既知であるので、手動の
位置合わせにおいても、画像の全体の関係でなく、画像
内の詳細な特徴のみによって位置合わせを行っても問題
がない。

【００３９】さらに、ステップＢ６で行った詳細な位置
合わせ処理からステップＢ４と同様に位置合わせのため
のパラメータを算出する（ステップＢ７）。

【００４０】該ステップＢ６及びステップＢ７の位置合
わせ処理を順に最上位の階層、即ち元の高精細な画像の
位置合わせを行うまで行う。

【００４１】最後に、全体の合成画像作成のための領域
をファイル保存部１１０上に確保し、ステップＢ７で算
出したパラメータを用いてファイル保存部１１０上にあ
る合成対象画像ファイルから合成画像ファイルに順次画
像データをコピーすることで、最終的に合成画像を作成
することができる（ステップＢ８）。

【００４２】本実施の形態によれば、第１の実施の形態
による効果が得られると共に、階層的な縮小画像を予め
作成し、段階的に位置合わせ処理を行うように構成した
ので、データバッファ１０３の容量を常に効率よく使用
することができる。

【００４３】尚、前記第１、第２の実施の形態を、コン
ピュータ１００を用いて構成する場合、このコンピュー
タシステムで用いるＲＯＭ等のメモリは本発明による記
憶媒体を構成することになる。この記憶媒体には、図
２、図７のフローチャートで説明した動作を行うための
手順を実行するプログラムが記憶される。当該記憶媒体
としては、半導体記憶装置、光ディスク、光磁気ディス
ク、磁気記録媒体等が用いられる。

【００４４】

【発明の効果】以上説明したように、本発明によれば、
予め合成対象となる複数の入力画像の縮小画像を作成
し、それらの仮の位置合わせを行うことにより、画像デ
ータの合成処理に必要な情報を求め、この情報を用いて
画像データの正規の位置合わせを行って合成処理を行う
ようにしたので、合成処理に必要なメモリ容量を削減す
ることができる。

【００４５】特に、合成の対象となる入力画像の一枚の
大きさが大きい場合、あるいは入力画像の枚数が多いな
ど、合成結果の画像が非常に大きな画像となる場合につ
いても、処理装置の備えるメモリの多少に関わらず画像
合成が可能なシステムを提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。

【図２】第１の実施の形態の動作を示すフローチャート
である。

【図３】第１の実施の形態の対応点の指定を行う画面の
例を示す構成図である。

【図４】第１の実施の形態の縮小画像と元の高精細画像
での重複領域の関係を示す構成図である。

【図５】第１の実施の形態の重複領域、周辺領域の説明
する構成図である。

【図６】本発明の第２の実施の形態の構成を示すプロッ
ク図である。

【図７】第２の実施の形態の動作を示すフローチャート
図である。

【図８】従来の画像合成装置のシステム構成を示すブロ
ック図である。

【図９】従来の画像合成装置の動作を示すフローチャー
ト図である。

【符号の説明】

１００ コンピュータ（中央処理装置；プロセッサ；デ
ータ処理装置） １０１ 画像処理部 １０２ データ管理部 １０３ データバッファ １０４ 階層データ管理部 １１０ ファイル保存部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像合成対象となる複数の画像データの
   各縮小画像を作成する作成手段と、 前記作成された各縮小画像の重複領域を抽出する抽出手
   段と、 前記抽出された重複領域に基づいて各縮小画像の位置合
   わせを行うことにより、各画像データの位置合わせに必
   要な情報を算出する算出手段と、 前記算出された情報に基づいて各画像データを合成して
   １枚の画像を作成する合成手段とを設けたことを特徴と
   する画像合成装置。
2. 【請求項２】 前記合成手段は、前記複数の画像データ
   の合計データ量が所定量を越えたとき縮小画像を作成す
   ることを特徴とする請求項１記載の画像合成装置。
3. 【請求項３】 前記合成手段は、各縮小画像の合計デー
   タ量が前記所定量以下となる縮小比率を選択して縮小画
   像を作成することを特徴とする請求項２記載の画像合成
   装置。
4. 【請求項４】 前記算出手段は、前記抽出された縮小画
   像の重複領域とその周辺領域とを示す情報を算出するこ
   とを特徴とする請求項１記載の画像合成装置。
5. 【請求項５】 画像合成対象となる複数の画像データの
   各縮小画像を作成する作成工程と、 前記作成された各縮小画像の重複領域を抽出する抽出工
   程と、 前記抽出された重複領域に基づいて各縮小画像の位置合
   わせを行うことにより、各画像データの位置合わせに必
   要な情報を算出する算出工程と、 前記算出された情報に基づいて各画像データを合成して
   １枚の画像を作成する合成工程とを設けたことを特徴と
   する画像合成方法。
6. 【請求項６】 画像合成対象となる複数の画像データの
   各縮小画像を作成する手順と、 前記作成された各縮小画像の重複領域を抽出する手順
   と、 前記抽出された重複領域に基づいて各縮小画像の位置合
   わせを行うことにより、各画像データの位置合わせに必
   要な情報を算出する手順と、 前記算出された情報に基づいて各画像データを合成して
   １枚の画像を作成する手順とを実行するためのプログラ
   ムを記憶した記憶媒体。