JP2002514359A

JP2002514359A - Method and apparatus for creating a mosaic image

Info

Publication number: JP2002514359A
Application number: JP50633998A
Authority: JP
Inventors: ペレグ，シュミュエル; ハーマン，ジョシュア，ランディ; ディクソン，ダグラス，エフ．; バート，ピーター，ジェフリー; バーゲン，ジェイムス，ラッセル; ゲンデル，ゲイリー，エー．; クマール，ラケシュ; ソーニー，ハープレト，シン; ブリル，マイケル，ヘンリー
Original assignee: サーノフコーポレイション
Priority date: 1996-07-17
Filing date: 1997-07-17
Publication date: 2002-05-14
Also published as: ES2258795T3; DE69735488T2; EP0979487A4; US6075905A; CA2261128A1; KR20000023784A; WO1998002844A1; EP0979487B1; DE69735488D1; EP0979487A1

Abstract

(57)【要約】ソース画像を選択するステップ、ソース画像を整列させるステップ、ソース・セグメントを選択するステップ、画像を改善するステップ、及び画像をマージして画像モザイクを形成するステップを含む画像モザイクの作成方法が開示される。ソース画像を選択する手段（１０２）、ソース画像を整列させる手段（１０３）、ソース画像のセグメントを選択する手段（１０４）、画像を改善する手段（１０５）、及び画像をマージして画像モザイクを形成する手段（１０６）を含む画像モザイク作成装置も開示される。プロセスはシステムによって自動的に実行されるか、人間の操作員によって対話的に導かれてよい。アプリケーションはビデオ・カメラ及びディジタル・カメラの画像から写真品質の印刷物を作ることを含む。 (57) An image mosaic comprising the steps of selecting a source image, aligning the source image, selecting a source segment, improving the image, and merging the images to form an image mosaic. Is disclosed. Means for selecting a source image (102), means for aligning the source image (103), means for selecting a segment of the source image (104), means for improving the image (105), and merging the images to form an image mosaic. An image mosaic creation device including means for forming (106) is also disclosed. The process may be performed automatically by the system or may be guided interactively by a human operator. Applications include making photographic quality prints from images from video and digital cameras.

Description

【発明の詳細な説明】モザイク画像を作成する方法及び装置発明の背景本出願は１９９６年７月１７日に出願された仮出願第６０／０２１，９２５号に基づく非仮出願である。本発明は複数のソース画像からモザイク画像を作成する方法及び装置に関する。ビデオ及びディジタル・カメラは比較的に低解像度の画像を提供し、限られた視界をカバーする。低解像度及び限られた視界の問題の双方は、幾つかの画像を拡張された両像モザイクに結合することによって克服することができる。モザイクは、カメラの動きを補償するために画像の集合を整列させ、各画像よりもはるかに広い視界をカバーする１つの画像を作るためにそれらをマージすることによって、ソース画像の集合から作ることができる。モザイク作成の２つの主なステップは、画像の整列と、整列させられた画像を大きくて継ぎ目のないモザイク画像にマージすることである。現在、モザイク作成用の画像整列方法及びシステムは、種々のものが存在する。モザイク画像は長年にわたって衛星及び宇宙プローブ画像から作成されてきた。これらの場合、画像を整列させるための適切なパラメータは、カメラ視野方向の入念な測定から知られるか、オーバラップした画像領域内で対応する点を手作業で指定することによって決定された。カメラ方向の入念な測定を使用する方法は、例えば、エル・マクミラン及びジー・ビショップによるＳＩＧＧＲＡＰＨ９５の「プレノプティック・モデリング：画像に基づくレンダリング・システム」（PlenoptiAc Modeling:An Image-Based Rendering System"，L.McMillan and G.Bishop，SIGGRAPH 95）に説明されている。このアプローチでは、画像はカメラから取られ、カメラの動きは高度に制御され、光学中心の周りを完全に円回転する。作成されたモザイクは画像を円筒形像面に投射することによって作られ、従って完全な円を単一の平面像の上でモザイク処理することに関連するであろう歪みが避けられる。更に一般的には、整列は、オーバラップした画像のパターンを正確な整列にもってくる画像変換（例えば、平行移動、回転、拡大縮小）を自動的に見いだす画像処理テクニックを介して達成される。両像処理に基づく方法は、１９９４年１１月１４日に出願された「モザイクに基づく画像処理システム」（Mosaic Based Image Processing System）と題する米国特許出願第０８／３３９，４９１号、及び１９９５年６月２２日に出願された「視差に基づくテクニックを使用した画像結合方法及びシステム」（Method and System for Image Combination Using A Parallaz-Based Technique）と題する米国特許出願第０８／４９３，６３２号に説明されている。これらの各々は本明細書に援用されている。現在、これらの画像処理方法を使用してビデオからリアルタイムでモザイクを作成することのできるシステムが存在する。そのようなシステムは、１９９６年の「ＳＰＩＥ第２７３６巻：高度総合ビジョン１９９６」の１１９〜１２７ページに掲載されたピー・バート、エム・ハンセン、及びピー・アナンダンによる「ビデオ・モザイク・ディスプレイ」("Video Mosaic Displays"，P.Burt,M.Hanse n，and P．Anandan，SPIE Volume 2736:Enhanced and Synthetic Vision 1996， pp 119-127，1996）、及び１９９４年１１月の「ＡＲＢＡ画像理解ワークショップ」（ARPA Image Understanding Workshop）４５７〜４６５ページに掲載されたエム・ハンセン、ピー・アナンダン、ケー・ダーナ、ジー・ファン・デル・ワール、及びピー・バート（M.Hansen，P．Anandan，K.Dana，G,van der Wal.and P.Burt）による「リアルタイム・シーン安定及びモザイク作成」（Real-time sc ene stabilization and mosaic construction）に説明されている。ソース画像を継ぎ目のないモザイクにマージするためには、各種の画像処理方法が現在存在する。最も単純な方法は、２つの画像がオーバラップするゾーン内で２つの画像の重みづけられた平均を計算することによって１つの画像を他の画像の中にディジタル的にフェザリングする。この方法は、ソース画像がオーバラップ領域の全体にわたって正確に整列されていないと二重画像となり、２つの画像が平均強度、色、又はコントラストのような特性で著しく異なっているときは、目に見えるぼんやりした継ぎ目を生じる。継ぎ目を避けるために画像をマージするもっと一般的な方法は、画像ピラミッドを使用して画像を多くの異なったスケールで同時にマージすることである。この方法は、１９８３年１０月の「グラフィックスのＡＣＭ会報」第２巻、第４号、２１７〜２３６ページ（バート）に記載さたれピー・ジェイ・バート及びイー・エッチ・アーデルソンによる「画像モザイクへの応用を有する多解像度スプライン」（"A Multiresolution Spline W ith Applications to Image Mosaaics"，P.J．Burt and E.H．Adelson，ACM Tra nsactions of graphics,Vol.2,No.4,October 1983，pp．217-236(Burt I)）に最初に説明されている。更に、所望のモザイク領域のある部分をカバーするため、モザイク作成中のマージ・ステップが、ソース画像の不足によって残されるモザイク中の穴を充填することも望まれる。多解像度ピラミッド画像処理フレームワークを使用してモザイク中の穴を充填する方法は、１９８８年の「ＩＣＢＲ」、３００〜３０２ページに記載されたピー・ジェイ・バートによる「モーメント画像、多項式適合フィルタ、及び表面内挿の問題」（Moment Images，polynomial fit filters，and t he problem of surface interpolation，P.J．Burt，ICPR 1988,pp.300-302）に説明されている。更に、モザイク作成で使用される画像マージ方法は、画像の改善をもたらす場合がある。例えば、画像の「ノイズ」はソース画像を単純に平均することによってオーバラップ・ゾーン内で低減することができる。もしあるソース画像が他のソース画像よりも良好な品質を有するか、シーン中の物体表現が他のソース画像よりも明瞭であれば、非線形法を使用して各ソース画像から「最良の」情報を選択することができる。例えば、そのような方法が、１９９３年の「ＩＣＣＶ」の２４２〜２４６ページに掲載されたピー・ジェイ・バート及びアール・コルチンスキーによる「融合による改善された画像捕獲」（Enhanced image capture throu gh fusion，P.J．Burt and R．Kolczynski，ICCV 1993,pp242-246）に説明されている。複数のソース画像は、オーバラップ領域内で画像の解像度を改善するような方法で結合されてよい。そのような方法は、１９９３年１２月の「映像通信及び画像表現」第４巻、３２４〜３３５ページに発表されたエム・イラーニ及びエス・ペーレーグによる「画像改善のための動き分析：解像度、オクルージョン、及び透過性」（"Motion Analysis for Image Enhancement:Resolution，Occlusion， and Transparency"，M．Irani and S.Peleg，Vision Communications and Image Representation Vol.4,December 1993,pp.324-335）に記載されている。モザイクを作成するこれら既存の方法は、本発明によって提供される幾つかの能力を欠いている。すなわち、・モザイク中で使用される最良の全体的整列を得るため、すべてのソース画像を同時に整列させる効果的画像処理手段。現行の方法は単に画像の対を整列させるものである。例えば、一連のビデオ・フレームからモザイクを作成する場合、各画像はシーケンス中の前の画像に対して整列させられる。小さな整列誤差が累積されて、シーケンス中で大きく隔てられた時間では、オーバラップ画像フレームの不良な整列を生じる可能性がある。・最良の全体的モザイクを得るため、すべてのソース画像をマージする効果的画像処理手段。現行の方法は、一時に２つだけの画像をマージするものである。多くの画像から構成されるモザイクは、一時に１つの新しい画像にマージすることによって作成される。この方法は最良の全体的品質を与えない場合があり、不必要な計算を伴う場合がある。・露光特性が劇的に異なるソース画像をマージする効果的画像処理手段。・モザイクに入れられる各ソース画像の領域を、オーバラップ領域から自動的に選択する効果的画像処理手段。・商用及びコンシューマ・アプリケーションにとって実用的なシステム実装。発明の概要本発明はソース画像を選択するステップ、ソース画像を整列させるステップ、ソース画像のセグメントを選択するステップ、画像を向上するステップ、画像モザイクを形成するために画像をマージするステップを含む画像モザイクの作成方法である。更に、本発明はソース画像を選択する手段、ソース画像を整列させる手段、ソース画像のセグメントを選択する手段、画像を向上する手段、画像モザイクを形成するために画像をマージする手段を含む画像モザイクの作成装置である。図面の簡単な説明本発明の教示は、添付の図面と組み合わせて次の詳細な説明を検討することによって容易に理解することができる。図面において、図１は全体的システムのブロック図であり、図２はソース画像の選択を示す流れ図である。図３Ａは例示的な画像整列方法を示すフローチャートの図である。図３Ｂは図３Ａに示した整列プロセスの説明に有用な画像の図である。図４は領域選択を示す画像の図である。図５は画像の向上プロセスを示す流れ図である。図６は画像マージング用のピラミッド構成を示すデータ構造の図である。図７は本発明の実施形態の説明に有用なブロック図である。図８は図７に示した前端整列プロセスとしての使用に適したプロセスのフローチャートの図である。図９は図７に示した前端整列プロセスの説明に有用なシステムによって処理される画像を示す図である。図１０Ａ及び図１０Ｂは図７に示した前端整列プロセスの動作の説明に有用な画像の図である。図１１Ａは図８に示した相関プロセスとしての使用に適したプロセスのフローチャートの図である。図１１Ｂは図１１Ａに示した相関プロセスの動作の説明に許容領域のグラフである。図１２は図７に示した後端整列プロセスの説明に有用な両像の図である。図１３は図７に示したブロック図の使用に適した第１の代替的後端整列プロセスを説明するのに有用な画像の図である。図１４は図７に示したブロック図での使用に適した第２の代替的後端整列プロセスを説明するのに有用な画像の図である。図１５は図７に示した後端整列プロセスとしての使用に適したプロセスのフローチャートの図である。理解を容易にするため、複数の図に共通した同一要素を示すためには可能な限り同一の参照番号を使用した。詳細な説明本発明は複数のソース画像から１つのモザイク画像を作成する装置及び方法に関する。本発明は、比較的低品質のソース画像から広い視界をもつ高品質の画像を得る実用的な方法を提供する。この能力は、ビデオ・カメラ又はディジタル・カメラが写真品質の印刷物を提供するために使用される、消費者及びプロの「写真撮影」で重要な用途を有することができる。更に、それは表示されるビデオの品質を改善するために使用することができる。モザイク画像を形成する概略的プロセスを図１に示す。これは画像のソース１０１、一連の処理ステップ１０２〜１０６、及びモザイク出力手段１０８を含む。更に、人間の操作員が処理ステップの結果を見て、選択されたステップを対話的に制御するオプションの手段１０９が存在する。両像のソース１０１モザイク作成プロセスは一組のソース画像から始まる。これらは各種の画像センサ（例えば、ビデオ・カメラ、ディジタル静止カメラ、及び画像スキャナー）から来る「ライブ」の両像、各種の記憶メディア（例えば、ビデオ・テープ（ＶＣＲ）、コンピュータ・ファイル）から来る画像、合成的に発生された画像（例えば、コンピュータ・グラフィックス）、及び処理された画像（例えば、前に作成されたモザイク）を含んでよい。モザイク作成プロセスは５つの基本的ステップを含む。ステップ１：ソース画像の選択１０２１つのモザイクに結合される一組の画像は利用可能なソース画像から選択される。これは手作業又は自動的に行われてよい。選択プロセスは、モザイクの意図された領域及び内容をカバーする一組の良好な品質の画像を発見する。モザイクが一連のビデオ・フレームから構築されるとき、この選択ステップはモザイクに含まれる最初及び最後のフレームを指示することを含んでよい。この選択は、すべての中間フレームが使用されるべきことを示す。スタート・フレーム及びストップ・フレームは、カメラの系統的掃引動作を開始又は停止し、次に動作がシステムにより自動的に検出される場合のように、ビデオ・カメラそれ自体の制御を介して選択されてよい。モザイクがスナップショットのコレクションから構築されるとき、ユーザが各ソース画像を対話的に選択するのが望ましいかも知れない。更に、ソースの選択は、より大きい画像から部分画像を切り取ることを含んでよい。例えば、ユーザは１つのソース画像内の人物の写真を切り取り、それをモザイクの他の画像内の新しい場所にマージしてよい。ステップ２：画像の整列１０３選択されたソース画像は、それぞれが隣接画像の対応する部分と整合するように、相互に整列されるのが望ましい。整列は幾何学的変換又は「ワーピング」を発見することを伴う。ワーピングは、選択された画像のすべてに適用された後、それら画像を共通の座標系に配置する。幾何学的変換は通常は一組のパラメータに関して定義される。これらはシフト、回転、拡張、射影、高次多項式、又は一般的フロー（例えば、各サンプル点で異なった組のパラメータを伴う区分的多項式）であってよい。ワーピング・テクニックは、１９９６年４月１８日に出願された「計算的に効率的なディジタル画像のワーピング」（Computationally Effi cient Digital Image Warping）と題する米国仮特許出願第６０／０１５，５７７号に開示されている。この出願は本明細書に援用されている。整列はユーザ・インタフェース１０９を介して対話的に行うことができるが、それは対応する点をユーザに指示させ、次にこれらの点を整合させる（又は、ある最小誤差基準に従って最も近似的に整合させる）変換パラメータを発見するか、変換パラメータを対話的に指定する（例えば、マウス又は他のポインティング・デバイスを用いて）ことによって行われる。更に、整列は隣接画像の間で最良(match)を与えるワープ・パラメータを決定する各種の画像処理方法によって自動的に行うことができる。整列は手作業ステップと自動的ステップを結合してよい。例えば、操作員は手作業で画像を粗い整列状態にし、次に自動プロセスを呼び出して、正確な整列状態にするためにワープ・パラメータをリファインメントしてよい。整列プロセスはソース画像選択プロセス１０２と相互に作用してよい。整列は、オーバラップの程度に関する情報、そしてビデオの場合には、カメラ移動の速度に関する情報を提供する。画像のオーバラップがあまりに大きければ画像を廃棄してもよく、又はオーバラップの程度があまりに小さければ新しい画像を付け加えてもよい。カメラの移動があまりに大きければ画像を廃棄してもよく、従ってモーション・ブラーを生じるかも知れない。カメラ移動の突発的変化は、モザイク作成に使用されるビデオ・シーケンスの意図された開始及び停止を知らせるために使用されてよい。本発明はすべてのフレームを同時に考慮する画像整列方法を与える。２つの画像の間のある誤差関数を最小にすることによって２つの画像を整列させる従来の整列アプローチではなく、ここに開示されるアプローチは、画像のオーバラップする対の間のすべての誤差の合計である誤差関数を最小にすることによって、すべての画像を同時に整列させる方法、又は画像の部分集合を整列させる方法を提案する。ステップ３：領域の選択１０４オーバラップして整列させられたソース画像の部分領域が、モザイクに入れるために選択される。選択プロセスはモザイクの領域を部分領域に効果的に区分し、各部分領域が各ソース画像から取られたモザイクの一部分を表すようにする。選択は手作業又は自動的になされてよい。手作業による選択は、マウスのようなポインティング・デバイスを用いて隣接するオーバラップ画像の表示の上で境界線を引くことによって、ユーザ・インタフェース１０９を介して対話的になされてよい。自動的選択は、場所（例えば、各ソース画像の中心までの距離）又は品質（例えば、解像度又はモーション・ブラー）に基づいて隣接画像の間で適切なカット線を発見する。もっと一般的な選択アプローチでは、あるオーバラップ部分は平均的又はパターン選択的融合により結合されてよい。ステップ４．画像の向上１０５個々の画像は、それらのコントラスト又は尖鋭度を改善するか、これらの特性を調整してそれらの隣接画像の対応する特性と同じになるようにするため、マージングの前に更に処理されてよい。向上は強度、色、及びフィルタの操作に基づく。これら操作のパラメータは手作業又は自動的に決定されてよい。ステップ５．マージング１０６このステップでは、選択されたソース画像が単一のモザイクに結合される。これは、継ぎ目又は他のマージ処理アーティファクトのない単一画像のように見える結果を生じる方法でなされるのが望ましい。各ソースの選択された領域からモザイクに画素をコピーするだけでは、概して満足すべき結果を生じない。コントラスト、解像度、又はカラーのような特性が実質的に異なる隣接セグメントの間の境界は、モザイクで可視的継ぎ目として現れる。画像を結合する方法は、フェザリング、多解像度マージング、平均化、及び融合を含む。整列が良好で、隣接画像が同じ特性を有するならば、フェザリングは満足できるものである。多解像度マージングは複数解像度レベルの画像をピラミッド／ウェーブレット画像変換領域で結合する。これは広い範囲の条件で可視的継ぎ目を除去するのに有効である。平均化は、オーバラップ領域内のソース画像が同等の品質であり正確に整列されているとき、信号対雑音比を改善する手段として適切である。画像の融合は、選択が各場所、スケール、及び方向におけるソース画像の間で行われる多解像度マージング方法の一般化である。ソース画像が所望のモザイクの全領域をカバーしない場合は度々起こる。モザイク内には、どのようなソース画像によってもカバーされない穴が存在するか、マージされたソース画像の周りには、所望のモザイク境界に延長されない領域が存在するかも知れない。これらの領域はブランクのまま残されるか（例えば、黒のような統一色を割り当てられる）、それらが目立たないような方法で充填されてよい。後者の効果は多解像度の内挿及び外挿によって達成されるか、ソース画像の近くにある１つの小片から取られた画像「パッチ」又は隣接画像領域と同じに見えるように人工的に発生されたパッチを用いて多解像度マージングを行うことによって発生されてよい。ある場合には、１つの画像からの物体が他の画像によって与えられた背景の前に現れるような方法でソース画像を結合することが望ましいかも知れない。この効果は、意図された前景物体境界（例えば、人物の顔）に沿って第１の画像を注意深くカットし、次に結果の画素を他の画像に挿入することによって達成される。エッジはエイリアシング（画像のサンプリングに起因するギザギザの外観）を避けるために混合されてよく、画像は、１つのソースからの陰影が他のソース内の背景物体上に落ちるようにする更に複雑な方法によって結合されてよい。境界は手作業又は自動的に指定されてよいが、混合は自動的に行われる。ステップ６．モザイクのフォーマッティング１０７一度モザイクが完了すると、それは所望の画像フォーマットを達成するために更に編集又は処理されてよい。例えば、それは新しい座標系にワープされたり、切り取られたり、画像処理テクニックを介して向上されてよい。これらのステッブは、自動的又はユーザ・インタフェース１０９を介して手作業で実行されてよい。出力手段１０８最終的なモザイク合成画像はディスプレイ上に与えられるか、プリントされるか、コンピュータ・ファイルに記憶されてよい。更に、モザイクは、新しいモザイクの作成に使用するため、ソース画像１０１として利用に供されてよい。ユーザ・インタフェース１０９人間の操作員はユーザ・インタフェースを介してこれらの処理ステップの任意のもの又はすべてを観察及び制御してよい。通常、このインタフェースは画像表示装置、及びマウス又はライト・ペンのようなポインティング・デバイスを含む。操作員は可視ユーザ・インタフェースを介してソース画像、画像領域、及びこれら画像上の操作を指定してよい。更に、操作員はスライダ・バー又は他の現実又は仮想の「ノブ」を介して操作パラメータを制御してよい。操作員は異なった画像上で対応点を指定することによって、又は仮想ノブを使用して画面上で画像をプッシュ、ストレッチ、又は回転することによって画像の整列を手作業で援助してよい。標準のユーザ・インタフェース方法（例えば、キーボード及びポインティング・デバイス）に加えて、本発明はビデオ入力のための固有のユーザ・インタフェースを与え、ユーザが所定の動作でビデオ・カメラを動かすことによってシステム機能とインタフェースすることができるようにする。各々のそのような所定のカメラ動作はモザイク処理プロセスのある局面を制御するように解釈される。注意すべきは、モザイク作成のステップの順序は、ある場合には交換されてよく、またあるステップは省略されてよいことである。例えば、向上ステップはセグメント選択ステップの後、又は整列ステップの前、又は画像選択ステップの前に実行されることができ、又は全く実行されなくてもよい。画像の選択ソース画像選択ステップ１０２は、図２に示したステップのような追加のステップを含んでよい。ソース画像は内容、品質、及びオーバラップの程度を含む幾つかのファクタに基づいて選択されてよい。一般的には、ソース画像の選択プロセスは反復的であり、従って最初に選択されたある画像は後に廃棄されてよく、最初に選択されなかった画像が後に付け加えられてよい。内容に基づく選択２０１通常、画像内容に基づく選択は手作業で行われる。これはより大きい画像から小片をカットするステップを含んでよく、それらの小片は新しい画像に挿入されてよい。通常、そのような選択及びカットは、マウスのようなポインティング・デバイスを使用してコンピュータ・ディスプレイ上で実行される。品質に基づく選択２０２画像品質に基づく選択は手作業又は自動的になされてよい。ビデオ信号からのモザイク作成のように、非常に多くのソース画像が存在する場合、自動選択が普通に使用される。この選択プロセスは、例えば、モーション・ブラー又は不十分な露光のために劣化した画像を避けてよい。もしソース画像がビデオ・シーケンスであれば、１つのモーション・ブラーはフレーム間の画像移動を最初に測定することによって検出されてよい。ブラーの程度は、フレーム移動に比例して増加し、またフレーム間の時間の端数として、各フレームに対する露光時間に比例して増加する。フレーム間の移動は画像整列プロセス１０３によって与えられてよい。更に、露光時間はソース・ビデオと共に与えられる情報の一部分として知られてよい。露光時間及び移動の積が、画像内の画素と比較して大きい距離を表すとき、画像はブラーによって顕著に劣化する。ビデオ・シーケンスにおけるモーション・ブラーを検出する代替の方法は、画像が他の方向では鋭いが、１つの方向でブラーを有するように現れるとき、そのブラーの程度を測定することである。画像に適用された簡単なフィルタが、画像内の各画素位置でパターン配向を測定してよい（これはグラディエント・オペレータ又は配向エッジ検波器であってよい）。画像の拡張領域又は画像の全体にわたってプールされたときの結果の配向が、１つの方向に異常に密集している場合、これはモーション・ブラーを示すものと取ってよい。配向は１つの画像のクラスタリングと隣接したオーバラップ画像のクラスタリングとを比較することによって、異常に密集しているものと判断されてよい。露光品質を決定する方法は、ソース画像の一組のスペクトル周波数帯域内のエネルギーを測定してよい。異なった露光と共に得られた所与のシーンの一組の画像については、最大エネルギーを有する画像が最良露光を有する画像であるとして取られてよい。一組のスペクトル帯域内のエネルギーは、その画像のラプラシアン・ピラミッド表現の各種のレベル変動を計算することによって計算されてよい。幾つかの帯域のエネルギーが、１つの画像について、オーバラップした画像のそれと比較して低ければ、その画像は不十分な露光の可能性があるものとして拒絶されてよい。オーバラップに基づく選択２０３ソース画像のフレームは、隣接画像の間で適切な程度のオーバラップを与えるように選択されるのが望ましい。この選択プロセスは、一部はアプリケーション及びモザイク作成システムに利用可能な計算リソースに依存する。一般的には、オーバラップが大きければ、良好な品質整列及びマージングを達成するのがそれだけ簡単になる。他方、オーバラップが大きければ、所与の領域をカバーするモザイクを作成するために、それだけ多くのソース画像が必要となり、従って計算リソースのコストが大きくなる。オーバラップの程度は整列プロセス１０３によって選択システムに与えられる。画像の整列画像整列ステップは、カメラの動き及びレンズの歪みのようなファクタを補償するのが望ましい。カメラの動きはオーバラップ画像の間で単純な投影変換を導入するか、シーン内の物体の３次元分布に関連した、より複雑な視差変換を生じることができる。現在、これらのファクタに対応した整列方法が存在する。ここで、モザイク画像領域の上で２つの次元に分布される画像の集合を整列させて、各画像が隣接画像に対して上下及び左右に整列させられるようにする方法を定義する。画像の対を整列させる既存の方法は、２つの画像に適用されたとき、それら画像のオーバラップ領域上で画像一致又は整合の計算値を最大にする幾何学的変換を発見する手段を与える。クロス相関及び最小２乗誤差を含む各種の一致計算値を使用することができる。３つ以上のソース画像を同時に整列させる新しい方法は、ソース画像の各々に適用されたときにすべてのソース画像についてグローバルな最良の一致を生じる幾何学的変換を発見することによって、画像の対に使用される手順を一般化する。グローバルな最良の一致は、オーバラップするソース画像の対に対する一致計算値の適切な組み合わせとして定義される。一般的に、グローバルな最良整列を発見する仕事は計算的に困難である。新しい方法は最良グローバル整列を発見する実用的手段を導入する。図３ａはグローバル整列を発見する３ステッププロセスを示す。ステップ１：サブモザイクの順次作成３０１まず、ソース画像は順次プロセスで１つ又は複数のサブモザイクに組み立てられる。このプロセスはシード（seed）として使用される１つ又は複数のソース画像を選択することから始まる。次に、他のソース画像を一時に１つずつ付け加えることによって、各シードからモザイクが成長させられる。各々の新しい画像は既存のモザイクと対になって整列させられ、次にモザイクに組み込まれる。代替的に、それはすでにモザイク中に存在する画像の１つと整列させられ、その整列のパラメータ及びオーバラップ画像の整列が数学的に結合されて、両像をモザイク整列に整列させるパラメータが得られる。サブモザイクは、それぞれの新しいビデオ・フレームを先行するフレームに整列させることによって、通常ビデオ・シーケンスから作成される。新しいサブモザイクは、カメラの動きの方向に顕著な変化があるとき常に開始されてよい。この処理ステップは、ソース画像の全体的最良整列を与えるものではなく、対となった両像の可能な整列の部分集合に基づいて、画像の部分集合の近似的整列を与えるにすぎない。ステップ２：サブモザイクの近似的整列３０２サブモザイクは相互に粗く整列させられる。実用的システムでは、このステップは手作業で行われるか、ジャイロスコープのようなカメラ配向センサから知られる粗いカメラ配向パラメータに基づくいてなされてもよい。更に、整列はサブモザイクの対の整列に基礎を有するか、既知の画像処理整列方法を使用して隣接サブモザイク内で選択されたフレームの対に基礎を有してよい。隣接サブモザイク間の正確な整列は可能でないことが度々である。ステップ１におけるサブモザイクの対の整列は、拡張されたサブモザイクの上で小さな整列誤差の累積を生じることが可能である。結果として、各サブモザイクは隣接サブモザイクに関して幾分歪みを生じるかも知れない。ステップ３：反復的リファインメント３０３一度、すべてのソース画像の粗い全体的整列が発生されると、その整列は反復調整プロセスを介してリファインメントされる。調整は階層的に、例えば、多解像度ピラミッド画像処理フレームワーク内で実行されてよい。この方法を使用して、最初にサブモザイクの低解像度表現について調整が計算される。これは全体的モザイクの大規模整列を改善する。次に、サブモザイクはより小さなサブモザイクに分解され、これらサブモザイクのために、通常より高い画像解像度で調整が反復される。これは中規模での全体的モザイク整列を改善する。小さなサブモザイクは再び更により小さなサブモザイクに分解され、これらサブモザイクの整列が調整される。これらの分割及び整列ステップは、所望の精度及び画像解像度が達成されるまで（可能性としては個々のソース画像のレベルで）反復される。個々のフレームの調整された整列、及び小さなサブモザイクは、「ファイン−コーアス（ファイン−コーアス、fine-coarse）」手順で（ステップ２の）より大きなサブモザイクを再作成するために使用されてよい。「ファイン−コーアス」及び「コーアス−ファイン」のパスは、所望の全体的整列が得られるまで反復されてよい。発明者は、大部分の応用例に対し単一のパスで十分であることを確認した。整列を調整する方法ステップ３における整列を調整する方法は、所与のソース画像（又はサブモザイク）とその隣接オーバラップ画像（又はサブモザイク）のすべてとのグローバル整列を考慮する。オーバラップ隣接画像（サブモザイク）のすべての対に対する計算値を結合する１つの一致計算値が計算される。次に、この結合された一致計算値を最適化する幾何学的変換パラメータが発見される。グローバル整列は一時に１つの画像（サブモザイク）について実行されるか、画像（サブモザイク）のグループについて同時に実行されてよい。これらのテクニックは、それぞれ以下の方法１及び２として説明される。どちらの場合も、調整は、全体的モザイクを形成するすべての画像（サブモザイク）について、系統的に循環する。これらのステップは、次のように更に明確に定義されてよい。すなわち、Ｎ個のソース画像（又はサブモザイク）のシーケンス｛Ｉ_k｝が与えられているとき（Ｏ＜ｋ＜Ｎ−１）、オーバラップするすべての画像の対からのすべての整列誤差を加算することによって、１つのグローバル整列誤差を計算する。「整列」とは変換の集合｛Ｔ_k｝であり、その各変換Ｔ_kが画像Ｉ_kをモザイクの共通座標フレームワークにワープするものと定義する。もしＷ_kが変換Ｔ_kによってワープされた画像Ｉ_kであるとすれば、オーバラップは整列させられた画像Ｗ_m及びＷ_nのすべての対の間で計算される。そのような画像の対はＮ²個が存在する。オーバラップが存在すれば、整列誤差Ｅ_mnを計算することができる。例えば、Ｅ_mn はオーバラップ領域における画像強度の差の２乗の合計、クロス相関、又は画像整列の品質の他の任意の計算値であることができる。画像がオーバラップを有しない場合、Ｅ_mnはゼロである。従って、グローバル整列誤差ＥはＥ_mnのＮ²個の画像の対のすべてにわたる合計である。画像の対の間にオーバラップが存在しない解を避けるために、標準の方法が使用される。これらの方法は、少なくとも或る所定のオーバラップ領域又は或る所定数のオーバラップ対を有する整列のみを考慮することを含む。各々の画像対の一致の計算値は、オーバラップ領域で計算値を除算することによって正規化されてよい。モザイク座標系は、本発明では問題としない。それは入力画像の１つの座標系でも、他の方法によって計算された他の座標系でも、ユーザによって手作業で選択された座標系でもよい。本出願で使用されるように、グローバル整列は、グローバル整列誤差Ｅを最小にする変換の集合｛Ｔ_k｝である。変換のこの集合は、グローバル整列誤差Ｅを最小にする最小化方法を使用して発見することができる。例えば、図３で提案されたグローバル画像整列を考える。この整列の誤差関数は、オーバラップ領域を共用する画像のすべての対から計算される。例えば、陰影を付けられた領域３２１は、フレーム３１１及びフレーム３１２の間のオーバラップ領域である。領域３２２はフレーム３１３及び３１４の間のオーバラップである。例示の方法はすべての画像対を使用して定義されたが、計算の速度を増大させるため、又は関連する画像対を、或る他のプロセスによって前もって決定することができる場合には、画像対のより小さな部分集合を使用してよい。例えば、オーバラップ領域を共用するすべての画像対のために誤差関数を計算する代替方法は、隣接した画像対のみを使用することである。画像対の間の隣接性を定義する１つの可能な方法は、エフ・オーレンハマーによって１９９１年の「（オーレンハマー）計算調査」第２３巻、３４５〜４０５ページに発表された「ボロノイ線図、基本的幾何学データ構造の調査」で説明されている「ボロノイ線図」("Voronoi Diagrams,a Survey of Fundamental Geometric Data Structures",F.Aurenhamm er，(Aurenhammer)Computing Surveys，Vol 23，1991,pp 345-405)を使用することである。各フレームの中心をボロノイ・セルの核として使用し、共通の頂点を共用するボロノイ・セルを有するフレームを「隣接」するものと定義する。すべてのオーバラップ領域、又は隣接する画像対のみのオーバラップ領域について整列誤差を同時に最小化することは、計算を費やすであろう。発明者は計算の複雑性を低減する幾つかの簡単な実施方法を定義した。方法１ −「コーアス−ファイン」リファインメントを伴う分析的最適化最初に、一致計算値はオーバラップ・フレームの対の間で計算される。一致計算値は、現在の予測された最適一致の位置に中心をもつ小範囲のパラメータ値に対する表面として表される。これらの表面は、それらの整列計算値を記憶することによって明示的に記述することも、パラメータ表面として暗黙的に記憶することもできる。従って、全体の最良整列の推定は、オーバラップ・フレームの対のために一致表面の集合に基づき分析的に決定することができる。ソース画像は推定された最良一致位置にワープされ、一致表面が再び計算される。全体の整列を連続的に改善するために、プロセスは数回反復されてよい。これらのステップは、最初の整列が各ソースの低解像度表現に基づき、最後のリファインメントが各ソースの高解像度表現に基づくように「コーアス−ファイン」様式で更に実行されてよい。この方法における反復が望ましい理由は、対による一致計算表面が単純変換のために計算することができるのに対し、グローバル整列は更に複雑な変換を使用して推定されるためである。例えば、一致計算表面は平行移動のためだけに計算されつであろうが、複数の隣接画像に対する画像のグローバル整列は、アフィン変換を含むであろう。方法２ −局所整列リファインメントソース画像の集合が粗く整列されると、各画像の整列パラメータがオーバラップ隣接画像への一致を最適化するために調整されてよい。これは各ソース画像について順番に反復され、次に数回反復される。更に、プロセスは「コーアス−ファイン」リファインメントとして実行されてよい。実行は、直列的で１つの画像の変換が各反復で調整されるか、並列的で複数のオーバラップするソース両像がそれぞれの隣接画像と同時に整列させられてもよい。領域の選択最終モザイク内の各点は幾つかの入力画像によってカバーされてよい。これら入力画像の１つがモザイク内のその点で画素値を定義するために選択されるのが望ましい。ＳＲ_kを、モザイクに含まれる画像（変換された）Ｗ_kの部分領域とする。ＳＲを選択するためには、幾つかの方法を使用してよい。方法１：近接ＳＲを選択する最も単純な方法は、画像の中心への近接による方法である。モザイク画素ｐが幾つかの画像Ｗ_kによってカバーされるものとする。近接基準は、画像ｐの値について、ｐに最も近い中心を有するその画像Ｗ_kから取られるように選択する。この碁盤目状配列は「ボロノイ碁盤目」として知られ、結果のＳＲは凸領域である。この場合、２つの隣接画像の間の境界は２つの画像中心を接続する線分の２等分線である。ボロノイ碁盤目は前記のオーレンハマーによる論文に説明されている。例えば、入力画像が水平方向のみの平行移動を有するとき、各入力画像はその中心の周りの直立矩形ストリップのみを最終モザイクに寄与する。領域選択の例を図４に示す。フレーム４０１、４０２、４０３、及び４０４は整列後の表示である。作成されたモザイク４１０の中で、領域４１１はフレーム４０１から取られ、領域４１２はフレーム４０２から取られ、領域４１３はフレーム４０３から取られ、領域４１４はフレーム４０４から取られ、領域４１５はフレーム４０２から取られ、領域４１６はフレーム４０３から取られる。方法２：画像の品質ＳＲは画像の品質に基づいて選択されてよい。モザイクの画素ｐに割り当てられる値は、その点で最良画像品質を有するものと判断されたソース画像から取られる。画像品質のレーティングはコントラスト又はモーション・ブラーのような基準に基づいてよい。例として、グラディエントの大きさが使用されてよい。これは、画像が鋭くなれば、それだけ高くなる。そのような選択基準は１９９４年６月２８日に付与された「画像を融合する方法及び装置」（Method for Fusing Images and Apparatus Therefor）と題する米国特許第５，３２５，４４９号に説明されている。この特許は、画像グラディエント計算の追跡について、本明細書に援用されている。特定の領域をカバーするすべてのオーバラップ画像を使用して、最高品質を有する画像が領域を表すために選択される。方法３：整列整列の程度は２つの画像間のオーバラップ領域で均一でない場合が度々である。これら画像のＳＲの境界を定義するカット線は、整列が特に良好な点の中枢に沿ったオーバラップ領域を通過するように置かれることが望ましい。これは最終モザイクで整列ミスが最も目立つモザイク継ぎ目に沿って整列ミスを最小にする。点のこの中枢を発見するために、オーバラップ領域の各画素で、残留整列ミス・ベクトルが推定される。次に、オーバラップ領域を区分して残留整列ミスの合計が最小になるようなカット線が発見される。より良好な整列が画像の中心の近くにあり、整列が画像周辺部に行くにつれて劣化するとき、ボロノイ型の碁盤目配列はこの基準への近似である。画像の改善個々の画像は、それらのコントラスト又は尖鋭度を改善するために、又はこれらの特性を隣接画像の対応する特性と等しくなるように調整するため、マージングの前に更に処理されてよい。改善は強度、色、及びフィルタ操作に基づく。これら操作のパラメータは手作業又は自動的に決定されてよい。マージング実際には、ソース画像のそれぞれのＳＲからモザイクに画素値を単純にコピーすることによってソース画像をモザイクに組み立てることは望ましくないかも知れない。これは目に見える継ぎ目を生じる。従って、隣接画像領域を一緒に混合することが望ましい。特に効果的な混合手段は、まずソース画像を２つ以上の帯域空間周波数成分の集合に分解し、次に各帯域の画像を、別個に、その帯域内の平均波長に比例した遷移ゾーンの上でマージする。この方法の既知の実施形態は、画像をそれらのバンドパス成分に分解するためにラプラシアン・ピラミッド両像変換を使用する。画像のマージングにラプラシアン・ピラミッドを使用する場合の説明については、前記のバートＩを参照されたい。この出版物は、画像からラプラシアン・ピラミッドをどのように作成するか、ラプラシアン・ピラミッドから画像をどのように作成するかについても説明している。簡単に言えば、２つのラプラシアン・ピラミッドが作成されるが、双方のピラミッドは、最終モザイクＭのサイズを有する画像に基づく。１つのピラミッドＭは最終モザイク画像Ｍに対するもので、他のピラミッドＬは現在の画像に対するものである。各ソース画像Ｉ_kは、まずＴ_kによって、モザイクと整列させられた画像Ｗ_kに変換（ワープ）される。次に、ワープされた画像は、指定された値の画素で充填するか、後に説明する更に一般的な外挿方法によって、モザイクの全領域をカバーするように拡張される。次に、ラプラシアン・ピラミッドＬがＷ_k について計算される。ピラミッドＬからの値は、Ｗ_kから来るセグメントＳＲ_kの位置に基づいて、ピラミッドＭ内の適切な位置にコピーされる。これが各画像について行われた後、入力フレームによってカバーされた領域に対応するピラミッドＭ内のすべての要素は、割り当てられた値を有する。次に、最終モザイクＭがラプラシアン・ピラミッドＭから作成され、継ぎ目のないモザイクが与えられる。本発明の１つの実施形態において、多解像度マージング・プロセスは、ソース画像それ自体ではなく画像のグレイ・スケール変換版に基づいて実行される。露光特性が顕著に異なる画像をマージするために、まず画像は対数変換のような可逆的圧縮スカラー変換によって画素ベースで変換される。多解像度マージングがスカラー変換されたソース画像で実行され、次にマージングを介して得られた画像のためにスカラー変換を反転することによって、最終モザイクが得られる。この手順が有用である場合の例は、異なった利得を有する画像をマージすることが普通に起こる場合である。そのような画像は、自動的利得制御を有するビデオ・カメラによって取られるか、各画像に異なった利得を適用したスチル・カメラによって取られてよい。利得変換は画像強度の乗算によって近似することができる。滑らかな利得変換を行うためには、マージングの前に対数変換を画像に適用することによって、より良好な混合が得られる。変換された画像がマージされ、混合され変換された画像の指数（又は真数）が最終結果を与える。カラーの画像では、前記の変換が、画像環境に依存して強度成分のみに適用されるか、各カラー信号成分に別々に適用されてよい。ピラミッドにおける領域選択多解像度マージング・プロセスの実施形態は、バートＩに与えられる。この実施形態は、各ソース画像をバンドパス成分の正規の集合に分解するためにラプラシアン・ピラミッドを使用する。２つの画像がマージされるとき、これら画像の１つのための重みづけ関数（例えば、Ｗ₁）が、マスク画像のガウス・ピラミッドを作成することによって定義されることができる。マスク画像は、領域ＳＲ₁ 内では１に定義され、この領域の外側では０に定義される。そのようなガウス・ピラミッドはＷ₁のラプラシアン・ピラミッドのそれぞれの対応する各サンプルによって乗算される重みを与える。この重みづけは比例混合規則に従う。もし２つだけのソース画像Ｗ₁及びＷ₂が存在し、領域ＳＲ₁及びＳＲ₂がモザイク領域の相補部分を表すならば、多解像度マージングは単純な手順に従う。すなわち、（１）Ｗ₁及びＷ₂のためのラプラシアン・ピラミッドを構築する。（２）領域ＳＲ₁及びＳＲ₂内にあるマスクのためにガウス・ピラミッドを構築する。（３）各ソースについてサンプル・ベースでラプラシアン成分及びガウス成分を乗算する。（４）結果の積ピラミッドを加算する。（５）所望のマージされた画像を回復するため、逆ラプラシアン・ピラミッド変換を実行する。この発明の開示では、バート及びアーデルソンによって定義された方法の２つのリファインメント（refinement）を紹介する。１．正規化を伴う重みづけ加法もし３つ以上の画像が使用され、それぞれのセグメントＳＲ_kが、穴又はオーバラップを生じることなくモザイク画像領域を正確にカバーするならば、前記の手順は任意数の画像のマージングに一般化することができる。部分領域のためにガウス・ピラミッドによって与えられた全ての重みは、各サンプル位置で正確に１に合計される。しかし、もしＳＲ_kがモザイク画像領域を正確にカバーしなければ、各サンプル位置での重みの合計は１になるかも知れない。この場合、画像は前記のステップ１から４までのように結合されてよい。ここで、２つの新しいステップが導入される。すなわち、（４ｂ）ガウス・ピラミッドはサンプル・ベースで合計され、（４ｃ）結合されたラプラシアン・ピラミッド内の各値は、結合されたガウス・ピラミッド内の対応する値によって除算される。これはラプラシアン値を正規化する効果を有する。最終モザイクは、ステップ５のように、逆変換を介して回復される。２．単純化された選択結合されたラプラシアンを作成するために、比例混合用の重みづけ関数が単に暗黙的である単純化された方法を使用してもよい。この手順では、各ソース画像のためのラプラシアン・ピラミッドが前のように作成される。（ステップ１）。ガウス・ピラミッドは作成されない。（ステップ２及び３はない。）次に、対応するセグメントＳＲ_kの領域に落ちる各ソース画像Ｗ_kのラプラシアン・ピラミッドの全レベルから全サンプルをモザイク用のラプラシアンにコピーすることによって、モザイク用のラプラシアンが作成される。（ステップ４）。モザイクは前と同じように逆変換を介して得られる。（ステップ５）。この単純化された方法は、ソース画像セグメントＳＲ_kがモザイク領域を正確にカバーして正規化が必要でないとき使用することができる。逆ラプラシアン・ピラミッド変換は、多解像度マージング方法によって使用される比例混合を提供するために、選択されたバンドパス成分をぼかす効果を有する。奇数幅発生カーネルで作成されたラプラシアン・ピラミッドのレベル１における空間位置（ｉ，ｊ）は、デカルト座標ｘ＝ｉ２¹及びｙ＝ｊ２¹にあることが注意される。もしこれらの座標が、画像Ｗ_k のラプラシアン・ピラミッドにあるサンプルについてＳＲ_k内に落ちるならば、そのサンプル値はモザイク用のラプラシアンにコピーされる。この単純化された方法を図６に示す。提示を明瞭にするため、１次元の場合を図６に示すが、画像の２次元の場合への一般化は簡単である。３つの整列させられた画像Ｗ₁、Ｗ₂、及びＷ₃が与えられた場合、最終モザイクは画素０〜４では画像Ｗ₁、画素５〜１０では画像Ｗ₂、及び画素１１〜１６では画像Ｗ₃から作成される。Ｍ₀（ｘ）の値は次のように割り当てられる。すなわち、画素Ｘ＝０．．．４については、それらは画像Ｗ₁のために同じくｘ＝０．．．４として発生されたラプラシアン・ピラミッドＬ₀（ｘ）の同じレベルから取られる。画素ｘ＝５．．．１０については、それらは画像Ｗ₂のためにｘ＝５．．．１０として発生されたラブラシアン・ピラミッドＬ₀（ｘ）から取られる。画素ｘ＝１１．．．１６については、それらは画像Ｗ₃のためにｘ＝１１．．．１６として発生されたラプラシアン・ピラミッドＬ₀（ｘ）から取られる。ピラミッドの残りについては、Ｍ_i（ｘ）の値は、モザイク画像Ｍ内の位置２ｉｘに寄与する画像のラプラシアン・ピラミッドの対応するｉ番目のレベルから取られる。従って、Ｍ₁（ｘ）については、ｘ＝０．．．２の値は画像Ｗ₁のラプラシアン・ピラミッドから取られ、ｘ＝３．．．５の値は画像Ｗ₂のラプラシアン・ピラミッドから取られ、ｘ＝６．．．８の値は画像Ｗ₃のラプラシアン・ピラミッドから取られる。この例では、大部分の実用的な場合と同じように、トップ・レベルが単一の画素のみになるまで、ラプラシアン・ピラミッドは作成されない。そのような場合、ピラミッドのトップ・レベルは画像のガウス・ピラミッドの同じレベルから取られる。従って、Ｇ₃は対応する画像のガウス・ピラミッドから取られる値から構成される。画像境界の処理個々のソース画像Ｗは、最終モザイクと同じ座標系及びサンプル・グリッド上で定義される。しかし、それらは概してモザイクよりも小さい。ラプラシアン・ピラミッドが各画像Ｗ_kについて作成されるとき、拡張された画像領域をカバーするため、最終モザイクの全領域に至るまで、少なくとも暗黙的にこの画像を外挿するのが便宜的である。この拡張が望ましいのは、最終モザイクに寄与するピラミッドからの全サンプル（すなわち、方法１の非ゼロの重みを有するもの、又は方法２のＳＲ_kの領域に落ちるもの）が良好に定義された値を有することを保証するためである。この外挿はオリジナルの画像で行うか、ピラミッドが作成されるときに行うことができる。もしオリジナルの画像領域内で行われるならば、セグメントＳＲ_k 内の点が画像の境界の距離ｄ内にないことを、外挿によって保証されるのが望ましい。ここで、ｄ−Ｄ２^Mであり、Ｍはマージングに使用されたラプラシアン・ピラミッドのトップ・レベルであり、Ｄはピラミッド作成に使用されたフィルタ・カーネルのサイズに関連した小さな整数である（例えば、Ｄは、偶数個のタップを有する対称フィルタの線形フィルタ・カーネル・サイズの半分に等しい）。画像領域外挿の単純な方法は、エッジ画素の値を複製することである。モザイク作成に使用されてよい他の方法は、他のソース画像から対応する画素をコピーすることである。もしこれらの他の画像が露光特性においてＷ_kから顕著に異なっていれば、それらはＷ_kと同じ特性をもつように濃度変換されてよい。外挿は、ピー・ジェイ・バートによって１９８８年の「ＩＣＢＲ」の３００〜３０２ページに発表された「モーメント画像、多項式適合フィルタ、及び表面内挿の問題」（"Moment Images，Polynomial Fit Filters，and The Problem of Surface Int erpolation,"P.J．Burt，ICPR 1988,pp.300-302）に説明されるような方法によってピラミッド作成中に行われてよい。カラー画像カラー画像を処理するには、幾つかのアプローチがある。カラー画像は任意の許容されたカラー標準（ＲＧＢ、ＹＵＶ、Ｌａｂ、その他）で３次元画像として表すことができる。画像の整列は１つの成分だけ（例えば、強度Ｙの成分）で行うことができる。その場合、通常のモノクロ整列テクニックを使用することができる。代替的に、整列は、２つ以上の成分を含む誤差関数を最小にしてよい。画像のマージングは、例えば、強度Ｙの成分のように単一の成分について行うことができ、その場合、他の２つの成分信号はマージされた画像から直接に取られる。代替的に、画像のマージングは各成分（例えば、Ｒ、Ｇ、Ｂ成分、又はＬ、ａ、ｂ成分）について別個に行われ、各成分がモノクロ画像として処理されてよい。モノクロ・モザイクについては、スプライニングによる画像間継ぎ目のぼかしによって、人間の観察者は、それが部分画像から構成されていることを識別することができない。もしスプライニングが行われていれば、基本的な明度バランシングすら必要でないことが度々である。部分画像の融合が起こるのは、人間の視力は高空間周波数（例えば、継ぎ目）での輝度の差に対しては敏感であるが、低空間周波数（例えば、部分画像を横切る）に対しては敏感ではないからである。他方、クロミナンスの差は低空間周波数でより有効に知覚される。従って、継ぎ目がモザイク内の２つの部分画像の間でぼかされるときでも、部分画像が整合された後、それらが一緒にスプラインされる前に、部分画像のすべてを色補正するように注意しないと、画像間のカラーの不均衡が識別可能である。ここで、画像間のオーバラップ領域にあるカラーの間の比較に基づいて、モザイク内の部分画像の間で色補正を達成する方法を説明する。２つのオーバラップする画像について、この方法は、第２の画像を第１の画像に最も近くもってくる色空間アフィン変換を決定するため（Ｒ、Ｇ、Ｂ成分信号の間で）、画像オーバラップ領域にわたって最小２乗適合を実行することを含む。次に、結果のアフィン変換が第２の画像の全体に適用される。目的関数を３つ以上のオーバラップする画像に拡張することは、単にアフィン変換を画像の１つを除くすべての画像に帰属させ（これらの変換は、変換されていない画像又は基準画像に関する）、次にすべてのオーバラップ領域におけるすべての画素について、２乗されたＲＧＢ色差を加えることによって行われる。画像形成の物理的過程はアフィン色補正の強い動機を与える。かなり一般的で自然な環境では、色空間におけるアフィン変換は、（a）異なった獲得システムに起因する２つの画像の間の色空間の差、（b）異なった獲得時間に起因する照明スペクトルの差、（c）他の画像には現れない１つの画像内の曇り又は他の半透過の媒体、を補償する。これは、１９８０年の「ＭＩＴＲＬＥ」第１２２号、２１４〜２２１ページ（a paper by M.H.Brill，published in MIT RLE Progres s Reports No.122(1980),214-221）に発表されたエム・エッチ・ブリルによる論文に記載されている。前後関係におけるアルゴリズムの実行を以下に概説する。１．前記の画像整合アルゴリズムを輝度画像にのみ適用し、オーバラップ領域を識別及び索引し、輝度画像派生変換をすべての３成分カラー信号に適用する。２．基準画像Ｇ₁を識別し、それぞれの非基準画像Ｇ_kと基準画像との間で最良の色空間アフィン変換を決定するため、すべてのオーバラップ領域にわたって同時の最小２乗調整を行う。目的関数はすべてのオーバラップ領域（例えば、部分画像ｉ及びｋの）におけるすべての画素にわたる（Ａ_kＧ_k（ｘ）＋ｂ_k−Ａ_iＧ_i （ｘ）−ｂ_i）²の合計である。ここで、Ｇ_k（ｘ）は画像ｋの画素位置ｘにおける（Ｒ、Ｇ、Ｂ）の列ベクトルであり、Ｇ_i（ｘ）は画像ｉの画素位置ｘにおける（Ｒ、Ｇ、Ｂ）の列ベクトルである。Ａ_k及びＡ_iは３ｘ３マトリクスであり、ｂ_i及びｂ_kは列３ベクトルである。基準画像１については、Ａ₁＝Ｉ及びｂ₁＝０である。マトリクスＡ及びベクトルｂを含むアフィン・パラメータを解くことは、同数の未知数における１２Ｎ−１２の同時線形方程式を解くことを含む。ここで、Ｎはモザイクにおける部分画像の数である。３．前記のアルゴリズムを使用してＲ、Ｇ、及びＢのカラー信号成分に別々に画像スプラインを実行する。４．画像モザイクが実現可能なディジタル値の範囲内にあることを確認する。これは、すべての負の画素値を除去するように選ばれた定数を、画像内の各成分信号（すなわち、Ｒ、Ｇ、及びＢ）に加えることによって行われる。次に、画像上で最大値を最大獲得可能ディジタル値に下げるのに十分な定数によって各成分をスケールする。もし画像が、表現された物体のサイズに関して不完全に整合されるならば、前記のステップ２の目的関数における個々の画素値を、局部的画素平均で置換することができる。もし整合が画素レベルでは貧弱であるが、画像オーバラップ領域が依然として識別可能であれば、それぞれのオーバラップ領域内でカラー信号及び成分間相関マトリクスを一致させるために、ステップ２を変更してアフィン変換を最適化してよい。相関マトリクスの２次変換特性は、１９９４年の「J．Opt．Soc．Am．A ，11」の３００３〜３０１０でジー・ヒーリー及びディー・スレーターによって発表された論文（a paper by G，Healey and D.Slater，published in J.Opt.So c.Am.A,11(1994),3003-3010）に、カラー認識について説明されている。新しい目的関数は、すべてのオーバラップ領域（例えば、部分画像ｉ及びｋの）について（Ａ_kＣ_kＡ_k ^T−Ａ_iＣ_iＡ_i ^T）²及び（Ａ_kｍ_k＋ｂ_k−Ａ_iｍ_i−ｂ_i）２の重みづけられた合計の合計である。注：Ａ_kを完全に指定するためには、第３ランク・テンソルとして変換される第３モーメントを比較する類似項を付け加えることが望ましい。ここで、ｍ_k及びＣ_kは、３ベクトル信号平均及び画像_i及びｋのオーバラップ領域内の画素に対する信号間３ｘ３相関マトリクスであり、ｍ_i及びＣｉは同様に定義される（依然としてｉ、ｋのオーバラップ内で）。結果の最小２乗問題はアフィン・パラメータ内の方程式の非線形集合に導かれる。もしこれらの方程式を解くために必要な計算量があまりに大きければ、代案としてアフィン変換中の完全３ｘ３マトリクスを対角マトリクスで置換することができる。その場合、最小２乗方程式はマトリクス要素の２乗で線形となり、容易に解くことができる。２つのオーバラップ画像の特殊な場合には、画像Ｇ２の各カラー成分は、変換によって、画像Ｇ１の平均及び分散に一致する平均及び分散を有する画像Ｇ２’に補正される。Ｇ２’＝ａＧ２＋ｂここで、ａ＝シグマ１／シグマ２ｂ＝平均１−（シグマ１／シグマ２）平均２平均１及びシグマ１は、画像Ｇ１（基準画像）に対する問題のカラー信号成分における画素値の平均及び標準偏差であり、平均２及びシグマ２は、画像Ｇ２（検査画像）に対して同様に定義される。各応用例では、更に念入りのカラー調整を試みる前に、このステップが十分のカラー補正を与えるかどうかを確認すべきである。カラー画像を処理するこの代替方法の基礎は、モザイク中の部分画像の間でアフィン色補正を実効化するためにオーバラップ画像領域を使用することである。アフィン色補正は色再現及び機械視覚の分野でしばらくの間論議されたが、それは大きな成果を収めなかった。なぜなら、正しいアフィン変換を発見するには、通常は、非常に制限的なスペクトル仮定又は画像内で正しく区分された領域の基準カラーの定義を必要としたからである。検査及び基準画像の間のオーバラップの存在は、これらの問題を不要にし、従ってアフィン補正が直接に計算されることができるようにする。このアプローチは、一連の画像オーバラップによって基準画像に接続されるすべての他の画像に推移的に拡張することができる。整列の対話的観察整列の後、画像は（任意選択的に）ユーザに与えられる。モザイクの提示は、すべての画像が共通の座標系に変換される図３Ｂの提示と同じように行われる。観察は、モザイク内の各画像の位置が、オリジナルの画像と同じように与えられるように行われる。１つのそのような可能な対話は、カーソル又は他のポインティング・デバイスをモザイクを横切って移動することによって行われる。カーソルを含むモザイク内の領域に寄与するビデオ・フレームは、画面の１つの部分に表示され、その間に、寄与している領域及び画像境界がモザイク上に表示される。この対話は、操作員が画像の品質及びそれらの整列を検査することができるようにする。例えば、操作員は貧弱な品質（例えば、ブラー・ノイズ）を有するフレームを削除し、その間に、モザイク内のすべての画像が少なくとも１つの入力画像によってカバーされることを確認してよい。前記の対話の効果の１つは、ユーザにビデオを観察する新しい方法を与えることである。ポインティング・デバイスがモザイク上を移動する方向及び速度を制御することによって、ユーザは今やビデオの表示を制御することができる。特に、ユーザは前方／後方のビデオ表示を制御すると共にその速度を制御することができる。貧弱な整列を補正するためには、追加的なユーザ対話が望まれるがも知れない。自動的整列は、例えば、画像のオーバラップが小さいとき、画像が過度のノイズ量を有するとき、又は画像が少しの識別特性しか有しないときに失敗するかも知れない。そのような場合、ユーザは、例えば、マウスを用いてフレームをドラッグするか、整列していない画像に現れる共通の特徴をクリックすることによって、画像を手作業で整列させてよい。システムは、この処理からフレーム整列変換を計算することができる。そのような変換は、更なる自動整列のために初期推定として働くことができ、今や自動整列は、初期推定が改善されたために、より良好な結果を与えるかも知れない。ビデオ・モーション分析に基づく装置制御データ処理装置又はコンピュータ・プログラムを能動化する通例の方法は、「オン」ボタン又はその等価物を押し、次に「オフ」ボタン又はその等価物を押すことである。しかし、ある場合には、装置の動作は、それが処理している情報によって制御される。１つの例は「音声能動」応答機械であって、この機械は、音声信号が電話回線上で検出されないとき、到着メッセージの記録をオフにする。本発明は、カメラが動いているときだけ、又は動いている物体が視界で見えるときだけ関連動作を有する装置及びコンピュータ・プログラムを制御するために、ビデオ・モーション分析モジュールを使用することを含む。ビデオ・モーション分析は、エム・テカルプ(M.Tekalp)による著作「ディジタル・ビデオ処理」(Dig ital Video Processing)に説明されているように周知である。カメラの動き又は画像物体が分析され、特定のモーション・パターンは装置からコンピュータ・プログラムへの命令として解釈される。動き制御の１つの応用例は、ビデオ信号の第２のフレーム又は画像シーケンスからパノラマ画像を作ることである（ビデオブラシ）。この装置の制御は次のようにすることができる。すなわち、画像のモザイク化はカメラが静止した２つの期間の間でのみ起こる。この例では、画像のモザイク処理が能動化された後、プロセスは、カメラが静止するまで待ち(フレーム間の動きは所与のしきい値よりも小さい)、カメラの動きが或るしきい値を超過したときモザイク処理を開始し、カメラが再び静止したときモザイク処理を停止する。モザイク・プロセスの始め及び終わりを制御するカメラ・モーションに加えて、カメラ・モーションの方向が、モザイク化プロセスそれ自体の内部詳細を制御するために使用されてよい。例示の実施形態本発明の例示の実施形態を図７〜図１５を参照して説明する。この例示の実施形態は、携帯低解像度ディジタル画像ソース（例えば、ビデオ・カメラ７１０及びディジタイザ７１２又はディジタル・ビデオ・カメラ）、及び変更されていないパーソナル・コンピュータ（図示されていない）上で実行されているソフトウェアを使用して、高解像度ディジタル画像ストリーム７１４をリアルタイムで捕捉するシステムである。このプロセスは、画像が受け取られるにつれて素早くそれを処理し初期モザイク画像７１８を生成する高度に効率的な「前端」画像整列プロセス７１６と、高度に正確な「後端」画像整列プロセス７２０と、継ぎ目のないモザイク画像７２４を与えるマージング・プロセス７２２とを結合することによって達成される。全体のシステムがその機能を実行するために、前端整列プロセスは、画像捕捉動作の間、連続的なフレーム間画像整列を実行する能力を有することが望ましい。このプロセスの終了結果は、オーバラップしているソース画像フレームのリストから構成される初期モザイク・データ構造７１８であり、各ソース画像は、シーケンス内でフレームを隣接した他のフレームと関連づける動きパラメータを有する。動きパラメータのこれらの集合の任意の１つが不在又は不正確であれば、モザイクを組み立てることは困難であるかも知れない。なぜなら、画像シーケンスの１つの部分と画像シーケンスの残りの部分との関係が定義されないかも知れないからである。従って、信頼性のあるシステム機能を提供するためには、前端整列プロセス７１６は、１）リアルタイムで機能し、２）フレームのすべてのために正しい整列結果を高い確率で戻すことが望ましい。例示の前端整列プロセス７１６の目的は、全体の入力画像ストリームを関連づけることによって初期モザイクを定義する最小整列チェーン（ＭＡＣ）を発生することである。このＭＡＣは、一連の入力画像、及び各画像をチェーン内の前の画像へのみ順次に整列させる整列パラメータから構成される。それは、整列プロセスが進行するためにできるだけ少ない入力画像を含むという意味で、最小のものである。この最小特性が望ましい理由は、それが後端整列プロセス７２０及び混合プロセス７２２で必要とされる処理及び記憶域の量を低減するからである。この前端整列プロセスの実施形態を図８に示す。それは２つの動作原理を含む。すなわち、適応性画像サンプリングと適応性フィルタ選択である。他の実施形態は、これら又は同様の原理に基づいてよい。ＭＡＣは入力画像ストリームの最初及び最後の画像を論理的に含むから、プロセスは、最初の捕捉画像をＭＡＣの最初の成分及び初期基準画像（ＲＩ）として指定することによってスタートする。ＲＩは、１）到着画像とＲＩの間の推定オーバラップが或るしきい値（例えば、画像寸法の５０％）よりも小さくなるか、又は、２）整列の失敗が検出されるまで、到着画像の各々を連続的に整列させるために使用される。選択された画像オーバラップの量は、ＭＡＣ内の画像数を最小にしたい希望と、整列をリファインメントする後端整列プロセスのために十分なオーバラップを提供したい希望とをバランスさせる。整列は、図１から図３までを参照して前に説明したような任意の効率的な画像ベース整列テクニックを使用して実行することができる。効率性と強靭性のために、多解像度画像相関テクニックを使用してよい。図８で、画像はディジタル化された画像ストリーム７１４からステップ８１０で受け取られる。プロセスは、ステップ８１２で画像のピラミッド記述を発生し、ステップ８１４で、このピラミッドを基準ピラミッドとして指定する。次に、ステップ８１６で、プロセスはストリーム７１４から次のフレームを検索する。ステップ８１８で、プロセスはこの画像のためにピラミッド記述を発生する。ステップ８２０で、プロセスは現在の画像の新しく発生されたピラミッド記述を基準画像のピラミッド記述に相関づける。ステップ８２２で、もし画像間で検出された相関が良好であれば、制御はステップ８２４に渡される。ステップ８２４は、２つの画像間の変位（Δｘ）がしきい値よりも小さいかどうかを決定する。もしそれが小さければ、現在の画像と基準画像の間のオーバラップは希望よりも大きく、従ってフレームはステップ８２６でバッファに置かれ、制御はステップ８１６に戻されて、ストリーム７１４からの新しい画像がテストされる。ステップ８２４で、もし変位がしきい値よりも大きければ、ステップ８２８が実行される。ステップ８２８はフレームをＭＡＣに付け加え、新しく加えられたフレームのピラミッドを基準ピラミッドとして指定する。しかし、ステップ８２２で、もし現在の画像と基準画像との間に良好な相関が存在しなかったならば、ステップ８３０が実行される。ステップ８３０は最も近時にバッファされた画像を基準画像として指定する。この画像はバッファされているから、十分のオーバラップ（しきい値よりも小さい変位）を有することが保証される。ステップ８３２で、現在の画像は新しい基準画像に相関づけられる。ステップ８３４で、もし良好な相関が検出されれば、プロセスは前記のステップ８２４に制御を移す。そうでなければ、ステップ８３６が実行される。ステップ８３６は入力画像を処理するために新しい空間フィルタを定義する。ステップ８３８で、新しく処理された画像のピラミッド表現が構築される。ステップ８４０で、このピラミッド表現は基準ピラミッドと相関づけられる。ステップ８４２で、もし良好な相関が検出されれば、制御はステップ８２４に移る。そうでなければ、画像整列の失敗が起こっており、プロセスはステップ８４４で終了する。図８に示すように、連続的に整列させられる画像は、現在の画像と基準画像の間の変位が過度になるまで単純にバッファされるが、それは画像間のオーバラップが最大値よりも小さいことを示す。最大値になると、現在の画像がＭＡＣデータ構造に付け加えられ、新しいＲＩとして指定される。もし整列の失敗が検出されなければ、このプロセスは、すべての画像が整列させられ完全なＭＡＣが作成されるまで、単純に進行する。完全なＭＡＣが構成された時点で、ＭＡＣは、オリジナルの入力シーケンスの最初及び最後の画像を含む入力画像のシーケンス、及びＭＡＣの各画像を先行する画像に整列させる整列パラメータのシーケンスから構成される。更に、ＭＡＣの画像は、各画像が、ほぼオーバラップしきい値によって決定される量だけ、先行する画像とオーバラップしているという特性を有する。図９は入力画像ストリーム７１４とＭＡＣ７１８の間の可能な関係を例示する。ＭＡＣの作成中の或る点で、整列プロセスは整列パラメータの許容可能な集合を戻すことに失敗するかも知れない。これは、画像捕捉プロセス（画像ノイズ、ドロップアウト、グレア、高速又は不規則なカメラ動作）、画像内容（移動又は遮断する物体）、画像処理（不適切な画像フィルタリング）、又は他の制御不可能な環境ファクタから派生する多様な理由で生じるかも知れない。整列の失敗は多様な基準によって検出することができ、それら基準の幾つかは選択された特定の整列プロセスに独特のものである。本発明の実施形態において、整列の失敗は、整列後の大きな残留誤差、異なった画像部分領域からの矛盾する推定、又は期待された範囲の外にある推定整列パラメータに基づいてステップ８２２で検出される。これらの条件の１つが生じるとき、整列チェーンの破断を避けるために、整列プロセスそれ自体を変更するか、整列が試みられている画像（ＲＩ）を変更することが必要である。実施形態では、この適合化は２つのステップで起こる。第１に、図８のステップ８３０で示すように、最も近時の成功裏に整列させられた画像が、ＲＩとして指定されて、ＭＡＣに付け加えられる。次に、現在の画像とこの新しい基準との間で相関づけが試みられる。もしこの相関づけが成功すると、プロセスは前述したように進行する。そのように作られた構造は、ＭＡＣの要件を充足することを保証されている。なぜなら、新しく指定されたＲＩは、前のＲＩに良好に整列させられ、良好な相関を生じるが指定された最大オーバラップしきい値よりも小さいオーバラップを有するからである。もし新しいＲＩにの整列が失敗すると（ステップ８３４）、プロセスは整列プロセスで使用される画像ピラミッドを発生するために使用されたフィルタを変更しようと試みる。これらの新しい画像ピラミッド（１つはＲＩ用、１つは現在の画像用）は、画像整列を計算するために使用される。もしこの整列が成功すると、プロセスは前述したように継続する。もし変更されたフィルタを用いる整列が失敗すると、前端プロセスは終了し、誤り条件を戻す。例示のプロセスによって実行されるフィルタ選択は画像内容に関する仮定に関連している。ホワイトボード上の線を表すのに適したフィルタは、模様の付いた壁紙又は室内の家具を表すには不適切かも知れない。従って、整列の失敗が検出されたとき、それは画像内容の性質の変化によるものと仮定される。従って、異なったタイプの画像内容に適したフィルタが、より効果的な画像表現、従ってより正確な画像整列を達成する努力の中で代入される。例示のプロセスはただ１つのフィルタ選択ステップを示すが、決定ステップ８４２の「ノー」出力からステップ８３４へのブランチ・バックによって（図示されていない）、複数のフィルタ選択ステップが実行されてよいことが想定されている。実施形態で使用されるフレーム間整列プロセスは、現在の画像と基準画像の間の最小絶対差（ＭＡＤ）を生じる画像変位を計算する。これは、シフトされた現画像と基準画像の間の各画素における差を合計すること、及びこの差を最小にするシフトを発見することを含む。これは、２乗差合計（ＳＳＤ）最小法の行動を近似する標準テクニックである。しかし、図１０Ａ及び図１０Ｂに示すように、１）局所的整列ミスが存在するときグローバルな画像整列を強靱に計算するために、また２）整列の失敗をより良好に検出するために、実施形態の方法は、一組の画像部分領域の各々について（図１０Ａ）、及び全体としての画像について（図１０Ｂ）、別個にＭＡＤを計算する。このプロセスは、整列プロセスの状態に関する情報が、これら各種の推定の比較から引き出されることができるようにする。更に、それは、偽の局所推定が他の推定と一致しないとき、それらを拒絶することができるようにする。前端相関プロセスの実施形態を図１１Ａに示す。例示のプロセスはピラミッドに基づく「コーアス−ファイン」リファインメントを使用して正確な整列推定値を効果的に計算する。このプロセスは、まず個々の部分領域推定の間の一致の分析を使用して、整列パラメータの許容可能な初期推定が達成されたかどうかを決定する。初期推定が許容できるかどうかを決定するために使用される基準は、推定の間の一致の計算値を、グローバル最小絶対差によって表されるような残留画像差の総量の計算値に組み合わせる。図１１Ａにおいて、現画像及び基準画像のピラミッド表現がステップ１１１０で得られる。ステップ１１１２で、可変ピラミッド・レベルが、ピラミッドの最高レベルである最大レベルに設定される。基準画像及び現画像に対するグローバルＭＡＤ及び領域ＭＡＤがステップ１１１４で計算される。ステップ１１１６で、グローバルＭＡＤ、及び領域ＭＡＤとグローバルＭＡＤの間の一致の数が計算される。ステップ１１１８で、グローバルＭＡＤ及び一致の数（＃Ａ）が許容領域Ｒと比較され、推定が許容可能か否かが決定される。許容領域を図１１Ｂに示す。もしグローバルＭＡＤが非常に低ければ（しきい値Ｔ_低よりも小さい）、整列が許容可能かどうかを判断するために、部分領域整列推定とグローバル整列推定との間の最小数の一致が必要である。もしグローバルＭＡＤが中間範囲（Ｔ_低と第２のしきい値Ｔ_高の間）にあれば、更に多数の一致が必要である。もしグローバルＭＡＤが非常に大きければ（Ｔ_高よりも大きい）、更に多数の一致が必要である。グローバル整列推定と部分領域整列推定の間の一致は、推定の間の差を、第３のしきい値に対して比較することによって決定される。このしきい値は変位の全体的大きさでスケールされ、許容誤差が相対的大きさ内でほぼ一定になるようにされる。もし初期椎定が許容されれば、すなわち、もし一致の数及びグローバルＭＡＤが基準を満足させるならば、この初期推定は「コーアス−ファイン」プロセスを介してリファインメントされてよい。実施形態では、このプロセスは、より高い各解像度ピラミッド・レベルで、より正確な整列推定を探索することを含む。この探索の最初のステップ（ステップ１１２０）は、可変ピラミッド・レベルを次の低レベルに設定する。次のステップ（ステップ１１２２）で、グローバル及び部分領域のＭＡＤ値が、前のレベルで計算された各値（グローバル及び部分領域）を中心とした範囲で計算される。各部分領域及び全体としての画像について、最良（すなわち、最低値）絶対差を生じる整列推定がステップ１１２４で選択される。ステップ１１２６で、もしピラミッド中にもっと多くのレベルが存在すれば、制御がステップ１１２０に移され、このようにして計算された変位値の集合が次のレベルで相関をリファインメントするために使用される。最後のピラミッド・レベルに達したとき、最良のグローバル推定が選択され、ステップ１１２８で戻される。「コーアス−ファイン」リファインメントのピラミッド表現を発生するために使用されるフィルタについて、異なった選択を行うことができる。これらの選択は、主として入力画像シーケンスで予測された内容のタイプに基づいてなされる。選択の目的は、低解像度ピラミッド・レベルが正確な整列ができるようにするのに十分な画像構造を保存するピラミッド構造を発生することである。例えば、もしピラミッド（ガウス又はラプラシアン）が、白い背景上の比較的に細い線（ホワイトボード上に書かれた画像の場合のように）から構成される入力画像を用いて通常の方法で発生されるならば、低解像度ピラミッド・レベルは非常に小さな構造を示すであろう。なぜなら、線は低域パス・フィルタリングの後、非常に小さなコントラストを有するからである。この問題に対する１つの解法は、非線形の前置フィルタを入力画像に適用することである。例えば、もし入力画像がエッジ構造を抽出するためフィルタリングされ、画素ベースでしきい値と比較され、次にピラミッド発生の前に画像構造を展開するために距離変換を施されるならば、結果のピラミッドは低解像度レベルで使用可能な非常に多い内容を有するであろう。他方、この前処理ステップは、通常強いエッジを含まない戸外のシーン構造には有効ではないかも知れない。変動する環境で（又は画像シーケンスがシーン構造の１つのタイプから他のタイプに動くとき）強靱に機能するためには、前置フィルタ・タイプの適応的選択がなされる。実施形態では（図８に示すように）、もし新しい基準画像の選択の後であっても整列が失敗すると、前置フィルタの変更がなされる。次に、この新しいピラミッドを使用して、整列が試みられる。もしこれも失敗すると、プロセスは誤り条件を戻して終了する。一度、前端プロセスが成功裏にＭＡＣを計算すると、このデータ構造（メンバー画像及びリンキング整列パラメータ）は、最終整列のために後端整列プロセスに渡される。後端整列プロセスの目的は、ＭＡＣに含まれる画像の各々を単一のモザイク座標系に正確に整列させる一組の整列パラメータを発生することである。一般的に、後端における整列プロセスの根底にある座標変換は、前端で使用される座標変換とは異なる。この差異は、３つのファクタから推進される。すなわち、１）前端プロセスに存在するリアルタイムの処理制約は緩和され、概してより複雑な計算ができるようにする。２）画像間の整列の初期椎定はＭＡＣの一部分として与えられ、概してより複雑なモデルの安定計算ができるようにする。３）座標変換はすべての画像を単一の座標系に正確にマップしなければならず、概してフレーム間の整列に使用される変換モデルよりも複雑なものを必要とする。各ＭＡＣフレームから単一のモザイク座標系にのマッピングを作成するプロセスは、１）モザイク座標系の選択、２）パラメータ又は疑似パラメータ画像変換モデルの選択、３）この選択された変換を介してモザイク座標系に対する各フレームの関係を計算することを含む。実施形態では、プロセスは、ＭＡＣを使用して、モザイク座標系及び各フレームの座標系への初期マッピングの双方を確立することから始まる。次に、このマッピングは、各フレームについて順番に整列パラメータが推定される増分プロセスを介してリファインメントされる。代替のメカニズムは、例えば、「モザイク処理及びレンズの歪み補正への応用を有するマルチビュー画像レジストレーション」（”Multi-View Image Registration With Application to Mosaicing and Lens Distortion Correction"）と題する米国特許仮出願第６０／０３０，８９２号に説明されるように、すべてのフレームを選択された座標系に同時に整列させることである。この仮出願は、画像レジストレーションに関するその教示のために、本明細書に援用されている。この例における増分又は順次的整列の選択は、大部分は、計算複雑性の低減及び対応する処理時間の減少への必要性によって推進される。この順次的プロセスは、以下の説明では「フレーム対モザイク」処理と呼ばれる。後端プロセスを図１５に示す。最初のステップ１５１０として、プロセスはＭＡＣから初期作業モザイクを作成する。実施形態では、前端によってＭＡＣの一部分として与えられる整列パラメータは、単に各フレームを前のフレームに関連づける平行移動ベクトルである。初期作業モザイクを作成するために、画像フレームはこれらの平行移動ベクトルによってシフトされ、各フレームがモザイク座標系に関して有する上左隅の位置が、シーケンス中のその点まで平行移動ベクトルのすべてをベクトル合計することによって与えられるようにされる。言い換えれば、プロセスは、各フレームがＭＡＣ内の整列パラメータによって指定される前のフレームとオーバラップするように、画像フレームを単純に「分配」する。ＭＡＣ内に指定されるもっと一般的な変換の場合、プロセスは、各フレームについて初期のフレームからモザイクへの変換を発生するために、フレームからフレームへの変換を組み込んでもよい。一度、この初期マッピングが確立されると、プロセスは、ステップ１５１２で、順次のフレーム対モザイク整列プロセスの開始点として役立つ画像を選択する。この画像はモザイクの座標系を定義する。一般的に、この選択は、推定された位置、画像内容、画像品質、及び／又はユーザ選択を含む多様な基準に基づいてなされることがてきる。実施形態では、プロセスは、初期作業モザイクによって定義されるような画像位置の境界矩形の重心に最も近い中心を有するソース画像を選択する。この画像は初期モザイクを形成する。この選択の理由は、最終整列に続く画像のエッジにおいて変換画像フレームの歪みを最小にするためである。前端整列プロセスによってＭＡＣの一部分として与えられている更に一般的な画像対画像変換の場合、選択された開始画像を歪ませないで残すために、初期作業モザイク座標系を再計算することが望ましいかも知れない。パラメータ又は疑似パラメータ画像対モザイク変換の選択は、入力画像の性質及び作成されるモザイク画像の性質の双方に依存する。これは、１９９２年５月の「コンピュータ・ビジョンに関するヨーロッパ・コンファレンス」（European Conference on Computer Vision）に発表されたジェイ・アール・バーゲン（J. R.Bergen）、ピー・アナダン（P.Anadan）、ケー・ジェー・ハンナ（K.J.Hanna ）、及びアール・ヒンゴラニ（R.Hingoranl）による「階層的モデル・ベースの動き推定」（Hierarchical Model-Based Motion Estimation）と題する論文に説明されている。例えば、もし画像が平行移動ではなく主として回転移動を受けているカメラから収集されているならば、画像は投影変換を用いて整列させることができる。しかし、もし視野角が１８０°に近づくと、すべての画像を単一のフラットな画像平面に置くように変換すると、モザイク画像の中心から遠くに存在する入力画像の極端な歪みを生じる。現在の実施形態では、画像変換の選択は所望の効果を生じるためにユーザによって明示的になされる。しかし、原理的には、それは入力画像の分析及び画像を共通座標系に整列させるのに必要な変換のタイプに基づいて自動的に行うことができよう。フレーム対モザイク整列プロセスは、モザイク座標系にマップされた開始フレームを初期モザイクとして指定することによって、ステップ１５１２で始まる。ステップ１５１４で、プロセスはモザイクに付け加えられる次のフレームを選択する。実施形態では、フレームは開始フレームから前方及び後方に移動するように、ＭＡＣ内で生じる順序で付け加えられる。従って、フレーム１からフレーム 20までの全フレームの中で、もし開始フレームがフレーム10であったならば、組立の順序は１０、１１、１２、１３、．．．２０、９、８、７、．．．、１となる。代替的に、プロセスは、初期作業モザイク内のフレームの位置から引き出された或る順序（例えば、開始フレームから増大する距離の順序）でフレームを組み立ててもよい。シーケンス中の各フレームについては、モザイク座標系への初期整列は、シーケンス内の前のフレーム（すなわち、前にモザイクに整列させられたフレーム）との整列パラメータを計算することによって、ステップ１５１６で計算される。整列パラメータのこの集合Ｔ_増分を、増分変換と呼ぶ。ステップ１５１５で、この変換は前のフレームをモザイクに整列させるために使用された変換Ｔ_i-1と組み立てられ、現フレームをモザイクに整列させる変換の推定Ｔ_推定が発生される。このプロセスを図１３に示す。推定された変換Ｔ_推定を使用して、プロセスは、ステップ１５１８で、現フレームがモザイクとオーバラップする領域を定義する。次に、この推定は、図１３に示すように現モザイクのオーバラップ領域への整列によって、ステップ１５２０でリファインメントされる。この最終整列が計算された後、新しく整列させられたフレームは、新しい画像をモザイク座標系にワープすることによって、また、図１４に示すように、ワープされた画素で作業モザイク画像を拡張することによって、ステップ１５２２で作業モザイクに付け加えられる。ステップ１５２４で、もしマージされた画像がＭＡＣ中で処理される最後の画像であったならば、プロセスはステップ１５２６で終了する。そうでない場合、プロセスはモザイクにマージされる次の画像を選択するためにステップ１５１４に分岐する。後端整列プロセスに含まれる整列計算は、原理的には任意の計算テクニックを使用して実行することができる。本発明の実施形態では、後端整列プロセスは直接推定法を使用し、多解像度「コーアス−ファイン」リファインメントプロセスでレーベンバーグ・マーカート（Levenberg-Marquardt）反復を使用して整列パラメータを推定する。この計算アプローチが選択される理由は、それが正確で強靱な整列推定を与え、画像整列モデルの或る範囲にわたって適用できるからである。更に、それは計算的に高度に効率的である。なぜなら、それは明示的な探索又は特徴抽出を必要としないからである。計算の複雑性を低減するために、図１２に示すように、ステップ１５１４のＴ_増分の計算は、ピラミッド・レベル２でのみ実行される。一般的には、この初期整列計算は、図１３の最終整列の開始点として働くのに適した推定の正確性を生じるどのようなレベルにおいても実行することができる。最終整列ステップ１５２０はピラミッド・レベル２及び１の双方で反復される。しかし、計算時間を縮減するためにも、レベル１の反復は画像領域の部分集合上でのみ実行される。この部分集合は、「インタレスト・オペレータ」を基準画像に適用し、このオペレータの出力にしきい値を適用し、非最大抑止操作を実行することによって選択される。このプロセスの結果は、反復プロセスで使用される値の累積を制御する画素マスクである。使用されるインタレスト・オペレータのタイプの根底にある原理は、画像グラディエントの大きい値を有する画像点は、推定された整列パラメータ値を決定することに最も強く寄与することである。これは、レーベンバーグ・マーカート、ガウス・ニュートン、及び他の普通に使用されるテクニックを含む多くの推定手順に真である。結果として、実施形態において、プロセスは、画像グラディエントの大きさをピラミッド・レベル１で計算し、これにしきい値を適用し、次にしきい値よりも小さなすべての点を除去し、更に指定されたサイズの窓の中で最大値を除いてすべての点を除去する。このプロセスの結果は比較的にまばらなマスク（すなわち、画像点の小部分のみを通すマスク）であるが、整列パラメータの推定に強く寄与する画像の領域を表すマスクである。一般的には、この同じ目的を達成する他の選択方法を適用することができる。例えば、固定数の点がマスク内に含まれるように（例えば、しきい値を適応的に変更することによって）選択基準を定式化し、最終整列の計算コストが入力画像サイズからほぼ独立するようにすることが考えられる。例示したプロセスの最終ステップとして、図７のステップ７２２では、各種の整列させられた画像が継ぎ目のないモザイク画像７２４を形成するためにマージされる。前述したテクニックの任意のものを使用して、整列させられた画像をマージし、単一のモザイク画像を形成してよい。結論利用可能なソース画像の集合からオーバラップされた領域とモザイクに入れるためのソース画像セグメントを自動的に選択する方法が定義される。基本的システムはソース画像の集合をモザイクに結合する方法を含み、この方法は（i）ソース画像を整列させるステップ、（ii）ソース画像を改善するステップ、（iii ）ソース画像領域を選択するステップ、（iv）領域をマージするステップを含む。他のタイプのシステムも想定される。これらは次のものを含む。１）ビデオ・フレームが受け取られるにつれて、モザイクが連続的に作成され、画像が作成されるにつれて、モザイクがビデオとして連続的に表示されてよいシステム。２）ソース・フレームのすべて（又は多く）の上で一度に作成を実行するシステム。３）ユーザがモザイクを調整及び編集することができるようにし、また各々のそのような編集の後又は要求に応じてモザイクを再生するシステム。ここで、編集はソース画像のシフト、カット、張り付け、及び改善を含んでよい。４）モザイクの第１の版を幾分低減された品質で（計算を縮減し速度を上げるために）発生するシステム。一度、モザイクの最終成分画像がユーザによって選択されると、合成画像がより高い品質で再生される。この場合、最初の発生は、例えば、ワープの複数の適用、又は増分整列及びマージングを使用してよく、その一方で最終モザイクはソース・フレームから直接に作業しながらこれらの操作を反復する。５）モザイクが必要とされるときにのみ、そのモザイクを発生するシステム。ここで、ユーザは所望の基準フレームを指定して、モザイクが発生される。この場合、アルゴリズムは通常すべての整列を増分又はバッチ・プロセスとしてまず計算し、次に要求に応じて所望の視野からモザイクを再生する。（これは余分のワープを避けるために行われる。）ここで教示された動作の装置及び方法は、本発明の例示であることを理解すべきである。当業者は、本発明から逸脱することなく、容易に変更例を案出することができる。DETAILED DESCRIPTION OF THE INVENTION Method and apparatus for creating a mosaic image Background of the Invention This application is a provisional application No. 60 / 021,925 filed on Jul. 17, 1996. It is a non-provisional application based on The present invention relates to a method and an apparatus for creating a mosaic image from a plurality of source images. . Video and digital cameras provide relatively low resolution images and have a limited Cover your sight. Both low resolution and limited visibility issues can cause some images It can be overcome by combining into an extended double image mosaic. Mosaic aligns a set of images to compensate for camera movement, Merge them to create one image that covers a much wider field of view Thus, it can be created from a set of source images. Two of mosaic creation The main steps are to align the images and to make the aligned images large and seamless. This is to merge with the Zyke image. Currently, there are various image alignment methods and systems for mosaic creation. . Mosaic images have been created from satellite and space probe images for many years . In these cases, the appropriate parameter to align the images is the camera view direction Corresponding points in overlapping image areas, known from elaborate measurements of Determined by the trade. How to Use Careful Measurement of Camera Direction Is, for example, a SIGGRAPH by El Macmillan and G Bishop. 95 "Plenoptic Modeling: Image Based Rendering System" (PlenoptiAc Modeling: An Image-Based Rendering System ", L. McMillan and G. Bishop, SIGGRAPH 95). With this approach, the image is Taken from the camera, the movement of the camera is highly controlled and completely circular rotation around the optical center I do. The mosaic created is created by projecting the image onto a cylindrical image plane, So it would be related to mosaicing a complete circle on a single planar image Distortion is avoided. More generally, alignment also allows for accurate alignment of overlapping image patterns. Automatically find incoming image transformations (eg, translation, rotation, scaling) Achieved through image processing techniques. A method based on both image processing is described in “Mosaic Based Image Processing System” filed on January 14 Image Processing System), US patent application Ser. No. 08 / 339,491, And "Application using parallax-based technique" filed on June 22, 1995. Method and System for Image Combination Using " US Patent Application Ser. No. 08 / 493,632 entitled "A Parallaz-Based Technique". Is described in Each of these is incorporated herein. Currently, using these image processing methods to mosaic in real time from video There are systems that can be created. Such a system was introduced in 1996 "SPIE Volume 2736: Advanced Integrated Vision 1996" By P. Burt, M. Hansen and P. Anandan "Video Mosaic Displays", P. Burt, M. Hanse n, and P. Anandan, SPIE Volume 2736: Enhanced and Synthetic Vision 1996, pp 119-127, 1996), and the “ARBA Image Understanding Workshop” in November 1994. (ARPA Image Understanding Workshop) pages 457-465 Hansen, P. Anandan, K. Dana, G. van der Wa And P. Bert (M. Hansen, P. Anandan, K. Dana, G, van der Wal.and "Real-time scene stabilization and mosaic creation" by P. Burt (Real-time sc ene stabilization and mosaic construction). Various image processing methods are required to merge the source image into a seamless mosaic Currently exists. The simplest method is to use a zone where two images overlap One image to another image by calculating the weighted average of the two images Digitally feather in This method is useful if the source images overlap. If they are not exactly aligned over the entire area of the Are significantly different in properties such as average intensity, color, or contrast, Produces a visible, hazy seam. Merge images to avoid seams A more common method is to use an image pyramid to Is to merge at the same time. This method is described in the October 1983 "Graph Vol. 2, No. 4, pp. 217-236 (Bart) Published by "PJ Jay Burt and EH Adelson" A Multiresolution Spline W with Application to Zyke " ith Applications to Image Mosaaics ", PJ Burt and E.H. Adelson, ACM Tra nsactions of graphics, Vol.2, No.4, October 1983, pp. 217-236 (Burt I)) First described. In addition, to cover a certain part of the desired mosaic area, Page fills holes in the mosaic left by lack of source images It is also desired that Mosa using multi-resolution pyramid image processing framework A method of filling holes in a liquid is described in “ICBR”, 1988, pp. 300-302. Moment image, polynomial fit file by PJ Bart Problems with filter and surface interpolation ”(Moment Images, polynomial fit filters, and t he problem of surface interpolation, P.J. Burt, ICPR 1988, pp. 300-302) Described. In addition, the image merging method used in mosaic creation can be used to improve images. There is a case. For example, the “noise” in an image can be determined by simply averaging the source image. In the overlap zone. If one source image is Have a better quality than the source image or the object representation in the scene is If it is clearer, use the nonlinear method to select the “best” information from each source image. You can choose. For example, such a method is described in the 1993 "ICCV" PJ Bart and Earl Korchin on pages 242 to 246 "Enhanced image capture throu" by skiing gh fusion, P.J. Burt and R. Kolczynski, ICCV 1993, pp242-246) ing. Multiple source images should be used to improve image resolution in the overlap area. May be combined in a manner. Such a method is described in "Video Communication and Image Processing" in December 1993. Image Expressions, Vol. 4, pp. 324-335 "Motion Analysis for Image Improvement: Resolution, Occlusion, and Transparency "(" Motion Analysis for Image Enhancement: Resolution, Occlusion, and Transparency ", M. Irani and S. Peleg, Vision Communications and Image Representation Vol. 4, December 1993, pp. 324-335). These existing methods of creating a mosaic provide some of the advantages offered by the present invention. Lack of ability. That is, All source images to obtain the best overall alignment used in the mosaic Effective image processing means to align images simultaneously. Current methods simply align pairs of images It is something to make. For example, to create a mosaic from a series of video frames , Each image is aligned with the previous image in the sequence. Small alignment errors At times that are accumulated and are far apart in the sequence, overlapping image frames May result in poor alignment of the The effect of merging all source images to get the best overall mosaic Image processing means. Current method is to merge only two images at a time . A mosaic of many images merges into one new image at a time Created by: This method may not give the best overall quality, May involve unnecessary calculations. An effective image processing means for merging source images with dramatically different exposure characteristics. ・ The area of each source image to be put in the mosaic is automatically Effective image processing means for selective selection. Practical system implementation for commercial and consumer applications . Summary of the Invention The present invention comprises the steps of selecting a source image, aligning the source image, Selecting a segment of the source image, enhancing the image, How to create an image mosaic, including the step of merging images to form a zig Is the law. Further, the present invention provides means for selecting a source image, means for aligning a source image, Source image segment selection, image enhancement, image mosaic shaping An apparatus for creating an image mosaic that includes means for merging images in order to create an image mosaic. BRIEF DESCRIPTION OF THE FIGURES The teachings of the present invention will be considered in conjunction with the following detailed description in conjunction with the accompanying drawings. Therefore, it can be easily understood. In the drawing, FIG. 1 is a block diagram of the overall system, FIG. 2 is a flowchart showing the selection of a source image. FIG. 3A is a flowchart illustrating an exemplary image alignment method. FIG. 3B is a diagram of an image useful for explaining the alignment process shown in FIG. 3A. FIG. 4 is a diagram of an image showing area selection. FIG. 5 is a flowchart showing an image enhancement process. FIG. 6 is a diagram of a data structure showing a pyramid configuration for image merging. FIG. 7 is a block diagram useful for describing an embodiment of the present invention. FIG. 8 is a process flow suitable for use as the front end alignment process shown in FIG. It is a figure of a chart. FIG. 9 is processed by a system useful for describing the leading edge alignment process shown in FIG. FIG. 4 is a diagram showing an image to be displayed. 10A and 10B are useful for explaining the operation of the leading edge alignment process shown in FIG. It is a figure of an image. FIG. 11A is a process flow suitable for use as the correlation process shown in FIG. It is a figure of a chart. FIG. 11B is a graph of an allowable area for explaining the operation of the correlation process shown in FIG. 11A. is there. FIG. 12 is a diagram of both images useful for explaining the trailing edge alignment process shown in FIG. FIG. 13 shows a first alternative trailing edge alignment process suitable for use with the block diagram shown in FIG. FIG. 3 is a diagram of an image useful for explaining a source. FIG. 14 shows a second alternative trailing edge alignment program suitable for use in the block diagram shown in FIG. FIG. 3 is a diagram of an image useful for explaining a process. FIG. 15 shows a process flow suitable for use as the trailing edge alignment process shown in FIG. FIG. To make it easier to understand, it is best to use the same elements that The same reference numbers were used. Detailed description The present invention relates to an apparatus and a method for creating one mosaic image from a plurality of source images. Related. The present invention provides a high quality image with a wide field of view from a relatively low quality source image. Provide a practical way to get This capability is available for video cameras or digital cameras. Consumer and professional "photography" where cameras are used to provide photographic quality prints. "True photography" can have important uses. In addition, it is Can be used to improve quality. A schematic process for forming a mosaic image is shown in FIG. This is image source 1 01, including a series of processing steps 102 to 106, and a mosaic output unit 108 . In addition, human operators see the results of the processing steps and interact with the selected steps. There is an optional means 109 for controlling the operation.Source 101 of both images The mosaic creation process begins with a set of source images. These are the various image Sensors (eg, video cameras, digital still cameras, and image scanners) "Live" images, various storage media (for example, video tape (V CR), images coming from computer files), synthetically generated images (eg (Eg, computer graphics) and processed images (eg, Generated mosaic). The mosaic creation process involves five basic steps.Step 1: source image selection 102 A set of images to be combined into one mosaic is selected from the available source images You. This may be done manually or automatically. The selection process is the intention of the mosaic Find a set of good quality images that cover the region and content that was created. When the mosaic is constructed from a series of video frames, this selection step It may include indicating the first and last frames included in the mosaic. this The selection indicates that all intermediate frames should be used. Start frame The frame and stop frames start or stop the systematic sweep operation of the camera, then The video camera itself, such as when motion is automatically detected by the system It may be selected via body control. When a mosaic is built from a collection of snapshots, It may be desirable to interactively select a source image. In addition, selecting a source includes cropping a sub-image from a larger image. Good. For example, a user cuts a photo of a person in one source image and modifies it. You may merge it with a new location in another image of Zaik.Step 2: Image Alignment 103 The selected source images are each aligned with the corresponding part of the adjacent image. Preferably, they are aligned with each other. Alignment involves geometric transformation or "warping" Accompanied by discovery. After the warping has been applied to all of the selected images, These images are arranged in a common coordinate system. A geometric transformation is usually a set of parameters Is defined for These can be shifts, rotations, dilations, projections, higher-order polynomials, or General flow (eg piecewise polynomial with a different set of parameters at each sample point) Expression). Warping Technique was filed on April 18, 1996 Computationally Efficient Digital Image Warping " US Provisional Patent Application No. 60 / 015,57 entitled cient Digital Image Warping). No. 7. This application is incorporated herein by reference. The alignment can be done interactively via the user interface 109, It lets the user indicate the corresponding points and then aligns these points (or To find the transformation parameters (which most closely match according to the minimum error criterion Interactively specify conversion parameters (eg, mouse or other pointing (Using a device). Furthermore, the alignment determines the warp parameter that gives the best match between adjacent images It can be performed automatically by various image processing methods. Alignment is a manual operation Steps and automatic steps may be combined. For example, the operator manually adjusts the image Line, and then invoke an automated process to create a word line for accurate alignment. May be refined. The alignment process may interact with the source image selection process 102. The alignment is Information about the degree of overlap, and in the case of video, the speed of camera movement. Provide information about the degree. Discard images if image overlap is too large Abandonment Or if the degree of overlap is too small, add a new image. You may get. If the camera movement is too large, the image may be discarded, so May result in motion blur. The sudden change in camera movement is mosai To signal the intended start and stop of the video sequence used to create the May be used for The present invention provides an image alignment method that considers all frames simultaneously. Two paintings A conventional method of aligning two images by minimizing some error function between the images Rather than the alignment approach, the approach disclosed here involves image overlap By minimizing the error function, which is the sum of all the errors between Provide a way to align all images at once or a subset of images Plan.Step 3: Select area 104 Sub-regions of the source image that overlap and align are put into the mosaic Selected for. The selection process effectively partitions the mosaic into sub-regions , So that each partial region represents a part of the mosaic taken from each source image. The selection may be made manually or automatically. Manual selection is like a mouse A border on the display of adjacent overlapping images using a simple pointing device. Draw a line to make it interactive through the user interface 109. May be. Automatic selection can be based on location (eg, distance to the center of each source image) or Appropriate between adjacent images based on quality (eg, resolution or motion blur) Discover the perfect cut line. In a more general selection approach, some overlaps are averaged or patterned. May be linked by a site selective fusion.Step 4. Image enhancement 105 Individual images should either improve their contrast or sharpness, or To adjust them to match the corresponding properties of their neighboring images. It may be further processed before zing. Improvements are based on intensity, color, and filter manipulation. Good. The parameters for these operations may be determined manually or automatically.Step5. Merging 106 In this step, the selected source images are combined into a single mosaic. This It looks like a single image without seams or other merge processing artifacts. It is desirable to do so in a way that produces Model from selected area of each source Simply copying pixels on the Zyke does not generally produce satisfactory results. Conte Between adjacent segments that have substantially different characteristics such as last, resolution, or color Boundaries appear as visible seams in the mosaic. Methods for combining images include feathering, multi-resolution merging, averaging, and fusion. Including If the alignment is good and the neighboring images have the same characteristics, feathering It is satisfactory. Multi-resolution merging can be used to image multiple resolution levels In the image / wavelet image conversion domain. This is visible in a wide range of conditions Effective for removing seams. Averaging the source image in the overlap area Means to improve the signal-to-noise ratio when are of equal quality and precisely aligned And appropriate. Image fusion is a method where the selection is made at each location, scale, and orientation. This is a generalization of the multi-resolution merging method performed between source images. It often happens when the source image does not cover the entire area of the desired mosaic. Mosa There are holes in the iku that are not covered by any source image, Areas around the merged source image that do not extend to the desired mosaic boundary May exist. These areas may be left blank (eg, black Assigned a unified color like), they are filled in a way that is inconspicuous May be. The latter effect can be achieved by multi-resolution interpolation and extrapolation, or Same as image "patch" or adjacent image area taken from one piece near the image Multi-resolution merging using artificially generated patches And may be generated by: In some cases, objects from one image are in front of a background given by another image It may be desirable to combine the source images in such a way as to appear in this The effect is to focus the first image along the intended foreground object boundary (eg, a human face). Achieved by cutting carefully and then inserting the resulting pixels into other images . Edges have aliasing (jagged appearance due to image sampling) Images may be mixed to avoid shading from one source in another. of They may be combined in more complex ways to make them fall on background objects. The boundary is Mixing is automatic, although it may be specified manually or automatically.Step 6. Mosaic formatting 107 Once the mosaic is completed, it is necessary to achieve the desired image format It may be further edited or processed. For example, it is warped to a new coordinate system, It may be cropped or enhanced via image processing techniques. These steps May be performed automatically or manually via the user interface 109. No.Output means 108 The final mosaic composite image is given or printed on the display Or stored in a computer file. In addition, mosaic is a new mosaic It may be used as a source image 101 for use in creating an image.User interface 109 A human operator can access any of these processing steps via the user interface. Or all may be observed and controlled. Typically, this interface is Display device and a pointing device such as a mouse or light pen . Operators can view source images, image areas, and Operations on these images may be specified. In addition, the operator may have access to a slider bar or other real Alternatively, the operating parameters may be controlled via a virtual “knob”. Operators were different Specify the corresponding point on the image or use the virtual knob to display the image on the screen Manually assist in image alignment by pushing, stretching, or rotating May do it. Standard user interface methods (eg, keyboard and pointing) Device), the present invention provides a unique user interface for video input. System by allowing the user to move the video camera in a predetermined motion. To be able to interface with system functions. Each such predetermined Camera operation is interpreted to control certain aspects of the mosaicing process. Note that the order of the mosaic creation steps may be interchanged in some cases. And some steps may be omitted. For example, improvement steps After the segment selection step, or before the alignment step, or before the image selection step Or may not be performed at all.Image selection The source image selection step 102 includes additional steps such as the steps shown in FIG. May be included. The source image contains several items, including content, quality, and degree of overlap. The selection may be based on several factors. Generally, the source image selection professional The process is iterative, so some images initially selected may be discarded later, Images that were not initially selected may be added later.Selection based on content 201 Normally, selection based on image content is performed manually. This is from a larger image May include the step of cutting the small pieces, which are inserted into the new image May be. Usually, such selections and cuts are made using a pointing Executed on a computer display using the device.Quality based selection 202 The selection based on image quality may be made manually or automatically. From the video signal When there are a large number of source images, such as when creating a mosaic, automatic selection is common. Commonly used. This selection process can be, for example, motion blur or poor Images that have deteriorated due to poor exposure may be avoided. If the source image is a video sequence, one motion blur is It may be detected by first measuring the image movement between frames. Blurred The degree increases in proportion to the frame movement, and as a fraction of the time between frames, It increases in proportion to the exposure time for each frame. Moving between frames aligns images It may be provided by the process 103. In addition, the exposure time is shared with the source video. May be known as part of the information provided to the user. The product of the exposure time and the movement The image is significantly degraded by blur when representing large distances compared to pixels in You. An alternative method of detecting motion blur in a video sequence is When an image appears sharp in the other direction but blurs in one direction, It is to measure the degree of blur. A simple filter applied to the image Pattern orientation may be measured at each pixel location in the Data or oriented edge detector). The extended area of the image or the entire image If the resulting orientation when pooled is abnormally dense in one direction , Which may be taken to indicate motion blur. The orientation is the By comparing stirling with clustering of adjacent overlapping images Therefore, it may be determined that the objects are abnormally dense. The method of determining exposure quality is based on a set of spectral frequencies within a set of source images. Energy may be measured. A set of images of a given scene obtained with different exposures For images, assume that the image with the highest energy is the image with the best exposure May be taken away. The energy within a set of spectral bands is Calculated by calculating the various level fluctuations of the Ann Pyramid representation No. Several bands of energy overlapped in one image If the image is low compared to that of the May be rejected.Selection based on overlap 203 Source image frames provide a reasonable degree of overlap between adjacent images It is desirable to be selected as follows. This selection process is partly an application And the computational resources available to the mosaic creation system. In general, If the overlap is large, it is good to achieve good quality alignment and merging It just gets easier. On the other hand, if the overlap is large, a model that covers a given area To create a Zyke, so many source images are needed, and Resource costs increase. The degree of overlap depends on the alignment process 103. Is given to the selection system.Image alignment Image alignment step compensates for factors such as camera movement and lens distortion It is desirable to do. Camera movement leads to a simple projection transformation between overlapping images Or produce more complex disparity transformations related to the 3D distribution of objects in the scene Can be At present, there are alignment methods corresponding to these factors. here In order to align the set of images distributed in two dimensions on the mosaic image area, Defines how each image can be aligned vertically and horizontally with respect to adjacent images I do. Existing methods of aligning pairs of images when applied to two images Geometric transformation that maximizes the calculated image match or alignment over the overlap region of the image Gives a means to discover. Various calculated values including cross correlation and least squared error Can be used. A new way to align three or more source images simultaneously is to use Produces the best global match for all source images when applied Generalize the procedure used for image pairs by finding geometric transformations . The best global match is the match measure for pairs of overlapping source images. Defined as an appropriate combination of arithmetic values. In general, the best global alignment The task of finding is computationally difficult. New method finds best global alignment Introduce practical measures. FIG. 3a shows a three-step process for finding a global alignment.Step 1: Sub-mosaic creation 301 First, the source images are assembled into one or more submosaics in a sequential process. It is. This process involves one or more source images used as seeds. Begin by selecting an image. Next, add other source images one at a time By doing so, a mosaic is grown from each seed. Each new image It is aligned in pairs with the existing mosaic and then incorporated into the mosaic. Substitute Typically, it is aligned with one of the images already in the mosaic, and its alignment Parameters and the alignment of the overlapping images are mathematically combined to The parameters for aligning the pattern are obtained. The sub-mosaic aligns each new video frame with the previous frame. By queuing, it is usually created from a video sequence. New submo Zyke may be initiated whenever there is a significant change in the direction of camera movement. This processing step does not give the best overall alignment of the source images, Approximate alignment of subsets of images based on the subset of possible alignments of both images Just give.Step 2: Sub-mosaic approximate alignment 302 The sub-mosaics are coarsely aligned with each other. In practical systems, this step This can be done manually or from a camera orientation sensor such as a gyroscope. It may be based on coarse camera orientation parameters to be determined. Furthermore, alignment is sub- Have a basis for the alignment of pairs of mosaics or are adjacent using known image processing alignment methods The basis may be on the pair of frames selected in the sub-mosaic. Adjacent sub mosai It is often not possible to exactly align the clips. Submosa in step 1 Alignment of pairs of Iku results in accumulation of small alignment errors on the expanded submosaic. It is possible to As a result, each sub-mosaic is May cause some distortion.Step 3: Iterative refinement 303 Once a coarse global alignment of all source images has been generated, the alignment is repeated Refinement through the reconciliation process. Adjustments are hierarchical, for example, multiple solutions It may be implemented within a pyramid image processing framework. Use this method First, an adjustment is calculated for the low resolution representation of the sub-mosaic. This is the whole Improve large-scale alignment of strategic mosaics. Next, the sub-mosaic is the smaller sub-mosa Decomposed and adjusted at a higher image resolution for these sub-mosaics Is repeated. This improves the overall mosaic alignment on a medium scale. Small submo Zaik is again broken down into smaller sub-mosaics, and The columns are adjusted. These segmentation and alignment steps are performed to achieve the desired accuracy and image resolution. (Possibly at the level of the individual source images). The adjusted alignment of the individual frames, and the small sub-mosaics, are described in Fine-Co -Fine (coarse) procedure (from step 2) May be used to recreate a sub-mosaic. "Fine-Coarse" And the "coarse-fine" pass is repeated until the desired overall alignment is obtained. May be. Inventor confirms that a single pass is sufficient for most applications did.How to adjust alignment The method of adjusting the alignment in step 3 is based on a given source image (or sub-mosaic). Global) with all of the adjacent overlapping images (or sub-mosaics) Consider alignment. For all pairs of overlapping adjacent images (sub-mosaics) One matching calculated value that combines the calculated values is calculated. Then this merged match A geometric transformation parameter that optimizes the calculated value is found. Global alignment is one Sometimes performed on one image (sub-mosaic) or image (sub-mosaic) At the same time. Each of these techniques is described below. This is described as methods 1 and 2 below. In both cases, the adjustment is an overall mosaic Is systematically circulated for all images (sub-mosaics) that form. These steps may be more clearly defined as follows. That is, Sequence {I of N source images (or sub-mosaics)_k｝ Is given (O <k <N-1), all the images from all overlapping image pairs One global alignment error is calculated by adding the alignment errors. "Sorting A sequence is a set of transformations ｛T_k変換, and each transformation T_kIs image I_kThe mosaic of common Define to warp to the coordinate framework. If W_kIs converted T_kBy wa Image I_k, The overlap is the aligned image W_mas well as W_nIs calculated between every pair of. The pair of such images is N^TwoThere are individuals. Oh If the overlap exists, the alignment error E_mnCan be calculated. For example, E_mn Is the sum of the squares of the differences in image intensity in the overlap region, cross-correlation, or image It can be any other calculated value of the quality of the alignment. The image has overlap If not, E_mnIs zero. Therefore, the global alignment error E is E_mnN^TwoPieces The sum over all pairs of images. There is no overlap between image pairs Standard methods are used to avoid confusion. At least some of these methods Only alignments with a certain overlap area or a certain number of overlap pairs. Including consideration. The calculated value of each image pair match is calculated in the overlap area It may be normalized by dividing the value. The mosaic coordinate system does not matter in the present invention. It is one coordinate system of the input image However, other coordinate systems calculated by other methods may be manually selected by the user. The selected coordinate system may be used. As used in this application, global alignment minimizes global alignment error E. Set of transformations into_k｝. This set of transformations gives the global alignment error E It can be found using a minimizing method that minimizes. For example, consider the global image alignment proposed in FIG. Error function for this alignment Is calculated from all pairs of images that share the overlap region. For example, shade The shaded area 321 is the area between the frames 311 and 312. This is a wrap area. Region 322 is the overlap between frames 313 and 314 It is. The example method has been defined using all image pairs, but increases the speed of computation. Or related image pairs can be determined in advance by some other process. If so, a smaller subset of the image pair may be used. For example, Alternative method of calculating the error function for all image pairs sharing the overlap region Is to use only adjacent image pairs. Define adjacencies between image pairs One possible way is by F. Orenhammer in 1991, "(Oren Hummer) Calculation Survey, Vol. 23, pp. 345-405 "Voronoi diagram" (see "Voronoi diagram") Diagrams, a Survey of Fundamental Geometric Data Structures ", F.Aurenhamm er, (Aurenhammer) Computing Surveys, Vol 23, 1991, pp 345-405). And Using the center of each frame as the core of the Voronoi cell, Frames with shared Voronoi cells are defined as "adjacent". For all overlapping areas or for only the adjacent image pairs And simultaneously minimizing alignment errors would be computationally expensive. Inventor calculates Several simple implementations that reduce the complexity of have been defined.Method 1 − Analytical optimization with “Coarse-Fine” refinement First, a match calculation is calculated between pairs of overlapping frames. Coincidence meter The result is a small range of parameter values centered on the location of the current predicted best match. Expressed as the opposite surface. These surfaces store their alignment calculations. Can be explicitly described as Can also be. Thus, an estimate of the overall best alignment is based on the pair of overlapping frames. Can be determined analytically based on the set of matching surfaces. Source image The determined best match position is warped and the matching surface is calculated again. The whole alignment The process may be repeated several times to improve continuously. These steps are , The first alignment is based on a low-resolution representation of each source, and the last refinement is Further implementation in a “coarse-fine” style to be based on a high resolution representation of the source May be. The reason that the iteration in this method is desirable is that the pairwise coincidence calculation surface Global alignment uses more complex transformations, while It is because it is estimated. For example, the coincidence calculation surface is calculated only for translation However, the global alignment of the image with respect to multiple neighboring images Will include conversion.Method 2 -Local alignment refinement When the set of source images is roughly aligned, the alignment parameters for each image will overlap. May be adjusted to optimize the match to adjacent images. This is for each source image Iteratively, and then several times. In addition, the process is "coast May be implemented as a "fine" refinement. The execution is serial and one image Is adjusted at each iteration, or multiple overlapping source images are It may be aligned simultaneously with each adjacent image.Select area Each point in the final mosaic may be covered by several input images. these One of the input images is selected to define the pixel value at that point in the mosaic desirable. SR_kTo the image (converted) W contained in the mosaic_kIs a partial area of You. Several methods may be used to select the SR.Method 1: Proximity The simplest way to select the SR is by approaching the center of the image. Mo Zike pixel p has some images W_kShall be covered by The proximity criterion is , For the value of image p, its image W with the center closest to p_kTaken from To choose. This grid pattern is known as a “Voronoi grid” and the resulting S R is a convex region. In this case, the boundary between two adjacent images connects the centers of the two images. It is a bisector of the following line segment. Voronoi Go board is based on the above-mentioned theory by Orenhammer Sentence Is described in For example, if the input images have only horizontal translation, each input image Only upright rectangular strips around the center contribute to the final mosaic. FIG. 4 shows an example of region selection. Frames 401, 402, 403, and 404 are This is the display after sorting. In the created mosaic 410, the area 411 is a frame 401, region 412 is taken from frame 402, and region 413 is framed. Area 414 is taken from frame 404 and area 415 is taken from frame 403 Taken from frame 402, region 416 is taken from frame 403.Method 2: Image quality The SR may be selected based on the quality of the image. Assigned to pixel p of the mosaic The values obtained are taken from the source image determined to have the best image quality in that respect. It is. Image quality ratings such as contrast or motion blur It may be based on criteria. As an example, the size of the gradient may be used. This That is, the sharper the image, the higher it will be. Such selection criteria were in 1994 "Method and Device for Fusing Images" granted on June 28 (Method for Fusing) No. 5,325,449 entitled Images and Apparatus Therefor) Described. This patent describes the tracking of image gradient calculations. The book has been incorporated. Use all overlapping images covering a specific area Then, the image with the highest quality is selected to represent the region.Method 3: Align The degree of alignment is often not uniform in the area of overlap between the two images . The cut lines that define the boundaries of the SRs in these images are central to points where alignment is particularly good. It is desirable to place it so that it passes through the overlap area along. This is the final Minimize misalignment along mosaic seams where misalignment is most noticeable in the mosaic . To find this center of the point, at each pixel in the overlap area, a residual misalignment -The vector is estimated. Next, the overlapping area is divided into A cut line that minimizes the total is found. Better alignment near the center of the image When the alignment deteriorates as it goes to the periphery of the image, a Voronoi-type grid The array is an approximation to this criterion.Image improvements Individual images may be used to improve their contrast or sharpness or To adjust these characteristics to be equal to the corresponding characteristics of the adjacent image, It may be further processed before logging. Improvements are based on intensity, color, and filtering. This The parameters of these operations may be determined manually or automatically.Merging In effect, simply copy the pixel values from each SR of the source image to the mosaic It may not be desirable to assemble the source image into a mosaic Not. This produces a visible seam. Therefore, blend adjacent image regions together It is desirable to do. A particularly effective mixing method is to first combine the source image with two or more bands. Decompose into a set of spatial frequency components, and then separate the image of each band separately into the Merge on the transition zone proportional to the average wavelength. A known embodiment of this method is Laplacian pyramid to decompose the image into their bandpass components Use image transformation. About using Laplacian Pyramid for merging images See Bart I, supra. This publication uses Laplacian Pic How to create Lamid, how to create images from Laplacian Pyramid It also explains how to create it. Briefly, two Laplacian pyramids are created, but both pyramids are Mid is based on an image having the size of the final mosaic M. One pyramid M Is for the final mosaic image M and the other pyramids L are for the current image Things. Each source image I_kFirst, T_kAligned with the mosaic by Image W_kIs converted (warped) to Next, the warped image has the specified value Fill in the pixels or use a more general extrapolation method described later to Expanded to cover the area. Next, Laplacian pyramid L is W_k Is calculated. The value from pyramid L is W_kSegment SR coming from_kof Based on the location, it is copied to the appropriate location in pyramid M. This is for each image After that, the pyramid corresponding to the area covered by the input frame Every element in the de M has an assigned value. Next, the final mosaic M Is created from Laplacian Pyramid M, giving a seamless mosaic You. In one embodiment of the present invention, the multi-resolution merging process comprises: It is performed based on the gray scale converted version of the image, not the image itself. Dew To merge images with significantly different light characteristics, the images must first be transformed by a logarithmic transformation. It is converted on a pixel basis by inverse compression scalar conversion. Multi-resolution merging Performed on a scalar-converted source image and then obtained through merging By inverting the scalar transform for the image, the final mosaic is obtained. An example where this procedure is useful is to merge images with different gains. Is the case that occurs normally. Such images can be displayed on video with automatic gain control. Still turtle taken by camera or applying different gains to each image May be taken by la. The gain conversion can be approximated by multiplying the image intensity. Wear. For smooth gain conversion, apply logarithmic transformation to the image before merging. By use, better mixing is obtained. The converted images are merged , The exponent (or antilog) of the mixed transformed image gives the final result. For color images, the above transformation is applied only to the intensity component, depending on the image environment. Or may be applied separately to each color signal component.Area selection in the pyramid An embodiment of the multi-resolution merging process is given to Bart I. This fruit The embodiment implements a wrapper to decompose each source image into a regular set of bandpass components. Use the cyan pyramid. When two images are merged, A weighting function for one (eg, W₁) Is Gauss Pyramid of the mask image Can be defined by creating a code. The mask image is in the area SR₁ Inside is defined as 1 and outside this region is defined as 0. Gauss such Pyramid is W₁Each corresponding sample of each of the Laplacian pyramids Gives the weight multiplied by This weighting follows the proportional mixing rule. If 2 Only one source image W₁And W_TwoExists and the region SR₁And SR_TwoIs the mosaic area Multi-resolution merging follows a simple procedure if it represents the complement. That is, ( 1) W₁And W_TwoA Laplacian Pyramid for (2) Area SR₁And SR_TwoBuild a Gaussian pyramid for the masks inside. (3) Multiply Laplacian and Gaussian components on a sample basis for each source You. (4) Add the resulting product pyramids. (5) rotate the desired merged image To do this, an inverse Laplacian pyramid transformation is performed. In the present disclosure, two of the methods defined by Bart and Adelson are described. We introduce refinement of this.1. Weighted addition with normalization If more than two images are used, each segment SR_kBut a hole or o If the mosaic image area is accurately covered without wrapping, The procedure can be generalized to merging any number of images. For partial area All weights given by the Gaussian pyramid are exactly It is summed to one. But if SR_kMust accurately cover the mosaic image area Then, the sum of the weights at each sample position may be 1. In this case, the image May be combined as in steps 1 to 4 above. Here, two new Steps are introduced. That is, (4b) Gaussian pyramid is sample Each value in the combined Laplacian pyramid summed by Divide by the corresponding value in the combined Gaussian pyramid. This is Lapra This has the effect of normalizing the cyan value. The final mosaic is reversed, as in step 5. Recovered via conversion.2. Simplified choice To create a combined Laplacian, the weighting function for proportional mixing is simply A simplified method that is implicit may be used. In this procedure, each source image The Laplacian pyramid for is created as before. (Step 1). Gaussian pyramids are not created. (There are no steps 2 and 3.) Segment SR_kSource images W falling in the area of_kLaplacian pyramid By copying all samples from all levels of the Thus, a Laplacian for mosaic is created. (Step 4). Mosaic before Is obtained via the inverse transformation in the same way as. (Step 5). This simplified way Is the source image segment SR_kAccurately cover the mosaic area Can be used when not needed. The inverse Laplacian-pyramid transformation is Selected to provide the proportional mixture used by the resolution merging method This has the effect of blurring the bandpass component that has been applied. Lap created with odd width generation kernel The spatial position (i, j) at the level 1 of the Rasian Pyramid is in Cartesian coordinates x = i2¹And y = j2¹It is noted that If these coordinates are_k SR for samples in Laplacian Pyramid_kIf you fall into The sample value is copied to the Laplacian for mosaic. This simplified method is shown in FIG. To make the presentation clearer, As shown in FIG. 6, generalization of the image to a two-dimensional case is simple. Three lines Image W₁, W_Two, And W_ThreeIs given, the final mosaic is Image W₁, Pixels W_Two, And pixels 11 to 16_ThreeCreate from Is done. M₀The value of (x) is assigned as follows. That is, pixel X = 0. . . 4 For, they are images W₁Also for x = 0. . . Generated as 4 Laplacian Pyramid L₀Taken from the same level of (x). Pixel x = 5. . . For 10, they are images W_TwoFor x = 5. . . Generated as 10 Labrachian Pyramid L₀Taken from (x). Pixel x = 11. . . 1 For 6, they are images W_ThreeFor x = 11. . . Generated as 16 Laplacian Pyramid L₀Taken from (x). M for the rest of the pyramid_iThe value of (x) is the position 2 in the mosaic image M from the corresponding i-th level in the Laplacian pyramid of the image contributing to ix Taken. Therefore, M₁For (x), x = 0. . . The value of 2 is the image W₁Lapu Taken from the Lasian Pyramid, x = 3. . . The value of 5 is the image W_TwoLaplacia Taken from the Pyramid, x = 6. . . The value of 8 is the image W_ThreeLaplacian Pi Taken from Ramid. In this example, the top level is a single image, as in most practical cases. Laplacian pyramids are not created until they are only prime. In such cases , The top level of the pyramid is taken from the same level of the Gaussian pyramid in the image. Can be Therefore, G_ThreeIs the value taken from the Gaussian pyramid of the corresponding image Structure Is done.Image boundary processing Each source image W is on the same coordinate system and sample grid as the final mosaic Is defined by However, they are generally smaller than mosaics. Laplacian Pyramid is each image W_kCovers extended image area when created for The image, at least implicitly, until it reaches the entire area of the final mosaic. It is convenient to insert them. This extension is desirable because the pics that contribute to the final mosaic All samples from the lamid (ie, those with non-zero weights of Method 1; Is the SR of method 2_kThat fall in the area of the image) have a well-defined value. To prove. This extrapolation can be performed on the original image or when the pyramid is created. Can be. If performed in the original image area, the segment SR_k It is desired that extrapolation ensures that points in are not within the distance d of the boundary of the image. New Here, d-D2^MWhere M is the Laplacian used for merging. Pyramid top level, D is the filter used to create the pyramid A small integer related to the size of the kernel (eg, D is an even number of Equal to half the linear filter kernel size of a symmetric filter with a loop). A simple method of image area extrapolation is to duplicate the value of an edge pixel. mosaic Another method that may be used to create is to copy corresponding pixels from other source images. Is Rukoto. If these other images have W_kNoticeably different from If they are_kThe density may be converted so as to have the same characteristics as. Extrapolation is 300-302 pages of 1988 "ICBR" by PJ Bart "Moment Images, Polynomial Adaptive Filters, and Surface Interpolation Issues" ("Moment Images, Polynomial Fit Filters, and The Problem of Surface Int erpolation, "P.J. Burt, ICPR 1988, pp. 300-302). May be done during pyramid construction.Color image There are several approaches to processing color images. Color image is optional As a 3D image with accepted color standards (RGB, YUV, Lab, etc.) Can be represented. Image alignment can be performed with only one component (eg, component of intensity Y). In that case, normal monochrome alignment techniques can be used. Alternatively, The alignment may minimize an error function that includes more than one component. Merging of an image is performed on a single component such as a component of intensity Y, for example. Where the other two component signals are taken directly from the merged image. It is. Alternatively, merging of the image may be performed on each component (eg, the R, G, B components, or L , A, b components) separately, and each component is processed as a monochrome image. Good. For monochrome mosaics, splices blur the seams between images Allows a human observer to identify that it is composed of sub-images Can not do. If splicing has taken place, the basic lightness balance Often, it is not even necessary. The fusion of partial images occurs only when The force is sensitive to differences in brightness at high spatial frequencies (eg, seams), but low This is because it is not sensitive to spatial frequencies (eg, across partial images). On the other hand, chrominance differences are more effectively perceived at low spatial frequencies. Therefore, the joint Even when the eyes are blurred between two partial images in the mosaic, the partial images are not aligned. Color-correct all of the sub-images after they have been spliced together If care is not taken, color imbalance between the images can be discerned. Here, based on a comparison between the colors in the overlap region between the images, A method for achieving color correction between partial images in a single image will be described. Two overlaps For an image to be processed, the method brings the second image closest to the first image To determine the color space affine transformation (between the R, G, B component signals) Performing a least-squares fit over the wrap region. Next, A transform is applied to the entire second image. Overlap three or more objective functions Extending an image to an image simply involves applying the affine transformation to all but one of the images. Imputed (these transformations relate to the untransformed or reference image), RGB squared for all pixels in all overlap regions This is done by adding a color difference. The physical process of image formation provides a strong motivation for affine color correction. Pretty common In a natural environment, affine transformations in color space can be achieved by (a) different acquisition systems Color space differences between two images due to different acquisition times, (b) illumination due to different acquisition times Difference in bright spectrum, (c) cloudy or other half in one image not appearing in other images Transmission medium, to compensate. This is the 1980 "MITRLE" No. 122, Pages 214-221 (a paper by M.H.Brill, published in MIT RLE Progres s Report No.122 (1980), 214-221) by MH. It is stated in the sentence. The execution of the algorithm in context is outlined below. 1. Applying the above image matching algorithm only to the luminance image, , And apply a luma image derived transformation to all three component color signals. 2. Reference image G₁For each non-reference image G_kBest between and reference image To determine the color space affine transformation of The least squares adjustment of time is performed. The objective function covers all overlapping regions (eg, partial (A) over all pixels in image i and k)_kG_k(X) + b_k-A_iG_i (X) -b_i)^TwoIs the sum of Where G_k(X) at pixel position x of image k (R, G, B) column vector_i(X) is at pixel position x of image i (R, G, B) column vector. A_kAnd A_iIs a 3x3 matrix, b_iAnd b_kIs the column 3 vector. For reference image 1, A₁= I and b₁= 0 It is. Solving the affine parameters including the matrix A and the vector b , Solving 12N-12 simultaneous linear equations at the same number of unknowns. here Where N is the number of partial images in the mosaic. 3. Separately into the R, G, and B color signal components using the above algorithm Perform an image spline. 4. Verify that the image mosaic is within the feasible digital value range. It replaces each component in the image with a constant chosen to remove all negative pixel values. This is done by adding to the signals (ie, R, G, and B). Then the image Each component by a constant sufficient to reduce the maximum value to the maximum obtainable digital value above Scale. If the image is incompletely aligned with respect to the size of the represented object, Replace individual pixel values in the objective function of step 2 above with local pixel averages be able to. If the alignment is poor at the pixel level, the image overlap area is still If identifiable, color signal and component correlation within each overlap region Modify step 2 to optimize the affine transformation to match the matrices May be. The secondary conversion characteristic of the correlation matrix is described in “J. Opt. Soc. Am. A” in 1994. , 11 "by G. Healy and Dee Slater in 3003-3010 Published papers (a paper by G, Healey and D. Slater, published in J. Opt. c. Am. A, 11 (1994), 3003-3010) describes color recognition. new The objective function is for all overlapping regions (eg, for partial images i and k). (A_kC_kA_k ^T-A_iC_iA_i ^T)^TwoAnd (A_km_k+ B_k-A_im_i-B_i2) weighting This is the sum of the sums of the totals. Note: A_kIn order to completely specify Adding a similar term comparing the third moment, which is transformed as a tensor desirable. Where m_kAnd C_kIs the average of the three vector signals and the image_iAnd k 3x3 correlation matrix between signals for pixels in the wrapped area, where m_iAnd C i is defined similarly (still within the overlap of i, k). Minimum of result 2 The power problem is led to a non-linear set of equations in the affine parameters. If these If the amount of computation needed to solve this equation is too large, The complete 3x3 matrix being transformed can be replaced with a diagonal matrix. That In this case, the least squares equation is linear with the square of the matrix element and can be easily solved. it can. In the special case of two overlapping images, each color component of image G2 is , An image having a mean and variance that, by transformation, match the mean and variance of image G1 G2 '. G2 '= aG2 + b here, a = sigma 1 / sigma 2 b = average 1- (sigma 1 / sigma 2) average 2 Mean 1 and sigma 1 are the color signal components of interest for image G1 (reference image). Mean and standard deviation of the pixel values in the image G2 (inspection). Inspection image). In each application example, further elaborate color adjustment Before you try, you should check if this step provides enough color correction. is there. The basis for this alternative method of processing color images is to intersect between the partial images in the mosaic. The use of overlapping image areas to effect fin color correction. Affine color correction has been discussed for some time in the areas of color reproduction and machine vision, Did not achieve great results. Because to find the correct affine transformation, Usually, very restrictive spectral assumptions or the basis of a correctly segmented region in an image This is because a definition of a quasi-color was required. Overlap between inspection and reference images The existence of these eliminates these problems and therefore allows the affine correction to be calculated directly. And be able to. This approach is based on a series of image overlaps. It can be transitively extended to all other images connected to the sub-image.Interactive observation of alignment After alignment, the images are (optionally) provided to the user. The mosaic presentation is This is done in the same way as the presentation of FIG. 3B, where all images are transformed to a common coordinate system. The observation is given that the position of each image in the mosaic is the same as the original image It is done as follows. One such possible interaction is a cursor or other pointer. This is done by moving the moving device across the mosaic. Curso Video frames contributing to the area in the mosaic that contains the video Displayed, while contributing regions and image boundaries are displayed on the mosaic . This dialog allows the operator to check the quality of the images and their alignment. To do. For example, the operator may have a poor quality (eg, blur noise) noise. Delete a frame while all the images in the mosaic have at least one input You may check that it is covered by the image. One of the effects of the above dialogue is to give the user a new way to watch the video. And Control the direction and speed at which the pointing device moves over the mosaic By doing so, the user can now control the display of the video. In particular , The user can control the forward / backward video display and control its speed so Wear. Additional user interaction may be desired to correct poor alignment . Automatic alignment can be used, for example, when images overlap May fail when the image has a small amount of noise, or when the image has few discriminating characteristics. I don't know. In such a case, the user may, for example, use the mouse to drive the frame. By clicking or clicking on common features that appear in unaligned images. The images may be manually aligned. The system does not change the frame alignment from this process. Permutations can be calculated. Such a conversion is an initial guess for further automatic alignment. Can work as expected, and now automatic alignment is more May give good results.Device control based on video motion analysis A customary method of activating a data processing device or computer program is " Press the "On" button or its equivalent, then press the "Off" button or its equivalent That is. However, in some cases, the operation of the device depends on the information it is processing. Therefore, it is controlled. One example is a "voice active" answering machine, which Turn off recording of incoming messages when no voice signal is detected on the telephone line. The present invention can only be seen when the camera is moving or the moving object is visible Only for controlling devices and computer programs with related operations , Using a video motion analysis module. Video Motion Analysis is based on the book Digital Video Processing by M. Tecalp (Dig It is well known as described in ital Video Processing). Camera movement or The image objects are analyzed and specific motion patterns are extracted from the device by a computer program. Interpreted as a command to the program. One application of motion control is in a second frame or image sequence of a video signal. Is to make a panoramic image from (video brush). The control of this device is as follows Can be done. In other words, the mosaic of the image is the two It only happens during the period. In this example, after image mosaicing has been activated, The process waits for the camera to come to rest (movement between frames is less than a given threshold). Mosaic processing is started when the camera movement exceeds a certain threshold. , Stop the mosaic processing when the camera stops again. Beginning of the mosaic process And the direction of the camera motion in addition to the camera motion controlling the end May be used to control the internal details of the mosaicking process itself.Illustrative embodiment An exemplary embodiment of the present invention will be described with reference to FIGS. Implementation of this example The form is a portable low resolution digital image source (eg, video camera 710 and And digitizer 712 or digital video camera), and Software running on a personal computer (not shown) Capture high-resolution digital image stream 714 in real time It is a system to capture. This process occurs quickly as images are received. Highly efficient “front edge” image alignment that processes the image and produces an initial mosaic image 718 Process 716, a highly accurate “tail” image alignment process 720, Combining with merging process 722 to give no mosaic image 724 Achieved by In order for the entire system to perform its functions, the front-end alignment process requires It is desirable to have the ability to perform continuous inter-frame image alignment during operation . The end result of this process is a list of overlapping source image frames. An initial mosaic data structure 718 consisting of Have motion parameters that associate the frame with other adjacent frames in the sequence. I do. If any one of these sets of motion parameters is absent or incorrect, Assembling a mosaic can be difficult. Because the image sequence The relationship between one part of the image sequence and the rest of the image sequence may not be defined Because there is no. Therefore, to provide reliable system functions, The alignment process 716 includes: 1) works in real time; It is desirable to return a correct alignment result with a high probability for this purpose. The purpose of the exemplary leading edge alignment process 716 is to associate the entire input image stream. Generate the minimum alignment chain (MAC) that defines the initial mosaic Is Rukoto. This MAC converts a series of input images and each image to the previous in the chain. Consisting of alignment parameters for sequentially aligning only the images. It is an alignment professional In the sense that it contains as few input images as possible for the process to proceed. It is. The reason that this minimum property is desirable is that it has a trailing edge alignment process 720 and This is because the amount of processing and storage required in the mixing process 722 is reduced. An embodiment of this front end alignment process is shown in FIG. It involves two principles of operation . That is, adaptive image sampling and adaptive filter selection. Other implementations States may be based on these or similar principles. Because the MAC logically includes the first and last images of the input image stream, Seth uses the first captured image as the first component of the MAC and the initial reference image (RI). Start by specifying. RI is: 1) Estimated output between arrival image and RI If the overlap is less than a certain threshold (eg, 50% of the image size) Or 2) sequentially align each of the arriving images until an alignment failure is detected. Used for The amount of selected image overlap is based on the number of images in the MAC. Hope to be small and enough for the trailing edge alignment process to refine the alignment Balance the desire to provide a good overlap. The alignment is shown in Figs. Use any efficient image-based alignment technique as described earlier in Can be performed using For efficiency and robustness, multi-resolution image correlation techniques You may use a nick. In FIG. 8, the image is converted from the digitized image stream 714 to step 810. Received at. The process generates a pyramid description of the image at step 812. , Step 814 designates this pyramid as a reference pyramid. next, At step 816, the process retrieves the next frame from stream 714. At step 818, the process generates a pyramid description for this image. S At step 820, the process bases the newly generated pyramid description on the current image. Correlate to the pyramid description of the quasi-image. In step 822, if detected between images, If the obtained correlation is good, control is passed to step 824. Step 824 Determine whether the displacement (Δx) between the two images is less than a threshold. Also If it is small, the overlap between the current image and the reference image is larger than desired. Thus, the frame is buffered in step 826 and control is passed to step 8 Returning to 16, the new image from stream 714 is tested. Steps 8 At 24, if the displacement is greater than the threshold, step 828 is performed. Step 828 appends the frame to the MAC and the newly added frame pic Designate the lamid as the reference pyramid. However, in step 822, if there is no good correlation between the current image and the reference image If not, step 830 is performed. Step 830 is closest The buffered image is sometimes designated as the reference image. This image is buffered Have sufficient overlap (displacement less than the threshold). Proven. At step 832, the current image is correlated with the new reference image. At step 834, if a good correlation is detected, the process proceeds to the previous step. The control is transferred to 824. Otherwise, step 836 is performed. Steps 836 defines a new spatial filter to process the input image. Step 8 At 38, a pyramid representation of the newly processed image is constructed. Step 840 Where the pyramid representation is correlated with the reference pyramid. In step 842 If a good correlation is detected, control passes to step 824. Otherwise If an image alignment failure has occurred, the process ends at step 844. As shown in FIG. 8, the continuously aligned images are the current image and the reference image. The buffer between the images is simply buffered until the displacement between them becomes excessive. Indicates that the loop is less than the maximum. When the maximum value is reached, the current image is Data structure and specified as the new RI. If alignment failure is detected If not, this process will align all images and create a complete MAC It simply proceeds until it is. Once the complete MAC is configured, the MAC A sequence of input images, including the first and last images of the original input sequence, And a sequence of alignment parameters to align each image of MAC and MAC with the preceding image It is composed of Furthermore, the MAC images are such that each image is approximately at the overlap threshold. Therefore, it has the characteristic that it overlaps the preceding image by the determined amount. I do. FIG. 9 illustrates a possible relationship between the input image stream 714 and the MAC 718. I do. At some point during the creation of the MAC, the alignment process will return an acceptable set of alignment parameters. May fail to return. This is because the image capture process (image noise, Dropout, glare, fast or irregular camera movement, image content (moving or Object to occlude), image processing (inadequate image filtering), or other uncontrollable It may arise for a variety of reasons derived from effective environmental factors. Alignment failure It can be detected by a variety of criteria, some of which are selected specific Unique to the alignment process. In an embodiment of the invention, the alignment failure is Large residual errors after alignment, inconsistent estimates from different image subregions, or periods Based on the estimated alignment parameters that are outside the waiting range, It is. When one of these conditions occurs, to avoid breaking the alignment chain, Modify the alignment process itself, or change the image (RI) being aligned It is necessary to. In an embodiment, this adaptation occurs in two steps. First, the steps in FIG. As shown in step 830, the most recently successfully aligned image is the RI Specified and added to the MAC. Next, the current image and this new reference A correlation is attempted between them. If this correlation is successful, the process proceeds as described above. Proceed as if. The structure so created makes sure that it meets the requirements of the MAC. Guaranteed. Because the newly specified RI is well aligned with the previous RI To produce good correlation but less than the specified maximum overlap threshold This is because they have a large overlap. If the alignment to the new RI fails ( Step 834), process generates image pyramid used in alignment process Attempt to change the filter used to Pirami these new images (One for RI, one for current image) used to calculate image alignment Is done. If this alignment is successful, the process continues as described above. if If the alignment using the modified filter fails, the front end process terminates and an error Reverse the case. The filter selections performed by the illustrated process involve assumptions about the image content. Are linked. A good filter for representing lines on a whiteboard is a patterned filter May be inappropriate for representing wallpaper or furniture in a room. Therefore, alignment failure is detected When done, it is assumed to be due to a change in the nature of the image content. Therefore, Filters that are appropriate for different types of image content will result in a more effective image representation and thus better Substitution is made in an effort to achieve more accurate image alignment. Only one example process The filter selection step of FIG. Multiple backfills (not shown) by branching back to It is assumed that the data selection step may be performed. The inter-frame alignment process used in the embodiment is the process between the current image and the reference image. Calculate the image displacement that results in the minimum absolute difference (MAD) of This is the shifted current Sum the differences at each pixel between the image and the reference image and minimize this difference Including finding shifts that occur. This is the behavior of the sum of squared differences (SSD) minimum method. This is a standard technique for approximation. However, as shown in FIGS. 10A and 10B, 1) To calculate global image alignment robustly when local misalignment exists And 2) to better detect misalignment, the method of the embodiment (FIG. 10A) and for the image as a whole (FIG. 10A). 10B), calculate the MAD separately. This process is a state of the alignment process Relevant information can be derived from a comparison of these various estimates. You. In addition, it rejects false local estimates when they do not match the other estimates To be able to An embodiment of the front end correlation process is shown in FIG. 11A. Example process is pyramid Accurate alignment estimates using "coarse-fine" refinements based on Is calculated effectively. The process first involves finding a match between the individual subregion estimates. Analysis to determine if an acceptable initial estimate of the alignment parameters has been achieved. Set. The criteria used to determine whether an initial guess is acceptable are The calculated value of the match between the residuals is calculated as the residual fraction as represented by the global minimum absolute difference. Combined with the calculated value of the total amount of disparity. In FIG. 11A, the pyramid representation of the current image and the reference image is Is obtained. At step 1112, the variable pyramid level is It is set to the maximum level, which is the high level. Global for reference image and current image The MAD and area MAD are calculated in step 1114. At step 1116 , Global MAD and the number of matches between the area MAD and the global MAD are calculated Is done. In step 1118, the global MAD and the number of matches (#A) are Area R to determine if the estimate is acceptable. The allowable area is shown in FIG. 11B . If the global MAD is very low (threshold T_LowLess than), aligned Subregion alignment estimation and global alignment estimation to determine if A minimum number of matches between are required. If the global MAD is in the middle range (T_LowWhen Second threshold T_High), More matches are needed. If glow If the val MAD is very large (T_HighLarger), more matches are needed is there. The match between the global alignment estimate and the subregion alignment estimate is the difference between the estimates, It is determined by comparing against a third threshold. This threshold is the displacement Scaled by the overall size of I'm sorry. If the initial determination is acceptable, ie, the number of matches and the global MAD If this satisfies the criteria, this initial estimate can May be refined via In embodiments, this process is higher At each resolution pyramid level involves searching for a more accurate alignment estimate. This The first step in the search for (step 1120) is to follow the variable pyramid level To a low level. In the next step (step 1122), the global and The MAD value of the partial area is calculated for each value (global and partial area) calculated at the previous level. ) Is calculated in the range around. For each partial area and image as a whole, The alignment estimate that yields the best (ie, lowest) absolute difference is selected in step 1124. It is. At step 1126, if there are more levels in the pyramid If so, control is transferred to step 1120 and the set of displacement values calculated in this way is Is used to refine the correlation at the next level. The last pyramid When the threshold level is reached, the best global estimate is selected, step 1128 Will be returned. To generate a pyramid representation of "course-fine" refinement Different choices can be made for the filters used. These choices Is mainly based on the type of content predicted in the input image sequence . The purpose of the selection is to ensure that the low-resolution pyramid levels are precisely aligned Is to generate a pyramid structure that preserves enough image structure. For example, Also The pyramid (Gaussian or Laplacian) is a relatively thin line (e Using an input image composed of (like an image written on a white board) Low-resolution pyramid levels are very small if generated in the usual way. Will show the structure. Because the lines are very small after low-pass filtering. This is because it has a small contrast. One solution to this problem applies a non-linear pre-filter to the input image That is. For example, if the input image is filtered to extract edge structures Is compared to a threshold on a pixel-by-pixel basis, and then the image structure is If a distance transform is applied to expand, the resulting pyramid will be at a lower resolution level Will have a great deal of content available at On the other hand, this pre-processing step It may not be useful for outdoor scene structures that do not normally contain strong edges. Strange In a moving environment (or where the image sequence is from one type of scene structure to another) In order to work robustly, an adaptive choice of pre-filter type is needed. Is done. In an embodiment (as shown in FIG. 8), after selecting a new reference image, If the alignment fails, the prefilter is changed. Then this new An alignment is attempted using the pyramid. If this also fails, the process Return error condition and exit. Once the front end process successfully computes the MAC, this data structure (member -Image and linking alignment parameters), the trailing alignment process for final alignment Passed to. The purpose of the trailing edge alignment process is to convert each of the images contained in the MAC to a single Is to generate a set of alignment parameters that align exactly to the mosaic coordinate system . In general, the coordinate transformation that underlies the alignment process at the trailing edge is used at the leading edge. It is different from the coordinate transformation. This difference is driven by three factors. Sand 1) Real-time processing constraints existing in the front end process are relaxed, and To perform complex calculations. 2) Initial determination of alignment between images is part of MAC Given as a minute, generally allows for stable calculations of more complex models. 3 ) Coordinate transformations must map all images exactly to a single coordinate system, And more complex than the transformation model used for alignment between frames. Process to create a mapping from each MAC frame to a single mosaic coordinate system 2) Parameter or pseudo-parameter image conversion Model selection, 3) each frame to the mosaic coordinate system through this selected transformation. Computing the relationship of the roles. In an embodiment, the process uses a MAC. To establish both the mosaic coordinate system and the initial mapping of each frame to the coordinate system. Start with things. This mapping is then performed in order for each frame in order. The parameters are refined via an estimated incremental process. Alternative method Cannism, for example, can be described as "Mascing with applications to mosaicing and lens distortion correction. Multi-View Image Registration With Application to Mosaicing and Lens Distortion Correction ") As described in Provisional Patent Application No. 60 / 030,892, all frames To simultaneously align with the selected coordinate system. This provisional application is For its teachings on rations, it is incorporated herein. In this example The choice of incremental or sequential alignment for the most part depends on the reduction of computational complexity and the corresponding processing. Driven by the need to reduce processing time. This sequential process is described below. In the light, it is called "frame-to-mosaic" processing. The trailing end process is shown in FIG. As a first step 1510, the process proceeds to M Create an initial work mosaic from the AC. In an embodiment, the leading edge is one of the MACs. The alignment parameters given as parts simply relate each frame to the previous frame Is the translation vector to be added. To create an initial working mosaic, Frames are shifted by these translation vectors so that each frame is The position of the upper left corner with respect to the reference frame is the translation vector to that point in the sequence Of all files is given by the vector sum. Paraphrase If so, the process is as follows: each frame is specified by an alignment parameter in the MAC Simply "distribute" the image frames so that they overlap the previous frame. For the more general translation specified in the MAC, the process is Frame to mosaic conversion to generate the initial frame-to-mosaic conversion. May be incorporated. Once this initial mapping is established, the process proceeds to step 1512 , Select an image to serve as a starting point for the sequential frame-to-mosaic alignment process . This image defines the coordinate system of the mosaic. In general, this choice is Location, image content, image quality, and / or user selection. It will be done. In an embodiment, the process is defined by an initial work mosaic. Source image with the center closest to the center of gravity of the bounding rectangle of the image location as defined select. This image forms the initial mosaic. The reason for this choice is that This is to minimize the distortion of the transformed image frame at the edge of the subsequent image. Previous More general images given as part of the MAC by an edge alignment process In the case of image-to-image conversion, the initial work mode is used to keep the selected start image without distortion. It may be desirable to recalculate the Zykh coordinate system. The choice of parameter or pseudo-parameter image to mosaic transformation depends on the nature of the input image. And the nature of the mosaic image created. This is May 1992 "European Conference on Computer Vision" (European J.R.Bergen (J. R. Bergen), P. Anadan, K.J.Hanna ), And "Hierarchical Model-Based" by R. Hingoranl In a paper entitled "Hierarchical Model-Based Motion Estimation". Has been stated. For example, if an image is primarily subject to rotational rather than parallel If acquired from a camera, align the images using a projection transformation Can be. However, if the viewing angle approaches 180 °, all images are When converted to be placed on a rat image plane, it exists far from the center of the mosaic image This causes extreme distortion of the input image. In the current embodiment, the choice of image transformation is Explicitly done by the user to produce the desired effect. However, in principle , It is a tool for analyzing the input image and the transformations needed to align the image to a common coordinate system. Could be done automatically based on IP. The frame-to-mosaic alignment process uses a starting frame mapped to the mosaic coordinate system. The method begins at step 1512 by designating the theme as the initial mosaic. At step 1514, the process selects the next frame to be added to the mosaic I do. In an embodiment, the frames move forward and backward from the starting frame. To the order in which they occur in the MAC. Therefore, from frame 1 to frame If the starting frame was frame 10 of all frames up to 20, the group The order of standing is 10, 11, 12, 13,. . . 20, 9, 8, 7,. . . And one You. Alternatively, the process is derived from the position of the frame in the initial working mosaic Frames in a certain order (eg, increasing distance from the starting frame) You may stand up. For each frame in the sequence, the initial alignment to the mosaic coordinate system is The previous frame in the can (ie, the frame previously aligned to the mosaic) Is calculated in step 1516 by calculating the alignment parameter with This set of alignment parameters T_incrementalIs called an incremental conversion. In step 1515, Is the transform T used to align the previous frame into the mosaic_i-1And pair Estimated T of the transform that is simulated and aligns the current frame with the mosaic_EstimationIs generated . This process is shown in FIG. Estimated transformation T_EstimationUsing the process , Step 1518, define the area where the current frame overlaps the mosaic You. Next, this estimation is performed on the overlapping area of the current mosaic as shown in FIG. The alignment refines in step 1520. This final alignment is After being calculated, the newly aligned frame will put the new image in the mosaic coordinate system. By warping and working on warped pixels as shown in FIG. By extending the mosaic image, the work mosaic is attached in step 1522 Added. At step 1524, if the merged image is processed in the MAC If so, the process ends at step 1526. So If not, the process steps to select the next image to be merged into the mosaic. Branch to step 1514. The alignment calculation included in the trailing edge alignment process basically uses any calculation technique. Can be performed using In embodiments of the present invention, the trailing edge alignment process is straightforward. Multi-resolution "Coarse-Fine" refinement process using tangent estimation Use Levenberg-Marquardt iterations to align Estimate parameters. The reason for choosing this calculation approach is that it is accurate and strong. Because it provides a robust alignment estimate and can be applied over a range of image alignment models. You. Furthermore, it is computationally highly efficient. Because it is an explicit search Or, no feature extraction is required. To reduce computational complexity, as shown in FIG._incremental Is performed only at pyramid level 2. Generally, this early The alignment calculation yields estimation accuracy suitable to serve as a starting point for the final alignment in FIG. It can be performed at any level. Final alignment step 15 20 is repeated at both pyramid levels 2 and 1. However, the calculation time is reduced. To reduce, level 1 iterations are performed only on a subset of the image regions. This A subset of the “interest operator” applied to the reference image Selected by applying a threshold to the data output and performing a non-maximum suppression operation. It is. The result of this process is a screen that controls the accumulation of values used in the iterative process. It is an elementary mask. The principle underlying the type of interest operator used is Image points with large values of the detent determine the estimated alignment parameter values. Is the strongest contribution to This is Levenberg Marquardt, Many estimators, including Gauss-Newton and other commonly used techniques The order is true. As a result, in an embodiment, the process is an image gradient Calculate the size of the plot at pyramid level 1, apply a threshold to this, and then Removes all points smaller than the threshold, and Remove all points except values. The result of this process is relatively sparse mass (Ie, a mask that passes only a small portion of the image points), but the alignment parameter This is a mask representing an area of the image that strongly contributes to the estimation. In general, other selection methods that achieve this same purpose can be applied. For example, so that a fixed number of points are included in the mask (eg, Formulate the selection criteria (by changing it) and reduce the computational cost of the final alignment to the input image It can be considered to be almost independent of the size. As a final step of the illustrated process, step 722 of FIG. The aligned images are merged to form a seamless mosaic image 724 Is done. Use any of the techniques described above to map the aligned images. To form a single mosaic image.Conclusion Populate overlapping areas and mosaics from the set of available source images A method is defined for automatically selecting a source image segment for the image. Basic cis The system includes a method for combining a set of source images into a mosaic, the method comprising: Aligning the source image, (ii) improving the source image, (iii) A) selecting a source image area; and (iv) merging the areas. . Other types of systems are also envisioned. These include: 1) As the video frames are received, the mosaic is created continuously. The mosaic may be displayed continuously as a video as the image is created system. 2) A system that performs creation on all (or many) of the source frames at once. Tem. 3) Allow the user to adjust and edit the mosaic, and A system that plays the mosaic after such editing or on demand. Where The collection may include shifting, cutting, pasting, and improving the source image. 4) Make the first version of the mosaic with somewhat reduced quality (reduce computation and speed up Because) the system that occurs. Once the mosaic final component image is selected by the user When selected, the composite image is played with higher quality. In this case, the first occurrence is For example, multiple applications of warp, or incremental alignment and merging may be used, The final mosaic, on the other hand, performs these operations while working directly from the source frame. Is repeated. 5) A system that generates a mosaic only when it is needed. Here, the user designates a desired reference frame and a mosaic is generated. this In some cases, the algorithm usually first treats all alignments as incremental or batch processes. Calculate and then reconstruct the mosaic from the desired field of view on demand. (This is extra This is done to avoid warping. ) It should be understood that the devices and methods of operation taught herein are exemplary of the present invention. It is. Persons skilled in the art can easily devise modifications without departing from the present invention. Can be.

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ，ＫＲ，ＭＸ (72)発明者ディクソン，ダグラス，エフ. アメリカ合衆国ニュージャージー州ホープウェルセンターストリート 13 (72)発明者バート，ピーター，ジェフリーアメリカ合衆国ニュージャージー州プリストンウィートシーフレーン 80 (72)発明者バーゲン，ジェイムス，ラッセルアメリカ合衆国ニュージャージー州ホープウェルイーストプロスペクトストリート 57 (72)発明者ゲンデル，ゲイリー，エー. アメリカ合衆国ニュージャージー州ネシャニックステイションドッグウッドドライヴ 17 (72)発明者クマール，ラケシュアメリカ合衆国ニュージャージー州モンマスジャンクションリッジロード 966 (72)発明者ソーニー，ハープレト，シンアメリカ合衆国ニュージャージー州プレインズボロアスペンドライヴ 1808 (72)発明者ブリル，マイケル，ヘンリーアメリカ合衆国ペンシルヴェニア州モリスヴィルメイクフィールドロード１ナンバーディー130────────────────────────────────────────────────── ─── Continuation of front page (81) Designated countries EP (AT, BE, CH, DE, DK, ES, FI, FR, GB, GR, IE, IT, L U, MC, NL, PT, SE), CA, JP, KR, M X (72) Inventors Dixon, Douglas, F. United States New Jersey Hopewell Center Street 13 (72) Inventors Bart, Peter, Jeffrey United States New Jersey Priston Wheat Thief Lane 80 (72) Inventors Bargain, James, Russell United States New Jersey Hopewell East Prospect Street 57 (72) Inventor Gender, Gary, A. United States New Jersey Neshanik Station Dogwood De Drive 17 (72) Inventor Kumar, Rakesh United States New Jersey Monmouth Junction Ridge Row De 966 (72) Inventor Thorny, Harpret, Shin United States New Jersey Plainsboro Aspen Drive 1808 (72) Inventors Brill, Michael, Henry United States of America Pennsylvania Mo Lisville Makefield Road 1 Number Dee 130

Claims

[Claims] 1. A computer-implemented method for creating an image mosaic, comprising: a) receiving a plurality of source images; b) selecting one of the source images to use in the image mosaic and using the source Analyzing the received source image to form an initial alignment of the image; And c) selecting said source image to establish a coordinate system for said image mosaic; Analyzing the image; d) aligning one of the selected source images with the coordinate system; e) merging the aligned images to form the image mosaic And How to create an image mosaic. 2. Said step b) comprises the step of: selecting one of said received images and a previously selected image. Calculating an image coordinate transformation to and from the image, said calculating comprising: A step of filtering said one image according to the selected filter characteristics. And Correlation between the filtered one image and the previously selected image Generating a calculated value; Comparing the correlation calculation value with a threshold value, wherein the correlation calculation value is Selecting a different filter characteristic if less than the threshold value; The correlation calculation value is greater than the threshold or is available for selection Filtering, correlation and calculating the correlation until the filter characteristic is no longer present Continuing the value comparison; If the correlation value is greater than the threshold, Overlap between the one image and the previously selected image in response to the conversion Identifying a wrap region; Step for determining the number of picture elements (pixels) in the overlap area And If the number of pixels in the overlap area is within a predetermined value range, the image Selecting said one image for use in an image mosaic. The method for creating an image mosaic according to claim 1. 3. A computer-implemented method for aligning multiple source images. What a) selecting and aligning one of the source images to form an initial alignment of the source image; Analyzing the source image to generate b) selecting the selected source image to establish a coordinate system for the image mosaic; Analyzing the image; c) aligning one of said selected source images with said coordinate system; Including, How to align source images. 4. The step of a) is performed by selecting one of the received images as a previously selected image. Calculating an image coordinate transformation between the image and the calculated image. Is A step of filtering said one image according to the selected filter characteristics. And Correlation between the filtered one image and the previously selected image Generating a calculated value; Comparing the correlation calculation value with a threshold value, if the correlation calculation value is greater than the threshold value If different, selecting different filter characteristics; The correlation calculation value is greater than the threshold or is available for selection Filtering, correlation and calculating the correlation until the filter characteristic is no longer present Continuing the value comparison; When the correlation calculation value is larger than the threshold value, In response to the transformation, the audio between one of the source images and a previously selected image is Identifying a wrapped region; Step for determining the number of picture elements (pixels) in the overlap area And If the number of pixels in the overlap area is within a predetermined value range, the image Selecting said one image for use in an image mosaic. The method according to claim 3, wherein the source images are aligned. 5. A system for creating an image mosaic, Means for receiving a plurality of source images; Selecting one of the source images to use in the image mosaic Selecting means for analyzing the received source image to form an initial alignment of , The selected source image is divided to establish a coordinate system for the image mosaic. Reference means to analyze; Alignment means for aligning one of the selected source images with the coordinate system; Means for merging the aligned images to form the image mosaic Including Image mosaic creation system. 6. The selecting means may select one of the received images and a previously selected image. Means for calculating an image coordinate transformation between, said means for calculating, The one image according to a selected one of a set of different filter characteristics. Means for filtering the image; Correlation between the filtered one image and the previously selected image Means for generating a calculated value; Means for comparing the correlation calculation value with a threshold, In response to the coordinate transformation, one of the received images has been previously selected. Means for identifying an overlap region between the image and Means for determining the number of picture elements (pixels) in the overlap area; , If the number of pixels in the overlap area is within a predetermined value range, the image Means for selecting said one image for use in an image mosaic. An image mosaic creation system according to claim 5. 7. A system for aligning a plurality of source images, a) selecting and aligning one of the source images to form an initial alignment of the source image; Selecting means for analyzing the source image to produce b) selecting the selected source image to establish a coordinate system for the image mosaic; A reference means for analyzing the image; c) aligning means for aligning one of said selected source images in said coordinate system; Including, Source image alignment system. 8. The selecting means may include one of the received images and a previously selected image. Means for calculating an image coordinate transformation between the image and the image, wherein said means for calculating comprises: The one image according to a selected one of a set of different filter characteristics. Means for filtering the image; Correlation between the filtered one image and the previously selected image Means for generating a calculated value; Means for comparing the correlation calculation value with a threshold, In response to the coordinate transformation, one of the received images has been previously selected. Means for identifying an overlap region between the image and Means for determining the number of pixels in the overlap area; If the number of pixels in the overlap area is within a predetermined value range, the image Means for selecting said one image for use in an image mosaic. The source image alignment system according to claim 7. 9. A computer-generated image mosaic of aligned source images. A computer-readable medium including a program, wherein the program comprises: a) selecting and aligning one of the source images to form an initial alignment of the source image; Analyzing the source image to generate Is executed by the computer, and the analyzing is performed by: b) selecting the selected source image to establish a coordinate system for the image mosaic; Analyzing the image; c) aligning one of said selected source images with said coordinate system; Including, Computer readable medium. 10. The step a) includes: An image coordinate change between one of the received images and a previously selected image. Steps of calculating commutations Wherein said calculating comprises: Filtering the one image according to the filter characteristics selected during each iteration. The steps of Correlation between the filtered one image and the previously selected image Generating a calculated value; The correlation count value is compared with a threshold value, and the calculated correlation value is smaller than the threshold value. If so, selecting different filter characteristics; The correlation calculation value is greater than the threshold or is available for selection Filter, correlate, and filter until a filter characteristic is no longer present. Iteratively comparing the correlation calculations; If the correlation calculation value is larger than the threshold value, One image of the source image and a previously selected image in response to the coordinate transformation; Identifying an overlap region between Step for determining the number of picture elements (pixels) in the overlap area And If the number of pixels in the overlap area is within a predetermined value range, the image Selecting said one image for use in an image mosaic. A computer readable medium according to claim 9.