JP2004340753A

JP2004340753A - Calibration chart image display device

Info

Publication number: JP2004340753A
Application number: JP2003137844A
Authority: JP
Inventors: Takayuki Noma; 孝幸野間; Fumio Otomo; 文夫大友; Hitoshi Otani; 仁志大谷; Nobuo Takachi; 伸夫高地
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2003-05-15
Filing date: 2003-05-15
Publication date: 2004-12-02

Abstract

<P>PROBLEM TO BE SOLVED: To provide a flat type calibration chart display device suitable for calibration device or calibration method for simply measuring inside parameters of a camera. <P>SOLUTION: The calibration chart image display device comprises: a calibration image storage 12 for storing the image of a calibration chart 1 imaged from a prescribed direction; and a calibration chart image display 14 for displaying the calibration chart image stored in the calibration image storage 12 according to the calibration imaging direction. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【産業上の利用分野】
本発明は、カメラの画像歪曲を修正するのに必要とされる内部パラメータ｛例えば、レンズの主点位置、画面距離（焦点距離）、歪曲パラメータ等｝を測定するためのキャリブレーションチャートの表示装置に関する。
【０００２】
【従来の技術】
従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。そこで、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用している。さらに、写真測量分野では、精密に計測された３次元上に配置された多数の点を複数方向から計測することにより、カメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めている。また、写真計測の分野で用いられる計測用カメラの場合は、製作されたカメラを精密に計測することにより、カメラの内部パラメータを求めている。
【０００３】
【発明が解決しようとする課題】
しかしながら、写真測量分野のように精密に計測された３次元上の測定点を撮影計測して、カメラ内部パラメータを求める方法では、以下の課題がある。
▲１▼３次元上に測定点（ターゲット）が配置されている。そこで、複数方向から撮影すると死角が生じて、画像間でみえないターゲットが生じる。
▲２▼撮影された画像において、３次元上の測定点相互の位置関係に逆転が生じる場合があり、測定点の計測や各画像間の対応付けが困難で、自動化できない。
▲３▼そこで、相当の熟練をした作業員により、測定点の計測や各画像間の対応付けを行っている。すると、カメラの内部パラメータを得るために、高額のコストと長時間の作業が必要となってくる。
また、製作された計測用カメラを精密に計測する方法も、専用の冶工具が必要なだけでなく、熟練を要し特殊な設備のある機関でしか計測できず、計測専用カメラとして高価になるという課題がある。
【０００４】
そこで、近年では、３次元上の測定点に代わるものとして、シートに印刷された２次元の測定点を計ることにより、レンズ収差を計測するキャリブレーション方式が提案されている。しかし、シートに印刷された測定点を計測することによりレンズ収差を求める方法は、測定点が２次元状に配置されているために、計測できるパラメータがレンズ収差に限られており、レンズの焦点距離が測定できないという課題がある。ここで、レンズの焦点距離は、立体視できる画像の組を用いて３次元計測を行う場合に必要なパラメータである。
【０００５】
また、撮影方法もシートに印刷された測定点を複数の位置や方向から撮影しなければならなく、さらに焦点距離により撮影位置が異なり、撮影にノウハウが必要で難しい、という課題がある。更に、ズームレンズであれば、ズームレンズの焦点位置のいくつかにおいてキャリブレーションしなければならず、時間がかかると同時に撮影が簡単に行えない、という課題があった。
【０００６】
本発明は、上述する課題を解決したもので、第１の目的はカメラの内部パラメータを簡易に測定するためのキャリブレーション装置やキャリブレーション方法に用いて好適な、平面的なキャリブレーションチャート表示装置を提供するである。第２の目的は、固定焦点だけでなく、ズームレンズにも簡単に対応できるキャリブレーションチャート表示装置を提供するである。
【０００７】
【課題を解決するための手段】
本発明のキャリブレーションチャート画像表示装置は、第１の目的を達成するもので、図１に示すように、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像を記憶する校正画像記憶部１２と、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向に応じて表示するキャリブレーションチャート画像表示部１４とを備えている。
【０００８】
このように構成された装置においては、校正画像記憶部１２には所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像が記憶されている。キャリブレーションチャート画像表示部１４は、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、キャリブレーション撮影方向に応じて表示する。ここで、キャリブレーション撮影方向とは、例えば図４（Ａ）、図５に示すように、キャリブレーションチャート１の第１マークの一つ（Ｉ）を正面として撮影する第１の撮影方向と、前記第１マークと前記所定距離ｄだけ離れた他の第１マーク（ＩＩ，ＩＩＩ，ＩＶ，Ｖ）を正面にカメラ位置を設けて、且つ前記レンズの撮影方向を前記第１マーク（Ｉ）に前記レンズの光軸が向くようにする第２の撮影方向とを含んでいる。すると、被校正撮影装置１９はキャリブレーションチャート１に対して所望の角度を正確に付した画像を得ることができ、高さ（奥行き）方向の変化を確実にし、キャリブレーションチャートによって被校正撮影装置１９の焦点距離を正確に算出できる。『キャリブレーション撮影方向に応じて表示する』とは、例えば第１の撮影方向、第２の撮影方向（左上（ＩＩ）、左下（ＩＶ）、右上（ＩＩＩ）及び右下（Ｖ））の順序で、順次表示することをいう。
【０００９】
好ましくは、校正画像記憶部１２に記憶されているキャリブレーションチャート画像は、歪が補正された画像とすると、カメラのような被校正撮影装置１９にて撮影された画像に含まれる歪曲、例えばレンズ収差を除去するのに必要とされるカメラの内部パラメータの演算が容易に行なえる。歪が補正された画像は、例えば撮影したカメラにおけるレンズ収差の影響を補償するパラメータを適用して、撮影されたキャリブレーションチャート画像からレンズ収差の影響を除去して、生成する。
【００１０】
本発明のキャリブレーションチャート画像表示装置は、第１の目的を達成するもので、図１７に示すように、所定のキャリブレーション撮影方向からキャリブレーションチャート１を観察した状態の画像を形成する画像形成部４０と、画像形成部４０で形成されたキャリブレーションチャート画像を表示するキャリブレーションチャート画像表示部４４とを備えている。
【００１１】
このように構成された装置においては、画像形成部４０では所定のキャリブレーション撮影方向からキャリブレーションチャート１を観察した状態の画像を形成する。キャリブレーションチャート画像表示部４４は、画像形成部４０で形成されたキャリブレーションチャート画像を表示する。
【００１２】
好ましくは、画像形成部４０は、特定方向から撮影されたキャリブレーションチャートの画像を記憶する基準画像記憶部４１と、基準画像記憶部４１に記憶された画像を用いて、特定方向とキャリブレーション撮影方向との画像変換関係を適用して、キャリブレーション撮影方向のキャリブレーションチャートの画像を形成する画像変換処理部４２を備える構成とするとよい。すると、基準画像記憶部４１で撮影されているキャリブレーションチャートの画像を用いて、画像変換処理部４２により他のキャリブレーション撮影方向のキャリブレーションチャートの画像を形成できるので、キャリブレーションチャート１を多数のキャリブレーション撮影方向から撮影する作業が困難な場合にも、容易にキャリブレーションチャートの画像を取得できる。
【００１３】
好ましくは、さらに、キャリブレーションチャート画像表示部（１４、３４）に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する表示順序制御部（１５、３５）を備えている構成とするとよい。すると、表示順序制御部を用いることで、キャリブレーションチャート画像表示部１４によって、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、キャリブレーション撮影方向に応じて表示することが容易に行なえる。
【００１４】
好ましくは、表示順序制御部（１５、３５）は、さらに、キャリブレーションチャート画像表示部（１４、３４）が、キャリブレーションチャート画像を表示した後、撮影信号を被校正撮影装置１９に出力する撮影信号出力部（１６、３６）と、被校正撮影装置１９によるキャリブレーションチャート画像の撮影完了信号を入力して、キャリブレーションチャート画像表示部（１４、３４）に後続するキャリブレーションチャート画像の表示命令信号を出力する校正画像切換え指示部（１７、３７）とを備えている。すると、表示順序制御部の動作が被校正撮影装置１９と連動するので、キャリブレーションチャート画像の切換えが自動化される。
【００１５】
好ましくは、本発明のキャリブレーションチャート画像表示装置を被校正撮影装置１９としてのズームレンズに対応させて、第２の目的を達成する為に、キャリブレーション対象となる被校正撮影装置１９から取得された焦点距離情報に応じて、キャリブレーションチャート画像表示部（１４、３４）に表示されるキャリブレーションチャート画像の大きさ又は密度の少なくとも一方を変更する焦点距離修正制御部（１８、３８）を備えている。このように構成された装置においては、ズームレンズのように焦点距離が可変の被校正撮影装置１９に対しても、容易に最適なキャリブレーションチャート画像に変換して表示できる。
【００１６】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、本発明のキャリブレーションチャート画像表示装置は、校正画像記憶部１２、表示画像メモリ１３、キャリブレーションチャート画像表示部１４、表示順序制御部１５、撮影信号出力部１６、校正画像切換え指示部１７を備えている。校正画像記憶部１２は、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像を記憶する。なお、キャリブレーションチャート１とキャリブレーション撮影方向の詳細は後で説明する。表示画像メモリ１３は、キャリブレーションチャート画像表示部１４に表示される画像を記憶するメモリである。キャリブレーションチャート画像表示部１４は、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、キャリブレーション撮影方向に応じて表示するもので、例えばパソコンのＣＲＴや液晶のようなモニター装置が用いられる。
【００１７】
表示順序制御部１５は、キャリブレーションチャート画像表示部１４に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する。撮影信号出力部１６は、キャリブレーションチャート画像表示部１４が、キャリブレーションチャート画像を表示した後、撮影信号を被校正撮影装置１９に出力する。校正画像切換え指示部１７は、被校正撮影装置１９によるキャリブレーションチャート画像の撮影完了信号を入力して、キャリブレーションチャート画像表示部１４に後続するキャリブレーションチャート画像の表示命令信号を出力する。被校正撮影装置１９としては、例えば可動焦点距離式のズームレンズや固定焦点式レンズを用いたカメラが用いられる。
【００１８】
なお、被校正撮影装置１９が撮影信号出力部１６の撮影信号を受信すると撮影したり、撮影完了信号を出力する構造となっていない場合には、撮影信号出力部１６と校正画像切換え指示部１７を用いることはなく、撮影者がマニュアルで被校正撮影装置１９のシャッターを操作してキャリブレーションチャート１の撮影を行なう。マニュアルで被校正撮影装置１９を操作する場合には、表示順序制御部１５は、キャリブレーション撮影方向毎に一定時間（例えば１０秒間）キャリブレーションチャート画像を表示させる。
【００１９】
次に、キャリブレーションチャートとしてのチャート１について説明する。ここでは、チャート１として紙やプラスチックシートに所定のマークを印刷してある場合を例に説明するが、平面画面に所定のマークを配列した画像を表示するものでもよい。
【００２０】
図２は、キャリブレーションチャートの一例を示す平面図である。チャート１は、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。ここでは、第１マークはチャート１に総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。チャート１が矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ２＋ｌ２）^１／２（１）
【００２１】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの印刷位置の数値は、キャリブレーション装置のマーク座標記憶部１０に読込んで、概略マーク位置測定部５において概略位置測定と対応づけのために利用される。なお、チャート１は、コンピュータの記憶装置に画像データとして記憶させておき、キャリブレーションする場所において印刷して使用しても良い。第１マークと第２マークの位置は、予めキャリブレーション装置の中に記憶してあるものを使い、その記憶された座標にてシートに印刷すれば、計測作業は不要になるので作業は簡単なものになる。あるいは、チャート１を精密に計測して、第１マークと第２マークの座標位置を測定し、その座標値をマーク座標記憶部１０に格納して利用する構成としてもよい。
【００２２】
第１マークは、概略マーク位置測定及び対応付けに利用されるだけでなく、撮影方向を決める視標としても利用される。さらに、第１マークの外形菱形の中心部分は第２マークと共通の図柄とすることにより、精密マーク位置測定部６で精密測定する際のテンプレートとして使用される。
【００２３】
図３は第１マークの一例を示す説明図で、（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩形を示している。図３（Ａ）、（Ｂ）では、第１マークは第２マークと共通の図柄を囲むように菱形又は４本の矢印を配置し、作業者にとって視認容易になるように配慮してある。このように視認容易な図柄とすることで、第１マークの抽出が容易なものとなると共に、被校正撮影装置１９の撮影方向として広い撮影角度の中から一つの撮影角度を選択しても、撮影された画像から第１マークを見逃すことがない。図３（Ｃ）では、第１マークは黒塗り矩形とし、中心部の図柄は第２マークとは反転した色彩になっているが、このようにしても検出は容易である。また、精密マーク位置測定部５にて測定する際にも、図３（Ｃ）の図柄に対しては、第１マークの階調を反転することにより、第２マークのテンプレートとすることができる。
【００２４】
第２マークは、被校正撮影装置１９によって撮影されたチャート１の画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なくチャート１に配置する。第２マークは、チャート１の３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。しかし、第２マークを徒に多く設けると、第２マーク自体が小さくなって見難くなると共に、レンズ収差の測定演算時間も長くなるため、実際上の上限は存在しており、例えば１０００個である。第２マークは、チャート１に満遍なく多数配置されるので、精密位置計測のしやすいものであれば、各種の図柄を採択して良い。例えば、第２マークとしては、黒丸『●』、プラス『＋』、二重丸『◎』、英文字『Ｘ』、星印『★』、黒塗り四角『■』、黒塗り三角形『▲』、黒塗り菱形『◆』等を用いることができる。
【００２５】
続いて、レンズ収差の極めて少ないレンズによって、キャリブレーションチャート画像用に、チャート１を撮影する手順について説明する。図４はキャリブレーション撮影方向を説明する図で、（Ａ）はキャリブレーション撮影方向のカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのキャリブレーション撮影方向に対応するカメラ間隔を示した図である。チャート１を異なる撮影角度から撮影した画像として、所定のキャリブレーション撮影方向に関する２枚以上の画像があれば、キャリブレーション画像として利用可能となる。好ましくは、チャート１としてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。また、カメラ２は、例えば写真測量や写真計測用の撮影用カメラのように、キャリブレーション画像撮影用のレンズ収差の極度に少ない高性能カメラを用いる。
【００２６】
キャリブレーション画像は、図４（Ａ）に示すような５方向、即ち正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）をキャリブレーション撮影方向として撮影する。カメラ２の光軸と平面チャートとの撮影入射角は、実際の撮影現場での奥行き精度を１ｃｍ程度に設定すると、１０度〜３０度の範囲が好ましく、他方レンズの焦点深度との関係でピントの合う距離も限られていることも考慮すると、１２度〜２０度の範囲がさらに好ましい。典型的には、カメラ２の光軸と平面チャートとの撮影入射角として１５度を採用するとよい。
【００２７】
以下、図５を参照して各キャリブレーション撮影方向によるチャート１の撮影手順を説明する。図５は、（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像を示し、カメラ画像に対応するチャート１とカメラ２の位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）にて示している。なお、番号（Ｉ）〜（Ｖ）は図４（Ａ）のカメラ位置に対応している。
【００２８】
（Ｉ）：正面から、チャート１の第１マークと第２マーク全てが一杯に入るよう撮影する（図５（Ａ１）、（Ｂ１））。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。そこで、カメラの焦点距離に応じて、撮影距離Ｈが変化する。
（ＩＩ）：次に、一般的に標準レンズ及び望遠レンズを使用した場合、正面のカメラ位置を中心として、撮影距離Ｈの１／３程度離れた位置にカメラを移動させて、例えば左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える（図５（Ａ２）、（Ｂ２））。但し、一般的に広角レンズを使用した際に、撮影距離Ｈが約１ｍ以内の場合は、カメラ位置は目的とする第１マークが正面に来るようにカメラ２を移動させればよい。そして、カメラ２のカメラ位置をそのままにして、中央にある第１マーク１ｅが中心となるようにカメラ２の方向を向ける（図５（Ａ３）、（Ｂ３））。次に、カメラ２をチャート１に近づけるように移動して、カメラ２の撮影画像に対して第１マークと第２マークが一杯に入るようにして撮影する（図５（Ａ４）、（Ｂ４））。
【００２９】
（ＩＩＩ）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。（ＩＶ）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：右下象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、カメラ２の角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００３０】
ここで、カメラ２とチャート１の間隔Ｈは、標準レンズや広角レンズの焦点距離ｆから定められる。例えば、焦点距離が３５ｍｍの標準レンズでは、撮影距離Ｈは９０ｃｍ程度になる。チャート１に設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から左上（ＩＩ）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラ２と第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００３１】
望遠レンズや標準レンズのレンズ収差を計測する場合は、撮影レンズの画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から左上（ＩＩ）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、焦点距離が長い場合にはカメラ２とチャート１の撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、図４（Ｂ）に示すように、正面のカメラ位置を中心として、左側のカメラ位置（ＩＩ）、（ＩＶ）と、右側のカメラ位置（ＩＩＩ）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を正面（Ｉ）の位置からそれぞれ撮影距離Ｈの１／３程度とった位置にカメラを設置して、上述の左上（ＩＩ）、左下（ＩＶ）及び右上（ＩＩＩ）、右下（Ｖ）での撮影を行えばよい。カメラの光軸は、チャート１の法線方向と一致させればよいが、チャート１方向を向けても良い。
【００３２】
なお、上記の実施の形態においては、撮影位置として正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにしてチャート１の撮影を行う。
【００３３】
また、チャート１は、平面シートに代えて、例えばノートパソコンのような平面的な表示画面を有する機器に、第１マークと第２マークが表示された平面シートの画像表示を用いてもよい。液晶表示画面のようにガラスを用いた画面は、紙やプラスチックに比較して湿度や温度による平面の伸縮が極めて少ないため、チャート１の表示装置として適している。また、液晶表示画面として携帯型パソコンの表示画面を用いると、表示精度がよい点に加えて、可搬性に優れているので、作業現場であっても防水や衝撃に注意すれば、通常の使用に耐える。
【００３４】
図６はキャリブレーションチャート画像表示部１４によって表示されるキャリブレーション画像の一例を説明する図である。キャリブレーション画像は、例えば図４（Ａ）で説明した正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向をキャリブレーション撮影方向として、図２で示すチャート１を撮影したものである。
【００３５】
図７は、本発明が適用されるキャリブレーション装置を説明する全体構成ブロック図である。キャリブレーションチャート画像表示部１４は、キャリブレーション画像をキャリブレーション撮影方向が判別できる態様で表示する。被校正撮影装置１９は、キャリブレーションの対象となるカメラで、典型的には汎用の光学式カメラやデジタルカメラのように、レンズ収差が写真測量や写真計測用の撮影用カメラに比較して、大きいものである。被校正撮影装置１９は、広角レンズや標準レンズでもよく、また望遠レンズを備えていても良い。
【００３６】
画像データ記憶部３は、被校正撮影装置１９によって撮影されたキャリブレーション画像データを記憶する記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３では、キャリブレーション撮影方向が判別できる態様で、被校正撮影装置１９が撮影したキャリブレーション画像が記憶されているとよい。
【００３７】
キャリブレーション装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０並びにレンズ収差補償パラメータ記憶部１１を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。キャリブレーション装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。
【００３８】
抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行う。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。なお、第１マークが第２マークと共通の図柄を含んでいる場合には、第１マーク内の第２マーク位置によって第１マークの画像座標値とするとよい。抽出部４による第１マーク抽出処理の詳細は、後で説明する。
【００３９】
概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理の詳細は、後で説明する。
【００４０】
精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、チャート１の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、被校正撮影装置１９の内部パラメータを演算する。演算された被校正撮影装置１９の内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。被校正撮影装置１９の内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。なお、精密マーク位置測定部６、並びに演算処理部７の被校正撮影装置１９の内部パラメータ演算処理に関しての詳細は、後で説明する。
【００４１】
画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、被校正撮影装置１９によって撮影された画像（特に、チャート１以外の画像）のデータ画像を再配列する。すると、被校正撮影装置１９によって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。マーク座標記憶部１０には、第１マークの画像座標値が記憶されていると共に、第２マークの管理番号並びにその画像座標値が記憶されている。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算された被校正撮影装置１９の内部パラメータが記憶されている。
【００４２】
次に、図８を参照して、本発明のキャリブレーションチャート画像表示装置及びキャリブレーション装置を用いたキャリブレーション処理の流れ全体について説明する。図８は、キャリブレーション処理の流れ全体を説明するフローチャートである。まず、レンズ収差の補償対象となる被校正撮影装置１９によって、キャリブレーションチャート画像表示部１４に表示されたキャリブレーション画像を撮影する（Ｓ１０）。ここで、Ｓ１０の詳細を説明する。図９はＳ１０におけるキャリブレーションチャート画像表示装置を用いたキャリブレーション画像撮影を説明するフローチャートである。
【００４３】
まず最初に、被校正撮影装置１９がズームレンズの場合には、キャリブレーションしたい焦点距離に設定する（Ｓ１１）。焦点距離は、例えば広角側と望遠側のうち、ズームレンズの広角側に設定するのが良いが、望遠側でも差し支えない。なお、被校正撮影装置１９が固定焦点の場合は、ステップＳ１１を省略してよい。
【００４４】
次に、キャリブレーションチャート画像表示部１４に、キャリブレーションチャート画像を表示する（Ｓ１２）。表示するキャリブレーションチャート画像は、キャリブレーションチャート１を撮影したものでも、コンピュータにて生成されたキャリブレーションチャートでもよい。キャリブレーションチャート画像表示部１４は、例えばパソコンのモニタ画面を用いるのが良く、表示するキャリブレーション画像は、モニタ画面いっぱいに第１及び第２のマーク（ターゲット）が表示されるのがよい。キャリブレーション画像のキャリブレーション撮影方向としては、例えば図６（Ｅ）のように、第１画面として被校正撮影装置１９とキャリブレーション画像が正対した画像を選択する。
【００４５】
次に、被校正撮影装置１９の画面に、キャリブレーションチャート画像表示部１４に表示されたキャリブレーション画像がいっぱいに映るようにカメラ位置を設定する（Ｓ１３）。カメラ位置とは、被校正撮影装置１９とキャリブレーションチャート画像表示部１４との距離を含む概念である。そして、被校正撮影装置１９により、キャリブレーションチャート画像表示部１４に表示されたキャリブレーション画像を撮影する（Ｓ１４）。
【００４６】
そして、被校正撮影装置１９がキャリブレーションに必要な画像をすべて撮影したか判断する（Ｓ１５）。例えば、図６に示すような、正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向をキャリブレーション撮影方向とするキャリブレーション画像に対して、被校正撮影装置１９による撮影がすべて終了したか、判定する。もし終了していなければ、Ｓ１２に戻って、他のキャリブレーション撮影方向から撮影したのと等価なキャリブレーション画像をキャリブレーションチャート画像表示部１４に表示して、被校正撮影装置１９による撮影を必要枚数繰り返す（例えば、図６（Ｅ）以外の残り４方向）。
【００４７】
被校正撮影装置１９について、一つの焦点距離で必要枚数の撮影が終了したのち、被校正撮影装置１９がズームレンズの場合には、必要とする全ての焦点距離で撮影が終了したか判定する（Ｓ１６）。なお、被校正撮影装置１９が固定焦点の場合は、必要とされる焦点距離が一つなので、キャリブレーション画像の撮影作業を終了する。被校正撮影装置１９がズームレンズの場合は、Ｓ１６にて未了と判断されると、必要とされる次の焦点距離に対する撮影処理をＳ１１に戻って繰り返す。例えば、被校正撮影装置１９の焦点距離として、補間したい必要焦点数についてズームレンズを調整して、Ｓ１１〜Ｓ１６の処理を繰り返す。ここで、被校正撮影装置１９のキャリブレーション画像の対象となる焦点距離数はキャリブレーションの必要精度に変えるのが良く、またズームレンズのレンジに応じて変えてもよい。この焦点距離数は、最低値として２焦点距離であるが、３以上の焦点距離でもよい。例えば、被校正撮影装置１９が広角から望遠まで５焦点の場合は５回行う。従って、被校正撮影装置１９について焦点距離変更した場合、キャリブレーション画像を被校正撮影装置１９の画面いっぱいに撮影できるよう、カメラ位置を変更して繰り返す。
【００４８】
被校正撮影装置１９によるキャリブレーション画像の撮影が終了したら、撮影されたキャリブレーション画像を画像データ記憶部３に格納する（Ｓ１７）。キャリブレーション画像の格納は、フレキシブルディスクのような電磁気的記憶媒体でも良く、またインターネット経由にて通信によりキャリブレーション装置に画像データを転送してもよい。そして、Ｓ１７の処理が完了すると戻しとなる。
【００４９】
図８に戻り、画像データ記憶部３に格納されたキャリブレーション画像に関して、画像上に記録されている焦点位置を読み込む（Ｓ２０）。次に、キャリブレーション画像に関して、被校正撮影装置１９の同一焦点距離の画像を一グループとして、各焦点距離ごとのキャリブレーション画像グループを作成する（Ｓ２５）。なお、被校正撮影装置１９が固定焦点式であれば、単一の焦点距離に関してキャリブレーション処理を行なえば良い。
【００５０】
続いて、各焦点距離ごとに形成されたキャリブレーション画像グループから今回の処理対象となる画像が選択される（Ｓ３０）。即ち、キャリブレーション装置は、選択されたキャリブレーション画像グループの画像データを画像データ記憶部３から読込んで、表示部９に表示する。そして、操作者は表示部９に表示された画像から、ターゲットの対応付け及び計測を行う画像を選択する。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。
【００５１】
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャート１の平面座標とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−▲１▼からＩ−▲４▼までの処理を第１マークの点数分繰り返す。例えば、図２に示すチャート１では、左右各２点の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。
【００５２】
Ｉ−▲１▼…操作者は表示部９に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−▲２▼…Ｉ−▲１▼で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−▲３▼…Ｉ−▲２▼で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−▲３▼での位置あわせは厳密でなくともよい。
Ｉ−▲４▼…次に、マーク座標記憶部１０に記憶された第２マークの管理番号と対応させるために、Ｉ−▲３▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−▲３▼で計測された第１マークの重心位置が基準点座標として記憶される。
【００５３】
なお、第１マーク抽出処理では、例えばチャート１上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）、（Ｃ）のような拡大画像を表示するようにすれば、位置計測がしやすくなる。
【００５４】
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図２のような全体画像だけで計測する方式がある。この場合、Ｉ−▲１▼の処理を行うと共に、Ｉ−▲４▼においてＩ−▲１▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−▲２▼、Ｉ−▲３▼の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。
【００５５】
次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図２の第１マーク配置であれば、その検出座標から５点の第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。
【００５６】
続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−▲１▼の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。
しかしながら、第１マークは最低３点以上計測すればよいので、マニュアルによる作業でも、簡単な作業である。
【００５７】
図８に戻り、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（ＩＩ−１）と、第２マークの概算位置を演算する工程（ＩＩ−２）を含んでいる。
（ＩＩ−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１）（２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。
【００５８】
次に、基準点座標と画像座標の関係を説明する。図１１（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にしてチャート１の置かれる基準点座標系としての対象座標系５２と、被校正撮影装置１９のフィルム又はＣＣＤが置かれる画像座標系５０が図１１（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ０，Ｙ０，Ｚ０）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
【００５９】
そして、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ^−１（Ｃ・ｂ８）
φ＝ｔａｎ^−１（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ^−１（−ｂ４／ｂ１）（φ＝０のとき）
κ＝ｔａｎ^−１（−ｂ２／ｂ５）（φ≠０、ω＝０のとき）
κ＝ｔａｎ^−１｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
【００６０】

ただし、Ａ１＝１＋ｔａｎ^２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／（ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点の平均標高とする。ここでは、第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なので、標高一定の面と仮定できる。Ｃは焦点距離で、前述の画面距離に相当している。
【００６１】
（ＩＩ−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
【数１】

ここで、Ｘ０、Ｙ０、Ｚ０は、前述したように、図１１（Ａ）に示すような投影中心点Ｏｃの地上座標とする。
【００６２】
ここで、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ１１〜ａ３３を求める。
【００６３】
次に、求めた回転行列の要素ａ１１〜ａ３３と式（３）で求めたカメラの位置（Ｘ０、Ｙ０、Ｚ０）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実の被校正撮影装置１９で撮影した画像におけるタ−ゲットの概略の画像座標が求める。

【００６４】
ところで、式（３）中のｔａｎ^−１の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する４点の画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
【００６５】
図８に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図１０を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。
【００６６】
（ＩＩＩ）ターゲット認識
図１１（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マーク、例えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲットの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
【００６７】
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。

ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
【００６８】
図１０に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。

ここで、σはガウス関数のパラメ−タ−である。
【００６９】
次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（７）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。
【００７０】
図８に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
【００７１】
そして、Ｓ３０〜Ｓ７５の処理を、レンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。
【００７２】
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、レンズ収差のキャリブレーション要素を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション要素の演算対象として、チャート１上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
【００７３】
（ＩＶ）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の（式８）と（式９）である。
【００７４】
【数２】

【数３】

【００７５】
この（式８）と（式９）は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、（式８）と（式９）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００７６】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の（式１０）に示す。
【数４】

補正モデルはこれに限らず、使用レンズにあてはまるものを選択すればよい。これら計算は、基準点を地上座標と画像座標で６点以上あれば、逐次近似解法によって算出される。なお、演算処理部７では、逐次近似解法の閾値によって、閾値以上となった場合の誤差の大きいチャート１上の第２マークを省くことによって、正確なキャリブレーション要素を求めることが可能となる。そこで、ターゲット位置重心位置確認（Ｓ７０）において、誤差の大きい第２マークとして検出されなかった場合でも、Ｓ９０にて過誤のある第２マークを検出して、除去することが可能である。
【００７７】
図８に戻り、演算処理部７によるキャリブレーション要素を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション要素が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
【００７８】
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション要素演算に戻り、キャリブレーション要素を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。
【００７９】
キャリブレーション要素を求める演算処理結果が適性であれば、他の焦点距離のキャリブレーション画像グループが存在するか判断する（Ｓ１３５）。もし、他の焦点距離のキャリブレーション画像グループが存在が存在していれば、Ｓ３０に戻る。全ての焦点距離のキャリブレーション画像グループに関して、キャリブレーション要素を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。図１２は、キャリブレーション要素の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合１０６、についてグラフィック表示するとわかりやすい。
【００８０】
さらに、キャリブレーションした結果に基づいて、ディストーション補正した画像を、画像処理部８にて作成して表示部９に表示することもできる。こうすれば、ディストーションの大きいカメラにて撮影した画像も、ディストーション補正されて表示する画像表示装置を提供することが可能となる。
【００８１】
図１３は本発明の第２の実施の形態を説明する全体構成ブロック図である。図において、第２の実施の形態のキャリブレーションチャート画像表示装置は、校正画像記憶部１２、表示画像メモリ１３、キャリブレーションチャート画像表示部１４、表示順序制御部１５、撮影信号出力部１６、校正画像切換え指示部１７、焦点距離修正制御部１８を備えている。焦点距離修正制御部１８は、キャリブレーション対象となる被校正撮影装置１９から取得された焦点距離情報に応じて、キャリブレーションチャート画像表示部１４に表示されるキャリブレーションチャート画像の大きさ又は密度の少なくとも一方を変更する機能を有する。
【００８２】
図１４は、被校正撮影装置１９の焦点距離にあわせてキャリブレーション画像の密度を変更する場合の説明図で、（Ａ）は粗の場合、（Ｂ）は密の場合を示している。焦点距離修正制御部１８は、被校正撮影装置１９の焦点距離にあわせて、被校正撮影装置１９のファインダー上でいっぱいになるような密度と大きさになるキャリブレーション画像を計算して、キャリブレーションチャート画像表示部１４に表示させる。
【００８３】
図１５は、被校正撮影装置とキャリブレーション装置とが連携をとってキャリブレーション処理を行なう場合の配置図である。被校正撮影装置１９としてのカメラは、キャリブレーションチャート画像表示部１４に対して固定した位置に設置される。カメラとキャリブレーション装置としてのパソコンとを通信線を用いて接続すれば、画像の転送及び撮影のコントロールが撮影信号出力部１６、校正画像切換え指示部１７によって自動で行える。ズームレンズ対応のカメラの場合も、カメラとパソコンと接続すれば、焦点距離によってカメラとキャリブレーションチャート画像表示部１４との位置を変える必要はない。
【００８４】
図１６は、被校正撮影装置１９がズームレンズの場合に、キャリブレーション装置と連携をとってキャリブレーション処理を説明するフローチャートである。まず、被校正撮影装置１９とキャリブレーション装置用のソフトウェアをインストールしたパソコンとを信号線を用いて接続して、パソコンの電源を立ち上げる（Ｓ２００）。そして、被校正撮影装置１９のズームレンズを一番広角側に設定する（Ｓ２１０）。次に、キャリブレーションチャート画像表示部１４が被校正撮影装置１９のファインダーいっぱいになるような位置に被校正撮影装置１９を設定する（Ｓ２２０）。被校正撮影装置１９の位置が決まったら、被校正撮影装置１９を三脚に取り付けて、キャリブレーション装置によるキャリブレーションを撮影信号出力部１６、校正画像切換え指示部１７を用いて行える。
【００８５】
即ち、キャリブレーション装置は、キャリブレーションチャート画像表示部１４上にキャリブレーション画像を写す（Ｓ２３０）。そして、被校正撮影装置１９によりキャリブレーション画像を撮影する（Ｓ２４０）。ここで、キャリブレーション装置側から被校正撮影装置１９の撮影を撮影信号出力部１６、校正画像切換え指示部１７を用いてコントロールできるのであれば、キャリブレーション連携操作ソフトウェアを起動して、被校正撮影装置１９により撮影させる。あるいは操作者が手動で被校正撮影装置１９のシャッターを押してもよい。
【００８６】
次に、被校正撮影装置１９によるキャリブレーション画像の撮影が終了したか判断する（Ｓ２５０）。もし、被校正撮影装置１９の焦点距離について必要枚数撮影していなければ、Ｓ２３０に戻って、異なるキャリブレーション撮影方向のキャリブレーション画像を映し出し、所定枚数終了するまで被校正撮影装置１９の撮影を繰り返す。なお、キャリブレーション装置と被校正撮影装置１９が連動して動作できる構造であれば、キャリブレーションチャート画像表示部１４の画面をソフトウェアにて切り替えた後、撮影信号出力部１６、校正画像切換え指示部１７の機能を搭載したキャリブレーション連携操作ソフトウェアにより被校正撮影装置１９を操作して、キャリブレーション画像の撮影を自動で行える。
【００８７】
次に、被校正撮影装置１９の一つの焦点距離において、キャリブレーションが終了したら、被校正撮影装置１９の焦点位置を変更する（Ｓ２６０）。焦点位置については、ズームレンズをどのくらいの精度でキャリブレーションするかによって決める。また、焦点位置の変更は、マニュアル式の被校正撮影装置１９に対しては操作者が行ない、電動式でキャリブレーション装置側からコントロール可能なものであれば、キャリブレーション連携操作ソフトウェアを用いて位置を変更する。焦点位置の変更処理は、被校正撮影装置１９が焦点距離を電動で調整できる形式である場合は全自動で、マニュアルで調整する形式である場合は、被校正撮影装置１９の焦点距離をマニュアルであわせた後、被校正撮影装置１９とキャリブレーション装置の通信により焦点情報をキャリブレーション装置側に転送する。仮に通信機能が無くとも、画像転送機能が被校正撮影装置１９とキャリブレーション装置間にあれば、被校正撮影装置１９の焦点距離を変えた状態でキャリブレーション画像を一枚撮影すれば、その画像上から焦点距離を読み込むことができる。
【００８８】
次に、焦点距離修正制御部１８により、被校正撮影装置１９の変更した焦点位置の情報を基礎として、キャリブレーションチャート画像表示部１４のターゲットの密度を変更して、キャリブレーション画像を自動で表示させる（Ｓ２７０）。例えば図１４（Ａ）のパターンを、被校正撮影装置１９の焦点距離に合わせ、図１４（Ｂ）のように画素密度を密に表示する。
【００８９】
そして、被校正撮影装置１９は、表示されたキャリブレーション画像を撮影する（Ｓ２８０）。Ｓ２８０の処理も、被校正撮影装置１９の焦点位置変更と同様に、操作者が行なっても良く、又はキャリブレーション連携操作ソフトウェアを用いて、キャリブレーションチャート画像表示部１４の表示が変更された後、被校正撮影装置１９のシャッターを切っても良い。
【００９０】
キャリブレーション装置又は操作者は、被校正撮影装置１９が撮影するキャリブレーション画像が所定枚数終了したか判定する（Ｓ２９０）。もし、撮影が終了していなければ、Ｓ２６０に戻り、表示順序制御部１５に従い、焦点距離やキャリブレーション撮影方向の異なるキャリブレーション画像を映し、キャリブレーションチャート画像表示部１４に焦点距離修正制御部１８で処理された画素密度にて表示させる。
【００９１】
キャリブレーション装置又は操作者は、被校正撮影装置１９が各焦点距離にてキャリブレーション画像の撮影が終了したか判定する（Ｓ３００）。もし終了していなければ、Ｓ２６０に戻り、再び焦点距離を変えて同様の操作を繰り返す。所定の焦点位置についてすべての撮影が終了したら、それらの画像について解析処理を行い、各焦点位置におけるカメラパラメータを算出する（Ｓ３１０）。
【００９２】
本実施の形態のように、被校正撮影装置１９とキャリブレーション装置を接続すれば、全自動にてズームレンズのキャリブレーションが行えるため、操作者による作業は、キャリブレーションチャート画像表示部１４の前に被校正撮影装置１９を設置するだけでよい。また、被校正撮影装置１９のズームが手動のタイプでも、キャリブレーションチャート画像表示部１４の前に被校正撮影装置１９を一度設定したら、その後は被校正撮影装置１９のレンズの焦点距離を変更させるだけでよい。
【００９３】
図１７は本発明の第３の実施の形態を説明する全体構成ブロック図である。図において、第３の実施の形態のキャリブレーションチャート画像表示装置は、画像形成部４０、基準画像記憶部４１、画像変換処理部４２、表示画像メモリ４３、キャリブレーションチャート画像表示部４４、表示順序制御部４５を備えている。
【００９４】
画像形成部４０では所定のキャリブレーション撮影方向からキャリブレーションチャート１を観察した状態の画像を形成するもので、基準画像記憶部４１と画像変換処理部４２を備えている。基準画像記憶部４１は、特定方向から撮影されたキャリブレーションチャートの画像を記憶するもので、図２に示すような標準となるキャリブレーションチャート１の画像を記憶させておいてもよい。画像変換処理部４２は、基準画像記憶部４１に記憶された画像を用いて、特定方向とキャリブレーション撮影方向との画像変換関係を適用して、キャリブレーション撮影方向のキャリブレーションチャートの画像を形成する。
【００９５】
表示画像メモリ４３は、キャリブレーションチャート画像表示部４４に表示される画像を記憶するメモリである。キャリブレーションチャート画像表示部４４は、画像形成部４０で形成されたキャリブレーションチャート画像を表示するもので、例えばパソコンのＣＲＴや液晶のようなモニター装置が用いられる。表示順序制御部４５は、キャリブレーションチャート画像表示部４４に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する。撮影信号出力部４６、校正画像切換え指示部４７は、前述した撮影信号出力部１６、校正画像切換え指示部１７と同様の働きをする。
【００９６】
このように構成された装置の動作について説明する。図１８は、画像形成部４０により形成されるキャリブレーションチャート画像の一例を示す図である。図１８で示すキャリブレーションチャート画像は、例えば図２で示すキャリブレーションチャート１の第１及び第２のマークを、キャリブレーションチャート画像表示部４４の所定位置に表示するものであればよい。画像変換処理部４２は、例えば平面パターンの場合には、前述の式（２）で示す射影変換式を用いて、ある平面の点（ｘ，ｙ）を投影中心Ｏに関して、他の平面上の点（Ｘ，Ｙ）として投影する。さらに、図１８のように規則正しく並んだ画像に高さを持たせたい場合には、次の式（１１）を用いて、その高さを考慮した変換画像を作成することができる。即ち、三次元の点（Ｘ，Ｙ，Ｚ）が投影中心Ｏに関して平面の点（ｘ，ｙ）に投影されるとき、次式が成立する。
【数５】

【００９７】
なお、上記の実施の形態においては、キャリブレーションチャートとして平面的な画像の場合を示したが、本発明はこれに限定されるものでは、立体的なものでも良い。図１９は立体基準チャートの一例を示す構成斜視図である。図において、立体基準チャート２０は、ターゲット２０ａ〜２０ｈの位置が三次元的に正確に測定されているもので、ターゲットの数、高さ、並びに平面的な座標は三次元計測に適するように適宜に定められている。
【００９８】
図２０はキャリブレーションチャート画像表示部１４によって表示される三次元キャリブレーション画像の一例を説明する図である。キャリブレーション画像は、例えば図４（Ａ）で説明した正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向をキャリブレーション撮影方向として、図１９で示す立体基準チャート２０を撮影したものである。
【００９９】
【発明の効果】
以上説明したように、本発明のキャリブレーションチャート画像表示装置によれば、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャートの画像を記憶する校正画像記憶部と、校正画像記憶部に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向に応じて表示するキャリブレーションチャート画像表示部とを備えているので、被校正撮影装置はキャリブレーションチャートに対して所望の角度を正確に付した画像を得ることができ、高さ（奥行き）方向の変化を確実にし、キャリブレーションチャートによって被校正撮影装置の焦点距離を正確に算出できる。
【０１００】
また実施の形態のように、キャリブレーションチャート画像表示装置としてＰＣ（パソコン）のような情報処理プロセッサを搭載したコンピュータ、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）モニタのような表示装置、並びにＰＣにインストールするキャリブレーションチャート画像表示用のソフトウェアが存在すれば、デジタルカメラのような被校正撮影装置の画像に含まれる歪曲成分を除去するのに必要とされる撮影画像が取得できる。そこで、従来キャリブレーション作業で必要とされていた、高価で精密な専用機材を用いなくても、汎用で低価格のコンピュータとモニタ装置を用いて安価にシステム構築ができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】キャリブレーションチャートの一例を示す平面図である。
【図３】第１マークの一例を示す説明図である。
【図４】レンズ収差を計測する場合のカメラ配置を説明する図で、（Ａ）はカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのカメラ間隔を示した図である。
【図５】標準レンズや広角レンズのカメラによるチャートの撮影手順の説明図で、（Ａ１）〜（Ａ４）はカメラの画像、（Ｂ１）〜（Ｂ４）はカメラ画像に対応するチャートとカメラの位置関係を示している。
【図６】キャリブレーションチャート画像表示部１４によって表示されるキャリブレーション画像の一例を説明する図である。
【図７】本発明が適用されるキャリブレーション装置を説明する全体構成ブロック図である。
【図８】キャリブレーション装置を用いたキャリブレーション方法を説明するフローチャートである。
【図９】Ｓ１０におけるキャリブレーションチャート画像表示装置を用いたキャリブレーション画像撮影を説明するフローチャートである。
【図１０】Ｓ６０における第２マーク精密位置計測を説明するフローチャートである。
【図１１】（Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。
【図１２】キャリブレーション要素の演算処理結果の一例を示す説明図である。
【図１３】本発明の第２の実施の形態を説明する全体構成ブロック図である。
【図１４】被校正撮影装置１９の焦点距離にあわせてキャリブレーション画像の密度を変更する場合の説明図である。
【図１５】被校正撮影装置とキャリブレーション装置とが連携をとってキャリブレーション処理を行なう場合の配置図である。
【図１６】被校正撮影装置がズームレンズの場合に、キャリブレーション装置と連携をとってキャリブレーション処理を説明するフローチャートである。
【図１７】本発明の第３の実施の形態を説明する全体構成ブロック図である。
【図１８】画像形成部４０により形成されるキャリブレーションチャート画像の一例を示す図である。
【図１９】立体基準チャートの一例を示す構成斜視図である。
【図２０】キャリブレーションチャート画像表示部１４によって表示される三次元キャリブレーション画像の一例を説明する図である。
【符号の説明】
１チャート（キャリブレーションチャート）
２カメラ
３画像データ記憶部
４抽出部
５概略マーク位置測定部
６精密マーク位置測定部
７演算処理部
８画像処理部
９表示部
１２校正画像記憶部
１３表示画像メモリ
１４キャリブレーションチャート画像表示部
１５表示順序制御部
１６撮影信号出力部
１７校正画像切換え指示部
１８焦点距離修正制御部
１９被校正撮影装置[0001]
[Industrial applications]
The present invention provides a display device for a calibration chart for measuring internal parameters required for correcting image distortion of a camera (for example, a principal point position of a lens, a screen distance (focal length), a distortion parameter, and the like). About.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in the field of photogrammetry and photometry, it is important to obtain an image with less aberration. Therefore, in the field of photogrammetry and photometry, a high-precision lens with small aberration is used as a lens of a camera for photographing. Furthermore, in the field of photogrammetry, the internal parameters (principal point position, screen distance, distortion parameters) of the camera are analyzed analytically by measuring a large number of precisely arranged three-dimensional points from multiple directions. I'm asking. In the case of a measuring camera used in the field of photo measurement, the internal parameters of the camera are obtained by precisely measuring the manufactured camera.
[0003]
[Problems to be solved by the invention]
However, a method of obtaining a camera internal parameter by photographing and measuring a three-dimensionally measured measurement point precisely measured in the field of photogrammetry has the following problems.
{Circle around (1)} Measurement points (targets) are arranged three-dimensionally. Therefore, when a photograph is taken from a plurality of directions, a blind spot occurs, and a target that cannot be seen between images occurs.
{Circle around (2)} In the photographed image, the positional relationship between the three-dimensional measurement points may be reversed, and it is difficult to measure the measurement points and associate the images with each other, so that it cannot be automated.
{Circle around (3)} Thus, measurement of measurement points and association between images are performed by highly skilled workers. Then, in order to obtain the internal parameters of the camera, a high cost and a long operation are required.
In addition, the method of precisely measuring the manufactured measurement camera not only requires special jigs and tools, but also requires skill and can only be measured by an organization with special equipment, making it expensive as a dedicated measurement camera There is a problem that.
[0004]
Therefore, in recent years, a calibration method for measuring lens aberration by measuring two-dimensional measurement points printed on a sheet has been proposed as an alternative to three-dimensional measurement points. However, in the method of obtaining the lens aberration by measuring the measurement points printed on the sheet, since the measurement points are two-dimensionally arranged, the parameters that can be measured are limited to the lens aberration, and the focus of the lens is There is a problem that distance cannot be measured. Here, the focal length of the lens is a parameter necessary for performing three-dimensional measurement using a set of images that can be viewed stereoscopically.
[0005]
Further, the imaging method also has a problem that the measurement points printed on the sheet must be imaged from a plurality of positions and directions, and the imaging positions are different depending on the focal length, which requires know-how for imaging and is difficult. Furthermore, in the case of a zoom lens, calibration must be performed at some of the focal positions of the zoom lens, and there is a problem in that it takes time and photography cannot be performed easily.
[0006]
A first object of the present invention is to solve the above-mentioned problem, and a first object is to provide a planar calibration chart display device suitable for use in a calibration device or a calibration method for easily measuring internal parameters of a camera. Is to provide. A second object is to provide a calibration chart display device that can easily cope with not only a fixed focus but also a zoom lens.
[0007]
[Means for Solving the Problems]
The calibration chart image display device of the present invention achieves the first object, and as shown in FIG. 1, stores a calibration image image of a calibration chart 1 photographed from a predetermined calibration photographing direction. A calibration chart image display unit that displays the calibration chart image stored in the calibration image storage unit according to the calibration shooting direction.
[0008]
In the apparatus configured as described above, the calibration image storage unit 12 stores an image of the calibration chart 1 photographed from a predetermined calibration photographing direction. The calibration chart image display unit 14 displays the calibration chart image stored in the calibration image storage unit 12 according to the calibration shooting direction. Here, the calibration photographing direction is, for example, as shown in FIGS. 4A and 5, a first photographing direction in which one of the first marks (I) of the calibration chart 1 is photographed in front, and A camera position is provided in front of another first mark (II, III, IV, V) separated from the first mark by the predetermined distance d, and the shooting direction of the lens is set to the first mark (I). A second imaging direction in which the optical axis of the lens is oriented. Then, the calibrated photographing device 19 can obtain an image in which a desired angle is accurately attached to the calibration chart 1, ensures a change in the height (depth) direction, and uses the calibrated chart to perform calibration. Nineteen focal lengths can be accurately calculated. “Display according to the calibration shooting direction” means, for example, the order of the first shooting direction and the second shooting direction (upper left (II), lower left (IV), upper right (III), and lower right (V)). Means displaying sequentially.
[0009]
Preferably, if the calibration chart image stored in the calibration image storage unit 12 is an image in which distortion has been corrected, distortion included in an image photographed by the calibration photographing device 19 such as a camera, for example, a lens Calculation of camera internal parameters required to remove aberrations can be easily performed. The distortion-corrected image is generated, for example, by applying a parameter for compensating the effect of lens aberration in the photographed camera and removing the effect of lens aberration from the photographed calibration chart image.
[0010]
The calibration chart image display apparatus of the present invention achieves the first object, and forms an image in a state where the calibration chart 1 is observed from a predetermined calibration photographing direction as shown in FIG. A calibration chart image display unit 44 for displaying a calibration chart image formed by the image forming unit 40;
[0011]
In the apparatus configured as described above, the image forming unit 40 forms an image in a state where the calibration chart 1 is observed from a predetermined calibration photographing direction. The calibration chart image display unit 44 displays the calibration chart image formed by the image forming unit 40.
[0012]
Preferably, the image forming unit 40 uses the reference image storage unit 41 that stores the image of the calibration chart captured from the specific direction and the image stored in the reference image storage unit 41 to perform the calibration imaging with the specific direction. The image conversion processing unit 42 that forms the image of the calibration chart in the calibration shooting direction by applying the image conversion relationship with the direction may be provided. Then, the image of the calibration chart in the other calibration shooting direction can be formed by the image conversion processing unit 42 using the image of the calibration chart shot by the reference image storage unit 41. The image of the calibration chart can be easily acquired even when the work of photographing from the calibration photographing direction is difficult.
[0013]
Preferably, the display order control unit () sequentially selects the calibration chart images displayed on the calibration chart image display units (14, 34) in conjunction with the photographing operation of the photographing device 19 to be calibrated. 15, 35). Then, by using the display order control unit, the calibration chart image display unit 14 can easily display the calibration chart image stored in the calibration image storage unit 12 according to the calibration shooting direction. .
[0014]
Preferably, the display order control unit (15, 35) further includes a photographing unit that outputs a photographing signal to the calibration photographing device 19 after the calibration chart image display unit (14, 34) displays the calibration chart image. A signal output unit (16, 36) and a photographing completion signal of a calibration chart image by the calibration photographing device 19 are input, and a display command of a calibration chart image subsequent to the calibration chart image display unit (14, 34). A calibration image switching instructing section (17, 37) for outputting a signal. Then, the operation of the display order control unit is interlocked with the calibration target photographing device 19, so that the switching of the calibration chart image is automated.
[0015]
Preferably, in order for the calibration chart image display device of the present invention to correspond to a zoom lens as the calibration imaging device 19, the calibration chart image display device is acquired from the calibration imaging device 19 to be calibrated in order to achieve the second object. A focal length correction control unit (18, 38) for changing at least one of the size or density of the calibration chart image displayed on the calibration chart image display unit (14, 34) according to the focal length information. ing. In the device configured as described above, even a calibration photographing device 19 having a variable focal length such as a zoom lens can be easily converted into an optimal calibration chart image and displayed.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described with reference to the drawings. FIG. 1 is an overall configuration block diagram for explaining a first embodiment of the present invention. In the figure, a calibration chart image display device of the present invention includes a calibration image storage unit 12, a display image memory 13, a calibration chart image display unit 14, a display order control unit 15, a photographing signal output unit 16, a calibration image switching instruction unit. 17 is provided. The calibration image storage unit 12 stores an image of the calibration chart 1 photographed from a predetermined calibration photographing direction. The details of the calibration chart 1 and the calibration shooting direction will be described later. The display image memory 13 is a memory that stores an image displayed on the calibration chart image display unit 14. The calibration chart image display unit 14 displays the calibration chart image stored in the calibration image storage unit 12 in accordance with the calibration shooting direction. For example, a monitor device such as a CRT or a liquid crystal of a personal computer is used. .
[0017]
The display order control unit 15 sequentially selects the calibration chart images displayed on the calibration chart image display unit 14 in synchronization with the photographing operation of the photographing device 19 to be calibrated. After the calibration chart image display unit 14 displays the calibration chart image, the photographing signal output unit 16 outputs a photographing signal to the calibration photographing device 19. The calibration image switching instructing unit 17 inputs a photographing completion signal of the calibration chart image by the photographing device 19 to be calibrated, and outputs a display command signal of a subsequent calibration chart image to the calibration chart image display unit 14. As the calibration photographing device 19, for example, a camera using a movable focal length zoom lens or a fixed focal length lens is used.
[0018]
Note that, when the calibration subject photographing device 19 does not have a structure for receiving a photographing signal from the photographing signal output unit 16 or outputting a photographing completion signal, the photographing signal output unit 16 and the calibration image switching instructing unit 17 are provided. Is not used, and the photographer manually operates the shutter of the calibration subject photographing device 19 to photograph the calibration chart 1. When the calibration target imaging device 19 is manually operated, the display order control unit 15 displays a calibration chart image for a fixed time (for example, 10 seconds) for each calibration imaging direction.
[0019]
Next, chart 1 as a calibration chart will be described. Here, a case in which predetermined marks are printed on paper or a plastic sheet as the chart 1 will be described as an example, but an image in which predetermined marks are arranged on a flat screen may be displayed.
[0020]
FIG. 2 is a plan view showing an example of the calibration chart. The chart 1 has a planar sheet shape, and a first mark that is easily visible and a second mark that includes a number of points are printed on the front side. Here, a total of five first marks are arranged on the chart 1 and have a rhombic outline, and a pattern common to the second mark is drawn at the center. The

first marks

1a, 1b, 1c, and 1d are provided in each quadrant when the chart 1 is divided into four quadrants. The first mark 1a is the upper left quadrant, the first mark 1b is the upper right quadrant, and the first mark 1c. Is located in the lower left quadrant, and the first mark 1d is located in the lower right quadrant. The first mark 1e is provided at an origin position common to each quadrant. For example, the

first marks

1a, 1b, 1c, 1d are provided at positions equidistant d from the first mark 1e. Assuming that the chart 1 is rectangular, the vertical interval between the

first marks

1a and 1b and the first mark 1e is h, and the vertical interval between the

first marks

1c and 1d and the first mark 1e is l. At this time, the distance d between the

first marks

1a, 1b, 1c, 1d and the first mark 1e satisfies the following relationship.
d = (h2 + l2) ^1/2 (1)
[0021]
The first mark and the second mark are printed in a desired size or measured in advance. The numerical values of the printing positions of the first mark and the second mark are read into the mark coordinate storage unit 10 of the calibration device, and are used by the rough mark position measuring unit 5 for rough position measurement and association. Note that the chart 1 may be stored as image data in a storage device of a computer, and printed and used at a location where calibration is performed. If the positions of the first mark and the second mark are stored in advance in the calibration device and are printed on the sheet at the stored coordinates, the measurement work becomes unnecessary, so that the work is simple. Become something. Alternatively, the chart 1 may be precisely measured to measure the coordinate positions of the first mark and the second mark, and the coordinate values may be stored in the mark coordinate storage unit 10 and used.
[0022]
The first mark is used not only for rough mark position measurement and association, but also as a target for determining a shooting direction. Further, the central part of the outline rhombus of the first mark is used as a template for precise measurement by the precise mark position measuring unit 6 by using the same pattern as the second mark.
[0023]
3A and 3B are explanatory diagrams showing an example of the first mark. FIG. 3A shows a rhombus, FIG. 3B shows four arrows, and FIG. 3C shows a black rectangle. In FIGS. 3A and 3B, a rhombus or four arrows are arranged so that the first mark surrounds a pattern common to the second mark, so that the first mark is easily viewed by an operator. By making the design easily visible, the first mark can be easily extracted, and even if one photographing angle is selected from a wide range of photographing angles as the photographing direction of the photographing device 19 to be calibrated, The first mark is not missed from the photographed image. In FIG. 3 (C), the first mark is a black rectangle, and the pattern at the center is a color inverted from the second mark, but detection is easy even in this case. Also, when the precision mark position measurement unit 5 performs measurement, the pattern of FIG. 3C can be used as a template of the second mark by inverting the gradation of the first mark. .
[0024]
The second mark designates the position of the image data of the chart 1 photographed by the proofreading photographing device 19, and is also called a target, and is preferably arranged uniformly on the chart 1 at a uniform density. The second marks are preferably provided at 30 or more locations on the chart 1, and more preferably at about 100 to 200 locations. However, if a large number of second marks are provided, the second marks themselves become small and difficult to see, and the measurement calculation time of the lens aberration becomes long. Therefore, there is a practical upper limit. is there. Since a large number of the second marks are arranged evenly on the chart 1, various symbols may be adopted as long as the precise position measurement is easy. For example, as the second mark, a black circle “●”, a plus “+”, a double circle “◎”, an English character “X”, a star “★”, a black square “▲”, a black triangle “▲” , A black diamond “◆” or the like can be used.
[0025]
Subsequently, a procedure for photographing the chart 1 for a calibration chart image using a lens having extremely small lens aberration will be described. 4A and 4B are diagrams for explaining a calibration shooting direction. FIG. 4A is a three-dimensional view showing a camera arrangement in the calibration shooting direction, and FIG. 4B is a diagram illustrating a calibration when a standard lens and a telephoto lens are generally used. FIG. 4 is a diagram showing camera intervals corresponding to different shooting directions. If there are two or more images of the chart 1 from different photographing angles in a predetermined calibration photographing direction, the chart 1 can be used as a calibration image. Preferably, when a flat chart printed on a sheet is used as the chart 1, the measurement values of each calibration element, especially the focal length, are stabilized by photographing from three or more photographing angle directions, and the reliability is improved. Will be high. The camera 2 uses a high-performance camera having extremely small lens aberration for photographing a calibration image, such as a photographing camera for photogrammetry or photograph measurement.
[0026]
The calibration image is photographed in five directions as shown in FIG. 4A, that is, the front (I), the upper left (II), the upper right (III), the lower left (IV), and the lower right (V) as the calibration photographing directions. I do. The shooting angle between the optical axis of the camera 2 and the flat chart is preferably in the range of 10 ° to 30 ° when the depth accuracy at the actual shooting site is set to about 1 cm. Considering that the matching distance is also limited, the range of 12 to 20 degrees is more preferable. Typically, it is preferable to adopt 15 degrees as a shooting incident angle between the optical axis of the camera 2 and the flat chart.
[0027]
Hereinafter, the photographing procedure of the chart 1 in each calibration photographing direction will be described with reference to FIG. FIG. 5 shows camera images at (A1), (A2), (A3), and (A4), and shows the positional relationship between the chart 1 and the camera 2 corresponding to the camera images by (B1), (B2), B3) and (B4). Note that the numbers (I) to (V) correspond to the camera positions in FIG.
[0028]
(I): An image is taken from the front so that all of the first and second marks of the chart 1 are fully filled (FIGS. 5A1 and 5B1). By filling the first mark and the second mark as much as possible in the captured image, distortion correction up to the peripheral portion of the lens is ensured. Therefore, the shooting distance H changes according to the focal length of the camera.
(II): Next, when a standard lens and a telephoto lens are generally used, the camera is moved to a position about 1/3 of the shooting distance H around the front camera position, for example, in the upper left quadrant. The camera position is changed so that the first mark 1a becomes the photographing center (FIGS. 5A2 and 5B2). However, in general, when the wide-angle lens is used and the shooting distance H is within about 1 m, the camera 2 may be moved so that the target first mark is in front. Then, while keeping the camera position of the camera 2 as it is, the direction of the camera 2 is turned so that the first mark 1e at the center becomes the center (FIGS. 5A3 and 5B3). Next, the camera 2 is moved so as to approach the chart 1, and the image is taken such that the first mark and the second mark fully fill the captured image of the camera 2 (FIGS. 5A4 and 5B4). ).
[0029]
(III): The camera position is changed so that the first mark 1b in the upper right quadrant becomes the photographing center. Then, the camera is directly oriented so that the first mark 1e at the center becomes the center, and shooting is performed so that the first mark and the second mark are fully filled. (IV): The camera position is changed so that the first mark 1c in the lower left quadrant becomes the photographing center. Then, the camera is directly oriented so that the first mark 1e at the center becomes the center, and shooting is performed so that the first mark and the second mark are fully filled.
(V): The camera position is changed so that the first mark 1a in the lower right quadrant becomes the photographing center. Then, the camera is directly oriented so that the first mark 1e at the center becomes the center, and shooting is performed so that the first mark and the second mark are fully filled.
According to such a procedure, the angle of the camera 2 can be secured as a required difference in photographing angle, so that the focal length can be reliably measured.
[0030]
Here, the interval H between the camera 2 and the chart 1 is determined from the focal length f of the standard lens or the wide-angle lens. For example, with a standard lens having a focal length of 35 mm, the shooting distance H is about 90 cm. Since the mutual distance d between the first marks provided on the chart 1 is, for example, 20 cm, when the shooting direction is inclined from the front (I) to the upper left (II) or the like, a shooting angle of about 10 degrees is secured.
Note that the upper limit of the tilt angle in the shooting direction is determined by the depth of focus and the like. That is, if the inclination angle in the photographing direction is large, the distance between the camera 2 and the first mark differs for each first mark, and the image of the first mark in the image is blurred. Therefore, the upper limit of the inclination angle in the photographing direction is, for example, 30 degrees. The actual shooting procedure is as shown in the above (I) to (V). If the shooting is performed so that the first mark and the second mark are completely filled in the screen of the camera, the above conditions are naturally satisfied. Is satisfied.
[0031]
When measuring the lens aberration of a telephoto lens or a standard lens, the angle of view of the photographing lens becomes narrower, and the angle cannot be obtained. Therefore, when the photographing direction is inclined from the front (I) to the upper left (II), etc. 10 degrees will not be secured. That is, when the focal length is long, the shooting distance H between the camera 2 and the chart 1 is 1 m or more, and the distance d between the first marks is only about 20 cm. Therefore, as shown in FIG. 4B, the camera positions (II) and (IV) on the left side and the camera positions (III) and (V) on the right side are determined with the front camera position as the center. At this time, the cameras are installed at positions where the distance between the left and right camera positions is set to about 1/3 of the shooting distance H from the position of the front (I), respectively, and the above-mentioned upper left (II), lower left (IV) and upper right (III) The photographing may be performed at the lower right (V). The optical axis of the camera may be aligned with the normal direction of the chart 1, but may be oriented in the direction of the chart 1.
[0032]
In the above embodiment, the photographing positions are shown in the five directions of front (I), upper left (II), upper right (III), lower left (IV) and lower right (V). May be at least two directions in the left and right directions, and may be three or more directions. Also in the case of two left and right directions, the chart 1 is photographed such that a photographing angle of about 10 degrees is secured.
[0033]
In addition, the chart 1 may use an image display of the flat sheet on which the first mark and the second mark are displayed on a device having a flat display screen, such as a notebook computer, instead of the flat sheet. A screen using glass, such as a liquid crystal display screen, is extremely suitable for a display device for the chart 1 because it has very little plane expansion and contraction due to humidity and temperature as compared with paper and plastic. In addition, the use of a portable personal computer display screen as a liquid crystal display screen, in addition to having good display accuracy, is also excellent in portability. Endure.
[0034]
FIG. 6 is a diagram illustrating an example of a calibration image displayed by the calibration chart image display unit 14. The calibration image is obtained by, for example, setting the five directions of the front (I), the upper left (II), the upper right (III), the lower left (IV), and the lower right (V) described in FIG. This is a photograph of the chart 1 indicated by 2.
[0035]
FIG. 7 is an overall configuration block diagram illustrating a calibration device to which the present invention is applied. The calibration chart image display unit 14 displays the calibration image in such a manner that the calibration shooting direction can be determined. The photographic device 19 to be calibrated is a camera to be calibrated, and typically has a lens aberration that is larger than that of a photographic camera for photogrammetry or photometry, such as a general-purpose optical camera or digital camera. It is big. The calibration subject photographing device 19 may be a wide-angle lens or a standard lens, or may include a telephoto lens.
[0036]
The image data storage unit 3 is a storage device for storing calibration image data photographed by the calibration photographing device 19, and uses an electromagnetic storage medium such as a magnetic disk or a CD-ROM. It is preferable that the image data storage unit 3 stores a calibration image photographed by the calibration photographing device 19 in such a manner that the calibration photographing direction can be determined.
[0037]
The calibration device includes an extraction unit 4, a rough mark position measurement unit 5, a precision mark position measurement unit 6, an arithmetic processing unit 7, an image processing unit 8, a mark coordinate storage unit 10, and a lens aberration compensation parameter storage unit 11, An image data storage unit 3 and a display unit 9 are provided as external devices. As the calibration device, for example, a computer equipped with Pentium (registered trademark) or Celeron (registered trademark) manufactured by Intel Corporation as a CPU may be used.
[0038]
The extraction unit 4 performs a first mark extraction process of extracting a first mark from the image data stored in the image data storage unit 3 and obtaining an image coordinate value of the first mark. The first mark extraction process is performed as a preprocess for calculating the approximate position of the second mark by the approximate mark position measuring unit 5 and associating it. The image coordinate value of the first mark is stored in the mark coordinate storage unit 10. When the first mark includes a symbol common to the second mark, the image coordinates of the first mark may be determined based on the position of the second mark in the first mark. Details of the first mark extraction processing by the extraction unit 4 will be described later.
[0039]
The approximate mark position measuring unit 5 obtains an external orientation element by performing projective transformation from the image coordinate value of the first mark extracted by the extraction unit 4, and uses the theorem of single photo orientation and the collinear condition expression, The approximate position of the second mark is calculated, and the images of the proofreading set are associated with each other. Details of the approximate position calculation processing of the second mark by the approximate mark position measuring unit 5 will be described later.
[0040]
The precise mark position measuring unit 6 recognizes the second mark with respect to the image of the photo set for calibration, and precisely calculates the position of the second mark by a center-of-gravity position detection method or the like. If the position of the second mark calculated by the precision mark position measuring unit 6 has a significant discrepancy with the position of another second mark in the image data of the chart 1, the calculation processing unit 7 determines the discrepancy. It has a function of excluding the position of the generated second mark. Further, the arithmetic processing unit 7 extracts a second mark suitable for calibration from among the second marks calculated by the precision mark position measuring unit 6, and simultaneously adjusts the external orientation element and the coordinates of the target point. , The internal parameters of the photographic device to be calibrated 19 are calculated. The calculated internal parameters of the calibration subject photographing device 19 may be stored in the lens aberration compensation parameter storage unit 11. The internal parameters of the calibrated imaging device 19 include a principal point position, a screen distance, and a distortion parameter. Note that only the distortion parameter is obtained here, but spherical aberration, coma, astigmatism, and image plane warpage that constitute Seidel's five aberrations may also be obtained. The internal parameters obtained by the arithmetic processing unit 7 are graphically displayed on the display unit 9. Note that details of the internal processing of the precision mark position measuring unit 6 and the internal processing of the calibration photographing device 19 of the arithmetic processing unit 7 will be described later.
[0041]
The image processing unit 8 rearranges the data images of the images (especially, the images other than the chart 1) photographed by the calibration photographing device 19 using the internal parameters obtained by the arithmetic processing unit 7. Then, the image photographed by the calibration photographing device 19 is displayed on the display unit 9 as an image with most of the lens aberration removed and having extremely small distortion. The display unit 9 is an image display device such as a CRT or a liquid crystal display. The mark coordinate storage unit 10 stores the image coordinate value of the first mark, the control number of the second mark, and the image coordinate value of the second mark. The lens aberration compensation parameter storage unit 11 stores internal parameters of the calibration target imaging device 19 calculated by the calculation processing unit 7.
[0042]
Next, the entire flow of a calibration process using the calibration chart image display device and the calibration device of the present invention will be described with reference to FIG. FIG. 8 is a flowchart illustrating the entire flow of the calibration process. First, the calibration image displayed on the calibration chart image display unit 14 is photographed by the photographing device 19 to be compensated for lens aberration (S10). Here, the details of S10 will be described. FIG. 9 is a flowchart for explaining the calibration image photographing using the calibration chart image display device in S10.
[0043]
First, when the calibration subject photographing device 19 is a zoom lens, the focal length to be calibrated is set (S11). The focal length is preferably set, for example, on the wide-angle side of the zoom lens between the wide-angle side and the telephoto side, but may be set on the telephoto side. In the case where the subject imaging device 19 has a fixed focus, step S11 may be omitted.
[0044]
Next, a calibration chart image is displayed on the calibration chart image display unit 14 (S12). The calibration chart image to be displayed may be an image of the calibration chart 1 or a calibration chart generated by a computer. The calibration chart image display unit 14 preferably uses, for example, a monitor screen of a personal computer, and the calibration image to be displayed preferably has first and second marks (targets) displayed on the entire monitor screen. As the calibration photographing direction of the calibration image, for example, as shown in FIG. 6E, an image in which the calibration photographing device 19 and the calibration image face each other is selected as the first screen.
[0045]
Next, the camera position is set so that the calibration image displayed on the calibration chart image display unit 14 is fully displayed on the screen of the calibration photographing device 19 (S13). The camera position is a concept including a distance between the calibration target imaging device 19 and the calibration chart image display unit 14. Then, the calibration image displayed on the calibration chart image display unit 14 is photographed by the calibration photographing device 19 (S14).
[0046]
Then, it is determined whether or not the calibration photographing device 19 has photographed all the images necessary for calibration (S15). For example, as shown in FIG. 6, for a calibration image in which five directions of front (I), upper left (II), upper right (III), lower left (IV) and lower right (V) are set as the calibration shooting directions. Then, it is determined whether or not the photographing by the calibration photographing device 19 has been completed. If the calibration has not been completed, the process returns to S12, where a calibration image equivalent to that taken from another calibration shooting direction is displayed on the calibration chart image display unit 14, and it is necessary to take a picture with the calibrated photographing device 19. The number is repeated (for example, the remaining four directions other than FIG. 6E).
[0047]
After the required number of images have been captured at one focal length for the photographic device 19 to be calibrated, if the photographic device 19 to be calibrated is a zoom lens, it is determined whether the image capturing has been completed at all necessary focal lengths ( S16). If the calibration subject imaging apparatus 19 has a fixed focal point, the required focal length is one, and thus the calibration image capturing operation ends. In the case where the calibration subject photographing device 19 is a zoom lens, if it is determined that the photographing is not completed in S16, the photographing process for the next required focal length returns to S11 and is repeated. For example, as the focal length of the subject photographing apparatus 19, the zoom lens is adjusted for the required number of focal points to be interpolated, and the processing of S11 to S16 is repeated. Here, the number of focal lengths to be calibrated by the calibration photographing device 19 may be changed to the required accuracy of the calibration, or may be changed according to the range of the zoom lens. This number of focal lengths is two focal lengths as the minimum value, but may be three or more focal lengths. For example, when the subject photographing device 19 has five focal points from a wide angle to a telephoto, the operation is performed five times. Therefore, when the focal length of the calibration target imaging device 19 is changed, the camera position is changed and repeated so that the calibration image can be captured on the entire screen of the calibration target imaging device 19.
[0048]
When photographing of the calibration image by the calibration photographing device 19 is completed, the photographed calibration image is stored in the image data storage unit 3 (S17). The calibration image may be stored in an electromagnetic storage medium such as a flexible disk, or the image data may be transferred to the calibration device by communication via the Internet. When the process in S17 is completed, the process returns.
[0049]
Referring back to FIG. 8, the focal position recorded on the calibration image stored in the image data storage unit 3 is read (S20). Next, with respect to the calibration image, a group of images having the same focal length of the calibration target imaging device 19 is created as a group, and a calibration image group is created for each focal length (S25). If the calibration subject photographing device 19 is of a fixed focus type, the calibration process may be performed for a single focal length.
[0050]
Subsequently, an image to be processed this time is selected from the calibration image group formed for each focal length (S30). That is, the calibration device reads the image data of the selected calibration image group from the image data storage unit 3 and displays the image data on the display unit 9. Then, the operator selects, from the images displayed on the display unit 9, an image on which target association and measurement are to be performed. Then, the extraction unit 4 performs a first mark extraction process on the selected image (S40).
[0051]
(I): First mark extraction processing
In the first mark extraction processing, a secondary projection transformation formula between the plane coordinates of the chart 1 set on the measurement target surface and the image coordinates (on the camera side) is determined. Three or more points are measured on the image data. Here, since the first mark includes the second mark, by specifying the position of the included second mark, the position of the first mark is accurately specified. In the first mark extraction processing, the following processing from I- (1) to I- (4) is repeated by the number of points of the first mark. For example, in the chart 1 shown in FIG.
[0052]
I- (1) ... The operator positions the mouse cursor on the second mark in the first mark to be detected and clicks on the entire image displayed on the display unit 9 to obtain the approximate position of the first mark.
I- (2)... A local image including the second mark is cut out from the enlarged image centering on the image coordinates obtained in I- (1) and displayed. At this time, the image including the second mark can be used as a template for the second mark precise position measurement.
I- (3)... With respect to the enlarged image displayed by I- (2), the cursor position of the mouse is aligned with the center of gravity of the second mark and clicked, and the image coordinates are set as the center of gravity of the first mark. . Note that, in order to perform the approximate position correspondence in the subsequent processing, the position alignment in I- (3) may not be strict.
I- (4)... Next, in order to correspond to the management number of the second mark stored in the mark coordinate storage unit 10, the second mark corresponding to the barycentric position of the first mark measured in I- (3) Enter the mark management number. At this time, in the input management number of the second mark, the barycentric position of the first mark measured in I- (3) is stored as the reference point coordinate.
[0053]
In the first mark extraction process, for example, if the measurement order of the first mark on the chart 1 is determined in advance, the automatic numbering process can be performed on the extraction unit 4 side without inputting the management number of the second mark. It is. In the first mark extraction process, for example, the selected image displayed on the display unit 9 is divided into two so that the operator can easily work, and the whole image as shown in FIG. If the enlarged images shown in FIGS. 3A, 3B, and 3C are displayed in FIG. 3, the position measurement can be easily performed.
[0054]
Next, as another processing procedure of the first mark extraction processing, there is a method of measuring only the entire image as shown in FIG. 2 without using an enlarged image. In this case, the processing of I- (1) is performed, and in I- (4), the management number of the second mark corresponding to the center of gravity of the first mark measured in I- (1) is input. In this case, since the enlarged image is not used, the processing of I- (2) and I- (3) can be omitted. However, since the first mark is displayed small because the entire image is displayed, it may be determined whether or not to use the enlarged image according to the preference of the operator.
[0055]
Next, a case where the first mark extraction processing is automatically processed by the extraction unit 4 will be described. First, an outer frame portion of the first mark that does not include the second mark is registered as a template. For this registration, for example, the first first mark in the first mark extraction processing described above may be registered as a template image. Then, the remaining first marks can be automatically measured in the template matching process. In addition, the position correspondence in the case of the first mark can be easily performed because the position of the first mark is clear from the image. For example, in the case of the first mark arrangement of FIG. 2, it is easy to associate five first marks from the detected coordinates. Note that the template matching process is the same as the target recognition process (S62) in the second mark precise position measurement described later, and a description thereof will be omitted.
[0056]
Subsequently, a case where the first mark extraction process is further automatically processed by the extraction unit 4 will be described. The template image of the first mark in the first mark extraction processing is registered in the extraction unit 4 in advance. Then, since the first marks are individually extracted by the template matching process using the template images of the first marks, it is also possible to omit all operations for designating the first mark of I- (1). . That is, if the first mark is a mark that is clearly different from the second mark, automatic processing can be performed even if the extraction unit 4 has a virtual template image.
However, since it is sufficient to measure at least three points of the first mark, even a manual operation is a simple operation.
[0057]
Returning to FIG. 8, the rough mark position measurement unit 5 performs the measurement with the second mark rough position measurement (S50). The second mark approximate position measurement and association include a step (II-1) of obtaining an external orientation element and a step (II-2) of calculating an approximate position of the second mark.
(II-1): Step of obtaining external orientation elements
The approximate mark position measuring unit 5 substitutes the image coordinates of the first mark obtained in S40 and the reference point coordinates corresponding to the secondary projective transformation equation shown in equation (2), and sets the observation equation and parameters. Find b1 to b8.
X = (b1.x + b2.y + b3) / (b7.x + b8.y + 1)
Y = (b4.x + b5.y + b6) / (b7.x + b8.y + 1) (2)
Here, X and Y indicate reference point coordinates, and x and y indicate image coordinates.
[0058]
Next, the relationship between the reference point coordinates and the image coordinates will be described. FIG. 11A is an explanatory diagram of an image coordinate system and a target coordinate system in center projection. In the case of center projection, a target coordinate system 52 as a reference point coordinate system on which the chart 1 is placed based on the projection center point Oc, and an image coordinate system 50 on which the film or CCD of the photographic device 19 is placed are shown in FIG. The positional relationship is as shown in A). The coordinates of an object such as a reference mark in the object coordinate system 52 are (X, Y, Z), and the coordinates of the projection center point Oc are (X0, Y0, Z0). The coordinates in the image coordinate system 50 are (x, y), and the screen distance from the projection center point Oc to the image coordinate system 50 is C. [omega], [phi], and [kappa] represent inclinations of the image coordinate system 50 with respect to the three axes X, Y, and Z constituting the target coordinate system 52 at the time of camera shooting, and are called external orientation elements.
[0059]
Then, using the parameters b1 to b8 of the equation (2), the following external orientation elements are obtained from the equation (3).
ω = tan ^-1 (C ・ b8)
φ = tan ^-1 (-C · b7 · cosω)
κ = tan ^-1 (-B4 / b1) (when φ = 0)
κ = tan ^-1 (-B2 / b5) (when φ ≠ 0, ω = 0)
κ = tan ^-1 ｛-(A1, A3-A2, A4) / (A1, A2-A3, A4) (when φ ≠ 0, ω ≠ 0)
[0060]

However, A1 = 1 + tan ² φ, A2 = B1 + B2 · tanφ / sin ω, A3 = B4 + B5 · tanφ / sinω, and A4 = tanφ / (cosφ · tanω). Also, Zm is the average elevation of the four reference points of the

first marks

1a, 1b, 1c, 1d. Here, since the reference points of the

first marks

1a, 1b, 1c, and 1d are on plane coordinates, it can be assumed that the reference points are planes having a constant altitude. C is a focal length, which corresponds to the above-described screen distance.
[0061]
(II-2): Step of calculating approximate position of second mark
Next, based on the principle of single-photo orientation, the camera coordinates (xp, xp, x) in the tilted camera coordinate system represented by the image coordinate system 50 with respect to the ground object (X, Y, Z) represented by the target coordinate system 52. yp, zp) is given by equation (4).
(Equation 1)

Here, X0, Y0, and Z0 are the ground coordinates of the projection center point Oc as shown in FIG.
[0062]
Here, the camera inclination (ω, φ, κ) obtained by Expression (3) is substituted into Expression (4), and the rotation matrix is calculated to obtain the rotation matrix elements a11 to a33.
[0063]
Next, the elements a11 to a33 of the obtained rotation matrix, the camera position (X0, Y0, Z0) obtained by equation (3), and the reference point coordinates (X, Y, Z) of the target are collinear conditions. The image coordinates (x, y) of the target are obtained by substituting into the expression {Expression (5)}. Here, the collinear conditional expression is a relational expression established when the projection center, the photographic image, and the object on the ground are on a straight line. As a result, the position of the second mark in the case where there is no lens aberration is calculated, so that the approximate image coordinates of the target in the image captured by the actual photographing device 19 having the lens aberration are obtained.

[0064]
By the way, tan in the equation (3) ^-1 In the above calculation, two solutions are obtained, so that the camera tilt (ω, φ, κ) has two solutions each and performs all calculations. Then, by comparing the residuals between the image coordinates of the four points of the

first marks

1a, 1b, 1c, and 1d measured in the first mark extraction processing and the image coordinates of the corresponding four points obtained by the equation (5), the correct answer is obtained. Ω, φ, and κ are calculated.
Although the description has been made using the secondary projection transformation formula as the projection transformation formula, the present invention is not limited to this, and other projection transformation formulas such as a cubic projection transformation formula may be used. good. Further, the approximate mark position measuring section 5 stores the management number of the second mark added to the reference point coordinate file stored in the mark coordinate storage section 10 as the target (second mark) of each first mark. ) Is assigned to the second mark.
[0065]
Returning to FIG. 8, the precise mark position measuring section 6 measures the precise position of the second mark (S60). Hereinafter, the processing procedure of the precise position measurement of the second mark will be described in detail with reference to FIG. First, the precision mark position measuring section 6 recognizes a target as a second mark (S62). For this target recognition, for example, template matching using normalized correlation is used. Hereinafter, details of the target recognition will be described.
[0066]
(III) Target recognition
FIG. 11B is an explanatory diagram of a template image of a normalized correlation used for target recognition and a target image. First, an arbitrary target is selected from among the first marks measured in the first mark extraction processing (S40), for example, the barycentric positions of the

first marks

1a, 1b, 1c, and 1d. The template image of the normalized correlation is an image of M × M pixels centered on the position of the center of gravity (image coordinates) of the selected target. Further, an image of N × N pixels is set as a target image with the target approximate position (image coordinates) calculated in the second mark approximate position measurement (S50) as a center.
[0067]
Next, the target image is subjected to template matching based on the normalized correlation shown in Expression (6), and the position where the correlation value becomes maximum is obtained. It is considered that the superposition has been achieved at the position where the correlation value becomes the maximum value, and the target is recognized at the position where the correlation value becomes the maximum value. Here, the center coordinates of the template image are converted into image coordinates on the same-size image, and are used as detection points.

Here, A is the correlation value, M is the square size of the template image, Xi is the target image, and Ti is the template image. Although the square sizes N and M of the image are variable, N and M are preferably made as small as possible on the assumption that the target can be sufficiently stored in order to speed up the processing time.
[0068]
Returning to FIG. 10, in order to measure the precise position of the second mark, the sub-pixel edge of the second mark is detected (S64). The target image on which the sub-pixel edge detection of the second mark is performed is an image of N × N pixels around the detection point recognized as the target in S62. A Laplacian-Gaussian filter (LOG filter), which is a second derivative of the Gaussian function shown in Expression (7), is applied to the grayscale waveform present in the target image, and the two zero-crossing points, that is, edges, of the curve of the calculation result are set Detect by pixel. Here, a sub-pixel refers to performing position detection with an accuracy smaller than one pixel.

Here, σ is a parameter of the Gaussian function.
[0069]
Next, the position of the center of gravity of the target is detected (S66) and returned (S68). Here, based on the edge positions in the x and y directions obtained by using the equation (7), the intersection is defined as the center of gravity of the target. Note that the precise position measurement of the second mark is not limited to the processing disclosed in S62 to S66, and any other method of detecting the center of gravity position, for example, by further improving and using the moment method or the template matching method, may be used. You may ask in such a way.
[0070]
Returning to FIG. 8, the position of the center of gravity of all targets is confirmed, and it is confirmed that there is no apparent error at first glance (S70). That is, it is confirmed whether or not the position detection of the target whose target has been recognized is appropriate. The position of the detected target is displayed on the display unit 9 for convenience of confirmation by the operator. If there is no error, go to S80. If there is an error, the position of the inappropriate target is corrected (S75). For example, a target having a low correlation value calculated in S62 or a target whose center of gravity detection position is too far from the approximate detection position can be clearly recognized by the operator, such as turning the target display red on the display unit 9. To be displayed. Then, the error target is measured again manually by the operator (the position of the center of gravity is designated by the mouse). Note that, even if the target position where the error has occurred is not forcibly corrected, the target position can be removed as an abnormal point even in the process of S90 for obtaining the calibration parameter later.
[0071]
Then, the processing of S30 to S75 is repeated for the images required for measuring the lens aberration (S80). For example, if the number of captured images is five, the processing may be repeated for all five images. If the number of images required for measuring the lens aberration has been reached, the entirety of the captured images is repeatedly processed. You don't have to.
[0072]
When the measurement processing for the image necessary for measuring the lens aberration is completed, the processing shifts to the processing for obtaining the lens aberration calibration element using the camera internal parameter calculation processing of the calculation processing section 7 (S90). Here, as a calculation target of the calibration element, all of the second marks on the chart 1 are associated with each other by the processing of the rough mark position measuring unit 5 and the precision mark position measuring unit, and the center of gravity position is obtained. Perform for the mark.
[0073]
(IV): Camera internal parameter calculation processing (bundle adjustment method with self-calibration)
As the internal parameter calculation processing of the camera of the calculation processing unit 7, for example, a “bundle adjustment method with self-calibration” used in the field of photogrammetry is used. Here, “bundle adjustment” means that an observation equation is set for each light flux of each image based on the collinear condition that the light flux (bundle) connecting the subject, the lens, and the CCD surface must be on the same straight line. In this method, the position and inclination of the camera (external orientation element) and the coordinate position of the second mark are simultaneously adjusted by the least square method. “With self-calibration” is a method that can further determine the calibration factor, that is, the internal orientation (lens aberration, principal point, focal length) of the camera. The collinear condition basic expressions of the bundle adjustment method with self-calibration (hereinafter simply referred to as “bundle adjustment method”) are the following (Equation 8) and (Equation 9).
[0074]
(Equation 2)

[Equation 3]

[0075]
(Expression 8) and (Expression 9) are based on the collinear condition expression (5) of the single photo orientation described in the first mark extraction processing. That is, the bundle adjustment method is a method of calculating various solutions by performing least-squares approximation from a plurality of images using (Equation 8) and (Equation 9), and simultaneously obtaining external orientation elements of a camera at each shooting position. Becomes possible. That is, it is possible to obtain the calibration element of the camera.
[0076]
Next, an example in the case of having a lens distortion in the radial direction as a correction model (lens aberration) of internal localization is shown in the following (Equation 10).
(Equation 4)

The correction model is not limited to this, and a correction model applicable to the lens to be used may be selected. These calculations are performed by the successive approximation method if there are six or more reference points in ground coordinates and image coordinates. Note that the arithmetic processing unit 7 can obtain an accurate calibration element by omitting the second mark on the chart 1 having a large error when the threshold value is exceeded by the threshold value of the successive approximation solution. Therefore, even if the target position center of gravity position confirmation (S70) does not detect the second mark having a large error, the erroneous second mark can be detected and removed in S90.
[0077]
Returning to FIG. 8, the result of the calculation processing for obtaining the calibration element by the calculation processing unit 7 is determined (S100), and the calculation processing did not converge or the obtained calibration element was not considered to be appropriate. In this case, this is dealt with in S110. In S110, an image including the erroneous second mark is selected. At the end of the calibration in S90, since the arithmetic processing unit 7 has identified which second mark of which image has an error, the corresponding target detection point in each image is displayed and confirmed.
[0078]
Then, the operator corrects the erroneous second mark by manual operation (S120). In other words, since the coordinates of the center of gravity of the erroneous second mark are displayed shifted, the mark displayed as the erroneous second mark is moved to the center of gravity displayed as appropriate to correct the error. Is performed. Then, it is determined whether the correction of the position of the erroneous second mark has been completed (S130). If the correction has been completed, the process returns to the calibration element calculation of S90, and the calibration element is calculated again. On the other hand, if there is another corrected portion, the process returns to S110, and the position correcting operation of the erroneous second mark is repeated.
[0079]
If the calculation processing result for obtaining the calibration element is appropriate, it is determined whether there is a calibration image group having another focal length (S135). If a calibration image group having another focal length exists, the process returns to S30. If the calculation processing result for obtaining the calibration element is appropriate for the calibration image groups of all focal lengths, the result is displayed on the display unit 9 (S140). FIG. 12 is an explanatory diagram illustrating an example of a calculation result of the calibration element. For example, the display on the display unit 9 displays a focal length, a principal point position, and a distortion parameter, which are calibration elements. The distortion indicating the lens aberration can be easily understood by graphically displaying the curve before correction 102, the curve after correction 104, and the case where the correction is ideally performed.
[0080]
Furthermore, based on the result of the calibration, an image subjected to distortion correction can be created by the image processing unit 8 and displayed on the display unit 9. With this configuration, it is possible to provide an image display device that displays an image captured by a camera having a large distortion after distortion correction.
[0081]
FIG. 13 is an overall configuration block diagram for explaining the second embodiment of the present invention. In the figure, a calibration chart image display device according to a second embodiment includes a calibration image storage unit 12, a display image memory 13, a calibration chart image display unit 14, a display order control unit 15, a photographing signal output unit 16, An image switching instruction unit 17 and a focal length correction control unit 18 are provided. The focal length correction control unit 18 determines the size or density of the calibration chart image displayed on the calibration chart image display unit 14 according to the focal length information acquired from the calibration target imaging device 19 to be calibrated. It has a function to change at least one of them.
[0082]
FIGS. 14A and 14B are explanatory diagrams illustrating a case where the density of the calibration image is changed in accordance with the focal length of the calibration target imaging device 19, wherein FIG. The focal length correction control unit 18 calculates a calibration image having a density and a size that fills the viewfinder of the calibration target imaging device 19 in accordance with the focal length of the calibration target imaging device 19, and performs calibration. It is displayed on the chart image display unit 14.
[0083]
FIG. 15 is an arrangement diagram in a case where the calibration target apparatus and the calibration apparatus perform calibration processing in cooperation with each other. The camera as the calibration photographing device 19 is installed at a fixed position with respect to the calibration chart image display unit 14. If the camera is connected to a personal computer as a calibration device using a communication line, the control of image transfer and shooting can be automatically performed by the shooting signal output unit 16 and the calibration image switching instruction unit 17. In the case of a camera compatible with a zoom lens, if the camera is connected to a personal computer, it is not necessary to change the positions of the camera and the calibration chart image display unit 14 depending on the focal length.
[0084]
FIG. 16 is a flowchart illustrating the calibration processing in cooperation with the calibration device when the calibration target imaging device 19 is a zoom lens. First, the calibration photographing device 19 is connected to a personal computer on which software for the calibration device is installed using a signal line, and the personal computer is turned on (S200). Then, the zoom lens of the calibration subject photographing device 19 is set to the widest angle (S210). Next, the calibration target imaging device 19 is set at a position where the calibration chart image display unit 14 fills the viewfinder of the calibration target imaging device 19 (S220). When the position of the calibration imaging device 19 is determined, the calibration imaging device 19 is mounted on a tripod, and calibration by the calibration device can be performed using the imaging signal output unit 16 and the calibration image switching instruction unit 17.
[0085]
That is, the calibration device displays the calibration image on the calibration chart image display unit 14 (S230). Then, a calibration image is photographed by the photographing device to be calibrated 19 (S240). If it is possible to control the photographing of the calibration target photographing device 19 from the calibration device side by using the photographing signal output unit 16 and the calibration image switching instruction unit 17, the calibration cooperation operation software is started and the calibration photographing operation is started. An image is taken by the device 19. Alternatively, the operator may manually press the shutter of the calibration subject photographing device 19.
[0086]
Next, it is determined whether or not the photographing of the calibration image by the calibration photographing device 19 has been completed (S250). If the required number of images have not been captured for the focal length of the calibration target imaging device 19, the process returns to step S230, in which calibration images in different calibration shooting directions are projected, and the imaging of the calibration target imaging device 19 is repeated until the predetermined number of images has been completed. . If the calibration device and the calibration target photographing device 19 can operate in conjunction with each other, the screen of the calibration chart image display unit 14 is switched by software, and then the photographing signal output unit 16 and the calibration image switching instruction unit. By operating the calibration subject photographing apparatus 19 by the calibration cooperation operation software having the 17 functions, the photographing of the calibration image can be automatically performed.
[0087]
Next, when the calibration is completed at one focal length of the photographic device 19, the focal position of the photographic device 19 is changed (S260). The focal position is determined depending on the accuracy with which the zoom lens is calibrated. The operator changes the focal position by manually operating the calibration target photographing apparatus 19, and if the apparatus is electrically operated and can be controlled from the calibration apparatus side, the position is adjusted using the calibration cooperation operation software. To change. The process of changing the focal position is fully automatic when the calibration target photographing device 19 is of a type that can electrically adjust the focal length, and manually configured when the calibration length is manually adjusted. After the adjustment, the focus information is transferred to the calibration device side by communication between the calibration imaging device 19 and the calibration device. Even if there is no communication function, if the image transfer function is between the calibration imaging device 19 and the calibration device, if one calibration image is captured with the focal length of the calibration imaging device 19 changed, the image The focal length can be read from above.
[0088]
Next, the focal length correction control unit 18 changes the target density of the calibration chart image display unit 14 based on the information on the changed focal position of the calibration target imaging device 19, and automatically displays the calibration image. (S270). For example, the pattern shown in FIG. 14A is adjusted to the focal length of the calibration photographing device 19, and the pixel density is displayed densely as shown in FIG.
[0089]
Then, the calibration subject photographing device 19 photographs the displayed calibration image (S280). The process of S280 may be performed by the operator, similarly to the change of the focal position of the calibration target imaging device 19, or after the display of the calibration chart image display unit 14 is changed using the calibration cooperation operation software. Alternatively, the shutter of the calibration subject photographing device 19 may be released.
[0090]
The calibration device or the operator determines whether a predetermined number of calibration images captured by the calibration target imaging device 19 have been completed (S290). If the photographing has not been completed, the process returns to S260, where the calibration images having different focal lengths and calibration photographing directions are projected according to the display order control unit 15, and the focal length correction control unit 18 is displayed on the calibration chart image display unit 14. The image is displayed at the pixel density processed in.
[0091]
The calibration apparatus or the operator determines whether or not the calibration imaging apparatus 19 has finished capturing the calibration image at each focal length (S300). If not, the process returns to step S260, and the same operation is repeated with the focal length changed again. When all the images have been captured at the predetermined focal position, analysis processing is performed on those images, and camera parameters at each focal position are calculated (S310).
[0092]
As in the present embodiment, if the calibration photographing device 19 and the calibration device are connected, the zoom lens can be calibrated in a fully automatic manner. It is only necessary to install the photographing device 19 to be calibrated. Further, even if the calibration of the photographic device 19 is manual, the focal length of the lens of the photographic device 19 is changed once the photographic device 19 is set before the calibration chart image display unit 14. Just need.
[0093]
FIG. 17 is an overall configuration block diagram for explaining the third embodiment of the present invention. In the figure, a calibration chart image display device according to the third embodiment includes an image forming unit 40, a reference image storage unit 41, an image conversion processing unit 42, a display image memory 43, a calibration chart image display unit 44, a display order. The control unit 45 is provided.
[0094]
The image forming section 40 forms an image in a state where the calibration chart 1 is observed from a predetermined calibration photographing direction, and includes a reference image storage section 41 and an image conversion processing section 42. The reference image storage unit 41 stores an image of the calibration chart photographed from a specific direction, and may store an image of the standard calibration chart 1 as shown in FIG. The image conversion processing unit 42 uses the image stored in the reference image storage unit 41 to apply an image conversion relationship between the specific direction and the calibration shooting direction to form an image of a calibration chart in the calibration shooting direction. I do.
[0095]
The display image memory 43 is a memory that stores an image displayed on the calibration chart image display unit 44. The calibration chart image display section 44 displays the calibration chart image formed by the image forming section 40. For example, a monitor device such as a CRT or a liquid crystal of a personal computer is used. The display order control unit 45 sequentially selects the calibration chart images displayed on the calibration chart image display unit 44 in synchronization with the photographing operation of the photographing device 19 to be calibrated. The photographing signal output unit 46 and the calibration image switching instruction unit 47 have the same functions as the above-described photographing signal output unit 16 and calibration image switching instruction unit 17.
[0096]
The operation of the thus configured device will be described. FIG. 18 is a diagram illustrating an example of a calibration chart image formed by the image forming unit 40. The calibration chart image shown in FIG. 18 may be any image that displays the first and second marks of the calibration chart 1 shown in FIG. 2 at predetermined positions of the calibration chart image display unit 44, for example. For example, in the case of a plane pattern, the image conversion processing unit 42 sets the point (x, y) of a certain plane on the projection center O with respect to the projection center Project as a point (X, Y). Further, when it is desired to give a height to images arranged regularly as shown in FIG. 18, a converted image can be created in consideration of the height by using the following equation (11). That is, when the three-dimensional point (X, Y, Z) is projected to the point (x, y) on the plane with respect to the projection center O, the following equation is established.
(Equation 5)

[0097]
In the above-described embodiment, the case where the calibration chart is a two-dimensional image has been described. However, the present invention is not limited to this and may be a three-dimensional one. FIG. 19 is a configuration perspective view showing an example of the three-dimensional reference chart. In the figure, a three-dimensional reference chart 20 is one in which the positions of the targets 20a to 20h are accurately measured three-dimensionally, and the number, height, and planar coordinates of the targets are appropriately set so as to be suitable for three-dimensional measurement. Stipulated in
[0098]
FIG. 20 is a diagram illustrating an example of a three-dimensional calibration image displayed by the calibration chart image display unit 14. The calibration image is obtained by, for example, setting the five directions of the front (I), the upper left (II), the upper right (III), the lower left (IV), and the lower right (V) described in FIG. This is a photograph of a stereoscopic reference chart 20 indicated by 19.
[0099]
【The invention's effect】
As described above, according to the calibration chart image display device of the present invention, the calibration image storage unit that stores the image of the calibration chart photographed from the predetermined calibration photographing direction and the calibration image storage unit that stores the image are stored in the calibration image storage unit. And a calibration chart image display unit that displays the calibration chart image in accordance with the calibration shooting direction, so that the calibration target shooting device can obtain an image in which a desired angle is accurately attached to the calibration chart. Can be obtained, the change in the height (depth) direction can be ensured, and the focal length of the device to be calibrated can be accurately calculated using the calibration chart.
[0100]
Further, as in the embodiment, a computer equipped with an information processing processor such as a PC (personal computer) as a calibration chart image display device, a display device such as an LCD (Liquid Crystal Display) monitor, and a calibration installed in the PC If there is software for displaying a chart image, it is possible to acquire a photographed image necessary for removing a distortion component contained in an image of a device to be calibrated such as a digital camera. Therefore, a system can be constructed at low cost by using a general-purpose and low-cost computer and monitor device without using expensive and precise dedicated equipment conventionally required for the calibration work.
[Brief description of the drawings]
FIG. 1 is an overall configuration block diagram for explaining a first embodiment of the present invention.
FIG. 2 is a plan view showing an example of a calibration chart.
FIG. 3 is an explanatory diagram illustrating an example of a first mark.
FIGS. 4A and 4B are diagrams illustrating camera arrangement when measuring lens aberration. FIG. 4A is a three-dimensional view showing the camera arrangement, and FIG. FIG. 3 is a diagram showing camera intervals.
FIG. 5 is an explanatory diagram of a chart photographing procedure using a camera with a standard lens or a wide-angle lens, wherein (A1) to (A4) are images of the camera, The positional relationship is shown.
FIG. 6 is a diagram illustrating an example of a calibration image displayed by a calibration chart image display unit 14.
FIG. 7 is an overall configuration block diagram illustrating a calibration device to which the present invention is applied.
FIG. 8 is a flowchart illustrating a calibration method using the calibration device.
FIG. 9 is a flowchart illustrating calibration image shooting using the calibration chart image display device in S10.
FIG. 10 is a flowchart illustrating a second mark precise position measurement in S60.
11A is an explanatory diagram of an image coordinate system and a target coordinate system in central projection, and FIG. 11B is an explanatory diagram of a template image and a target image of a normalized correlation used for target recognition.
FIG. 12 is an explanatory diagram illustrating an example of a calculation result of a calibration element.
FIG. 13 is an overall configuration block diagram illustrating a second embodiment of the present invention.
FIG. 14 is an explanatory diagram in the case where the density of a calibration image is changed in accordance with the focal length of the calibration photographing device 19.
FIG. 15 is a layout diagram in a case where a calibration process is performed by a calibration target apparatus and a calibration apparatus in cooperation with each other.
FIG. 16 is a flowchart illustrating a calibration process in cooperation with a calibration device when the calibration target imaging device is a zoom lens.
FIG. 17 is an overall configuration block diagram for explaining a third embodiment of the present invention.
FIG. 18 is a diagram illustrating an example of a calibration chart image formed by the image forming unit 40.
FIG. 19 is a configuration perspective view showing an example of a three-dimensional reference chart.
FIG. 20 is a diagram illustrating an example of a three-dimensional calibration image displayed by the calibration chart image display unit 14.
[Explanation of symbols]
1 chart (calibration chart)
2 Camera
3 Image data storage
4 Extraction unit
5 Outline mark position measurement unit
6 Precision mark position measurement unit
7 arithmetic processing unit
8 Image processing unit
9 Display
12 Calibration image storage
13 Display image memory
14 Calibration chart image display section
15 Display order control unit
16 shooting signal output section
17 Calibration image switching instruction section
18 Focal length correction control unit
19 Calibrated photographing device

Claims

A calibration image storage unit that stores an image of a calibration chart photographed from a predetermined calibration photographing direction;
A calibration chart image display unit that displays the calibration chart image stored in the calibration image storage unit according to the calibration shooting direction;
A calibration chart image display device comprising:

The calibration chart image display device according to claim 1, wherein the calibration chart image stored in the calibration image storage unit is an image in which distortion has been corrected.

An image forming unit that forms an image in a state where the calibration chart is observed from a predetermined calibration imaging direction;
A calibration chart image display section for displaying a calibration chart image formed by the image forming section;
A calibration chart image display device comprising:

The image forming unit;
A reference image storage unit for storing an image of the calibration chart taken from a specific direction;
Image conversion processing for forming an image of a calibration chart in the calibration shooting direction by applying an image conversion relationship between the specific direction and the calibration shooting direction using an image stored in the reference image storage unit Parts;
The calibration chart image display device according to claim 3.

A display order control unit for sequentially selecting a calibration chart image displayed on the calibration chart image display unit in association with a photographing operation of the photographing device to be calibrated;
The calibration chart image display device according to claim 1.

The display order control unit further includes:
A photographing signal output unit that outputs a photographing signal to the photographing device after the calibration chart image display unit displays the calibration chart image;
A calibration image switching instructing unit that inputs a photographing completion signal of the calibration chart image by the photographing device and outputs a display command signal of a calibration chart image subsequent to the calibration chart image display unit;
The calibration chart image display device according to claim 5.

Further, the focal length correction control for changing at least one of the size or the density of the calibration chart image displayed on the calibration chart image display unit according to the focal length information acquired from the imaging device to be calibrated. Parts;
The calibration chart image display device according to claim 1.