JP2004309318A

JP2004309318A - Position detection method, device and program thereof, and calibration information generation method

Info

Publication number: JP2004309318A
Application number: JP2003103498A
Authority: JP
Inventors: Chiaki Aoyama; 千秋青山
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2003-04-07
Filing date: 2003-04-07
Publication date: 2004-11-04
Anticipated expiration: 2023-04-07
Also published as: JP4077755B2

Abstract

【課題】レンズ系を有するカメラで撮像した画像の歪みの根本原因を除去し、複数のカメラで対象物を撮像した複数の画像から、対象物の位置を正確に検出する位置検出方法、その装置及びそのプログラムを提供する。
【解決手段】位置検出装置１は、画像入力手段１０によって、複数のカメラＣで対象物を撮像した複数の画像を入力し、画素位置検出手段によって、各々の画像において、対象物に対応する画素位置を検出し、位置算出手段３０によって、その画素位置と、入射光線の方向及びその変位量とを関連付けた較正テーブル３０を参照することで、前記対象物の位置を補正して求めることを特徴とする。
【選択図】図７A position detecting method and a device for accurately detecting a position of an object from a plurality of images of the object captured by a plurality of cameras by removing a root cause of distortion of an image captured by a camera having a lens system. And its programs.
A position detection device (1) inputs a plurality of images obtained by capturing an object with a plurality of cameras (C) by an image input unit (10), and detects a pixel corresponding to the object in each image by a pixel position detection unit. The position is detected, and the position of the object is corrected and obtained by referring to the calibration table 30 in which the pixel position is associated with the direction of the incident light beam and the displacement amount by the position calculating means 30. And
[Selection diagram] FIG.

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラで対象物を撮像した複数の画像から、その対象物の位置を検出する位置検出技術に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤ等の複数台のカメラによって、対象物の位置を検出するには、各カメラの位置と、各カメラで撮像した画像の対象物に対応する各画素とに基づいて、三角測量の原理で対象物までの距離を測定することにより行っていた。なお、この三角測量の原理で、対象物の位置を検出する手法では、各カメラのレンズ系が、ピンホールカメラモデルに基づいていることが前提となっている。このピンホールカメラモデルとは、図１０に示すように、基点位置（針穴：ピンホールＨ）を通して入射する光（入射光）のみが、画像面上に到達して、３次元空間（ｘ，ｙ，ｚ）が、画像面上の２次元空間（ｕ，ｖ）に対応付けられるモデルのことをいう。このようにピンホールカメラモデルは、入射光線が一点のピンホールを通って撮像画像として形成されることを想定している。
【０００３】
しかし、このレンズ系を有するカメラによって撮像された画像には、非線形の歪みが存在し、周辺ほど歪みが大きいことが知られている。このため、この歪みを有する画像からは、正確な対象物の位置を検出することはできない。そこで、従来は、撮像された画像に対して補正を行うことで、位置検出の精度を改善する方法が提案されている。（例えば、特許文献１参照。）。
【０００４】
この特許文献１で公開されている方法では、まず、カメラで市松模様のパターン画像を撮像し、市松模様の交点（特徴点）を検出する。そして、パターン画像の歪みが少ない画像中央部の特徴点の配列から、画像全体の特徴点の基準位置を算出し、先に検出した特徴点を基準位置に補正するための補正関数を求める。そして、その補正関数によって、対象物を撮像した画像を補正する。
このように、従来は、カメラで撮影した画像の非線形の歪みを除去するため、ピンホールカメラモデルに基づいた画像特性を考慮して、画像を補正する手法がとられていた。
【０００５】
【特許文献１】
特開平５−２７４４２６号公報（第６−１２頁）
【０００６】
【発明が解決しようとする課題】
しかし、前記従来の技術は、レンズ系を有するカメラで撮像した画像において、周辺の歪みが大きいという事象から、画像の補正を行っており、その歪みの根本原因に基づいて補正を行ったものではない。例えば、特許文献１で公開された技術では、画像の歪みが少ない画像中央部の特徴点の配列から、画像全体の特徴点の基準位置を算出しているが、画像中央部においても歪みは存在しており、その歪みを含んだ画像から基準位置を算出している。このため、この技術を用いて補正（較正）された画像から、対象物の位置を検出することで、位置検出の精度を高めることはできるが、正確な位置検出を行うことはできないという問題があった。
【０００７】
また、前記従来の技術における歪みの補正は、対象物とカメラとの距離に依存している。すなわち、レンズ系を有するカメラで撮像した画像の歪みは、対象物とカメラとの距離による歪み（誤差）の変化が非線形であるため、対象物の距離がわかっていれば、それに対応した補正関数を用いることで補正を行うことは可能である。しかし、対象物までの距離は測定するまで未知であるので、完全に補正（較正）を行うことはできなかった。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、レンズ系を有するカメラで撮像した画像の歪みの根本原因を除去し、複数のカメラで対象物を撮像した複数の画像から、対象物の位置を正確に検出する位置検出方法、その装置及びそのプログラム、並びに、前記した位置検出方法、その装置及びその方法で用いる較正情報を生成する較正情報生成方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の位置検出方法は、複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出方法において、前記カメラのレンズ系の光学中心に対する、前記レンズ系に入射される入射光線のズレ量を算出し、そのズレ量に基づいて、前記対象物の位置を補正することとした。
【００１０】
この方法によれば、位置検出方法は、カメラで対象物を撮像した画像の画素毎に、カメラのレンズ系の光学中心（ｏｐｔｉｃａｌｃｅｎｔｅｒ）に対して、そのレンズ系に入射される入射光線のズレ量を算出することで、カメラが対象物の位置に対応する画素として検出した画素のズレ量（変位量）を認識することができる。これによって、撮像した複数の画像毎に、対象物の位置に対応する画素の光学中心からのズレ量に基づいて、対象物の位置を補正することで、対象物の正確な位置を検出することができる。なお、この光学中心とは、レンズ系の中央位置を示し、ピンホールカメラモデルにおいては、ピンホールの位置に該当するものである。
【００１１】
また、請求項２に記載の位置検出方法は、カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出する位置検出方法であって、前記複数の画像を入力する画像入力ステップと、この画像入力ステップで入力した各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出ステップと、この画素位置検出ステップで検出した画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出ステップと、を含むこととした。
【００１２】
この方法によれば、位置検出方法は、画像入力ステップで、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出ステップで、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出ステップで、カメラで撮像された画像の画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。これによって、位置検出方法は、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、対象物の正確な位置を補正して求めることができる。
【００１３】
さらに、請求項３に記載の位置検出装置は、複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出装置であって、前記複数の画像を入力する画像入力手段と、この画像入力手段で入力された各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出手段と、前記画素位置と、前記対象物から入射される入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、前記複数のカメラ毎に蓄積した蓄積手段と、前記画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段と、を備える構成とした。
【００１４】
かかる構成によれば、位置検出装置は、画像入力手段によって、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出手段によって、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出手段によって、その画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。なお、較正情報は、カメラ毎に蓄積手段に蓄積しておく。これによって、位置検出装置は、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、対象物の正確な位置を補正して求めることができる。
【００１５】
また、請求項４に記載の位置検出装置は、請求項３に記載の位置検出装置において、前記画素位置検出手段が、前記対象物の位置を特定するマーカに基づいて、前記複数の画像毎に、前記対象物に対応する画素位置を検出することとした。
【００１６】
かかる構成によれば、位置検出装置は、画素位置検出手段が、対象物の位置を特定するマーカに基づいて、対象物に対応する画素位置を検出するため、位置検出を行いたい部位のみを特定することができる。このとき、位置検出装置は、複数の画像からマーカの位置を検出する前に、各画像のマーカに対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、マーカの正確な位置を補正して求めることができる。なお、このマーカは、形状が既知の対象物であれば、その特定位置、例えば物体のカドを用いることとしてもよい。
【００１７】
さらに、請求項５に記載の位置検出プログラムは、カメラで撮像される画像の画素位置と、入射光線の方向及び特定の基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出するために、コンピュータを、以下の各手段によって機能させる構成とした。
【００１８】
すなわち、前記複数の画像を入力する画像入力手段、この画像入力手段で入力された各々の画像において、前記対象物の対応する画素位置を検出する画素位置検出手段、この画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段、とした。
【００１９】
かかる構成によれば、位置検出プログラムは、画像入力手段によって、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出手段によって、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出手段によって、その画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。
【００２０】
また、請求項６に記載の較正情報生成方法は、カメラの画素毎に光を照射し、その照射された前記画素毎の入射光線に基づいて、基準位置から前記各入射光線への変位量を算出し、前記入射光線の方向及び前記変位量を、画素位置に関連付けて、較正情報を生成することとした。
【００２１】
この方法によれば、較正情報生成方法は、カメラの撮像を行う画素毎に入射光線を入射することで、画素毎の入射光線の方向を特定する。なお、この入射光線の方向は、入射光線の発光位置を少なくとも２点決めることで特定することができる。そして、特定の基準位置から各入射光線への変位量を算出することで、画素位置に、入射光線の方向及び変位量のデータを関連付けた較正情報を生成することができる。この較正情報のデータは、カメラの特性を数値化したキャリブレーションデータとなるものである。
【００２２】
さらに、請求項７に記載の較正情報生成方法は、カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を生成する較正情報生成方法であって、第１光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第１光源位置の相対位置を測定する第１光源相対位置測定ステップと、第２光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第２光源位置の相対位置を測定する第２光源相対位置測定ステップと、前記第１光源位置及び前記第２光源位置の各相対位置に基づいて、前記測定画素に入射する入射光線を特定する入射光線特定ステップとを、測定画素数分繰り返し、測定を行った画素位置毎に特定された入射光線に基づいて、前記基準位置から前記入射光線への変位量を算出し、前記画素位置に、前記入射光線の方向及び前記変位量を関連付けて前記較正情報とすることとした。
【００２３】
この方法によれば、較正情報生成方法は、第１光源相対位置測定ステップで、第１光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラのパン及びチルトを変更することで撮像方向を調整し、前記カメラに対する前記第１光源位置の相対位置を測定する。ここで測定された第１光源位置の相対位置は、測定画素の入射光線を特定するための１点目の位置となる。
【００２４】
また、較正情報生成方法は、第２光源相対位置測定ステップで、第１光源相対位置測定ステップと同様に、第２光源位置の相対位置を測定する。ここで測定された第２光源位置の相対位置は、測定画素の入射光線を特定するための２点目の位置となる。この２点の相対位置によって、測定画素の入射光線を特定することができる。
【００２５】
そして、較正情報生成方法は、入射光線の特定を測定画素数分繰り返し、その入射光線に基づいて、基準位置から前記入射光線への変位量を算出し、前記画素位置に、前記入射光線の方向及び前記変位量を関連付けることで較正情報を生成する。これによって、カメラの特性を数値化することができる。
【００２６】
【発明の実施の形態】
以下では、まず、一般にレンズ系を有するカメラで撮像された画像の歪みの原因となる、入射光線が一点で交わらないカメラの非ピンホール性について説明し、その非ピンホール性を有するカメラの特性を数値化したキャリブレーションデータについて説明する。そして、カメラで撮像された画素毎のキャリブレーションデータを測定して較正情報（較正テーブル）を生成する方法について説明する。そして、その較正情報（較正テーブル）を参照することで、撮像された画像の歪みを除去して対象物の位置を検出する位置検出装置について、順次説明していくこととする。
【００２７】
［カメラの非ピンホール性について］
まず、図１１を参照して、一般にレンズ系を有するカメラで撮像した画像において、歪みが発生する原因について説明する。図１１は、レンズ系を有するモデルのカメラの模式図である。ここでは、説明を簡略化するため、レンズ系を板ガラスＧとし、絞りＦによってピンホールＨが生成されているものとする。このカメラＣの板ガラスＧに垂直に入射する入射光線ｒ１は、ピンホールＨを通って撮像面Ｉ上の画素Ｒ１に撮像される。また、板ガラスＧに斜めに入射した入射光線ｒ２及びｒ３は、板ガラスＧ内で屈折した後にピンホールＨを通って撮像面Ｉ上の画素Ｒ２及びＲ３に撮像される。
【００２８】
しかし、このカメラＣは、板ガラスＧを通過する前の入射光線ｒ２及びｒ３の延長線であるｒ２´及びｒ３´と、入射光線ｒ１とは、一点では交わらず、ピンホールカメラモデルとはなっていないことがわかる。このため、撮像面Ｉ上の画素Ｒ３には、ピンホールカメラモデルで想定している入射光線ｒｒとは、距離Ｄ分だけずれた入射光線ｒ３が撮像されることになる。
【００２９】
このように、レンズ系（ここでは板ガラスＧ）に入射される入射光線によって像を撮像するカメラは、ピンホール性が崩れていることになる（非ピンホール性）。以下、レンズ系を有するカメラを「非ピンホールカメラ」と呼ぶこととする。
【００３０】
［キャリブレーションデータについて］
次に、図１２を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータについて説明する。図１２は、キャリブレーションデータの内容を説明するための説明図である。図１２に示すように、レンズｌに入射する入射光線Ｒは２点で特定することができる。ここでは、第１の光源位置Ｐ１と、第２の光源位置Ｐ２とから発光される光が同一の撮像画素（図示せず）に撮像されたときに、入射光線Ｒがその撮像画素に対応する入射光線であると特定する。
【００３１】
ここで、すべての入射光線との距離の自乗和が最小となる点を光学中心Ｏと定義し、各撮像画素に対応する入射光線Ｒと光学中心Ｏとの距離が最小となる点を、その入射光線Ｒの入射光基点Ｋと定義する。
【００３２】
すなわち、光学中心Ｏ（ｘ_０，ｙ_０，ｚ_０）は、すべての入射光線において、光源位置Ｐ１（ｘ_１，ｙ_１，ｚ_１）と、光源位置Ｐ２（ｘ_２，ｙ_２，ｚ_２）とで特定される入射光線Ｒからの距離ｄの自乗（（１）式）和が最小になる位置を、最小自乗法によって求めた位置となる。
【００３３】
ｄ^２＝−（Ａ^２／Ｂ）＋Ｃ …（１）
【００３４】
ただし、
Ａ＝（ｘ_２−ｘ_１）（ｘ_１−ｘ_０）＋（ｙ_２−ｙ_１）（ｙ_１−ｙ_０）＋（ｚ_２−ｚ_１）（ｚ_１−ｚ_０）
Ｂ＝（ｘ_２−ｘ_１）^２＋（ｙ_２−ｙ_１）^２＋（ｚ_２−ｚ_１）^２
Ｃ＝（ｘ_１−ｘ_０）^２＋（ｙ_１−ｙ_０）^２＋（ｚ_１−ｚ_０）^２
とする。
【００３５】
これによって、画素位置毎に、光源位置Ｐ１及びＰ２で特定される方向と、光学中心Ｏから入射光基点Ｋへの変位量（３次元ベクトルＶ_Ｄ（ｄｘ，ｄｙ，ｄｚ）で表現）とを関連付けたデータをキャリブレーションデータとすることで、非ピンホールカメラの特性を数値化することができる。
【００３６】
なお、キャリブレーションデータは、これに限定されるものではない。例えば、前記した例では、光学中心Ｏを基準位置とし、光学中心Ｏから入射光線へ降ろした垂線の足までのベクトルを変位量Ｖ_Ｄとしているが、基準位置は、光学中心に限らず、カメラと一定関係にある固定点であれば、そのような点でも構わない。そして、変位量Ｖ_Ｄは、基準位置から入射光線上の任意の一点へ向かうベクトルであればよく、基準位置から入射光線へ降ろした垂線の足へ向かうベクトルには限られない。
【００３７】
［較正情報（較正テーブル）生成方法］
次に、図１を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータを撮像画素毎に関連付けた較正情報として較正テーブルを生成する方法について説明する。図１は、較正テーブルを生成する方法の原理を示す概念図である。なお、図１（ａ）は、特定の入射光線に対して、カメラのパン及びチルトを変化させることで、キャリブレーションデータを測定する原理を示す概念図であり、図１（ｂ）は、固定したカメラに対して、入射光線を変化させることで、キャリブレーションデータを測定する原理を示す概念図である。
【００３８】
図１（ａ）に示すように、キャリブレーションデータを撮像画素毎に関連付けた較正テーブルを生成するには、非ピンホール性を有するカメラＣに対して、光源位置をＰ１及びＰ２の１方向に移動させ（１軸移動）、光源位置Ｐ１及びＰ２で特定される入射光線Ｒを決定し、光源位置Ｐ１及びＰ２から発光される光が共に、測定を行う撮像画素（測定画素）に入射されるように、カメラＣのパン及びチルトを調整（２軸回転）することで、カメラＣの撮像画素毎に入射される入射光線Ｒの方向を特定する。
【００３９】
また、図１（ｂ）に示すように、カメラＣは固定しておき、光源位置Ｐ１及びＰ２の２点で発光した入射光線Ｒが、測定画素に入射されるように、光源位置Ｐ１及びＰ２をＸＹＺ方向に移動（３軸移動）させることで、その測定画素に入射される光源位置Ｐ１及びＰ２の２点で定まる入射光線Ｒの方向を特定することとしてもよい。
【００４０】
図１（ａ）又は（ｂ）で、測定を行った各撮像画素毎に特定された入射光線Ｒに基づいて、図１２で説明したように、入射光線Ｒの方向と、光学中心Ｏから入射光基点Ｋへの変位量とをキャリブレーションデータとして撮像画素毎に関連付けることで較正テーブルを生成することができる。
【００４１】
＜較正情報生成装置の構成＞
ここで、図２を参照して、較正情報生成方法を実現するための具体的な装置である較正情報生成装置の構成について説明する。図２は、カメラのキャリブレーションデータを撮像画素毎に測定し、較正情報である較正テーブルを生成する較正情報生成装置の全体図である。
【００４２】
この較正情報生成装置１００は、カメラＣを支持し、カメラＣをパン方向及びチルト方向に回動させるカメラ支持台１１０（回転ステージ）と、点光源Ｌをカメラ支持台１１０に対して前後、左右及び上下の３次元方向に移動させる３次元移動台１２０（ＸＹＺステージ）とを備えている。
【００４３】
カメラ支持台１１０は、水平面上で垂直軸回りに回動自在なパンテーブル１１１と、水平軸回りに回動自在なようにパンテーブル１１１に支持されたチルトテーブル１１２とからなっており、チルトテーブル１１２にカメラＣが支持されている。
【００４４】
３次元移動台１２０は、カメラ支持台１１０に対して水平面上に前後方向に延設されたＸ軸レール１２１と、Ｘ軸レール１２１上を前後方向に移動し、左右方向に延設されたＹ軸レール１２２と、Ｙ軸レール１２２上を左右方向に移動し、垂直方向に立設されたＺ軸レール１２３とからなっており、Ｚ軸レール１２３上に上下移動自在に点光源Ｌが設けられている。
【００４５】
パンテーブル１１１及びチルトテーブル１１２は、パルスモータ等の回転駆動装置（図示せず）で駆動され、チルトテーブル１１２上に支持されているカメラＣの視軸を上下左右に振ることが可能になっている。また、パンテーブル１１１及びチルトテーブル１１２の回転軸には、カメラＣの視軸角度を得るために、ロータリエンコーダ等の回転角度計測器（図示せず）が設けられている。
【００４６】
Ｙ軸レール１２２、Ｚ軸レール１２３及び点光源Ｌは、ラックピニオン機構等の、パルスモータの回転力を直線運動に変換する駆動装置（図示せず）で駆動されて、それぞれに対応するレール上を直線移動することが可能になっている。
【００４７】
なお、図示していない前記回転駆動装置及び前記駆動装置は、制御装置（図示せず）によって制御され、前記回転角度計測器で計測されたカメラＣの視軸角度と点光源Ｌの位置は、制御装置によって参照可能なように構成されているものとする。
【００４８】
＜較正情報生成装置の動作＞
さらに、図３を参照（適宜図１及び図２参照）して、較正情報生成装置１が、較正情報を生成する動作について説明する。図３は、較正情報生成装置１００が、図１（ａ）の手法によって、較正情報である較正テーブルを生成する動作を示すフローチャートである。
【００４９】
まず、較正情報生成装置１００は、点光源Ｌを特定の位置（光源位置Ｐ１）に設定し、光源位置Ｐ１の点光源Ｌから発光される光が、カメラＣの測定画素位置に入射するように、パンテーブル１１１及びチルトテーブル１１２を回転（２軸回転）させ、その回転量であるパン量及びチルト量を取得する（ステップＳ１）。そして、この回転を行ったパン量及びチルト量に基づいて、光源位置Ｐ１のカメラＣからの相対位置を測定する（ステップＳ２）。
【００５０】
次に、較正情報生成装置１００は、Ｙ軸レール１２２をＸ軸レール１２１上でＸ方向（前又は後）に移動（１軸移動）させることで、点光源Ｌを光源位置Ｐ２に移動させる（ステップＳ３）。
【００５１】
そして、較正情報生成装置１００は、光源位置Ｐ２の点光源Ｌから発光される光が、カメラＣの測定画素位置に入射するように、パンテーブル１１１及びチルトテーブル１１２を回転（２軸回転）させ、その回転量であるパン量及びチルト量を取得する（ステップＳ４）。そして、この回転を行ったパン量及びチルト量に基づいて、光源位置Ｐ２のカメラＣからの相対位置を測定する（ステップＳ５）。
【００５２】
このステップＳ２及びステップＳ５における、光源位置Ｐ１及び光源位置Ｐ２の各相対位置によって、測定画素位置に入射される入射光線Ｒを特定することができる。
【００５３】
ここで、図４を参照（適宜図１及び図２参照）して、ステップＳ２及びステップＳ５における光源位置の相対位置を算出する方法について説明する。図４は、パン・チルトに伴うカメラと光源位置との相対関係を説明するための説明図である。
【００５４】
この図４において、カメラ支持台（回転ステージ）１１０の固定の基準位置ＢにカメラＣが搭載されているものとする。ここで、カメラ支持台１１０すなわちカメラＣを、パン量“−θ_ｐａｎ”及びチルト量“−θ_ｔｉｌｔ”だけ回転させることで、カメラＣから見える光源位置の方向は、カメラ支持台１１０の回転中心位置Ｏ_Ｔを中心として光源位置をθ_ｐａｎ及びθ_ｔｉｌｔだけ回転させたときに見える方向に等しくなる。
【００５５】
ここで、回転中心位置Ｏ_Ｔに対して、回転前の光源位置Ｐの座標を（ｘ_１，ｙ_１，ｚ_１）、回転量であるパン量及びチルト量をそれぞれθ_ｐａｎ及びθ_ｔｉｌｔとすると、回転後の光源位置Ｐ_Ｒの座標（Ｒ_ｘ１，Ｒ_ｙ１，Ｒ_ｚ１）は、（２）式で求めることができる。
【００５６】
【数１】

【００５７】
このように、カメラ支持台１１０が回転した後の、２点の光源位置の相対位置を求めることで、測定画素位置に入射される入射光線を特定することができる。すなわち、入射光線は、相対位置に変換された光源位置Ｐ１の座標を（ｘ_Ｐ１，ｙ_Ｐ１，ｚ_Ｐ１）、相対位置に変換された光源位置Ｐ２の座標を（ｘ_Ｐ２，ｙ_Ｐ２，ｚ_Ｐ２）とすると、ｔを実数として（３）式により特定することができる。
【００５８】
【数２】

【００５９】
図３に戻って、説明を続ける。
較正情報生成装置１００は、予め定めた測定画素分の測定が終了したかどうかを判定し（ステップＳ６）、終了していない場合（Ｎｏ）は、ステップＳ１へ戻って、次の測定画素位置における入射光線の特定を行う。一方、予め定めた測定画素分の測定が終了した場合（Ｙｅｓ）は、測定画素分の入射光線の方向に基づいて、光学中心を算出する（ステップＳ７）。
【００６０】
そして、較正情報生成装置１００は、各撮像画素毎に、入射光線の方向と、基準位置からの変位量とを関連付けて較正テーブルを生成する（ステップＳ８）。また、測定を行っていない撮像画素については、近接する測定画素のデータから補間を行い生成するものとする。なお、測定画素位置は、カメラＣのレンズの特性によって予め設定しておくものとする。例えば、レンズが魚眼レンズの場合は、５画素以下の間隔で、測定画素位置を設定し、それ以外のレンズの場合は、５〜１０画素間隔で、測定画素位置を設定する。また、ここでは、各撮像画素毎に、入射光線の方向と基準位置からの変位量とを関連付けた較正テーブルを、較正情報として生成したが、所定の関数、例えば、前記した近接する測定画素のデータから補間を行う際の補間関数として生成することとしてもよい。あるいは、較正情報を、各画素位置から入射光線の方向への変換式や、各画素位置から変位量への変換式として生成することとしてもよい。
【００６１】
なお、ステップＳ１及びステップＳ４におけるカメラＣの回転方法については、図５を参照（適宜図２参照）して、さらに説明を行う。図５は、較正情報生成装置１００が、測定画素位置に入射光線を入射させる動作を示すフローチャートである。
【００６２】
図５に示すように、較正情報生成装置１００は、まず、カメラＣによって、画像（撮像画像）を取り込む（ステップＳ１０）。なお、この撮像画像には、点光源Ｌだけしか写っていない状態、すなわち、黒い背景の画像上に白い点が写った状態であるものとする。
【００６３】
そして、較正情報生成装置１００は、撮像画像上の白い点（点光源Ｐ）の光の強度が最大（ピーク）となる位置（ピーク位置）を推定する（ステップＳ１１）。
【００６４】
ここで、図６を参照して、光の強度のピーク位置の推定について説明を行う。図６は、横軸に画素位置Ｐ（…，Ｐ_ｎ−２，Ｐ_ｎ−１，Ｐ_ｎ，Ｐ_ｎ＋１，Ｐ_ｎ＋２，…）、縦軸に画素位置Ｐにおける光の強度（光強度Ｉ）を表したグラフである。このように、光強度Ｉは、ある撮像画素を中心とした広がりを持っている。
【００６５】
そこで、光強度が最大となるピーク位置Ｐ_ｅは、画素位置Ｐ_ｎに対応する光強度をＩ_ｎ、画素位置Ｐ_ｎに隣接する画素位置Ｐ_ｎ−１及びＰ_ｎ＋１に対応する光強度をＩ_ｎ−１及びＩ_ｎ＋１とすると、（４）式及び（５）式によって求めることができる。
【００６６】
Ｉ_ｎ−１≦Ｉ_ｎ＋１の場合：
Ｐ_ｅ＝Ｐ_ｎ＋（Ｉ_ｎ＋１−Ｉ_ｎ−１）／｛２（Ｉ_ｎ−Ｉ_ｎ−１）｝ …（４）
【００６７】
Ｉ_ｎ−１＞Ｉ_ｎ＋１の場合：
Ｐ_ｅ＝Ｐ_ｎ＋（Ｉ_ｎ＋１−Ｉ_ｎ−１）／｛２（Ｉ_ｎ−Ｉ_ｎ＋１）｝ …（５）
【００６８】
なお、このピーク位置Ｐ_ｅの推定は、上下、左右の各方向に隣接する撮像画素の光強度から算出するものとする。
図５に戻って、説明を続ける。
【００６９】
較正情報生成装置１００は、ステップＳ１１で推定した光強度が最大となるピーク位置と、測定画素位置との誤差が予め定めた閾値以下かどうかを判定し（ステップＳ１２）、閾値以下の場合（Ｙｅｓ）は、ピーク位置が測定画素位置と一致したものとみなして動作を終了する。
【００７０】
一方、誤差が予め定めた閾値よりも大きい場合（Ｎｏ）は、その誤差を角度値に変換して、パンテーブル１１１及びチルトテーブル１１２の回転量を算出する（ステップＳ１３）。そして、較正情報生成装置１００は、この回転量に基づいて、パンテーブル１１１及びチルトテーブル１１２を回転させ（ステップＳ１４）、ステップＳ１０へ戻ることで、光強度のピーク位置を測定画素位置に合わせる。
【００７１】
以上、較正情報生成装置１００が、図１（ａ）の手法によって、較正テーブルを生成する動作について説明したが、図１（ｂ）の手法によって、較正テーブルを生成することも可能である。
【００７２】
この場合は、カメラＣを固定し、点光源Ｌから入射される入射光線の光強度が測定画素位置で最大（ピーク）になるように、点光源Ｌの位置をＹ方向及び／又はＺ方向の正又は負の方向に移動させることで、光源位置Ｐ１を特定する。そして、点光源ＬとカメラＣとの距離を変えて（Ｘ方向で移動）、前記と同様に、入射光線の光強度が測定画素位置で最大となるように、点光源Ｌの位置をＹ方向及び／又はＺ方向の正又は負の方向に移動させることで、光源位置Ｐ２を特定する。このように、光源位置Ｐ１と光源位置Ｐ２とが決定されることで、入射光線Ｒの方向が特定されることになる。この動作を測定画素分繰り返し、前記した図３のステップＳ７及びステップＳ８の動作を行うことで、較正テーブルを生成することができる。
【００７３】
［位置検出装置の構成］
次に、図７を参照して、位置検出装置について説明を行う。図７は、本発明の実施の形態である位置検出装置の構成を示したブロック図である。図７に示した位置検出装置１は、２台のカメラ（非ピンホールカメラ）Ｃで撮像された撮像画像から、対象物（マーカＭ）の３次元位置を検出するものである。ここでは、位置検出装置１を、画像入力手段１０と、画素位置検出手段２０と、較正テーブル蓄積手段３０と、位置算出手段４０とを備えて構成した。マーカＭは、位置を検出する部位を特定するために、その部位に付す目印であって、特定の色や形状を有したシール、赤外線等を発光する発光ダイオード等である。
【００７４】
画像入力手段１０は、２台のカメラＣで対象物（マーカＭ）を撮像した各々の撮像画像を入力するものである。なお、動画像として撮像画像を時系列に入力する場合は、カメラＣ_１及びカメラＣ_２で撮像された各撮像画像は、同期して画像入力手段１０へ入力されるものとする。また、画像入力手段１０には、カメラＣ_１及びカメラＣ_２で撮像された各撮像画像を一時的に記憶しておく、図示していないメモリを備えており、このメモリに記憶された撮像画像を、後記する画素位置検出手段２０が参照するものとする。
【００７５】
画素位置検出手段２０は、画像入力手段１０で入力された各撮像画像において、対象物に対応する画素位置を検出するものである。ここでは、撮像画像上でマーカＭとして撮像された領域の重心位置を、対象物に対応する画素位置とする。ここで検出された各撮像画像の画素位置は、位置算出手段３０へ入力される。
【００７６】
較正テーブル蓄積手段（蓄積手段）３０は、メモリ等の一般的な記憶媒体であって、カメラＣの撮像画素毎にキャリブレーションデータを関連付けた較正テーブル３１を、カメラＣの数分蓄積したものである。ここで、較正テーブル３１ａは、カメラＣ_１の較正テーブル、較正テーブル３１ｂは、カメラＣ_２の較正テーブルとする。なお、較正テーブル３１の内容である各撮像画素毎のキャリブレーションデータは、図１２で説明したように、各撮像画素に入射される入射光線の方向と、基準位置（光学中心Ｏ）から入射光線への変位量Ｖ_Ｄとを含んでいる。
較正テーブル（較正情報）３１ｂは、図１３に示すように、撮像画素のｘ座標、ｙ座標の組み合わせに対し、その撮像画素に入射してくる入射光線を特定する情報として、光学中心Ｏからの変位量Ｖ_Ｄ（ｄｘ，ｄｙ，ｄｚ）及び方向（角度）α、γが対応付けて記憶されている。
なお、ここでは、較正情報を、撮像画素毎に変位量Ｖ_Ｄ及び方向（角度）α、γを対応付けた較正テーブルとして説明しているが、所定の関数や変換式によって表現しても構わない。
【００７７】
位置算出手段４０は、画素位置検出手段２０で検出された各撮像画像毎の画素位置に対応した、較正テーブル３１のキャリブレーションデータ（入射光線の方向及び変位量）に基づいて、対象物（マーカＭ）の位置（３次元位置）を算出するものである。
【００７８】
以上、位置検出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、画素位置検出手段２０は、カメラＣで撮像した撮像画像を特定の大きさのブロックでマッチングを行うことで、対象物に対応する画素位置を検出することとしてもよい。
【００７９】
また、ここでは、２台のカメラＣで撮像した撮像画像に基づいて、対象物の位置を検出したが、３台以上のカメラを用いて位置を検出することも可能である。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他の８台のカメラとの間で位置を検出し、その８個の位置で平均をとることで、対象物の位置をより正確に検出することもできる。
【００８０】
なお、位置検出装置の各手段、すなわち、画像入力手段１０、画素位置検出手段２０及び位置算出手段４０は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置（較正テーブル蓄積手段３０を含む）を動作させることにより実現される。
【００８１】
［位置検出装置の動作］
次に、図８を参照（適宜図７参照）して、位置検出装置１の動作について説明する。図８は、位置検出装置１の動作を示すフローチャートである。
まず、位置検出装置１は、画像入力手段１０によって、２台のカメラＣ（Ｃ_１、Ｃ_２）で撮像した撮像画像を入力する（ステップ２０）。また、位置検出装置１は、画素位置検出手段２０によって、画像入力手段１０で入力された各撮像画像において、対象物（マーカＭ）に対応する画素位置を検出する（ステップＳ２１）。
【００８２】
そして、位置検出装置１は、位置算出手段４０によって、カメラＣ（Ｃ_１、Ｃ_２）毎に対応する較正テーブル３１（３１ａ、３１ｂ）から、対象物（マーカＭ）の画素位置に対応するキャリブレーションデータを読み込み（ステップ２２）、その各画素位置のキャリブレーションデータに基づいて、対象物（マーカＭ）の３次元位置を算出する（ステップＳ２３）。
【００８３】
ここで、図９を参照（適宜図７参照）して、ステップＳ２３で行った対象物の３次元位置を算出する方法について具体的に説明する。図９は、対象物（マーカＭ）位置を算出する手法を説明するための説明図である。
【００８４】
この図９において、カメラＣ_１の撮像画像における、マーカＭの画素位置に対応する変位量（較正テーブル３１ａから取得）に基づいて、カメラＣ_１の光学中心を補正した補正光学中心Ｏ_１を（ｘ_１，ｙ_１，ｚ_１）とする。また、カメラＣ_２の撮像画像における、マーカＭの画素位置に対応する変位量（較正テーブル３１ｂから取得）に基づいて、カメラＣ_２の光学中心を補正した補正光学中心Ｏ_２を（ｘ_２，ｙ_２，ｚ_２）とする。
【００８５】
また、カメラＣ_１の撮像画像における、マーカＭの画素位置に対応する入射光線の方向を水平角度α_１、垂直角度γ_１（較正テーブル３１ａから取得）とし、カメラＣ_２の撮像画像における、マーカＭの画素位置に対応する入射光線の方向を水平角度α_２、垂直角度γ_２（較正テーブル３１ｂから取得）とする。ただし、ここではγ_２は使用しないため図示していない。
この場合、対象物位置（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）は、（６）乃至（８）式で算出することができる。
【００８６】
Ｐ_ｘ＝（ｘ_１ｔａｎα_１−ｙ_１−ｘ_２ｔａｎα_２＋ｙ_２）／（ｔａｎα_１＋ｔａｎα_２） …（６）
Ｐ_ｙ＝（Ｐ_ｘ−ｘ_１）ｔａｎα_１＋ｙ_１ …（７）
Ｐ_ｚ＝（Ｐ_ｘ−ｘ_１）ｔａｎγ_１＋ｚ_１ …（８）
【００８７】
以上の動作によって、位置検出装置１は、非ピンホールカメラにおいて、正確に対象物の位置を検出することが可能になる。
なお、この位置検出装置１を、移動ロボット、自動車等に組み込んで用いることも可能である。例えば、移動ロボットに本発明を適用し、移動ロボットが、床の位置を検出することで、床の凹凸を正確に認識することができ、移動ロボットが安定した歩行を行うことが可能になる。
【００８８】
【発明の効果】
以上説明したとおり、本発明に係る位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法では、以下に示す優れた効果を奏する。
【００８９】
請求項１、２、３又は５に記載の本発明によれば、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を検出することができるため、画像の周辺での歪み（非線形）を根本的に除去することができ、対象物の正確な位置を検出することができる。
【００９０】
請求項４に記載の発明によれば、マーカによって対象物の位置を検出するため、対象物に付したマーカの位置を検出することで、ＣＧ等で用いる３次元データを容易に取得することができる。なお、このマーカ位置は、撮像画像の周辺での歪み（非線形）を除去して検出した位置であるため、本発明によって、正確な３次元データを取得することができる。
【００９１】
請求項６に記載の発明によれば、画素毎に、入射光線の方向と、その入射光線の基準位置（光学中心）からの変位量をもった、較正情報を生成することができる。この較正情報を、カメラの特性を示すデータ（キャリブレーションデータ）として使用することで、例えば、複数のカメラで対象物の位置を検出する際に、正確な位置を検出することが可能になる。
【００９２】
請求項７に記載の発明によれば、予め入射光線を特定し、カメラのパン及びチルトを調整することで、入射光線の方向を特定することができるので、魚眼レンズのような広角レンズを備えたカメラであっても、容易に較正情報を生成することができる。
【図面の簡単な説明】
【図１】本発明の較正情報を生成する方法の原理を示す概念図である。
【図２】本発明の較正情報を生成する方法を実現する較正情報生成装置の全体構成図である。
【図３】本発明の較正情報を生成する方法を実現する較正情報生成装置の動作を示すフローチャートである。
【図４】パン・チルトに伴うカメラと光源位置との相対関係を説明するための説明図である。
【図５】較正情報生成装置が入射光線の方向を特定するための動作を示すフローチャートである。
【図６】光強度のピーク位置を推定する手法を説明するための説明図である。
【図７】本発明の位置検出装置の全体構成を示すブロック図である。
【図８】本発明の位置検出装置の動作を示すフローチャートである。
【図９】対象物の３次元位置を算出する方法を説明するための説明図である。
【図１０】ピンホールカメラモデルの概念を説明するための説明図である。
【図１１】カメラで撮像した画像に歪みが発生する原因を説明するための説明図である。
【図１２】キャリブレーションデータを説明するための説明図である。
【図１３】較正テーブルの内容を説明するための説明図である。
【符号の説明】
１位置検出装置
１０画像入力手段
２０画素位置検出手段
３０較正テーブル蓄積手段（蓄積手段）
３１（３１ａ、３１ｂ）較正テーブル（較正情報）
４０位置算出手段
１００較正情報生成装置
１１０カメラ支持台
１１１パンテーブル
１１２チルトテーブル
１２０３次元移動台
１２１Ｘ軸レール
１２２Ｙ軸レール
１２３Ｚ軸レール
Ｃカメラ
Ｌ点光源[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a position detection technique for detecting a position of an object from a plurality of images obtained by imaging the object with a plurality of cameras.
[0002]
[Prior art]
Generally, in order to detect the position of an object using a plurality of cameras such as CCDs, the principle of triangulation is based on the position of each camera and each pixel corresponding to the object in an image captured by each camera. This was done by measuring the distance to the object. In the method of detecting the position of an object based on the principle of triangulation, it is assumed that the lens system of each camera is based on a pinhole camera model. As shown in FIG. 10, this pinhole camera model is such that only light (incident light) incident through a base point position (needle hole: pinhole H) reaches the image plane and becomes three-dimensional space (x, y, z) refers to a model that is associated with a two-dimensional space (u, v) on the image plane. Thus, the pinhole camera model assumes that an incident light beam is formed as a captured image through one pinhole.
[0003]
However, it is known that an image captured by a camera having this lens system has non-linear distortion, and the distortion is larger near the periphery. For this reason, it is not possible to accurately detect the position of the object from the image having this distortion. Therefore, conventionally, there has been proposed a method of improving the accuracy of position detection by performing correction on a captured image. (For example, refer to Patent Document 1).
[0004]
In the method disclosed in Patent Document 1, first, a checkerboard pattern image is captured by a camera, and intersections (feature points) of the checkerboard pattern are detected. Then, the reference position of the feature point of the entire image is calculated from the arrangement of the feature points in the central portion of the image where the distortion of the pattern image is small, and a correction function for correcting the previously detected feature point to the reference position is obtained. Then, the image of the object is corrected by the correction function.
As described above, conventionally, in order to remove non-linear distortion of an image captured by a camera, a method of correcting an image in consideration of image characteristics based on a pinhole camera model has been adopted.
[0005]
[Patent Document 1]
JP-A-5-274426 (page 6-12)
[0006]
[Problems to be solved by the invention]
However, in the conventional technique, in an image captured by a camera having a lens system, an image is corrected due to a large peripheral distortion, and correction is performed based on a root cause of the distortion. Absent. For example, in the technique disclosed in Patent Document 1, the reference position of the feature points of the entire image is calculated from the arrangement of the feature points in the central portion of the image where the image distortion is small. However, the distortion also exists in the central portion of the image. The reference position is calculated from the image including the distortion. For this reason, by detecting the position of the object from the image corrected (calibrated) using this technique, the accuracy of position detection can be improved, but there is a problem that accurate position detection cannot be performed. there were.
[0007]
Further, the correction of the distortion in the conventional technique depends on the distance between the object and the camera. In other words, the distortion of an image captured by a camera having a lens system is non-linear in the change in distortion (error) due to the distance between the object and the camera. Therefore, if the distance to the object is known, the corresponding correction function is used. It is possible to perform correction by using. However, since the distance to the object is unknown until the measurement, the correction (calibration) cannot be completely performed.
[0008]
The present invention has been made in view of the above-described problems, and eliminates a root cause of distortion of an image captured by a camera having a lens system, and removes a root cause from a plurality of images of an object captured by a plurality of cameras. It is an object of the present invention to provide a position detection method for accurately detecting the position of an object, a device and a program thereof, and a calibration information generation method for generating the above-described position detection method, the device and the calibration information used in the method. And
[0009]
[Means for Solving the Problems]
The present invention has been devised to achieve the above object. First, the position detecting method according to claim 1 is based on a plurality of images of the object captured by a plurality of cameras. In the position detection method for detecting the position of the camera, a shift amount of an incident light beam incident on the lens system with respect to an optical center of the lens system of the camera is calculated, and the position of the object is corrected based on the shift amount. It was decided to.
[0010]
According to this method, the position detection method is such that, for each pixel of an image obtained by capturing an object with a camera, a deviation of an incident light beam incident on the lens system with respect to an optical center of the lens system of the camera. By calculating the amount, the deviation amount (displacement amount) of the pixel detected by the camera as the pixel corresponding to the position of the target object can be recognized. Thus, for each of the plurality of captured images, the correct position of the target is detected by correcting the position of the target based on the shift amount of the pixel corresponding to the position of the target from the optical center. Can be. The optical center indicates the center position of the lens system, and corresponds to the position of the pinhole in the pinhole camera model.
[0011]
The position detection method according to claim 2, wherein the calibration information that associates the pixel position of the image captured by the camera with the direction of the incident light beam and the amount of displacement from the reference position to the incident light beam is stored in a plurality of cameras. A position detection method for detecting a position of the object based on a plurality of images obtained by capturing an object with the plurality of cameras and the calibration information, wherein the image input includes inputting the plurality of images. In each image input in the image input step, a pixel position detecting step of detecting a pixel position corresponding to the object, and based on the pixel position detected in the pixel position detecting step, from the calibration information. A position calculating step of calculating the position of the object by using the direction of the incident light beam and the amount of displacement thereof corresponding to the pixel position, and using the direction of the incident light beam and the amount of displacement thereof. It was decided to include a flop, the.
[0012]
According to this method, the position detection method includes, in the image input step, inputting a plurality of images obtained by imaging the object with the plurality of cameras, and in the pixel position detection step, in each image, the pixel position corresponding to the object is Is detected. Then, in the position calculation step, the direction of the incident light beam and the displacement amount thereof are obtained from the calibration information in which the pixel position of the image captured by the camera is associated with the direction of the incident light beam and the displacement amount from the specific reference position to the incident light beam. Is obtained, and the position of the target object is calculated (detected) using the direction of the incident light beam and the amount of displacement thereof. This allows the position detection method to recognize the shift amount of the incident light beam input to the pixel corresponding to the target in each image before detecting the position of the target from the plurality of captured images. Based on the deviation amount, the accurate position of the target object can be corrected and obtained.
[0013]
Further, the position detection device according to claim 3 is a position detection device that detects the position of the target object based on a plurality of images obtained by imaging the target object with a plurality of cameras, and inputs the plurality of images. Image input means, a pixel position detecting means for detecting a pixel position corresponding to the object in each image input by the image input means, the pixel position, and an incident light beam incident from the object. The calibration information based on the direction and direction of the reference position and the amount of displacement from the reference position to the incident light beam is stored based on the accumulating means for each of the plurality of cameras and the pixel position detected by the pixel position detecting means. Position information calculating means for obtaining the direction of the incident light beam corresponding to the pixel position and the amount of displacement thereof from the information, and using the direction of the incident light beam and the amount of displacement thereof to calculate the position of the object. It was constructed.
[0014]
According to such a configuration, the position detection device inputs a plurality of images obtained by capturing the object with the plurality of cameras by the image input unit, and the pixel position corresponding to the object in each image by the pixel position detection unit. Is detected. Then, the position calculating means obtains the direction of the incident light beam and the amount of displacement thereof from calibration information that associates the pixel position with the direction of the incident light beam and the amount of displacement from a specific reference position to the incident light beam. The position of the object is calculated (detected) using the direction of the light beam and the displacement amount. Note that the calibration information is stored in the storage unit for each camera. This allows the position detection device to recognize the shift amount of the incident light beam input to the pixel corresponding to the target in each image before detecting the position of the target from the plurality of captured images. Based on the deviation amount, the accurate position of the target object can be corrected and obtained.
[0015]
In the position detection device according to a fourth aspect, in the position detection device according to the third aspect, the pixel position detection unit is configured to generate a plurality of images for each of the plurality of images based on a marker that specifies a position of the object. The pixel position corresponding to the object is detected.
[0016]
According to this configuration, the position detection device specifies only a portion for which position detection is to be performed, because the pixel position detection unit detects a pixel position corresponding to the target object based on the marker that specifies the position of the target object. can do. At this time, before detecting the position of the marker from the plurality of images, the position detection device can recognize the shift amount of the incident light beam input to the pixel corresponding to the marker in each image. Based on this, the correct position of the marker can be corrected and obtained. If the marker has a known shape, the marker may be used at a specific position, for example, a corner of the object.
[0017]
Further, the position detection program according to claim 5, wherein a plurality of calibration information in which a pixel position of an image captured by a camera is associated with a direction of an incident light beam and a displacement amount from a specific reference position to the incident light beam. In order to detect the position of the object based on a plurality of images obtained by capturing the object with the plurality of cameras and the calibration information, a computer is operated by the following units. And
[0018]
That is, image input means for inputting the plurality of images, pixel position detection means for detecting a corresponding pixel position of the object in each image input by the image input means, From the calibration information, the direction of the incident light beam corresponding to the pixel position and the amount of displacement thereof are obtained from the calibration information, and the position of the object is determined using the direction of the incident light beam and the amount of displacement thereof. Position calculating means for calculating.
[0019]
According to this configuration, the position detection program inputs a plurality of images obtained by imaging the object with the plurality of cameras by the image input unit, and sets the pixel position corresponding to the object in each image by the pixel position detection unit. Is detected. Then, the position calculating means obtains the direction of the incident light beam and the amount of displacement thereof from calibration information that associates the pixel position with the direction of the incident light beam and the amount of displacement from a specific reference position to the incident light beam. The position of the object is calculated (detected) using the direction of the light beam and the displacement amount.
[0020]
The calibration information generating method according to claim 6 irradiates light to each pixel of the camera, and calculates a displacement amount from a reference position to each of the incident light beams based on the irradiated incident light beam for each pixel. The calibration information is calculated by calculating the direction of the incident light beam and the displacement amount in association with the pixel position.
[0021]
According to this method, the calibration information generation method specifies the direction of the incident light beam for each pixel by causing the incident light beam to enter each pixel where the camera captures an image. The direction of the incident light beam can be specified by determining at least two light emission positions of the incident light beam. Then, by calculating the amount of displacement from the specific reference position to each incident light beam, it is possible to generate calibration information in which the direction of the incident light beam and the data of the amount of displacement are associated with the pixel position. The data of the calibration information is calibration data obtained by digitizing camera characteristics.
[0022]
The calibration information generation method according to claim 7, wherein the calibration information is generated by associating a pixel position of an image captured by a camera with a direction of the incident light beam and a displacement amount from the reference position to the incident light beam. In the information generation method, the first light source position with respect to the camera is adjusted by adjusting an imaging direction of the camera so that the intensity of light emitted from the first light source position is the strongest at a measurement pixel of the camera. The first light source relative position measuring step of measuring the relative position of, and the intensity of light emitted from the second light source position, by adjusting the imaging direction of the camera, so as to be the strongest in the measurement pixels of the camera, A second light source relative position measuring step of measuring a relative position of the second light source position with respect to the camera; and the measurement pixel based on each relative position of the first light source position and the second light source position. The incident light beam specifying step of specifying the incident light beam to be incident is repeated by the number of measurement pixels, and the displacement amount from the reference position to the incident light beam is calculated based on the incident light beam specified for each pixel position where the measurement is performed. Then, the calibration information is determined by associating the pixel position with the direction of the incident light beam and the displacement amount.
[0023]
According to this method, in the calibration information generation method, in the first light source relative position measurement step, the pan and the camera of the camera are so set that the intensity of light emitted from the first light source position is the strongest at the measurement pixel of the camera. The imaging direction is adjusted by changing the tilt, and the relative position of the first light source position with respect to the camera is measured. The relative position of the first light source position measured here is the position of the first point for specifying the incident light beam on the measurement pixel.
[0024]
In the calibration information generation method, the relative position of the second light source position is measured in the second light source relative position measurement step, similarly to the first light source relative position measurement step. The relative position of the second light source position measured here is the position of the second point for specifying the incident light beam on the measurement pixel. The incident light beam on the measurement pixel can be specified based on the relative positions of these two points.
[0025]
Then, the calibration information generation method repeats the specification of the incident light beam for the number of measurement pixels, calculates a displacement amount from the reference position to the incident light beam based on the incident light beam, and calculates the direction of the incident light beam at the pixel position. And the displacement amount are associated with each other to generate calibration information. Thereby, the characteristics of the camera can be quantified.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
In the following, first, a description will be given of the non-pinhole property of a camera in which incident light rays do not cross at one point, which generally causes distortion of an image captured by a camera having a lens system, and characteristics of the camera having the non-pinhole property A description will be given of the calibration data obtained by converting the numerical values into the numerical values. Then, a method of measuring calibration data for each pixel captured by the camera and generating calibration information (calibration table) will be described. A position detection device that detects a position of a target object by removing distortion of a captured image by referring to the calibration information (calibration table) will be sequentially described.
[0027]
[About non-pinhole properties of camera]
First, with reference to FIG. 11, a description will be given of the cause of the occurrence of distortion in an image generally captured by a camera having a lens system. FIG. 11 is a schematic diagram of a model camera having a lens system. Here, for the sake of simplicity, it is assumed that the lens system is a sheet glass G, and the aperture F generates a pinhole H. The incident light beam r1 vertically incident on the plate glass G of the camera C passes through the pinhole H and is captured by the pixel R1 on the imaging surface I. The incident light beams r2 and r3 obliquely incident on the glass sheet G are refracted in the glass sheet G and then imaged on the pixels R2 and R3 on the imaging plane I through the pinhole H.
[0028]
However, in the camera C, the incident light r1 does not intersect at one point with r2 'and r3', which are extensions of the incident light r2 and r3 before passing through the glass sheet G, and is a pinhole camera model. I understand that there is no. Therefore, the pixel R3 on the imaging surface I captures an incident light r3 that is shifted by the distance D from the incident light rr assumed in the pinhole camera model.
[0029]
As described above, a camera that captures an image with an incident light beam that is incident on a lens system (here, the glass sheet G) has a pinhole property (non-pinhole property). Hereinafter, a camera having a lens system is referred to as a “non-pinhole camera”.
[0030]
[Calibration data]
Next, calibration data obtained by digitizing the characteristics of a non-pinhole camera will be described with reference to FIG. FIG. 12 is an explanatory diagram for explaining the contents of the calibration data. As shown in FIG. 12, the incident light R incident on the lens 1 can be specified at two points. Here, when the light emitted from the first light source position P1 and the light emitted from the second light source position P2 are imaged by the same imaging pixel (not shown), the incident light R corresponds to the imaging pixel. Identify the incident ray.
[0031]
Here, the point at which the sum of the squares of the distances to all the incident rays is the minimum is defined as the optical center O, and the point at which the distance between the incident ray R and the optical center O corresponding to each imaging pixel is the minimum is defined as the optical center O. It is defined as the incident light base point K of the incident light beam R.
[0032]
That is, the optical center O (x₀, Y₀, Z₀) Indicates the light source position P1 (x₁, Y₁, Z₁) And the light source position P2 (x₂, Y₂, Z₂)), The position at which the sum of the squares of the distance d from the incident light beam R (formula (1)) is minimized is the position obtained by the least square method.
[0033]
d²=-(A²/ B) + C (1)
[0034]
However,
A = (x₂-X₁) (X₁-X₀) + (Y₂-Y₁) (Y₁-Y₀) + (Z₂-Z₁) (Z₁-Z₀)
B = (x₂-X₁)²+ (Y₂-Y₁)²+ (Z₂-Z₁)²
C = (x₁-X₀)²+ (Y₁-Y₀)²+ (Z₁-Z₀)²
And
[0035]
Thus, for each pixel position, the direction specified by the light source positions P1 and P2 and the displacement amount (the three-dimensional vector V_DBy using the data associated with (dx, dy, dz)) as the calibration data, the characteristics of the non-pinhole camera can be quantified.
[0036]
Note that the calibration data is not limited to this. For example, in the above-described example, the optical center O is set as the reference position, and the vector from the optical center O to the foot of the perpendicular dropped down to the incident light is the displacement amount V._DHowever, the reference position is not limited to the optical center, and may be any fixed point having a fixed relationship with the camera. And the displacement V_DMay be a vector directed from the reference position to an arbitrary point on the incident light beam, and is not limited to a vector directed to a leg of a perpendicular dropped from the reference position to the incident light beam.
[0037]
[Calibration information (calibration table) generation method]
Next, a method of generating a calibration table as calibration information in which calibration data obtained by quantifying characteristics of a non-pinhole camera is associated with each imaging pixel will be described with reference to FIG. FIG. 1 is a conceptual diagram illustrating the principle of a method for generating a calibration table. FIG. 1A is a conceptual diagram showing the principle of measuring calibration data by changing the pan and tilt of a camera with respect to a specific incident light beam, and FIG. FIG. 7 is a conceptual diagram showing a principle of measuring calibration data by changing an incident light beam with respect to a camera that has been made.
[0038]
As shown in FIG. 1A, in order to generate a calibration table in which calibration data is associated with each imaging pixel, a light source position is set in one direction of P1 and P2 for a camera C having a non-pinhole property. The light source is moved (one-axis movement) to determine the incident light beam R specified by the light source positions P1 and P2, and the light emitted from the light source positions P1 and P2 is both incident on an imaging pixel (measurement pixel) to be measured. As described above, by adjusting the pan and tilt of the camera C (rotating in two axes), the direction of the incident light R incident on each imaging pixel of the camera C is specified.
[0039]
Further, as shown in FIG. 1B, the camera C is fixed, and the light source positions P1 and P2 are set so that the incident light rays R emitted at the two light source positions P1 and P2 are incident on the measurement pixels. May be moved in the XYZ directions (three-axis movement) to specify the direction of the incident light beam R defined by two points of the light source positions P1 and P2 incident on the measurement pixel.
[0040]
In FIG. 1A or FIG. 1B, based on the incident light R specified for each imaging pixel for which the measurement was performed, as described with reference to FIG. A calibration table can be generated by associating the amount of displacement to the light base point K as calibration data for each imaging pixel.
[0041]
<Configuration of calibration information generation device>
Here, a configuration of a calibration information generation device, which is a specific device for realizing the calibration information generation method, will be described with reference to FIG. FIG. 2 is an overall view of a calibration information generation device that measures calibration data of a camera for each imaging pixel and generates a calibration table that is calibration information.
[0042]
The calibration information generating device 100 supports a camera C, rotates a camera C in a pan direction and a tilt direction, and rotates a point light source L back and forth, left and right with respect to the camera support 110. And a three-dimensional moving table 120 (XYZ stage) for moving in up and down three-dimensional directions.
[0043]
The camera support table 110 includes a pan table 111 rotatable about a vertical axis on a horizontal plane, and a tilt table 112 supported on the pan table 111 so as to be rotatable about a horizontal axis. The camera C is supported by 112.
[0044]
The three-dimensional moving table 120 includes an X-axis rail 121 extending in the front-rear direction on a horizontal plane with respect to the camera support 110, and a Y-axis moving in the front-rear direction on the X-axis rail 121 and extending in the left-right direction. A point light source L is provided on the Z-axis rail 123 so as to be able to move up and down freely. ing.
[0045]
The pan table 111 and the tilt table 112 are driven by a rotation driving device (not shown) such as a pulse motor, and can swing the visual axis of the camera C supported on the tilt table 112 up, down, left, and right. I have. A rotation angle measuring device (not shown) such as a rotary encoder is provided on the rotation axis of the pan table 111 and the tilt table 112 in order to obtain the visual axis angle of the camera C.
[0046]
The Y-axis rail 122, the Z-axis rail 123, and the point light source L are driven by a driving device (not shown) that converts the rotational force of the pulse motor into a linear motion, such as a rack and pinion mechanism, on the corresponding rail. Can be moved linearly.
[0047]
The rotation driving device and the driving device (not shown) are controlled by a control device (not shown), and the visual axis angle of the camera C and the position of the point light source L measured by the rotation angle measuring device are as follows. It is assumed that it is configured to be able to be referred to by the control device.
[0048]
<Operation of calibration information generation device>
Further, with reference to FIG. 3 (see FIGS. 1 and 2 as appropriate), an operation in which the calibration information generation device 1 generates calibration information will be described. FIG. 3 is a flowchart showing an operation in which the calibration information generation device 100 generates a calibration table, which is calibration information, by the method of FIG.
[0049]
First, the calibration information generation device 100 sets the point light source L to a specific position (light source position P1) so that light emitted from the point light source L at the light source position P1 is incident on the measurement pixel position of the camera C. Then, the pan table 111 and the tilt table 112 are rotated (two-axis rotation), and the pan amounts and the tilt amounts which are the rotation amounts are obtained (step S1). Then, a relative position of the light source position P1 from the camera C is measured based on the rotated pan amount and tilt amount (step S2).
[0050]
Next, the calibration information generation device 100 moves the point light source L to the light source position P2 by moving the Y-axis rail 122 on the X-axis rail 121 in the X direction (front or rear) (one-axis movement) ( Step S3).
[0051]
Then, the calibration information generation device 100 rotates (two-axis rotation) the pan table 111 and the tilt table 112 so that the light emitted from the point light source L at the light source position P2 is incident on the measurement pixel position of the camera C. Then, the pan amount and the tilt amount, which are the rotation amounts, are obtained (step S4). Then, the relative position of the light source position P2 from the camera C is measured based on the rotated pan amount and tilt amount (step S5).
[0052]
The incident light R incident on the measurement pixel position can be specified by the relative positions of the light source position P1 and the light source position P2 in Steps S2 and S5.
[0053]
Here, a method of calculating the relative positions of the light source positions in step S2 and step S5 will be described with reference to FIG. 4 (see FIGS. 1 and 2 as appropriate). FIG. 4 is an explanatory diagram for explaining a relative relationship between a camera and a light source position due to pan / tilt.
[0054]
In FIG. 4, it is assumed that a camera C is mounted at a fixed reference position B of a camera support (rotary stage) 110. Here, the camera support 110, that is, the camera C is set to the pan amount “−θ”._pan”And the tilt amount“ −θ_tilt, The direction of the light source position seen from the camera C is changed to the rotation center position O of the camera support 110._TThe light source position θ_panAnd θ_tiltIs equal to the direction seen when rotated.
[0055]
Here, the rotation center position O_T, The coordinates of the light source position P before rotation are represented by (x₁, Y₁, Z₁), The pan amount and the tilt amount, which are the rotation amounts, are θ_panAnd θ_tiltThen the light source position P after rotation_RCoordinates (R_x1, R_y1, R_z1) Can be obtained by equation (2).
[0056]
(Equation 1)

[0057]
As described above, by calculating the relative positions of the two light source positions after the rotation of the camera support 110, it is possible to specify the incident light beam entering the measurement pixel position. That is, the incident light is represented by the coordinates of the light source position P1 converted to the relative position (x_P1, Y_P1, Z_P1), The coordinates of the light source position P2 converted into the relative position are (x_P2, Y_P2, Z_P2), T can be specified by equation (3) as a real number.
[0058]
(Equation 2)

[0059]
Returning to FIG. 3, the description will be continued.
The calibration information generation device 100 determines whether the measurement for the predetermined measurement pixel has been completed (step S6). If the measurement has not been completed (No), the process returns to step S1 and returns to step S1. Specify the incident light beam. On the other hand, when the measurement for the predetermined measurement pixel is completed (Yes), the optical center is calculated based on the direction of the incident light beam for the measurement pixel (step S7).
[0060]
Then, the calibration information generation device 100 generates a calibration table by associating the direction of the incident light beam with the amount of displacement from the reference position for each imaging pixel (step S8). In addition, an imaging pixel for which measurement is not performed is generated by performing interpolation from data of an adjacent measurement pixel. Note that the measurement pixel position is set in advance according to the characteristics of the lens of the camera C. For example, when the lens is a fisheye lens, the measurement pixel position is set at an interval of 5 pixels or less, and when the lens is any other lens, the measurement pixel position is set at an interval of 5 to 10 pixels. Also, here, for each imaging pixel, a calibration table that associates the direction of the incident light beam and the amount of displacement from the reference position is generated as calibration information, but a predetermined function, for example, the above-described measurement pixel of the close measurement pixel It may be generated as an interpolation function when performing interpolation from data. Alternatively, the calibration information may be generated as a conversion formula from each pixel position to the direction of the incident light beam or a conversion formula from each pixel position to the displacement amount.
[0061]
The method of rotating the camera C in steps S1 and S4 will be further described with reference to FIG. 5 (see FIG. 2 as appropriate). FIG. 5 is a flowchart showing the operation of the calibration information generation device 100 for causing an incident light beam to enter a measurement pixel position.
[0062]
As shown in FIG. 5, the calibration information generation device 100 first captures an image (captured image) using the camera C (step S10). Note that this captured image is in a state where only the point light source L is captured, that is, a state where a white dot is captured on an image with a black background.
[0063]
Then, the calibration information generation device 100 estimates a position (peak position) where the light intensity of the white point (point light source P) on the captured image is maximum (peak) (step S11).
[0064]
Here, the estimation of the peak position of the light intensity will be described with reference to FIG. FIG. 6 shows the pixel positions P (..., P_n-2, P_n-1, P_n, P_{n + 1}, P_{n + 2},...), And the vertical axis represents the light intensity (light intensity I) at the pixel position P. As described above, the light intensity I has a spread centering on a certain imaging pixel.
[0065]
Therefore, the peak position P at which the light intensity is maximized_eIs the pixel position P_nThe light intensity corresponding to_n, Pixel position P_nPixel position P adjacent to_n-1And P_{n + 1}The light intensity corresponding to_n-1And I_{n + 1}Then, it can be obtained by the equations (4) and (5).
[0066]
I_n-1≤I_{n + 1}in the case of:
P_e= P_n+ (I_{n + 1}−I_n-1) / $ 2 (I_n−I_n-1)｝… (4)
[0067]
I_n-1> I_{n + 1}in the case of:
P_e= P_n+ (I_{n + 1}−I_n-1) / $ 2 (I_n−I_{n + 1})｝… (5)
[0068]
Note that this peak position P_eIs estimated from the light intensities of the imaging pixels adjacent in the up, down, left, and right directions.
Returning to FIG. 5, the description will be continued.
[0069]
The calibration information generation device 100 determines whether the error between the peak position where the light intensity estimated in step S11 is maximum and the measurement pixel position is equal to or smaller than a predetermined threshold (step S12). ), The operation is terminated assuming that the peak position matches the measurement pixel position.
[0070]
On the other hand, when the error is larger than the predetermined threshold (No), the error is converted into an angle value, and the rotation amount of the pan table 111 and the tilt table 112 is calculated (step S13). Then, the calibration information generation device 100 rotates the pan table 111 and the tilt table 112 based on the rotation amount (Step S14), and returns to Step S10, thereby adjusting the peak position of the light intensity to the measurement pixel position.
[0071]
As described above, the operation of the calibration information generation device 100 to generate the calibration table by the method of FIG. 1A has been described. However, the calibration table can be generated by the method of FIG. 1B.
[0072]
In this case, the camera C is fixed, and the position of the point light source L in the Y direction and / or the Z direction is adjusted so that the light intensity of the incident light beam incident from the point light source L becomes maximum (peak) at the measurement pixel position. By moving the light source in the positive or negative direction, the light source position P1 is specified. Then, the distance between the point light source L and the camera C is changed (moved in the X direction), and the position of the point light source L is changed in the Y direction so that the light intensity of the incident light beam becomes maximum at the measurement pixel position, as described above. The light source position P2 is specified by moving in the positive or negative direction of the Z direction. As described above, by determining the light source position P1 and the light source position P2, the direction of the incident light beam R is specified. This operation is repeated for the number of measurement pixels, and the operations in steps S7 and S8 in FIG. 3 are performed, whereby a calibration table can be generated.
[0073]
[Configuration of position detection device]
Next, the position detecting device will be described with reference to FIG. FIG. 7 is a block diagram showing a configuration of the position detection device according to the embodiment of the present invention. The position detecting device 1 shown in FIG. 7 detects a three-dimensional position of an object (marker M) from images captured by two cameras (non-pinhole cameras) C. Here, the position detection device 1 is configured to include an image input unit 10, a pixel position detection unit 20, a calibration table storage unit 30, and a position calculation unit 40. The marker M is a mark attached to a portion for detecting a position, for example, a seal having a specific color or shape, a light emitting diode that emits infrared light, or the like.
[0074]
The image input means 10 is for inputting each captured image of the object (marker M) captured by the two cameras C. When a captured image is input as a moving image in chronological order, the camera C₁And camera C₂It is assumed that the captured images captured in are input to the image input means 10 in synchronization. The image input means 10 includes a camera C₁And camera C₂There is provided a memory (not shown) for temporarily storing each captured image captured in the step (a), and the captured image stored in this memory is referred to by a pixel position detecting means 20 described later.
[0075]
The pixel position detecting means 20 detects a pixel position corresponding to the target in each captured image input by the image input means 10. Here, the position of the center of gravity of the region captured as the marker M on the captured image is defined as the pixel position corresponding to the target. The pixel position of each captured image detected here is input to the position calculating means 30.
[0076]
The calibration table accumulating means (accumulating means) 30 is a general storage medium such as a memory, and accumulates as many calibration tables 31 as the number of cameras C in which the calibration data 31 is associated with each of the imaging pixels of the camera C. is there. Here, the calibration table 31a indicates that the camera C₁Calibration table 31b, the camera C₂Calibration table. The calibration data for each imaging pixel, which is the content of the calibration table 31, includes the direction of the incident light beam incident on each imaging pixel and the incident light beam from the reference position (optical center O), as described with reference to FIG. Displacement V_DAnd
As shown in FIG. 13, the calibration table (calibration information) 31b includes, as shown in FIG. Displacement V_D(Dx, dy, dz) and directions (angles) α, γ are stored in association with each other.
Here, the calibration information is set to the displacement amount V for each imaging pixel._DAlthough described as a calibration table in which directions and directions (angles) α and γ are associated with each other, it may be expressed by a predetermined function or conversion formula.
[0077]
The position calculating unit 40 determines the target (marker) based on the calibration data (the direction and displacement of the incident light) of the calibration table 31 corresponding to the pixel position of each captured image detected by the pixel position detecting unit 20. M) (3D position).
[0078]
The configuration of the position detecting device 1 has been described above, but the present invention is not limited to this. For example, the pixel position detection unit 20 may detect a pixel position corresponding to the target object by matching a captured image captured by the camera C with a block of a specific size.
[0079]
Further, here, the position of the object is detected based on the images captured by the two cameras C. However, the position can be detected by using three or more cameras. For example, with nine cameras arranged in three rows and three columns, using the camera arranged in the center as a reference camera, detecting a position between the other eight cameras and averaging the eight positions Thus, the position of the target object can be detected more accurately.
[0080]
Note that each unit of the position detection device, that is, the image input unit 10, the pixel position detection unit 20, and the position calculation unit 40 cause a general computer to execute a program, and execute an arithmetic unit and a storage device (a storage of a calibration table) in the computer. (Including means 30).
[0081]
[Operation of position detection device]
Next, the operation of the position detection device 1 will be described with reference to FIG. FIG. 8 is a flowchart showing the operation of the position detecting device 1.
First, the position detecting device 1 uses the image input means 10 to output two cameras C (C₁, C₂) Is input (step 20). Further, the position detection device 1 detects the pixel position corresponding to the target (the marker M) in each captured image input by the image input unit 10 by the pixel position detection unit 20 (Step S21).
[0082]
Then, the position detecting device 1 uses the position calculating unit 40 to set the camera C (C₁, C₂), The calibration data corresponding to the pixel position of the object (the marker M) is read from the corresponding calibration table 31 (31a, 31b) (step 22), and based on the calibration data at each pixel position, The three-dimensional position of the object (marker M) is calculated (step S23).
[0083]
Here, the method of calculating the three-dimensional position of the object performed in step S23 will be specifically described with reference to FIG. 9 (refer to FIG. 7 as appropriate). FIG. 9 is an explanatory diagram for explaining a method of calculating the position of the target (marker M).
[0084]
In FIG. 9, the camera C₁Of the camera C based on the displacement amount (obtained from the calibration table 31a) corresponding to the pixel position of the marker M in the captured image of₁Corrected optical center O obtained by correcting the optical center of₁To (x₁, Y₁, Z₁). Also, camera C₂Of the camera C based on the displacement amount (obtained from the calibration table 31b) corresponding to the pixel position of the marker M in the captured image of₂Corrected optical center O obtained by correcting the optical center of₂To (x₂, Y₂, Z₂).
[0085]
Also, camera C₁The direction of the incident light beam corresponding to the pixel position of the marker M in the captured image of FIG.₁, Vertical angle γ₁(Obtained from the calibration table 31a), and the camera C₂The direction of the incident light beam corresponding to the pixel position of the marker M in the captured image of FIG.₂, Vertical angle γ₂(Obtained from the calibration table 31b). Where γ₂Are not shown because they are not used.
In this case, the object position (P_x, P_y, P_z) Can be calculated by equations (6) to (8).
[0086]
P_x= (X₁tanα₁-Y₁-X₂tanα₂+ Y₂) / (Tanα₁+ Tanα₂…… (6)
P_y= (P_x-X₁) Tanα₁+ Y₁ … (7)
P_z= (P_x-X₁) Tanγ₁+ Z₁ … (8)
[0087]
With the above operation, the position detection device 1 can accurately detect the position of the target object in the non-pinhole camera.
In addition, it is also possible to use this position detecting device 1 incorporated in a mobile robot, an automobile, or the like. For example, when the present invention is applied to a mobile robot and the mobile robot detects the position of the floor, the unevenness of the floor can be accurately recognized, and the mobile robot can stably walk.
[0088]
【The invention's effect】
As described above, the position detecting method, the device, the program, and the calibration information generating method according to the present invention have the following excellent effects.
[0089]
According to the present invention, an incident light beam is input to a pixel corresponding to an object in each image before detecting a position of the object from a plurality of captured images. , The distortion (non-linearity) around the image can be fundamentally removed, and the accurate position of the object can be detected.
[0090]
According to the fourth aspect of the present invention, since the position of the target is detected by the marker, the position of the marker attached to the target is detected, so that three-dimensional data used in CG or the like can be easily obtained. it can. Since this marker position is a position detected by removing distortion (non-linearity) around the captured image, accurate three-dimensional data can be obtained by the present invention.
[0091]
According to the invention described in claim 6, it is possible to generate calibration information for each pixel, including the direction of the incident light beam and the amount of displacement of the incident light beam from the reference position (optical center). By using this calibration information as data indicating the characteristics of the camera (calibration data), for example, when detecting the position of an object with a plurality of cameras, it is possible to detect an accurate position.
[0092]
According to the invention described in claim 7, since the direction of the incident light can be specified by previously specifying the incident light and adjusting the pan and tilt of the camera, a wide-angle lens such as a fisheye lens is provided. Even a camera can easily generate calibration information.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram illustrating the principle of a method for generating calibration information according to the present invention.
FIG. 2 is an overall configuration diagram of a calibration information generation device that realizes a method of generating calibration information according to the present invention.
FIG. 3 is a flowchart illustrating an operation of a calibration information generation device for implementing a method of generating calibration information according to the present invention.
FIG. 4 is an explanatory diagram for explaining a relative relationship between a camera and a light source position due to pan / tilt.
FIG. 5 is a flowchart showing an operation of the calibration information generation device for specifying the direction of an incident light beam.
FIG. 6 is an explanatory diagram for explaining a method of estimating a peak position of light intensity.
FIG. 7 is a block diagram showing the overall configuration of the position detection device of the present invention.
FIG. 8 is a flowchart showing the operation of the position detection device of the present invention.
FIG. 9 is an explanatory diagram for explaining a method of calculating a three-dimensional position of an object.
FIG. 10 is an explanatory diagram for explaining the concept of a pinhole camera model.
FIG. 11 is an explanatory diagram for explaining a cause of occurrence of distortion in an image captured by a camera.
FIG. 12 is an explanatory diagram for explaining calibration data.
FIG. 13 is an explanatory diagram for explaining the contents of a calibration table.
[Explanation of symbols]
1 Position detection device
10 Image input means
20 Pixel position detecting means
30 Calibration table storage means (storage means)
31 (31a, 31b) Calibration table (calibration information)
40 Position calculation means
100 Calibration information generation device
110 Camera support
111 bread table
112 tilt table
120 3D mobile platform
121 X-axis rail
122 Y axis rail
123 Z axis rail
C camera
L point light source

Claims

In a position detection method for detecting a position of an object based on a plurality of images of the object captured by a plurality of cameras, a shift of an incident light beam incident on the lens system with respect to an optical center of the lens system of the camera. A position detection method, comprising calculating an amount and correcting the position of the object based on the deviation amount.

Pixel information of an image captured by a camera, calibration information that associates the direction of the incident light beam and the displacement amount from the reference position to the incident light beam is prepared for each of a plurality of cameras, and the object is scanned by the plurality of cameras. A position detection method for detecting the position of the target object based on the plurality of captured images and the calibration information,
An image input step of inputting the plurality of images,
In each image input in the image input step, a pixel position detecting step of detecting a pixel position corresponding to the object,
Based on the pixel position detected in the pixel position detection step, from the calibration information, the direction of the incident light beam corresponding to the pixel position and the amount of displacement thereof are obtained, and the direction of the incident light beam and the amount of displacement thereof are used. A position calculating step of calculating a position of the object;
A position detection method comprising:

A position detection device that detects a position of the target based on a plurality of images of the target captured by a plurality of cameras,
Image input means for inputting the plurality of images,
In each image input by the image input means, a pixel position detecting means for detecting a pixel position corresponding to the object,
Accumulation means for accumulating calibration information in which the pixel position and the direction of the incident light beam incident from the object and the displacement amount from the reference position to the incident light beam are accumulated for each of the plurality of cameras;
Based on the pixel position detected by the pixel position detecting means, the direction of the incident light beam and the displacement amount corresponding to the pixel position are obtained from the calibration information, and the direction of the incident light beam and the displacement amount are used. Position calculation means for calculating the position of the object,
A position detecting device comprising:

The position according to claim 3, wherein the pixel position detection unit detects a pixel position corresponding to the target object for each of the plurality of images based on a marker that specifies a position of the target object. Detection device.

Calibration information that associates the pixel position of the image captured by the camera with the direction of the incident light beam and the amount of displacement from the specific reference position to the incident light beam is prepared for each of the plurality of cameras, and the plurality of cameras are used as target objects. Based on a plurality of images of the object and the calibration information, to detect the position of the object, a computer,
Image input means for inputting the plurality of images,
In each image input by the image input means, a pixel position detecting means for detecting a corresponding pixel position of the object,
Based on the pixel position detected by the pixel position detecting means, the direction of the incident light beam and the displacement amount corresponding to the pixel position are obtained from the calibration information, and the direction of the incident light beam and the displacement amount are used. Position calculation means for calculating the position of the object,
A position detection program characterized by functioning as:

Irradiate light for each pixel of the camera, based on the incident light beam for each of the irradiated pixels, calculate the amount of displacement from the reference position to each of the incident light, the direction and the amount of displacement of the incident light, A calibration information generation method, wherein calibration information is generated in association with a pixel position.

A calibration information generation method for generating calibration information in which a pixel position of an image captured by a camera and a direction of an incident light beam and a displacement amount from the reference position to the incident light beam are associated with each other,
The relative position of the first light source position with respect to the camera is measured by adjusting the imaging direction of the camera so that the intensity of light emitted from the first light source position is the strongest at the measurement pixel of the camera. One light source relative position measuring step;
The relative position of the second light source position with respect to the camera is measured by adjusting the imaging direction of the camera so that the intensity of light emitted from the second light source position is the strongest at the measurement pixel of the camera. Two light source relative position measuring steps;
Based on each relative position of the first light source position and the second light source position, an incident light beam specifying step of specifying an incident light beam incident on the measurement pixel, is repeated by the number of measurement pixels,
Based on the incident light beam specified for each pixel position where the measurement was performed, the displacement amount from the reference position to the incident light beam was calculated, and the pixel position was associated with the direction of the incident light beam and the displacement amount. A method for generating calibration information, wherein the method is used as calibration information.