[go: up one dir, main page]

JP2010096723A - 物体の距離導出装置 - Google Patents

物体の距離導出装置 Download PDF

Info

Publication number
JP2010096723A
JP2010096723A JP2008270060A JP2008270060A JP2010096723A JP 2010096723 A JP2010096723 A JP 2010096723A JP 2008270060 A JP2008270060 A JP 2008270060A JP 2008270060 A JP2008270060 A JP 2008270060A JP 2010096723 A JP2010096723 A JP 2010096723A
Authority
JP
Japan
Prior art keywords
distance
imaging
image
evaluation value
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008270060A
Other languages
English (en)
Inventor
Jun Tanida
純 谷田
Ryoichi Horisaki
遼一 堀▲崎▼
Yoshizumi Nakao
良純 中尾
Takashi Toyoda
孝 豊田
Yasuo Masaki
康生 政木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
University of Osaka NUC
Original Assignee
Funai Electric Co Ltd
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd, Osaka University NUC filed Critical Funai Electric Co Ltd
Priority to JP2008270060A priority Critical patent/JP2010096723A/ja
Priority to EP09173463A priority patent/EP2177869A3/en
Priority to US12/582,501 priority patent/US20100103259A1/en
Publication of JP2010096723A publication Critical patent/JP2010096723A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】基線長に制限がある複眼撮像装置を用いて正確に距離を導出する。
【解決手段】距離導出装置は、複眼撮像装置と距離算出装置から成り、複眼撮像装置により撮像された画像に基づいて物体距離を導出する。複眼撮像装置は光学レンズの配置が撮像ユニット毎にランダムに異なるように設定される。距離算出装置は、仮距離ｚを設定し（＃１）、仮距離ｚに応じた撮像過程行列[Ｈｚ]を算出する（＃２）。この撮像過程行列[Ｈｚ]を用いて複眼撮像装置で撮像した画像に基づき超解像処理により高解像度画像を推定し（＃３）、推定した高解像度画像から作成した推定画像と撮像手段が撮像した画像との差に基づいて仮距離を評価するための評価値分布Ｅを算出する（＃４）。さらに全ての仮距離ｚについて＃２から＃４を繰返し（＃５）、仮距離毎の評価値分布Ｅのうち評価値が最小になるときの仮距離ｚを物体の距離として決定する（＃６）。
【選択図】図４

Description

本発明は、物体の距離導出装置に関し、詳しくは、撮像手段によって撮像した物体の画像に基づき、超解像処理により推定した高解像度画像を利用して距離を導出する距離導出装置に関する。
従来から、複数の光学レンズと、該光学レンズによりそれぞれ結像させた複数の被写体画像を撮像する撮像素子とを備える撮像装置が知られており、このような撮像装置により撮像された複数の被写体画像同士が有する視差を利用して被写体の距離を導出する装置が知られている（例えば、特許文献１参照）。
一方、多数の光学レンズがアレイ状に配置された複眼撮像装置において、各光学レンズの焦点距離を、光学レンズの設置方向に沿って順に変化させることにより解像度を向上させるようにしたものが知られている（例えば、特許文献２参照）。
特開２００７−２７１３０１号公報 特開２０００−３２３５４号公報
ところで、上記特許文献１に記載のような視差を利用して距離を導出する撮像装置において、より正確に距離を導出するためには、光学レンズ間の基線長を長く取らなければならない。そのためには撮像装置全体の大型化が避けられず、例えば、車載用として小型化した複眼撮像装置を、上記のような視差を利用した距離の導出装置として構成することは困難であった。
小型化された複眼撮像装置は、例えば、直方体状の装置全体の大きさが縦横高さともに１０ｍｍ程度に設計され、このような装置において視差を利用した方法により数ｍ乃至１０ｍ以遠の物体距離を導出するための十分な基線長を確保することはできない。
また、光学レンズが一定の間隔で規則的に配置されている複眼撮像装置では、物体が遠方にあるときに、各光学レンズが物体上の同一点を同一の角度から観測するようになり、個眼像間の視差を得ることができないので、このことからも正確な距離の導出を行うことができない。
上記について図９（ａ）、（ｂ）を参照して説明する。図９（ｂ）は、図９（ａ）における２点鎖線１１０内の部分を拡大して示したものである。複眼撮像装置１００は、一定の間隔で配置された光学レンズＬ１、Ｌ２、Ｌ３と、各光学レンズによって結像された個眼像をそれぞれ撮像する固体撮像素子Ｍ１、Ｍ２、Ｍ３と、を備え、各固体撮像素子はそれぞれ複数の受光素子ｍ１、ｍ２・・ｍ８を有する。ここで、光学レンズＬ１により集光されて受光素子ｍ１、ｍ２・・ｍ８に受光される各光ｈ１、ｈ２・・は、それぞれ他の光学レンズＬ２、Ｌ３により集光される各光ｈ１、ｈ２・・と平行になる。このことから、複眼撮像装置１００から見て物体Ｓ上の観測点となる各光ｈ１、ｈ２・・が物体と交差する点ｐ１、ｐ２・・が、遠方の物体面上において局所的に密集する（個眼像間の視差がなくなる）現象（縮退）が生じる（１０１参照）。縮退が生じた場合には、撮像装置から見た観測点ｐの分散度合いが低下するので、撮像される画像の実質的な情報量が低下し、個眼像間における同一点の同定が困難になり、正確な距離の導出を行うことができなくなる。
そこで、本発明は、上記の課題を解決するものであり、視差に基づいて物体の距離を導出するのではなく、撮像手段によって撮像した物体の画像に基づき、超解像処理により推定した高解像度画像を利用して撮像物体の距離を導出するように構成し、基線長の長さに制限がある複眼撮像装置に適用して正確に距離を導出することができる物体の距離導出装置を提供することを目的とする。
上記目的を達成するために、請求項１の発明は、物体を行列[Ｈ]で表わされる撮像過程で撮像して画像を得る撮像手段と、前記撮像手段によって撮像される画像に基づいて物体の前記撮像手段からの距離を算出する距離算出手段と、を備える物体の距離導出装置において、前記距離算出手段は、物体と前記撮像手段との距離を仮に設定する距離設定手段と、前記距離設定手段によって設定された仮距離ｚに物体があるときの撮像過程行列[Ｈｚ]を算出する撮像過程行列算出手段と、前記撮像過程行列算出手段によって算出された撮像過程行列[Ｈｚ]を用いて、超解像処理により高解像度画像を推定する高解像度画像推定手段と、前記高解像度画像推定手段によって推定された高解像度画像に前記撮像過程行列[Ｈ]ｚを乗算して作成した推定画像と前記撮像手段が撮像した画像との差に基づいて、前記距離設定手段が設定した仮距離ｚを評価するための評価値を算出する評価値算出手段と、前記距離設定手段によって設定される仮距離ｚを変更し、変更した仮距離ｚに応じた前記撮像過程行列算出手段による撮像過程行列[Ｈｚ]の算出、前記高解像度画像推定手段による高解像度画像の推定、及び前記評価値算出手段による評価値の算出を繰返し実行させる繰返し手段と、前記繰返し手段による繰返し実行の結果、前記評価値が最大又は最小になるときの仮距離ｚを前記撮像手段からの物体の距離として決定する距離決定手段と、を備えることを特徴とする。
請求項２の発明は、請求項１の発明において、前記高解像度画像推定手段が実行する超解像処理は、前記撮像過程行列[Ｈｚ]を用いた反復逆投影法であることを特徴とする。
請求項３の発明は、請求項１又は請求項２の発明において、前記撮像手段は、光学レンズにより結像された画像を固体撮像素子によって個眼像として撮像する撮像ユニットが複数個集積して構成された複眼撮像手段であり、前記各撮像ユニットの光学的撮像条件は、無限遠にある物体を撮像したときの各撮像ユニットが撮像する個眼像が全て異なった像になるように、各撮像ユニット毎にランダムに異ならせてあることを特徴とする。
請求項４の発明は、請求項１又は請求項２の発明において、前記撮像手段は、光学レンズにより結像された画像を固体撮像素子によって個眼像として撮像する撮像ユニットが複数個集積して構成された複眼撮像手段であり、前記各撮像ユニットの光学的撮像条件は、導出した物体距離の誤差を評価するための評価関数に基づき最適化手法により算出した最適条件に合わせて設定されていることを特徴とする。
請求項５の発明は、請求項４の発明において、前記評価関数が、次の式で表わされることを特徴とする。
請求項１の発明によれば、距離算出手段が、設定した仮距離に応じた撮像過程行列[Ｈｚ]を用いて高解像度画像を推定し、この高解像度画像から作成した推定画像と撮像手段が撮像した画像との差に基づいて仮距離を評価するための評価値を算出し、さらに繰返し変更する仮距離毎の評価値のうち最大又は最小になるときの仮距離を物体の距離として決定するので、視差に基づかずに距離導出を行うことができ、複眼撮像装置に適用して正確に距離を導出することができる。
請求項２の発明によれば、超解像処理を反復逆投影法を用いて行うので、効率的に高解像度画像を得ることができる。
請求項３の発明によれば、撮像手段により撮像される画像の実質的な情報量が向上するので、より正確に距離を導出することができる。
請求項４の発明によれば、撮像手段により撮像される画像の実質的な情報量が向上するので、より正確に距離を導出することができる。
請求項５の発明によれば、撮像ユニットの光学的撮像条件を、画像の実質的な情報量がより向上するものに設定することができる。
（第１の実施形態）
以下、本発明の第１の実施形態について、図１乃至図８を参照して説明する。本実施形態の物体の距離導出装置１は、図１に示されるように、複眼撮像装置（複眼撮像手段）２と、複眼撮像装置２によって撮像された画像情報をＡＤ変換器３を介して取込み、取込んだディジタルの画像情報に基づいて物体Ｓと複眼撮像装置２との間の距離ｚを算出する距離算出装置（距離算出手段）４と、を備える。物体Ｓは説明を分かりやすくするために平面状のものにしたが、凹凸のある立体であっても構わない。
複眼撮像装置２は、略同一平面に３行３列のアレイ状に配置された９個の光学レンズＬ１１、Ｌ１２・・Ｌ３３からなる光学レンズアレイ５と、各光学レンズによりそれぞれ形成される９個の個眼像（低解像度画像）ｋ１１、ｋ１２・・ｋ３３を撮像する多数の受光素子ｍを有する固体撮像素子６と、を備える。複眼撮像装置２は、各々１個の光学レンズＬ１１、Ｌ１２・・Ｌ３３と、それらにより結像された個眼像ｋ１１、ｋ１２・・ｋ３３を個別に撮像する固体撮像素子６上の部分領域６ａから成る撮像ユニットＵが９個集積して成るものである。
距離算出装置４は、マイクロプロセッサ（距離設定手段、撮像過程行列算出手段、高解像度画像推定手段、評価値算出手段、繰返し手段、距離決定手段）４１と、マイクロプロセッサ４１の動作プログラム等を格納したＲＯＭ４２と、画像データ等を一時的に記憶するＲＡＭ４３と、大規模容量のメモリ４４と、を備え、マイクロプロセッサ４１が、複眼撮像装置２からの画像情報を後述する距離導出手順に基づいて処理し、物体Ｓの距離を算出する。
複眼撮像装置２は、光学レンズＬ１１、Ｌ１２・・Ｌ３３の配置が各撮像ユニットＵ毎にランダムになるように設定してある。具体的には、各光学レンズＬ１１、Ｌ１２・・Ｌ３３のｘ、ｙ軸に沿った配置が、図２に示されるように、ランダムになるように設定され、ｚ軸（光軸）に沿った配置が、光学レンズアレイ５の厚みｔ（図１参照）をレンズ毎に異ならせることによりランダムになるように設定されている。ここでいうランダムになるような設定とは、ｘ、ｙ、ｚ軸に沿った値が単に不規則なだけではなく、例えば乱数表、乱数発生機によって発生される物理乱数に基づいた値になっていることをいう。
上記のように構成することにより、各光学レンズＬ１１、Ｌ１２・・Ｌ３３により集光される光ｈ１、ｈ２・・が平行にならず（図３参照）、複眼撮像装置２から見た観測点ｐが物体Ｓ面上において分散され、撮像画像の実質的な情報量が向上する。なお、焦点距離等の他の光学的撮像条件が、撮像ユニットＵ毎にランダムに異なるように設定されていてもよい。
次に、マイクロプロセッサ４１が実行する距離導出手順について、図４のフローチャートを参照して説明する。物体Ｓの距離候補としての複数の仮距離ｚ１、ｚ２・・ｚＮがＲＯＭ４２又はメモリ４４内に予めデータとして記憶されている。マイクロプロセッサ４１は、まず、１番目の仮距離ｚ１を読出してきて設定し（＃１）、物体Ｓが仮距離ｚ１にあると仮定したときの物体Ｓと撮像画像との関係を表す撮像過程行列[Ｈｚ１]を算出する（＃２）。
撮像過程行列[Ｈ]について、図５を参照して説明する。いま、物体Ｓ（の表面の像「Ａ」）を画像ベクトルｓで表わし、撮像画像（低解像度画像）Ｆを画像ベクトルｆで表わすとすると、物体Ｓと複眼撮像装置２による撮像過程を経て得られる画像Ｆの関係は線形であるので、ｆ＝[Ｈ]×ｓが成立する。複眼撮像装置２の各光学レンズＬ１１、Ｌ１２・・Ｌ３３の配置、焦点距離、及び三次収差等の結像情報がメモリ４４内に記憶されており、マイクロプロセッサ４１は、これらの結像情報に基づいて物体Ｓが仮距離ｚ１にあるときの撮像過程行列[Ｈｚ１]を算出する。
次に、マイクロプロセッサ４１は、算出した撮像過程行列[Ｈｚ１]を用いて超解像処理により高解像度画像を推定する（＃３）。本実施形態では、反復逆投影法を用いた超解像処理を実行する。具体的には、マイクロプロセッサ４１は、図６に概念的に示すように、最初に仮の高解像度画像ｇｋ−１を設定し、次に、後述する画像評価値ｅを小さくするための勾配ベクトルｑｋ−１を算出し、この勾配ベクトルｑｋ−１により仮高解像度画像ｇｋ−１を補正して、解像度が改善された仮高解像度画像ｇｋを得る、という工程を反復し、最終的に画像評価値ｅが最も小さい高解像度画像ｇを推定する。
上記工程は次の式（２）で表わすことができる。
ここで画像評価値ｅは、前記撮像過程行列[Ｈ]を乗算した仮高解像度画像ｇｋと、画像ベクトルｆとの差であり、次の式（３）で表わすことができる。
また、勾配ベクトルｑは、次の式（４）で表わすことができる。
なお、本実施形態では、マイクロプロセッサ４１が最初に設定する仮高解像度画像ｇｋ−１は、撮像画像Ｆの中の９個の個眼像ｋ１１、ｋ１２・・ｋ３３（図５参照）を平均化することにより作成されている。
次に、マイクロプロセッサ４１は、推定した高解像度画像ｇを用いて評価値分布Ｅを算出する（＃４）。評価値分布Ｅは、次の式（５）で表わされる。
評価値分布Ｅは、画像ベクトルであるので、図７に示すようにｘ、ｙ軸に沿った各画素毎に個別の評価値（Ｅ（１,１）、Ｅ（１,２）・・）を有する平面に表すことができる。算出した評価値分布Ｅは、メモリ４４に記憶される。なお、図７において、仮距離がｚ１に設定されたときの評価値分布Ｅｚ１の他に、仮距離がｚ２、ｚ３に設定されたときの評価値分布Ｅｚ２、Ｅｚ３を併せて示す。
次に、マイクロプロセッサ４１は、設定した仮距離ｚが全て終了したか否かを判定し（＃５）、終了していない場合には＃１へ戻って次の仮距離（ｚ２）を物体Ｓの距離として設定し、＃２から＃４を繰返し実行する。
マイクロプロセッサ４１は、全ての仮距離について＃１から＃４を実行したと判定したとき（＃５でＹＥＳ）、メモリ４４には、各仮距離ｚ１、ｚ２・・についての評価値分布Ｅｚ１、Ｅｚ２・・が記憶されているので、それらの評価値分布の中から評価値が最小になる仮距離を選定し、物体の距離として決定する（＃６）。
いま、物体Ｓとしては平面状の物体を想定しているので、各評価値分布Ｅｚ１、Ｅｚ２・・における画素毎の評価値は同一の値になる。このことから、マイクロプロセッサ４１は、例えば、仮距離がｚ１であるときの評価値分布Ｅｚ１の評価値が、他の評価値分布Ｅｚ２、Ｅｚ３・・の評価値と比較して最小であると判定したとき、平面物体の距離はｚ１であると決定する。
物体Ｓが凹凸のある物体であるときには、マイクロプロセッサ４１は、評価値分布Ｅの各画素毎に評価値が最小になる仮距離ｚを物体の距離として決定する。具体的には、図７に示すように、例えば、位置（１,１）の画素について、評価値分布Ｅｚ１の評価値Ｅｚ１（１,１）が最小であるときには、その位置の画素距離をｚ１であると決定し、位置（１,２）の画素について、評価値分布Ｅｚ２の評価値Ｅｚ２（１,２）が最小であるときには、その位置の画素距離をｚ２であると決定する、といった工程を繰返して、像を構成する全画素について物体距離を決定する。
以上のように、本実施形態の距離導出装置１では視差に基づかずに距離導出を行うことができ、基線長の長さに制限がある小型化された複眼撮像装置２を用いて正確に距離を導出することができる。
図８において、本実施形態の距離導出装置１を用いて導出した物体の距離毎の平均誤差Ａａ（以下、本平均誤差）と、本距離導出装置１と同じ複眼撮像装置２を用いて視差に基づいた距離導出法により導出した物体の距離毎の平均誤差Ｂａ（以下、従来平均誤差）と、を比較して示す。図において、平均誤差Ａａ、Ｂａに幅があるのは、これらの誤差の測定に、いずれも、ずれの仕様が異なる３種類の光学レンズアレイ５を用いているからであり、図におけるＡａ、Ｂａの上端と下端の線は、最大と最小の平均誤差Ａａ、Ｂａを示したシミュレーション結果を示す。
上記比較において用いた複眼撮像装置２の仕様は、各光学レンズＬ１１、Ｌ１２・・Ｌ３３の焦点距離が１．３ｍｍ、レンズ間ピッチ（平均）が０．５ｍｍ、Ｆ値が２．６であり、撮像ユニットＵ毎にｘ、ｙ、ｚ軸方向にそれぞれ１０μｍ以内のランダムなずれを与えている。また、ずれの態様自体が異なる３種類の光学レンズアレイ５を準備し、それらの光学レンズアレイ５を備える複眼撮像装置２毎に平均誤差をシミュレーションにより算出した。
上記３種類の複眼撮像装置２について算出した平均誤差のピーク間領域を濃淡を付けて示す。本平均誤差Ａａは、従来平均誤差Ｂａに比べて、全ての物体距離に亘って、大きく低減されている。
例えば、物体距離が４ｍの場合、本距離導出装置１により導出した距離の平均誤差（Ａａ）は数１０ｃｍ以内であったが、視差に基づいて導出した距離の平均誤差（Ｂａ）は約１．５〜３ｍであった。また、物体距離が８ｍの場合、本距離導出装置１により導出した距離の平均誤差（Ａａ）は約０．５〜２ｍであったが、視差に基づいて導出した距離の平均誤差（Ｂａ）は約３．５〜７ｍであった。
なお、光学レンズが規則正しく配置された複眼撮像装置からの画像情報を用いて、視差に基づいた距離導出法により導出した場合の平均誤差Ｃａを併せて示す。この場合、物体距離が１ｍ以上になると平均誤差が過大になり距離の導出ができない。
（第２の実施形態）
次に、本発明の第２の実施形態に係る距離導出装置について説明する。本実施形態の距離導出装置１は、第１の実施形態に対して複眼撮像装置２の光学レンズの配置のみが異なる。第１の実施形態では、複眼撮像装置２の光学レンズ配置を撮像ユニットＵ毎にランダムに異ならせてあったが、本実施形態では、物体距離の平均誤差を評価するための評価関数を導入し、この評価関数に基づき最適化手法により算出した最適条件に合わせて各光学レンズＬ１１、Ｌ１２・・Ｌ３３を配置する。
具体的には、評価関数Ｃは、物体距離毎の平均誤差の平均であり、次の式（１）で表わされる。
光学レンズＬ１１、Ｌ１２・・Ｌ３３の配置を最適化する手法は、滑降シンプレックス法、遺伝的アルゴリズム等の公知の最適化手法を用いることができる。具体的には、各光学レンズＬ１１、Ｌ１２・・Ｌ３３のｘ、ｙ、ｚ軸方向の配置を微小量ずつ変化させたときに、評価関数Ｃが変化するので、評価関数Ｃの値が最小になるときの光学レンズの配置を最適な配置として決定する。
なお、上記評価関数Ｃを算出するときに設定する物体距離に、縮退が発生する距離の中で最も遠い距離Ｄよりもさらに遠い距離も含めることにより、光学レンズＬ１１、Ｌ１２・・Ｌ３３の配置を撮像画像の解像度がより向上するものに設定することができ、ひいてはより正確に距離を導出できる。
上記距離Ｄは次の式（６）で表わされる。
ｗは光学レンズアレイ５と固体撮像素子６との間隔、ｂは光学レンズ間において最大になる基線長、ｕは受光素子ｍ間の平均ピッチである。
本実施形態の距離導出装置においても、視差に基づかずに距離導出を行い、解像度が高い個眼像（低解像度画像）を用いて高解像度画像を推定できるので、小型化された複眼撮像装置２を用いて正確に物体距離を導出することができる。
本発明の第１の実施形態に係る物体の距離導出装置の概略構成を示すブロック図。 同距離導出装置における複眼撮像装置の正面図。 同距離導出装置における複眼撮像装置への集光態様を示す側面図。 同距離導出装置における距離導出手順のフローチャート。 同距離導出装置における複眼撮像装置による撮像過程と、撮像過程行列の対応関係を示す図。 同距離導出装置における反復逆投影法による超解像処理工程の概念を示す図。 同距離導出装置において算出される評価値分布を示す図。 同距離導出装置によって導出した物体距離の平均誤差と、従来装置によって導出した物体距離の平均誤差を比較して示す図。 （ａ）は従来の複眼撮像装置によって物体からの光が集光される態様を示す側面図、（ｂ）は図９（ａ）の１１０部分の拡大側面図。
符号の説明
１ 物体の距離導出装置
２ 複眼撮像装置（複眼撮像手段）
４ 距離算出装置（距離算出手段）
６ 固体撮像素子
４１ マイクロプロセッサ（距離設定手段、撮像過程行列算出手段、高解像度画像推定手段、評価値算出手段、繰返し手段、距離決定手段）
ｆ 画像
ｇ 高解像度画像
ｚ 仮距離
Ｅ 評価値分布（評価値）
[Ｈ] 撮像過程行列
Ｌ１１、Ｌ１２・・Ｌ３３ 光学レンズ
Ｕ 撮像ユニット

Claims (5)

  1. 物体を行列[Ｈ]で表わされる撮像過程で撮像して画像を得る撮像手段と、
    前記撮像手段によって撮像される画像に基づいて物体の前記撮像手段からの距離を算出する距離算出手段と、を備える物体の距離導出装置において、
    前記距離算出手段は、
    物体と前記撮像手段との距離を仮に設定する距離設定手段と、
    前記距離設定手段によって設定された仮距離ｚに物体があるときの撮像過程行列[Ｈｚ]を算出する撮像過程行列算出手段と、
    前記撮像過程行列算出手段によって算出された撮像過程行列[Ｈｚ]を用いて、超解像処理により高解像度画像を推定する高解像度画像推定手段と、
    前記高解像度画像推定手段によって推定された高解像度画像に前記撮像過程行列[Ｈｚ]を乗算して作成した推定画像と前記撮像手段が撮像した画像との差に基づいて、前記距離設定手段が設定した仮距離ｚを評価するための評価値を算出する評価値算出手段と、
    前記距離設定手段によって設定される仮距離ｚを変更し、変更した仮距離ｚに応じた前記撮像過程行列算出手段による撮像過程行列[Ｈｚ]の算出、前記高解像度画像推定手段による高解像度画像の推定、及び前記評価値算出手段による評価値の算出を繰返し実行させる繰返し手段と、
    前記繰返し手段による繰返し実行の結果、前記評価値が最大又は最小になるときの仮距離ｚを前記撮像手段からの物体の距離として決定する距離決定手段と、を備えることを特徴とする物体の距離導出装置。
  2. 前記高解像度画像推定手段が実行する超解像処理は、前記撮像過程行列[Ｈｚ]を用いた反復逆投影法であることを特徴とする請求項１に記載の物体の距離導出装置。
  3. 前記撮像手段は、光学レンズにより結像された画像を固体撮像素子によって個眼像として撮像する撮像ユニットが複数個集積して構成された複眼撮像手段であり、
    前記各撮像ユニットの光学的撮像条件は、
    無限遠にある物体を撮像したときの各撮像ユニットが撮像する個眼像が全て異なった像になるように、各撮像ユニット毎にランダムに異ならせてあることを特徴とする請求項１又は請求項２に記載の物体の距離導出装置。
  4. 前記撮像手段は、光学レンズにより結像された画像を固体撮像素子によって個眼像として撮像する撮像ユニットが複数個集積して構成された複眼撮像手段であり、
    前記各撮像ユニットの光学的撮像条件は、
    導出した物体距離の誤差を評価するための評価関数に基づき最適化手法により算出した最適条件に合わせて設定されていることを特徴とする請求項１又は請求項２に記載の物体の距離導出装置。
  5. 前記評価関数が、次の式で表わされることを特徴とする請求項４に記載の物体の距離導出装置。
JP2008270060A 2008-10-20 2008-10-20 物体の距離導出装置 Withdrawn JP2010096723A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008270060A JP2010096723A (ja) 2008-10-20 2008-10-20 物体の距離導出装置
EP09173463A EP2177869A3 (en) 2008-10-20 2009-10-20 Object distance deriving device
US12/582,501 US20100103259A1 (en) 2008-10-20 2009-10-20 Object Distance Deriving Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008270060A JP2010096723A (ja) 2008-10-20 2008-10-20 物体の距離導出装置

Publications (1)

Publication Number Publication Date
JP2010096723A true JP2010096723A (ja) 2010-04-30

Family

ID=41510669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008270060A Withdrawn JP2010096723A (ja) 2008-10-20 2008-10-20 物体の距離導出装置

Country Status (3)

Country Link
US (1) US20100103259A1 (ja)
EP (1) EP2177869A3 (ja)
JP (1) JP2010096723A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132754A1 (ja) * 2013-02-26 2014-09-04 コニカミノルタ株式会社 画像処理装置および画像処理方法
KR20180015830A (ko) * 2016-08-04 2018-02-14 광주과학기술원 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501416B (zh) 2008-05-20 2017-04-12 派力肯成像公司 成像系统
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP2014521117A (ja) 2011-06-28 2014-08-25 ペリカン イメージング コーポレイション アレイカメラで使用するための光学配列
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
GB2498972A (en) * 2012-02-01 2013-08-07 St Microelectronics Ltd Pixel and microlens array
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
DE102013222780B3 (de) * 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
DE102014213371B3 (de) * 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US10911738B2 (en) * 2014-07-16 2021-02-02 Sony Corporation Compound-eye imaging device
KR102155094B1 (ko) * 2014-08-28 2020-09-11 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
DE112020004391B4 (de) 2019-09-17 2024-08-14 Intrinsic Innovation Llc Systeme und Verfahren zur Oberflächenmodellierung unter Verwendung von Polarisationsmerkmalen
CN110738610A (zh) * 2019-09-19 2020-01-31 天津大学 一种复眼图像像质提升方法
CA3157194C (en) 2019-10-07 2023-08-29 Boston Polarimetrics, Inc. Systems and methods for augmentation of sensor systems and imaging systems with polarization
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12175741B2 (en) 2021-06-22 2024-12-24 Intrinsic Innovation Llc Systems and methods for a vision guided end effector
US12340538B2 (en) 2021-06-25 2025-06-24 Intrinsic Innovation Llc Systems and methods for generating and using visual datasets for training computer vision models
US12172310B2 (en) 2021-06-29 2024-12-24 Intrinsic Innovation Llc Systems and methods for picking objects using 3-D geometry and segmentation
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12293535B2 (en) 2021-08-03 2025-05-06 Intrinsic Innovation Llc Systems and methods for training pose estimators in computer vision

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032354A (ja) 1998-07-09 2000-01-28 Sony Corp 撮像装置
JP4235539B2 (ja) * 2003-12-01 2009-03-11 独立行政法人科学技術振興機構 画像構成装置及び画像構成方法
JP2007271301A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 撮像装置
JP4915859B2 (ja) * 2007-03-26 2012-04-11 船井電機株式会社 物体の距離導出装置
JP2008242658A (ja) * 2007-03-26 2008-10-09 Funai Electric Co Ltd 立体物体の撮像装置
JP2008270060A (ja) 2007-04-24 2008-11-06 Hiwin Mikrosystem Corp プラグ抜出防止構造付き制御器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132754A1 (ja) * 2013-02-26 2014-09-04 コニカミノルタ株式会社 画像処理装置および画像処理方法
KR20180015830A (ko) * 2016-08-04 2018-02-14 광주과학기술원 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
KR101865126B1 (ko) * 2016-08-04 2018-06-08 광주과학기술원 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
US10484585B2 (en) 2016-08-04 2019-11-19 Gwangju Institute Of Science And Technology Image sensing apparatus, image sensing method, distance measuring apparatus, and distance measuring method

Also Published As

Publication number Publication date
EP2177869A2 (en) 2010-04-21
US20100103259A1 (en) 2010-04-29
EP2177869A3 (en) 2012-05-23

Similar Documents

Publication Publication Date Title
JP2010096723A (ja) 物体の距離導出装置
US10127682B2 (en) System and methods for calibration of an array camera
JP3983573B2 (ja) ステレオ画像特性検査システム
JP4440341B2 (ja) キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム
CN112070845A (zh) 双目相机的标定方法、装置及终端设备
JP2010169506A (ja) 接触力測定装置及び接触力測定方法
JP2010062678A (ja) 光学的条件設計方法及び複眼撮像装置
JP5867806B2 (ja) 撮像装置及びこれを用いた物体識別装置
JP2009284188A (ja) カラー撮像装置
US20150022659A1 (en) Luminance measuring apparatus
JPWO2012147245A1 (ja) 撮像装置、撮像装置を備える撮像システム、及び撮像方法
JP5310483B2 (ja) 撮像装置
CN105651198A (zh) 应力监测方法和应力监测装置
JP5998532B2 (ja) 補正式算出方法、補正方法、補正装置及び撮像装置
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
US8462179B2 (en) Scene independent method for image formation in lenslet array imagers
US20080211956A1 (en) Image Pickup Device
JP2009168461A (ja) カメラ校正装置
CN102202225B (zh) 固体摄像装置
JP4423347B2 (ja) 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート
JP2006010613A (ja) 画像の歪み補正方法
CN117745844A (zh) 一种基于三维背景导向纹影的多相机标定方法及系统
WO2013154085A1 (ja) キャリブレーション方法および装置
JP4716210B2 (ja) 三次元画像データの取得方法および三次元画像用撮像システム
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121116

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20121130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121203