[go: up one dir, main page]

JP2013198016A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2013198016A
JP2013198016A JP2012064534A JP2012064534A JP2013198016A JP 2013198016 A JP2013198016 A JP 2013198016A JP 2012064534 A JP2012064534 A JP 2012064534A JP 2012064534 A JP2012064534 A JP 2012064534A JP 2013198016 A JP2013198016 A JP 2013198016A
Authority
JP
Japan
Prior art keywords
imaging
unit
main lens
microlens
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012064534A
Other languages
English (en)
Other versions
JP2013198016A5 (ja
Inventor
Tomoaki Nagasaka
知明 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012064534A priority Critical patent/JP2013198016A/ja
Priority to US13/797,709 priority patent/US20130250159A1/en
Priority to CN2013100896310A priority patent/CN103327223A/zh
Publication of JP2013198016A publication Critical patent/JP2013198016A/ja
Publication of JP2013198016A5 publication Critical patent/JP2013198016A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】より広い距離の範囲にわたって高精細な再構成画像を得ること。
【解決手段】撮像装置1は、撮像素子41と、被写体からの光を撮像素子41の方向に集光するメインレンズ21と、撮像素子41とメインレンズ21との間に配置され、メインレンズ21を透過した光を撮像素子41に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイ31と、を備える。マイクロレンズアレイ31は、焦点距離の異なる複数種類のマイクロレンズ31A、31B及び31Cから構成され、複数種類のうちの少なくとも1種類のマイクロレンズ31Aは、他の種類のマイクロレンズ31B及び31Cとは異なる分布形態を有する。
【選択図】図2

Description

本発明は、撮像装置に関する。
近年、入射光線の方向分布(direction distribution)についての情報を取り込む撮像装置であるプレノプティックカメラが提案されている(例えば、特許文献1参照)。
このプレノプティックカメラは、従来の撮像レンズであるメインレンズと撮像素子との間に、複数の極小レンズ(以下、「マイクロレンズ」と呼ぶ)を格子状に配置することで構成されたマイクロレンズアレイが配置されている。
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に集光する。プレノプティックカメラは、個々のマイクロレンズによって撮像素子内の個々の画素に集光された像(以下、「サブイメージ」と呼ぶ)を合成することにより、撮像画像(以下、「ライトフィールド画像」と呼ぶ)を生成する。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。すなわち、ライトフィールド画像は、従来の撮像画像にも含まれていた2次元の空間情報の他に、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す2次元の方向情報を有している。
プレノプティックカメラは、このような2次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。すなわち、プレノプティックカメラは、所定距離で焦点をあわせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像(以下、「再構成画像」と呼ぶ)のデータを自在に作り出すことができる。
具体的には、プレノプティックカメラは、任意の距離にある面の1点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているとすると、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される1以上の画素の画素値の加算平均を算出する。この算出された値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像の注目点に対応する画素が再構成される。
プレノプティックカメラは、任意の距離にある面の各点に対応する各画素(再構成画像を構成する各画素)のそれぞれを注目点に順次設定し、上述の一連の処理を繰り返すことで、再構成画像のデータ(再構成画像の各画素の画素値の集合体)を生成する。
特表2009−532993号公報
ところで、従来のプレノプティックカメラでは、図16に示すように、1種類のマイクロレンズでマイクロレンズアレイを構成しており、この1種類のマイクロレンズによって全焦点範囲に対応することとしている。このため、被写体との距離及びマイクロレンズの焦点距離の値によっては、このマイクロレンズのボケ(マイクロレンズブラー)が大きくなってしまい、撮像されたライトフィールド画像から高精細な再構成画像を生成する際の妨げとなる。
また、プレノプティックカメラのユーザには、主に遠景を撮る傾向の強いユーザや、画角中央に人や動植物等を据えて風景を撮る傾向の強いユーザや、近景を撮る傾向の強いユーザ等、様々な個性を有するユーザが存在する。しかしながら、従来のプレノプティックカメラは、1種類のマイクロレンズでマイクロレンズアレイを構成していることから、上記の傾向が強い場合に、マイクロレンズブラーが大きくなってしまい、高精細な再構成画像を得ることができない可能性がある。
本発明は、このような状況に鑑みてなされたものであり、より広い距離の範囲にわたって高精細な再構成画像を得ることを目的とする。
上記目的を達成するため、本発明の一態様の撮像装置は、撮像素子と、被写体からの光を前記撮像素子の方向に集光するメインレンズと、前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイと、を備え、前記マイクロレンズアレイは、焦点距離の異なる複数種類のマイクロレンズから構成され、前記複数種類のうちの少なくとも1種類の前記マイクロレンズは、他の種類の前記マイクロレンズとは異なる分布形態を有することを特徴とする。
本発明によれば、より広い距離の範囲にわたって高精細な再構成画像を得ることができる。
本実施形態に係る撮像装置の構成を示す図である。 上記撮像装置を構成するマイクロレンズアレイの構成を示す図である。 上記撮像装置を構成するマイクロレンズアレイユニットを光軸方向から視認した場合の図である。 上記撮像装置における光学系の構成を示す模式図である。 上記撮像装置におけるマイクロレンズアレイを用いた場合のサブイメージの例を示す図である。 上記撮像装置における制御ブロック図(その1)である。 上記撮像装置において、注目点からの光が撮像素子内の画素に分配される様子を説明する図である。 上記撮像装置において発生するマイクロレンズブラーのサイズの算出を説明するための図である。 上記撮像装置におけるメインレンズの主平面の調整前後の状態を示す図である。 上記撮像装置におけるメインレンズの絞り機構を調整した場合にマイクロレンズによって撮像素子に結像されるサブイメージを示す図である。 上記撮像装置におけるメインレンズの最適F値の算出を説明するための図である。 上記撮像装置における制御ブロック図(その2)である。 上記撮像装置におけるマイクロレンズアレイの位置を調整することによってブラーサイズ及びサブイメージサイズを調整した例を示す図である。 上記撮像装置におけるキャリブレーションを説明する図である。 上記撮像装置における再構成処理の流れを示すフローチャートである。 従来のプレノプティックカメラを構成する撮像部における光学系の構成例を示す模式図である。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本実施形態に係る撮像装置の構成を示す図である。
図1(a)は、撮像装置を構成する撮像ユニットに、各レンズユニットが装着されていない状態を示す図である。図1(b)は、撮像装置を構成する撮像ユニットに、各レンズユニットが装着されている状態を示す図である。
図1に示されるように、撮像装置1は、メインレンズユニット2と、マイクロレンズアレイユニット3と、撮像ユニット4と、から構成される。
メインレンズユニット2は、メインレンズ21と、メインレンズ21に入射する光の量を制御する絞り機構(図示省略)とを含む光学系を内部に備えている。メインレンズ21は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、後述の撮像素子41の受光面に被写体像を結像させるためのレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。メインレンズユニット2は、マイクロレンズアレイユニット3及び撮像ユニット4の双方に装着可能なマウント構造を有している。
マイクロレンズアレイユニット3は、撮像ユニット4が装着される側の端部にマイクロレンズアレイ31を備えている。図2は、マイクロレンズアレイ31の構成を示す図である。具体的には、図2(a)は、マイクロレンズアレイ31の正面図であり、図2(b)は、マイクロレンズアレイ31の断面図である。図2(a)に示されているように、マイクロレンズアレイ31は、複数種類のマイクロレンズ31A、31B、31Cから構成されている。これら複数種類のマイクロレンズ31A、31B、31Cは、それぞれ焦点距離が異なっており、メインレンズ21を透過した光を後述の撮像素子41に結像させる。
図2(a)に示されるように、これら複数種類のマイクロレンズ31A、31B、31Cは、種類ごとに設置個数が異なっている。図2(a)では、マイクロレンズ31Aと、マイクロレンズ31Bと、マイクロレンズ31Cと、の比率が2:1:1で配置されている。すなわち、マイクロレンズアレイ31は、マイクロレンズ31Aとマイクロレンズ31Bとが交互に配置された行と、マイクロレンズ31Cとマイクロレンズ31Aとが交互に配置された行とが、列方向に繰り返し配置されたマトリクス構造を有している。なお、これらの行において、マイクロレンズ31Aは列方向に隣接しない配置(即ち千鳥状)に配置されている。
なお、本実施形態では、複数種類のマイクロレンズ31A、31B、31Cは、均等に配置されているものとしたが、これに限らない。例えば、複数種類のマイクロレンズについて、マイクロレンズアレイ31の各領域において、不均等に配置されるようにしてもよい。すなわち、複数種類のマイクロレンズについて、マイクロレンズアレイ31の中心部と、周縁部とで、異なる分布で配置するようにしてもよい。この場合、例えば、マイクロレンズアレイ31の中心付近に対して、近距離に対応したマイクロレンズを多く配置し、周縁部に対して、遠距離に対応したマイクロレンズを多く配置する例が挙げられる。
また、図2(a)、(b)に示されるように、マイクロレンズアレイ31には、マイクロレンズが一様に分布するように配置されている。ここで、隣り合うマイクロレンズにおける、それぞれのマイクロレンズの中心位置間の距離をマイクロレンズピッチLμLpという。
図1に戻り、マイクロレンズアレイユニット3では、マイクロレンズ外部距離LμLoと、マイクロレンズ内部距離LμLiとが定義されている。マイクロレンズ外部距離LμLoは、図1(b)に示すように、撮像ユニット4に、メインレンズユニット2及びマイクロレンズアレイユニット3を装着した場合に、露出する部分の光軸方向の距離である。マイクロレンズ内部距離LμLiは、図1(b)に示すように撮像ユニット4に、メインレンズユニット2及びマイクロレンズアレイユニット3を装着した場合に、マイクロレンズアレイユニット3が撮像ユニット4に嵌合された部分の光軸方向の距離である。
図3は、マイクロレンズアレイユニット3を光軸方向から視認した場合の図である。具体的には、図3(a)は、図1におけるA面においてマイクロレンズアレイユニット3をメインレンズユニット2側から視認した場合の図であり、図3(b)は、図1におけるB面においてマイクロレンズアレイユニット3を撮像ユニット4側から視認した場合の図である。
図3(a)、(b)に示されるように、マイクロレンズアレイユニット3には、レンズ鏡筒32の下部に電気接点33が設けられている。この電気接点33は、撮像ユニット4にメインレンズユニット2及びマイクロレンズアレイユニット3が装着された場合に、メインレンズユニット2に設けられた電気接点(図示省略)及び撮像ユニット4に設けられた電気接点(図示省略)に接続可能である。これにより、メインレンズユニット2と、マイクロレンズアレイユニット3と、撮像ユニット4とが電気的に接続される。
図1に戻り、撮像ユニット4は、メインレンズユニット2又はマイクロレンズアレイユニット3が装着される開口部(マウント)に対向する筐体内の底部中央に、撮像素子41を備える。撮像素子41は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、メインレンズ21又は各マイクロレンズから被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFE(図示省略)に順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、後述の撮像制御部に出力信号として出力される。
なお、撮像ユニット4において、マイクロレンズアレイユニット3との接続面と、撮像素子41の表面との距離をフランジバックLFBという。
続いて、撮像ユニット4に対して、メインレンズユニット2及びマイクロレンズアレイユニット3を装着させた場合と、メインレンズユニット2を直接装着させた場合との違いについて説明する。
図4は、撮像装置1における光学系の構成を示す模式図である。具体的には、図4(a)は、撮像ユニット4にメインレンズユニット2のみを装着した場合における光学系の構成を示す模式図である。図4(b)は、撮像ユニット4にメインレンズユニット2及びマイクロレンズアレイユニット3を装着した場合における光学系の構成を示す模式図である。
図4(a)、(b)に示されるように、メインレンズ21は、被写体から照射され、メインレンズユニット2のレンズ鏡筒に入射した光を集光し、撮像素子41方向に結像させる。メインレンズユニット2のみ撮像ユニット4に装着した場合、メインレンズ21によって集光された光は、図4(a)に示すように、撮像素子41の表面に1つのイメージを結像する。
他方、メインレンズユニット2及びマイクロレンズアレイユニット3を撮像ユニット4に装着した場合、メインレンズ21によって集光された光は、図4(b)に示すように、マイクロレンズアレイ31の前方で合焦し、その後、マイクロレンズアレイ31に入射する。マイクロレンズアレイ31を構成する複数のマイクロレンズ31A、31B及び31Cは、それぞれ入射した光を集光し、撮像素子41の上にサブイメージを結像させる。これにより、撮像素子41では、これらの複数のマイクロレンズ31A、31B及び31Cによって結像されたサブイメージの集合体であるライトフィールド画像が生成される。後述の撮像制御部46は、このライトフィールド画像を用いて、再構成画像を生成する。
ここで、マイクロレンズアレイ31を構成する複数のマイクロレンズ31A、31B及び31Cは、それぞれ焦点距離が異なっている。このため、ある種類のマイクロレンズによって集光された光が、撮像素子41の表面で結像する場合、他の種類のマイクロレンズにおいて集光された光が、撮像素子41の面の前方又は後方で合焦する。このため、他の種類のマイクロレンズによって撮像素子41に結像されるサブイメージでは、ボケ(マイクロレンズブラー)が発生する。
図5は、マイクロレンズアレイ31を用いた場合のサブイメージの例を示す図である。図5には、メインレンズ21に近い順に、透明な平面板P1、P2及びP3が配置されている場合のサブイメージI1、I2、I3及びI4が示されている。
ここで、平面板P1、P2及びP3には、それぞれ、同じ色(例えば、黒色)で、文字「A」、「B」及び「C」が表示されているものとする。
サブイメージI1及びI3は、マイクロレンズ31Aによって結像されたイメージである。マイクロレンズ31Aは、マイクロレンズ31Bに比べて焦点距離が長いため、ここでは、メインレンズ21から最も距離が遠い平面板P3に表示されている文字「C」にピントが合う。この結果として、サブイメージI1及びI3では、文字「C」が他の文字に比べて鮮明に表示される。
サブイメージI2及びI4は、マイクロレンズ31Bによって結像されたイメージである。マイクロレンズ31Bは、マイクロレンズ31Aに比べて焦点距離が短いため、ここでは、メインレンズ21から最も距離が近い平面板P1に表示されている文字「A」にピントが合う。この結果として、サブイメージI2及びI4では、文字「A」が他の文字に比べて鮮明に表示される。
また、サブイメージI1〜I4では、それぞれの文字が異なる位置に表示されている。これは、各マイクロレンズが、異なる位置に配置され、対象物(ここでは、文字「A」、「B」、「C」)との視差が生じるためである。
続いて、撮像装置1における制御について説明する。図6は、撮像装置1における制御ブロック図である。なお、図6では、図1〜図3において説明した各構成要素について図示及び説明を省略する。
メインレンズユニット2と、マイクロレンズアレイユニット3と、撮像ユニット4とは入出力インターフェース10によって接続されている。入出力インターフェース10は、上述した電気接点33等によって構成されており、メインレンズユニット2、マイクロレンズアレイユニット3及び撮像ユニット4間での通信を可能にする。
メインレンズユニット2は、レンズ記憶部25と、レンズ制御部26と、駆動部27とを備える。
レンズ記憶部25は、ROM(Read Only Memory)や、RAM(Random Access Memory)等によって構成され、メインレンズユニット2を制御するための各種プログラムやデータ等を記憶する。レンズ記憶部25には、メインレンズ21の焦点距離が予め記憶されている。
レンズ制御部26は、CPU(Central Processing Unit)等により構成されており、レンズ記憶部25に記憶されているプログラム、及び撮像ユニット4から受信した各種命令に従って各種の処理を実行する。具体的には、レンズ制御部26は、入出力インターフェース10を介して、撮像ユニット4から制御信号を受信したことに応じて、レンズ記憶部25に記憶されているメインレンズ21の焦点距離を撮像ユニット4に送信する。また、レンズ制御部26は、撮像ユニット4から、メインレンズ21の位置を調整するための信号を受信したことに応じて、駆動部27を制御してメインレンズ21の位置を調整する。
駆動部27は、メインレンズ21の焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路や絞り機構から構成されており、レンズ制御部26の制御に応じて、メインレンズ21の位置の調整や、絞り機構の調整を行う。
マイクロレンズアレイユニット3は、アレイ記憶部35と、アレイ制御部36とを備える。
アレイ記憶部35は、ROMや、RAM等によって構成され、マイクロレンズアレイ31や、各マイクロレンズに係るデータ等を記憶する。アレイ記憶部35には、マイクロレンズ外部距離LμLoと、マイクロレンズ内部距離LμLiと、種類毎のマイクロレンズの焦点距離と、マイクロレンズピッチLμLpと、が予め記憶されている。
アレイ制御部36は、CPU等により構成されており、撮像ユニット4から受信した各種命令に従って、アレイ記憶部35に記憶されている各種データを撮像ユニット4に送信する。具体的には、アレイ制御部36は、入出力インターフェース10を介して、撮像ユニット4から制御信号を受信したことに応じて、アレイ記憶部35に記憶されているマイクロレンズ外部距離LμLoと、マイクロレンズ内部距離LμLiと、種類毎のマイクロレンズの焦点距離と、マイクロレンズピッチLμLpと、を撮像ユニット4に送信する。
撮像ユニット4は、操作部44と、撮像記憶部45と、撮像制御部46と、表示部47とを備える。
操作部44は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
撮像記憶部45は、ROMや、RAM等によって構成され、撮像ユニット4を制御するための各種プログラムやデータ等を記憶する。撮像記憶部45には、フランジバックLFBが予め記憶されている。また、撮像記憶部45は、撮像装置1によって撮像されたライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
表示部47は、モニタ等により構成され、各種画像を出力する。
撮像制御部46は、CPU等により構成されており、撮像装置1全体を制御する。撮像制御部46は、マイクロレンズアレイ31を装着した場合に撮像されるライトフィールド画像から、再構成画像のデータを生成する。以下、撮像制御部46による再構成画像のデータを生成する処理を、再構成処理と呼ぶ。
具体的には、撮像制御部46は、操作部44において、メインレンズ21と再構成対象の面(以下、再構成面と呼ぶ。)との距離を指定する操作を受け付けたことに応じて、当該再構成面の1つの画素を注目点に設定する。そして、撮像制御部46は、当該注目点からの光がメインレンズ21及びマイクロレンズアレイ31を介して撮像素子41内の何れの画素に分配されるのかを算出する。
図7は、注目点からの光が撮像素子41内の画素に分配される様子を説明する図である。
図7では、レンズの中心位置から光軸方向に延びた直線Lと、再構成面Srとが交差する点を中心位置とし、この中心位置から距離xだけ上方に離れた位置にある点を注目点Pとする。ここでは、注目点Pからマイクロレンズ31Aを構成する一のマイクロレンズ31Asに入射した光が撮像素子41内の画素に分配される様子について説明する。
図7における各距離を以下のように定義する。
a1:メインレンズ21と再構成面Srとの距離
b1:メインレンズ結像距離(メインレンズ21と、メインレンズ21の結像面Siとの距離)
c1:メインレンズ21と、マイクロレンズアレイ31との距離
a2:メインレンズ21の結像面Siと、マイクロレンズアレイ31との距離
c2:マイクロレンズアレイ31と、撮像素子41との距離
d:直線Lからマイクロレンズ31Asの中心位置との距離
x’:メインレンズ21の焦点と、直線Lとの距離
x’’:撮像素子41上において分配された光が到達する位置と、直線Lとの距離
なお、メインレンズ21の焦点距離をLML−fとする。また、図7において下線を引いた要素である距離x、a1、c1、c2、dは、予め定められている。なお、上記した各距離は、最短距離を示すものとする。
この場合、予め定められていない距離であるb1、a2、x’、及びx’’は、レンズの公式を用いて、以下の(1)〜(4)式で示される。
b1=(a1−LML−f)/(a1×LML−f)・・・(1)
a2=c1−b1・・・(2)
x’=x×b1/a1・・・(3)
x’’=(d−x’)×c2/a2+d・・・(4)
上記(4)式により、注目点Pからマイクロレンズ31Asに入射した光は、撮像素子41内の距離x’’に対応する画素に分配される。
そして、撮像制御部46は、注目点Pに対して、各マイクロレンズによって分配される画素の位置を算出し、これらの位置の画素値の加算平均を算出することにより、注目点Pの画素値を決定する。
そして、撮像制御部46は、再構成画像の各画素を注目点に設定して、上記の演算を実行することにより、再構成画像のデータを生成する。
また、撮像制御部46は、メインレンズユニット2及びマイクロレンズアレイユニット3を撮像ユニット4に装着した後、メインレンズ21の主平面の位置を調整しながら、最短撮影距離から無限遠の被写体距離にわたって、各マイクロレンズのマイクロレンズブラーのサイズを計算し、これらのマイクロレンズブラーのサイズの平均が最も小さくなるメインレンズ21の主平面の位置(以下、当該位置を最適位置ともいう。)を計算する。
なお、撮像制御部46は、ユーザが指定した任意の被写体距離範囲にわたって、メインレンズ21の最適位置を計算するようにしてもよい。以下に、マイクロレンズブラーのサイズ(以下、ブラーサイズともいう。)を算出する処理について詳細に説明する。
図8は、マイクロレンズブラーのサイズの算出を説明するための図である。
図8では、マイクロレンズブラーのサイズを算出するにあたり、光学系における各距離を以下のように定義する。なお、図8では、マイクロレンズアレイ31を構成する各々のマイクロレンズのうち、特定のマイクロレンズ31sに着目し、このマイクロレンズ31sに対応するマイクロレンズブラーのサイズを算出するものとする。
ML−f:メインレンズ焦点距離
ML−O:メインレンズ被写体距離(メインレンズ21と被写体との距離)
ML−i:メインレンズ結像距離
ML−μL:メインレンズ21とマイクロレンズ31sとの距離
:メインレンズ21の焦点位置とマイクロレンズ31sとの距離
μL−f:マイクロレンズ焦点距離
μL−i:マイクロレンズ結像距離(マイクロレンズ31sと、マイクロレンズ31sの焦点との距離)
μL−IS:マイクロレンズ31sと、撮像素子41との距離
:マイクロレンズ31sの焦点と撮像素子41との距離
μL−B:マイクロレンズ31sのブラーサイズ
μL−r:マイクロレンズ31sの有効径
ここで、LML−fと、LμL−fと、LμL−rとは、予め定められている。また、撮像制御部46は、撮像ユニット4にマイクロレンズアレイユニット3を装着した時点で、マイクロレンズ31sと撮像素子41との距離LμL−ISを、フランジバックLFBと、マイクロレンズ内部距離LμLiとを用いて、(5)式に従って算出し、算出された値を撮像記憶部45に記憶させる。
μL−IS=LFB−LμLi・・・(5)
そして、撮像制御部46は、撮像時において、LML−Oと、LML−μLとの距離を変更しながら、マイクロレンズ31sのブラーサイズLμL−Bを算出する。
すなわち、撮像制御部46は、メインレンズ結像距離LML−iを、LML−Oと、LML−fとを用いて、以下の式(6)で算出する。
ML−i=(LML−O−LML−f)/(LML−O×LML−f)・・・(6)
続いて、撮像制御部46は、メインレンズ21の焦点位置とマイクロレンズ31sとの距離Lを、LML−iと、LML−μLとを用いて、以下の式(7)で算出する。
=LML−μL−LML−i・・・(7)
続いて、撮像制御部46は、マイクロレンズ結像距離LμL−iを、LμL−fと、(7)式で求めたLとを用いて、以下の式(8)で算出する。
μL−i=(L−LμL−f)/L×LμL−f・・・(8)
続いて、撮像制御部46は、マイクロレンズ31sの焦点と撮像素子41との距離Lを、(5)式に従って算出されたLμL−ISと、(8)式に従って算出されたLμL−iとを用いて、以下の(9)式で算出する。
=LμL−IS−LμL−i・・・(9)
続いて、撮像制御部46は、マイクロレンズ31sのブラーサイズを、予め定められているLμL−rと、(8)式に従って算出されたLμL−iと、(9)式に従って算出されたLと、を用いて、以下の(10)式で算出する。
μL−B=LμL−r×(L/LμL−i)・・・(10)
撮像制御部46は、上述の演算にしたがって、各LML−Oにおける全てのマイクロレンズのブラーサイズLμL−Bを集計し、加算平均を算出する。そして、ブラーサイズの平均値が最も小さい場合のLML−Oを特定し、特定されたLML−Oの位置にメインレンズ21を調整する。そして、撮像制御部46は、メインレンズ21のフォーカス面が無限遠の時のメインレンズ21の主平面の位置から、計算された最適位置までの距離(メインレンズ調整距離)を、マイクロレンズアレイユニット3を識別するための識別情報と関連付けて撮像記憶部45に記憶させる。このようにすることで、撮像ユニット4からマイクロレンズアレイユニット3が外されて、その後、再び装着された場合であっても、撮像記憶部45に記憶されたメインレンズ調整距離に基づいて、メインレンズ21の位置を調整することができる。
図9は、メインレンズ21の主平面の調整前後の状態を示す図である。具体的には、図9(a)は、撮像装置1のメインレンズ21の主平面を調整する前の状態を示す図であり、図9(b)は、撮像装置1のメインレンズ21の主平面を所定距離LML−al調整した後の状態を示す図である。なお、図9において、点線は、無限遠からの光線を示し、破線は、最短撮影距離からの光線を示している。ここでは、マイクロレンズ31sのマイクロレンズブラーに着目して説明を行う。
図9(a)と図9(b)のそれぞれには、マイクロレンズ31sと撮像素子41との拡大図が示されている。これらの拡大図に示されるように、調整後のブラーサイズは、調整前のブラーサイズに比べて小さくなっていることが確認できる。この調整を行うことにより、例えば、最短撮影距離から無限遠の被写体距離に渡って、良好に再構成を行うことが可能となる。
また、撮像制御部46は、レンズ記憶部25に記憶されているメインレンズ21の焦点距離LML−fと、アレイ記憶部35に記憶されているマイクロレンズ外部距離LμLo、マイクロレンズ内部距離LμLi、各マイクロレンズの焦点距離LμL−f及びマイクロレンズピッチLμLpと、撮像記憶部45に記憶されているフランジバックLFBと、に基づいて、メインレンズ21の最適F値(MLF値)を計算し、メインレンズ21の絞り機構を調整することでメインレンズ21のF値を最適F値に変更する。ここで、最適F値とは個々のマイクロレンズによって撮像素子41に結像されるサブイメージが互いに接する大きさになる場合のF値をいう。
図10は、メインレンズ21の絞り機構を調整した場合にマイクロレンズによって撮像素子41に結像されるサブイメージを示す図である。図10(a)に示されるように、メインレンズ21の絞り機構により絞りSを開いた場合、すなわち、F値を小さくした場合、撮像素子41に結像されるサブイメージISUBは、それぞれ重なってしまう。また、図10(c)に示されるように、メインレンズ21の絞り機構により絞りSを絞った場合、すなわち、F値を大きくした場合、撮像素子41に結像されるサブイメージISUBは、それぞれ重ならないものの、サブイメージISUBの面積が小さくなる。これに対して、図10(b)に示されるように、メインレンズ21の絞り機構により絞りSを最適に絞った場合、すなわち、F値が最適F値である場合には、撮像素子41に結像されるサブイメージISUBが互いに接する大きさになる。
以下に、最適F値を算出する処理について詳細に説明する。
図11は、最適F値の算出を説明するための図である。
なお、図11では、各要素と、マイクロレンズアレイ31との距離は、上述した各要素とマイクロレンズ31sとの距離と同義のものとして説明を進める。
まず、撮像制御部46は、マイクロレンズアレイ31と撮像素子41との距離LμL−ISを、フランジバックLFBと、マイクロレンズ内部距離LμLiとを用いて、(11)式に従って算出する。この値は、(5)式の算出において撮像記憶部45に記憶された値を用いてもよい。
μL−IS=LFB−LμLi・・・(11)
続いて、撮像制御部46は、メインレンズ21とマイクロレンズアレイ31との距離LML−μLを、LML−fと、LML−alと、LμLoと、(11)式で算出されたLμL−ISとを用いて、以下の式(12)で算出する。
ML−μL=LML−f+LML−al+LμLo−LμL−IS・・・(12)
なお、メインレンズ21とマウント間の距離LML−mを、メインレンズユニット2のパラメータとしてレンズ記憶部25に記憶させておき、撮像制御部46が、LML−mを用いてメインレンズ21と、マイクロレンズアレイ31との距離LML−μLを以下の(12)’式で算出するようにしてもよい。
ML−μL=LML−m+LμLo+LμLi・・・(12)’
続いて、撮像制御部46は、メインレンズ21の有効径LML−rを、マイクロレンズピッチLμLpと、(11)式で算出されたLμL−ISと、(12)式で算出されたLML−μLと、を用いて、以下の式(13)で算出する。
ML−r=LμLp×LML−μL/LμL−IS・・・(13)
続いて、撮像制御部46は、メインレンズ21の最適F値FMLを、LML−fと、(13)式で算出されたLML−rとを用いて、以下の式(14)で算出する。
ML=LML−f/LML−r・・・(14)
続いて、撮像制御部46は、(14)式で算出された最適F値を、入出力インターフェース10を介してレンズ制御部26に送信する。レンズ制御部26は、受信した最適F値に基づいて、駆動部27に、絞り機構を駆動させる。
以上のように、メインレンズ21の主平面及びF値を調整することによって、ブラーサイズ及びサブイメージサイズを調整する例について説明したが、撮像装置1は、他の方法によってブラーサイズ及びサブイメージサイズを調整するようにしてもよい。
例えば、図12に示すように、マイクロレンズアレイユニット3に、マイクロレンズアレイ31を前後にスライドさせるための駆動部37を設けて、撮像制御部46が、入出力インターフェース10及びアレイ制御部36を介して駆動部37に制御信号を送信することで、マイクロレンズアレイ31をスライドさせて、ブラーサイズ及びサブイメージサイズを調整するようにしてもよい。
図13は、マイクロレンズアレイ31の位置を調整することによってブラーサイズ及びサブイメージサイズを調整した例を示す図である。すなわち、図13(a)は、マイクロレンズアレイ31の位置を調整する前の状態を示す図であり、図13(b)は、マイクロレンズアレイ31の位置を調整した後の状態を示す図である。この例では、マイクロレンズアレイ31の位置を、調整前の状態から、撮像素子41の方向に移動させる調整を行うことによって、マイクロレンズアレイ31の各マイクロレンズによって集光された光が、撮像素子41の表面において結像していることを確認することができる。
また、撮像制御部46は、キャリブレーションユニット5が、メインレンズユニット2に装着された場合に、キャリブレーションを行う。
図14は、撮像装置1におけるキャリブレーションを説明する図である。
図14に示されるキャリブレーションユニット5は、特定長の筒状の部材であり、先端に、キャリブレーション用の画像シート51とバックライト(図示せず)が設けられている。この画像シート51の中心部には、点が表示されている。このキャリブレーションユニット5がメインレンズユニット2の先端に装着された状態において、撮像制御部46は、画像シート51のライトフィールド画像と、計算上の画像とを比較し、そのズレ量を計測し、キャリブレーションを行う。
すなわち、撮像制御部46は、画像シート51の点の位置に点があるものと仮定して、計算を行い、ライトフィールド画像を生成する。続いて、撮像制御部46は、実際のライトフィールド画像を構成する各サブイメージと、計算により生成されたライトフィールド画像を構成する各サブイメージとについて、点のズレ量Δを計測する。続いて、撮像制御部46は、計測されたズレ量Δから、メインレンズ21の主平面位置の誤差を計算し、その誤差の補正値を撮像ユニット4の撮像記憶部45に記憶させる。撮像制御部46は、このキャリブレーションの行われたメインレンズ21を使用して撮影されたライトフィールド画像について再構成をする場合、撮像記憶部45に記憶された補正値に基づいて補正を行う。
例えば、上記(5)式から、(15)式に従って算出されたメインレンズ21とマイクロレンズアレイ31との距離等には、計算誤差や、使用するメインレンズ21特有の光学式が用いられている可能性がある。このため、計算上のメインレンズ21の主平面の位置と、実際のメインレンズ21の主平面の位置に誤差が生じる可能性がある。これに対して、撮像装置1は、撮像制御部46によりキャリブレーションを行うことによって、ライトフィールド画像に補正を行うことで、ライトフィールド画像をより高精細にすることができる。
続いて、撮像制御部46による再構成処理の流れについて説明する。図15は、再構成処理の流れを示すフローチャートである。
ステップS11において、撮像制御部46は、ライトフィールド画像のデータを取得する。
ステップS12において、撮像制御部46は、操作部44により、メインレンズ21と再構成面との距離を指定する操作を受け付けたことに応じて、メインレンズ21から指定された距離前方の位置にある面を再構成面として設定する。
ステップS13において、撮像制御部46は、再構成面を構成する一の画素を、注目点Pに設定する。なお、撮像制御部46は、再構成面を構成する一の画素を、注目点Pに設定する場合、未だ注目点Pに設定されていない画素を注目点Pに設定するものとする。
ステップS14において、撮像制御部46は、一のマイクロレンズから光が分配される撮像素子41上の画素の位置を算出する。すなわち、撮像制御部46は、マイクロレンズアレイ31を構成するマイクロレンズから一のマイクロレンズを選択し、ステップS13において設定された注目点Pから選択されたマイクロレンズに入射した光が、撮像素子41に分配される位置を算出する。そして、撮像制御部46は、算出された位置に存在する画素を、分配される画素として決定する。なお、撮像制御部46は、一のマイクロレンズを選択する場合、未だ選択されていないマイクロレンズを選択するものとする。
ステップS15において、撮像制御部46は、分配される画素を全て特定したか否か、すなわち、全てのマイクロレンズについて、分配される画素の位置を算出する処理が行われたか否かを判定する。撮像制御部46は、この判定がYESの場合、ステップS16に処理を移し、この判定がNOの場合、ステップS14に処理を移す。
ステップS16において、撮像制御部46は、注目点Pからの光が分配される画素の画素値について、加算平均を算出する。
ステップS17において、撮像制御部46は、再構成面を構成する画素の全てが注目点に設定されたか否かを判定する。撮像制御部46は、この判定がYESの場合、ステップS18に処理を移し、この判定がNOの場合、ステップS13に処理を移す。
ステップS18において、撮像制御部46は、再構成画像を表示出力する。
以上、本実施形態の撮像装置1の構成及び処理について説明した。
本実施形態においては、撮像装置1は、撮像素子41と、被写体からの光を撮像素子41の方向に集光するメインレンズ21と、撮像素子41とメインレンズ21との間に配置され、メインレンズ21を透過した光を撮像素子41に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイ31と、を備え、マイクロレンズアレイ31は、焦点距離の異なる複数種類のマイクロレンズ31A、31B及び31Cから構成され、複数種類のうちの少なくとも1種類のマイクロレンズ31Aは、他の種類のマイクロレンズ31B及び31Cとは異なる分布形態を有する。
したがって、撮像装置1では、複数種類のマイクロレンズにより、近距離から遠距離まで、マイクロレンズブラーを抑制し、より広い距離の範囲にわたって高精細な再構成画像を得ることができる。
また、本実施形態においては、マイクロレンズアレイ31において、複数種類のマイクロレンズ31A、31B及び31Cが不均等に配置される。このようにすることで、例えば、マイクロレンズアレイ31の中心に、近距離に対応したマイクロレンズを多く配置し、周縁部に、遠距離に対応したマイクロレンズを多く配置することで、中央部の被写体を際立たせるように撮影することができる。
また、本実施形態においては、撮像装置1は、メインレンズ21を備えるメインレンズユニット2と、マイクロレンズアレイ31を備えるマイクロレンズアレイユニット3と、撮像素子41を備える撮像ユニット4と、が分離可能に構成されている。
このように、撮像装置1を構成する部品のそれぞれをユニット化し、互いに分離可能にすることで、よりユーザの目的に即したライトフィールドカメラを提供することができる。すなわち、マイクロレンズアレイユニット3を分離可能にすることで、ユーザは、当該ユーザが意図した画像の解像度や奥行きの分解能に合わせて、マイクロレンズの焦点距離やレンズピッチを選択することができる。また、撮像装置1のユーザは、個々のマイクロレンズごとに通過させる光量を変えたマイクロレンズアレイユニット3を選択することで、ハイダイナミックレンジ(HDR)画像を容易に撮影することができる。
このように、撮像装置1を構成する部品のそれぞれをユニット化することで、メインレンズユニット2をライトフィールドカメラ専用のものとせず、従来から一眼レフカメラ等で使用されているレンズユニットを使用可能とすることで、ユーザは撮像装置1を導入しやすくなる。さらに、撮像ユニット4を撮像装置1と従来のカメラとの併用とすることで、ユーザは撮像装置1をより導入しやすくなる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態では、3種類のマイクロレンズ31A、31B及び31Cによりマイクロレンズアレイ31を構成することとしたが、特にこれに限定されない。例えば、マイクロレンズアレイ31を構成するマイクロレンズの種類を2種類又は4種類以上とするようにしてもよい。
例えば、上述の実施形態では、再構成画像のデータを生成する際に用いられるライトフィールド画像のデータは、撮像装置1自身により撮像されたものが採用されたが、特にこれに限定されない。
すなわち、撮像装置1は、別の撮像装置又は従来の別のプレノプティックカメラにより撮像されたライトフィールド画像のデータを用いて、再構成画像のデータを生成するようにしてもよい。
換言すると、本発明は、撮像機能を有する撮像装置1のみならず、撮像機能を有しなくとも、一般的な画像処理機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図6及び図12の構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図6及び図12の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図6及び図12の撮像装置に設けられるリムーバブルメディア(図示せず)により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。このリムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図6及び図12の撮像記憶部45に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
撮像素子と、
被写体からの光を前記撮像素子の方向に集光するメインレンズと、
前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイと、を備え、
前記マイクロレンズアレイは、焦点距離の異なる複数種類のマイクロレンズから構成され、
前記複数種類のうちの少なくとも1種類の前記マイクロレンズは、他の種類の前記マイクロレンズとは異なる分布形態を有することを特徴とする、
撮像装置。
[付記2]
前記マイクロレンズアレイにおいて、前記複数種類のマイクロレンズが不均等に配置されることを特徴とする、
付記1に記載の撮像装置。
[付記3]
前記メインレンズを備えるメインレンズユニットと、
前記マイクロレンズアレイを備えるマイクロレンズアレイユニットと、
前記撮像素子を備える撮像ユニットと、
が分離可能に構成されていることを特徴とする、
付記1又は2に記載の撮像装置。
1・・・撮像装置、2・・・メインレンズユニット、3・・・マイクロレンズアレイユニット、4・・・撮像ユニット、5・・・キャリブレーションユニット、10・・・入出力インターフェース、21・・・メインレンズ、25・・・レンズ記憶部、26・・・レンズ制御部、27・・・駆動部、31・・・マイクロレンズアレイ、31A,31B,31C・・・マイクロレンズ、32・・・レンズ鏡筒、33・・・電気接点、35・・・アレイ記憶部、36・・・アレイ制御部、41・・・撮像素子、44・・・操作部、45・・・撮像記憶部、46・・・撮像制御部、47・・・表示部

Claims (3)

  1. 撮像素子と、
    被写体からの光を前記撮像素子の方向に集光するメインレンズと、
    前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイと、を備え、
    前記マイクロレンズアレイは、焦点距離の異なる複数種類のマイクロレンズから構成され、
    前記複数種類のうちの少なくとも1種類の前記マイクロレンズは、他の種類の前記マイクロレンズとは異なる分布形態を有することを特徴とする、
    撮像装置。
  2. 前記マイクロレンズアレイにおいて、前記複数種類のマイクロレンズが不均等に配置されることを特徴とする、
    請求項1に記載の撮像装置。
  3. 前記メインレンズを備えるメインレンズユニットと、
    前記マイクロレンズアレイを備えるマイクロレンズアレイユニットと、
    前記撮像素子を備える撮像ユニットと、
    が分離可能に構成されていることを特徴とする、
    請求項1又は2に記載の撮像装置。
JP2012064534A 2012-03-21 2012-03-21 撮像装置 Pending JP2013198016A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012064534A JP2013198016A (ja) 2012-03-21 2012-03-21 撮像装置
US13/797,709 US20130250159A1 (en) 2012-03-21 2013-03-12 Image capturing apparatus
CN2013100896310A CN103327223A (zh) 2012-03-21 2013-03-20 摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012064534A JP2013198016A (ja) 2012-03-21 2012-03-21 撮像装置

Publications (2)

Publication Number Publication Date
JP2013198016A true JP2013198016A (ja) 2013-09-30
JP2013198016A5 JP2013198016A5 (ja) 2013-11-07

Family

ID=49195733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012064534A Pending JP2013198016A (ja) 2012-03-21 2012-03-21 撮像装置

Country Status (3)

Country Link
US (1) US20130250159A1 (ja)
JP (1) JP2013198016A (ja)
CN (1) CN103327223A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015181213A (ja) * 2014-03-05 2015-10-15 ソニー株式会社 撮像装置
JP2015198391A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP2016177195A (ja) * 2015-03-20 2016-10-06 株式会社リコー マイクロレンズ基板及び撮像装置
JP2017207720A (ja) * 2016-05-20 2017-11-24 株式会社リコー 撮像光学系及び撮像装置
JP2021500622A (ja) * 2017-11-03 2021-01-07 ソニー株式会社 交換レンズカメラのための光フィールドアダプタ

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580877B (zh) * 2013-10-29 2018-03-06 华为技术有限公司 图像获取的装置及方法
CN105472233B (zh) 2014-09-09 2019-01-18 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN105635530B (zh) * 2014-11-03 2019-04-30 北京蚁视科技有限公司 光场成像系统
CN104506762B (zh) * 2014-12-25 2018-09-04 北京智谷睿拓技术服务有限公司 光场采集控制方法和装置、光场采集设备
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
JPWO2018062368A1 (ja) * 2016-09-30 2019-08-15 株式会社ニコン 撮像装置および撮像システム
CN106713707B (zh) * 2016-11-18 2019-08-09 成都微晶景泰科技有限公司 透镜阵列成像方法及装置
US10573678B2 (en) * 2018-05-09 2020-02-25 Semiconductor Components Industries, Llc Microlenses for high dynamic range imaging pixels
US11398110B2 (en) 2018-09-17 2022-07-26 Fingerprint Cards Anacatum Ip Ab Biometric imaging device
KR102847322B1 (ko) * 2020-04-07 2025-08-19 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167395A (ja) * 2006-12-04 2008-07-17 Sony Corp 撮像装置及び撮像方法
JP2008312080A (ja) * 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
WO2010121637A1 (en) * 2009-04-22 2010-10-28 Raytrix Gmbh Digital imaging system, plenoptic optical device and image data processing method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100556076C (zh) * 2004-10-01 2009-10-28 利兰·斯坦福青年大学托管委员会 成像装置及其方法
US7880794B2 (en) * 2005-03-24 2011-02-01 Panasonic Corporation Imaging device including a plurality of lens elements and a imaging sensor
US8248515B2 (en) * 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
JP4264569B2 (ja) * 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
JP4941332B2 (ja) * 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US8593564B2 (en) * 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167395A (ja) * 2006-12-04 2008-07-17 Sony Corp 撮像装置及び撮像方法
JP2008312080A (ja) * 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
WO2010121637A1 (en) * 2009-04-22 2010-10-28 Raytrix Gmbh Digital imaging system, plenoptic optical device and image data processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015181213A (ja) * 2014-03-05 2015-10-15 ソニー株式会社 撮像装置
JP2015198391A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US10148861B2 (en) 2014-04-02 2018-12-04 Canon Kabushiki Kaisha Image pickup apparatus generating focus changeable image, control method for image pickup apparatus, and storage medium
JP2016177195A (ja) * 2015-03-20 2016-10-06 株式会社リコー マイクロレンズ基板及び撮像装置
JP2017207720A (ja) * 2016-05-20 2017-11-24 株式会社リコー 撮像光学系及び撮像装置
JP2021500622A (ja) * 2017-11-03 2021-01-07 ソニー株式会社 交換レンズカメラのための光フィールドアダプタ

Also Published As

Publication number Publication date
CN103327223A (zh) 2013-09-25
US20130250159A1 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
JP2013198016A (ja) 撮像装置
JP7001080B2 (ja) 撮像装置
JP5459337B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2016114946A (ja) カメラモジュール
CN103686134B (zh) 图像拾取装置、系统和控制方法以及图像处理装置
US8902349B2 (en) Image pickup apparatus
CN103843318B (zh) 摄像设备及其控制方法
CN105578033A (zh) 图像捕获装置及图像捕获装置的控制方法
JP6351231B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN103581578A (zh) 图像拾取装置和图像拾取方法
JP2012129627A (ja) 撮像装置および撮像装置の制御方法
CN104508531A (zh) 拍摄元件和拍摄装置
WO2014041845A1 (ja) 撮像装置及び信号処理方法
CN102934024B (zh) 摄像装置及摄像方法
JP2017032787A (ja) 撮像装置およびその制御方法
JP5866760B2 (ja) 撮像装置
JP2014235417A (ja) 撮像装置およびその制御方法
JP2011176457A (ja) 電子カメラ
JP5649702B2 (ja) 撮像装置
CN106464783B (zh) 图像拾取控制设备、图像拾取设备和图像拾取控制方法
US11122196B2 (en) Image processing apparatus
JP6031835B2 (ja) 撮像装置
JP5860251B2 (ja) 撮像装置及びその制御方法、プログラム
JP5973784B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5683135B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140422