JP2013218152A - Imaging device and control method of the same - Google Patents
Imaging device and control method of the same Download PDFInfo
- Publication number
- JP2013218152A JP2013218152A JP2012089309A JP2012089309A JP2013218152A JP 2013218152 A JP2013218152 A JP 2013218152A JP 2012089309 A JP2012089309 A JP 2012089309A JP 2012089309 A JP2012089309 A JP 2012089309A JP 2013218152 A JP2013218152 A JP 2013218152A
- Authority
- JP
- Japan
- Prior art keywords
- phase difference
- image signal
- detection
- display
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
【課題】撮像素子の読み出し領域から読み出した画像信号に基づいて表示用画像データの生成と位相差の検出を行う撮像装置であって、検出した位相差に基づく焦点検出の精度の低下を防止する撮像装置を提供する。
【解決手段】撮像装置が、マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子を備える。撮像装置が、画像信号の読み出し領域を設定し、画像信号に基づき生成される表示用画像データの表示/更新処理を制御する。撮像装置が、読み出し領域から読み出された左画像信号と右画像信号との位相差を検出して信頼度を出力し、信頼度に基づき位相差の検出の成否を判断する。撮像装置が、位相差の検出が失敗した場合に、出力される信頼度が高まるように読み出し領域を更新する。
【選択図】図1
An image pickup apparatus that generates display image data and detects a phase difference based on an image signal read from a read area of an image sensor, and prevents a decrease in focus detection accuracy based on the detected phase difference. An imaging device is provided.
An imaging device includes an imaging device including a pixel unit having a plurality of photoelectric conversion units that photoelectrically convert a light beam that has passed through different regions of an exit pupil of an imaging optical system with respect to a microlens to generate an image signal. Prepare. The imaging apparatus sets an image signal readout region and controls display / update processing of display image data generated based on the image signal. The imaging apparatus detects the phase difference between the left image signal and the right image signal read from the reading area, outputs the reliability, and determines whether the phase difference is detected based on the reliability. When the imaging device fails to detect the phase difference, the imaging device updates the readout region so that the output reliability is increased.
[Selection] Figure 1
Description
本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
撮像素子において、1つの画素の中にある、1つのマイクロレンズで集光されるフォトダイオード(PD)を分割することによって、位相差方式の焦点検出を行う技術が提案されている。特許文献1は、1つの画素の中のフォトダイオードを2つに分割し、分割された各々のフォトダイオードが、撮像レンズの異なる瞳面の光を受光するように構成されている撮像装置を開示する。この撮像装置は、2つのフォトダイオードの出力を比較することにより、撮像レンズでの焦点検出をする。
In the imaging device, a technique for performing phase difference type focus detection by dividing a photodiode (PD) focused by one microlens in one pixel has been proposed.
また、特定領域の読み出しが可能な撮像素子を持ち、撮像素子の全領域より小さな領域を読みだすことで、ズームレンズを用いることなく望遠側へズームさせる機能を持つ撮像装置が提案されている。特許文献2は、電子ズームと光学ズームとを組み合わせて制御することにより一方のみで行うよりも広いズーム範囲を実現する撮像装置を開示する。
In addition, an imaging apparatus has been proposed that has an image sensor that can read a specific area and has a function of zooming to a telephoto side without using a zoom lens by reading an area smaller than the entire area of the image sensor.
特許文献1の技術を特許文献2の技術に適用し、撮像素子の特定領域を読み出して表示用画像データの生成を行いながら、1つの画素の中に含まれる複数のPDを利用して位相差の焦点検出を行う撮像装置(以下、撮像装置Aと記述)が考えられる。しかし、撮像装置Aでは、以下のような問題がある。
Applying the technology of
図9は、撮像装置Aの動作処理を説明する図である。撮像装置が持つ1つの画素の中に含まれるPDを左右2つとした場合、各PDから左画像と右画像という2つの画像が得られる。図9(B)は、左画像ラインデータと右画像ラインデータを示す図である。 FIG. 9 is a diagram for explaining operation processing of the imaging apparatus A. When the left and right PDs included in one pixel of the imaging apparatus are two, two images, a left image and a right image, are obtained from each PD. FIG. 9B is a diagram showing left image line data and right image line data.
ここで、撮像装置Aが、図9(A)に示すとおり、撮像素子の全画角を読み出す場合、撮像素子上の座標(X1,Y)から(X4, Y)までのラインデータを利用して、位相差の算出をすることができる。しかし、撮像装置Aが、図9(C)に示すように、撮像素子の特定領域を読み出す場合、位相差の算出に利用できる領域は(X2,Y)から(X3, Y)の範囲に限定されるので、焦点検出精度が低下する。 Here, when the imaging apparatus A reads out the entire angle of view of the imaging device as shown in FIG. 9A, line data from coordinates (X1, Y) to (X4, Y) on the imaging device is used. Thus, the phase difference can be calculated. However, when the imaging apparatus A reads a specific area of the imaging element as shown in FIG. 9C, the area that can be used for calculating the phase difference is limited to the range from (X2, Y) to (X3, Y). As a result, the focus detection accuracy decreases.
本発明は、撮像素子の読み出し領域から読み出した画像信号に基づいて表示用画像データの生成と位相差の検出を行う撮像装置であって、検出した位相差に基づく焦点検出の精度の低下を防止する撮像装置の提供を目的とする。 The present invention is an image pickup apparatus that generates display image data and detects a phase difference based on an image signal read from a read area of an image pickup device, and prevents a decrease in focus detection accuracy based on the detected phase difference. An object of the present invention is to provide an imaging apparatus that performs the above-described process.
本発明の一実施形態の撮像装置は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子と、前記画素部から画像信号を読み出す領域である読み出し領域を設定する設定手段と、前記設定された読み出し領域から読み出された画像信号に基づいて、表示用画像データを生成する生成手段と、前記表示用画像データの画像表示手段への表示処理と表示された表示用画像データの更新処理を制御する表示制御手段と、前記読み出し領域から読み出された画像信号に含まれる左画像信号と右画像信号との位相差を検出し、検出した位相差と該位相差の信頼度を出力する検出手段と、前記位相差の信頼度が閾値を超える場合に、前記位相差の検出が成功したと判断し、前記位相差の信頼度が閾値以下の場合に、前記位相差の検出が失敗したと判断する判断手段と、前記位相差の検出が成功したと判断された場合に、該検出された位相差に基づいて焦点調節処理を実行する調節手段とを備える。前記設定手段は、前記位相差の検出が失敗したと判断された場合に、前記出力される位相差の信頼度が高くなるように前記読み出し領域を更新する。 An imaging apparatus according to an embodiment of the present invention includes a plurality of photoelectric conversion units that generate an image signal by photoelectrically converting a light beam that has passed through different regions of an exit pupil of an imaging optical system with respect to one microlens. An image sensor including a pixel unit, a setting unit that sets a reading region that reads an image signal from the pixel unit, and display image data based on the image signal read from the set reading region. Generating means for generating display data, display control means for controlling display processing of the display image data on the image display means and update processing of the displayed display image data, and an image signal read from the read area A detection means for detecting a phase difference between the left image signal and the right image signal included, and outputting the detected phase difference and the reliability of the phase difference; and when the reliability of the phase difference exceeds a threshold value It is determined that the detection of the phase difference is successful, and when the reliability of the phase difference is less than or equal to a threshold value, a determination unit that determines that the detection of the phase difference has failed, and a determination that the detection of the phase difference is successful And adjusting means for executing a focus adjustment process based on the detected phase difference. When it is determined that the detection of the phase difference has failed, the setting unit updates the read area so that the reliability of the output phase difference is increased.
本発明の撮像装置によれば、撮像素子の読み出し領域から読み出した画像信号に基づいて表示用画像データの生成と位相差の検出を行い、かつ、検出した位相差に基づく焦点検出の精度の低下を防止することができる。 According to the image pickup apparatus of the present invention, display image data is generated and a phase difference is detected based on an image signal read from the read area of the image pickup device, and the accuracy of focus detection based on the detected phase difference is reduced. Can be prevented.
図1は、本実施形態の撮像装置の構成例を示す図である。撮像装置100が備える構成要素のうち、電源100は、撮像装置100内の各回路に電源供給を行う。カードスロット172は、メモリカード(着脱可能な記録媒体)173が差し込み可能に構成されている。メモリカード173をカードスロット172に差し込んだ状態で、メモリカード173は、カード入出力部171と電気的に接続する。本実施形態では、記録媒体としてメモリカード173を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを使用してもよい。
FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus according to the present embodiment. Among the components included in the
撮像レンズ101は、被写体の光学像を撮像素子103に結像させる。レンズ駆動部141は、撮像レンズ101を駆動して、ズーム制御、フォーカス制御、絞り制御などを実行する。メカニカルシャッタ102は、シャッタ制御部142によって駆動され、露光制御を実行する。
The
撮像素子103は、CMOS撮像素子等で構成される光電変換手段である。撮像素子103は、撮像レンズ101、シャッタ102を有する撮像光学系で形成された被写体像を光電変換し、画像信号を出力する。
The
図2は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。図2(A)は、撮像素子の全体構成を示す。撮像素子103は、画素アレイ201と、画素アレイ201における行を選択する垂直選択回路302と、画素アレイ201における列を選択する水平選択回路204を含む。読み出し回路203は、画素アレイ201中の画素部のうち垂直選択回路202によって選択される画素部の信号を読み出す。読み出し回路203は、信号を蓄積するメモリ、ゲインアンプ、A(Analog)/D(Digital)変換器などを列毎に有する。
FIG. 2 is a diagram schematically illustrating a configuration example of an imaging element applied by the imaging apparatus of the present embodiment. FIG. 2A shows the overall configuration of the image sensor. The
シリアルインターフェース(SI)部205は、各回路の動作モードなどを、CPU131からの指示に従って決定する。垂直選択回路202は、画素アレイ201の複数の行を順次選択し、読み出し回路203に画素信号を取り出す。また水平選択回路204は、読み出し回路303によって読み出された複数の画素信号を列毎に順次選択する。垂直選択回路202と水平選択回路204の動作を適宜変更することにより、特定領域の読み出しを実現できる。なお、撮像素子103は、図2に示す構成要素以外に、例えば、垂直選択回路202、水平選択回路204、読み出し回路203等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明については省略する。
A serial interface (SI)
図2(B)は、撮像素子103の画素部の構成例を示す。図2(B)に示す画素部300は、光学素子としてのマイクロレンズ301と、受光素子としての複数のフォトダイオード(以下、PDと略記する)302a乃至302dとを有する。PDは、光束を受光し、当該光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図2(B)に示す例では、1つの画素部が備えるPDの数は4個であるが、PDの数は、2個以上の任意の数であればよい。なお、画素部は、図示された構成要素以外にも、例えば、PDの信号を読み出し回路203に読み出すための画素増幅アンプ、行を選択する選択スイッチ、PDの信号をリセットするリセットスイッチなどを備える。
FIG. 2B illustrates a configuration example of a pixel portion of the
PD302aおよびPD302cは、受光した光束を光電変換して左画像信号を出力する。PD302bおよびPD302dは、受光した光束を光電変換して右画像信号を出力する。すなわち、1つの画素部が備える複数のPDのうち、右側のPDが出力する画像信号が右画像信号であり、左側のPDが出力する画像信号が左画像信号である。
本実施形態の撮像装置が、ユーザに立体画像を鑑賞させる構成をとる場合、左画像信号に対応する画像データは、ユーザが左目で鑑賞する左目用画像データとして機能する。また、右画像信号に対応する画像データは、ユーザが右目で鑑賞する右目用画像データとして機能する。撮像装置100が、左目用画像データをユーザに左目で鑑賞させ、右目用画像データをユーザに左目で鑑賞させるようにすれば、ユーザに立体画像を鑑賞させることができる。撮像装置が、複数のPDの出力を選択して加算するようにしてもよい。例えば、撮像装置が、PD302aとPD302c、PD302bとPD302dのPD出力を各々加算し、2つの出力としてもよい。なお、画素部300は、図示の構成要素以外にも、例えば、PD信号を読み出し回路303に取り出す画素増幅アンプや、行選択スイッチ、PD信号のリセットスイッチなどを備える。
When the imaging apparatus according to the present embodiment is configured to allow the user to view a stereoscopic image, the image data corresponding to the left image signal functions as left-eye image data that the user views with the left eye. The image data corresponding to the right image signal functions as right-eye image data that the user views with the right eye. If the
図3は、画素アレイの例を示す図である。画素アレイ301は、2次元画像を提供するため、図3に示すように、水平方向にN個、垂直方向にM個の画素部を複数2次元アレイ状に配列して構成される。画素アレイ301の各画素部300は、カラーフィルタを有している。この例では、奇数行が、赤(R)と緑(G)のカラーフィルタの繰り返し、偶数行が、緑(G)と青(B)のカラーフィルタの繰り返しである。すなわち、画素アレイ301が備える画素部は、予め決められた画素配列(この例ではベイヤー配列)に従って配置されている。
FIG. 3 is a diagram illustrating an example of a pixel array. In order to provide a two-dimensional image, the
次に、図3に示す画素構成を有する撮像素子の受光について説明する。図4は、撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。符号501は、3つの画素アレイの断面を示す。各々の画素アレイは、マイクロレンズ502、カラーフィルタ503、PD504、505を有する。PD504は、図2(B)中のPD302aに相当する。また、PD505は、図2(B)中のPD302bに相当する。
Next, light reception of the image sensor having the pixel configuration shown in FIG. 3 will be described. FIG. 4 is a conceptual diagram illustrating a state in which a light beam emitted from the exit pupil of the photographing lens enters the image sensor.
符号506は、撮影レンズの射出瞳である。この例では、マイクロレンズ502を有する画素部に対して、射出瞳506から出た光束の中心を光軸509とする。射出瞳506から出た光は、光軸509を中心として撮像素子103に入射される。符号507、508は、撮影レンズの射出瞳の一部領域を表す。一部領域507、508は、撮像光学系の射出瞳の分割された異なる領域である。
光線510、511は、一部領域507を通過する光の最外周の光線である。光線512、513は、一部領域508を通過する光の最外周の光線である。射出瞳から出る光束のうち、光軸509を境にして、上側の光束はPD505に入射され、下側の光束はPD504に入射される。つまり、PD504とPD505は、各々、撮影レンズの射出瞳に対する別の領域の光を受光するという特性を有する。
Light rays 510 and 511 are the outermost light rays of the light passing through the
この特性を生かして、撮像装置100は、視差のある少なくとも2つの画像を取得することができる。例えば、撮像装置100は、画素部内の領域において、複数の左側のPDから左画像信号を第1ラインとして取得し、複数の右側のPDから右画像信号を第2ラインとして取得する。そして、撮像装置100は、この2つの画像信号の位相差の検知を行なって位相差AFを実現する。
Taking advantage of this characteristic, the
上述した説明から、撮像素子103は、一つのマイクロレンズに対して、各々が、撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して画像信号を生成する複数のPDを有する画素部を、水平方向および垂直方向に並べて配置した撮像素子である。
From the above description, the
図1に戻って、映像信号処理部121は、撮像素子103が出力した画像信号に基づいて、表示用画像データを生成する。
Returning to FIG. 1, the video
図5は、映像信号処理部の構成例を示す図である。映像信号処理部121は、位相差検出部601、画像加算部602、トリミング処理部603、現像処理部604を備える。位相差検出部601は、撮像素子103が有する画素部の読み出し領域から出力される左画像信号と右画像信号との間の位相差を検出し、検出結果をメモリ132に出力する。読み出し領域は、画素部から画像信号を読み出す領域である。
FIG. 5 is a diagram illustrating a configuration example of the video signal processing unit. The video
また、位相差検出部601は、算出した位相差の信頼性を出力する。位相差検出部601が、検出結果を、メモリ132でなく、位相差検出部601の内部メモリに出力するようにしてもよい。すなわち、位相差検出部601は、読み出し領域から読み出された画像信号に含まれる左画像信号と右画像信号との位相差を検出し、検出した位相差と該位相差の信頼度を出力する検出手段として機能する。具体的には、位相差検出部601は、設定された読み出し領域の水平方向1ライン分の画像信号に含まれる左画像信号と右画像信号との位相差を検出する。また、信頼度は、左画像信号と右画像信号との類似度に対応する。信頼度は、左画像信号と右画像信号との類似度が高いほど高い。
The phase
画像加算部602は、右画像信号と左画像信号との加算合成を行い、1つの画像データとして出力する。トリミング処理部603は、画像加算部602が出力した画像データの一部を切り取る処理(トリミング処理)を実行する。現像処理部604は、トリミング処理部603が出力したトリミング処理結果(デジタル画像データ)に対して、ホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、画像圧縮等の処理を実行する。これにより、表示用画像データが生成される。
The
図1に戻って、メモリ132は、映像信号処理部121が出力する表示用画像データを記憶する。また、メモリ132は、CPU105が各種処理を行う際にデータを一時的に記憶する。タイミングジェネレータ143は、撮像素子103、映像信号処理回路141にタイミングを提供する。バス150には、レンズ駆動部141、シャッタ駆動部142、撮像素子103、タイミングジェネレータ143、映像信号処理部121、CPU131、電源110、メモリ132、表示制御装置151が接続される。また、バス150には、メインスイッチ161、第1レリーズスイッチ162、第2レリーズスイッチ163、ライブビュー開始/終了ボタン164、AF開始/終了ボタン165、上下左右選択ボタン166、決定ボタン167、カード入出力部171が接続される。
Returning to FIG. 1, the
CPU131は、撮像装置100全体を制御する。例えば、CPU131は、撮像素子103の画像信号読み出し処理、映像信号処理部121、メモリ132の動作タイミングを制御する。表示制御装置151は、液晶表示素子からなるTFT152、VIDEO出力端子153、HDMI端子の駆動および制御をする。また、表示制御装置151は、CPU131の指示にしたがって、メモリ132に記憶されている表示用画像データを、表示装置へ出力する。メモリ132内の表示用画像データ領域をVRAMと呼ぶ。表示制御装置151が、VRAMをTFT152に出力することを通じて、表示画像が更新される(表示更新処理が実行される)。すなわち、CPU131および表示制御装置151は、表示用画像データの画像表示手段への表示処理と表示された表示用画像データの更新処理を制御する表示制御手段として機能する。
The
ユーザが、メインスイッチ161をオンにすると、CPU131が、所定のプログラムを実行する。ユーザが、メインスイッチ161をオフにすると、CPU131が、所定のプログラムを実行し、カメラをスタンバイモードにする。
When the user turns on the
第1レリーズスイッチ162は、レリーズボタンの第1ストローク(半押し状態)でオンとなる。第2レリーズスイッチ163は、レリーズボタンの第2ストローク(全押し状態)でオンとなる。また、CPU131は、上下左右選択ボタン166、設定ボタン167の押下と撮像装置100の動作状態に応じて制御を行う。ユーザは、ライブビュー中に、上下左右選択ボタン166でオートフォーカスの対象とする被写体を指定することができる。ユーザが、上下左右選択ボタン166と設定ボタン167を用いて、グラフィカルユーザインタフェースでの選択と設定を行うことで、ライブビュー撮影を通常モードとズームモードのいずれかに切り替え設定することができる。ズームモードに設定された場合のライブビュー撮影を、ズームライブビュー撮影と記述する。
The
ズームライブビュー撮影時には、映像信号処理部121には、撮像素子103の所定の読み出し領域から読み出された画像信号が映像信号処理部121に入力される。また、CPU131が、映像信号処理部121が出力する画像データを所定のズーム倍率にしたがって拡大処理し、表示用画像データとする。
During zoom live view shooting, an image signal read from a predetermined reading area of the
ユーザがライブビュー開始/終了ボタン164を押すと、CPU131が、定期的(例えば1秒に30回)に撮像素子103から画像データを取り込み、VRAMへ配置する。これにより、リアルタイムに撮像素子103から取り込んだ画像を表示することができる。ライブビューが動作している状態で、ユーザがライブビュー開始/終了ボタン164を押すと、ライブビューが終了する。ユーザが、AF開始/終了ボタン165を押すと、撮像装置100がオートフォーカス動作を開始する。すなわち、AF開始/終了ボタン165は、自動焦点調節処理の実行開始を指示する指示手段として機能する。本実施形態の撮像装置の制御方法は、図1に示す撮像装置100が備える処理部の機能によって実現される。
When the user presses the live view start /
図6は、実施例1の撮像装置の動作処理の例を説明するフローチャートである。CPU131が、CPU131は、ライブビュー開始/終了ボタン164の押下を検知して、ズームライブビュー撮影を開始する(ステップS100)。
FIG. 6 is a flowchart illustrating an example of operation processing of the imaging apparatus according to the first embodiment. The
CPU131が、読み出し領域を設定する設定手段として機能する(ステップS101)。読み出し領域が設定されると、CPU131および映像信号処理部121が、読み出し領域から読み出された画像信号に基づいて、表示用画像データを生成する生成手段として機能する。
The
図7は、読み出し領域の設定を説明する図である。図7(A)中の太線で囲まれた領域R1が、ステップS101において設定される読み出し領域である。図7(A)に示す例では、CPU131は、読み出し領域を、R1に設定する。読み出し領域R1は、撮像素子上の水平方向にX2からX3まで、垂直方向にY4からY1までの区間に対応する領域である。図7(A)中では読み出し領域R1と表示領域Dとは一致しているが、読み出し領域と表示領域は必ずしも一致している必要はなく、表示領域が読み出し領域に含まれていればよい。また、図7(A)中、AF領域Qは、垂直方向にY3からY2までの区間を有する。Yは、ユーザによって設定されたAF領域Qの垂直方向の中心座標である。
FIG. 7 is a diagram for explaining the setting of the readout area. A region R1 surrounded by a thick line in FIG. 7A is a read region set in step S101. In the example shown in FIG. 7A, the
次に、CPU131が、AF開始/終了ボタン165がONになったかを判断する(ステップS102)。AF開始/終了ボタン165がONになっていない場合は、再度ステップS102に戻る。
Next, the
AF開始/終了ボタン165がONになったことは、自動焦点調節処理の実行開始が指示されたことを意味する。したがって、AF開始/終了ボタン165がONになった場合、位相差検出部601が、ステップS101で設定された読み出し領域から読み出された左画像信号と右画像信号との位相差を検出し、位相差とその信頼度を出力結果としてメモリ132に記憶する。そして、処理がステップS103に進む。
When the AF start /
ステップS103において、CPU131が、位相差検出部601の出力結果をメモリ132から読み出す(ステップS103)。位相差検出部601の出力結果は、図7(A)中の(X2,Y)から(X3,Y)の区間におけるラインデータから求められた位相差を含む。
In step S103, the
次に、CPU131が、位相差検出部601の出力結果に含まれる位相差の信頼性に基づいて、位相差の検出に成功したかを判断する(ステップS104)。位相差の信頼度が閾値を超える場合に、CPU131は、位相差の検出が成功したと判断する。また、位相差の信頼度が閾値以下の場合に、CPU131は、位相差の検出が失敗したと判断する。CPU131が、位相差の検出に成功したと判断した場合は、ステップS105に進む。そして、CPU131が、検出した位相差に基づいて、撮像レンズ101のフォーカス制御量を算出し、レンズ駆動部141を通じて、フォーカス制御を行う(ステップS105)。すなわち、CPU131が、検出された位相差に基づいて焦点調節処理を実行する調節手段として機能する。
Next, the
フォーカス制御が完了すると、処理がステップS106に進む。そして、CPU131が、表示制御装置151を通じて、TFT152に合焦完了したことを表示して(ステップS106)、ステップS115に進む。
When the focus control is completed, the process proceeds to step S106. Then, the
CPU131が、位相差の検出に失敗したと判断した場合は、ステップS107に進む。そして、表示制御装置151が、VRAMをTFT152に出力することをやめ、表示更新処理を停止する(ステップS107)。
If the
次に、CPU131が、読み出し領域の算出を行う(ステップS108)。この例では、位相差検出に成功しやすくするために、CPU131は、ステップS101で設定した読み出し領域より水平方向に広い領域になるように読み出し領域を決定する。すなわち、CPU131は、読み出し領域を水平方向に広くすることで、読み出し領域からの画像信号に基づいて位相差検出部601が出力する位相差の信頼度が高くなるようにする。これにより、位相差の検出に成功したと判断されやすくなる。
Next, the
一方、読み出し領域の水平方向を広げると、取り込むデータ量が増加するので、読み出し時間が増加し、位相差が検出できるまでの時間も増加してしまう。したがって、CPU131は、読み出し領域の垂直方向のデータ量を減らし、位相差が検出できるまでの時間を増加させないようにする。
On the other hand, if the horizontal direction of the read area is expanded, the amount of data to be captured increases, so the read time increases and the time until the phase difference can be detected also increases. Accordingly, the
図7(B)は、図7のステップS108において算出される読み出し領域を示す。CPU131は、例えば、読み出し領域R2を算出する。図7(B)に示すように、読み出し領域R2の水平方向の区間は、X1からX4までの区間である。また、読み出し領域R2の垂直方向の区間は、Y3からY2までの区間である。読み出し領域R2の垂直方向の区間は、座標Yを中心とするAF領域Qの垂直方向の区間を含む。図7(B)に示す例では、読み出し領域R2の垂直方向の区間は、AF領域Qの垂直方向の区間と一致する。
FIG. 7B shows the read area calculated in step S108 of FIG. For example, the
CPU131は、読み出し領域R2の垂直方向の区間のライン数(読み出し可能垂直ライン数YC )を、撮像素子103の性能に基づいて、以下のように算出してもよい。撮像素子103からX1からX4の区間を1ライン読み出す時間をTx[s]、読み出しのレートをFx[s]とすると、CPU131は、以下の式に基づいて読み出し可能垂直ライン数YC を算出する。
読み出し可能垂直ライン数YC =Fx/Tx
The
Number of readable vertical lines YC = Fx / Tx
例えば、X1からX4までの区間を1ライン読み出す時間Txが150[us]とする。また、読み出しレートFxについては、1秒間に30回の読み出しとすると、33.3[ms]となる。したがって、読み出し可能垂直ライン数YC として220[ライン] が算出される。すなわち、CPU131は、画素部からの画像信号の読み出し速度に基づいて、読み出し領域の垂直方向のサイズを決定する。
For example, the time Tx for reading one line from the section from X1 to X4 is 150 [us]. Further, the read rate Fx is 33.3 [ms] when reading is performed 30 times per second. Therefore, 220 [lines] is calculated as the number YC of readable vertical lines. That is, the
図7に戻って、CPU131が、ステップS108で算出した読み出し領域を設定する。これにより、読み出し領域がステップS108で算出した読み出し領域に更新される(ステップS109)。更新後の読み出し領域は、図7(B)に示す例では、読み出し領域R2である。図7(A)、(B)に示すように、読み出し領域R2の垂直方向の区間が、表示領域Dの垂直方向の区間に対して狭い。したがって、撮像装置100は、読み込んだ画像を表示することができないので、上述したステップS107において表示更新処理を停止し、ステップS109で取り込んだ画像をTFT152へ出力しないようにする。
Returning to FIG. 7, the
次に、CPU131が、位相差検出部601の出力結果をメモリ132から読み出す(ステップS110)。CPU131が、ステップS109において設定された読み出し領域を更新前の読み出し領域に戻す(ステップS111)。続いて、CPU131が、停止されていた表示更新処理を開始する(ステップS112)。これにより、表示制御装置151が、VRAMをTFT152に出力する。
Next, the
次に、CPU131が、ステップS109で取得した位相差検出部601の出力結果に基づいて、位相差の検出に成功したかを判断する(ステップS113)。CPU131が、位相差の検出に失敗したと場合は、ステップS113に進む。そして、CPU131が、表示制御装置151を通じて、TFT152に、合焦できないことを示す非合焦表示を行い(ステップS114)、ステップS114に進む。
Next, the
CPU131が、位相差の検出に成功したと場合は、ステップS105に進む。CPU131が、フォーカス制御を実行する(ステップS105)。続いて、CPU131が、表示制御装置151を通じて、TFT152に、合焦したことを示す合焦完了表示を行い(ステップS106)、ステップS115に進む。
If the
ステップS115において、CPU131が、AF開始/終了ボタン165がOFFになったかを判断する(ステップS115)。AF開始/終了ボタン165がOFFになっていない場合は、ステップS115に戻る。AF開始/終了ボタン165がOFFになった場合は、ステップS116に進む。そして、CPU131が、TFT152に表示されている表示(合焦完了表示または非合焦表示)を解除し(ステップS116)、ステップS102に戻る。
In step S115, the
実施例1の撮像装置は、位相差の検出に失敗した場合に、位相差の検出に成功しやすくなるように、画素部の読み出し領域を変更設定する。したがって、実施例1の撮像装置によれば、撮像素子の読み出し領域から読み出した画像信号に基づいて表示用画像データの生成と位相差の検出を行い、かつ、検出した位相差に基づく焦点検出の精度の低下を防止することができる。例えば、実施例1の撮像装置によれば、ズームライブビュー撮影時の位相差の検出精度を確保しながら自動焦点調節動作を実現することができる。 In the imaging apparatus according to the first embodiment, when the detection of the phase difference fails, the readout area of the pixel unit is changed and set so that the detection of the phase difference is easy to succeed. Therefore, according to the image pickup apparatus of the first embodiment, display image data is generated and a phase difference is detected based on an image signal read from the read area of the image pickup device, and focus detection based on the detected phase difference is performed. A reduction in accuracy can be prevented. For example, according to the image pickup apparatus of the first embodiment, it is possible to realize the automatic focus adjustment operation while ensuring the detection accuracy of the phase difference during zoom live view shooting.
図8は、実施例2の撮像装置の動作処理の例を説明するフローチャートである。実施例1の撮像装置は、CPU131が、AF開始/終了ボタン165がONになったことを契機として位相差検出処理を行うが、実施例2の撮像装置は、読み出し領域が設定されたことを契機として位相差検出処理を実行する。
FIG. 8 is a flowchart illustrating an example of operation processing of the imaging apparatus according to the second embodiment. In the imaging apparatus according to the first embodiment, the
図8中のステップS200、S201、S202、S203、S204は、図6中のステップS100、S101、S103、S104、S105と同様である。ステップS204におけるフォーカス制御の後、処理がステップS202に戻る。 Steps S200, S201, S202, S203, and S204 in FIG. 8 are the same as steps S100, S101, S103, S104, and S105 in FIG. After the focus control in step S204, the process returns to step S202.
また、ステップS205乃至S210は、図6中のステップS107乃至S113と同様である。ステップS210における判断処理の結果、位相差検出に失敗した場合は、ステップS202に戻る。位相差検出に成功した場合は、ステップS204に進む。 Steps S205 to S210 are the same as steps S107 to S113 in FIG. If the phase difference detection fails as a result of the determination process in step S210, the process returns to step S202. If the phase difference detection is successful, the process proceeds to step S204.
実施例2の撮像装置によれば、例えば、ズームライブビュー撮影時の位相差の検出精度を確保しながら、連続的な自動焦点調節動作を実現することができる。 According to the imaging apparatus of the second embodiment, for example, a continuous automatic focus adjustment operation can be realized while ensuring the detection accuracy of the phase difference during zoom live view shooting.
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.
100 撮像装置
103 撮像素子
131 CPU
DESCRIPTION OF
Claims (6)
前記画素部から画像信号を読み出す領域である読み出し領域を設定する設定手段と、
前記設定された読み出し領域から読み出された画像信号に基づいて、表示用画像データを生成する生成手段と、
前記表示用画像データの画像表示手段への表示処理と表示された表示用画像データの更新処理を制御する表示制御手段と、
前記読み出し領域から読み出された画像信号に含まれる左画像信号と右画像信号との位相差を検出し、検出した位相差と該位相差の信頼度を出力する検出手段と、
前記位相差の信頼度が閾値を超える場合に、前記位相差の検出が成功したと判断し、前記位相差の信頼度が閾値以下の場合に、前記位相差の検出が失敗したと判断する判断手段と、
前記位相差の検出が成功したと判断された場合に、該検出された位相差に基づいて焦点調節処理を実行する調節手段とを備え、
前記設定手段は、前記位相差の検出が失敗したと判断された場合に、前記出力される位相差の信頼度が高くなるように前記読み出し領域を更新する
ことを特徴とする撮像装置。 An imaging device including a pixel unit having a plurality of photoelectric conversion units that photoelectrically convert light beams that have passed through different regions divided by the exit pupil of the imaging optical system with respect to one microlens;
Setting means for setting a reading area which is an area for reading an image signal from the pixel unit;
Generating means for generating display image data based on the image signal read from the set read area;
Display control means for controlling display processing of the display image data on the image display means and update processing of the displayed display image data;
Detecting means for detecting a phase difference between the left image signal and the right image signal included in the image signal read from the readout region, and outputting the detected phase difference and the reliability of the phase difference;
Judgment that the detection of the phase difference is successful when the reliability of the phase difference exceeds a threshold value, and that the detection of the phase difference is unsuccessful when the reliability of the phase difference is equal to or less than the threshold value. Means,
Adjusting means for executing a focus adjustment process based on the detected phase difference when it is determined that the detection of the phase difference is successful;
The setting device updates the readout region so that the reliability of the output phase difference is increased when it is determined that the detection of the phase difference has failed.
前記検出手段は、前記設定された読み出し領域の水平方向1ライン分の画像信号に含まれる前記左画像信号と前記右画像信号との位相差を検出し、
前記設定手段は、前記位相差の検出が失敗したと判断された場合に、前記設定された読み出し領域を、該読み出し領域より前記水平方向に広く、前記垂直方向に狭い読み出し領域に更新する
ことを特徴とする請求項1に記載の撮像装置。 The pixel units included in the imaging device are arranged in a horizontal direction and a vertical direction,
The detection means detects a phase difference between the left image signal and the right image signal included in an image signal for one horizontal line of the set readout region,
The setting means updates the set readout area to a readout area that is wider in the horizontal direction than the readout area and narrow in the vertical direction when it is determined that the detection of the phase difference has failed. The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized.
ことを特徴とする請求項1または請求項2に記載の撮像装置。 3. The imaging according to claim 1, wherein the setting unit determines the vertical size of the readout region after the update based on a readout speed of an image signal from the pixel unit. apparatus.
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 The display control means stops the update processing of the display image data displayed on the image display means when it is determined that the detection of the phase difference has failed. The imaging device according to any one of the above.
前記検出手段は、前記指示手段によって前記自動焦点調節処理の実行開始が指示されたことを契機として、前記位相差の検出を開始する
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 An instruction means for instructing the start of execution of the automatic focus adjustment processing;
5. The detection unit according to claim 1, wherein the detection unit starts detection of the phase difference in response to an instruction to start execution of the automatic focus adjustment process by the instruction unit. The imaging device described.
前記画素部から画像信号を読み出す領域である読み出し領域を設定する設定工程と、
前記読み出し領域から読み出された画像信号に基づいて、表示用画像データを生成する生成工程と、
前記表示用画像データの画像表示手段への表示処理と表示された表示用画像データの更新処理を制御する表示制御工程と、
前記設定された読み出し領域から読み出された画像信号に含まれる左画像信号と右画像信号との位相差を検出し、検出した位相差と該位相差の信頼度を出力する検出工程と、
前記位相差の信頼度が閾値を超える場合に、前記位相差の検出が成功したと判断し、前記位相差の信頼度が閾値以下の場合に、前記位相差の検出が失敗したと判断する工程と、
前記位相差の検出が成功したと判断された場合に、該検出された位相差に基づいて焦点調節処理を実行する調節工程と、
前記位相差の検出が失敗したと判断された場合に、前記出力される位相差の信頼度が高くなるように前記設定工程で設定された前記読み出し領域を更新する更新工程とを有する
ことを特徴とする撮像装置の制御方法。 An imaging apparatus including an imaging device including a pixel unit having a plurality of photoelectric conversion units that photoelectrically convert light beams that have passed through different regions divided by an exit pupil of an imaging optical system with respect to one microlens. Control method,
A setting step of setting a reading area which is an area for reading an image signal from the pixel unit;
A generation step of generating display image data based on the image signal read from the read area;
A display control step for controlling display processing of the display image data on the image display means and update processing of the displayed display image data;
A detection step of detecting a phase difference between the left image signal and the right image signal included in the image signal read from the set readout region, and outputting the detected phase difference and the reliability of the phase difference;
Determining that the detection of the phase difference has succeeded when the reliability of the phase difference exceeds a threshold value, and determining that the detection of the phase difference has failed when the reliability of the phase difference is equal to or less than the threshold value; When,
An adjustment step of performing a focus adjustment process based on the detected phase difference when it is determined that the detection of the phase difference is successful;
An update step of updating the read area set in the setting step so that the reliability of the output phase difference is increased when it is determined that the detection of the phase difference has failed. A method for controlling the imaging apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012089309A JP2013218152A (en) | 2012-04-10 | 2012-04-10 | Imaging device and control method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012089309A JP2013218152A (en) | 2012-04-10 | 2012-04-10 | Imaging device and control method of the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013218152A true JP2013218152A (en) | 2013-10-24 |
| JP2013218152A5 JP2013218152A5 (en) | 2015-05-28 |
Family
ID=49590305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012089309A Pending JP2013218152A (en) | 2012-04-10 | 2012-04-10 | Imaging device and control method of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013218152A (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0618778A (en) * | 1992-06-30 | 1994-01-28 | Kyocera Corp | Automatic focus detection device |
| JPH08262315A (en) * | 1986-05-16 | 1996-10-11 | Minolta Co Ltd | Focus detector |
| JPH09211315A (en) * | 1996-01-30 | 1997-08-15 | Minolta Co Ltd | Focus detector |
| JP2008085738A (en) * | 2006-09-28 | 2008-04-10 | Nikon Corp | Imaging device |
| JP2010204263A (en) * | 2009-03-02 | 2010-09-16 | Canon Inc | Optical equipment and signal processor |
| JP2011048265A (en) * | 2009-08-28 | 2011-03-10 | Canon Inc | Focus detection device and focus detection method |
| JP2012010003A (en) * | 2010-06-23 | 2012-01-12 | Olympus Imaging Corp | Digital camera |
-
2012
- 2012-04-10 JP JP2012089309A patent/JP2013218152A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08262315A (en) * | 1986-05-16 | 1996-10-11 | Minolta Co Ltd | Focus detector |
| JPH0618778A (en) * | 1992-06-30 | 1994-01-28 | Kyocera Corp | Automatic focus detection device |
| JPH09211315A (en) * | 1996-01-30 | 1997-08-15 | Minolta Co Ltd | Focus detector |
| JP2008085738A (en) * | 2006-09-28 | 2008-04-10 | Nikon Corp | Imaging device |
| JP2010204263A (en) * | 2009-03-02 | 2010-09-16 | Canon Inc | Optical equipment and signal processor |
| JP2011048265A (en) * | 2009-08-28 | 2011-03-10 | Canon Inc | Focus detection device and focus detection method |
| JP2012010003A (en) * | 2010-06-23 | 2012-01-12 | Olympus Imaging Corp | Digital camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5424679B2 (en) | Imaging apparatus and signal processing apparatus | |
| JP5400406B2 (en) | Imaging device | |
| US9578231B2 (en) | Image capture apparatus and method for controlling the same | |
| US9344617B2 (en) | Image capture apparatus and method of controlling that performs focus detection | |
| JP2013218297A (en) | Focus adjustment device and focus adjustment method | |
| US8902294B2 (en) | Image capturing device and image capturing method | |
| US20140125861A1 (en) | Imaging apparatus and method for controlling same | |
| JP5627438B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| US9693037B2 (en) | Imaging apparatus having an imaging element in which a plurality of light receiving elements is arranged with respect to a micro lens and method for controlling same | |
| JP6071748B2 (en) | Imaging apparatus and control method thereof | |
| JP5871535B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| US20160006905A1 (en) | Image sensor, image capturing apparatus, and control method of image capturing apparatus | |
| US12238260B2 (en) | Device, capturing device, control method, and storage medium operable for outputting pair of captured images pertaining to binocular stereopsis | |
| CN118175421A (en) | Focus control device and method, camera device and storage medium | |
| JP5963550B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP2014102400A (en) | Imaging apparatus and method for controlling imaging apparatus | |
| JP2015166799A (en) | Imaging apparatus, imaging method, and program thereof | |
| JP6289515B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP7079161B2 (en) | Imaging device and its control method | |
| JP2014222268A (en) | Imaging device and imaging device control method | |
| JP2013218152A (en) | Imaging device and control method of the same | |
| US12238434B2 (en) | Imaging device and imaging method for autofocus control | |
| JP2015052662A (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP2016071275A (en) | Imaging apparatus and focus control program | |
| JP2014095733A (en) | Image capturing device and control method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150402 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150402 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160524 |