JP2019103030A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】撮像素子の読み出し制御を行う際、読み出しノイズの差を低減して、かつ解像感の低下を抑制する。【解決手段】撮像装置は、複数の単位画素２００が２次元マトリックス状に配列され、単位画素の各々が複数の光電変換部２０２ａおよび２０２ｂを備える撮像素子１０６を有し、撮像素子に結像した光学像に応じた画像を得る。ＣＰＵ１０９は複数の光電変換部から一括して画素信号を読み出す第１の読み出しモードと、複数の光電変換部の各々から画素信号を読み出す第２の読み出しモードとを選択的に行い、第１の読み出しモードおよび第２の読み出しモードにおいて単位画素から画素信号を読み出す回数を異ならせる。【選択図】図９

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像素子の読み出し制御に起因するノイズの低減に関する。

一般に、デジタルカメラなどの撮像装置では、静止画を撮影する際の連写速度又は動画におけるフレームレートの向上が望まれるとともに、オートフォーカス（ＡＦ）性能の向上が求められている。このため、画像の取得ととともにＡＦ情報の取得可能な撮像装置がある。

ところで、撮像装置に備えられた撮像素子において、１つのマイクロレンズ（ＭＬ）に対応させて単位画素に備えられたフォトダイオード（ＰＤ）を２つに瞳分割するようにしたものがある（特許文献１）。ここでは、瞳分割された画素の各々を並列に読み出し制御してＡＤ変換を行って出力し、さらに、当該ＡＤ変換された２つの信号を加算した信号を出力する。このような構成によって、単位画素を瞳分割した際の信号と単位画素全体の信号とを同時に取得することができる。

上述のように、特許文献１においては、瞳分割されたＰＤから得られた信号について別々にＡＤ変換を行い、ＡＤ変換後の２つの信号を加算して画像（撮像信号）を生成する。このため、つまり、ＡＤ変換後の２つの信号を加算しているので、不可避的に読み出しに起因するノイズが増加してしまう。

よって、瞳分割された単位画素と、瞳分割されていない単位画素とが混在する撮像素子の場合には、単位画素において読み出しノイズに差が生じてしまい、画素配列に応じたパターンノイズとして視認されてしまうことがある。

一方、瞳分割された画素の各々を読み出し制御してデジタル的に加算して得られた信号（撮像信号）について、当該信号のレベルが所定のレベル以下の場合にノイズ低減処理を行うようにしたものがある（特許文献２）。

特許文献２に記載の手法を用いれば、瞳分割された単位画素と、瞳分割されていない単位画素とが混在する撮像素子において、読み出しノイズの差を低減することができる。

特開２０１４−７２５４１号公報 特開２０１６−９２７９２号公報

ところで、画像信号にフィルタ処理を施すと、ノイズを低減することができるものの、解像感が低下することが知られている。前述のように、特許文献２に記載の手法を用いれば、読み出しノイズの差を低減することができる。しかしながら、特許文献２に記載の手法を用いると、解像感に差が生じてしまうことになる。

このため、特に、高周波成分が多い被写体においては、瞳分割された画素を読み出し制御して得られた撮像信号においては、フィルタ処理によって解像感が低下して、画質が劣化してしまうという課題がある。

よって、本発明の目的は、読み出しノイズの差を低減して、かつ解像感の低下を抑制することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、複数の単位画素が２次元マトリックス状に配列された撮像素子を備え、前記撮像素子に結像した光学像に応じた画像を得る撮像装置であって、前記単位画素の各々は複数の光電変換部を備えており、前記単位画素から画素信号を読み出す際に前記複数の光電変換部から一括して前記画素信号を読み出す第１の読み出しモードと、前記複数の光電変換部の各々から画素信号を読み出す第２の読み出しモードとを選択的に行う読み出し手段と、前記画像を得る際、前記第１の読み出しモードおよび前記第２の読み出しモードを用いる場合には、前記読み出し手段を制御して前記第１の読み出しモードおよび前記第２の読み出しモードにおいて前記単位画素から前記画素信号を読み出す回数を異ならせる制御手段と、を有することを特徴とする。

本発明によれば、読み出しノイズの差を低減して、かつ解像感の低下を抑制することができる。

本発明の第１の実施形態による撮像装置の構成についてその一例を示すブロック図である。 図１に示す撮像素子の構成の一例を説明するための図である。 図２に示す撮像素子における単位画素および読み出し回路の一例を説明するための図である。 図２に示すＡＤＣの構成および駆動の一例を説明するための図である。 図２に示す信号処理回路の構成についてその一例を示す図である。 図１に示すカメラで行われる焦点調節動作の原理を説明するための図である。 図１に示すカメラにおいて行われる画素読み出し動作の一例を説明するための図である。 図１に示すカメラで行われる第１の読み出し手法の一例を説明するためのタイミングチャートである。 図１に示すカメラで行われる第２の読み出し手法の一例を説明するためのタイミングチャートである。 本発明の第２の実施形態に係るカメラで用いられる撮像素子の構成の一例を説明するための図である。 本発明の第２の実施形態に係るカメラにおいて行われる画素読み出し動作の一例を説明するための図である。 本発明の第３の実施形態に係るカメラで用いられる撮影モード選択画面の一例を示す図である。 本発明の第３の実施形態に係るカメラで行われる撮影を説明するためのフローチャートである。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の構成についてその一例を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、第１のレンズ１００を有している。第１のレンズ１００の後段には絞り１０１が配置され、絞り１０１は絞りアクチュエータ１１８によって駆動されてその開口径が調節される。つまり、絞り１０１によって光量調節が行われる。

絞り１０１の後段には順次第２のレンズ１０２および第３のレンズ１０３が配置されている。そして、第２レンズ１０２および第３レンズ１０３はフォーカスアクチュエータ１１６によって駆動されて光軸に沿って移動し焦点調節が行われる。

第３のレンズ１０３の後段には、フォーカルプレンシャッター（以下単にシャッターと呼ぶ）１０４が配置されている。当該シャッター１０４は、静止画撮影の際に露光秒時を調節する。シャッター１０４の後段には光学的ローパスフィルタ（ＬＰＦ）１０５が配置されている。ＬＰＦ１０５は画像における偽色又はモアレを低減するために用いられる。ＬＰＦ１０４を通過した光学像（被写体像）は撮像素子１０６に結像する。撮像素子１０６は、光電変換によって光学像に応じた電気信号を生成し、当該電気信号をＡ／Ｄ変換によってデジタル信号に変換する。なお、撮像素子１０６は、後述するＣＰＵ１０９によって制御される。

撮像素子１０６の出力であるデジタル信号（画像データ）は画像処理部（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）１０７に送られる。ＤＳＰ１０７は撮像素子１０６の出力である画像データに対して、補正処理および圧縮処理などの所定の処理を行う。なお、ＤＳＰ１０７は、後述するＡ像データおよびＢ像データを加算するとともに、画像データを用いて相関演算を行う。

ＤＳＰ１０７は、撮像素子１０６の出力である画像データを一旦ＲＡＭ１０８に記録する。さらに、ＤＳＰ１０７は、画像処理後の画像データをＲＡＭ１０８に記憶する。なお、ＲＡＭ１０８は、ＣＰＵ１０９のワークメモリとしても用いられる。

図示の例では、ＲＡＭ１０８を用いているが、アクセス速度が十分に速く、かつ動作上問題のないレベルのメモリであれば、ＲＡＭ以外のメモリを用いるようにしてもよい。さらに、図示の例では、ＲＡＭ１０８は、ＤＳＰ１０７およびＣＰＵ１０９に接続されているが、その一部又は全部をＤＳＰ１０７又はＣＰＵ１０９に内蔵するようにしてもよい。

ＣＰＵ１０９は、カメラの動作を統括的に制御する。例えば、ＣＰＵ１０９は、ＤＳＰ１０７の出力である相関演算結果に応じて、フォーカス駆動回路１１５を駆動制御して焦点調節を行う。

表示部１１０は、ＣＰＵ１０９の制御下で、撮影によって得られた静止画像又は動画像およびメニューなどを表示する。操作部１１１は、撮影命令および撮影条件などの設定をＣＰＵ１０９に行うためのものである。記録媒体１１２には、静止画データおよび動画データなどの画像データが記録される。記録媒体１１２はカメラに対して着脱可能である。ＲＯＭ１１３には、ＣＰＵ１０９によって実行されるプログラムなどが格納される。

シャッター駆動回路１１４は、ＣＰＵ１０９の制御下でシャッター１０４を駆動制御する。フォーカス駆動回路１１５は、ＣＰＵ１０９の制御下で、フォーカスアクチュエータ１１６を駆動して、第２レンズ１０２および第３レンズ１０３を光軸に沿って移動させて焦点調節を行う。絞り駆動回路１１７は、ＣＰＵ１０９の制御下で絞りアクチュエータ１１８を駆動して絞り１０１の開口を調節する。

図２は、図１に示す撮像素子の構成の一例を説明するための図である。そして、図２（ａ）は画素配列を示す図であり、図２（ｂ）は撮像素子の回路構成を示す図である。

図２（ａ）を参照して、撮像素子１０６は、２次元マトリックス状に配列された複数の単位画素２００を有しており、当該画素配列は画素アレイと呼ばれる。単位画素２００の各々にはマイクロレンズ（ＭＬ）２０１が配置されており、単位画素２００の各々は光電変換を行うための２つのフォトダイオード（ＰＤ）２０２ａおよび２０２ｂを有している。そして、これら２つのＰＤ２０２ａおよび２０２ｂは単一のＭＬ２０１の下に配置されている。

上述の画素アレイでは、ＰＤ２０２ａおよび２０２ｂは瞳分割され、ＰＤ２０２ａおよび２０２ｂには位相差をもって光学像が入射される。以下の説明では、ＰＤ２０２ａおよび２０２ｂをそれぞれＡ像用光電変換部およびＢ像用光電変換部と呼ぶことがある。

図２（ｂ）を参照して、図示の例では、単位画素２００が２次元マトリックス状に配列された画素アレイ３００が示されており、ここでは、水平方向（行方向）に（ｍ＋１）個，そして、垂直方向（列方向）に（ｎ＋１）個の単位画素２００が配列されている（ｍおよびｎはそれぞれ１以上の整数である）。

タイミングジェネレータ（ＴＧ）３０１は、ＣＰＵ１０９の制御下で、後述するように制御パルスを発生する。なお、図示の例では、撮像素子１０６にＴＧ３０１が内蔵されているが、撮像素子１０６の外部にＴＧ３０１を備えるようにしてもよい。

垂直走査回路３０２はＴＧ３０１から供給される制御パルスに応じて所定のタイミングで単位画素２００に駆動信号を送る。当該駆動信号によって、単位画素２００の各々は、光学像に応じた画素信号を出力する。なお、当該画素信号は行毎に垂直出力線３０３に出力される。

定電流源３０４は画素アンプ用トランジスタ４０３と協働してソースフォロワ回路を構成する。読み出し回路３０５は、各列の垂直出力線３０３から出力される信号を増幅する。ＡＤ変換回路（ＡＤＣ）３０６は読み出し回路３０５の出力をデジタル信号に変換する。ＡＤＣ３０６の出力である画像信号は、水平走査回路３０７によって順次選択されて、信号処理回路３０８に送られる。信号処理回路３０８は画像信号に対して黒レベル補正、欠陥補正、およびレベル補正などを含む所定の信号処理を施し、信号処理回路３０８の出力は出力部３０９からＤＳＰ１０７に出力される。

図３は、図２に示す撮像素子における単位画素および読み出し回路の一例を説明するための図である。そして、図３（ａ）は単位画素の構成を示す図であり、図３（ｂ）は読み出し回路の構成を示す図である。

図３（ａ）を参照して、前述のように、単位画素２００はＰＤ２０２ａおよび２０２ｂを有している。Ａ像用光電変換部転送スイッチ（ＴｘＡ）４００ａは、垂直走査回路３０２から供給されるＡ像用転送信号φｔｘａによって制御される。また、Ｂ像用光電変換部転送スイッチ（ＴｘＢ）４００ｂはＢ像用転送信号φｔｘｂによって制御される。ここでは、Ａ像用転送信号φｔｘａがハイレベル（Ｈレベル）の場合に、ＰＤ２０２ａに蓄積された電荷がフローティングディフュージョン（ＦＤ）部４０１に転送される。同様に、Ｂ像用転送信号φｔｘｂがＨレベルの場合に、ＰＤ２０ｂａに蓄積された電荷がＦＤ部４０１に転送される。これらＴｘＡおよびＴｘＢは独立してオンオフ制御されるので、ＰＤ２０２ａおよび２０２ｂに蓄積された電荷を独立してＦＤ部４０１に転送することができる。

リセットスイッチ４０２はＦＤ分４０１を初期化するためのスイッチであり、垂直走査回路３０２から供給されるリセット信号φｐｒｅｓによって制御される。図示のように、ＦＤ部４０１はアンプ４０３に接続されており、当該のアンプ４０３は、ＦＤ部４０１に蓄積された電荷に応じた電圧を出力する。

セレクトスイッチ４０４は、垂直走査回路３０２から送出されるセレクト信号（選択信号）φｐｓｅｌがＨレベルとなると、アンプ４０３の出力である電圧を画素信号として垂直出力線３０２に出力する。

図３（ｂ）を参照して、読み出し回路３０５はクランプ容量５００を備えており、垂直出力線３０３に出力された画素信号はクランプ容量５００を介して演算増幅器５０３の反転入力端子に入力される。また、演算増幅器５０３の非反転入力端子には基準電圧Ｖｒｅｆが入力される。

スイッチ５０２およびフィードバック容量５０１が並列に接続され、これらスイッチ５０２およびフィードバック容量５０１は演算増幅器５０３の反転入力端子および出力端子に接続されている。スイッチ５０２は、フィードバック容量５０１を短絡するためのスイッチであって、ＴＧ３０１から供給される制御バルス（制御信号φｃｆｓ）によって制御される。

図４は、図２に示すＡＤＣの構成および駆動の一例を説明するための図である。

ＡＤＣ３０６は、複数の比較器６００を有しており、比較器６００には読み出し回路３０５の出力とランプ信号生成回路(Ｒａｍｐ)６０１からのランプ信号とが入力される。ランプ信号の信号レベルはＴＧ３０１から端子６０２を介して入力される制御パルス（制御信号φａｄｒｅｓ）がローレベル（Ｌレベル）となると、時間の経過とともに大きくなる。そして、ランプ信号の信号レベルが読み出し回路３０５の出力信号レベルを上回ると、比較器６００の出力はＬレベルからＨレベルに切り替わる。

比較器６００の出力はラッチ選択回路６０４に接続されている。ラッチ選択回路６０４にはＴＧ３０１から端子６０３を介して制御パルス（制御信号φｓｓｅｌ）が入力される。制御信号φｓｓｅｌがＬレベルの場合、ラッチ選択回路６０４は比較器６００の出力をＮ信号用ラッチ（Ｌａｔｃｈ）６０５に入力する。一方、制御信号φｓｓｅｌがＨレベルの場合、ラッチ選択回路６０４は比較器６００の出力をＳ信号用ラッチ６０９に入力する。

制御信号φｓｓｅｌがＬレベルの時、ラッチ６０５は比較器６００の出力がＬレベルからＨレベルに切り替わった瞬間における加算器６０７の出力をラッチする。加算器６０７は、ラッチ６０５の出力とカウンタ(Ｃｏｕｎｔｅｒ)６０６の出力（カウント値）とを加算する。なお、当該カウント値は読み出し回路３０５の出力（デジタル値）である。

加算器６０７の存在によって、カウンタ８０６がリセットされた場合であっても、ラッチ６０５によってカウント値が保持されていれば、カウンタ６０６はカウントを途中から再開することができる。つまり、ラッチ６０５は、読み出し回路３０５の出力をデジタル的に保持する機能を有していることになる。

制御信号φｓｓｅｌがＨレベルの場合、ラッチ選択回路６０４は比較器６００の出力をラッチ６０９に入力する。そして、ラッチ６０９は、ラッチ６０５と同様の動作を行って、読み出し回路３０５の出力をデジタル信号に変換する。

ラッチ６０５および６０９の出力は列選択回路６０８に送られる。列選択回路６０８は、水平走査回路３０７から入力される制御信号φｈｓｒ＿ｉ（ｉは列番号１〜ｍを示す）によって、後述するように画像信号（デジタル信号）を信号処理回路３０８に出力する。

列選択回路６０８において、第ｉ列は、制御信号φｈｓｒ＿ｉがＬレベルの場合にはオフ状態であって、信号処理回路３０８から切断される。一方、制御信号φｈｓｒ＿ｉがＨレベルの場合には、第ｉ列はオン状態となって、当該列のＮ信号用ラッチ６０５およびＳ信号用ラッチ６０９の出力が信号処理回路３０８に出力される。

水平走査回路３０７は、全ての制御信号φｈｓｒ＿ｉがＬレベルの場合に、ＴＧ３０１から端子６１０を介して入力される制御信号φｈｓｒの立ち上がりエッジを検出すると、制御信号φｈｓｒ＿０をＨレベルにする。その後、制御信号φｈｓｒ＿ｉがＨレベルの時にφｈｓｒの立ち上がりエッジを検出すると、水平走査回路３０７は制御信号φｈｓｒ＿ｉをＬレベルとする。さらに、水平走査回路３０７は制御信号φｈｓｒ＿（ｉ＋１）をＨレベルとする。そして、制御信号φｈｓｒ＿ｍがＨレベルの時に制御信号φｈｓｒの立ち上がりエッジを検出すると、水平走査回路３０７は全ての制御信号φｈｓｒ＿ｉをＬレベルにする。

このようにして、水平走査回路３０７は、第１列目から第ｍ列目までのラッチの出力を順次信号処理回路３０８に出力する水平走査を行う。

図５は、図２に示す信号処理回路の構成についてその一例を示す図である。

信号処理回路３０８は、正規化演算器７００ａおよび７００ｂを有している。ここでは、正規化演算器７００ａは、ＡＤＣ３０６からＳ信号用ラッチ信号（つまり、Ｓ信号）を受けて正規化処理を行う。同様に、正規化演算器７００ｂはＮ信号用ラッチ信号（つまり、Ｎ信号）を受けて正規化処理を行う。減算器７０１は正規化後のＳ信号から正規化後のＮ信号を減算して画像データとして出力する。

正規化演算器７００ａおよび７００ｂの各々は、読み出し回数に応じた設定に基づいて信号出力のレベルを正規化する。例えば、２回の読み出しを行うと、１回の読み出しを行った場合に比べて、ラッチから出力されるデジタル信号のレベルは約２倍となる。このような場合、正規化演算器７００の設定を２で除する設定として、出力レベルを正規化する。

図６は、図１に示すカメラで行われる焦点調節動作の原理を説明するための図である。そして、図６（ａ）はピントがあっていない状態を示す図であり、図６（ｂ）は図６（ａ）に示す状態における出力レベルを示す図である。また、図６（ｃ）はピントがあっている状態を示す図であり、図６（ｄ）は図６（ｃ）に示す状態における出力レベルを示す図である。

まず、図６（ａ）および図６（ｂ）を参照して、前述のように、ＰＤ２０２ａおよび２０２ｂはＭＬ２０１を共有して、水平方向に瞳分割されている。そして、主被写体８００からの光線は、レンズ８０３の水平方向において異なる瞳面を通る光線８０１および８０２に分けることができる。

これらの光線８０１および８０２はレンズ８０３を通過した後、焦点８０４に集光される。焦点８０４の位置は撮像面と異なる位置であるので、撮像素子においては互いに異なる位置にある画素のＰＤ２０２ａおよび２０２ｂに入射する。よって、ＰＤ２０２ａから得られるＡ像８０５と、ＰＤ２０２ｂから得られるＢ像８０６の出力レベルは、水平方向において一致しない（図６（ｂ）参照）。

続いて、図６（ｃ）および図６（ｄ）を参照して、主被写体８００からの２光線８０１および８０２はレンズ８０３を通過した後、焦点８０７で集光される。焦点８０７の位置は撮像面上の位置であるので、光線８０１および８０２は、同一の画素におけるＰＤ２０２ａおよび２０２ｂに入射する。よって、図６（ｄ）に示すように、Ａ像８０５およびＢ像８０６の出力レベルは水平方向において一致する。

このようにして、Ａ像８０５およびＢ像８０６を別々に取得して、水平方向の像ずれ情報に基づいてピント位置が撮像面に対してどの程度ずれているかを求めることができる。

図６（ｂ）においては、ずれ量（像ずれ量）８０８は、Ａ像８０５とＢ像８０６とのずれ量であり、ＤＳＰ１０７によって当該ずれ量８０８を算出することを相関演算と呼ぶ。そして、相関演算によって算出されたずれ量８０８に基づいて、ＣＰＵ１０９は焦点調節用レンズ（第２レンズ１０２と第３レンズ１０３）の駆動方向および駆動量を求める。ＣＰＵ１０９は、求めた駆動方向および駆動量に基づいてフォーカス駆動回路１１５を制御してフォーカスアクチュエータ１１６によって焦点調節用レンズを駆動して焦点調節を行う。

なお、図示の例では、ＤＳＰ１０７において相関演算を行い、ＣＰＵ１０９がレンズ駆動方向および駆動量を求めるようにしたが、このような構成には限定されない。例えば、相関演算をＣＰＵ１０９で行うようにしてもよく、ＤＳＰ１０７でレンズ駆動方向および駆動量を求めるようにしてもよいし、それぞれにおいて特別のＩＣなどを設ける構成としてもよい。

上述のように、焦点調節を行うためには、Ａ像８０５およびＢ像８０６を別々に取得する必要がある。いま、ＰＤ２０２ａおよび２０２ｂの読み出しによって得られた画素信号画素レベルで合成する読み出し手法を第１の読み出し手法（第１の読み出しモード）とする。また、Ａ像信号およびＢ像信号を独立に読み出す手法を第２の読み出し手法（第２の読み出しモード）とする。第２の読み出し手法は、第１の読み出し手法に比べて、１行の読み出しに時間が掛かる。

第２の読み出し手法においては、１行当りの読み出し時間が増大してしまうので、全画素について第２の読み出し手法を行うと、読み出しの際のフレームレートが低下してしまう。そこで、本実施形態では、読み出しフレームレートを維持しつつ、焦点検出を行うため、後述するように、一部の画素についてのみ第２の読み出し手法を行う。つまり、１フレームの画像を得る際に、第１の読み出しモードおよび第２の読み出しモードが選択的に行われる。

図７は、図１に示すカメラにおいて行われる画素読み出し動作の一例を説明するための図である。そして、図７（ａ）は読み出し動作におけるタイミングチャートであり、図７（ｂ）は撮像素子全体における読み出しを示す図である。

図７（ａ）において、図示の例では、行単位で読み出し手法（読み出しモード）が選択される。第ｎ行では、第１の読み出し手法９００によって一括して画素読み出しが行われる。第１の読み出し手法においては、ＰＤ２０２ａおよび２０２ｂから転送された電荷をＦＤ部４０１で合成して、（Ａ＋Ｂ像）信号として読み出す。

第（ｎ＋１）行では、第２の読み出し手法９０１によって画素読み出しが行われる。第２の読み出し手法においては、ＰＤ２０２ａおよび２０２ｂから別々に電荷が転送される。図示の例では、まず、ＰＤ２０２ａから電荷をＦＤ部４０１に転送して、当該電荷に応じた画素信号を読み出す。続いて、ＦＤ部４０１をリセットした後、ＰＤ２０２ｂから電荷をＦＤ部４０１に転送して、当該電荷に応じた画素信号を読み出す。

このように、第２の読み出し手法によって画像信号を得る画素を、撮像素子の一部の画素に限定することによって、読み出し時間の増加を抑制することができる。そして、第２の読み出し手法を一部の画素についてのみ行えば、画像信号とＡＦ情報を、フレームレートを低下させることなく行うことができる。

図７（ｂ）に示す例では、撮像素子９０２に対して測距枠９０３が存在する行において、その一部の行のみに第２の読み出し手法による画素読み出しを行う。測距枠９０３が存在する他の行については第１の読み出し手法によって画素読み出しを行う。

図８は、図１に示すカメラで行われる第１の読み出し手法の一例を説明するためのタイミングチャートである。

時刻Ｔ＝ｔ１０００において、水平同期信号（ＨＤ）がＬレベルとなると、リセットが行われる。特に、ＡＤＣ３０６においては、ラッチ６０５および６０９がリセットされて、その値は０となる。

時刻Ｔ＝ｔ１０００からｔ１００１において、リセット信号φｐｒｅｓがＨレベルとなって、ＦＤ部４０１がリセットされる。続いて、時刻Ｔ＝ｔ１００１において、Ａ像用転送信号φｔｘａおよびＢ像用転送信号φｔｘｂがＨレベルとなって、ＰＤ２０２ａおよび２０２ｂがリセットされる。

時刻Ｔ＝ｔ１００２において、Ａ像用転送信号φｔｘａおよびＢ像用転送信号φｔｘｂがＬレベルとなって、ＰＤ２０２ａおよび２０２ｂにおいて電荷蓄積が開始される。時刻Ｔ＝ｔ１００３において、選択信号φｐｓｅｌがＨレベルとなって、アンプ４０３が動作状態となる。そして、Ｔ＝ｔ１００４において、リセット信号φｐｒｅｓがＬレベルとなって、ＦＤ部４０１のリセットが解除される。リセットが解除されると、ＦＤ部４０１に蓄積された電荷がノイズ信号（以下Ｎ信号と呼ぶ）として読み出されて読み出し回路３０５に出力される。

読み出し回路３０５において、時刻Ｔ＝ｔ１００５で制御信号φｃｆｓがＬレベルとされ、演算増幅器５０３では基準電圧Ｖｒｅｆの出力バッファ状態が解除される。そして、読み出し回路３０５の出力であるＮ信号が演算増幅器５０３から出力される。この際、読み出し回路３０５から比較器６００への入力は、図中、参照番号１０００で示されるように立ち上がり始める。

時刻Ｔ＝ｔ１００６において、制御信号φａｄｒｅｓがＬレベルとなって、ランプ信号生成回路６０１およびカウンタ６０６のリセットが解除されて、ＡＤ変換動作が開始する。ランプ信号生成回路６０１から比較器６００に入力されるランプ信号は、図中参照番号１００１で示されており、カウンタ６０６のカウント値は参照番号１００２で示されている。

時刻Ｔ＝ｔ１００７において、ランプ信号は読み出し回路からの入力１０００よりも大きくなって、この際、比較器６００の出力はＬレベルからＨレベルに立ち上がる。時刻Ｔ＝ｔ１００７において、制御信号φｓｓｅｌはＬレベルであるので、ラッチ選択用回路６０４はＮ信号用ラッチ６０５を選択する。この結果、比較器６００の出力はラッチ６０５に入力される。

ラッチ６０５は、時刻Ｔ＝ｔ１００７における加算器６０７の出力をラッチするが、これまでラッチ６０５は０を出力していたので、加算器６０７の出力はカウンタ６０６の出力と同一の値である。ここでは、その値を図中参照番号１００３で示すようにＮ（Ｎは０以上の整数）とする。つまり、時刻Ｔ＝ｔ１００７においてラッチ６０５の出力はＮとなる。

時刻Ｔ＝ｔ１００８において、ランプ信号１００１とカウント値１００２とはともに最大値となって、このタイミングで、制御信号φａｄｒｅｓがＨレベルとされてＮ信号のＡＤ変換動作が終了する。

時刻Ｔ＝ｔ１００９において、転送信号φｔｘａおよびφｔｘｂがＨレベルとなり、ＰＤ２０２ａおよび２０２ｂに蓄積された電荷がＦＤ部４０１に転送される。ＦＤ部４０１に蓄えられた電荷に応じた電圧が垂直出力線３０２および演算増幅器５０３を介して読み出し回路３０５に送られる。そして、読み出し回路３０５は信号成分＋ノイズ成分（以下Ｓ＋Ｎ信号と呼ぶ）の信号を比較器６００に送る。

図示の入力１０００は時刻Ｔ＝ｔ１００９から増加を開始する。時刻Ｔ＝ｔ１０１０において、制御信号φｓｓｅｌがＨレベルとなり、ラッチ選択用回路６０４はＳ信号用ラッチ６０９を選択する。時刻Ｔ＝ｔ１０１１において、転送信号φｔｘａおよびφｔｘｂがＬレベルとなって電荷の転送が終了する。その後、時刻Ｔ＝ｔ１０１２まで読み出し回路３０５の出力の安定を待つ。

時刻Ｔ＝ｔ１０１２において、制御信号φａｄｒｅｓがＬレベルとなり、Ｓ＋Ｎ信号のＡＤ変換動作が開始される。このＳ＋Ｎ信号は、ＰＤ２０２ａおよび２０２ｂに蓄積された電荷に応じた画素信号と、読み出し回路３０５の列毎のばらつきに起因するオフセット信号などを含む。このＳ＋Ｎ信号からＮ信号を減算することによってＳ信号に含まれる回路ノイズ成分をキャンセルすることができ、画素信号成分であるＳ信号のみを得ることができる。

Ｓ＋Ｎ信号のＡＤ変換の動作はＮ信号のＡＤ変換と同様にして行われ、時刻Ｔ＝ｔ１０１３において、カウンタ６０６の出力Ｓにラッチ６０９の出力がラッチされる。このラッチ６０９の出力がＳ＋Ｎ信号のＡＤ変換値となる。時刻Ｔ＝ｔ１０１４において、制御信号φａｄｒｅｓがＨレベルとなって、ＡＤ変換動作が終了する。

時刻Ｔ＝ｔ１０１５において、制御信号φｈｓｒの立ち上がりエッジが水平走査回路３０７に入力される。これによって、水平走査回路３０７の出力が全てＬレベルの状態から、制御信号φｈｓｒ＿０のみがＨレベルとなる状態となる。これによって、第１列目の水平選択回路６０８のスイッチがラッチ６０５および６０９に接続され、ラッチ６０５および６０９にラッチされた値が信号処理回路３０８に入力される。

信号処理回路３０８においては、ラッチ６０５および６０９の値が正規化演算器７００で処理される。ここでは、ラッチ６０５および６０９の値は１回のみのカウントであるので正規化演算をする必要はない。このため、正規化演算器７００は、１倍とする処理を行うようにプログラムされる。

正規化演算器７００で処理された信号を用いて、減算器７０１はＳ＋Ｎ信号からＮ信号を減算して、Ｓ信号のみを得る。そして、当該Ｓ信号が出力部３０９から出力される。

このようにして、第１列からＳ信号が出力された後、制御信号φｈｓｒを入力すると、制御信号φｈｓｒ＿１のみがＨレベルとなる。このようにして、順次行方向にＳ信号を読み出し、第１列から第ｍ列までＳ信号を読み出す。そして、当該水平走査は時刻Ｔ＝ｔ１０１６で終了する。

時刻Ｔ＝ｔ１０１７において、初期化が行われて画素の状態を初期化する。ここでは、リセット信号φｐｒｅｓがＨレベルとなって、ＦＤ部４０１が初期化される。さらに、制御信号φｃｆｓがＨレベルとなって、演算増幅器５０３の出力を基準電圧Ｖｒｅｆの出力バッファ状態とする。また、制御信号φｓｓｅｌをＬレベルとして、ラッチ選択用回路６０４がＮ信号用ラッチ６０５を選択するようにする。

時刻Ｔ＝ｔ１０１８において、選択信号φｐｓｅｌがＬレベルとなって、行の選択状態が解除される。そして、時刻Ｔ＝ｔ１０１９において、ＨＤの立ち下がりが入力されて、ラッチ６０５および６０９がリセットされる。

このようにして、１つの行の読み出し動作を終了した後、次の行の読み出し動作を開始する。なお、時刻Ｔ＝ｔ１０１９は、次の行の読み出しにおけるＴ＝ｔ１０００である。

図９は、図１に示すカメラで行われる第２の読み出し手法の一例を説明するためのタイミングチャートである。

時刻Ｔ＝ｔ１１００において、ＨＤがＬレベルとなってリセットが行われる。特に、ＡＤＣ３０６においては、ラッチ６０５および６０９がリセットされて、その値は０となる。

時刻Ｔ＝ｔ１１００からｔ１１０１において、リセット信号φｐｒｅｓがＨレベルとなって、ＦＤ部４０１がリセットされる。続いて、時刻Ｔ＝ｔ１１０１において、Ａ像用転送信号φｔｘａおよびＢ像用転送信号φｔｘｂがＨレベルとなって、ＰＤ２０２ａおよび２０２ｂがリセットされる。

時刻Ｔ＝ｔ１１０２において、Ａ像用転送信号φｔｘａおよびＢ像用転送信号φｔｘｂがＬレベルとなって、ＰＤ２０２ａおよび２０２ｂにおいて電荷蓄積が開始される。時刻Ｔ＝ｔ１１０３において、選択信号φｐｓｅｌがＨレベルとなって、アンプ４０３が動作状態となる。そして、Ｔ＝ｔ１１０４において、リセット信号φｐｒｅｓがＬレベルとなって、ＦＤ部４０１のリセットが解除される。リセットが解除されると、ＦＤ部４０１に蓄積された電荷がＮ信号として読み出されて読み出し回路３０５に出力される。

読み出し回路３０５において、時刻Ｔ＝ｔ１１０５で制御信号φｃｆｓがＬレベルとされ、演算増幅器５０３では基準電圧Ｖｒｅｆの出力バッファ状態が解除される。そして、読み出し回路３０５の出力であるＮ信号が演算増幅器５０３から出力される。この際、読み出し回路３０５から比較器６００への入力は、図中、参照番号１１００で示されるように立ち上がり始める。

時刻Ｔ＝ｔ１１０６において、制御信号φａｄｒｅｓがＬレベルとなって、ランプ信号生成回路６０１およびカウンタ６０６のリセットが解除されて、ＡＤ変換動作が開始する。時刻Ｔ＝ｔ１１０７において、比較器の出力はＬレベルからＨレベルに変化し、ラッチ６０５の出力はカウント値に変化する。そして、時刻Ｔ＝ｔ１１０８において、制御信号φａｄｒｅｓがＨレベルとなってＡＤ変換動作が終了する。

時刻Ｔ＝ｔ１１０９において、制御信号φａｄｒｅｓが再びＬレベルとなる。これによって、同一のＮ信号について再度ＡＤ変換が行われる。ここで、２回目のＡＤ変換によって変換される信号に重畳される読み出しノイズは、前述のように、１回目のＡＤ変換によって変換された信号の読み出しノイズと異なる。カウンタ６０６は１回目のＡＤ変換の場合と同様の動作を行うが、ラッチから加算器６０７への入力は、１回目のＡＤ変換の値となる。

比較器６００の出力は、時刻Ｔ＝ｔ１１１０においてＬレベルからＨレベルに変化し、ラッチによってこの際の加算器６０７の出力がラッチされる。この際の加算器６０７の出力は、Ｎ信号の１回目のＡＤ変換値と２回目のＡＤ変換値との和となる。

時刻Ｔ＝ｔ１１１１において、Ｎ信号のＡＤ変換動作を終了して、制御信号φａｄｒｅｓがＨレベルとなる。このようにして、異なる読み出しノイズが重畳された同一のＮ信号を２回読み出して加算する。

時刻Ｔ＝ｔ１１１２において、転送信号φｔｘａがＨレベルとなり、ＰＤ２０２ａに蓄えられた電荷がＦＤ部４０１に転送される。ＦＤ部４０１に蓄えられた電荷に応じた電圧が垂直出力線３０２および演算増幅器５０３を介して読み出し回路３０５に送られる。そして、読み出し回路３０５はＳ＋Ｎ信号の信号を比較器６００に入力する。

読み出し回路３０５の入力１１００は、時刻Ｔ＝ｔ１１１２から増加を開始する。時刻Ｔ＝ｔ１１１３において、制御信号φｓｓｅｌがＨレベルとなって、ラッチ選択用回路６０４はＳ信号用ラッチ６０９を選択する。時刻Ｔ＝ｔ１１１４において、転送信号φｔｘａがＬレベルとなってＰＤ２０２ａからの電荷の転送が終了する。その後、時刻Ｔ＝ｔ１１１５まで読み出し回路３０５の出力の安定を待つ。

時刻Ｔ＝ｔ１１１５において、制御信号φａｄｒｅｓがＬレベルとなって、Ｓ＋Ｎ信号のＡＤ変換動作が開始される。このＡＤ変換の動作はＮ信号のＡＤ変換と同様にして行われ、時刻Ｔ＝ｔ１１１６においてカウンタ６０６の出力Ｓにラッチ６０９の出力がラッチされる。そして、ラッチ６０９の出力がＳ＋Ｎ信号のＡＤ変換値となる。

時刻Ｔ＝ｔ１１１４において、制御信号φａｄｒｅｓがＨレベルとなって、ＡＤ変換動作が終了する。続いて、時刻Ｔ＝ｔ１１１８において、再度制御信号φａｄｒｅｓがＬレベルとなってＡＤ変換が開始する。そして、Ｔ＝ｔ１１１９において、ラッチの出力はカウント値と１回目のＡＤ変換結果との和となる。

時刻Ｔ＝ｔ１１２０において、制御信号φａｄｒｅｓがＨレベルとなって、２回目のＡＤ変換動作が終了する。このようにして、異なる読み出しノイズが重畳された同一のＳ＋Ｎ信号を２回読み出して加算が行われる。

時刻Ｔ＝ｔ１１２１において、制御信号φｈｓｒの立ち上がりエッジが水平走査回路３０７に入力される。当該立ち上がりエッジを水平走査回路３０７が検出すると、水平走査回路３０７からの出力が全てＬレベルの状態から、制御信号φｈｓｒ＿０のみがＨレベルとなる状態となる。これによって、第１列目の水平選択回路６０８のスイッチがラッチ６０５および６０９に接続される。そして、ラッチ６０５および６０９にラッチされた値が信号処理回路３０８に送られる。

信号処理回路３０８においては、ラッチ６０５および６０９の値が正規化演算器７００で処理される。ここでは、読み出し動作においてラッチ６０５および６０９の値を２回ずつカウントしたので、１回の読み出しを行った場合に比べて出力が２倍となる。このため、正規化演算器７００は、デジタル値を半分にする処理を行うようにプログラムされる。正規化演算器７００で処理された信号を用いて、減算器７０１はＳ＋Ｎ信号からＮ信号を減算してＳ信号を得る。そして、当該Ｓ信号は出力部３０９から出力される。

このようにして、第１列からＳ信号を出力した後、制御信号φｈｓｒが再度入力される。これによって、制御信号φｈｓｒ＿１のみがＨレベルとなる。このようにして、順次行方向にＳ信号が読み出されて、第１列から第ｍ列までのＳ信号が読み出される。そして、当該水平走査は時刻Ｔ＝ｔ１１２２で終了する。

時刻Ｔ＝ｔ１１２３において、初期化が行われて画素の状態が初期化される。ここでは、リセット信号φｐｒｅｓがＨレベルとなって、ＦＤ部４０１が初期化される。さらに、制御信号φｃｆｓがＨレベルとなって、演算増幅器５０３の出力が基準電圧Ｖｒｅｆの出力バッファ状態とされる。また、制御信号φｓｓｅｌがＬレベルとされて、ラッチ選択用回路６０４はＮ信号用ラッチ６０５を選択する。

時刻Ｔ＝ｔ１１２４において、選択信号φｐｓｅｌがＬレベルとなって、行の選択状態が解除される。そして、時刻Ｔ＝ｔ１１２５において、ＨＤの立ち下がりが入力されて、ラッチ６０５および６０９がリセットされる。このようにして、１つの行のＡ像の読み出し動作が終了して、続いてＢ像の読み出し動作が開始される。

Ｂ像の読み出し動作の際には、Ａ像と同時に蓄積した信号を読み出すためにフォトダイオードのリセットを行わない。

時刻Ｔ＝ｔ１１２６において、選択信号φｐｓｅｌがＨレベルとなって、アンプ４０３が動作状態となる。時刻Ｔ＝ｔ１１２７において、リセット信号φｐｒｅｓがＬレベルとなって、ＦＤ部４０１のリセットが解除される。リセットが解除されると、ＦＤ部４０１に蓄積された電荷に応じた電圧が垂直出力線３０２にノイズ成分として読み出されて、読み出し回路３０５に出力される。

時刻Ｔ＝ｔ１１２８において、制御信号φｃｆｓがＬレベルとなり、読み出し回路３０５において、演算増幅器５０３における基準電圧Ｖｒｅｆの出力バッファ状態が解除される。そして、Ｎ信号が演算増幅器５０３から出力される。

時刻Ｔ＝ｔ１１２９において、制御信号φａｄｒｅｓがＬレベルとなって、ランプ信号生成回路６０１およびカウンタ６０６のリセットが解除されて、ＡＤ変換動作が開始する。時刻Ｔ＝ｔ１１３０において、比較器の出力はＬレベルからＨレベルに変化して、ラッチ６０５の出力はこの際のカウント値Ｎ１１０３に変化する。そして、時刻Ｔ＝ｔ１１３１において、制御信号φａｄｒｅｓがＨレベルとなって、Ｎ信号の１回目のＡＤ変換動作が終了する。

続いて、時刻Ｔ＝ｔ１１３２において、制御信号φａｄｒｅｓがＬレベルとなり、Ｎ信号の２回目のＡＤ変換動作が開始する。時刻Ｔ＝ｔ１１３３において、比較器の出力はＬレベルからＨレベルに変化し、ラッチ６０５の出力はこの際の１回目のＡＤ変換によって確定したラッチ６０５の値とカウント値Ｎ１１０３とを加算器６０７で加算した値に変化する。そして、時刻Ｔ＝ｔ１１３４において、制御信号φａｄｒｅｓがＨレベルとなって、Ｎ信号のＡＤ変換動作が終了する。

このようにして、異なる読み出しノイズが重畳された同一のＮ信号を２回読み出して、加算が行われる。

時刻Ｔ＝ｔ１１３５において、転送信号φｔｘｂがＨレベルとなり、ＰＤ２０２ｂに蓄えられた電荷がＦＤ部４０１に転送される。ＦＤ部４０１に蓄えられた電荷に応じた電圧が、垂直出力線３０２および演算増幅器５０３を介して読み出し回路３０５に送られる。これによって、読み出し回路３０５はＳ＋Ｎ信号を比較器６００に入力する。

読み出し回路３０５からの入力１１００は時刻Ｔ＝ｔ１１３５から増加を開始する。時刻Ｔ＝ｔ１１３６においては、制御信号φｓｓｅｌがＨレベルとなり、ラッチ選択用回路６０４はＳ信号用ラッチ６０９を選択する。時刻Ｔ＝ｔ１１３７において、転送信号φｔｘｂがＬレベルとなって、ＰＤ２０２ｂからの電荷の転送が終了する。その後、時刻Ｔ＝ｔ１１３８まで読み出し回路３０５の出力の安定を待つ。そして、時刻Ｔ＝ｔ１１３８において、制御信号φａｄｒｅｓがＬレベルとなり、Ｓ＋Ｎ信号のＡＤ変換動作が開始する。

当該ＡＤ変換の動作はＮ信号のＡＤ変換と同様にして行われ、時刻Ｔ＝ｔ１１３９において、カウンタ６０６の出力ＳとしてＳ＋Ｎ信号のＡＤ変換値が確定して、ラッチ６０９にラッチされる。時刻Ｔ＝ｔ１１４０において、制御信号φａｄｒｅｓがＨレベルとなり、１回目のＡＤ変換動作が終了する。

続いて、時刻Ｔ＝ｔ１１４１において、再度制御信号φａｄｒｅｓがＬレベルとなってＡＤ変換が開始する。そして、時刻Ｔ＝ｔ１１４２において、ラッチの出力はカウント値と１回目のＡＤ変換結果との和になる。時刻Ｔ＝ｔ１１４３において、制御信号φａｄｒｅｓがＬレベルとなって、２回目のＡＤ変換動作が終了する。

時刻Ｔ＝ｔ１１４４からＴ＝ｔ１１４５までは、前述の水平転送動作が行われる。ここでも、Ｎ信号とＳ＋Ｎ信号とは、２回のＡＤ変換によって得られた値の和になっているので、正規化演算器７００において半分の値に正規化される。その後、減算器７０１によってＳ＋Ｎ信号からＮ信号が減算されて、Ｂ像に係るＳ信号が得られる。

時刻Ｔ＝ｔ１１４６において、初期化が行われて画素の状態が初期化される。ここでは、リセット信号φｐｒｅｓがＨレベルとなり、ＦＤ部４０１が初期化される。さらに、制御信号φｃｆｓがＨレベルとなって、演算増幅器５０３の出力が基準電圧Ｖｒｅｆの出力バッファ状態とされる。また、制御信号φｓｓｅｌがＬレベルとされて、ラッチ選択用回路６０４はＮ信号用ラッチ６０５を選択する。

時刻Ｔ＝ｔ１１４７において、選択信号φｐｓｅｌがＬレベルとなり、行の選択状態が解除される。そして、時刻Ｔ＝ｔ１１４８においてＨＤの立ち下がりが入力されて、ラッチ６０５および６０９がリセットされる。

このようにして、１つの行の読み出し動作が終了して、次の行の読み出し動作が開始される。なお、時刻Ｔ＝ｔ１１４８は次の行の読み出しにおけるＴ＝ｔ１１００とである。

なお、図８および図９に示す例では、読み出し回路３０５からの出力が時間的に一定であるとして説明したが、実際には電源などの様々な信号のゆらぎに起因して、その出力は変化する。また、ランプ信号の品質も、同様に電源のゆらぎなどに影響される。このため、カウント値が常に正しくカウントされている場合に、同一の信号に対して同じようにして読み出し動作を行っても、ＡＤ変換の結果は毎回異なる。このばらつきが読み出しノイズの原因となる。

ここで、第１および第２の読み出し手法の各々によって得られた画像信号のノイズ量について説明する。一回の読み出し動作によって信号に重畳するノイズ量をσとする。このノイズはガウス性のノイズであることが知られている。

図８で説明した第１の読み出し手法では、Ｎ信号およびＳ＋Ｎ信号の２信号を読み出して、これらを減算器７０１によって減算処理してＳ信号を得た。無相関のガウス性ノイズ同士を加減すると、ノイズ量は（２）^１／２倍になるので、最終的なＳ信号に存在する読み出しノイズ量はσ×（２）^１／２となる。

一方、図９で説明した第２の読み出し手法では、Ｎ信号を２回読み出すとともに、Ｓ＋Ｎ信号を２回読み出して、これらを正規化した後、減算器７０１によって減算処理する。２回読み出した後の信号の加算によって読み出しノイズ量はσ×（２）^１／２となる。ところが、信号強度は２倍になっているので、正規化演算器７００によって平均化される際に２で除されて、読み出しノイズ量はσ／（２）^１／２となる。そして、当該ノイズを有するＳ＋Ｎ信号とＮ信号とを減算器７０１で減算処理すれば、最終的にＳ信号に存在するノイズ量はσとなる。

第２の読み出し手法によって得られる信号は、Ａ像８０５とＢ像８０６の信号であるので、画像信号として利用する際には、これらをＤＳＰ１０７で加算する必要がある。Ａ像用信号およびＢ像用信号の読み出しノイズ量は、前述のように、それぞれσであるので、これらを加算することによって得られる画像信号の読み出しノイズ量はσ×（２）^１／２となる。このノイズ量は、第１の読み出し手法によって得られた画像信号の読み出しノイズ量と同一である。

上述のようにして得られたＡ像８０５とＢ像８０６を用いて、ＤＳＰ１０７は相関演算を行って、Ａ像８０５とＢ像８０６とのズレ量８０８を求める。そして、当該ズレ量８０８はＣＰＵ１０９に送られる。ＣＰＵ１０９はズレ量に基づいて焦点調節用のレンズ１０２および１０３の駆動量および駆動方向を求める。ＣＰＵ１０９は当該駆動量および駆動方向に応じてフォーカス駆動回路１１５を制御して、フォーカスアクチュエータ１１６によって焦点調節用のレンズ１０２および１０３駆動して焦点調節を行う。

また、ＤＳＰ１０７は、第１の読み出し手法によって得られたＡ＋Ｂ信号と、第２の読み出し手法によって得られたＡ像８０５およびＢ像８０６とを加算して１フレームの画像を生成する。そして、ＣＰＵ１０９は当該１フレームの画像を圧縮および加工処理して記録媒体１１２に書き込む。

このように、本発明の第１の実施形態では、第１の読み出し手法および第２の読み出し手法において、信号の読み出し回数を異ならせる。これによって、画質の劣化を抑制しつつ、焦点検出用の信号と１フレームの画像信号を高速に得ることかできる。

さらに、第２の読み出し手法で読み出される信号におけるノイズが低下するので、ＤＳＰ１０７における相関演算の精度が向上して、ＡＦ性能が向上する。

［変形例］
上述の第１の実施形態では、第２の読み出し手法においては、Ａ像信号とＢ像信号の双方を別々に読み出すようにしたが、これに限定はされない。例えば、Ａ像信号を単独で読みだした後、ＦＤ部４０１にＢ像信号を転送して、先に転送したＡ像信号と合成してＡ＋Ｂ像信号として読み出すようにしてもよい。この場合、ＤＳＰ１０７では、Ａ＋Ｂ像からＡ像を減算してＢ像を求めて相関演算を行うことになる。

上記の読み出し手法では、画像信号は一度しか読み出されないので、読み出しノイズ量は、第１の読み出し方手法によって得られる信号の読み出しノイズ量と同様である。一方、ＦＤ部４０１からＮ信号を読み出した後、Ａ像信号を読み出して、その後ＦＤ部４０１をリセットせずにＡ＋Ｂ像信号を読み出さなければならない。よって、Ｎ信号を読み出してから画像信号を読み出すまでに時間が掛かってしまう。このため、１／ｆノイズが増加し、さらにはＮ信号の状態が変化して画素ノイズが増加することが知られている。当該ノイズの増加を低減するために、本発明を適用することもできる。

つまり、Ａ像信号を単独で読みだした後、ＦＤ部４０１にＢ像信号を転送して、先に転送したＡ像信号と合成してＡ＋Ｂ像信号として読み出す手法に本発明を適用することによって、画像の劣化を低減することができる。

さらには、上述の読み出し手法においては、Ａ像信号は画像信号として出力されないので、Ａ像信号のノイズ量は画質に影響しない。このため、Ａ像信号の取得に際して、各信号に対する読み出し動作を一度行って、Ａ＋Ｂ像信号の取得の際に複数回のＡＤ変換を行うようにしてもよい。

このような構成の場合には、Ａ像信号の取得に際して複数回の読み出し動作を行った場合に比べて高速に画像信号を得ることができる。

また、第１の実施形態では、Ｎ信号の読み出し動作が終了した後、信号＋ノイズ成分を垂直線３０３に転送してＳ＋Ｎ信号の読み出し動作を行うようにしたが、本発明はこれに限定されるものではない。例えば、演算増幅器５０３の直後にアナログメモリ（サンプルホールド回路：図示せず）を配置して、Ｓ＋Ｎ信号の垂直転送と２回目のＮ信号のＡＤ変換を時間的に並列的に行うようにしてもよい。

このような構成の場合には、信号の垂直線３０３への読み出しとＡＤ変換動作とを時間的に並列に行うので、より高速に信号を読み出すことができる。

さらに、読み出した信号に重畳されるノイズの主要因がＡＤ変換で発生するノイズである場合、同一の信号を垂直線３０３に転送する動作を複数回行わないで、ＡＤ変換のみを複数回行うようにしてもよい。この場合には、Ｎ信号をサンプルホールドした直後にＳ＋Ｎ信号の垂直転送を開始することができる。

このような構成の場合には、同一の信号を垂直線３０３に転送する時間を省略することができるので、より高速に信号を読み出すことが可能となる。

また、ＡＤＣ３０６に、一列の垂直出力線３０３に対応するＡＤ変換回路を複数設けて、時間的に並列に複数回のＡＤ変換を行うようにしてもよい。

このような構成の場合には、同一の信号の２回の読み出し動作が並列的に行われるので、より高速に信号を読み出すことが可能となる。

その他、同一の信号を複数回読み出すことによって、読み出しノイズを低減することができるあらゆる構成を本発明に適用することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は図１に示すカメラと同様である。

図１０は、本発明の第２の実施形態に係るカメラで用いられる撮像素子の構成の一例を説明するための図である。そして、図１０（ａ）は画素配列を示す図であり、図１０（ｂ）は単位画素の構成を示す図である。

図１０（ａ）を参照して、撮像素子１０６は、２次元マトリックス状に配列された複数の単位画素２００を有している。単位画素２００の各々にはＭＬ２０１が配置されており、単位画素２００の各々は光電変換を行うための４つのＰＤ１２００ａ、１２００ｂ、１２００ｃ、および１２００ｄを有している。そして、これら４つのＰＤ１２００ａ、１２００ｂ、１２００ｃ、および１２００ｄは単一のＭＬ２０１の下に配置されている。

これらのＰＤ１２００ａ、１２００ｂ、１２００ｃ、および１２００ｄを独立して読み出し制御することによって、水平方向の位相差に加えて、垂直方向の位相差を得ることができる。

このように、単位画素が２個を超えるＰＤを備える場合には、位相差を得るために必ずしも全ての画素を独立に読み出す必要はない。例えば、焦点調節用情報として水平方向の位相差を得れば十分である場合には、単位画素において垂直方向に隣接するＰＤの電荷を合成して読み出せばよい。具体的には、ＰＤ１２００ａおよび１２００ｃの電荷を合成して読み出し、ＰＤ１２００ｂおよびＰＤ１２００ｄの電荷を合成して読み出す。

図１０（ｂ）を参照して、前述のように、単位画素２００はＰＤ１２００ａ、１２００ｂ、１２００ｃ、および１２００ｄを有している。Ａ像用光電変換部転送スイッチ（ＴｘＡ）１３００ａは、垂直走査回路３０２から供給されるＡ像用転送信号φｔｘａによって制御される。また、Ｂ像用光電変換部転送スイッチ（ＴｘＢ）１３００ｂはＢ像用転送信号φｔｘｂによって制御される。Ｃ像用光電変換部転送スイッチ（ＴｘＣ）１３００ｃは、Ｃ像用転送信号φｔｘｃによって制御される。さらに、Ｄ像用光電変換部転送スイッチ（ＴｘＢ）１３００ｄはＤ像用転送信号φｔｘｄによって制御される。

ここでは、Ａ像用転送信号φｔｘａがＨレベルの場合に、ＰＤ１２００ａに蓄積された電荷がフローティングディフュージョン（ＦＤ）部４０１に転送される。同様に、Ｂ像用転送信号φｔｘｂがＨレベルの場合に、ＰＤ１２００ｂに蓄積された電荷がＦＤ部４０１に転送される。また、Ｃ像用転送信号φｔｘｃがＨレベルの場合に、ＰＤ１２００ｃに蓄積された電荷がＦＤ部４０１に転送される。そして、Ｄ像用転送信号φｔｘｄがＨレベルの場合に、ＰＤ１２００ｄに蓄積された電荷がＦＤ部４０１に転送される。

これら転送スイッチＴｘＡ、ＴｘＢ、ＴｘＣ、およびＴｘＤは独立してオンオフ制御されるので、ＰＤ１２００ａ、１２００ｂ、１２００ｃ、および１２００ｄに蓄積された電荷を独立してＦＤ部４０１に転送することができる。また、これら転送スイッチＴｘＡ、ＴｘＢ、ＴｘＣ、およびＴｘＤのうちの少なくとも２つを同時にＨレベルとすれば、対応するＰＤに蓄積された電荷をＦＤ部４０１で合成して読み出すことができる。

図１１は、本発明の第２の実施形態に係るカメラにおいて行われる画素読み出し動作の一例を説明するための図である。そして、図１１（ａ）は読み出し動作におけるタイミングチャートであり、図１１（ｂ）は撮像素子全体における読み出しを示す図である。

図１１（ａ）において、第ｎ行では、第１の読み出し手法１４００によって画素読み出しが行われる。第１の読み出し手法１４００においては、ＰＤ１２００ａ、１２００ｂ、１２００ｃ、および１２００ｄから転送された電荷をＦＤ部４０１で合成して、（Ａ＋Ｂ＋Ｃ＋Ｄ像）信号として読み出す。

第（ｎ＋１）行では、第２の読み出し手法１４０１（第３の読み出しモード）によって画素読み出しが行われる。第２の読み出し手法１４０１においては、ＰＤ１２００ａおよび１２００ｃ（グループ）から電荷がＦＤ部３０１に転送される（つまり、グループ毎に電荷が読み出される）。そして、ＦＤ部４０１で合成されて、Ａ＋Ｂ像信号として読み出される。第２の読み出し手法１４０２を行うと、水平方向における位相差を得ることができる。

第（ｎ＋２）行では、再び第１の読み出し手法１４０１が行われる。第（ｎ＋３）行では、第２の読み出し手法１４０３（第４の読み出しモード）によって画素読み出しが行われる。ここでは、ＰＤ１２００ａからＡ像が読み出され、ＰＤ１２００ｂからＢ像が読み出され、ＰＤ１２００ｃからＣ像が読み出されて、ＰＤ１２００ｄからＤ像が読み出される。そして、これらの読み出しは独立的にＰＤ毎（光電変換部毎）に行われる。このような読み出し手法を行うと、水平方向および垂直方向における位相差を得ることができる。

図７（ｂ）に示す例では、撮像素子９０２に対して測距枠９０３が存在する行において、その一部の行に対して第１の読み出し手法１４００による画素読み出しを行い、さらに、第２の読み出し手法による画素読み出しを行う。

第２の読み出し手法を行う際には、垂直方向に隣接するＰＤの信号を合成する第２の読み出し手法１４０１を行う行と、第２の読み出し手法１４０２を行う行とが存在する。また、測距枠９０３が存在する他の行については第１の読み出し手法によって画素読み出しを行う。

これら複数の読み出し手法を用いて画素読み出しを行って、画像信号を生成する場合には、画像信号の生成に必要な信号の数が異なる。例えば、第１の読み出し方法１４００によって得られた信号は画像信号であるので１信号とカウントする。第２の読み出し手法１４０１の場合には、画像信号の生成に必要な信号の数は２信号となる。また、第２の読み出し手法１４０２の場合には、画像信号の生成に必要な信号の数は４信号となる。

単位画素が瞳分割された複数のＰＤを備える際に、ＰＤを独立して読み出し制御して、その信号を加算することによって画像信号を生成するとする。この場合、第１の実施形態で説明したように、画像信号の生成に必要な信号の数に応じて画像信号のノイズ量が異なる。このような場合には、第１の読み出し手法又は第２の読み出し手法に応じて読み出し回数を決定することなく、合成処理に用いた信号の数に応じて読み出し回数を決定する。

例えば、第１の読み出し方法１４０１の場合には、図８で説明したように、１回の読み出しで画像信号を得る。一方、第２の読み出し手法１４０１の場合には、図９で説明したように、２回の読み出しで画像信号を得る。そして、第２の読み出し手法１４０２の場合には、４回の読み出しで画像信号を得る。

なお、ここでは、単位画素におけるＰＤの分割数が４の場合について説明したが、これには限定されず、単位画素おけるＰＤの分割数は複数であればよい。また、読み出し手法の種類も限定されない。

このように、本発明の第２の実施形態では、画像信号を生成するために用いた信号の数に応じてサンプリング回数を決定するようにしたので、様々なパターンで瞳分割された撮像素子においても本発明を適用することができる。

［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は、図１に示すカメラと同様である。

同一の信号を複数回読み出して、読み出しノイズの低減を行う場合、ノイズの少ない画像を得るため第１の読み出し手法を用いた場合においても同一の信号を複数回読み出すことがある。

例えば、図２（ａ）に示すように、単位画素が２つのＰＤを有する場合、第１の読み出し手法を用いて２回の読み出しを行い、第２の読み出し手法によって４回の読み出しを行う。これによって、第１の実施形態で得られた効果と同一の効果を得つつ、さらに低ノイズの画像を得ることができる。

ところが、この場合には、１フレームにおいて信号を読み出す回数が２倍になるので、フレームレートが低下する。このフレームレートの低下を防止するためには、例えば、第２の読み出し手法を用いる行数を低減して、全体として読み出し回数を低減するようにすればよい。そこで、ユーザーによって選択された撮影モードに応じてサンプリング回数を設定するようにする。

図１２は、本発明の第３の実施形態に係るカメラで用いられる撮影モード選択画面の一例を示す図である。

図示の撮影モード選択画面１５００は表示部１１０に表示される。ユーザーは操作部１１１を用いて、「画質優先モード」および「ＡＦ優先モード」のいずれかを選択することができる。

図１３は、本発明の第３の実施形態に係るカメラで行われる撮影を説明するためのフローチャートである。

図１２および図１３を参照して、撮影が開始されると、ＣＰＵ１０９はユーザー操作によって設定されたモードが「画質優先モード」であるか否かを判定する（ステップＳ１６０１）。

ユーザーの設定が「画質優先モード」である場合（ステップＳ１６０１において、ＹＥＳ）、ＣＰＵ１０９は第１の設定（設定１）を設定する（ステップＳ１６０２）。この設定１では、第１の読み出し手法における読み出し回数が２回、第２の読み出し手法における読み出し回数が４回に設定される。この際には、第２の読み出し方法によって読み出された行数をｊ本とする（ｊは１以上の整数）。

ユーザーの設定が「画質優先モード」でない場合（ステップＳ１６０１において、ＮＯ）、ＣＰＵ１０９は第２の設定（設定２）を設定する。この設定２では、第１の読み出し手法における読み出し回数を１回、第２の読み出し手法における読み出し回数が２回に設定される。この際には、第２の読み出し手法によって読み出された行数をｋ本とする（ｋは１以上の整数）。なお、このｋはｊよりも大きい数とする。

ステップＳ１６０２又はＳ１６０３の処理の後、ＣＰＵ１０９は決定された設定に基づいて撮影を行う（ステップＳ１６０４）。ここでは、画素読み出しの際、設定された回数に応じて同一の信号を読み出す。例えば、第１の読み出し手法による読み出しが２回の場合には、図８に示す時刻Ｔ＝ｔ１００６からＴ＝ｔ１００８の動作と、時刻Ｔ＝ｔ１０１２からＴ＝ｔ１０１４の動作がそれぞれ２回繰り返される。

第２の読み出し手法による読み出しが４回の場合には、図９に示す時刻Ｔ＝ｔ１１０６からＴ＝ｔ１１１１の動作と、時刻Ｔ＝ｔ１１１５からＴ＝ｔ１１２０の動作がそれぞれ２回繰り返される。さらに、時刻Ｔ＝ｔ１１２９からＴ＝ｔ１１３４の動作と、時刻Ｔ＝ｔ１１３８からＴ＝ｔ１１４３の動作がそれぞれ２回繰り返される。

このようにして、同一の読み出し方法であっても、設定に応じて同一信号を読み出す回数を変更する。

続いて、ＣＰＵ１０９は、ステップＳ１６０４で得られた画像信号（画像データ）に基づいてＤＳＰ１０７によって相関演算を行う。そして、ＣＰＵ１０９は相関演算結果に基づいて焦点調節用のレンズ１０２および１０３の駆動方向および駆動量を求める（ステップＳ１６０５：ＡＦ用演算）。

次に、ＣＰＵ１０９はＡＦ用演算結果に基づいて、前述したようにレンズを駆動する（ステップＳ１６０６）。そして、ＣＰＵ１０９はステップＳ１６０４で得られた画像信号について画像処理（圧縮処理を含む）を行う（ステップＳ１６０７）。その後、ＣＰＵ１０９は、画像処理済みの画像データを、記録媒体などに保存して（ステップＳ１６０８）、撮影を終了する。

上述のような画素読み出しを行えば、「画質優先モード」においては「ＡＦ優先モード」と比較して、より低ノイズの画像を得ることができる。一方、「ＡＦ優先モード」においては、「画質優先モード」と比較して相関演算に用いることができる信号が多いので、ＡＦ精度を高めることができる。

なお、図示の例では、撮影モード選択画面に「画質優先モード」および「ＡＦ優先モード」を表示するようにしたが、この例には限定されない。例えば、サンプリング回数を選択するようにしてもよく、明示的にユーザーに選択させることなく、他の撮影条件設定の変更に基づいてサンプリング回数を変更するようにしてもよい。

このように、本発明の第３の実施形態では、撮影モードの設定に応じてサンプリング回数を決定するようにしたので、撮影状況に適した撮影、つまり、画素読み出しを行うことができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０６ 撮像素子
１０９ ＣＰＵ
２００ 単位画素
２０１ マイクロレンズ
２０２ａ，２０２ｂ 光電変換部（ＰＤ）
３０２ 垂直走査回路
３０５ 読み出し回路
３０６ ＡＤ変換器
３０７ 水平走査回路
３０８ 信号処理回路

Claims (11)

1. 複数の単位画素が２次元マトリックス状に配列された撮像素子を備え、前記撮像素子に結像した光学像に応じた画像を得る撮像装置であって、
   前記単位画素の各々は複数の光電変換部を備えており、
   前記単位画素から画素信号を読み出す際に前記複数の光電変換部から一括して前記画素信号を読み出す第１の読み出しモードと、前記複数の光電変換部の各々から画素信号を読み出す第２の読み出しモードとを選択的に行う読み出し手段と、
   前記画像を得る際、前記第１の読み出しモードおよび前記第２の読み出しモードを用いる場合には、前記読み出し手段を制御して前記第１の読み出しモードおよび前記第２の読み出しモードにおいて前記単位画素から前記画素信号を読み出す回数を異ならせる制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は前記読み出し手段を制御して前記単位画素から前記画素信号を読み出す際、前記撮像素子の行単位で前記前記第１の読み出しモードおよび前記第２の読み出しモードのいずれかを選択することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の読み出しモードで得られた複数の像に応じて焦点調節を行う焦点調節手段を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第２の読み出しモードで得られた複数の像を合成して画像を得る画像処理手段を有し、
   前記制御手段は、前記画像処理手段における合成に用いた像の数に応じて読み出し回数を決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第２の読み出しモードにおける読み出し回数を前記第１の読み出しモードにおける読み出し回数よりも多くすることを特徴とする請求項４に記載の撮像装置。
6. 撮影の際に複数の撮影モードから１つの撮影モードを選択する選択手段を有し、
   前記制御手段は、前記選択手段で選択された撮影モードに応じて前記読み出し回数を決定することを特徴とする請求項４又は５に記載の撮像装置。
7. 前記複数の撮影モードには、少なくとも画質優先モードおよびＡＦ優先モードがあり、
   前記制御手段は、前記画質優先モードにおける読み出し回数を前記ＡＦ優先モードにおける読み出し回数よりも多くすることを特徴とする請求項６に記載の撮像装置。
8. 前記単位画素は２つの光電変換部を備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第２の読み出しモードには、２つの光電変換部をグループとして当該グループ毎に一括して前記画素信号を読み出す第３の読み出しモードと、前記光電変換部毎に前記画素信号を読み出す第４の読み出しモードとが備えられていることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 複数の単位画素が２次元マトリックス状に配列され、前記単位画素の各々が複数の光電変換部を備える撮像素子を有し、前記撮像素子に結像した光学像に応じた画像を得る撮像装置の制御方法であって、
    前記単位画素から画素信号を読み出す際に前記複数の光電変換部から一括して前記画素信号を読み出す第１の読み出しモードと、前記複数の光電変換部の各々から画素信号を読み出す第２の読み出しモードとを選択的に行う読み出しステップと、
    前記画像を得る際、前記第１の読み出しモードおよび前記第２の読み出しモードを用いる場合には、前記第１の読み出しモードおよび前記第２の読み出しモードにおいて前記読み出しステップによる前記単位画素から前記画素信号を読み出す回数を異ならせる制御ステップと、
    を有することを特徴とする制御方法。
11. 複数の単位画素が２次元マトリックス状に配列され、前記単位画素の各々が複数の光電変換部を備える撮像素子を有し、前記撮像素子に結像した光学像に応じた画像を得る撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記単位画素から画素信号を読み出す際に前記複数の光電変換部から一括して前記画素信号を読み出す第１の読み出しモードと、前記複数の光電変換部の各々から画素信号を読み出す第２の読み出しモードとを選択的に行う読み出しステップと、
    前記画像を得る際、前記第１の読み出しモードおよび前記第２の読み出しモードを用いる場合には、前記第１の読み出しモードおよび前記第２の読み出しモードにおいて前記読み出しステップによる前記単位画素から前記画素信号を読み出す回数を異ならせる制御ステップと、
    を実行させることを特徴とする制御プログラム。

Images