JP2012114797A - 撮像装置 - Google Patents

Abstract

【課題】焦点検出用画素の配置位置における画像信号を生成することによる画質の低下を低減する。
【解決手段】撮像装置は、撮影光学系により結像される被写体像の第１の色に関する情報を有する第１画像信号を出力する第１撮像画素と、撮影光学系の焦点調節状態を検出するための焦点検出信号を出力する焦点検出画素とが平面上に配列された第１撮像素子２２０と、撮影光学系により結像される被写体像の第２の色に関する情報を有する第２画像信号を出力する第２撮像画素と、被写体像の第３の色に関する情報を有する第３画像信号を出力する第３撮像画素とが平面上に配列された第２撮像素子２２１と、焦点検出画素が配列された位置における第４画像信号を、第２撮像素子から出力された第２画像信号および第３画像信号の一方と、第１撮像信号とに基づいて、補間処理により生成する補間手段２１４とを備える。
【選択図】図１

Description

本発明は、撮像装置に関する。

従来から、２つの撮像素子のそれぞれに焦点検出用画素が組み込まれて配列されたカメラが知られている（たとえば特許文献１）。

特開２０１０−０２６０１１号公報

しかしながら、焦点検出用画素の配置位置における画像信号を、焦点検出用画素の周辺に配置された撮像用画素からの出力に基づいた予測によって生成しているので、正確な予測ができない場合には画質が低下するという問題がある。

請求項１に記載の発明による撮像装置は、撮影光学系からの光束を受光して、撮影光学系により結像される被写体像の第１の色に関する情報を有する第１画像信号を出力する第１撮像画素と、撮影光学系からの光束を受光して、撮影光学系の焦点調節状態を検出するための焦点検出信号を出力する焦点検出画素とが同一平面に配列された第１撮像素子と、撮影光学系からの光束を受光して、撮影光学系により結像される被写体像の第２の色に関する情報を有する第２画像信号を出力する第２撮像画素と、被写体像の第３の色に関する情報を有する第３画像信号を出力する第３撮像画素とが同一平面に配列された第２撮像素子と、焦点検出画素が配列された位置における第４画像信号を、第２撮像素子から出力された第２画像信号および第３画像信号の一方と、第１画像信号とに基づいて、補間処理により生成する補間手段とを備えることを特徴とする。

本発明によれば、第１撮像素子から出力される第１画像信号と、第２撮像素子から出力された第２画像信号および第３画像信号の一方とに基づいて、第１撮像素子上に配列された焦点検出画素の位置における第４画像信号を生成できる。

本発明の実施の形態によるデジタルカメラの構成を示す図 交換レンズの撮影画面に設定された焦点検出エリアの配置の一例を示す図 第１撮像素子の正面図 撮像用画素の構造を示す図 焦点検出用画素の構造を示す図 第２撮像素子の正面図 波長選択性ハーフミラーの透過率特性を示す図 波長選択性ハーフミラーの反射率特性を示す図 青Ｂ画素に配置されるカラーフィルターの透過率特性を示す図 赤Ｒ画素の配置されるカラーフィルターの透過率特性を示す図 赤外線カットフィルターの透過率特性を示す図 第１撮像素子の欠陥補正処理を説明する図 変形例における欠陥補正処理を説明する図 変形例における焦点検出用画素の配列例を示す図

−第１の実施の形態−
図１は第１の実施の形態の構成を示す。第１の実施の形態のデジタルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、マウント部２０４を介して交換レンズ２０２がカメラボディ２０３に装着される。

交換レンズ２０２はレンズ駆動制御装置２０６、ズーミングレンズ２０８、レンズ２０９、フォーカシングレンズ２１０、絞り２１１などを備えている。レンズ駆動制御装置２０６はマイクロコンピューターとメモリなどの周辺部品から構成される。レンズ駆動制御装置２０６は、フォーカシングレンズ２１０と絞り２１１の駆動制御、ズーミングレンズ２０８、フォーカシングレンズ２１０および絞り２１１の状態検出、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信などを行う。

カメラボディ２０３はボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、メモリカード２１９、第１撮像素子２２０、第２撮像素子２２１、波長選択性ハーフミラー２２２などを備えている。波長選択性ハーフミラー２２２は、たとえばペリクルミラーにより構成され、交換レンズ２０２から到来する光束の緑Ｇ成分を透過し、他の成分を反射する。波長選択性ハーフミラー２２２の光入射側には赤外線カットフィルター２２４が設けられている。

第１撮像素子２２０は、波長選択性ハーフミラー２２２を透過した緑Ｇ成分の光束を受光する固体撮像素子であり、交換レンズ２０２の予定結像面（撮像面）に配置される。第２撮像素子２２１は、波長選択性ハーフミラー２２２を反射した緑Ｇ以外の成分の光束を受光する固体撮像素子であり、交換レンズ２０２の他の予定結像面（撮像面）に配置される。図１において、第１撮像素子２２０と第２撮像素子２２１の“Ａ”が被写界の“天”の側に、“Ｂ”が被写界の“地”の側にそれぞれ対応する。なお、第１撮像素子２２０の撮像面（予定結像面）と、第２撮像素子２２１の撮像面（予定結像面）とは互いに共役の関係にある。第１撮像素子２２０および第２撮像素子２２１は、ＣＣＤやＣＭＯＳなどにより構成される。

ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から構成される。ボディ駆動制御装置２１４は、第１撮像素子２２０および第２撮像素子２２１からの画像信号の読み出しと補正、レンズ駆動制御装置２０６との通信（レンズ情報の受信、デフォーカス量などのカメラ情報の送信）、交換レンズ２０２の焦点調節状態（デフォーカス量）の検出、およびカメラ全体の動作制御を行う。ボディ駆動制御装置２１４とレンズ駆動制御装置２０６とは、マウント部２０４に設けられた電気接点２１３を介して通信を行い、レンズ情報、デフォーカス量、絞り情報などの各種情報の授受を行う。

この実施の形態のカメラでは、液晶表示素子駆動回路２１５と液晶表示素子２１６によりＥＶＦ（Electric View Finder）を構成し、第１撮像素子２２０と第２撮像素子２２１による撮像画像を液晶表示素子２１６に表示して接眼レンズ２１７を介して撮影者に視認させる。なお、撮像画像はメモリカード２１９に記録される。

第１撮像素子２２０と第２撮像素子２２１にはそれぞれ撮像用画素が同一平面上に２次元配置される。交換レンズ２０２を透過して波長選択性ハーフミラー２２２を透過した光束により第１撮像素子２２０上に形成された被写体像は、第１撮像素子２２０により光電変換されてボディ駆動制御装置２１４へ出力される。交換レンズ２０２を透過して波長選択性ハーフミラー２２２で反射された光束により第２撮像素子２２１上に形成された被写体像は、第２撮像素子２２１により光電変換されたボディ駆動制御装置２１４へ出力される。第１撮像素子２２０上には、焦点検出位置に対応した部分に焦点検出用画素が組み込まれて配列されている。焦点検出用画素の詳細については説明を後述する。

ボディ駆動制御装置２１４は、焦点検出用画素の出力に基づき焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像用画素の出力に基づき、後述する欠陥補正処理を行って生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、画像信号を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送り、絞り開口の大きさを制御させる。

レンズ駆動制御装置２０６は、レンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて更新する。具体的には、レンズ駆動制御装置２０６は、ズーミングレンズ２０８、フォーカシングレンズ２１０の位置と、絞り２１１の絞り位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。また、レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出する。そして、レンズ駆動制御装置２０６は、算出したレンズ駆動量に基づいてフォーカシングレンズ２１０を不図示のモーター等の駆動源によって合焦点へ駆動させるとともに、受信した絞り制御情報に基づいて絞り２１１を不図示のモーター等の駆動源によって駆動させる。

図２は、図１に示す交換レンズ２０２の撮影画面に設定された焦点検出エリアの配置を示す。図において、Ａが被写界の天の側に、Ｂが被写界の地の側にそれぞれ対応する。この一実施の形態では、図に示すように、交換レンズ２０２の撮影画面１００の中央部と周辺部の合計９カ所に焦点検出エリア１００ａ〜１００ｉを設定した例を示す。各焦点検出エリア１００ａ〜１００ｉは、被写界の水平方向に延在する形状をしている。なお、焦点検出エリアの形状は水平方向に延在するもの限定されず、垂直方向に延在するものでもよいし、水平方向と垂直方向とに直交する十字型形状であってもよい。また、焦点検出エリアの個数と配置についてもこの一実施の形態に限定されない。

図３(ａ)は第１撮像素子２２０の正面図であり、図中の“Ａ”が被写界の天の側に、“Ｂ”が被写界の地の側にそれぞれ対応する。また、図３(ｂ)は、図３(ａ)に破線で示す第１撮像素子２２０の“Ｐ１”部の拡大図であり、撮像用画素３１０の配列を示す。図３(ｃ)は、図３(ａ)に一点鎖線で示す第１撮像素子２２０の“Ｑ１”部の拡大図であり、撮像用画素３１０と焦点検出用画素３１３，３１４の配列を示す。なお、図３(ｃ)はＱ１部の焦点検出用画素配列２２０ｄを示すが、他の焦点検出用画素配列２２０ａ〜２２０ｃ、２２０ｅ〜２２０ｉについても同様である。

第１撮像素子２２０には、交換レンズ２０２（図１参照）の図２に示す撮影画面１００に対応する撮像面全体に、図３(ｂ)に示すように撮像用画素３１０が二次元状に配列される。さらに、撮影画面１００内の９カ所の焦点検出エリア１００ａ〜１００ｉに対応する位置に、図３(ｃ)に示すように焦点検出用画素配列２２０ａ〜２２０ｉが被写界の水平方向に沿って配置される。なお、図３において示す「Ｇ」は、後述するように緑Ｇ色成分を透過するカラーフィルターを備えた撮像用画素３１０（緑Ｇ画素３１０Ｇ）または焦点検出用画素３１３，３１４であることを表している。

図４（ａ）は撮像用画素３１０の正面図、図４（ｂ）は撮像用画素３１０の断面図である。撮像用画素３１０（緑Ｇ画素３１０Ｇ）はマイクロレンズ３１０ａと光電変換素子３１０ｂとアパーチャ−３１０ｃとカラーフィルター３１０ｇとを備えている。光電変換素子３１０ｂは半導体回路基板２９上に形成されている。光電変換素子３１０ｂの前方にはアパーチャ−３１０ｃとマイクロレンズ３１０ａが配置され、マイクロレンズ３１０ａによりアパーチャ−３１０ｃで規定される光電変換素子３１０ｂの形状が前方に投影される。カラーフィルター３１０ｇは、被写体からの光束に含まれる緑Ｇ色成分を透過する特性を有し、マイクロレンズ３１０ａとアパーチャ−３１０ｃとの間に設置される。

焦点検出用画素配列２２０ａ〜２２０ｉには、図３(ｃ)に示すように一対の焦点検出用画素３１３，３１４が含まれる。そして、焦点検出用画素配列２２０ａ〜２２０ｉには、一対の焦点検出用画素３１３、３１４および撮像用画素３１０（緑Ｇ画素３１０Ｇ）が、焦点検出用画素３１３、緑Ｇ画素３１０Ｇ、焦点検出用画素３１４、緑Ｇ画素３１０Ｇの順序で直線上に配置されている。

図５（ａ）は焦点検出用画素３１３，３１４の正面図、図５（ｂ）は焦点検出用画素３１３，３１４の断面図である。焦点検出用画素３１３は、マイクロレンズ３１３ａと光電変換素子３１３ｂとアパーチャ−３１３ｃとカラーフィルター３１３ｇとを備えている。光電変換素子３１３ｂは半導体回路基板２９上に形成されている。光電変換素子３１３ｂの前方にはアパーチャ−３１３ｃとマイクロレンズ３１３ａとが配置され、マイクロレンズ３１３ａによりアパーチャ−３１３ｃによって規定される光電変換素子３１３ｂの形状が前方に投影される。カラーフィルター３１３ｇは、被写体からの光束に含まれる緑Ｇ色成分を透過する特性を有し、マイクロレンズ３１３ａとアパーチャ−３１３ｃとの間に設置される。

焦点検出用画素３１４は、マイクロレンズ３１４ａと光電変換素子３１４ｂとアパーチャ−３１４ｃとカラーフィルター３１４ｇとを備えている。光電変換素子３１４ｂは半導体回路基板２９上に形成されている。光電変換素子３１４ｂの前方にはアパーチャ−３１４ｃとマイクロレンズ３１４ａとが配置され、マイクロレンズ３１４ａによりアパーチャ−３１４ｃによって規定される光電変換素子３１４ｂの形状が前方に投影される。カラーフィルター３１４ｇは、被写体からの光束に含まれる緑Ｇ色成分を透過する特性を有し、マイクロレンズ３１４ａとアパーチャ−３１４ｃとの間に設置される。焦点検出用画素３１３，３１４のアパーチャ−３１３ｃ、３１４ｃはともに長方形の開口を有するように形成され、マイクロレンズ１０の中心（光軸）に対して対象に配置されている。すなわち、アパーチャ−３１３ｃ、３１４ｃによって規定される開口の大きさは、それぞれ撮像用画素３１０に設けられたアパーチャ−３１０ｃによる開口の大きさのほぼ半分となるように形成される。換言すると、焦点検出用画素３１３，３１４は瞳分割構造を有している。

上述したように、第１撮像素子２２０は波長選択性ハーフミラー２２２を透過した緑Ｇ成分の光束を受光する。図７は波長選択性ハーフミラー２２２の透過率特性を示し、図８はその反射率特性を示す。波長選択性ハーフミラー２２２は、Ｇ（緑の色光）成分を透過して他の色成分を反射する特性を有する。

次に、第２撮像素子２２１について説明する。図６(ａ)は第２撮像素子２２１の正面図であり、図中の“Ａ”が被写界の天の側に、“Ｂ”が被写界の地の側にそれぞれ対応する。また、図６(ｂ)は、図６(ａ)において一点鎖線で示す第２撮像素子２２１の”Ｐ２”部の拡大図であり、撮像用画素の配列を示す。なお、第２撮像素子２２１のＰ２部は、図３(ｂ)に示す第１撮像素子２２０のＰ１部に対応する領域、すなわちＰ１部とＰ２部とは被写体の同一部分を撮影する領域である。図６(ｃ)は、図６(ａ)において二点鎖線で示す第２撮像素子２２１の“Ｑ２”部の拡大図であり、撮像用画素の配列を示す。第２撮像素子２２１のＱ２部は、図３（ｃ）に示すＱ１部に対応する領域である。

第２撮像素子２２１は、交換レンズ２０２（図１参照）の図２に示す撮影画面１００に対応する撮像面全体に、図６(ｂ)に示すように撮像用画素３１０が同一平面上に二次元配列される。第２撮像素子２２１の撮像用画素３１０は、図４に示す上述した第１撮像素子２２０の撮像用画素３１０と同様な構成を備えているが、マイクロレンズ３１０ａと光電変換素子３１０ｂの間に設置されるカラーフィルターの色が異なる。第２撮像素子２２１では、図６(ｂ)に示すように、青Ｂ成分を透過するカラーフィルターを備えた撮像用画素３１０（青Ｂ画素３１０Ｂ）と、赤Ｒ成分を透過するカラーフィルターを備えた撮像用画素３１０（赤Ｒ画素３１０Ｒ）とが市松模様に配置される。すなわち、青Ｂ画素３１０Ｂと赤Ｒ画素３１０Ｒとが、第２撮像素子２２１上において水平方向および垂直方向に互いに交互に配列される。なお、青Ｂ画素３１０Ｂおよび赤Ｒ画素３１０Ｒの配列は市松模様に限定されず、たとえば青Ｂ画素３１０Ｂと赤Ｒ画素３１０Ｒとがそれぞれ水平方向に一直線となるように配列されてもよい。

図９は青Ｂ成分を透過するカラーフィルターの透過率特性を示し、図１０は赤Ｒ成分を透過するカラーフィルターの透過率特性を示す。上述したように、第２撮像素子２２１は波長選択性ハーフミラー２２２を反射した緑Ｇ成分以外の光を受光する。第２撮像素子２２１の青Ｂ画素３１０Ｂは波長選択性ハーフミラー２２２により反射された光束の内の青Ｂ成分の光を受光し、赤Ｒ画素３１０Ｒは赤Ｒ成分の光を受光する。

図１１は、波長選択性ハーフミラー２２２の光入射側に配置された赤外線カットフィルター２２４の透過率特性を示す。このように、一実施の形態の撮像装置では、波長選択性ハーフミラー２２２により緑Ｇ成分の光束を透過するとともに緑Ｇ成分以外の光束を反射する。そして、波長選択性ハーフミラー２２２の透過光を第１撮像素子２２０で受光するとともに、反射光の内の青Ｂ成分と赤Ｒ成分の光を第２撮像素子２２１で受光するようにした。その結果、ＲＧＢ画素がベイヤー配列された１枚の撮像素子で被写体からの光を受光するのに比べ、２倍の光量を受光することができる。

次に、焦点検出用画素３１３，３１４の配置位置における画像出力を撮像用画素３１０の画素出力に基づいて補間により求める一実施の形態の補間方法、すなわち欠陥補正方法を説明する。撮像用画素３１０に代えて焦点検出用画素３１３，３１４を配置すると、その焦点検出用画素位置では撮像結果の画像出力が得られないので欠陥画素となる。そこで、焦点検出用画素位置における画像出力を、第１撮像素子２２０と第２撮像素子２２１に配列された撮像用画素３１０の出力に基づいて補間により求める、つまり欠陥補正を行う。

以下の説明においては、第１撮像素子２２０の緑Ｇ画素３１０Ｇからの画素出力をＧ(i,j)、第２撮像素子２２１の青Ｂ画素３１０Ｂからの画素出力をＢ(i,j)、赤Ｒ画素３１０Ｒからの画素出力をＲ(i,j)とする。また、ｉは第１撮像素子２２０および第２撮像素子２２１の垂直方向（列）を表す正の整数であり、ｊは第１撮像素子２２０および第２撮像素子２２１の水平方向（行）を表す正の整数である。

図１２を参照しながら、ボディ駆動制御装置２１４による欠陥補正処理を説明する。図１２（ａ）は、図３（ｃ）に示す第１撮像素子２２０のＱ１部において二点鎖線で囲んだ領域Ｒ１を拡大して示す図である。図１２（ｂ）は、図６（ｃ）に示す第２撮像素子２２１のＱ２部において二点鎖線で囲んだ領域Ｒ２を示す図である。領域Ｒ１および領域Ｒ２は互いに対応する位置関係、すなわち交換レンズ２０２を介して入射した被写体光束のうちの同一部分に対応する光束が結像される。なお、以下の説明においては、焦点検出用画素３１３に対応する第２撮像素子２２１に配置された撮像用画素３１０を対応画素３１０COと呼ぶ。

ボディ駆動制御装置２１４は、図１２（ａ）に配置された焦点検出用画素３１３が瞳分割構造ではない場合に予想される画素出力（予想出力）Ｇ’(i,j)を次の式（１）を用いて算出する。
Ｇ’(i,j)＝Ｂ(i,j）×Ｇsum／Ｂsum
Ｇsum＝Ｇ(i−１，j−１)＋Ｇ(i−１，j＋１)＋Ｇ(i＋１，j−１)＋Ｇ(i＋１，j＋１)
Ｂsum＝Ｂ(i−１，j−１)＋Ｂ(i−１，j＋１)＋Ｂ(i＋１，j−１)＋Ｂ(i＋１，j＋１)
・・・（１）

上記の式（１）に示すように、ボディ駆動制御装置２１４は、第１撮像素子２２０の画素出力Ｇ(i−１，j−１)、Ｇ(i−１，j＋１)、Ｇ(i＋１，j−１)、Ｇ(i＋１，j＋１)と、第２撮像素子２２１の画素出力Ｂ(i−１，j−１)、Ｂ(i−１，j＋１)、Ｂ(i，j)、Ｂ(i＋１，j−１)、Ｂ(i＋１，j＋１)とを用いて予想出力Ｇ’(i,j)を算出する。式（１）は、第１撮像素子２２０の焦点検出用画素３１３の周囲に配置された４つの緑Ｇ画素３１０Ｇからの画素出力の平均と、第２撮像素子２２１上の対応画素３１０CO（青Ｂ画素３１０Ｂ）およびその周辺に配置された４つの青Ｂ画素３１０Ｂからの画素出力の平均との比例関係を用いて予想出力Ｇ’(i,j)が算出される例を示している。なお、この４つの青Ｂ画素３１０Ｂは、第１撮像素子２２０の焦点検出用画素３１３の周囲に配置された４つの緑Ｇ画素３１０Ｇと対応する位置に配置されている（以後、周辺対応画素３１０COPと呼ぶ）。さらに、ボディ駆動制御装置２１４は、焦点検出用画素３１４に対する欠陥補正処理についても、上述した欠陥補正処理と同様にして、すなわち式（１）を用いることによって算出する。なお、上記の説明では、対応画素３１０COが青Ｂ画素３１０Ｂの場合を示したが、赤Ｒ画素３１０Ｒの場合には式（１）の画素出力をＢ(i,j)からＲ（i,j)に置き換えることによって予想出力Ｇ’(i,j)を算出できる。

ボディ駆動制御装置２１４は、第２撮像素子２２１上の焦点検出用画素配列２２０ａ〜２２０ｉに設けられた２種類の焦点検出用画素３１３、３１４からの出力を用いて、公知の方法によりデフォーカス量を算出する。焦点検出用画素３１３、３１４は、焦点検出用画素３１３、３１４のそれぞれに対応する、交換レンズ２０２の異なる測距瞳をそれぞれ通過する光束を受光する。ボディ駆動制御装置２１４は、焦点検出用画素３１３、３１４からの出力を異なる測距瞳に対応した出力グループにまとめることによって、それぞれの測距瞳を通過する焦点検出用光束が焦点検出用画素配列上に形成する一対の像の光強度分布に関する情報が得る。ボディ駆動制御装置２１４は、この情報に対して周知の像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、ボディ駆動制御装置２１４は、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）を算出する。

以上で説明した第１の実施の形態によれば、以下の作用効果が得られる。
（１）第１撮像素子２２０には、交換レンズ２０２からの光束を受光して、交換レンズ２０２により結像される被写体像の緑Ｇ色に関する情報を有する画素出力Ｇを出力する撮像用画素３１０（緑Ｇ画素３１０Ｇ）と、交換レンズ２０２からの光束を受光して、交換レンズ２０２の焦点調節状態を検出するための焦点検出信号を出力する焦点検出用画素３１３，３１４とが同一平面上に配列されるようにした。第２撮像素子２２１には、交換レンズ２０２からの光束を受光して交換レンズ２０２により結像される被写体像の青Ｂ色に関する情報を有する画素出力Ｂを出力する撮像用画素３１０（青Ｂ画素３１０Ｂ）と、被写体像の赤Ｒ色に関する情報を有する画素出力Ｒを出力する撮像用画素３１０（赤Ｒ画素３１０Ｒ）とが同一平面上に配列されるようにした。そして、ボディ駆動制御装置２１４は、焦点検出用画素３１３，３１４の位置における予想出力Ｇ’を、画素出力Ｂおよび画素出力Ｒの一方と、画素出力Ｇとに基づいて、補間処理により生成するようにした。

従来の技術では、第１撮像素子２２０に配列された焦点検出用画素３１３，３１４の予想出力を、第１撮像素子２２０に配列された撮像画素３１０の画素出力を用いて生成していた。図１２（ａ）に示す焦点検出用画素３１３のように画素出力が得られない場合に、周辺の画素出力Ｇを用いて予想出力Ｇ’を算出していた。このため、焦点検出用画素３１３に実際に入射する光束に含まれる情報と、周辺の画素出力Ｇを用いて算出された予想出力Ｇ’とが大きく異なる場合、偽色等が発生し画質が劣化していた。しかし、本実施の形態によれば、図１２（ａ）の焦点検出用画素３１３が配置された位置での予想出力を算出する際に、図１２（ｂ）に示すように第２撮像素子２２１からの画素出力を用いている。すなわち、第２撮像素子２２１上に配置された、焦点検出用画素３１３の対応画素３１０COの出力をも用いているので、予想出力を算出する際の精度が向上し、焦点検出用画素３１３に実際に入射する光束に含まれる情報と、予想出力Ｇ’とが大きく異なることがなくなる。この結果、偽色等の発生が抑制された高画質の画像を生成できる。

（２）ボディ駆動制御装置２１４は、焦点検出用画素３１３，３１４の周囲に配列された緑Ｇ画素３１０Ｇから出力された画素出力Ｇと、焦点検出用画素３１３，３１４および周囲に配列された緑Ｇ画素３１０Ｇに対応する、対応画素３１０COと周辺対応画素３１０COPから出力された画素出力Ｂまたは画素出力Ｒとに基づいて、緑Ｇ色に関する情報を有する予想出力Ｇ’を補間処理により生成するようにした。このとき、ボディ駆動制御装置２１４は、焦点検出用画素３１３，３１４の周囲に配列された複数の緑Ｇ画素３１０Ｇから出力された画素出力Ｇと、周辺対応画素３１０COPから出力された画素出力Ｂまたは画素出力Ｒとの比例関係に基づいて、緑Ｇ色に関する情報を有する予測出力Ｇ’を生成する。したがって、焦点検出用画素３１３，３１４の周辺の複数の撮像用画素３１０と、対応画素３１０COと、周辺対応画素３１０COPとからの画素出力を用いて予想出力を算出するので、予想出力の算出精度を向上させて、画像の高画質化に寄与する。

以上で説明した第１の実施の形態を、以下のように変形できる。
（１）ボディ駆動制御装置２１４は、平均の比例関係に基づいた式（１）を用いて予想出力Ｇ’（i,j)を算出するものに代えて、次の式（２）を用いて算出するものでもよい。式（２）は、焦点検出用画素３１３の周辺に配置された４つの緑Ｇ画素３１０Ｇの画素出力Ｇ（i,j)と、対応画素３１０COである青Ｂ画素３１０Ｂおよびその周辺に配置された周辺対応画素３１０COPである４つの青Ｂ画素３１０Ｂの画素出力Ｂ（i,j）との比の平均を用いて予想出力Ｇ’（i,j)が算出されることを示している。なお、対応画素３１０COが青Ｂ画素３１０Ｂの場合を示したが、赤Ｒ画素３１０Ｒの場合には式（２）の画素出力をＢ(i,j)からＲ（i,j)に置き換えることによって画素出力Ｇ’(i,j)を算出できる。
Ｇ’(i,j)＝Ｂ（i,j)×４×｛Ｇ(i−１，j−１)／Ｂ(i−１，j−１)＋Ｇ(i−１，j＋１)／Ｂ(i−１，j＋１)＋Ｇ(i＋１，j−１)／Ｂ(i＋１，j−１)＋Ｇ(i＋１，j＋１)／Ｂ(i＋１，j＋１)｝
・・・（２）

（２）ボディ駆動制御装置２１４は、被写体の特徴に応じて配列された撮像用画素３１０から出力された画素出力を用いて欠陥補正処理を行ってもよい。たとえば、図１３に示すように撮影画面の下部から上部にかけて斜め形状を有する被写体Ｓが撮影されたものとする。この場合、ボディ駆動制御装置２１４は、４つの緑Ｇ画素３１０Ｇから出力された画素出力Ｇ（i,j)を用いて、以下の式（３）を用いて、被写体Ｓの斜め形状（特徴）の抽出、すなわち画素出力の類似性を判定する。
Ｄ＝｜Ｇ(i−１，j−１)−Ｇ(i＋１，j＋１)｜−｜Ｇ(i−１，j＋１)−Ｇ(i＋１，j−１)｜
・・・（３）

ボディ駆動制御装置２１４は、式（３）により算出された類似性を示す値Ｄと所定の閾値δとの間で大小関係を比較して、比較結果に応じて異なる方法で予想出力Ｇ’(i,j)を算出する。
−−Ｄ＞δの場合−−
ボディ駆動制御装置２１４は、画素出力Ｇ(i−１，j＋１)とＧ(i＋１，j−１)との方向における類似性が大きいと判定する。そして、ボディ駆動制御装置２１４は、以下の式（４）を用いて焦点検出用画素３１３の予想出力Ｇ’(i,j)を算出する。式（４）は、類似性が高いと判定された画素出力の平均の比例関係に基づいて予想出力Ｇ’(i,j)が算出されることを示す。
Ｇ’(i,j)＝Ｂ(i,j）×｛Ｇ(i＋１，j−１)＋Ｇ(i−１，j＋１)｝／｛Ｂ(i＋１，j−１)＋Ｂ(i−１，j＋１)｝ ・・・（４）

なお、ボディ駆動制御装置２１４は、式（４）に代えて、類似性が高いと判定された画素出力の比の平均に基づいた式（５）を用いて予想出力Ｇ’(i,j)を算出してもよい。
Ｇ’(i,j)＝Ｂ(i,j）×２×｛Ｇ(i−１，j＋１)／Ｂ(i−１，j＋１)＋Ｇ(i−１，j＋１)／Ｂ(i＋１，j−１)｝ ・・・（５）

−−Ｄ＜−δの場合−−
ボディ駆動制御装置２１４は、画素出力Ｇ(i−１，j−１)とＧ(i＋１，j＋１)との方向における類似性が大きいと判定する。そして、ボディ駆動制御装置２１４は、類似性が高い方向の画素出力の平均の比例関係に基づいた以下の式（６）を用いて焦点検出用画素３１３の予想出力Ｇ’(i,j)を算出する。
Ｇ’(i,j)＝Ｂ(i,j）×｛Ｇ(i−１，j−１)＋Ｇ(i＋１，j＋１)｝／｛Ｂ(i−１，j−１)＋Ｂ(i＋１，j＋１)｝ ・・・（６）

なお、ボディ駆動制御装置２１４は、式（６）に代えて、類似性が高いと判定された画素出力の比の平均に基づいた式（７）を用いて予想出力Ｇ’(i,j)を算出してもよい。
Ｇ’(i,j)＝Ｂ(i,j）×２×｛Ｇ(i−１，j−１)／Ｂ(i−１，j−１)＋Ｇ(i＋１，j＋１)／Ｂ(i＋１，j＋１)｝ ・・・（７）

−−Ｄ＜｜δ｜の場合−−
ボディ駆動制御装置２１４は、焦点検出用画素３１３の周辺の被写体がほぼ均一、すなわち、図１３に示すような顕著な特徴が抽出されないと判定する。この場合、ボディ駆動制御装置２１４は、実施の形態の説明で用いた式（１）もしくは変形例で用いた式（２）によって予想出力Ｇ’(i,j)を算出する。

対応画素３１０COが青Ｂ画素３１０Ｂの場合を示したが、赤Ｒ画素３１０Ｒの場合には式（４）〜（７）の画素出力をＢ(i,j)からＲ（i,j)に置き換えることによって画素出力Ｇ’(i,j)を算出できる。

（３）ボディ駆動制御装置２１４は、式（１）や式（２）に示す画素出力の比例関係に基づいて予想出力Ｇ’（i,j）を算出するものに代えて、画素出力の差分に基づいて予想出力Ｇ’（i,j）を算出してもよい。この場合、ボディ駆動制御装置２１４は、たとえば以下の式（８）を用いて予想出力Ｇ’（i,j）を算出すればよい。なお、対応画素３１０COが青Ｂ画素３１０Ｂの場合を示したが、赤Ｒ画素３１０Ｒの場合には式（８）の画素出力をＢ(i,j)からＲ（i,j)に置き換えることによって画素出力Ｇ’(i,j)を算出できる。
Ｇ’（i,j）＝Ｂ(i,j)＋[{Ｇ(i−１，j−１)−Ｂ(i−１，j−１)}＋{Ｇ(i−１，j＋１)−Ｂ(i−１，j＋１)}＋{Ｇ(i＋１，j−１)−Ｂ(i＋１，j−１)}＋{Ｇ(i＋１，j＋１)−Ｂ(i＋１，j＋１)}]／４
・・・（８）

（４）ボディ駆動制御装置２１４は、撮像用画素３１０からの画素出力Ｇ(i,j)、Ｂ(i,j)に対して所定の関数を用いた変換処理（たとえば、γ変換やLog変換）を施した後、上述した式（１）〜（８）を用いて予想出力Ｇ’（i,j）を算出してもよい。

−第２の実施の形態−
第２の実施の形態デジタルカメラについて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１撮像素子の焦点検出用画素の配置位置に対する欠陥補正処理の後、第２撮像素子からの画素出力に対して欠落補正処理を施す点で、第１の実施の形態と異なる。

図６に示すように、第２撮像素子２２１には、青Ｂ画素３１０Ｂと赤Ｒ画素３１０Ｒとが市松模様に配置されている。このため、青Ｂ画素３１０Ｂが配置された位置は赤Ｒ画素３１０Ｒにとって欠落画素となる。第２の実施の形態のボディ駆動制御装置２１４は、第１撮像素子２２０の緑Ｇ画素３１０Ｇからの画素出力Ｇ(i,j)と、第２撮像素子２２１の赤Ｒ画素３１０Ｒの画素出力Ｒ（i,j)とを用いて、青Ｂ画素３１０Ｂが配置された位置に赤Ｒ画素３１０Ｒが配置されていた場合に予測される画素出力（予測出力）Ｒ’(i,j)を算出する。さらに、赤Ｒ画素３１０Ｒが配置された位置は青Ｂ画素３１０Ｂにとって欠落画素となる。ボディ駆動制御装置２１４は、第１撮像素子２２０の緑Ｇ画素３１０Ｇからの画素出力Ｇ(i,j)と、第２撮像素子２２１の赤Ｂ画素３１０Ｂの画素出力Ｂ（i,j)とを用いて、赤Ｒ画素３１０Ｒが配置された位置に青Ｂ画素３１０Ｂが配置されていた場合に予測される画素出力（予測出力）Ｂ’(i,j)を算出する。

ボディ駆動制御装置２１４は、図６に示す青Ｂ画素３１０Ｂが配置された位置における赤Ｒ画素３１０Ｒの予測出力Ｒ’(i,j)を、図１２に示す第１撮像素子２２０の画素出力Ｇ(i,j)と第２撮像素子２２１の赤Ｒ画素３１０Ｒから画素出力Ｒ(i,j)を用いて算出する。なお、赤Ｒ画素３１０Ｒは、第２撮像素子２２０上で青Ｂ画素３１０Ｂの周辺に配置され、第１撮像素子２２０上の緑Ｇ画素３１０Ｇは、青Ｂ画素３１０Ｂの対応画素３１０COおよび赤Ｒ画素３１０Ｒの周辺対応画素３１０COPである。この場合、ボディ駆動制御装置２１４は、式（１）に示す画素出力Ｇ(i,j)を画素出力Ｒ(i,j)で置き換え、画素出力Ｂ(i,j)を画素出力Ｇ(i,j)に置き換えることによって予測出力Ｒ’(i,j)を算出する。

ただし、図１２に示すように、画素出力Ｂ(i,j)を出力する青Ｂ画素３１０Ｂの対応画素３１０COは、第１撮像素子２２０に配置された焦点検出用画素３１３である。このような場合は、ボディ駆動制御装置２１４は、第１の実施の形態により算出された予想出力Ｇ’（i,j)で式（１）の画素出力Ｂ(i,j)を置き換えればよい。なお、ボディ駆動制御装置２１４は、式（２）〜（８）について上記の置換を行うことにより予測出力Ｒ’(i,j)を算出してもよい。

ボディ駆動制御装置２１４は、図６に示す赤Ｒ画素３１０Ｒが配置された位置における青Ｂ画素３１０Ｂの予測出力Ｂ’(i,j)を、図１２に示す第１撮像素子２２０の画素出力Ｇ(i,j)と第２撮像素子２２１の青Ｂ画素３１０Ｂからの画素出力Ｂ(i,j)を用いて算出する。なお、青Ｂ画素３１０Ｂは、第２撮像素子２２０上で赤Ｒ画素３１０Ｒの周辺に配置され、第１撮像素子２２０上の緑Ｇ画素３１０Ｇは、赤Ｒ画素３１０Ｒの対応画素３１０COおよび青Ｂ画素３１０Ｂの周辺対応画素３１０COPである。この場合、ボディ駆動制御装置２１４は、式（１）に示す画素出力Ｇ(i,j)を画素出力Ｂ(i,j)で置き換え、画素出力Ｂ(i,j)を画素出力Ｇ(i,j)に置き換えることによって予測出力Ｂ’(i,j)を算出する。

なお、画素出力Ｒ(i,j)を出力する赤Ｒ画素３１０Ｒの対応画素３１０COが、第１撮像素子２２０に配置された焦点検出用画素３１３または３１４である場合には、ボディ駆動制御装置２１４は、第１の実施の形態により算出された予想出力Ｇ’（i,j)で式（１）の画素出力Ｂ(i,j)を置き換えればよい。なお、ボディ駆動制御装置２１４は、式（２）〜（８）について上記の置換を行うことにより予測出力Ｂ’(i,j)を算出してもよい。

以上で説明した第２の実施の形態によれば、第１の実施の形態により得られた作用効果に加えて、さらに以下の作用効果を得られる。
（１）ボディ駆動制御装置２１４は、画素出力Ｇと画素出力Ｂとに基づいて、第２撮像素子２２１上で赤Ｒ画素３１０Ｒが配列された位置における青Ｂ色に関する情報を有する予測出力Ｂ’を生成するようにした。さらに、ボディ駆動制御装置２１４は、画素出力Ｇと画素出力Ｒとに基づいて、第２撮像素子２２１上で青Ｂ画素３１０Ｂが配列された位置における赤Ｒ色に関する情報を有する予測出力Ｒ’を生成するようにした。したがって、第２撮像素子２２１上の欠落画素の予測出力を算出する際に、第１撮像素子２２０からの出力をも用いているので、予測出力を算出する際の精度が向上し、焦点検出用画素３１３に実際に入射する光束に含まれる情報と、予測出力とが大きく異なることがなくなる。この結果、偽色等の発生が抑制された高画質の画像を生成できる。

（２）ボディ駆動制御装置２１４は、予測出力Ｂ’を生成する際には以下のようにするようにした。すなわち、ボディ駆動制御装置２１４は、第２撮像素子２２１上で赤Ｒ画素３１０Ｒの周辺に配列された青Ｂ画素３１０Ｂから出力された画素出力Ｂと、赤Ｒ画素３１０Ｒの対応画素３１０COおよび青Ｂ画素３１０Ｂの周辺対応画素３１０COPである緑Ｇ画素３１０Ｇから出力された画素出力Ｇとに基づいて、予測出力Ｂ’を生成する。さらに、ボディ駆動制御装置２１４は、予測出力Ｒ’を生成する際には以下のようにするようにした。すなわち、ボディ駆動制御装置２１４は、第２撮像素子２２１上で青Ｂ画素３１０Ｂの周辺に配列された赤Ｒ画素３１０Ｒから出力された画素出力Ｒと、青Ｂ画素３１０Ｂの対応画素３１０COおよび赤Ｒ画素３１０Ｒの周辺対応画素３１０COPである緑Ｇ画素３１０Ｇから出力された画素出力Ｇとに基づいて、予測出力Ｒ’を生成する。したがって、欠落画素の周辺の複数の撮像用画素３１０と、対応画素３１０COと、周辺対応画素３１０COPとからの画素出力を用いて予測出力を算出するので、予測出力の算出精度を向上させて、画像の高画質化に寄与する。

（３）赤Ｒ画素３１０Ｒの対応画素３１０COまたは青Ｂ画素３１０Ｂの周辺対応画素３１０COPが焦点検出用画素３１３，３１４である場合には、ボディ駆動制御装置２１４は、画素出力Ｇ、Ｂおよび予想出力Ｇ’を用いて予測出力Ｂ’を生成するようにした。さらに、青Ｂ画素３１０Ｂの対応画素３１０COまたは赤Ｒ画素３１０Ｒの周辺対応画素３１０COPが焦点検出用画素３１３，３１４である場合には、ボディ駆動制御装置２１４は、画素出力Ｇ、Ｒおよび予想出力Ｇ’を用いて予測出力Ｒ’を生成するようにした。したがって、欠落画素の対応画素３１０COや、周辺対応画素３１０COPが焦点検出用画素３１３，３１４の場合であっても、精度を低下させることなく予測出力を算出できるので、画質の低下を防げる。

以上で説明した第１および第２の実施の形態によるデジタルカメラを以下のように変形できる。
（１）図１４に示すように、焦点検出用画素３１３と３１４とを水平方向に交互に配列してもよい。この場合も、ボディ駆動制御装置２１４は、式（１）〜（８）を用いて同様にして欠陥補正処理、欠落補正処理を行うことができる。

（２）波長選択性ハーフミラー２２２がＧ波長成分の光束を透過し、Ｇ波長成分以外の波長成分の光束を反射するものに代えて、Ｇ波長成分の光束を反射し、Ｇ波長成分以外の波長成分の光束を透過するものであってもよい。すなわち、透過側と反射側の何れか一方の光束がＧ波長成分の多い光束となればよい。この場合、波長選択性ハーフミラー２２２の反射側に第１撮像素子２２０を配置し、透過側に第２撮像素子２２１を配置すればよい。

（３）波長選択性ハーフミラー２２２に代えて、波長依存性を備えないハーフミラーを備えるものであってもよい。この場合は、焦点検出用画素３１３、３１４にはカラーフィルターを設けないようにする。この結果、焦点検出用画素３１３，３１４はＲＧＢをすべて含む光束を受光するので、分光特性設計の自由度が増える。

（４）第１撮像素子２２０に含まれる撮像用画素３１０、焦点検出用画素３１３，３１４はＧ波長成分を透過するカラーフィルターを備えるものに代えて、Ｙｅ（黄色）波長成分の光束を透過するカラーフィルターを備えるものであってもよい。または、カラーフィルターを備えず、撮像用画素３１０、焦点検出用画素３１３，３１４がフラットな分光特性を有するようにしてもよい。換言すれば、撮像用画素３１０、焦点検出用画素３１３，３１４がＧ波長成分を多く含む光束を受光できるものであればよい。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

２１４ ボディ駆動制御装置、 ２２０ 第１撮像素子、
２２１ 第２撮像素子、 ３１０ 撮像用画素、
３１０Ｇ 緑Ｇ画素、 ３１０Ｂ 青Ｂ画素、
３１０Ｒ 赤Ｒ画素、 ３１３、３１４ 焦点検出用画素

Claims (8)

1. 撮影光学系からの光束を受光して、前記撮影光学系により結像される被写体像の第１の色に関する情報を有する第１画像信号を出力する第１撮像画素と、前記撮影光学系からの光束を受光して、前記撮影光学系の焦点調節状態を検出するための焦点検出信号を出力する焦点検出画素とが同一平面に配列された第１撮像素子と、
   前記撮影光学系からの光束を受光して、前記撮影光学系により結像される前記被写体像の第２の色に関する情報を有する第２画像信号を出力する第２撮像画素と、前記被写体像の第３の色に関する情報を有する第３画像信号を出力する第３撮像画素とが同一平面に配列された第２撮像素子と、
   前記焦点検出画素が配列された位置における第４画像信号を、前記第２撮像素子から出力された前記第２画像信号および前記第３画像信号の一方と、前記第１画像信号とに基づいて、補間処理により生成する補間手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記補間手段は、前記焦点検出画素の周囲に配列された前記第１撮像画素から出力された前記第１画素信号と、前記焦点検出画素および前記周囲に配列された第１撮像画素に対応する、前記第２撮像素子上の第１対応位置に配列された前記第２撮像画素から出力された前記第２画像信号および前記第１対応位置に配列された前記第３撮像画素からの前記第３画像信号の一方とに基づいて、前記第１の色に関する情報を有する前記第４画像信号を前記補間処理により生成することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補間手段は、前記焦点検出画素の周囲に配列された複数の前記第１撮像画素から出力された前記第１画像信号と、前記第１対応位置に配列された複数の前記第２撮像画素からの第２画像信号および複数の前記第３撮像画素からの第３画像信号の一方との比に基づいて、前記第１の色に関する情報を有する前記第４画像信号を生成することを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記補間手段は、前記焦点検出画素の周囲に配列された複数の前記第１撮像画素から出力された前記第１画像信号と、前記第１対応位置に配列された複数の前記第２撮像画素および複数の前記第３撮像画素の一方との差分に基づいて、前記第１の色に関する情報を有する前記第４画像信号を生成することを特徴とする撮像装置。
5. 請求項２乃至４のいずれか一項に記載の撮像装置において、
   前記第１画像信号と前記第３画像信号とに基づいて、前記第２撮像素子上で前記第２撮像画素が配列された位置における前記第３の色に関する情報を有する第５画像信号を生成する第１生成手段と、
   前記第１画像信号と前記第２画像信号とに基づいて、前記第２撮像素子上で前記第３撮像画素が配列された位置における前記第２の色に関する情報を有する第６画像信号を生成する第２生成手段とを備えることを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記第１生成手段は、前記第２撮像素子上で前記第２撮像画素の周辺に配列された周辺第３撮像画素から出力された前記第３画像信号と、前記第２撮像画素および前記周辺第３撮像画素が配列された位置に対応する、前記第１撮像素子上の第２対応位置に配列された前記第１撮像画素から出力された前記第１画像信号とに基づいて、前記第５画像信号を生成し、
   前記第２生成手段は、前記第２撮像素子上で前記第３撮像画素の周辺に配列された周辺第２撮像画素から出力された前記第２画像信号と、前記第３撮像画素および前記周辺第２撮像画素が配列された位置に対応する、前記第１撮像素子上の第３対応位置に配列された前記第１撮像画素から出力された前記第１画像信号とに基づいて、前記第６画像信号を生成することを備えることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記第２対応位置に前記焦点検出画素が配列されている場合には、前記第１生成手段は前記第１画像信号と、前記３画像信号と、前記第４画像信号とを用いて前記第５画像信号を生成し、前記第３対応位置に前記焦点検出画素が配列されている場合には、前記第２生成手段は前記第１画像信号と、前記２画像信号と、前記第４画像信号とを用いて前記第６画像信号を生成することを特徴とする撮像装置。
8. 請求項１乃至７のいずれか一項に記載の撮像装置において、
   前記第２撮像画素と前記第３撮像画素とは、前記第２撮像素子上の行方向および列方向について、交互に配列されることを特徴とする撮像装置。
   

Images