JP2017034344A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】合焦状態の確認を円滑且つ正確に行い得る撮像装置及びその制御方法を提供する。
【解決手段】複数の画素を備え、複数の画素のうちの第１の画素群によって取得される第１の画像信号と、複数の画素のうちの第２の画素群によって取得される第２の画像信号とを出力する撮像手段と、第２の画像信号に基づく処理を行うとともに第１の画像信号に応じた第１の画像を表示画面に表示する第１の制御と、第１の画像信号と第２の画像信号とを合成することにより得られる第２の画像を表示画面に表示する第２の制御とを行い得る制御手段とを有している。
【選択図】図７

Description

本発明は、撮像装置及びその制御方法に関する。

近年のデジタルカメラやデジタルビデオカメラにおいては、撮像素子に備えられた全ての画素のうちの一部の画素の出力信号のみを読み出したり、複数の画素の出力信号を加算してまとめて読み出したりすることが行われている。これらの手法は、動画像の撮影やライブビュー表示の際に用いられる場合が多い。これらの手法を採用することにより、読み出しに要する時間を短くすることができ、フレームレートの向上や消費電力の抑制等を図ることができる。
しかし、かかる手法を用いた場合には、解像度が低下するため、ピントが合っているか否か、即ち、合焦状態か否かを、ライブビュー表示の画面上で正確に確認することは容易ではない。

合焦状態か否かの確認を行いやすくための技術として、以下のような技術が提案されている。特許文献１には、電子ビューファインダを見ながらマニュアルフォーカスを行う際に、電子ビューファインダの画面上に撮像画像を表示するとともに、フォーカス領域に対応する部分の画像を拡大表示させる技術が開示されている。また、特許文献２には、拡大スイッチによって拡大が指示されると、１コマ全体から所定の部分画像を切り出し、切り出した部分画像を液晶モニタの全画面に拡大表示する技術が開示されている。

特開２００１−２５１５４０号公報 特開平１１−２９８７９１号公報

しかしながら、提案されているこれらの技術では、合焦状態か否かを円滑且つ正確に確認し得ない場合があった。

本発明の目的は、合焦状態の確認を円滑且つ正確に行い得る撮像装置及びその制御方法を提供することにある。

本発明の一観点によれば、複数の画素を備え、光学像を撮像し、前記複数の画素のうちの第１の画素群によって取得される第１の画像信号と、前記複数の画素のうちの第２の画素群によって取得される第２の画像信号とを出力する撮像手段と、前記第２の画像信号に基づく処理を行うとともに前記第１の画像信号に応じた第１の画像を表示部に表示させる第１の制御と、前記第１の画像信号と前記第２の画像信号とを合成することにより得られる第２の画像を前記表示部に表示させる第２の制御とを行い得る制御手段とを有することを特徴とする撮像装置が提供される。

本発明によれば、合焦状態の確認を円滑且つ正確に行い得る撮像装置及びその制御方法を提供することができる。

本発明の第１実施形態による撮像装置の構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の構造を示す斜視図である。 本発明の第１実施形態による撮像装置における撮像素子の回路構成を示す図である。 本発明の第１実施形態による撮像装置における読み出しの際の選択行の例を示す図である。 本発明の第１実施形態による撮像装置の動作を示すタイムチャートである。 第１の画像信号、第２の画像信号及び表示用画像の例を示す概略図である。 本発明の第１実施形態による撮像装置の動作を示すフローチャートである。 本発明の第２実施形態による撮像装置の動作を示すタイムチャートである。 第１の画像信号、第２の画像信号及び表示用画像の例を示す概略図である。 本発明の第２実施形態による撮像装置の動作を示すフローチャートである。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

［第１実施形態］
本発明の第１実施形態による撮像装置を図１乃至図６を用いて説明する。図１は、本実施形態による撮像装置の構成を示すブロック図である。

本実施形態による撮像装置（以下、単に「カメラ」とも呼ぶ）は、例えば、オートフォーカス（ＡＦ）機能付きの電子スチルカメラ又はビデオカメラである。

本実施形態による撮像装置１００は、光学鏡筒１０１と、撮像素子１０２と、駆動部１０３と、信号処理部１０４と、圧縮伸長部１０５と、制御部１０６と、発光部１０７と、操作部１０８と、画像表示部１０９と、画像記録部１１０とを有している。

光学鏡筒１０１は、撮影レンズユニット（以下、単に「撮影レンズ」とも呼ぶ）１０１０と光学機構部１０１１とを備えている。撮影レンズ１０１０は、被写体（図示せず）からの光を撮像素子１０２に集光する。即ち、撮影レンズ１０１０は、光学像を撮像素子１０２に結像する。

図示はしないが、光学機構部１０１１は、ＡＦ機構、ズーム駆動機構、メカニカルシャッタ機構、及び、絞り機構等を有している。光学機構部１０１１は、制御部１０６の制御下で駆動部（駆動回路）１０３によって駆動される。

撮像素子１０２は、後述する画素部２０１とＡ／Ｄコンバータ（図示せず）とを含んでいる。撮像素子１０２は、例えば、ＸＹ読み出し方式のＣＭＯＳ型のイメージセンサである。撮像素子１０２は、制御部１０６の制御下で動作する駆動部１０３によって駆動され、露光、信号読み出し、リセット等の撮像動作を行い、撮像信号（以下、「画像信号」ともいう）を出力する。

信号処理部１０４は、制御部１０６の制御下で、撮像素子１０２から出力される画像信号に対して、ホワイトバランス調整処理、色補正処理、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理等の所定の信号処理を行い、画像データを出力する。また、信号処理部１０４には、ＡＦ評価値算出部１０４１と、注目領域判別部１０４２と、画像合成部１０４３とが備えられている。

ＡＦ評価値算出部１０４１は、画像信号から得られるコントラスト情報に応じてＡＦ評価値を求めるものである。ＡＦ評価値算出部１０４１によって求められたＡＦ評価値は、制御部１０６に出力される。

注目領域判別部１０４２は、撮像素子１０２によって取得される撮影画像のうちから注目領域を判別するものである。注目領域判別部１０４２によって判別された注目領域の情報や当該注目領域の画像情報が、制御部１０６に出力される。注目領域は、ユーザが注目している被写体や、ＡＦによって合焦させたい領域である。

画像合成部１０４３は、複数の画像信号を合成することによって、より具体的には、後述する第１の画像信号と第２の画像信号とを合成することによって、高解像度の画像を生成するものである。なお、第１の画像信号に対応する画角（範囲）と第２の画像信号に対応する画角（範囲）とは、同じであってもよいし、異なっていてもよい。第１の画像信号に対応する画角と第２の画像信号に対応する画角とが互いに異なっていても、共通する部分が存在すれば、共通する部分についての第１の画像信号と第２の画像信号とを合成することによって、部分的に高解像度の画像を得ることができる。

圧縮伸長部１０５は、制御部１０６の制御下で動作する。圧縮伸長部１０５は、信号処理部１０４から出力される画像データに対して圧縮符号化処理を行うことにより、符号化画像データを生成する。圧縮符号化処理においては、例えば、ＪＰＥＧ方式等の所定の静止画像データフォーマットが用いられる。なお、ＪＰＥＧは、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの略である。また、圧縮伸長部１０５は、制御部１０６から送られてくる符号化画像データに対して伸長復号化処理を行うことにより、復号化画像データを得る。

なお、圧縮伸長部１０５は、動画像データに対して圧縮符号化処理や伸長復号化処理を行うこともできる。動画像データに対する圧縮符号化処理や伸長復号化処理においては、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等が用いられる。

制御部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、カメラ１００全体が制御部１０６によって統括的に制御される。

信号処理部１０４によって行われるＡＥ処理において被写体の露光値が低いことが判定された場合には、制御部１０６は、発光部１０７を制御することによって被写体に対して光を発し、被写体に対する照明を行う。発光部１０７としては、例えば、キセノン管を用いたストロボ装置やＬＥＤ発光装置等が用いられる。

操作部１０８は、例えば、シャッタレリーズボタン等の各種操作キー、レバー、ダイヤル、タッチパネル等であり、ユーザの入力操作に応じた操作信号を制御部１０６に与える。

画像表示部１０９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示デバイス（図示せず）と、当該表示デバイスに対するインタフェース回路（図示せず）とを備えている。画像表示部１０９は、制御部１０６から送られる画像データに応じた画像を、表示デバイスの表示画面に表示する。

画像記録部１１０としては、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、磁気テープ等の記録媒体が用いられる。画像記録部１１０には、圧縮伸長部１０５によって圧縮符号化処理が施された符号化画像データが画像ファイルとして記録される。画像記録部１１０は、制御部１０６によって指定された画像ファイルを記録媒体から読み出し、当該画像ファイルを制御部１０６に出力する。制御部１０６は、画像記録部１１０から読み出された符号化画像データの伸長復号化処理を圧縮伸長部１０５によって行わせることにより、復号化画像データを得る。

次に、本実施形態による撮像装置の基本的な動作について説明する。
例えば、静止画像を撮影する際には、静止画像の撮像前において、撮像素子１０２が以下のように動作する。即ち、撮像素子１０２は、後述する画素部２０１から出力される画像信号に対してＣＤＳ処理とＡＧＣ処理とを順次施し、これらの処理が施された画像信号をＡ／Ｄコンバータを用いてデジタル画像信号に変換する。こうして得られたデジタル画像信号は、信号処理部１０４に送られる。

ＡＦ評価値算出部１０４１は、後述する第２の画像信号から得られるコントラスト情報に基づいて、ＡＦ評価値、より具体的には、コントラストＡＦ評価値（コントラスト制御情報）を求める。ＡＦ評価値算出部１０４１は、ＡＦ評価値を制御部１０６に出力する。
注目領域判別部１０４２は、操作部１０８を介してユーザから指定された領域を注目領域として設定し、当該注目領域についての情報、即ち、注目領域情報を制御部１０６に出力する。

なお、ここでは、ユーザによる操作部１０８の操作によって注目領域が設定される場合を例に説明したが、これに限定されるものではない。撮影画像に基づいて注目領域が自動的に決定されるようにしてもよい。例えば、撮影画像のうちから人物の顔等を検出し、人物の顔等が位置している領域を注目領域としてもよい。

制御部１０６は、ＡＦ評価値と注目領域情報とに基づいて、注目領域に位置する被写体に合焦させるために必要な、光学機構部１０１１に対しての制御量を決定する。制御部１０６は、決定した制御量で光学機構部１０１１が制御されるように、駆動部１０３を制御する。このようにして行われるＡＦ動作（オートフォーカス制御、オートフォーカス処理）は、被写体に合焦するまで毎フレーム繰り返し行われる。

信号処理部１０４は、撮像素子１０２から出力されるデジタル画像信号に対して、例えば画質補正処理を行うことにより、カメラスルー画像信号を生成する。信号処理部１０４は、生成したカメラスルー画像信号を、制御部１０６を介して画像表示部１０９に送信する。画像表示部１０９には、カメラスルー画像信号に応じたカメラスルー画像（ライブビュー画像）が表示される。ユーザは、画像表示部１０９に表示されたカメラスルー画像を目視しつつ、画角合わせ（フレーミング）を行うことができる。

カメラスルー画像が画像表示部１０９に表示されている状態で、操作部１０８のうちのシャッタレリーズボタンが押下されると、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、駆動部１０３を介して撮像素子１０２を制御することにより、撮像素子１０２から１フレーム分の撮像信号（デジタル画像信号）を信号処理部１０４に送信させる。信号処理部１０４は、撮像素子１０２から送信された１フレーム分のデジタル画像信号に対して例えば画質補正処理を施し、画質補正処理後のデジタル画像信号（画像データ）を圧縮伸長部１０５に送信する。

圧縮伸長部１０５は、画像データに対して圧縮符号化の処理を施すことにより、符号化画像データを得る。圧縮伸長部１０５によって得られた符号化画像データは、制御部１０６を介して画像記録部１１０に送信される。こうして、撮像された静止画像の画像ファイルが、画像記録部１１０に記録される。

画像記録部１１０に記録された画像ファイルを再生する際には、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、操作部１０８からの操作入力に応じて選択された画像ファイルを、画像記録部１１０から読み出す。そして、制御部１０６は、画像記録部１１０から読み出した画像ファイルを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、画像ファイルに対して伸長復号化の処理を施すことにより、復号化画像データを得る。制御部１０６は、圧縮伸長部１０５によって得られた復号化画像データを、画像表示部１０９に送信する。画像表示部１０９は、復号化画像データに応じた静止画像を表示する。

一方、動画像データを記録する際には、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、駆動部１０３を介して撮像素子１０２を制御することによって、撮像素子１０２から順次出力されるデジタル画像信号を信号処理部１０４に順次入力させる。信号処理部１０４は、順次入力されるデジタル画像信号に対して所定の画像処理を順次行うことにより、画像データ、即ち、動画像データを生成する。信号処理部１０４によって生成される動画像データは、圧縮伸長部１０５に入力される。圧縮伸長部１０５は、動画像データに対して圧縮符号化の処理を施すことにより、符号化動画像データを得る。圧縮伸長部１０５によって得られる符号化動画像データは、制御部１０６を介して画像記録部１１０に順次転送され、動画像ファイルとして画像記録部１１０に記録される。

画像記録部１１０に記録された動画像ファイルを再生する際には、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、操作部１０８からの操作入力に応じて選択された動画像ファイルを、画像記録部１１０から読み出す。制御部１０６は、画像記録部１１０から読み出した動画像ファイルを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、動画像ファイルに対して伸長復号化の処理を施すことにより、復号化動画像データを得る。制御部１０６は、圧縮伸長部１０５によって得られた復号化動画像データを画像表示部１０９に送信する。画像表示部１０９は、復号化動画像データに応じた動画像を表示する。

図２は、本実施形態による撮像装置における撮像素子１０２の構造を示す斜視図である。
図２に示すように、撮像素子１０２は、第１のチップ２０と第２のチップ２１とを有しており、第２のチップ２１の上に第１のチップ２０が積層された積層型イメージセンサである。第１のチップ２０は、マトリックス状に配列された複数の画素部（画素）２０１を有しており、第１のチップ２０は、第２のチップ２１に対して光入射側に配置されている。即ち、第１のチップ２０は、第２のチップ２１に対して、光学像の受光側に位置している。第２のチップ２１には、後述する列走査回路２１３ａ及び２１３ｂと行走査回路２１２とを含む画素駆動回路（周辺回路）が形成されている。

画素部２０１が形成される第１のチップ２０と周辺回路が形成される第２のチップ２１とを別個にすれば、画素部２０１の製造プロセスと周辺回路の製造プロセスとを分離することができる。このため、画素部２０１が形成される第１のチップ２０と周辺回路が形成される第２のチップ２１とを別個にすれば、周辺回路における配線の細線化や高密度化等を実現することができ、撮像素子１０２の高速化、小型化、高機能化等を実現することができる。

図３は、本実施形態による撮像装置における撮像素子１０２の回路構成を示す図である。図３（ｂ）は、画素部２０１の回路構成を示すものである。
図３（ａ）に示すように、第１のチップ２０においては、画素部２０１が２次元マトリクス状に配列されている。画素部２０１は、水平方向（行方向）において、転送信号線２０３、リセット信号線２０４、行選択信号線２０５にそれぞれ接続されており、垂直方向（列方向）において、列信号線２０２ａ又は２０２ｂにそれぞれ接続されている。なお、列信号線２０２ａ及び２０２ｂの接続先の画素部２０１は、読み出し行によって異なっている。

図３（ｂ）に示すように、画素部２０１は、光電変換素子であるフォトダイオードＰＤと、転送トランジスタＭ１と、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、フローティングディフュージョンＦＤとを有している。トランジスタＭ１〜Ｍ４としては、例えば、ｎチャネル型のＭＯＳＦＥＴ（ＭＯＳ Ｆｉｅｌｄ−Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）が用いられている。

転送トランジスタＭ１のゲートには、転送信号線２０３が接続されている。リセットトランジスタＭ２のゲートには、リセット信号線２０４が接続されている。選択トランジスタＭ４のゲートには、行選択信号線２０５が接続されている。これら信号線２０３〜２０５は水平方向に延在しており、同一行に位置する画素部２０１が同時に駆動される。これによって、ライン順次動作型のローリングシャッタ又は全行同時動作型のグローバルシャッタの動作を実現することができる。更に、選択トランジスタＭ４のソースには、列信号線２０２ａ又は２０２ｂが接続されている。

フォトダイオードＰＤは、光電変換によって電荷を生成する。フォトダイオードＰＤのアノード側は接地されており、フォトダイオードＰＤのカソード側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がオン状態になると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送される。フローティングディフュージョンＦＤには寄生容量が存在するため、フローティングディフュージョンＦＤにはフォトダイオードＰＤから転送された電荷が蓄積される。

増幅トランジスタＭ３のドレインには電源電圧Ｖｄｄが印加され、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されている。増幅トランジスタＭ３は、フローティングディフュージョンＦＤに蓄積された電荷を電圧信号に変換する。選択トランジスタＭ４は、信号が読み出される画素部２０１を選択するためのものであり、選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは、列信号線２０２ａ又は２０２ｂに接続されている。

選択トランジスタＭ４がオン状態になると、フローティングディフュージョンＦＤに蓄積された電荷に対応する電圧信号が列信号線２０２ａ又は２０２ｂに出力される。リセットトランジスタＭ２のドレインには電源電圧Ｖｄｄが印加され、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２がオン状態になることによって、フローティングディフュージョンＦＤの電位は電源電圧Ｖｄｄにリセットされる。

第２のチップ２１には、カラムＡＤＣブロック２１１が備えられており、カラムＡＤＣブロック２１１は列信号線２０２ａ又は２０２ｂに接続されている。更に、第２のチップ２１には、行走査回路２１２、列走査回路２１３ａ及び２１３ｂ、タイミング制御回路２１４、水平信号線（出力手段）２１５ａ及び２１５ｂが備えられている。

タイミング制御回路２１４は、制御部１０６の制御下で、行走査回路２１２、列走査回路２１３ａ及び２１３ｂ、及び、カラムＡＤＣブロック２１１の動作タイミングを制御する。行走査回路２１２は各行の走査を行い、列走査回路２１３ａ及び２１３ｂはそれぞれ各列の走査を行う。

水平信号線２１５ａ及び２１５ｂは、列走査回路２１３ａ及び２１３ｂによってそれぞれ制御されるタイミングに応じて、カラムＡＤＣブロック２１１から出力される出力信号（画像信号）を信号処理部１０４に転送する。

なお、後述するように、水平信号線２１５ａに転送される画像信号は、ライブビュー表示用の画像信号、即ち、第１の画像信号として信号処理部１０４に出力される。一方、水平信号線２１５ｂに転送される画像信号は、ＡＦ用の画像信号、即ち、第２の画像信号として信号処理部１０４に出力される。なお、第２の画像信号は、ＡＦ動作の際にはＡＦ用、即ち、ＡＦ評価値の算出に用いられるが、高解像度の画像（後述する（Ａ＋Ｂ））を生成する際には、第１の画像信号と合成される対象となる。

図４は、本実施形態による撮像装置における読み出しの際の選択行の例を示す図である。
図４には、２次元マトリクス状に配された複数の画素部２０１のうちの８行×６列の画素部２０１が抜き出されて示されている。これらの画素部２０１は、ベイヤ配列となっている。本実施形態では、第１の画像信号の取得と第２の画像信号の取得とを同時に行うことができるように、第１の画像信号を取得する際の選択行と第２の画像信号を取得する際の選択行とがそれぞれ設定されている。第１の画像信号は、列信号線２０２ａに出力されるようになっている。一方、第２の画像信号は、列信号線２０２ｂに出力されるようになっている。

行番号１、２の行は、例えば、第２の画像信号を取得するための画素群（第２の画素群）が配された行である。行番号３〜８の行は、例えば、第１の画像信号を取得するための画素群（第１の画素群）が配された行である。

第２の画像信号は、ＡＦ動作の際にはＡＦ用に用いられるため、フレームレートを速くすることが重視される。このため、第２の画像信号は、間引き率が比較的高く設定される。一方、第２の画像信号は、ライブビュー表示用に用いられるため、画質が重視される。このため、第２の画像信号は、間引き率が比較的低く設定される。

第１の画像信号の取得においては、第１のフレームレートで第１の画素群が読み出される。一方、第２の画像信号の取得においては、第１のフレームレートより速い第２のフレームレートで第２の画素群が読み出される。

このように、本実施形態では、第１の画像信号を取得する際に読み出される行と、第２の画像信号を取得するために読み出される行とが別個に設定されている。このため、本実施形態によれば、異なる電荷蓄積時間、異なるデータサイズ、異なるフレームレートの第１の画像信号及び第２の画像信号を同時に取得することができる。

なお、ここでは、第２の画像信号を取得するための第２の画素群が行番号１，２の行に位置し、第１の画像信号を取得するための第１の画素群が行番号３〜８の行に位置する場合を例に説明したが、これに限定されるものではない。また、読み出しにおける間引き率も、適宜設定することができる。

列信号線２０２ａ又は２０２ｂに出力された電圧信号（アナログ信号）は、カラムＡＤＣブロック２１１においてアナログ信号からデジタル信号（画像信号）に変換される。

列走査回路２１３ａは、カラムＡＤＣブロック２１１から出力される第１の画像信号を、水平信号線２１５ａを介して信号処理部１０４に送信する。また、列走査回路２１３ｂは、カラムＡＤＣブロック２１１から出力される第２の画像信号を、水平信号線２１５ｂを介して信号処理部１０４に送信する。

ここでは、列信号線２０２ａと水平信号線２１５ａとを介して第１の画像信号を出力する経路を第１のチャンネル（ＣＨ１）と呼び、列信号線２０２ｂと水平信号線２１５ｂとを介して第２の画像信号を出力する経路を第２のチャンネル（ＣＨ２）と呼ぶ。

図５は、本実施形態による撮像装置の動作を示すタイムチャートである。
図５に示すように、垂直同期信号ＶＤによって撮像タイミングが規定されている。第１のチャンネルＣＨ１を経由して出力される第１の画像信号のフレームレートは固定であるが、第２のチャンネルＣＨ２を経由して出力される第２の画像信号のフレームレートは可変である。ここでは、ＡＦ動作の際における第２の画像信号のフレームレートは、第１の画像信号のフレームレートの４倍とする場合を例に説明するが、これに限定されるものではない。第１のチャンネルＣＨ１を経由して出力される第１の画像信号は、上述したようにライブビュー表示に用いられる。なお、ここでは、ライブビュー表示が常時行われる場合を例に説明する。図５において、第１の画像信号は符号Ａで表されており、第２の画像信号は符号Ｂで表されている。

タイミングＴ０からタイミングＴ１までの期間の長さは、第１の画像信号Ａの１フレームに相当する。タイミングＴ０からタイミングＴ１までの期間においては、第１のチャンネルＣＨ１を経由して出力される第１の画像信号Ａが取得される。タイミングＴ１より前の動作は、通常時の動作である。このように、通常時においては、第１の画像信号Ａの読み出しのみが行われる。図６（ａ）は、第１の画像信号Ａの例を示す概略図である。

タイミングＴ１において、操作部１０８のうちのレリーズボタンをユーザが半押しした場合、即ち、撮影準備の指示がユーザによって行われた場合には、以下のような動作に移行する。即ち、タイミングＴ１以降においては、第１のチャンネルＣＨ１を経由して出力される第１の画像信号Ａの取得は継続され、第２のチャンネルＣＨ２を経由して出力されるＡＦ用の画像信号、即ち、第２の画像信号Ｂの取得が開始される。図６（ｂ）は、第２の画像信号Ｂの例を示す概略図である。本実施形態では、第１の画像信号Ａに対応する画角と第２の画像信号Ｂに対応する画角とが同じに設定されている。タイミングＴ１以降においても、第１の画像信号Ａを用いたライブビュー表示が、タイミングＴ１より前と同様に継続されるため、ライブビュー表示の画面が不自然に変化してしまうことはない。

タイミングＴ１からタイミングＴ２までの期間においては、ＡＦ動作が行われる。第２のチャンネルＣＨ２を経由して出力されるＡＦ用の画像信号、即ち、第２の画像信号Ｂは、ＡＦ評価値算出部１０４１に入力される。ＡＦ評価値算出部１０４１は、第２の画像信号Ｂに基づいてＡＦ評価値を算出する。ＡＦ評価値算出部１０４１によって算出されたＡＦ評価値は、制御部１０６に伝達される。制御部１０６は、合焦状態であることをＡＦ評価値が示していない場合には、注目領域が合焦状態となるように、駆動部１０３及び光学機構部１１０１を介してフォーカスレンズを駆動する。このようなＡＦ動作は、ＡＦ評価値が、既定の値を上回り、合焦状態であることを示すようになるまで継続的に行われる。

タイミングＴ２において、ＡＦ評価値が合焦状態を示すようになった場合には、制御部１０６は、ＡＦ動作を終了させる。ＡＦ動作を終了させた後には、制御部１０６は、合焦確認用のライブビュー表示を行うための処理に移行する。なお、ＡＦ評価値が合焦状態を示すようになった場合には、電子音や合焦箇所の枠表示等によって、合焦したことをユーザに知らしめるが、ここではこれらの動作については省略する。

合焦確認用のライブビュー表示においては、第１の画像信号Ａと第２の画像信号Ｂとを合成することにより得られる画像（Ａ＋Ｂ）を、画像表示部１０９の表示画面に表示する。第２の画像信号Ｂが合成に用いられるため、タイミングＴ２以降においては、第２の画像信号Ｂのフレームレートを第１の画像信号Ａのフレームレートと同等に設定する。

タイミングＴ２以降において撮影される第１の画像信号Ａ及び第２の画像信号Ｂは、画像合成部１０４３によって合成され、これにより高解像度の表示用画像（Ａ＋Ｂ）が得られる（図５の（Ａ＋Ｂ））。こうして得られた高解像度の画像（表示用画像）（Ａ＋Ｂ）は、画像表示部１０９の表示画面にライブビュー表示される。図６（ｃ）は、第１の画像信号Ａと第２の画像信号Ｂとを合成することにより得られる表示用画像（Ａ＋Ｂ）の例を示す概略図である。画像表示部１０９に高解像度の画像（Ａ＋Ｂ）が表示されるため、かかる高解像度の画像（Ａ＋Ｂ）を観察することによってユーザは合焦状態を正確に確認することができる。

このように、制御部１０６は、通常時のライブビュー表示においては、第１の画像信号Ａに応じた画像を画像表示部１０９の表示画面に表示させる。通常時のライブビュー表示においては、第２の画像信号Ｂの取得は行われず、ＡＦ制御も行われない。ＡＦ動作の際には、制御部１０６は、第２の画像信号Ｂを用いてＡＦ制御を行うとともに、第１の画像信号Ａに応じた画像を画像表示部１０９の表示画面に表示する。ＡＦ動作の後に行われる合焦確認の際には、制御部１０６は、第１の画像信号Ａと第２の画像信号Ｂとを合成することにより得られる高解像度の画像（Ａ＋Ｂ）を画像表示部１０９の表示画面に表示させる。

このように、本実施形態では、ＡＦ制御を行う際においては、第２の画像信号Ｂを用いてＡＦ動作を行いつつ、第１の画像信号Ａを用いてライブビュー表示を行う。そして、合焦確認を行う際においては、第１の画像信号Ａと第２の第２の画像信号Ｂとを合成することによって得られる高解像度の画像（Ａ＋Ｂ）を表示する。高解像度の画像（Ａ＋Ｂ）が表示されるため、合焦確認を正確に行うことができる。しかも、合焦確認用の高解像度の画像（Ａ＋Ｂ）を表示する際に、全体表示が部分表示に切り替わってしまうことはない。また、合焦用の高解像度の画像（Ａ＋Ｂ）を表示する際に、大きなタイムラグが生じてしまうこともない。このように、本実施形態によれば、合焦状態の確認を円滑且つ正確に行い得る撮像装置を提供することができる。

なお、上述した特許文献１では、解像度の低い画像の一部を拡大したにすぎないため、合焦状態か否かを必ずしも十分に正確に確認し得ない。また、特許文献２では、液晶モニタの画面に表示される画像が全体画像から部分画像に変化してしまうため、フレーミングを確認することができなくなってしまう。

図７は、本実施形態による撮像装置の動作を示すフローチャートである。なお、図７に示す動作は、制御部１０６の制御下において実行される。

カメラ１００の電源がオン状態に設定され、操作部１０８からの操作入力によってカメラ１００が撮影モードに設定されると、制御部１０６は、上記のようにして、ライブビュー表示用の撮像、即ち、第１の画像信号Ａの取得を開始する（ステップＳ７０１）。ライブビュー表示用の撮像においては、図４を用いて上述したように、第１の画像信号Ａを取得するための選択行に位置する画素部２０１からの画像信号、即ち、第１の画像信号Ａが読み出される。なお、第１の画像信号Ａは、上述したように、第１のチャンネルＣＨ１を経由して出力される。

ステップＳ７０２では、第１の画像信号Ａに対して所定の画像処理を施すことにより、ライブビュー表示用の画像を生成する。こうして生成されたライブビュー表示用の画像は、画像表示部１０９の表示画面に表示される。

ステップＳ７０３では、制御部１０６は、操作部１０８のうちのレリーズボタンが半押し状態となったか否かを検出する。レリーズボタンが半押し状態になると、ＳＷ１（図示せず）がオン状態となる。レリーズボタンが半押し状態でない場合、即ち、ＳＷ１がオン状態でない場合には（ステップＳ７０３においてＮＯ）、ステップＳ７０１に戻り、ライブビュー表示用の撮像、即ち、第１の画像信号Ａの取得が継続される。

レリーズボタンが半押しの状態、即ち、ＳＷ１がオンの状態は、静止画の撮影を行うための準備を行うことを撮影者がカメラに指示していることを意味する。このため、レリーズボタンが半押しとなった場合には（ステップＳ７０３においてＹＥＳ）、制御部１０６は、最適な状態で静止画を撮影し得るようにカメラ１００を制御し、ステップＳ７０４に移行する。

ステップＳ７０４では、制御部１０６は、ライブビュー表示用の撮像、即ち、第１の画像信号Ａの取得と、ＡＦ用の撮像、即ち、第２の画像信号Ｂの取得とを同時に実行する。図４を用いて上述したように、第１の画像信号Ａは、第１の画像信号Ａを取得するための選択行に位置する画素部２０１から読み出され、第２の画像信号Ｂは、第２の画像信号Ｂを取得するための選択行に位置する画素部２０１から読み出される。

ステップＳ７０５では、第１の画像信号Ａに対して所定の画像処理が施され、これにより、ライブビュー表示用の画像が生成される。こうして生成されたライブビュー表示用の画像は、画像表示部１０９の表示画面に表示される。

ステップＳ７０６では、制御部１０６は、ＡＦ動作を行う。具体的には、第２の画像信号Ｂを用いて、ＡＦ評価値算出部１０４１においてＡＦ評価値の算出が行われる。制御部１０６は、ＡＦ評価値に応じた制御信号を駆動部１０３に出力することにより、駆動部１０３と光学機構部１１０１とを介してフォーカスレンズを駆動する。図５を用いて上述したように、第２の画像信号Ｂのフレームレートは、第１の画像信号Ａのフレームレートよりも速く設定することができる。ステップＳ７０６においては、第１の画像信号Ａの１フレームの間に、第２の画像信号Ｂの取得が複数回行われる。なお、ここでは、繰り返し行われる第２の画像信号Ｂの取得についての詳細な説明は、省略することとする。

ステップＳ７０７では、制御部１０６は、合焦状態になったか否かを確認する。合焦状態になっていない場合には（ステップＳ７０７においてＮＯ）、ステップＳ７０４に戻り、ライブビュー表示及びＡＦ動作が継続される。一方、合焦状態となった場合には（ステップＳ７０７においてＹＥＳ）、ステップＳ７０８に移行する。

ステップＳ７０８では、制御部１０６は、第２の画像信号Ｂを取得する際のフレームレートを調整する。具体的には、制御部１０６は、第２の画像信号Ｂのフレームレートを、第１の画像信号Ａのフレームレートと同等に設定する。
ステップＳ７０９においては、制御部１０６は、第１の画像信号Ａの取得と第２の画像信号Ｂの取得とを同時に行う。

ステップＳ７１０では、制御部１０６は、画像合成部１０４３によって第１の画像信号Ａと第２の画像信号Ｂとを合成する。第１の画像信号Ａを取得する際に読み出される画素部２０１と第２の画像信号Ｂを取得する際に読み出される画素部２０１とは、互いに補完する関係にあるため、合成後の画像（Ａ＋Ｂ）は、間引きが行われていない高解像度の画像となる。

ステップＳ７１１では、ステップＳ７１０において合成された画像に対して所定の画像処理を行い、合焦確認用のライブビュー画像を生成する。こうして生成された合焦確認用のライブビュー画像は、画像表示部１０９の表示画面に表示される。間引きが行われていない高解像度の画像（Ａ＋Ｂ）が合焦確認用のライブビュー画像として表示される、合焦状態の確認を正確に行うことができる。

ステップＳ７１２では、合焦確認用のライブビュー表示を終了するか否かを、制御部１０６が判断する。合焦確認用のライブビュー表示を終了しない場合には（ステップＳ７１２においてＮＯ）、ステップＳ７０９に戻り、第１の画像信号Ａと第２の画像信号Ｂの取得及び合焦確認用のライブビュー表示を再度行う。合焦確認用のライブビュー表示を終了する場合には（ステップＳ７１２においてＹＥＳ）、撮影の動作を終了する。

このように、本実施形態では、合焦確認用の画像を表示する際には、第１の画像信号Ａと第２の第２の画像信号Ｂとを合成することによって得られる高解像度の画像（Ａ＋Ｂ）を表示する。高解像の画像（Ａ＋Ｂ）が表示されるため、合焦状態の確認を正確に行うことができる。しかも、合焦確認用の高解像度の画像（Ａ＋Ｂ）を表示する際に、全体表示が部分表示に切り替わってしまうことはない。また、合焦用の高解像度の画像（Ａ＋Ｂ）を表示する際に、大きなタイムラグが生じてしまうこともない。このように、本実施形態によれば、合焦状態の確認を円滑且つ正確に行い得る撮像装置を提供することができる。

［第２実施形態］
第２実施形態による撮像装置及びその制御方法を図８乃至図１０を用いて説明する。図１乃至図７に示す第１実施形態による撮像装置及びその制御方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

本実施形態による撮像装置は、第１の画像信号Ａに対応する画角と第２の画像信号Ｂに対応する画角とが異なっているものである。

図８は、本実施形態による撮像装置の動作を示すタイムチャートである。
図８に示すように、垂直同期信号ＶＤによって撮像タイミングが規定されている。本実施形態においても、第１実施形態と同様に、第１の画像信号Ａのフレームレートは固定であるが、第２の画像信号Ｂのフレームレートは可変である。ここでは、ＡＦ動作の際における第２の画像信号Ｂのフレームレートを、第１の画像信号Ａのフレームレートの８倍とする場合を例に説明するが、これに限定されるものではない。第１実施形態と同様に、第１の画像信号Ａは、ライブビュー表示に用いられる。

タイミングＴ１より前においては、第１実施形態と同様に、第１の画像信号Ａの読み出しが行われる。図９（ａ）は、第１の画像信号Ａの例を示す概略図である。

タイミングＴ１において、ユーザが操作部１０８のうちのレリーズボタンを半押しした場合、即ち、撮影準備の指示がユーザによって行われた場合には、以下のような動作に移行する。即ち、本実施形態においても、第１実施形態と同様に、タイミングＴ１以降においては、第１の画像信号Ａの取得が継続され、第２の画像信号Ｂの取得が開始される。図９（ｂ）は、第２の画像信号Ｂの例を示す概略図である。図９（ｂ）に示すように、本実施形態では、第１の画像信号Ａに対応する画角と第２の画像信号Ｂに対応する画角とが異なっている。より具体的には、本実施形態では、第２の画像信号Ｂに対応する画角が、第１の画像信号Ａに対応する画角より小さく設定されている。第２の画像信号Ｂに対応する画角、即ち、第２の画像信号Ｂの読み出し領域は、ピントを合わせる対象となる被写体である注目被写体を含む領域である注目被写体領域（注目領域）とする。

本実施形態では、第２の画像信号Ｂに対応する画角が第１の画像信号Ａに対応する画角よりも小さく設定されているため、本実施形態における第２の画像信号Ｂのデータ量は、第１実施形態における第２の画像信号Ｂのデータ量よりも小さくなっている。このため、本実施形態では、第２の画像信号Ｂを取得する際のフレームレートを、第１実施形態の場合よりも速くすることができる。タイミングＴ１以降においても、第１実施形態と同様に、第１の画像信号Ａを用いてライブビュー表示が行われる。タイミングＴ１以降においてもタイミングＴ１以前と同様のライブビュー表示が行われるため、第１実施形態と同様に、ライブビュー表示の画面が不自然に変化してしまうことはない。

タイミングＴ１からタイミングＴ２までの期間においては、第１実施形態と同様に、ＡＦ動作が行われる。第２の画像信号Ｂは、ＡＦ評価値算出部１０４１に入力される。ＡＦ評価値算出部１０４１は、第２の画像信号Ｂに基づいてＡＦ評価値を算出する。ＡＦ評価値算出部１０４１によって算出されたＡＦ評価値は、制御部１０６に伝達される。制御部１０６は、合焦状態であることをＡＦ評価値が示していない場合には、注目領域が合焦状態となるように、駆動部１０３及び光学機構部１１０１を介してフォーカスレンズを駆動する。このようなＡＦ動作は、ＡＦ評価値が、既定の値を上回り、合焦状態であることを示すようになるまで継続的に行われる。

タイミングＴ２において、ＡＦ評価値が合焦状態を示すようになった場合には、制御部１０６は、第１実施形態と同様に、ＡＦ動作を終了させる。ＡＦ動作を終了させた後には、制御部１０６は、合焦確認用のライブビュー表示を行うための処理に移行する。

合焦確認用のライブビュー表示においては、第１の画像信号Ａと第２の画像信号Ｂとを合成することにより得られる画像（Ａ＋Ｂ）を表示する。このため、タイミングＴ２以降においては、第２の画像信号Ｂを取得する際のフレームレートを第１の画像信号Ａを取得する際のフレームレートと同等に設定する。

タイミングＴ２以降において撮影される第１の画像信号Ａ及び第２の画像信号Ｂは、画像合成部１０４３によって合成され、これにより高解像度の画像（Ａ＋Ｂ）が得られる（図８の（Ａ＋Ｂ））。こうして得られた高解像度の画像（Ａ＋Ｂ）は、画像表示部１０９においてライブビュー表示される。図９（ｃ）は、第１の画像信号Ａと第２の画像信号Ｂとを合成することにより得られる表示用画像（Ａ＋Ｂ）の例を示す概略図である。図９（ｃ）に示すように、第２の画像信号Ｂに対応する画角の部分、即ち、注目領域が高解像度となっており、高解像度となった当該注目領域が拡大表示されている。注目領域が画像表示部１０９に高解像度で表示されるため、かかる高解像度の注目領域を観察することによってユーザは合焦状態の確認を正確に行うことができる。

なお、ここでは、解像度を向上させた注目領域を拡大表示する場合を例に説明したが、これに限定されるものではない。例えば、解像度を向上させた注目領域を拡大せずに表示してもよいし、解像度を向上させた注目領域のみを切り出して画像表示部１０９の表示画面いっぱいに表示するようにしてもよい。

図１０は、本実施形態による撮像装置の動作を示すフローチャートである。なお、図１０に示す動作は、制御部１０６の制御下において実行される。
まず、ステップＳ１００１からステップＳ１００３までの動作は、第１実施形態のステップＳ７０１からステップ７０３までの動作と同様であるため、説明を省略する。

レリーズボタンが半押しとなった場合には（ステップＳ１００３においてＹＥＳ）、ステップＳ１００４に移行する。
ステップＳ１００４においては、制御部１０６は、注目領域判別部１０４２によって注目領域情報を取得する。

ステップＳ１００５では、注目領域の画素部２０１から出力されるＡＦ用の画像信号、即ち、第２の画像信号Ｂを読み出すべく、制御部１０６は、駆動部１０３に対して読み出し領域の設定の指示を行う。なお、第２の画像信号Ｂは、上述したように、第２のチャンネルＣＨ２を経由して出力される。

ステップＳ１００６からステップＳ１０１１までは、第１実施形態のステップＳ７０４からステップ７０９までと同様であるため、説明を省略する。

ステップＳ１０１２では、制御部１０６は、画像合成部１０４３によって第１の画像信号Ａと第２の画像信号Ｂとを合成する。第１の画像信号Ａを取得する際に読み出される画素部２０１と第２の画像信号Ｂを取得する際に読み出される画素部２０１とは、注目領域において互いに補完する関係にあるため、合成後の画像における注目領域の部分は、間引きが行われていない画像となる。

ステップＳ１０１３では、ステップＳ１０１２において合成された画像に対して所定の画像処理を行い、合焦確認用のライブビュー画像を生成する。この際、解像度が向上した注目領域が拡大表示されるように、合焦確認用のライブビュー画像を生成する。こうして生成された合焦確認用のライブビュー画像は、画像表示部１０９の表示画面に表示される。注目領域が高解像度で表示され、しかも、注目領域が拡大表示されるため、ユーザは合焦状態の確認を正確に行うことができる。

ステップＳ１０１４は、第１実施形態のステップ７１２と同様であるため、説明を省略する。

このように、本実施形態では、合焦確認用の画像を表示する際には、第１の画像信号Ａと第２の画像信号Ｂとを合成することによって、注目領域を高解像度にし、しかも、注目領域を拡大表示する。しかも、合焦確認用の高解像度の画像（Ａ＋Ｂ）を表示する際に、全体表示が部分表示に切り替わってしまうことはない。また、合焦用の高解像度の画像（Ａ＋Ｂ）を表示する際に、大きなタイムラグが生じてしまうこともない。本実施形態においても、合焦状態の確認を円滑且つ正確に行い得る撮像装置を提供することができる。

なお、上記実施形態では、第２の画像信号Ｂを用いてＡＦ制御を行う場合を例として説明したが、撮影者自らがフォーカスを合わせるマニュアルフォーカス動作の場合においても、本発明を適用することができる。この場合には、第２の画像信号Ｂは、例えば、マニュアルフォーカスをアシストする処理のために用いられる。マニュアルフォーカスをアシストする処理としては、例えば、合焦枠の表示態様を変化させることによって合焦状態か否かをユーザに知らしめる処理等が挙げられる。

以上、本発明の実施の形態について説明したが、本発明は、これらの実施形態に限定されるものではなく、要旨を逸脱しない範囲で変更した様々な形態も本発明に含まれる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…光学鏡筒
１０２…撮像素子
１０３…駆動部
１０４…信号処理部
１０６…制御部
１０８…操作部
１０９…画像表示部
１０１０…撮影レンズ
１０１１…光学機構部
１０４１…ＡＦ評価値算出部
１０４２…注目領域判別部
１０４３…画像合成部

Claims (10)

1. 複数の画素を備え、前記複数の画素のうちの第１の画素群によって取得される第１の画像信号と、前記複数の画素のうちの第２の画素群によって取得される第２の画像信号とを出力する撮像手段と、
   前記第２の画像信号に基づく処理を行うとともに前記第１の画像信号に応じた第１の画像を表示画面に表示する第１の制御と、前記第１の画像信号と前記第２の画像信号とを合成することにより得られる第２の画像を前記表示画面に表示する第２の制御とを行い得る制御手段と
   を有することを特徴とする撮像装置。
2. 前記第２の画像信号に基づく前記処理は、オートフォーカス制御である
   ことを特徴とする請求項１記載の撮像装置。
3. 前記第２の画像信号に基づく前記処理は、マニュアルフォーカスのアシストである
   ことを特徴とする請求項１記載の撮像装置。
4. 前記第２の画像信号に対応する画角は、前記第１の画像信号に対応する画角よりも小さい
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記第２の画像信号に対応する前記画角は、合焦させる対象となる被写体を含む領域に対応する画角である
   ことを特徴とする請求項４に記載の撮像装置。
6. 第１の制御における前記第２の画像信号のフレームレートは、前記第１の画像信号のフレームレートよりも速い
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記第２の画像を表示する際には、前記第１の画像信号と第２の画像信号とを合成することによって解像度が向上した部分を拡大して表示する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 複数の画素を備え、前記複数の画素のうちの第１の画素群によって取得される第１の画像信号と、前記複数の画素のうちの第２の画素群によって取得される第２の画像信号とを出力する撮像手段を含む撮像装置の制御方法であって、
   前記第２の画像信号に基づいた処理を行うとともに前記第１の画像信号に応じた第１の画像を表示画面に表示するステップと、
   前記第１の画像信号と前記第２の画像信号とを合成することにより得られる第２の画像を前記表示画面に表示するステップと
   を有することを特徴とする撮像装置の制御方法。
9. 請求項８に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
10. 請求項８に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記録媒体。

Images