JP2008035278A - 画素情報読出方法および撮像装置 - Google Patents

Abstract

【課題】撮像した画像の画素情報を読み出す際、上部から下部方向に順次読み出すと、画像全体の傾向を把握するための画像処理パラメータを取得するのに時間がかる。
【解決手段】読出部２０は、複数のサブ領域に分割された、撮像素子が２次元配置される画素領域１０の画素情報を順次読み出す際、所定の間隔で各サブ領域の注目画素の画素情報を順次挿入して読み出す。制御部３０は、読出部２０により読み出された、所定の間隔で挿入された注目画素の画素情報からフレームを生成する。制御部３０は、生成したフレームから撮像した画像の傾向を把握し、その傾向に応じて所定の適応制御を行う。
【選択図】図１

Description

本発明は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子から画素情報を読み出す画素情報読出方法および撮像装置に関する。

ＣＭＯＳイメージセンサは、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話のカメラおよびビデオチャット用のＷｅｂカメラなどに搭載され、広く普及してきている。デジタルスチルカメラなどには、露光時間制御やホワイトバランス制御、手振れ補正のための動き検出など、各種適応制御が搭載されたものがある。このような適応制御をするには、画像処理パラメータとして画面全体から明るさや色に関する情報などを取得する必要がある。

特許文献１は、走査時に画素配列の行方向または列方向に対して画素飛び越し走査を複数回繰り返す撮像装置を開示する。
特開２００２−９４８８３号公報

しかしながら、ＣＭＯＳイメージセンサなどで撮像した画像の画素情報を読み出す際、上部から下部方向に順次読み出すと、画像全体の傾向を把握するために下部の画素情報も必要となるため、画像処理パラメータを取得するのに時間がかかってしまう。各種の適応制御を発動するタイミングは、読み出した画像全体から画像処理パラメータを取得し、それを参照して補償値を生成した以降となる。上記特許文献１は飛び越し走査について開示するが、ライン単位であるため画像全体の傾向を把握するために必要な時間の短縮は限定的である。

本発明はこうした状況に鑑みなされたものであり、その目的は、各種の適応制御を行うために必要な画像処理パラメータを早期に取得し、適応制御をするタイミングを早くすることができる画素情報読出方法および撮像装置を提供することにある。

上記課題を解決するために、本発明のある態様の画素情報読出方法は、撮像素子が２次元配置された画素領域を、複数のサブ領域に分割し、画素領域の画素情報を順次読み出す際、所定の間隔で各サブ領域の注目画素の画素情報を順次挿入して読み出す。「サブ領域」のフレームレートは異なっていてもよく、フレームレートの異なる複数のサブ領域から画像情報を読み出すよう構成してもよい。

この態様によると、画素領域の画素情報を全部読み出す前に、各サブ領域の注目画素の画素情報から画面全体にわたる情報を取得することができ、各種の適応制御を行うために必要な画像処理パラメータを早期に取得することができる。よって、適応制御を開始するタイミングを早くすることができる。

所定の間隔で挿入された注目画素の画素情報を読み出してフレームを生成した後、始めのサブ領域から注目画素の画素情報を再び挿入し、画素領域の終わりの画素情報を読み出すまでに注目画素の画素情報で構成された複数のフレームを生成してもよい。注目画素の露光時間は、他の画素の露光時間より短く設定してもよい。これによれば、一単位の撮像で低解像度のフレームを複数生成することができ、動いている被写体の撮像画像に対する歪み補償などに利用することもできる。

画素領域は、複数色の撮像素子が規則的に配置されており、画素領域の規則的な配置を維持しながら画素情報が読み出されるよう各サブ領域の縦横の画素数を設定してもよい。複数色の撮像素子をベイヤー配列した場合、各サブ領域の縦横の画素数を奇数に設定してもよい。

本発明の別の態様は、撮像装置である。この装置は、撮像素子がｍ×ｎで２次元配置された画素領域と、複数のサブ領域に分割された画素領域の画素情報を順次読み出す際、所定の間隔で各サブ領域の注目画素の画素情報を順次挿入して読み出す読出部と、を備える。

この態様によると、画素領域の画素情報を全部読み出す前に、各サブ領域の注目画素の画素情報から画面全体にわたる情報を取得することができ、各種の適応制御を行うために必要な画像処理パラメータを早期に取得することができる。よって、適応制御を開始するタイミングを早くすることができる。

読出部により読み出された、所定の間隔で挿入された注目画素の画素情報からフレームを生成する制御部をさらに備えてもよい。読出部は、制御部によりフレームが生成された後、始めのサブ領域から注目画素の画素情報を再び挿入し、制御部は、画素領域の終わりの画素情報を読み出すまでに、注目画素の画素情報で構成された複数のフレームを生成してもよい。制御部は、生成したフレームから撮像した画像の傾向を把握し、その傾向に応じて所定の適応制御を行ってもよい。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、その記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、各種の適応制御を行うために必要な画像処理パラメータを早期に取得し、適応制御をするタイミングを早くすることができる。

図１は、本発明の実施形態における撮像装置１００の構成を示す。当該撮像装置１００は、画素領域１０、読出部２０および制御部３０を備える。画素領域１０は、ＣＭＯＳプロセスで構成された複数の撮像素子がｍ列×ｎ行（ｍ，ｎは自然数）でマトリクス状に２次元配列されている。

読出部２０は、垂直ドライバ２２および水平ドライバ２４を備え、画素領域１０から画素情報を順次読み出す。垂直ドライバ２２は、画素領域１０の行ごとに設けられた配線のいずれかを選択することにより、露光すべき行を選択する。水平ドライバ２４は、画素領域１０の列ごとに設けられた配線のいずれかを選択することにより、画素情報を読み出すべき列を選択する。よって、垂直ドライバ２２および水平ドライバ２４により特定の画素が選択され、その画素の撮像素子により光電変換された画素情報が制御部３０に読み出される。垂直ドライバ２２および水平ドライバ２４は、図示しないロジック回路で構成されたカウンタなどを備え、供給されるクロックにしたがい、行および列を選択していく。

制御部３０は、アナログ処理部３２およびデジタル処理部３４を備える。アナログ処理部３２は、図示しないＣＤＳ（Correlated Double Sampler） 、可変増幅器およびアナログデジタル変換器などを備える。デジタル信号に変換された画素情報は、デジタル処理部３４に出力される。デジタル処理部３４は、ＤＳＰ（Digital Signal Processor） などで構成される。以下、デジタル処理部３４について詳細に説明する。

図２は、本発明の実施形態におけるデジタル処理部３４の構成を示す。デジタル処理部３４は、画像メモリ３６、画像合成部３８、画像解析部４０、動き検出部４１、手振れ補正部４３、露光時間制御部４２、オートホワイトバランス制御部４４、オートフォーカス制御部４６、画像加工部４８およびサブ領域設定部５０を備える。デジタル処理部３４の構成は、ハードウエア的には、任意のＤＳＰ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像メモリ３６は、アナログ処理部３２から入力される画素情報を一時記憶する。画像メモリ３６は、複数のフレームメモリで構成されてもよい。画像合成部３８は、画像メモリ３６に記憶された、あるフレームの画素情報と他のフレームの画素情報とを合成し、画像メモリ３６に返す。画像解析部４０は、画像メモリ３６内の特定のフレームにおける画素情報を解析し、画面全体の傾向や特徴を示す画像処理パラメータを取得する。低解像度の画像からでも画面全体の傾向や特徴を把握することが可能であるため、後述するサブ領域の注目画素により構成されたフレームから画像処理パラメータを取得することができる。画像解析部４０は、その画像処理パラメータに基づいて、動き検出部４１、露光時間制御部４２、オートホワイトバランス制御部４４、オートフォーカス制御部４６およびサブ領域設定部５０を制御する。動き検出部４１は、画像解析部４０の解析結果を参照して、フレーム間における被写体や背景の動きを検出して、手振れを検出する。手振れ補正部４３は、動き検出部４１により検出された手振れに応じて、画像の切出し枠を移動させるなどの処理を行い、手振れを補正する。

露光時間制御部４２は、画像解析部４０の解析結果を参照して、画素領域１０の露光時間を制御する。すなわち、画素領域１０のフレームレートを制御する。より具体的には、読出部２０の垂直ドライバ２２が画素領域１０に配置された撮像素子を有効にして光量を蓄積すべき時間を制御する。したがって、画像解析部４０は、画像メモリ３６に記憶された特定のフレームから光量を推測するための情報を取得し、露光時間制御部４２に渡せばよい。

オートホワイトバランス制御部４４は、画像解析部４０の解析結果を参照して、ホワイトバランスを調整する。ホワイトバランス調整とは、色温度が異なる光源状態でも、白色を正確に白く映し出すように調整することである。ホワイトバランスを調整するための画像処理パラメータとして画面全体の色情報を用いることができる。画像解析部４０は、その色情報が解析されて求められた係数を、赤Ｒ、緑Ｇ、青Ｂのいずれか一つ以上の信号に掛けるよう画像加工部４８に指示することにより、ホワイトバランスを調整することができる。

オートフォーカス制御部４６は、画像解析部４０の解析結果を参照して、フォーカスを調整する。フォーカスを制御するには、ピントを合わすべき被写体を特定する必要があり、画面全体にわたる画素情報が必要である。ピントが合っているか否かは、画素情報の周波数成分を解析することにより判断することができ、オートフォーカス制御部４６は、その判断結果に基づいて、図示しないレンズの位置を制御する。

これら適応的な制御を行う動き検出部４１、露光時間制御部４２、オートホワイトバランス制御部４４およびオートフォーカス制御部４６は必ずしもすべて搭載する必要はなく、設計者が搭載すべき制御系を任意に選択することができる。したがって、デジタル処理部３４には動き検出部４１、露光時間制御部４２、オートホワイトバランス制御部４４およびオートフォーカス制御部４６のいずれか一つ以上が設けられればよい。

画像加工部４８は、画像メモリ３６に記憶された画素情報に所定の加工を施し、またはそのまま、符号化画像データＣＩとして外部に出力する。例えば、ハードディスクや取り外し可能なＩＣ記録メディアなどの外部記録メディアに出力する。所定の加工とは、上述したホワイトバランス調整やその他の一般的な画像処理を行うことである。

サブ領域設定部５０は、画像解析部４０の解析結果、例えば画面全体の明るさなどを参照して、画素領域１０を後述する複数のサブ領域に分割する際の各サブ領域の大きさおよび注目画素を設定する。サブ領域設定部５０は、サブ領域を構成する画素数を適応的に変化させてもよい。例えば、サブ領域を構成する画素数をＩフレーム内で変化させたり、フレームごとに変化させてもよい。サブ領域設定部５０は、サブ領域の読み出し順を適応的に変化させてもよい。画面下部に被写体が存在すれば、フレーム内の下部のサブ領域から読み出すなど、これらの適応的な設定により柔軟な処理が可能となる。なお、各サブ領域の大きさや注目画素を適応的に変化させない場合、サブ領域設定部を設ける必要がない。その場合、読出部２０にサブ領域の大きさや注目画素をあらかじめ設定しておけばよい。

図３は、画素領域１０の画素単位の便宜的なアドレスを定義した図である。以下、図３に示すように、画素領域１０が１２列×１２行の１４４画素を持つ例を説明する。各画素に記述された数字はデータの内容を示すものでなく、各画素の位置を特定するための便宜的なアドレスを示す。

図４は、画素領域１０の画素情報の一般的な読出方法を説明するための図である。一般的にＣＭＯＳイメージセンサでは、画素領域１０の一番上の行から一番下の行まで順番に画素情報が読み出される。また、各行の画素情報は、一番左から一番右まで順次読み出される。よって、図３に示した画素領域１０の一番左上の画素から一番右下の画素まで順次その画素情報が読み出される。図４は、画素情報を読み出すべき画素の順番を上述した便宜的なアドレスで示したものである。アドレス１、アドレス２、アドレス３といったようにアドレスを示す数字の順番と同様に、画素情報が順次読み出される。

図５は、本発明の実施形態における画素領域１０を複数のサブ領域に分割した様子を示す図である。サブ領域は、画素領域１０内にて、ｘ列×ｙ行（ｘ，ｙは２以上の自然数）で２次元配列された画素群であり、画素領域１０内に複数設定される。図５では、画素領域１０は、３列×３行の９画素を持つ１６のサブ領域に分割されている。

各サブ領域は、２列×２行の大きさ以上に設定する必要がある。各サブ領域の大きさは、大きくするほど撮像した画像全体の傾向および特徴を早く把握することができるが、解像度の低いフレームが生成されることになる。一方、小さくするとその逆の作用となる。これらはトレードオフの関係にあり、設計者は実験やシミュレーションなどにより求めた大きさに設定することができる。また、サブ領域設定部５０を設ける場合、サブ領域設定部５０は、画像の明るさなどの各種の条件に基づき、サブ領域の大きさを動的に変更することができる。

図６は、本実施形態に係る撮像装置１００の第１実施例における読出方法を説明するための図である。第１実施例における読出方法は、サブ領域内で指定された画素（以下、注目画素という。）の画素情報を読み出し、次にそのサブ領域内の画素を読み出さず、次のサブ領域内の注目画素の画素情報を順次読み出していくものである。

まず、各サブ領域の注目画素がその中央の画素に設定される。画素領域１０の一番左上に設定された第１サブ領域Ｓ１の注目画素は、中央のアドレス１４に設定される。読出部２０は、すべてのサブ領域の注目画素を順次読み出していく。第１サブ領域Ｓ１のアドレス１４の画素情報、その右隣りのサブ領域のアドレス１７の画素情報といった順番で読み出していき、一番右下のサブ領域のアドレス１３１の画素情報まで読み出す。ここまで読み出されると、制御部３０は、撮像領域全体の画像を取得することができる。取得した画像は低解像度であるが、その画像全体の傾向または特徴を把握するには十分である。

次に、各サブ領域の注目画素が変更する。図６では、各サブ領域の一番左上の画素に設定される。同様に、読出部２０は、すべてのサブ領域の注目画素を順次読み出していく。すなわち、第１サブ領域Ｓ１のアドレス１の画素情報から順番に、一番右下のサブ領域のアドレス１１８の画素情報まで読み出す。以下、同様にすべてのサブ領域の注目画素の画素情報を読み出すと、注目画素を変更して順次、画素情報を読み出していく。ＣＭＯＳイメージセンサでは、垂直ドライバ２２および水平ドライバ２４内のロジック回路を調整することにより、このようなランダムアクセスが容易に可能である。すなわち、垂直ドライバ２２および水平ドライバ２４は、指定されたアドレスをランダムに選択することができる。

図７は、第１実施例における読出方法により生成されたフレームを示す図である。第１フレームｆ１は、各サブ領域の中央の画素を注目画素に設定し、すべてのサブ領域の注目画素の画素情報を組み立てて生成したフレームである。同様に、第２フレームｆ２は、各サブ領域の左上の画素を注目画素に設定し、すべてのサブ領域の注目画素の画素情報を組み立てて生成したフレームである。各サブ領域は９画素で構成されているため、同様の要領でフレームを生成すると、画素領域１０を用いた一単位の撮像で９枚のフレームを生成することができる。

画像合成部３８は、画像メモリ３６を用いて、各フレームの画像を順番に合成していく。具体的には、現在のフレームの画素間に新たに生成されたフレームの画素情報を補間していく。新たなフレームを合成するにしたがって、解像度が段階的に向上していく。第９フレームｆ９を合成した時点で、画素領域１０で撮像される本来の解像度と同じ解像度の画像となる。

図８は、サブ領域における画素情報の読出順を示す図である。図８（ａ）は、３列×３行の９画素を持つサブ領域を示し、サブ領域の画素単位の便宜的なアドレスを定義する。図８（ｂ）は、サブ領域の画素情報の読出順をアドレスで示す。図８の例では、まず、中央に位置するアドレス５の画素情報を読み出し、次に、対角の位置にあるアドレス１、アドレス９、アドレス３およびアドレス７の順に画素情報を読み出す。最後に、残ったアドレス２、アドレス８、アドレス４およびアドレス６の順に画素情報を読み出す。

なお、この読出順番すなわち注目画素の設定順番は、任意に設定することができる。例えば、人間の視覚的特性を考慮して、感度の高い方向すなわち横方向を先に読み出してもよい。具体的には、中央のアドレス５の画素情報を読み出してから、アドレス１、アドレス２、アドレス３、アドレス７、アドレス８、アドレス９、アドレス４およびアドレス６の順番で読み出してもよい。また、単純にアドレス１から順番に読み出してもよい。

図９は、画素情報を読み出す際における複数のサブ領域の指定順を示す図である。図９（ａ）は、画素領域１０を９分割し、各サブ領域を便宜的に数字で定義する。図９（ｂ）は、サブ領域の指定順を数字で示す。図９の例では、まず、中央に位置する第５サブ領域Ｓ５が指定され、次に、対角の位置にある第１サブ領域Ｓ１、第９サブ領域Ｓ９、第３サブ領域Ｓ３および第７サブ領域Ｓ７の順に指定される。最後に、残った第２サブ領域Ｓ２、第８サブ領域Ｓ８、第４サブ領域Ｓ４および第６サブ領域Ｓ６の順に指定される。各サブ領域は、指定に対応して注目画素の画素情報が読み出される。なお、図８で説明したサブ領域内における画素情報の読出順に関する考察が、サブ領域の指定順に関しても当てはまる。

以上説明したように第１実施例によれば、画素領域１０を複数のサブ領域に分割し、サブ領域の注目画素を基に撮像領域全体にわたる画像を早期に生成することにより、露光時間制御などの各種の適応制御の開始タイミングを早めることができる。すなわち、当該生成された画像は、低解像度であるが撮像領域全体にわたる画像であるため、画像全体の傾向や特徴を把握することができ、それを踏まえて各種の制御を行うことができる。この点、撮像領域を順次読み出す方式では、画像全体の傾向や特徴を把握するために、本実施例の数倍の時間がかかる。特に、暗所撮影のように光量が少ない状況で露光時間を長くした場合、それらを把握するための時間が長くなり、本実施例による改善効果は大きい。

また、ローリングシャッタ方式を採用することによる発生する動いている被写体に対する歪みを低減することができる。以下、この点についてより詳細に説明する。
図１０は、ローリングシャッタ方式を説明するための図である。ローリングシャッタ方式は、走査ラインごとに順次シャッタを切る方式であり、センサ構造が簡単で集積度を上げることができる。走査ラインごとに順次シャッタを切る方式であるため、画素領域の行ごとに露光開始の時間が異なる。図１０に示すように、各行の画素情報の読出時間が重ならないように、各行の露光時間の開始時刻を順次遅らせている。各行の露光時間は一定にする必要があるからである。

図１１は、ローリングシャッタ方式による動体歪みを説明するための図である。図１１（ａ）は、被写体を示す。図１１（ｂ）は、当該被写体を撮像した画像を示す。図１１（ａ）にて、三角状の物体は静止している。棒状の物体は右方向に移動している。図１１（ｂ）に示すように、動いている被写体をローリングシャッタ方式で撮像すると、画面の上部と下部で露光開始タイミングが異なるため、当該被写体に対して歪みが発生する。すなわち、動いている棒状の物体の上部ａでは露光開始時刻が早く、下部ｂでは露光開始時刻が遅くなるため、棒状の物体の下部が、動いている方向に歪んで撮像されてしまう。

図１２は、本実施例の読出方式による動体歪みを説明するための図である。図１２（ａ）は、被写体を示す。図１２（ｂ）は、当該被写体を撮像した画像を示す。図１２（ａ）は、上述した図１１（ａ）と同様である。上述したように本実施例の読出方式は、一単位の撮像で複数のフレームを生成する。図１２（ｂ）は、上記図７で説明した複数のフレームを重ね合わせた画像を示す。図１２（ｂ）は、９枚のフレームのうち、３枚のフレームすなわち第１フレームｆ１、第２フレームｆ２および第３フレームｆ３に撮像された棒状の物体を示す。各フレームの露光開始タイミングが異なるため、被写体が動いている方向にフレームが進むごとに被写体にズレが生じる。図１２（ｂ）では、分かりやすくするためにズレを大きく描いているが実際は極めて小さいズレである。

図１１（ｂ）と比較し、被写体の形状自体の歪みが大きく低減していることが分かる。各フレームにおける被写体の上部の露光開始時刻と下部の露光開始時刻の差を小さくすることができるためである。画像解析部４０は、動いている物体が撮像された場合、上述した処理により得られた複数のフレームを参照して歪みを推定し、その歪みを補償するよう画像加工部４８に補償量を設定することもできる。このような補償アルゴリズムは、一般的なものを利用することができる。また、画像解析部４０は、歪みの程度が大きいフレームを合成しないよう画像合成部３８に指示してもよいし、歪みの程度が小さいフレームだけを合成して画像を生成するよう指示してもよい。手振れにより歪みが発生した場合も同様に処理することができる。

図１３は、本実施形態に係る撮像装置１００の第２実施例における読出方法を説明するための図である。第２実施例における読出方法は、画素領域１０の画素情報を順次読み出す際、所定の間隔でサブ領域内の注目画素の画素情報の読み出しを順次挿入するものである。所定の間隔は、各サブ領域の大きさを設定する場合と同様に、設計者が実験やシミュレーションなどにより求めた間隔に設定することができる。サブ領域設定部５０によりこの間隔も適応的に制御されてもよい。

画素領域１０を複数のサブ領域に分割する点、各サブ領域に注目画素を設定する点は第１実施例と同様である。第２実施例でも、画素領域１０が３列×３行の９画素を持つ１６のサブ領域に分割され、各サブ領域の注目画素がその中央の画素に設定される例で説明する。図１３にて、読出部２０は、画素領域１０のアドレス１からアドレス１４４まで順に画素情報を読み出していく。その画素情報のストリームの中に３画素に１回、サブ領域の注目画素の画素情報を読み出して挿入する。挿入される注目画素の画素情報も順次切り換えられる。

図１３では、読出部２０は、アドレス１、アドレス２、アドレス３の画素情報を順次読み出し、第１サブ領域Ｓ１の注目画素であるアドレス１４の画素情報を読み出す。次に、アドレス４、アドレス５、アドレス６の画素情報を順次読み出し、第２サブ領域Ｓ２の注目画素であるアドレス１７の画素情報を読み出す。また、アドレスを順次切り換えて画素情報を読み出して行く際、サブ領域の注目画素にあたった場合、そのアドレスの画素情報の読み出しをスキップする。例えば、アドレス１３の次は本来アドレス１４であるが、アドレス１４は注目画素であるため、その画素をスキップしてアドレス１５の画素情報を読み出す。

本実施例では、サブ領域の数が１６であり、３画素に１画素、注目画素の画素情報を読み出しているため、読出部２０がアドレス４８の画素情報を読み出し、次の画素情報を読み出した時点で注目画素の画素情報で構成されたフレームが完成する。当該フレームが完成すると、最初のサブ領域に戻り、その注目画素から画素情報が再度挿入される。したがって、画素領域１０の最後のアドレス１４４の画素情報を読み出し、次の画素情報を読み出した時点で、注目画素の画素情報で構成された４枚のフレームが完成する。サブ領域の注目画素は、他の画素より読み出される回数が多くなるため、当該注目画素の露光時間は、他の画素の露光時間より短く設定される。上述した例では、１／４に設定される。すなわち、サブ領域の注目画素のフレームレートは、他の画素のフレームより高く設定されることになる。

図１４は、第２実施例における読出方法により生成されたフレームを示す図である。一単位の撮像で、撮像領域の解像度として設計または設定された解像度より低い解像度の複数のフレームと、設計または設定された解像度の、注目画素を除く画像のフレームｆｅｘが生成される。この注目画素を除く画像のフレームｆｅｘは、注目画素より露光時間を長くできるため、注目画素で構成されたフレームより低ノイズなものとなる。

画像合成部３８は、画像メモリ３６を用いて、注目画素の画素情報で構成された複数のフレームの画素情報を加算し、加算したフレームを注目画素を除く画像のフレームｆｅｘに補間することができる。なお、注目画素を除く画像のフレームｆｅｘの注目画素は、周辺の画素情報が推測される画素情報が補間されてもよい。

以上説明したように第２実施例によれば、第１実施例と同様に、画素領域１０を複数のサブ領域に分割し、サブ領域の注目画素を基に撮像領域全体にわたる画像を早期に生成することにより、露光時間制御などの各種の適応制御の開始タイミングを早めることができる。

また、上述した処理により得られたサブ領域の注目画素で構成された複数のフレームを用いることにより、動いている被写体に対する歪みを低減することができる。上記図１２で説明したように、画像解析部４０は、動いている物体が撮像された場合、サブ領域の注目画素で構成された複数のフレームを参照して歪みを推定し、その歪みを補償するよう画像加工部４８に補償量を設定することもできる。また、画像解析部４０は、歪みの程度が大きいフレームを合成しないよう画像合成部３８に指示してもよいし、歪みの程度が小さいフレームだけを合成して画像を生成するよう指示してもよい。

さらに、上述した処理により得られたサブ領域の注目画素で構成された複数のフレームは、他の画素と比較して露光時間が短く、撮像素子が飽和しにくい。よって、注目画素で構成された明るい画像に適したフレームと、注目画素を除く画素で構成された感度が高く暗い画像に適したフレームを組み合わせることにより、明暗差の大きい画像を生成することができる。

次に、本実施形態に係る撮像装置１００の第３実施例における読出方法を説明する。第３実施例は、単板のカラー撮像素子で画素領域１０を構成する例である。
図１５は、カラーフィルタのベイヤー配列の最小単位を示す図である。ベイヤー配列の最小単位は４画素で構成される。対角に緑Ｇの撮像素子が配置され、残りの画素に赤Ｒおよび青Ｂの撮像素子がそれぞれ配置される。

図１６は、ベイヤー配列で生成された画素領域１０を示す図である。図１５で示したベイヤー配列の最小単位を並べて画素領域１０を生成すると、緑Ｇと赤Ｒの撮像素子が交互に繰り返される行および緑Ｇと青Ｂの撮像素子が交互に繰り返される行ができ、両方のタイプの行が交互にできる。このように、ベイヤー配列された画素領域１０は、規則的な配列となる。

図１６に示す画素領域１０も、第１実施例および第２実施例と同様に３列×３行の９画素を持つ１６のサブ領域に分割される例を示す。ここで、サブ領域の縦横の画素数すなわち列方向および行方向の画素数は、奇数に設定することが望ましい。各サブ領域の縦横の画素数を奇数に設定し、第１実施例または第２実施例で説明した読出方法で画素情報を読み出すと、緑Ｇと赤Ｒまたは緑Ｇと青Ｂが繰り返す、画素領域１０と同じ規則的な配列のフレームを生成することができる。この点、各サブ領域の縦横の画素数を偶数に設定すると、すべて同じ色のフレームが生成されてしまう。

以上説明したように第３実施例によれば、第１実施例および第２実施例の読出方法をカラー画像に容易に拡張することができ、それぞれ第１実施例および第２実施例で説明した効果と同様の効果をカラー画像で得ることができる。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、上述した実施形態では、適応制御の例として露光時間制御、オートホワイトバランス制御およびオートフォーカス制御について説明した。その他の適応制御としてアナログ処理部３２に搭載される可変増幅器の増幅率を調整してもよい。

また、カラーフィルタの配列としてベイヤー配列を説明した。この点、規則的に赤Ｒ、緑Ｇ、青Ｂの撮像素子が配列される場合にも同様に適用することができる。

本発明の実施形態における撮像装置の構成を示す図である。 本発明の実施形態におけるデジタル処理部の構成を示す図である。 画素領域の画素単位の便宜的なアドレスを定義した図である。 画素領域の画素情報の一般的な読出方法を説明するための図である。 本発明の実施形態における画素領域を複数のサブ領域に分割した様子を示す図である。 実施形態に係る撮像装置の第１実施例における読出方法を説明するための図である。 第１実施例における読出方法により生成されたフレームを示す図である。 図８（ａ）−（ｂ）は、サブ領域における画素情報の読出順を示す図である。 図９（ａ）−（ｂ）は、画素情報を読み出す際における複数のサブ領域の指定順を示す図である。 ローリングシャッタ方式を説明するための図である。 図１１（ａ）−（ｂ）は、ローリングシャッタ方式による動体歪みを説明するための図である。 図１２（ａ）−（ｂ）は、第１実施例の読出方式による動体歪みを説明するための図である。 実施形態に係る撮像装置の第２実施例における読出方法を説明するための図である。 第２実施例における読出方法により生成されたフレームを示す図である。 カラーフィルタのベイヤー配列の最小単位を示す図である。 ベイヤー配列で生成された画素領域を示す図である。

符号の説明

１０ 画素領域、 ２０ 読出部、 ２２ 垂直ドライバ、 ２４ 水平ドライバ、 ３０ 制御部、 ３２ アナログ処理部、 ３４ デジタル処理部、 ３６ 画像メモリ、 ３８ 画像合成部、 ４０ 画像解析部、 ４２ 露光時間制御部、 ４４ オートホワイトバランス制御部、 ４６ オートフォーカス制御部、 ４８ 画像加工部、 ５０ サブ領域設定部、 １００ 撮像装置。

Claims (6)

1. 撮像素子が２次元配置された画素領域を、複数のサブ領域に分割し、前記画素領域の画素情報を順次読み出す際、所定の間隔で各サブ領域の注目画素の画素情報を順次挿入して読み出すことを特徴とする画素情報読出方法。
2. 所定の間隔で挿入された前記注目画素の画素情報を読み出してフレームを生成した後、始めのサブ領域から前記注目画素の画素情報を再び挿入し、前記画素領域の終わりの画素情報を読み出すまでに前記注目画素の画素情報で構成された複数のフレームを生成することを特徴とする請求項１に記載の画素情報読出方法。
3. 前記注目画素の露光時間を他の画素の露光時間より短く設定することを特徴とする請求項１または２に記載の画素情報読出方法。
4. 前記画素領域は、複数色の撮像素子が規則的に配置されており、前記画素領域の規則的な配置を維持しながら画素情報が読み出されるよう各サブ領域の縦横の画素数を設定することを特徴とする請求項１から３のいずれかに記載の画素情報読出方法。
5. 撮像素子がで２次元配置された画素領域と、
   複数のサブ領域に分割された前記画素領域の画素情報を順次読み出す際、所定の間隔で各サブ領域の注目画素の画素情報を順次挿入して読み出す読出部と、
   を備えることを特徴とする撮像装置。
6. 前記読出部により読み出された、所定の間隔で挿入された注目画素の画素情報からフレームを生成する制御部をさらに備え、
   前記制御部は、生成したフレームから撮像した画像の傾向を把握し、その傾向に応じて所定の適応制御を行うことを特徴とする請求項５に記載の撮像装置。

Images