JP2017188871A - 撮像装置 - Google Patents

Abstract

【課題】ローリングシャッタ方式の第１のイメージセンサおよび第２のイメージセンサを用いて被写体の一部が重複するように撮影された画像の境界部分における時間的なズレを軽減する撮像装置を提供する。【解決手段】撮像装置１００は、ローリングシャッタ方式である第１のイメージセンサ１１０および第２のイメージセンサ１１１と、これら２つのイメージセンサの動作タイミングを制御するタイミングジェネレータ１１４と、生成された画像データに対して画像処理を施すとともに、タイミングジェネレータ１１４を制御するコントローラ１１２と、を備える。２つのイメージセンサは、被写体の一部が重複するように撮像して画像データを生成する。コントローラ１１２は、２つのイメージセンサにより生成された重複領域が有する各ラインの露光期間のタイミングが合うようタイミングジェネレータ１１４を制御する。【選択図】図１

Description

本開示は、ローリングシャッタ方式の２つのイメージセンサを用いる撮像装置に関する。

特許文献１は、広角の映像から任意の範囲の切出し処理を行い、撮影者の所望する構図の映像を得る撮像装置を開示する。

特許文献２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサの特徴の一つであるローリングシャッタ歪みの補正を行う多視点撮像装置を開示する。

特開２０１０−１４７９２５号公報 特開２０１３−１２０４３５号公報

本開示は、ローリングシャッタ方式の第１のイメージセンサおよび第２のイメージセンサを用いて、被写体の一部が重複するように撮影された画像の境界部分における時間的なズレを軽減する撮像装置を提供する。

本開示における撮像装置は、ローリングシャッタ方式の第１のイメージセンサおよび第２のイメージセンサと、タイミングジェネレータと、コントローラと、を備える。第１のイメージセンサと第２のイメージセンサは、互いに被写体の一部が重複するように撮像して画像データを生成する。タイミングジェネレータは、第１のイメージセンサおよび第２のイメージセンサの動作タイミングを制御する。コントローラは、生成された画像データに対して画像処理を施す。また、コントローラは、第１のイメージセンサと第２のイメージセンサとにより生成された重複領域が有する各ラインの露光期間のタイミングが合うようタイミングジェネレータを制御する。

本開示における撮像装置は、ローリングシャッタ方式の第１のイメージセンサおよび第２のイメージセンサを用いて被写体の一部が重複するように撮影された画像の境界部分における時間的なズレを軽減するのに有効である。

実施の形態１における撮像装置の構成を示すブロック図 実施の形態１における第１のイメージセンサおよび第２のイメージセンサが撮像した画像データの模式図 実施の形態１における第１のイメージセンサおよび第２のイメージセンサの動作に係る信号のタイミングチャート ローリングシャッタ歪を示す第１のイメージセンサおよび第２のイメージセンサのタイミングチャート 実施の形態１における第１のイメージセンサおよび第２のイメージセンサのタイミングチャート 実施の形態２における第１のイメージセンサおよび第２のイメージセンサのタイミングチャート 実施の形態３における撮像装置の構成を示すブロック図 実施の形態３における第１のイメージセンサの動作に係る信号のタイミングチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜４Ｂを用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１にかかる撮像装置１００の構成を示すブロック図である。撮像装置１００は、第１のイメージセンサ１１０と、第２のイメージセンサ１１１と、タイミングジェネレータ（ＴＧ）１１４と、コントローラ１１２と、メモリ１１５と、を備える。

第１のイメージセンサ１１０と第２のイメージセンサ１１１は、被写体像を撮像して画像データを生成する。例えば、水平画素数が３８４０画素、垂直画素数が２１６０画素からなり、１秒間に６０フレームの４Ｋ解像度の画像データを得る。被写体像は光学系（図示せず）により形成される。なお、これらのイメージセンサは、ＣＭＯＳで構成されることが多い。

ＴＧ１１４は、第１のイメージセンサ１１０の動作に必要な信号ＣＬＫ１を生成する。また、コントローラ１１２の設定に応じて、第２のイメージセンサ１１１の動作に必要な信号ＣＬＫ２を生成する。例えば、電子シャッタ動作、静止画像や動画像の撮像動作、データの読出し動作などに係る信号である。この動作の詳細は、後で説明する。

コントローラ１１２は、第１のイメージセンサ１１０と第２のイメージセンサ１１１の出力画像データに対して各種の画像処理を施す。例えば、コントローラ１１２は、出力画像データに対して、ホワイトバランス調整処理やガンマ処理、ＹＣ変換処理、ローリングシャッタ歪補正、画像合成処理、圧縮処理などを行う。また、コントローラ１１２は、ＴＧ１１４を制御し、第１のイメージセンサ１１０と第２のイメージセンサ１１１の動作タイミングを制御する。さらに、コントローラ１１２は、ソフトウェアまたはファームウェアで記載されたコンピュータプログラムにしたがって、撮像装置１００全体を制御する。

メモリ１１５は、第１のイメージセンサ１１０と第２のイメージセンサ１１１の出力である画像データを一時的に記憶する。また、メモリ１１５は、コントローラ１１２で処理途上の画像データや、処理が完了した後の画像データを一時的に記憶する。さらに、メモリ１１５は、コントローラ１１２のプログラム用メモリとしても利用され、プログラムの命令や、データ、露光制御に関するプログラム線図などを一時的に記憶する。要するに、メモリ１１５は、第１のイメージセンサ１１０と第２のイメージセンサ１１１での画像処理、およびプログラムの実行を実現する為に一時的にデータを記憶する。

図２は、第１のイメージセンサ１１０と第２のイメージセンサ１１１が静止した被写体２００の一部（図２の重複領域）を重複するように撮像した例を示す模式図である。具体的には、図２の（Ａ）は第１のイメージセンサ１１０が撮像した被写体２００の上部（２００Ａ）の画像データ１２０を示し、図２の（Ｃ）は第２のイメージセンサ１１１が撮像した被写体２００の下部（２００Ｂ）の画像データ１２１を示し、図２の（Ｂ）は、第１のイメージセンサ１１０および第２のイメージセンサ１１１が撮像した被写体２００の画像データを合成した画像データ１２２を示す。

第１のイメージセンサ１１０は、撮像する開始ライン０Ｈａから終了ライン（Ｌａ）Ｈａまで、１ライン毎にイメージセンサの読出し方向（図２の矢印の方向）に画像データを読み出す。第２のイメージセンサ１１１は、撮像する開始ライン０Ｈｂから終了ライン（Ｌｂ）Ｈｂまで、１ライン毎にイメージセンサの読出し方向（図２の矢印の方向）に画像データを読み出す。第１のイメージセンサ１１０の光学系と第２のイメージセンサ１１１の光学系は、撮像する被写体の一部が重複するように読出し方向と垂直な方向に配置されている。図２において、０Ｈｂから（Ｌａ）Ｈａまでが重複領域である。

重複領域に含まれるライン数（ΔＬ）は、例えばテストチャートなどを第１のイメージセンサ１１０と第２のイメージセンサ１１１とで撮像して得られた画像データに対して、画素毎を比較して算出される。

［１−２．動作］
以上のように構成された撮像装置１００について、その動作を以下説明する。

図３は、図１におけるＴＧ１１４が生成する信号の一例を示すタイミングチャートである。水平同期信号Ｈ１は、第１のイメージセンサ１１０の水平同期タイミングを示す信号である。垂直同期信号Ｖ１は、第１のイメージセンサ１１０の垂直同期タイミングを示す信号である。垂直同期信号Ｖ１は、周期Ｔ１で動作している。水平同期信号Ｈ２は、第２のイメージセンサ１１１の水平同期タイミングを示す信号である。垂直同期信号Ｖ２は、第２のイメージセンサ１１１の垂直同期タイミングを示す信号である。垂直同期信号Ｖ２は、周期Ｔ２で動作している。水平同期信号Ｈ１と水平同期信号Ｈ２は、例えば同じ発信器のクロックを逓倍および分周の少なくとも一方で処理して作られる。したがって、水平同期信号Ｈ１と水平同期信号Ｈ２は、同期している。垂直同期信号Ｖ１は、例えば動作クロックＣ１（図示せず）を分周して作られる。垂直同期信号Ｖ２は、例えば動作クロックＣ２（図示せず）を分周して作られる。なお、動作クロックＣ１とＣ２は、同期している。また、垂直同期信号Ｖ２は、コントローラ１１２からの設定に従って、垂直同期信号Ｖ１からΔｔ遅延したクロックである。

図４Ａ、図４Ｂは、第１のイメージセンサ１１０と第２のイメージセンサ１１１の露光タイミングを示すタイミングチャートである。ここで、第１のイメージセンサ１１０と第２のイメージセンサ１１１を、外部トリガ同期モードで動作させた例について説明する。

図４Ａ、図４Ｂにおいて、開始ライン０Ｈａは、第１のイメージセンサ１１０が撮像する１ライン目を表す。すなわち、１ライン目の撮像開始点（ＰＳ１）から撮像終了点（ＰＥ１）までのラインである。終了ライン（Ｌａ）Ｈａは、第１のイメージセンサ１１０が撮像する終了ラインを表す。すなわち、終了ライン目の撮像開始点（ＱＳ１）から撮像終了点（ＱＥ１）までのラインである。

第１のイメージセンサ１１０の外部トリガ（垂直同期信号Ｖ１）の立下りエッジをトリガとして、ＰＥ１において開始ライン０Ｈａの露光が終了して読出しが開始される。ラインの読出し完了後、画素に蓄積された電荷がリセットされ次の露光が開始される。外部トリガ（垂直同期信号Ｖ１）の立下りエッジから次の立下りエッジの間隔（Ｔ１）が第１のイメージセンサ１１０の露光時間となる。開始ライン０Ｈａ上のＰＥ１から始まり、終了ライン（Ｌａ）Ｈａ上の矢印の先ＱＥ１で終わる一点鎖線に示すように、順次、開始ライン０Ｈａから終了ライン（Ｌａ）Ｈａまで、各ラインの画像データ（Ｄ１）の出力（読出し）、読出し完了後のラインの電荷のリセット、露光が繰り返される。

期間Ｅ１は、第１のイメージセンサ１１０が撮像する開始ライン０Ｈａの露光開始（ＰＳ１）から終了ライン（Ｌａ）Ｈａの露光開始（ＱＳ１）までの時間である。期間Ｒ１は、第１のイメージセンサ１１０が撮像する１フレームの画像データを読み出すのに要する時間である。本実施の形態では、ラインの読出し完了後のライン電荷のリセット時間は期間Ｒ１に含まれており、期間Ｒ１と期間Ｅ１は等しい。

開始ライン０Ｈｂは、第２のイメージセンサ１１１が撮像する１ライン目を表す。すなわち、１ライン目の撮像開始点（ＭＳ１）から撮像終了点（ＭＥ１）までのラインである。終了ライン（Ｌｂ）Ｈｂは、第２のイメージセンサ１１１が撮像する終了ラインを表す。すなわち、終了ライン目の撮像開始点（ＮＳ１）から撮像終了点（ＮＥ１）までのラインである。第２のイメージセンサ１１１の外部トリガ（垂直同期信号Ｖ２）の立下りエッジをトリガとして、ＭＥ１において開始ライン０Ｈｂの露光が終了して読出しが開始される。ラインの読出し完了後、画素に蓄積された電荷がリセットされ次の露光が開始される。外部トリガ（垂直同期信号Ｖ２）の立下りエッジから次の立下りエッジの間隔（Ｔ２）が第２のイメージセンサ１１１の露光時間となる。開始ライン０Ｈｂ上のＭＥ１から始まり、終了ライン（Ｌｂ）Ｈｂ上の矢印の先ＮＥ１で終わる二点鎖線に示すように、順次、開始ライン０Ｈｂから終了ライン（Ｌｂ）Ｈｂまで、各ラインの画像データ（Ｄ２）の出力（読出し）、読出し完了後のラインの電荷のリセット、露光が繰り返される。

期間Ｅ２は、第２のイメージセンサ１１１が撮像する開始ライン０Ｈｂの露光開始（ＭＳ１）から終了ライン（Ｌｂ）Ｈｂの露光開始（ＮＳ１）までの時間である。期間Ｒ２は、第２のイメージセンサ１１１が撮像する１フレームの画像データを読み出すのに要する時間である。本実施の形態では、ラインの読出し完了後のライン電荷のリセット時間は期間Ｒ２に含まれており、期間Ｒ２と期間Ｅ２は等しい。

このように、外部トリガ同期モードでは、外部信号（垂直同期信号）をトリガとして、イメージセンサの水平方向に対応する各ラインの露光期間（読出しタイミング）を制御する。

図４Ａは、第１のイメージセンサ１１０の外部トリガ（垂直同期信号Ｖ１）と第２のイメージセンサ１１１の外部トリガ（垂直同期信号Ｖ２）が同期した状態で、被写体２０１を撮像した場合の露光タイミングを示すタイミングチャートである。ローリングシャッタ方式であるため開始ライン０Ｈａ（ＰＳ１−ＰＥ１）と終了ライン（Ｌａ）Ｈａ（ＱＳ１−ＱＥ１）の露光期間のタイミングが異なる。したがって、例えば、被写体２０１が撮像装置１００に対して相対的に、図中右方向に高速で移動している場合、第１のイメージセンサ１１０から読み出した画像データは、画像データ２０２Ａのような画像となる。垂直同期信号Ｖ１と垂直同期信号Ｖ２は同期しているため、第２のイメージセンサ１１１の開始ライン０Ｈｂ（ＭＳ１−ＭＥ１）の露光期間は、第１のイメージセンサ１１０の開始ライン０Ｈａ（ＰＳ１−ＰＥ１）の露光期間のタイミングと同じである。したがって、第２のイメージセンサ１１１から読み出した画像データは、画像データ２０３Ａのような画像となる。

また、重複領域が有するライン数がΔＬの場合、重複領域の先頭ラインは第１のイメージセンサ１１０の（Ｌａ−ΔＬ）Ｈａラインと第２のイメージセンサ１１１の０Ｈｂライン（ＭＳ１−ＭＥ１）に、相当する。重複領域の終了ラインは第１のイメージセンサ１１０の（Ｌａ）Ｈａライン（ＱＳ１−ＱＥ１）と第２のイメージセンサ１１１の（ΔＬ）Ｈｂラインに、相当する。しかしながら、互いの露光期間のタイミングが異なる。

このように、図４Ａでは、被写体が相対的に移動している場合、第１のイメージセンサ１１０と第２のイメージセンサ１１１の重複領域の露光期間のタイミングが異なるため、第１のイメージセンサ１１０と第２のイメージセンサ１１１が生成した画像データにおける重複領域には時間的なズレが生じる。

図４Ｂは、本実施の形態における第１のイメージセンサ１１０と第２のイメージセンサ１１１のタイミングチャートである。図４Ａと異なり、第１のイメージセンサ１１０の外部トリガ（垂直同期信号Ｖ１）に対して第２のイメージセンサ１１１の外部トリガ（垂直同期信号Ｖ２）だけをΔｔだけ遅延させたタイミングで被写体２０１を撮像した場合の露光タイミングを示すタイミングチャートである。

図４Ｂにおいて、第１のイメージセンサ１１０は、周期Ｔ１である垂直同期信号Ｖ１をトリガとして各ラインを読み出す。ラインの読出し完了後、次の露光を開始する。周期Ｔ１は、第１のイメージセンサ１１０の露光期間である。第２のイメージセンサ１１１は、垂直同期信号Ｖ１からΔｔだけ遅延した周期Ｔ２である垂直同期信号Ｖ２をトリガとして各ラインを読み出す。具体的には、ラインの読出し完了後、画素に蓄積された電荷がリセットされ、次の露光を開始する。例えば、被写体２０１が撮像装置１００に対して相対的に、図中右方向に高速で移動している場合、第１のイメージセンサ１１０から読み出した開始ライン０Ｈａ上のＰＥ１から始まり、終了ライン（Ｌａ）Ｈａ上の矢印の先ＱＥ１で終わる一点鎖線の期間の画像データは、図４Ａの画像データ２０２Ａと同じく、画像データ２０２Ｂのような画像となる。一方、図４Ａとは異なり、第２のイメージセンサ１１１の開始ライン０Ｈｂは、第１のイメージセンサ１１０の開始ライン０ＨａよりΔｔ遅延した露光タイミングである。したがって、第２のイメージセンサ１１１から読み出した開始ライン０Ｈｂ上のＭＥ１から始まり、終了ライン（Ｌｂ）Ｈｂ上の矢印の先ＮＥ１で終わる二点鎖線の期間の画像データは、画像データ２０３Ｂのような画像となる。

また、重複領域が有するライン数がΔＬの場合、重複領域の先頭ラインは第１のイメージセンサ１１０の（Ｌａ−ΔＬ）Ｈａラインと第２のイメージセンサ１１１の０Ｈｂライン（ＭＳ１−ＭＥ１）に、相当する。重複領域の終了ラインは第１のイメージセンサ１１０の（Ｌａ）Ｈａライン（ＱＳ１−ＱＥ１）と第２のイメージセンサ１１１の（ΔＬ）Ｈｂラインに、相当する。そして、重複領域の各ラインの露光期間のタイミングが一致する。

重複領域の画像データは同じであるため、例えば、コントローラ１１２は、第１のイメージセンサ１１０の画像データとして重複領域終了ライン（ＱＳ１−ＱＥ１）まで（Ｄ１の斜線部）のデータを利用し、第２のイメージセンサ１１１の画像データとして重複領域終了後のラインから（Ｄ２の斜線部）のデータを利用する。この時、一部の区間では２つのイメージセンサからの読出しは輻輳している（重なり合っている）。

［１−３．効果等］
以上のように、本実施の形態において、撮像装置１００は、第１のイメージセンサ１１０と、第２のイメージセンサ１１１と、ＴＧ１１４と、コントローラ１１２と、を備える。第１のイメージセンサ１１０と第２のイメージセンサ１１１は、被写体像の一部が重複するように撮像して画像データを生成する。コントローラ１１２は、生成された画像データの重複する領域が有する各ラインの露光期間のタイミングが合うようＴＧ１１４を制御する。

これにより、第１のイメージセンサ１１０と第２のイメージセンサ１１１が撮像する重複領域の各ラインにおける露光期間のタイミング差が小さくなる。そのため、第１のイメージセンサ１１０と第２のイメージセンサ１１１が撮像する境界付近の画像の時間的なズレが低減される。

また、本実施の形態において、コントローラ１１２は、重複領域が有するライン数ΔＬに応じて、第１のイメージセンサ１１０のフレーム同期タイミング（Ｖ１）に対して、第２のイメージセンサ１１１のフレーム同期タイミング（Ｖ２）を遅延させるように、タイミングジェネレータ（ＴＧ）１１４を制御する。

これにより、第１のイメージセンサ１１０および第２のイメージセンサ１１１の各ラインの露光期間のタイミングをフレーム周期で制御できる。そのため、コントローラ１１２の負荷が低減される。

また、本実施の形態において、コントローラ１１２は、第１のイメージセンサ１１０の露光タイミングに対して、第２のイメージセンサ１１１の露光タイミングを以下の条件（１）を満足するΔｔ［秒］だけ遅延させるようＴＧ１１４を制御するのが望ましい。

Δｔ／Ｅ１ ＝ １−ΔＬ／Ｌ１・・・（１）
ここで、
Ｅ１： 第１のイメージセンサ１１０が撮像する開始ラインの露光開始から終了ラインの露光開始までの時間［秒］、
Ｌ１： 第１のイメージセンサ１１０が撮像する水平ライン数、
ΔＬ： 第１のイメージセンサ１１０における重複領域が有するライン数、
である。

これにより、第１のイメージセンサ１１０と第２のイメージセンサ１１１が撮像する重複領域が有する各ラインにおける露光期間のタイミングを適切に制御でき、第１のイメージセンサ１１０と第２のイメージセンサ１１１が撮像する境界付近の画像の時間的なズレが低減される。そのため、生成された画像データは、１つのローリングシャッタ方式のイメージセンサから得る画像と同様に画像処理を行うことにより、ローリングシャッタ歪を補正できる。

また、本実施の形態において、コントローラ１１２は、第１のイメージセンサ１１０と第２のイメージセンサ１１１が生成する画像データのうち、指定された範囲の画像を合成する。

これにより、１つのイメージセンサから得られる解像度を維持したまま更に広角の映像を撮像することができる。

また、本実施の形態において、コントローラ１１２は、生成した画像データの一部を切り出す。

これにより、例えばスタジアム全体を見渡すように設置された撮像装置１００の広角映像から注目している被写体を含む映像を切り出すことができる。そのため、任意の画角の映像を取得できるようになり、取得映像の選択肢を広げることができる。

（実施の形態２）
以下、図５を用いて、実施の形態２を説明する。実施の形態２は、実施の形態１の変形例である。

［２−１．構成など］
構成および重複領域は、実施の形態１と同様である。

［２−２．動作］
図５は、第１のイメージセンサ１１０の外部トリガ（垂直同期信号Ｖ１）に対して第２のイメージセンサ１１１の外部トリガ（垂直同期信号Ｖ２）をΔｔだけ遅延させたタイミングで被写体２０１を撮像した場合の露光タイミングを示すタイミングチャートである。

第１のイメージセンサ１１０は、周期Ｔ１である垂直同期信号Ｖ１をトリガとして各ラインの露光を開始する。露光時間は、第１のイメージセンサ１１０に設定した時間（０Ｈａの露光開始から第１のイメージセンサ１１０の読み出し開始までの時間）である。周期Ｔ１は、第１のイメージセンサ１１０の１ライン目（ＰＳ１−ＰＥ１）の露光を開始してから、第２のイメージセンサ１１１の終了ライン（ＮＳ１−ＮＥ１）の読出しが完了するまでの時間であり、１フレームの周期である。

期間Ｅ１は、第１のイメージセンサ１１０が撮像する開始ライン０Ｈａの露光開始点（ＰＳ１）から終了ライン（Ｌａ）Ｈａの露光開始点（ＱＳ１）までの時間である。期間Ｒ１は、第１のイメージセンサ１１０が撮像する１フレームの画像データを読み出す時間である。本実施の形態では、期間Ｒ１と期間Ｅ１は等しい。

第２のイメージセンサ１１１は、垂直同期信号Ｖ１からΔｔだけ遅延した周期Ｔ２である垂直同期信号Ｖ２の立下りエッジをトリガとして、各ラインの露光を開始する。露光時間は、第２のイメージセンサ１１１に設定した時間（０Ｈｂの露光開始から第２のイメージセンサ１１１の読み出し開始までの時間）であり、第１のイメージセンサ１１０の露光時間と等しい。例えば、被写体２０１が撮像装置１００に対して相対的に、図中右方向に高速で移動している場合、第１のイメージセンサ１１０から読み出した画像データは、図４Ｂの画像データ２０２Ｂと同じく、画像データ２０２Ｃのような画像となる。第２のイメージセンサ１１１の開始ライン０Ｈｂ（ＭＳ１−ＭＥ１）の露光開始は、第１のイメージセンサ１１０の開始ライン０Ｈａ（ＰＳ１−ＰＥ１）の露光開始よりΔｔ遅延した露光タイミングである。したがって、第２のイメージセンサ１１１から読み出した画像データは、画像データ２０３Ｃのような画像となる。

また、重複領域が有するライン数がΔＬの場合、重複領域の先頭ラインは第１のイメージセンサ１１０の（Ｌａ−ΔＬ）Ｈａラインと第２のイメージセンサ１１１の０Ｈｂライン（ＭＳ１−ＭＥ１）に、相当する。重複領域の終了ラインは第１のイメージセンサ１１０の（Ｌａ）Ｈａライン（ＱＳ１−ＱＥ１）と第２のイメージセンサ１１１の（ΔＬ）Ｈｂラインに、相当する。したがって、重複領域の各ラインの露光期間のタイミングが一致する。

重複領域の画像データは同じであるため、例えば、各フレームに対してコントローラ１１２は、第１のイメージセンサ１１０の画像データとして重複領域終了ライン（ＱＳ１−ＱＥ１）まで（Ｄ１の斜線部）のデータを、第２のイメージセンサ１１１の画像データとして重複領域終了後のラインから（Ｄ２の斜線部）のデータを、順に読み出す。

［２−３．効果等］
図５が示すとおり、第１のイメージセンサ１１０と第２のイメージセンサ１１１からの読出しが輻輳しない（重なり合わない）。これにより、メモリ１１５の帯域を小さくすることができる。そのため、設計の自由度が向上する。

（実施の形態３）
以下、図６、図７を用いて、実施の形態３を説明する。

［３−１．構成］
実施の形態３にかかる撮像装置６００の構成の概要について説明する。

図６は撮像装置６００の構成を示すブロック図である。

撮像装置６００は、第１の撮像部３００と、第２の撮像部４００と、外部装置５００と、を備える。

第１の撮像部３００は、第１のイメージセンサ３１０と、タイミングジェネレータ（ＴＧ）３１４と、コントローラ３１２と、メモリ３１５と、を備える。コントローラ３１２は、第１のイメージセンサ３１０が生成した画像データを、外部接続された外部装置５００に出力する。

第２の撮像部４００は、第１の撮像部３００と同じ構成であり、第２のイメージセンサ４１０と、タイミングジェネレータ（ＴＧ）４１４と、コントローラ４１２と、メモリ４１５と、を備える。コントローラ４１２は、第２のイメージセンサ４１０が生成した画像データを、外部接続された外部装置５００に出力する。

外部装置５００は、コントローラ５１２と、メモリ５１５と、表示部５１８を備える。

第１のイメージセンサ３１０と第２のイメージセンサ４１０は、被写体像を撮像して画像データを生成する。例えば、水平画素数が３８４０画素、垂直画素数が２１６０画素からなり、１秒間に６０フレームの４Ｋ解像度の画像データを得る。被写体像は光学系（図示せず）により形成される。なお、これらのイメージセンサは、ＣＭＯＳで構成されることが多い。

ＴＧ３１４は、第１のイメージセンサ３１０の動作に必要な信号ＣＬＫ３を生成する。また、コントローラ５１２から外部信号ＣＬＫ５Ａが入力されると、例えばＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）などを介してＣＬＫ３信号を外部信号ＣＬＫ５Ａに切り替える。ＴＧ４１４は、第２のイメージセンサ４１０の動作に必要な信号ＣＬＫ４を生成する。また、コントローラ５１２から外部信号ＣＬＫ５Ｂが入力されると、例えばＰＬＬなどを介してＣＬＫ４信号を外部信号ＣＬＫ５Ｂに切り替える。信号の切り替えについては後述する。

コントローラ５１２は、第１のイメージセンサ３１０と第２のイメージセンサ４１０の出力画像データに対して各種の画像処理を施す。例えば、コントローラ５１２は、その出力画像データに対して、ホワイトバランス調整処理やガンマ処理、ＹＣ変換処理、ローリングシャッタ歪補正、画像合成処理、画像切出し処理、圧縮処理などを行う。また、コントローラ５１２は、ＴＧ３１４およびＴＧ４１４を制御し、第１のイメージセンサ３１０と第２のイメージセンサ４１０の動作タイミングを制御する。コントローラ５１２は、ソフトウェアまたはファームウェアで記載されたコンピュータプログラムにしたがって、撮像装置６００全体を制御する。

メモリ３１５は、第１のイメージセンサ３１０の出力である画像データを一時的に記憶する。また、メモリ３１５は、コントローラ３１２で処理途上の画像データや、処理が完了した後の画像データを一時的に記憶する。さらに、メモリ３１５は、コントローラ３１２のプログラム用メモリとしても利用され、プログラムの命令や、データ、露光制御に関するプログラム線図などを一時的に記憶する。要するに、メモリ３１５は、第１のイメージセンサ３１０での画像処理、およびプログラムの実行を実現する為に一時的にデータを記憶する。

メモリ４１５は、第２のイメージセンサ４１０の出力である画像データを一時的に記憶する。また、メモリ４１５は、コントローラ４１２で処理途上の画像データや、処理が完了した後の画像データを一時的に記憶する。さらに、メモリ４１５は、コントローラ４１２のプログラム用メモリとしても利用され、プログラムの命令や、データ、露光制御に関するプログラム線図などを一時的に記憶する。要するに、メモリ４１５は、第２のイメージセンサ４１０での画像処理、およびプログラムの実行を実現する為に一時的にデータを記憶する。

メモリ５１５は、第１のイメージセンサ３１０と第２のイメージセンサ４１０の出力である画像データを一時的に記憶する。また、メモリ５１５は、コントローラ５１２で処理途上の画像データや、処理が完了した後の画像データを一時的に記憶する。さらに、メモリ５１５は、コントローラ５１２のプログラム用メモリとしても利用され、プログラムの命令や、データ、露光制御に関するプログラム線図などを一時的に記憶する。要するに、メモリ５１５は、第１のイメージセンサ３１０と第２のイメージセンサ４１０での画像処理、およびプログラムの実行を実現する為に一時的にデータを記憶する。

表示部５１８は、コントローラ５１２によって画像処理された画像データを表示するディスプレイであり、液晶ディスプレイなどである。第１のイメージセンサ３１０と第２のイメージセンサ４１０の合成データ、第１のイメージセンサ３１０と第２のイメージセンサ４１０の一部を切り出したデータ、操作パネルなどを表示する。

第１の撮像部３００が生成する画像データと、第２の撮像部４００が撮像する画像データは、実施の形態１と同様に、撮像する被写体の一部が重複（ライン数ΔＬ）するように読出し方向と垂直な方向に配置されている。

［３−２．動作］
図７は実施の形態３における第１のイメージセンサ３１０の動作に係る信号の一例を示すタイミングチャートである。水平同期信号Ｈ３は、第１のイメージセンサ３１０の水平同期タイミングを示す信号である。垂直同期信号Ｖ３は、第１のイメージセンサ３１０の垂直同期タイミングを示す信号である。外部信号ＣＬＫ５Ａが入力されるまで、第１の撮像部３００はＴＧ３１４が生成した信号ＣＬＫ３で動作する。外部信号ＣＬＫ５Ａとして例えば水平同期タイミングの信号が入力されると、水平同期信号Ｈ３は、ＰＬＬを介してＣＬＫ５Ａとの位相差がフィードバックされ、次第にＣＬＫ５Ａに同期する（Ｔｌｏｃｋ）。第２の撮像部４００も同様に、外部信号ＣＬＫ５Ｂが入力されると同期する。

コントローラ５１２は、重複ライン数ΔＬに応じて、第１のイメージセンサ３１０の垂直同期信号Ｖ３（フレーム同期タイミング）に対して、第２のイメージセンサ４１０の垂直同期タイミングをΔｔだけ遅延させる。この遅延量については、実施の形態１および実施の形態２と同様である。

［３−３．効果等］
１つのイメージセンサのみを有する撮像装置を複数組み合わせて、それらの映像から広角画像をつくりだす場合にも、実施の形態１と２と同じく重複領域の時間的なズレを軽減できる効果が得られる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。

そこで、以下、他の実施の形態を例示する。

実施の形態１〜３では、イメージセンサの一例としてＣＭＯＳイメージセンサ（１１０、１１１、３１０、４１０）を説明した。本開示においては、イメージセンサはローリングシャッタを持つイメージセンサであれば良い。したがって、イメージセンサはＣＭＯＳイメージセンサに限定されない。また、イメージセンサの全画素を用いて画像データとして記録する例を示したが、全画素の一部を有効画素として用いても良い。この場合は、無効画素を用いて重複領域の有するライン数ΔＬの算出を行うことができる。

実施の形態１〜３では、撮像装置（１００、６００）や撮像部（３００、４００）を制御する一例としてコントローラ（１１２、３１２、４１２、５１２）について説明した。本開示においては、コントローラ（１１２、３１２、４１２、５１２）はハードロジックで構成しても良いし、プログラムを用いたマイクロコンピュータなどで構成しても良い。コントローラ（１１２、３１２、４１２、５１２）をハードロジックで実現すれば処理速度の向上につながる。マイクロコンピュータで実現すればプログラムの変更で処理内容を変更できるため、コントローラの設計自由度を向上させることができる。コントローラ（１１２、３１２、４１２、５１２）で行う各種の画像処理というのは、ホワイトバランス調整処理、ガンマ補正処理、キズ補正処理、収差補正処理、ＹＣ変換処理、ローリングシャッタ歪補正等であるが、これらに限定されるものではなく、全ての画像処理を行うものであっても良いし、その一部だけ行うものであっても良い。また、このような画像処理は、コントローラ（１１２、３１２、４１２、５１２）の外部のイメージプロセッサで行っても良く、イメージプロセッサはイメージセンサにモジュール化されていても良い。

実施の形態１〜３では、イメージセンサ（１１０、１１１、３１０、４１０）の読出し開始のトリガを立ち下がり信号で表しているが、これに限定するものではなく、立ち上がり信号であっても良い。また、第１のイメージセンサ１１０と第２のイメージセンサ１１１の読出しライン数が等しく、第１のイメージセンサ３１０と第２のイメージセンサ４１０の読出しライン数、が等しい場合を示しているが、これに限定するものではない。第１のイメージセンサ（１１０または３１０）の読出しライン数が多くても、第２のイメージセンサ（１１１または４１０）の読出しライン数が多くても良い。

実施の形態１〜３では、外部トリガのエッジからエッジの間隔でイメージセンサの露光期間を制御する例を示したが、これに限定するものではなく、イメージセンサに露光期間（読出しタイミング）を設定しても良い。使用するイメージセンサの仕様に応じて、イメージセンサの露光期間（読出しタイミング）を制御すればよい。

実施の形態１〜３では、イメージセンサの露光開始タイミングを制御するトリガとして、垂直同期信号を用いた、外部トリガ同期モードを例について説明した。イメージセンサが撮像する各ラインの露光期間を制御するトリガとして、水平同期信号を用いて、各ラインの露光期間を制御しても良い。使用するイメージセンサの仕様に応じて、イメージセンサが撮像する各ラインの露光期間（読出しタイミング）を制御すれば良い。

実施の形態１〜３では、図４Ｂ、図５を用いて、第１のイメージセンサ（１１０、３１０）と第２のイメージセンサ（１１１、４１０）の読出しタイミングを説明した。図４Ｂ、図５では、第１のイメージセンサ１１０に対して、第２のイメージセンサ１１１の読出しをΔｔだけ遅延させたが、イメージセンサの読み出し方向が反対方向であれば、第２のイメージセンサ１１１に対して第１のイメージセンサ１１０の読み出しタイミングをΔｔだけ遅延させても良い。

実施の形態１〜３では、ＴＧをコントローラの外部に設けたが、コントローラや、イメージセンサの内部にあっても良く、イメージセンサが撮像する各ラインの露光期間（読出しタイミング）を制御することができればどこにあっても良い。

実施の形態１、２では、重複領域の画像データとして、第１のイメージセンサ１１０の画像データの映像を用いた例を示した。しかし、重複領域の画像データは、第２のイメージセンサ１１１の画像データを使ってもよいし、または両者の画像データを元に画像処理を施した映像を使っても良い。

実施の形態１〜３では、図３、図７を用いてイメージセンサの制御に係る同期について説明した。図３、図７は水平同期信号を一例として同期を説明したが、同期する信号は、イメージセンサの動作クロックであっても垂直同期信号であっても良い。イメージセンサの動作の基準となるクロックであればよく、これに限定されるものではない。

実施の形態３では、表示部５１８に液晶ディスプレイを用いた。本開示においては、これに限定したものではなく、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイでも良いし、外部接続されたモニタでも良い。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、複数の映像を組み合わせることで広角映像をつくりだし、任意の範囲を切り出す撮像装置に適用可能である。具体的には、デジタルカメラ、デジタルビデオカメラ、監視カメラ、カメラ機能付き携帯電話、スマートフォンなどに、本開示は適用可能である。

１００ 撮像装置
１１０ 第１のイメージセンサ
１１１ 第２のイメージセンサ
１１２ コントローラ
１１４ タイミングジェネレータ（ＴＧ）
１１５ メモリ
ＣＬＫ１ 第１のイメージセンサ１１０の動作信号
ＣＬＫ２ 第２のイメージセンサ１１１の動作信号
Ｖ１ 第１のイメージセンサ１１０の垂直同期信号
Ｈ１ 第１のイメージセンサ１１０の水平同期信号
Ｖ２ 第２のイメージセンサ１１１の垂直同期信号
Ｈ２ 第２のイメージセンサ１１１の水平同期信号
１２０ 被写体の上部の画像データ
１２１ 被写体の下部の画像データ
１２２ 合成した画像データ
２００ 被写体
２００Ａ 被写体の上部
２００Ｂ 被写体の下部
２０１ 被写体
２０２Ａ 第１のイメージセンサ１１０が生成した画像データ
２０２Ｂ 第１のイメージセンサ１１０が生成した画像データ
２０２Ｃ 第１のイメージセンサ１１０が生成した画像データ
２０３Ａ 第２のイメージセンサ１１１が生成した画像データ
２０３Ｂ 第２のイメージセンサ１１１が生成した画像データ
２０３Ｃ 第２のイメージセンサ１１１が生成した画像データ
３００ 第１の撮像部
３１０ 第１のイメージセンサ
３１２ コントローラ
３１４ タイミングジェネレータ（ＴＧ）
３１５ メモリ
ＣＬＫ３ 第１のイメージセンサ３１０の動作信号
４００ 第２の撮像部
４１０ 第２のイメージセンサ
４１２ コントローラ
４１４ タイミングジェネレータ（ＴＧ）
４１５ メモリ
ＣＬＫ４ 第２のイメージセンサ４１０の動作信号
５００ 外部装置
５１２ コントローラ
５１５ メモリ
５１８ 表示部
ＣＬＫ５Ａ 外部装置５００から第１の撮像部３００へ送られる外部信号
ＣＬＫ５Ｂ 外部装置５００から第２の撮像部４００へ送られる外部信号
６００ 撮像装置

Claims (5)

1. 被写体の一部が重複するように撮像して画像データを生成するローリングシャッタ方式である第１のイメージセンサおよび第２のイメージセンサと、
   前記第１のイメージセンサおよび前記第２のイメージセンサの動作タイミングを制御するタイミングジェネレータと、
   前記生成された画像データに対して画像処理を施すとともに、前記タイミングジェネレータを制御するコントローラと、
   を備え、
   前記コントローラは、前記第１のイメージセンサと第２のイメージセンサにより生成された重複領域が有する各ラインの露光期間のタイミングが合うように前記タイミングジェネレータを制御する、
   撮像装置。
2. 前記コントローラは、前記重複領域が有するライン数に応じて、前記第１のイメージセンサのフレーム同期タイミングに対して、前記第２のイメージセンサのフレーム同期タイミングを遅延させるよう前記タイミングジェネレータを制御する、
   請求項１に記載の撮像装置。
3. 前記コントローラは、前記第１のイメージセンサのフレーム同期タイミングに対して、前記第２のイメージセンサのフレーム同期タイミングを、以下の条件（１）を満足するΔｔ秒遅延するように前記タイミングジェネレータを制御する、
   請求項１に記載の撮像装置：
   Δｔ／Ｅ１ ＝ １−ΔＬ／Ｌ１・・・（１）
   ここで、
   Ｅ１： 前記第１のイメージセンサが撮像する開始ラインの露光開始から終了ラインの露光開始までの時間［秒］、
   Ｌ１： 前記第１のイメージセンサが撮像する水平ライン数、
   ΔＬ： 前記第１のイメージセンサが撮像する、前記重複領域が有するライン数、
   である。
4. 前記コントローラは、前記第１のイメージセンサおよび前記第２のイメージセンサが生成する画像データのうち、指定された範囲の画像を合成する、
   請求項１に記載の撮像装置。
5. 前記コントローラは、前記第１のイメージセンサおよび前記第２のイメージセンサが生成する画像データのうち、指定された範囲の画像を切り出す、
   請求項１に記載の撮像装置。

Images