JP2018182551A - 撮像装置 - Google Patents

Abstract

【課題】複数の画像処理プロセッサを用いて、画像領域を分割して画像処理を行う場合においても、表示遅延時間を短縮可能な撮像装置を提供する。
【解決手段】撮像部と、撮像画像データを分割する分割部と、分割された分割画像データを画像処理する第一、第二の画像処理装置と、第一、第二の画像処理装置間で画像データ転送する画像データ転送部と、画像処理した画像データを表示するための表示部とを有する。そして、第一の画像処理装置が、第一の分割画像データから生成した第一の画像データとデータ転送手段により転送されてきた第二の画像データとを合成した合成画像データを表示データとして格納する表示用メモリと、表示用メモリから表示データを読み出して表示部に表示する表示制御部と、を備える。表示制御部の処理に応じて、分割部の分割位置を設定し、第一、第二の画像処理装置の処理量を決定する。
【選択図】図１

Description

本発明は、入力画像を分割して画像処理する撮像装置に関する。

近年、カメラは４Ｋ（３８４０×２１６０画素）対応といった一層の高解像度化が進められている。こうした装置では、１つの画像処理プロセッサ（画像処理ＬＳＩ）だけでは画像処理能力が足りなくなる場合、１枚の入力画像から複数の分割画像を切り出し、複数の画像処理プロセッサで同時に画像処理を施す技術が用いられている。入力画像を複数に分割して画像処理を行う場合、境界部分で画像の連続性が失われないように、隣接する分割画像同士で、画像の一部をオーバーラップさせて画像処理を施す技術が開示されている。

特許文献１では、入力画像から複数の分割画像を切り出す際に、互いに隣接する分割画像に対してオーバーラップ領域を設け、オーバーラップ領域を含めて画像処理を行っている。また、特許文献２では、複数の画像処理プロセッサで１枚の画像を分割して処理する場合において、各画像処理プロセッサの処理時間やデータ転送量に応じて、画像処理プロセッサ毎の処理量を決定することで、各画像処理プロセッサの処理負荷の分散を行っている。

また、近年、高解像度な動画撮影中には、カメラ本体に備え付けられた低解像度なディスプレイだけでなく、高解像度な映像が表示可能な外部ディスプレイに撮影データを表示することが望まれている。この表示媒体への表示の主用途は、低解像度なモニタでは判断が難しいピント位置などの撮影操作に対する記録画への影響の確認である。そのため、外部ディスプレイの表示もリアルタイム性が重要であり、カメラとしても撮像から表示までの遅延時間（以下、表示遅延時間）が短いことが望まれている。

特開２０１１−９７４７４号公報 特開２０１６−１０１１２号公報

しかしながら、前述の特許文献１のように目標性能に応じた数だけ画像処理プロセッサを接続し、それぞれで領域分割した画像を処理することで画像処理性能を拡張可能なシステムでは、分割生成された記録画や表示データの画像処理装置間での転送処理が必要となる。そのため、単独の画像処理装置で処理する場合に比べて、複数の画像処理装置の待ち合わせや、転送処理により、表示遅延時間が増加する。

また、前述の特許文献２では、複数の画像処理プロセッサの処理負荷を分散可能であるが、処理負荷が高くなるにつれて、表示遅延時間が増加してしまう。

複数の画像処理プロセッサを用いて１枚の画像を分割して処理する際の表示遅延時間の課題について、図６を用いて説明する。図６は、本発明が解決しようとする課題である複数の画像処理プロセッサで処理した場合の処理タイミングを示す簡易図である。

図６は、撮影データを取得してから、２つの画像処理プロセッサを用いて上下に分割して画像処理を行った場合の処理タイミングを示しており、Ｔ１は撮影データの取得タイミングを示している。Ｔ２、Ｔ５は撮影データから上下半分を切り出し、各画像処理プロセッサで上半分、下半分の画像処理を行うタイミングを示している。Ｔ３、Ｔ６は各画処理プロセッサがもう片半分の撮影データを転送されたタイミングを示している。Ｔ４、Ｔ７は表示媒体への表示タイミングを示している。そのため、撮影データの取得から表示までのＤ１、Ｄ２は表示遅延時間を示している。図６から、Ｄ２に対してＤ１の表示遅延時間が長くなっていることがわかる。第一の画像処理プロセッサから表示を行う場合は、転送処理の待ちあわせにより表示遅延時間が増加する。第二の画像処理装置から表示を行う場合は、転送処理の待ちあわせは発生しないが、複数の表示媒体に表示を行う場合は、片方の画像処理プロセッサの処理負荷が高くなってしまう課題がある。

そこで、本発明は、上記の課題を解決するためになされたものであり、複数の画像処理プロセッサを用いて、画像領域を分割して画像処理を行う場合においても、表示遅延時間を短縮可能な撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る画像処理装置は、
任意のフレームレートで撮像画像データを取得する撮像部と、
撮像画像データを分割する分割部と、
前記分割部により分割された分割画像データを画像処理する第一、第二の画像処理装置と、
前記第一、第二の画像処理装置間で画像データ転送する画像データ転送部と
画像処理した画像データを表示するための表示部と
で構成され、
第一の画像処理装置が、
第一の分割画像データから生成した第一の画像データと、前記データ転送手段により転送されてきた第二の画像データとを合成し、表示データとして格納する表示用メモリと、
前記表示用メモリから表示データを読み出して表示部に表示する表示制御部と、
を備え、
表示制御部の処理に応じて、前記分割部の分割位置を設定し、前記第一、第二の画像処理装置の処理量を決定することを特徴とする。

本発明に係る画像処理装置によれば、入力画像を分割して、複数の画像処理プロセッサで画像処理を行う場合において、画像処理プロセッサ間の画像転送による表示遅延時間を最小限に抑えることが可能となる。

本実施例における撮像装置の構成図 撮像画像の分割処理の概略図 本実施例における撮像画像の表示デバイスへの表示処理のフローチャート 本実施例における第一、第二の画像処理プロセッサの処理範囲を示す図 本実施例における撮像画像の表示デバイスへの表示処理の処理タイミングを示す図 撮像画像の表示遅延量の課題となる処理タイミングを示す図

以下、図面を参照して本発明の好ましい実施形態を説明する。まず、図１は本実施例における撮像装置の構成例を示すブロック図である。

１００ａ、１００ｂは第一の画像処理プロセッサと、第二の画像処理プロセッサで、分割して入力された画像データをそれぞれ処理して出力する。

１１１は操作部である。撮像装置本体の外装部分に設けられた記録開始／終了ボタンやタッチパネル等で構成され、使用者の操作を第一の画像処理プロセッサ１００ａに伝える。

１２０は撮像光学系である。変倍光学系１２１などの光学レンズ群を介して被写体像を撮像素子１４１の撮像面上に結像する。

１４１は撮像素子である。撮像面に結像された被写体像を光電変換して撮像信号を生成し、Ａ／Ｄ変換して得られた画像データを出力する。

１４２は分割部である。第一の画像処理プロセッサ１００ａの制御に基づき、撮像素子１４１から出力された画像データから、第一の画像処理プロセッサ１００ａと第二の画像処理プロセッサ１００ｂの処理範囲をそれぞれ切り出して、出力する。

１５１は分割情報生成部である。第二の画像処理プロセッサ１００ｂから出力される表示データ量を算出し、そのデータ量に基づいて、分割部１４２の各画像処理プロセッサ１００ａ、１００ｂでの処理範囲を示す分割情報を第一の画像処理プロセッサ１００ａに出力する。

１６１、１６２は表示デバイスである。第二の画像処理プロセッサ１００ｂから出力された表示データを表示させる。

１７１は記録媒体である。第一の画像処理プロセッサ１００ａによって記録用の画像データが記録される。

次に、第一の画像処理プロセッサ１００ａの内部の構成を説明する。１０１ａは制御マイコンで、内部に不揮発メモリとワークメモリを備え、不揮発メモリに格納されたプログラムとデータに基づき、ワークメモリに一時的なデータを読み書きしながら、制御バス１０２ａで接続された各ブロックの制御を行う。１０２ａは制御バスである。１０３ａは通信部である。制御マイコン１０１ａは通信部１０３ａを介して、第二の画像処理プロセッサ１００ｂと制御情報を通信する。

１０４ａは画像処理部である。分割部１４２から出力された画像データに対する補正処理や現像処理を行う。また、表示デバイスに合わせた画像サイズへのリサイズ処理も行う。１０６ａはデータ転送部である。第二の画像処理プロセッサ１００ｂから出力された画像データの受信、または、第二の画像処理プロセッサ１００ｂへ画像処理部１０４ａが処理した画像データの送信を行う。１０５ａは画像メモリである。信号処理部１０４ａが処理した画像データや、データ転送部１０６ａを用いて転送された第二の画像処理プロセッサ１００ｂの画像データを格納する。

１０９ａは記録制御部である。制御マイコン１０１ａからの記録開始／終了の指示に応じて、画像処理部１０４ａが出力した画像データ、及び、データ転送部１０６ａを介して転送された画像データを符号化し、記録用画像データを記録媒体１７１に記録する。

次に、第二の画像処理プロセッサ１００ｂの内部の構成について説明する。第二の画像処理プロセッサ１００ｂの構成は、第一の画像処理プロセッサ１００ａと同じだが、システム構成上、一部のブロックが担う処理内容が異なる。

１０１ｂ〜１０６ｂの各ブロックの処理内容は、第一の画像処理プロセッサ１００ａの各ブロック１０１ａ〜１０６ａと同等である。１０７ａ、及び、１０８ａは表示制御部である。画像処理部１０４ａが出力した表示用の画像データを制御マイコン１０１ａの指示に基づき、文字やアイコンで構成される表示情報を重畳して、表示用画像データを表示デバイス１６１、１７１に出力する。

次に、図２で撮像画像の分割処理について説明する。本実施例の撮像装置では、動画撮像時に撮像画像を上下に２つに分割して、２つの画像処理プロセッサ１００ａ、１００ｂでそれぞれの分割画像を処理する。

図２（ａ）は撮像素子１４１で撮像された１フレーム分の撮像画像の例である。ここでは、撮像画像の解像度を水平３８４０ｘ垂直２１６０画素として、撮像のフレームレートを６０ｆｐｓとする。

図２（ｂ）は前記撮像画像を分割部１４２で上下に分割した分割画像２１１と分割画像２１２である。本実施例の撮像装置では、撮像画像を上下に分割して、上半分を第一の画像処理プロセッサ１００ａ、下半分を第二の画像処理プロセッサ１００ｂにそれぞれ入力する。各画像処理プロセッサ１００ａ、１００ｂが個別に画像処理を行うため、境界部分で画像の連続性が失われないように、それぞれの分割画像は隣接部分にオーバーラップ領域が設けられている。

図２（ｃ）は画像処理プロセッサ１００ａ、１００ｂがそれぞれ分割画像２１１、２１２を処理して出力した記録用画像２２１と記録用画像２２２である。分割画像２１１、２１２のオーバーラップ領域は、画像処理プロセッサ１００ａ、１００ｂ内部の画像処理で削られ、記録用画像２２１、２２２はオーバーラップ領域を持たずに出力される。

図２（ｄ）は表示デバイス１６１、及び、１６２に表示される表示画像２３０及び、２４０である。記録用画像２２１、２２２を接合することで、境界部分の連続性が保たれた状態で、表示デバイス１６１、及び、１６２で表示される。表示画像２３０は記録画像をリサイズせずにそのまま外部の表示デバイス１６１に出力する。表示画像２４０は画像処理部１０４ａ、及び、１０４ｂにおいて縮小処理がされた画像であり、ここでは、水平３８４０ｘ垂直２１６０画素の記録画像を水平、垂直共に１／２倍にリサイズし、水平１９２０ｘ垂直１０８０画素の画像とする。

次に、図３、図４、図５を用いて、本実施例の撮像画像の表示デバイスへの表示処理について説明する。図３は、本実施例の撮像画像の表示デバイスへの表示処理のフローチャートである。図４は、本実施例での第一、第二の画像処理プロセッサの処理範囲を示す図である。図５は、本実施例の撮像画像の表示デバイスへの表示処理の処理タイミングを示す図である。

図３を用いて、本実施例の制御フローについて詳細に説明する。

ステップＳ３０１では、制御マイコン１０１ａの指示に基づき、撮像素子１４１で撮像された撮像画像データの取得を行う。

ステップＳ３０２では、分割情報生成部１５１で、表示デバイスへの表示データ量を算出する。表示デバイスへの出力は、操作部１１１を用いて使用者から指示することで出力の有無を切り替えることが可能である。また、撮像装置と外部の表示装置の接続の有無を自動で検出し、表示の有無を切り替えることも可能である。分割情報生成部１５１では、各表示デバイスへの出力の有無を検出し、表示データ量を算出する。

ステップＳ３０３では、分割情報生成部１５１において取得した表示データ量を所定の値と比較する。所定の値とは、第一、第二の画像処理プロセッサ１００ａ、１００ｂで撮像画像を等分割にして処理を行った際の、処理可能な最大の表示データ量である。本実施例では、水平３８４０ｘ垂直２１６０画素の表示画像を第二の画像処理プロセッサ１００ｂから表示する場合の表示データ量を所定の値とする。そのため、図２（ｄ）の表示画像２３０（水平３８４０ｘ垂直２１６０画素）及び、表示画像２４０（水平１９２０ｘ垂直１０８０画素）を同時に表示する場合は、所定の値より表示データ量が大きくなる。また、表示画像２４０（水平１９２０ｘ垂直１０８０画素）のみを表示する場合は、所定の値より表示データ量が小さくなる。所定の値より表示データ量が大きい場合は、ステップＳ３０４に進み、所定の値より表示データ量が小さい場合は、ステップＳ３０５に進む。

ステップＳ３０４では、分割情報生成部１５１で、表示デバイスへの出力を行う第二の画像処理プロセッサ１００ｂの処理範囲を減るよう分割情報を生成し、次にステップＳ３０６へ進む。

ステップＳ３０４での分割情報の生成について説明する。図４の（ａ）は第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合の、第一、第二の画像処理プロセッサ１００ｂの処理範囲を示している。図４（ａ）の点線Ｐ０は等分割時の分割位置、線Ｐ１は第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合の分割位置を示している。Ｈ１、Ｈ２は線Ｐ１で分割した場合の第一、第二の画像処理プロセッサ１００ａ、１００ｂのそれぞれの処理範囲を示している。第二の画像処理プロセッサ１００ｂの処理範囲を減らしているため、処理範囲Ｈ２が処理範囲Ｈ１より小さくなっている。ステップＳ３０４では、分割情報生成部１５１で第一、第二の画像処理プロセッサ１００ｂの処理範囲Ｈ２が処理範囲Ｈ１より小さくように分割情報を生成する。

ステップＳ３０５では、分割情報生成部１５１で、表示デバイスへの出力を行う第二の画像処理プロセッサ１００ｂの処理範囲を増えるよう分割情報を生成し、次にステップＳ３０６へ進む。

ステップＳ３０５での分割情報の生成について説明する。図４の（ｂ）は第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合の、第一、第二の画像処理プロセッサ１００ｂの処理範囲を示している。図４（ｂ）の線Ｐ２は第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合の分割位置を示している。Ｈ’１、Ｈ’２は線Ｐ２で分割した場合の第一、第二の画像処理プロセッサ１００ａ、１００ｂのそれぞれの処理範囲を示している。第二の画像処理プロセッサ１００ｂの処理範囲を増やしているため、処理範囲Ｈ’２が処理範囲Ｈ’１より大きくなっている。ステップＳ３０５では、分割情報生成部１５１で第一、第二の画像処理プロセッサ１００ａ、１００ｂの処理範囲Ｈ’２が処理範囲Ｈ’１より大きくなるように分割情報を生成する。

ステップＳ３０６では、分割部１４２で、分割情報生成部１５１で生成した分割情報に基づいて、ステップＳ３０１で取得した撮像画像データの分割を行う。図２（ｂ）の分割画像２１１を第一の画像処理プロセッサ１００ａで処理し、分割画像２１２を第二の画像処理プロセッサ１００ｂで処理する。

ステップＳ３０７では、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの分割画像に対して現像処理を行う。現像処理を行った各分割画像はそれぞれの画像メモリ１０５ａ、及び、１０５ｂに格納する。

ステップＳ３０８では、データ転送部１０６ａ、１０６ｂより分割画像を転送し、画像メモリ１０５ｂに格納する。ステップＳ３０７で格納した分割画像及び、転送した分割画像を用いて、合成画像を画像メモリ１０５ｂに格納する。

ステップＳ３０９では、ステップＳ３０８で合成した合成画像を表示制御部１０７ｂ及び、１０８ｂから表示デバイス１６１、１７１に出力し、表示画像の表示を行う。

ここで、各ステップの処理タイミングについて図５を用いて説明する。図５（ａ）は、第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合の処理タイミングを示しており、図５（ｂ）は、第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合の処理タイミングを示している。

まず、ステップＳ３０４で第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合について説明する。

図５（ａ）の撮像素子出力タイミングは、撮像素子１４１の出力及び、分割部１４２への入力の処理タイミングを示している。分割部出力タイミングは、分割部１４２から第一、第二の画像処理プロセッサ１００ａ、１００ｂへの出力処理タイミングを示している。第一の画像処理プロセッサ１００ａへの出力は画像の上部分の出力となるため、１Ｖの前半部分で処理タイミングとなっており、第二の画像処理プロセッサ１００ｂへの出力は画像の下部分の出力となるため、１Ｖの後半部分で処理タイミングとなっている。転送データ受信タイミングは、分割画像を受け取るタイミングである。

第一の画像処理プロセッサ１００ａの転送データ受信タイミングでは、第二の画像処理プロセッサ１００ｂの分割部出力タイミングの完了から転送データの受信タイミングとなる。同様に、第二の画像処理プロセッサ１００ｂの転送データ受信タイミングは、第一の画像処理プロセッサ１００ａの分割部出力タイミングの完了から転送データの受信タイミングとなる。表示デバイス入力タイミングは、表示デバイスへの表示データの入力タイミングを示している。Ｄ３は表示遅延時間を示しており、撮影、つまり、撮像素子１４１の読み出しから表示開始までの表示遅延時間を示している。表示データ量が所定の値より大きい場合は、第二の画像処理プロセッサ１００ｂの処理範囲を減らすことで、各表示デバイス１６１、１６２への表示遅延時間を揃えることが可能となる。

次に、ステップＳ３０５で第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合について説明する。

図４（ｂ）は、図４（ａ）と同様に各処理タイミングを示している。同様に、Ｄ４は表示遅延時間を示している。表示データ量が所定の値より小さい場合は、第二の画像処理プロセッサ１００ｂの処理範囲を増やすことで、各表示デバイス１６１、１６２への表示遅延時間を短縮することが可能となる。

これにより、入力画像を分割して、複数の画像処理プロセッサで画像処理を行う場合において、表示データ量に応じて第一、第二の画像処理プロセッサの処理量を切り替えることで、画像転送による表示遅延時間を最小限に抑えることが可能となる。

以上、本発明の好ましい実施形態について説明したが、図１に示した撮像装置の構成は一例であり、各実施例の動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。

また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ａ 第一の画像処理プロセッサ、１００ｂ 第ニの画像処理プロセッサ、
１０１ａ，１０１ｂ １００ａ，１００ｂの制御マイコン、
１０２ａ，１０２ｂ １００ａ，１００ｂの制御バス、
１０３ａ，１０３ｂ １００ａ，１００ｂの通信部、
１０４ａ，１０４ｂ １００ａ，１００ｂの画像処理部、
１０５ａ，１０５ｂ １００ａ，１００ｂの画像メモリ、
１０６ａ，１０６ｂ １００ａ，１００ｂのデータ転送部、
１０７ｂ １００ｂの表示処理部、１０８ｂ １００ｂの表示処理部、
１０９ａ １００ａの記録制御部、１１１ 操作部、１２０ 撮像光学系、
１２１ 変倍光学系、１４１ 撮像素子、１４２ 分割部、
１５１ 分割情報生成部、１６１ 表示デバイス、１６２ 表示デバイス、
１７１ 記録媒体

Claims (4)

1. 任意のフレームレートで撮像画像データを取得する撮像部と、
   撮像画像データを分割する分割部と、
   前記分割部により分割された分割画像データを画像処理する第一、第二の画像処理装置と、
   前記第一、第二の画像処理装置間で画像データ転送する画像データ転送部と
   画像処理した画像データを表示するための表示部と、
   で構成され、
   第一の画像処理装置が、
   第一の分割画像データから生成した第一の画像データと、前記データ転送手段により転送されてきた第二の画像データとを合成し、表示データとして格納する表示用メモリと、
   前記表示用メモリから表示データを読み出して表示部に表示する表示制御部と、
   を備え、
   表示制御部の処理に応じて、前記分割部の分割位置を設定し、前記第一、第二の画像処理装置の処理量を決定することを特徴とする撮像装置。
2. 前記分割部の分割位置を設定は、前記表示制御部が読み出す表示データ量に応じて設定することを特徴とする請求項１に記載の撮像装置。
3. 前記分割部は、撮像画像データを上下に分割することを特徴とする請求項１に記載の撮像装置。
4. 前記撮像部は、撮像画像をライン毎に順次読み出すことを特徴とし、前記表示データ量の増加に従って、読み出しの遅い撮像画像の処理を行う前記画像処理装置の処理量が小さくなるように制御することを特徴とする請求項２に記載の撮像装置。