JP2018191154A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】出力画像を生成する処理速度を処理状況に応じて変更することによって、出力画像のライン出力の等時性を保ち続けること。
【解決手段】画像処理装置は、入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力し、前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定部と、前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給部と、前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成部とを有する。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラ等のレンズにより撮影された画像データは、レンズ収差によって歪んでいる。特に広角レンズ又は魚眼レンズで撮影した画像は、画像データの歪みが一段と強い。広角レンズ又は魚眼レンズでは、レンズの歪面収差特性のため、周辺部ほど歪曲率が大きく、画像の歪みが著しい。歪んだ画像データを歪みが低減された画像データに変換して画像の視認性を向上させる手段として、アフィン変換等の画像の任意画像変形回路がある。また、任意画像変形回路は、３６０度カメラ又はパノラマ画像の場合、センサから入力された複数枚の入力画像から生成される２枚の画像の合成を行う機能によって、大きなサイズの出力画像を生成する。

レンズを通して得られた入力画像を一旦格納しておくフレームメモリには、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate - Synchronous Dynamic Random Access Memory。以下、ＤＤＲメモリという。）が使用される場合が多い。出力画像を生成するために対応する入力画素をＤＤＲメモリから読み出していく処理を、出力画素ごとに順に実行しようとすると、特に任意画像変形ではＤＤＲメモリに対してランダムアクセスが必要となり、膨大な処理時間を必要とするという問題がある。そこで、出力画像を複数のエリアに分割し、それぞれの出力画像エリアで必要とする入力画像の一部の領域を切り出して高速に読み書き可能なＳＲＡＭ（Static RAM）に一旦取り込んだ後、補正演算により出力画素を生成していく手法が既に知られている（例えば特許文献１）。当該出力画像を映像出力するときの要求として、ライン等時性を要求される場合がある。

しかしながら、従来の技術で１枚の出力画像を生成する際に、画像の合成が多数必要になると処理に時間がかかり、遅延が大きくなってライン出力の等時性を満たせずエラーとなり、後段に画像データを出力できなくなるという問題があった。

本発明は上記の点に鑑みてなされたものであって、出力画像を生成する処理速度を処理状況に応じて変更することによって、出力画像のライン出力の等時性を保ち続けることを目的とする。

そこで上記課題を解決するため、画像処理装置は、入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力し、前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定部と、前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給部と、前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成部とを有する。

出力画像を生成する処理速度を処理状況に応じて変更することによって、出力画像のライン出力の等時性を保ち続けることができる。

本発明の実施の形態における画像処理装置１００の機能構成例（１）を示す図である。 本発明の実施の形態における画像処理装置１００の機能構成例（２）を示す図である。 本発明の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。 本発明の実施の形態における任意画像変形部１３の機能構成例を示す図である。 本発明の実施の形態における補正後画素メモリ２４の機能構成例を示す図である。 本発明の実施の形態におけるクロック制御部２７の機能構成例を示す図である。 本発明の実施の形態における出力画像の処理を示す図である。 本発明の実施の形態における画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。 本発明の実施の形態における画像合成用の画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。 本発明の実施の形態における任意画像変形部１３で使用される画像処理パラメータの一例を示す図である。 本発明の実施の形態における外部メモリに画像が格納される一例を示す図である。 本発明の実施の形態における出力画像の一例を示す図である。 本発明の実施の形態における出力画像の合成領域の一例を示す図である。 本発明の実施の形態における出力画像のタイミングチャートの一例を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態における画像処理装置１００の機能構成例（１）を示す図である。図１に示されるように、画像処理装置１００は、入力Ｉ／Ｆ１０、画像処理部１１、天頂補正部１２、任意画像変形部１３、制御部１４、出力Ｉ／Ｆ１５、インターコネクト部１６及び外部メモリ部１７を有する。

入力Ｉ／Ｆ１０は、外部から画像データを取り込み、インターコネクト部１６を介して外部メモリ部１７に格納する。入力Ｉ／Ｆ１０とインターコネクト部１６の間は、ＤＭＡ（Direct Memory Access）コントローラ、画像処理等の機能部が存在してもよい。

画像処理部１１は、任意画像変形部１３による画像処理以外の画像処理を行う。当該画像処理は、複数の画像処理を含んでよい。天頂補正部１２は、３６０度撮影カメラ等で、カメラの撮影方向によらず、録画された画像で上下方向を常に一定にするよう、入力画像の回転角度の情報を例えばジャイロ等から入手して、頂点の位置を補正する。当該補正は、外部メモリに格納されたパラメータを読み出して、回転角度に基づいてパラメータを書き換えて、外部メモリに書き戻しを行うことにより実行される。任意画像変形部１３は、回転、拡大、縮小等の画像変形を実行する。制御部１４は、レジスタのリード又はライトを実行する。出力Ｉ／Ｆ１５は、外部メモリ部１７に格納された画像に様々な画像処理を施したのち、画像データを外部に出力するインタフェースである。インターコネクト部１６は、各機能部間の画像データ等のやり取りを行う。外部メモリ部１７は、入力された画像データ、画像処理が施された画像データ、画像処理に使用されるパラメータ等を記憶する。

図２は、本発明の実施の形態における画像処理装置１００の機能構成例（２）を示す図である。図２においては、図１に示される構成との差分として、任意画像変形部１３が、出力Ｉ／Ｆ１５の前段に配置され、接続されている。

図３は、本発明の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。図３に示されるように、画像処理装置１００は、バス１０６を介して相互に接続されているＣＰＵ（Central Processing Unit）１０１、ネットワークインタフェース１０２、入出力インタフェース１０３、内部メモリ１０４、外部メモリインタフェース１０５及び外部メモリ１０７を有する。

画像処理装置１００での処理を実現するプログラムは、内部メモリ１０４又は外部メモリ１０７に格納される。内部メモリ１０４又は外部メモリ１０７は、インストールされたプログラムを格納すると共に、必要なファイル及びデータ等を格納する。内部メモリ１０４又は外部メモリ１０７は、ＳＲＡＭ、ＤＤＲメモリ、ＲＯＭ（Read Only Memory）、フラッシュメモリ又は外部記憶媒体であるメモリカード等のいずれであってもよいし、それらの複数を含んでもよい。

ネットワークインタフェース１０２は、ネットワークを介して外部装置と通信を行うためのインタフェースである。当該インタフェースは、有線又は無線ＬＡＮ（Local Area Network）であってもよいし、他の通信方式を使用するものでもよい。

入出力インタフェース１０３は、スマートフォン、ＵＳＢ（Universal Serial Bus）機器、ハードウェアキー、状態通知用ＬＥＤ（Light Emitting Diode）、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。

外部メモリインタフェース１０５は、外部メモリ１０７と接続及び制御するためのインタフェースである。

なお、図１における入力Ｉ／Ｆ１０及び出力Ｉ／Ｆ１５は、入出力インタフェース１０３により実現されてもよい。図１における画像処理部１１、天頂補正部１２、任意画像変形部１３及び制御部１４は、画像処理装置１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現されてもよい。また、図１における画像処理部１１、天頂補正部１２、任意画像変形部１３及び制御部１４は、図３に示されるハードウェア構成の一部又は全部をそれぞれ個別に有していてもよい。図１におけるインターコネクト部１６は、バス１０６により実現されてもよい。図１における外部メモリ部１７は、外部メモリ１０７により実現されてもよい。

図４は、本発明の実施の形態における任意画像変形部１３の機能構成例を示す図である。図４に示されるように、任意画像変形部１３は、演算部２１、参照画像メモリＡ２２Ａ、参照画像メモリＢ２２Ｂ、画像処理パラメータメモリ２３、補正後画素メモリ２４、全体制御部２５、インタフェース部２６、クロック制御部２７及びレジスタ制御部２８を有する。ＣＬＫ信号３０、ＣＰＵ制御信号３１、ＤＤＲコントローラ３２、ＤＤＲメモリ３３及び外部出力３４は、任意画像変形部１３と連携して動作する機能部である。

演算部２１、全体制御部２５、インタフェース部２６、クロック制御部２７、レジスタ制御部２８及びＣＰＵ制御信号３１は、画像処理装置１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現されてもよい。参照画像メモリＡ２２Ａ、参照画像メモリＢ２２Ｂ、画像処理パラメータメモリ２３及び補正後画素メモリ２４は、内部メモリ１０４により実現されてもよい。当該内部メモリ１０４は、高速処理及びランダムアクセス処理を実現するため、ＳＲＡＭであってもよい。ＣＬＫ信号３０は、クロック発信機により実現されてもよい。ＤＤＲコントローラ３２は、外部メモリインタフェース１０５により実現されてもよい。ＤＤＲメモリ３３は、外部メモリ１０７又は内部メモリ１０４により実現されてもよい。ＤＤＲ当該外部メモリ１０７は、ＤＤＲメモリであってもよい。外部出力３４は、入出力インタフェース１０３により実現されてもよい。

ＤＤＲメモリ３３は、任意画像変形部１３が使用する参照画像となる入力画像、出力画像のエリアごとの画像処理パラメータが格納されている。図１に示される画像処理装置１００の機能構成の場合、出力画像もＤＤＲメモリ３３に格納される。

参照画像メモリＡ２２Ａ及び参照画像メモリＢ２２Ｂは、ＤＤＲメモリ３３に格納されている入力画像から取得する参照画像データを格納する領域である。ＲＡＭＲＥＦＡ（１）〜ＲＡＭＲＥＦＡ（Ｐ）は、出力画像に対応する参照画像が格納される。同様に、ＲＡＭＲＥＦＢ（１）〜ＲＡＭＲＥＦＢ（Ｐ）は、出力画像に対応する参照画像が格納される。Ｐは、演算部２１において並行して演算を行う並列処理数であり、１又は２でもよく、求められる性能に応じてＰは決定される。すなわち、参照画像メモリは、必要な処理速度に基づいて決定された並列処理数を演算部２１で実行するために、参照画像をＰだけ並列して記憶する。

画像処理パラメータメモリ２３は、ＤＤＲメモリ３３から取得する画像処理パラメータを格納する領域である。ＲＡＭＲＥＦＡに対応する画像処理パラメータが格納される領域がＲＡＭＰＩＸＡであり、ＲＡＭＲＥＦＢに対応する画像処理パラメータが格納される領域がＲＡＭＰＩＸＢである。

演算部２１は、画像処理パラメータＲＡＭＰＩＸＡ又はＲＡＭＰＩＸＢに基づいて、参照画像ＲＡＭＲＥＦＡ又はＲＡＭＲＥＦＢを読み取って、出力画像の画素ごとに補正演算を実行する。図４に示されるａｆｎ＿ｃａｌ（１）〜ａｆｎ＿ｃａｌ（Ｐ）は、当該補正演算処理を示し、Ｐだけ並行して実行することができる。演算部２１は、補正演算処理をエリアごとに繰り返して、補正後画素メモリ２４に補正演算後のデータを出力する。

補正後画素メモリ２４は、補正演算後のデータを格納し、画像処理パラメータに基づいて必要であれば合成処理を実行する（詳細は後述）。ＲＡＭＲＥＶＡ及びＲＡＭＲＥＶＢは、出力画像が格納される領域である。補正後又は合成後の出力画像は、全体制御部２５及びインタフェース部２６を介してＤＤＲメモリ３３に書き戻されるか、外部出力３４に出力される。

全体制御部２５は、各部間の画像データ及び制御データの転送に係る制御を行う。

インタフェース部２６は、全体制御部２５及びＤＤＲコントローラ３２と接続され、ＤＤＲメモリ３３に格納されている画像データ及び制御データを全体制御部２５へ転送する。

クロック制御部２７は、ＣＬＫ信号３０から複数のクロック信号を取得し、演算部２１又は任意画像変形部１３全体を駆動する動作クロックを、当該クロック信号のいずれかを選択して供給する。図４に示されるＣＬＫ信号３０からは、２本のクロックが入力されているが、３本以上のクロックが入力されてもよい。

レジスタ制御部２８は、参照画像の主走査・副走査画像サイズ等の情報を保持する。

図５は、本発明の実施の形態における補正後画素メモリ２４の機能構成を示す図である。補正後画素メモリ２４では、演算部２１から補正演算後のデータを取得し、画像処理パラメータで設定されるブレンド係数を乗算し、ＲＡＭＲＥＶに格納する。ブレンド係数とは、画素の合成をする際のウエイト情報である。ブレンド係数は、例えば入力画像Ａと入力画像Ｂを合成するときに、入力画像Ａを９０％、第２の入力画像Ｂを１０％のウエイトとして合成する等、合成時の入力画像のそれぞれのウエイトを設定可能である。画像処理パラメータのエリア合成設定が有効であれば、格納されたＲＡＭＲＥＶからデータを読み出し、次のエリアの補正演算後のデータと加算を行い、他方のＲＡＭＲＥＶに当該データを格納する。補正後画素メモリ２４は、ＲＡＭＲＥＶＡ又はＲＡＭＲＥＶＢのいずれかの画像データをセレクタにより切り替えて出力する。

図６は、本発明の実施の形態におけるクロック制御部２７の機能構成を示す図である。図６に示されるＣＬＫ１又はＣＬＫ２は、互いに異なる周波数のクロックである。画像処理パラメータからエリアごとに取得されるクロックを指定する情報に基づくＣＬＫ選択信号によりセレクタを切り替え、ＣＬＫ１又はＣＬＫ２を演算用ＣＬＫとして、演算部２１又は任意画像変形部１３全体に動作クロックを供給する。

図７は、本発明の実施の形態における出力画像の処理を示す図である。任意画像変形部１３によって出力される出力画像は、図７に示されるようにエリアごとに分割されて、主走査方向にＮ個、副走査方向にＭ個出力される。出力画像において、１〜Ｎを１エリアライン、Ｎ＋１〜２Ｎを２エリアライン、最終のエリアラインをＭエリアラインという。画像の出力順は、図７に示される矢印のように、主走査方向にエリアがＮ個出力されたのち、次のエリアラインが出力される。

図８は、本発明の実施の形態における画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。図７に示される出力画像の出力順に対応するように、入力画像の使用する部分を指定する参照画像切り出しデータ及び当該参照画像に対する画像処理パラメータを指定する参照画素指定データ（詳細は後述）が、エリアごとに順番に配置される。任意画像変形部１３は、ＤＤＲメモリ３３上に配置されたエリア１に対応する画像処理パラメータから順番に取得して、出力画像が生成される。

図９は、本発明の実施の形態における画像合成用の画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。入力画像Ａ及び入力画像Ｂが合成される場合、入力画像Ａに対する画像処理パラメータ（エリア１ａ）の次に、入力画像Ｂに対する画像処理パラメータ（エリア１ｂ）が配置されるように、入力画像Ａ又は入力画像Ｂに対する画像処理パラメータが交互に配置される。出力画像の１エリアを生成するために、入力画像Ａ及び入力画像Ｂがそれぞれ対応する計２エリア分の画像処理パラメータに基づいて、補正演算処理が実行される。交互に配置された画像処理パラメータは順番に読み取られるため、重ね合わせを行う入力画像Ａ及び入力画像Ｂは連続して補正演算処理が行われる。続いて、画像処理パラメータに含まれるエリア合成設定を参照して、合成するか否かが判断され、補正後画素メモリ２４にて合成が行われる。

図１０は、本発明の実施の形態における任意画像変形部１３で使用される画像処理パラメータの一例を示す図である。画像処理パラメータは、入力画像から参照画像を切り出すための参照画像切り出しデータと、出力画像の１画素を生成するための参照画像の画素値及びサブピクセル値を指定する参照画素指定データとから構成される。１画素に対する参照画素指定データは、複数であってもよい。参照画像切り出しデータ及び参照画素指定データは、出力画像の１エリア単位で用意され、エリア出力順に応じて、ＤＤＲメモリ３３に配置されてもよい。入力画像を撮像したレンズのレンズパラメータの歪み率等に基づいて、エリアごとの画像処理パラメータが決定される。

参照画像切り出しデータに含まれる「参照画像の先頭ＤＤＲアドレス」は、参照画像とする入力画像が格納されているＤＤＲメモリ３３の先頭アドレスである。参照画像切り出しデータに含まれる「エリア合成指定」は、当該エリアが合成されるか否かを指定する。参照画像切り出しデータに含まれる「エリア飛ばし指定」は、当該エリアが補正演算処理の対象であるか否かを指定する。「エリア飛ばし指定」がされている場合、入力画像は、補正演算処理されることなく出力画像となる。参照画像切り出しデータに含まれる「参照画像の主走査画素数」は、参照画像の主走査方向の画素数を示す。参照画像切り出しデータに含まれる「ＣＬＫ指定」は、当該エリアの補正演算処理に使用するクロックを指定する。参照画像切り出しデータに含まれる「参照画像の副走査画素数」は、参照画像の副走査方向の画素数を示す。

参照画素指定データに含まれる「Ｘアドレス」及び「Ｙアドレス」は、出力画像の１画素を生成する参照画像の画素を指定する。参照画素指定データに含まれる「Ｘサブピクセル」及び「Ｙサブピクセル」は、出力画像の１画素を生成する参照画像の画素を詳細に指定する情報である。参照画素指定データに含まれる「ブレンド係数」は、図５に示される画素の合成をする際のウエイト情報である。

本実施例では、画像処理パラメータは、入出力画像データを格納するフレームメモリであるＤＤＲメモリ３３に格納される。入力画像データ、補正後の出力画像データ及び画像処理パラメータは、それぞれアドレスオフセットが付与されて、ＤＤＲメモリ３３に配置されてもよい。

図１１は、本発明の実施の形態におけるＤＤＲメモリ３３に画像が格納される一例を示す図である。ＤＤＲメモリ３３に、魚眼画像である入力画像Ａ及び入力画像Ｂが格納されている。以下、魚眼画像である入力画像Ａ及び入力画像Ｂから、１枚の全天球画像を生成する場合の処理について説明する。

図１２は、本発明の実施の形態における出力画像の一例を示す図である。出力画像１は、図１１に示される魚眼画像である入力画像Ａ及び入力画像Ｂに補正演算処理を施し、それぞれ左右に並べたものである。入力画像Ａから生成される領域Ａ及び入力画像Ｂから生成される領域Ｂ以外の斜線で示される領域は、入力画像Ａ及び入力画像Ｂを合成して生成した領域である。出力画像２は、出力画像１において、領域Ａを画像の中心に移動したものである。出力画像３は、出力画像２において、さらに垂直方向に画像の半分だけ移動したものである。

出力画像１、出力画像２及び出力画像３における差異は、カメラの撮影方向の違いによって入力画像の向きが異なり、それに対して出力画像の位置を天頂補正部１２によって補正する等の理由により発生する。出力画像に対する入力画像Ａ及び入力画像Ｂの配置は、図１２に示されるように変化する。

図１３は、本発明の実施の形態における出力画像の合成領域の一例を示す図である。図１３に示されるひとつの白枠は、１エリアに対応し、図１２に示される各出力画像において合成が必要な領域を示している。領域Ａ及び領域Ｂは、入力画像の合成は不要であり、画像処理パラメータには「エリア飛ばし設定」がされている。

図１３に示されるように、出力画像１及び出力画像２は、出力画像の最初の１エリアライン及び最終のエリアラインに合成が必要なエリアが多く存在する。出力画像３は、出力画像の中央のエリアラインに合成が必要なエリアが多く存在する。すなわち、出力画像に対する入力画像Ａ及び入力画像Ｂの配置によって、合成が必要なエリアを多く含むエリアラインが変化する。入力画像が動画の場合、毎フレーム合成が必要なエリアが多く存在するエリアラインが変化する可能性がある。合成が必要なエリアは、入力画像Ａ及び入力画像Ｂの両方から参照画像を取得し、補正演算処理を行う必要があるため、合成が必要ないエリアと比べた場合、約２倍の処理時間を要する。そのため、１エリアラインの全てのエリアで合成が必要である場合、合成が全く必要ない１エリアラインと比べた場合、約２倍の処理時間を要する。したがって、ライン出力の等時性を保証する場合、合成が全く必要ない１エリアラインに要する処理時間の約２倍の時間をライン出力間に設定する必要があり、処理遅延が大きくなる。

そこで、例えば、図６に示されるクロックについて、ＣＬＫ１が１００ＭＨｚ、ＣＬＫ２が２００ＭＨｚとする。例えば、天頂補正部１２において、カメラの向きにより画像の回転角度を変える必要が生じて天頂補正を行った場合、天頂補正部１２は、合成が必要であるエリアが所定の数又は割合よりも多いエリアラインを判定し、当該エリアラインに含まれるエリアの画像処理パラメータの「ＣＬＫ指定」にＣＬＫ２を、当該エリアライン以外のエリアラインは「ＣＬＫ指定」にＣＬＫ１を設定する。また、当該判定は、例えば、画像処理部１１によって行われてもよい。当該「ＣＬＫ指定」により、任意画像変形部１３は、合成が必要であるエリアが多いエリアラインを補正演算処理するとき、ＣＬＫ２による２００ＭＨｚのクロックを使用することが可能となり、合成が必要であるエリアが多いエリアラインの処理が早くなるため、ライン出力の等時性を保証する場合であっても、処理遅延を低減することができる。なお、「ＣＬＫ指定」について、エリアラインごとに設定するのではなく、エリアごとに設定してもよい。

また、例えば、図１に示される画像処理部１１において、外部メモリ部１７からエリアごとの画像処理パラメータを取得して、「エリア合成指定」の情報を参照して、当該エリアが合成されるエリアである場合、「ＣＬＫ指定」にＣＬＫ２を設定して、外部メモリ部１７に書き戻すことで、合成が必要であるエリアの補正演算処理の処理遅延を低減することができる。

図１４は、本発明の実施の形態における出力画像のタイミングチャートの一例を示す図である。図１４において、図１３に示される出力画像１に補正演算処理を行う場合のタイミングチャートが示されている。

ＬＳＹＮＣは、ライン等時を保つためのライン周期信号である。ＣＬＫ１及びＣＬＫ２は、ＣＬＫ指定により選択されるクロックである。ＣＬＫ指定は、画像処理パラメータで指定される。演算部ＣＬＫは、演算部２１に供給されるクロックの波形である。ＤＡＴＡＩＮは、演算期間を示す。

図１４において、左端のＬＳＹＮＣは、図１３に示される出力画像１の１エリアラインの開始を示すライン周期信号である。出力画像１の１エリアラインは、合成が必要なエリアが多いため、ＣＬＫ指定によりＣＬＫ２が演算部ＣＬＫに供給されて、処理速度を向上させている。その結果、ＬＳＹＮＣのタイミングに遅延を生じさせることなく、２エリアラインの補正演算処理を開始することができる。図１４に示されるように、２エリアラインは、合成が必要なエリアが少ないため、ＣＬＫ指定によりＣＬＫ１が演算部ＣＬＫに供給されて、通常の処理速度で処理される。

上述したように、本発明の実施の形態によれば、画像処理装置１００は、合成が必要なエリアが多いエリアラインを補正演算処理するとき、通常よりも高いクロックを任意画像変形部１３に供給して処理速度を上げることで、ライン周期に間に合うように当該エリアラインの補正演算処理が完了する。すなわち、出力画像を生成する処理速度を処理状況に応じて変更することによって、出力画像のライン出力の等時性を保ち続けることができる。

なお、本発明の実施の形態において、エリアラインは、ラインの一例である。エリアは、領域の一例である。天頂補正部１２又は画像処理部１１は、判定部の一例である。クロック制御部２７は、供給部の一例である。演算部２１及び補正後画素メモリ２４は、合成部の一例である。ＤＤＲメモリ３３は、第１の記憶部の一例である。参照画像メモリ２２は、第２の記憶部の一例である。

なお、本発明は、プロジェクタ、医療用機器又はテレビ会議システム等の画像処理装置又は画像処理システムに適用可能である。また、本発明は、撮像した画像を処理する装置又はシステムとなり得る、携帯電話、携帯型情報端末、車載機器等の通信端末又は情報処理装置に適用可能である。また、本発明の画像処理装置は、一つの装置にすべての機能を含んで構成されてもよいし、複数の装置によって構成されてもよい。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 画像処理装置
１０ 入力Ｉ／Ｆ
１１ 画像処理部
１２ 天頂補正部
１３ 任意画像変形部
１４ 制御部
１５ 出力Ｉ／Ｆ
１６ インターコネクト部
１７ 外部メモリ部
１０１ ＣＰＵ
１０２ ネットワークインタフェース
１０３ 入出力インタフェース
１０４ 内部メモリ
１０５ 外部メモリインタフェース
１０６ バス
１０７ 外部メモリ
２１ 演算部
２２ 参照画像メモリ
２３ 画像処理パラメータメモリ
２４ 補正後画素メモリ
２５ 全体制御部
２６ インタフェース部
２７ クロック制御部
２８ レジスタ制御部
３０ ＣＬＫ信号
３１ ＣＰＵ制御信号
３２ ＤＤＲコントローラ
３３ ＤＤＲメモリ
３４ 外部出力

特開２０１５−０９９９５９号公報

Claims (6)

1. 入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力する画像処理装置であって、
   前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定部と、
   前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給部と、
   前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成部とを有する画像処理装置。
2. 前記入力される複数の画像を記憶する第１の記憶部と、
   前記合成に使用される入力された画像を記憶する第２の記憶部とをさらに有し、
   前記第１の記憶部及び前記第２の記憶部は、前記供給されるクロックにより駆動される請求項１記載の画像処理装置。
3. 前記第１の記憶部は、ＳＲＡＭ（Static Random Access Memory）で構成される請求項２記載の画像処理装置。
4. 前記第２の記憶部は、前記合成に必要な処理速度に基づいて決定された並列処理数を前記合成部で実行するために、前記合成に使用される入力された画像を前記並列処理数だけ並列して記憶する請求項２記載の画像処理装置。
5. 入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力する画像処理方法であって、
   前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定手順と、
   前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給手順と、
   前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成手順とを実行する画像処理方法。
6. 入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力する画像処理装置が実行可能なプログラムであって、
   前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定手順と、
   前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給手順と、
   前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成手順とを前記画像処理装置に実行させるためのプログラム。

Images