JP5968011B2 - 画像処理装置及びその制御方法 - Google Patents
画像処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP5968011B2 JP5968011B2 JP2012084086A JP2012084086A JP5968011B2 JP 5968011 B2 JP5968011 B2 JP 5968011B2 JP 2012084086 A JP2012084086 A JP 2012084086A JP 2012084086 A JP2012084086 A JP 2012084086A JP 5968011 B2 JP5968011 B2 JP 5968011B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing circuit
- feature
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Description
複数の分割画像を複数のLSIで処理する場合、LSI間で処理に必要な情報を通信する必要がある。処理に必要な情報は、例えば、各LSIで取得した輝度情報や色差情報、フィルタ処理に必要な画像領域の画素値などである。各LSIは、自身に入力された分割画像から取得した情報を、自身に対応するメモリに記録する。
PCIeで使用するトランザクションには、「ポステッド・トランザクション」、「ノンポステッド・トランザクション」、「コンプリーション・トランザクション」の3つがある。
メモリ・ライトは、ポステッド・トランザクションであり、書き込み対象のLSIからの応答を必要としない。
メモリ・リードは、ノンポステッド・トランザクションであり、読み出し対象のLSIからのACKnowledge(以下、Ack)の伝送であるコンプリーション・トランザクションが必要である。メモリ・リードでは、Ackの受信タイミングにより実効速度が大きく低下する場合がある。
特徴画像は、元画像のフレームレート(60Hzや120Hz)で更新する必要がある。そのため、特徴画像を表示するには、限られた時間(例えば画像データの垂直ブランキング期間)内に、各LSIで得られた特徴量を特徴画像を生成するLSIに転送する必要がある。
しかし、前述したように、PCIeを用いたメモリ・リードでは、コンプリーション・トランザクションが必要となるため、通信の実効速度が大きく低下する場合がある。そのため、目標の性能を実現すること(例えば、元画像のフレームレートで特徴画像を更新すること)ができなくなる場合がある。
画面に画像を表示する表示手段に接続可能な画像処理装置であって、
元画像を分割して得られる複数の分割画像のうち、1または2以上の分割画像からなる第1入力画像を用いて前記画面の第1領域に表示される第1表示画像を生成して出力する第1の画像処理回路と、
前記複数の分割画像のうち、前記第1入力画像とは異なる1または2以上の分割画像からなる第2入力画像を用いて前記画面の第2領域に表示される第2表示画像を生成して出力する第2の画像処理回路と、
前記第1入力画像の特徴量と前記第2入力画像の特徴量とを示す特徴画像が表示される前記画面内の位置に基づいて、前記第1の画像処理回路と前記第2の画像処理回路とを制御する制御手段と、
を備え、
前記制御手段は、
前記第1領域に前記特徴画像が表示される場合、前記第2の画像処理回路が前記第2入力画像の特徴量を前記第1の画像処理回路に書込み、かつ、前記第1の画像処理回路が前記特徴画像を含む前記第1表示画像を生成するように制御し、
前記第2領域に前記特徴画像が表示される場合、前記第1の画像処理回路が前記第1入力画像の特徴量を前記第2の画像処理回路に書込み、かつ、前記第2の画像処理回路が前記
特徴画像を含む前記第2表示画像を生成するように制御する
ことを特徴とする。
画面に画像を表示する表示手段に接続可能な画像処理装置であって、
元画像を分割して得られる複数の分割画像のうち、1または2以上の分割画像からなる第1入力画像を用いて前記画面の第1領域に表示される第1表示画像を生成して出力する第1の画像処理回路と、
前記複数の分割画像のうち、前記第1入力画像とは異なる1または2以上の分割画像からなる第2入力画像を用いて前記画面の第2領域に表示される第2表示画像を生成して出力する第2の画像処理回路と、
を備えた画像処理装置の制御方法であって、
前記第1入力画像の特徴量と前記第2入力画像の特徴量とを示す特徴画像が表示される前記画面内の位置に基づいて、前記第1の画像処理回路と前記第2の画像処理回路とを制御する制御ステップを有し、
前記制御ステップは、
前記第1領域に前記特徴画像が表示される場合、前記第2の画像処理回路が前記第2入力画像の特徴量を前記第1の画像処理回路に書込み、かつ、前記第1の画像処理回路が前記特徴画像を含む前記第1表示画像を生成するように制御し、
前記第2領域に前記特徴画像が表示される場合、前記第1の画像処理回路が前記第1入力画像の特徴量を前記第2の画像処理回路に書込み、かつ、前記第2の画像処理回路が前記特徴画像を含む前記第2表示画像を生成するように制御する
ことを特徴とする。
図1の例では、画像処理装置100には、分割部106から複数の分割画像が入力される。そして、画像処理装置100は、複数の分割画像を処理して表示部107に出力する。
分割部106は、分割部106に入力された元画像を複数の分割画像に分割し、画像処理装置100に出力する。本実施形態では、図1に示すように、元画像が2×2の4つの分割画像に分割されて出力される。元画像は、例えば、4K2Kの画像(画像サイズが4096画素×2048画素の画像)のような高解像度の画像である。なお、分割画像の数は4つに限らない。分割画像の数は、例えば、2つや8つであってもよい。また、図1の例では、元画像がマトリクス状の複数の分割画像に分割される場合の例を示したが、元画像の分割方法はこれに限らない。例えば、元画像が短冊状の複数の分割画像に分割されてもよい。
表示部107は、画像処理装置100で処理が施された複数の分割画像を1枚の画像に合成して表示する表示装置である。
なお、本実施形態では、画像処理装置100と分割部106と表示部107がそれぞれ別体であるものとするが、この構成に限らない。例えば、画像処理装置100と分割部106と表示部107は一体であってもよい。画像処理装置100は、表示部107の機能の一部(例えば、分割画像を合成する機能)を有していてもよい。
回路(LSI(Large Scale Integration)101,102)から構成される。
LSI101とLSI102が連携して処理を行うことにより、元画像の一部の領域に特徴画像を合成して表示するための表示用画像が生成される。
また、各LSIは、互いに通信可能(制御可能)に接続されている。本実施形態では、LSI101とLSI102はPCIe103で互いに通信可能に接続されている。
また、各LSIは、入力された分割画像に所定の画像処理を施すなどの処理を行い、表示用画像を生成する。LSIは、画像処理を行う際に、他のLSIと通信を行い、画像処理に必要な情報(例えば、統計情報やフィルタ演算に必要な画像データ)などを取得する。図1の例では、LSI101には、分割部106から出力された4つの分割画像のうちの2つが入力され、LSI102には、上記4つの分割画像のうちの残り2つが入力される。具体的には、LSI101には、元画像の左半分を構成する2つの分割画像が入力され、LSI102には、元画像の右半分を構成する2つの分割画像が入力される。以後、元画像の左半分の画像を左画像、元画像の右半分の画像を右画像と記載する。
そして、各LSIは、生成した表示用画像を表示部107に出力する。本実施形態では、LSI101,102は、生成した表示用画像を縦2つに分割して出力する。
なお、画像処理装置100に入力される画像、及び、画像処理装置100から出力される画像は、上述した画像に限らない。例えば、分割部106が元画像を左画像と右画像に分割して画像処理装置100に出力してもよい。LSI101,102は、生成した表示用画像を分割せずに表示部107に出力してもよい。
図2は、LSI101の構成の一例を示すブロック図である。
通信部201は、PCIe103を介して他のLSIと通信を行うためのI/Fである。通信部201は、PCIeのコンフィギュレーションやパケットを解釈する。
サンプリング部202は、入力された左画像から、特徴画像の生成に必要な特徴量(本実施形態では輝度データと色差データ)をサンプリング(抽出)する。サンプリング部202は、RGBデータをYCbCrデータに変換する不図示の色変換部を有しており、入力された分割画像がRGBデータとYCbCrデータのどちらのデータであっても特徴量をサンプリングすることができる。
WDMAC204は、サンプリングされた色差データをデータバス215を通じてDRAM104やDRAM105に書き込むDMAコントローラである。
本実施形態では、WDMAC203,204は、対応するLSI101が第1の画像処理回路であり、LSI102が第2の画像処理回路である場合に、サンプリングデータ(輝度データ、色差データ)を、LSI102のDRAM105に書き込む。また、WDMAC203,204は、対応するLSI101が第2の画像処理回路である場合に、サンプリングデータを、対応するLSI101のDRAM104に書き込む。第1の画像処理回路は、担当する領域内に特徴画像を合成する領域が含まれていない画像処理回路である。第2の画像処理回路は、担当する領域内に特徴画像を合成する領域が含まれている画像処理回路である。
すなわち、本実施形態では、左画像の領域に特徴画像が重畳される場合には、LSI1
01が第2の画像処理回路、LSI102が第1の画像処理回路となる。そして、LSI101のWDMAC203,204は、サンプリングデータをDRAM104に書き込む。LSI102のWDMAC203,204もまた、サンプリングデータをDRAM104に書き込む。右画像の領域に特徴画像が重畳される場合には、LSI101が第1の画像処理回路、LSI102が第2の画像処理回路となる。そして、LSI101のWDMAC203,204は、サンプリングデータをDRAM105に書き込む。LSI102のWDMAC203,204もまた、サンプリングデータをDRAM105に書き込む。
プロット部206は、表示用画像を生成して出力する。具体的には、対応するLSI101が第1の画像処理回路である場合に、プロット部206は、表示用画像として、上記所定の画像処理が施された左画像(LSI102の場合は右画像)を出力する。対応するLSI101が第2の画像処理回路である場合に、プロット部206は、DRAMから読み出したサンプリングデータを用いて特徴画像を生成する。そして、プロット部206は、上記所定の画像処理が施された左画像に特徴画像が合成(重畳)された画像を生成して出力する。本実施形態では、サンプリングされた輝度データから波形モニタ画像が生成され、サンプリングされた色差データからベクトルスコープ画像が生成される。
RDMAC208は、対応するLSI101が第2の画像処理回路である場合に、LSI102のサンプリング部202でサンプリングされた輝度データをデータバス215を通じてDRAM104から読み出す、DMAコントローラである。
RDMAC209は、対応するLSI101が第2の画像処理回路である場合に、LSI101のサンプリング部202でサンプリングされた色差データをデータバス215を通じてDRAM104から読み出す、DMAコントローラである。
RDMAC210は、対応するLSI101が第2の画像処理回路である場合に、LSI102のサンプリング部202でサンプリングされた色差データをデータバス215を通じてDRAM104から読み出す、DMAコントローラである。
レイアウト決定部212は、特徴画像(波形モニタやベクトルスコープ)の表示位置、すなわち、特徴画像を合成する領域を、ユーザからの指示(ユーザ操作)に応じて決定する。具体的には、レイアウト決定部212は、特徴画像を右画像内に表示するか、左画像内に表示するかをユーザ操作に応じて決定する。ユーザからの指示は不図示の指示部から入力される。例えば、指示部はキーボード、マウス、リモコン、画像処理装置100に設けられた操作ボタンなどである。ユーザが指示部を操作することで、指示部から上記指示が入力される。
サンプリングデータ保存先決定部213は、レイアウト決定部212の結果に基づいて、サンプリングデータをDRAM104に保存するか、DRAM105に保存するかを決定する。
サンプリングデータ演算判断部214は、プロット部206が読み出した各LSIのサンプリングデータを1つのデータ群として扱うか否かを判断する。具体例については後述する。
なお、本実施形態では、LSI101がマスターとして動作し、スレーブであるLSI
102はLSI101の制御部211により、PCIを通して制御されるものとする。そのため、LSI102の制御部211は上述した処理を行わない。なお、LSI101とLSI102の両方で、特徴画像の表示位置、サンプリングデータの保存先、サンプリングデータの演算方法が判断されてもよい。また、制御部211は、LSI101,102とは別の回路であってもよい。
符号301は元画像を示す。
符号302は、特徴画像として波形モニタ画像304とベクトルスコープ画像305が元画像に重畳された画像を示す。具体的には、画像302は、波形モニタ画像304とベクトルスコープ画像305が元画像301の左半分の領域内(左画像の領域内)に合成された画像である。本実施形態では、初期状態において、画像302を表示するための表示用画像が生成される。
符号303は、波形モニタ画像304とベクトルスコープ画像305が元画像に重畳された画像を示す。具体的には、画像303は、波形モニタ画像304とベクトルスコープ画像305が元画像301の右半分の領域内(右画像の領域内)に合成された画像である。例えば、ユーザが表示領域の変更を指示することで、画像302から画像303へ表示が切り替わる。即ち、ユーザが表示領域の変更を指示することで、生成する表示用画像が、画像302を表示するための表示用画像から、画像303を表示するための表示用画像へ切り替えられる。
BASE401−1〜401−4は、物理アドレス空間401内のベースアドレスを示している。BASE402−1〜402−4は、PCIeバスアドレス空間402内のベースアドレスを示している。BASE403−1〜403−4は、物理アドレス空間403内のベースアドレスを示している。
符号404は、ベースアドレスに加算されるオフセットアドレスの一例を示す。
PCIeバスアドレス空間402内のMEM101−2は、物理アドレス空間401のMEM101−1と、物理アドレス空間403内のWMEM101−3とに対してデータの読み書きを行う際に利用される。例えば、MEM101−2は、LSI101がDRAM105のWMEM101−3にデータを書き込む際に利用される。
PCIeバスアドレス空間402内のMEM102−2は、物理アドレス空間403のMEM102−1と、物理アドレス空間401内のWMEM102−3とに対してデータの読み書きを行う際に利用される。例えば、MEM102−2は、LSI102がDRAM104のWMEM102−3にデータを書き込む際に利用される。
このようにPCIeのアドレス空間を通してLSI101とLSI102が通信することにより、LSI101とLSI102は互いのメモリやレジスタにアクセスすることができる。なお、レジスタのアドレス空間は図示していない。
ば、画像処理装置100の電源がONされたことや、画像処理装置100への画像データの入力をトリガとして開始される。なお、LSI101とLSI102を接続しているPCIe103のコンフィギュレーションは完了しているものとする。
まず、画像処理装置100に画像データ(4つの分割画像)が入力される。ここではYCbCr色空間の画像データが入力されるとする。
画像データが入力されると、制御部211は、画像データの最初の垂直同期信号(元画像の垂直同期信号)のタイミングで、左画像用DMA設定を行う(ステップS501)。左画像用DMA設定は、左画像の領域内に特徴画像が合成される場合(LSI101が第2の画像処理回路であり、LSI102が第1の画像処理回路である場合)に行われる設定処理である。上述したように、本実施形態では、初期状態において、画像処理装置100は、特徴画像が元画像の左半分の領域内に合成された画像を表示するための表示用画像を生成する。そのため、最初に左画像用DMA設定が行われる。
ステップS601〜S603は、LSI101に関する処理であり、ステップS604,S605は、LSI102に関する処理である。
まず、LSI101に関する処理について説明する。
ステップS601では、制御部211が、LSI101のWDMAC203がDRAM104に輝度データを書き込む際の書き込み開始アドレス203ad−1に、BASE401−1を設定する。
ステップS602では、制御部211が、LSI101のWDMAC204がDRAM104に色差データを書き込む際の書き込み開始アドレス204ad−1に、BASE401−1にオフセットアドレスofst1を加算したアドレスを設定する。
ステップS603では、制御部211が、読み出し設定(LSI101のRDMAC207〜210によるサンプリングデータの読み出し(DRAM104からの読み出し)の設定)を行う。ステップS603の処理の詳細は、後で図8を用いて説明する。
ステップS604では、制御部211が、LSI102のWDMAC203がDRAM104に輝度データを書き込む際の書き込み開始アドレス203ad−2に、BASE403−3にオフセットアドレスofst2を加算したアドレスを設定する。
ステップS605では、制御部211が、LSI102のWDMAC203がDRAM104に色差データを書き込む際の書き込み開始アドレス204ad−2に、BASE403−3にオフセットアドレスofst3を加算したアドレスを設定する。
ステップS604,S605により、LSI102の書き込み設定(抽出したサンプリングデータをDRAM104のWMEM102−3にPICeを通して書き込む設定)が完了する。
ステップS603の処理は、第2の画像処理回路のDRAMからサンプリングデータを読み出す際の、読み出しアドレスを決定する処理である。
ステップS803では、制御部211が、第2の画像処理回路のRDMAC208が第2の画像処理回路内のDRAMから輝度データを読み出す際の読み出し開始アドレス208adに、書き込み開始アドレス203ad−2を設定する。即ち、読み出し開始アドレス208adとして、第1の画像処理回路で抽出された輝度データを読み出すためのアドレスが設定される。
ステップS805では、制御部211が、第2の画像処理回路のRDMAC210が第2の画像処理回路内のDRAMから色差データを読み出す際の読み出し開始アドレス210adに、書き込み開始アドレス204ad−2を設定する。即ち、読み出し開始アドレス210adとして、第1の画像処理回路で抽出された色差データを読み出すためのアドレスが設定される。
ステップS806では、制御部211が、RDMAC209で読み出された色差データと、RDMAC210で読み出された色差データとを1つのデータ群として扱う加算制御を行うためのイネーブル信号をONにする。ステップS806の処理は、制御部211のサンプリングデータ演算判断部214により行われる。また、ステップS806の処理は、RDMAC209とRDMAC210の色差データの読み出しタイミングを揃える処理も含む。
図9の波形モニタ画像304は、横軸を元画像の水平方向位置、縦軸を輝度値とするグラフ(フレーム内の輝度分布統計量)の画像である。符号903は左画像の波形モニタ画像であり、符号904は右画像の波形モニタ画像である。第2の画像処理回路のプロット部206は、RDMAC207で読み出された輝度データと、RDMAC208で読み出された輝度データとを別々に用いて、画像903,904を生成する。具体的には、画像903は、LSI101で抽出された輝度データから生成され、画像904は、LSI102で抽出された輝度データから生成される。また、画像904が画像903の右側に隣接して描画されるように画像903,904が生成されることにより、波形モニタ画像304が生成される。
RDMAC207,208は、画像903と画像904が並列に描画(生成)されるように、輝度データの読み出しを並列に行う。また、RDMAC207,208は、画像903と画像904の生成が同時に開始されるように、同じタイミングで輝度データの読み
出しを開始する。本実施形態では、画素901から矢印で示す順番で各画素を生成して画像903を生成する処理と、画素902から矢印で示す順番で各画素を生成して画像904を生成する処理とが並列に行われるように、RDMAC207,208による読み出しが制御される。
RDMAC209,210は、画素905から矢印で示す順番で各画素を生成してベクトルスコープ画像305がされるように、同時に読み出しを開始する。
ステップS502では、制御部211が、LSI101,102のWDMAC203,204、及び、RDMAC207〜RDMAC210をイネーブルにする。本実施形態では、WDMACとRDMACは、入力された画像データ(例えば、元画像の水力同期信号)に同期してイネーブルにされる。
ここでは、左画像用DMA設定がなされている。そのため、LSI101のサンプリング部202で抽出された輝度データと色差データは、LSI101のWDMAC203,204により、DRAM104にDMA転送される。LSI102のサンプリング部202で抽出された輝度データと色差データは、LSI102のWDMAC203,204により、PCIe103を介してDRAM104にDMA転送される。サンプリングデータは、入力された画像データのブランキング期間内に、DMA転送される。
ステップS505では、制御部211が、特徴画像の表示を行うことをLSI101,102のプロット部206に送信する。ここでは、左画像用DMA設定がなされているため、LSI101のRDMAC207〜210によってDRAM104からサンプリングデータが読み出され、LSI101のプロット部206により特徴画像が生成される。そして、LSI101のプロット部206は、左画像(所定の画像処理が施された左画像)に特徴画像が合成された表示用画像を生成し、表示部107に出力する。LSI102のプロット部206は、所定の画像処理が施された右画像を、表示用画像として表示部107に出力する。それにより、図3の画像302のような画像が表示部107に表示される。
左画像内の領域か、右画像内の領域かを判断する。特徴画像を合成する領域が左画像内の領域である場合にはステップS507へ処理が進められ、特徴画像を合成する領域が右画像内の領域である場合にはステップS508へ処理が進められる。
ステップS507の処理は、ステップS501(図6のフローチャート)の処理と同じであるため、その説明は省略する。
ステップS508では、制御部211は、右画像用DMA設定を行う。右画像用DMA設定は、右画像の領域内に特徴画像が合成される場合(LSI101が第1の画像処理回路であり、LSI102が第2の画像処理回路である場合)に行われる設定処理である。
ステップS509では、制御部211は、不図示の指示部から終了指示が入力されたか否かを判断する。終了指示は、例えば、画像処理装置100の電源をOFFにする指示や、特徴画像の表示を終了する指示などである。終了指示が入力されていない場合には、ステップS506へ処理が戻される。終了指示が入力された場合には、所定の終了処理が行われて本フローが終了される。例えば、終了指示が特徴画像の表示を終了する指示である場合には、制御部211が、輝度データと色差データのサンプリングを停止したり、WDMACとRDMACをディセーブルにしたり、特徴画像の生成を停止したりする。特徴画像の表示を終了する指示が入力された後、特徴画像の表示指示が入力された場合には、ステップS505からの処理が行われる。
ステップS701,S702は、LSI101に関する処理であり、ステップS703〜S705は、LSI102に関する処理である。
まず、LSI101に関する処理について説明する。
ステップS701では、制御部211が、LSI101のWDMAC203がDRAM105に輝度データを書き込む際の書き込み開始アドレス203ad−1に、BASE401−3を設定する。
ステップS702では、制御部211が、LSI101のWDMAC204がDRAM105に色差データを書き込む際の書き込み開始アドレス204ad−1に、BASE401−3にオフセットアドレスofst1を加算した値を設定する。
ステップS701,S702により、LSI101の書き込み設定(抽出したサンプリングデータをDRAM105のWMEM101−3にPICeを通して書き込む設定)が完了する。
ステップS703では、制御部211が、LSI102のWDMAC203がDRAM105に輝度データを書き込む際の書き込み開始アドレス203ad−2に、BASE403−1にオフセットアドレスofst2を加算した値を設定する。
ステップS704では、制御部211が、LSI102のWDMAC204がDRAM105に色差データを書き込む際の書き込み開始アドレス204ad−2に、BASE403−1にオフセットアドレスofst3を加算した値を設定する。
ステップS705では、制御部211が、LSI102のRDMAC207〜210によるサンプリングデータの読み出し(DRAM105からの読み出し)の設定を行う。ステップS705の処理の詳細は、図8で説明したとおりである。
図7の処理が終わると、入力される画像データに同期して、レジスタ(サンプリングデ
ータを読み書きする際のアドレス)が書き変わる。その結果、LSI101から出力される表示用画像が、所定の画像処理が施された左画像に切り替えられる。また、LSI102では、右画像(所定の画像処理が施された右画像)に特徴画像が合成された画像が生成される。そして、LSI102から出力される表示用画像が、右画像に特徴画像が合成された画像に切り替えられる。それにより、図3の画像303のような画像が表示部107に表示される。
Vsyncは、入力された画像データの垂直同期信号である。
図10の例では、各フレームの画像データがVsyncのタイミングから入力される。画像データが入力されている期間は有効画像期間であり、それ以外の期間はブランキング期間(垂直ブランキング期間)である。図中、0、1、2、3は、フレーム番号を示す。
サンプリング期間は、特徴量のサンプリング(抽出)が行われる期間である。図10の例では、有効画像期間中にサンプリングが行われている。
DMA転送期間は、サンプリングした特徴量(サンプリングデータ)をDRAMに書き込む期間である。図10の例では、ブランキング期間中にサンプリングデータの書き込みが行われている。s0は、フレーム番号0の画像データから抽出した特徴量を示す。s1は、フレーム番号1の画像データから抽出した特徴量を示す。s2は、フレーム番号2の画像データから抽出した特徴量を示す。
プロット期間は、特徴画像を画像データに合成(重畳)させる期間を示している。図10の例では、次のフレームの画像データの有効画像期間内に、サンプリングデータの読み出し、特徴画像の生成、表示用画像の生成及び出力が行われる。
このような構成により、複数の分割画像を複数の画像処理回路で処理する画像処理装置において、元画像の特徴を表す特徴画像を効率よく生成することができる。
具体的には、特徴画像を合成する領域に応じて、他の画像処理回路内のメモリからの特徴量の読み出しを行わなくて済むように、特徴量を書き込むメモリが切り替えられる。その結果、PCIeを用いた通信でボトルネックとなるリードトランザクションは行われず、ライトトランザクションのみが行われることとなり、処理の効率を向上することができる。ひいては、元画像のフレームレート(60Hzや120Hz)で特徴画像を更新することが可能となる。
このように、特徴画像を生成するための演算は、複数の分割画像を得るための分割方法によって異なることがある。例えば、RDMAC207の輝度データと、RDMAC20
8の輝度データとを別々に用いる必要がある場合と、それらの輝度データを1つのデータ群として用いる必要がある場合とがある。
そのため、画像処理回路が上記複数種類の演算を実行可能であることが好ましい。そして、サンプリングデータ演算判断部214により、分割方法に応じて第2の画像処理回路が実行する演算が切り替えられることが好ましい。そのような構成にすることにより、どのような分割画像が入力される場合であっても、正確な特徴画像を生成することができる。また、ユーザが演算方法の切り替えなどを行わなくて済むため、ユーザの負荷を低減することができる。
そのため、サンプリングデータ演算判断部214は、複数の分割画像が元画像を第1の方向(左右)に分割して得られた複数の画像である場合に、第2の画像処理回路に第1の演算を実行させればよい。また、サンプリングデータ演算判断部214は、複数の分割画像が元画像を第2の方向(上下)に分割して得られた複数の画像である場合に、第2の画像処理回路に第2の演算を実行させればよい。そのような制御(切替処理)を行うことにより、左画像と右画像、上画像と下画像のいずれが入力される場合であっても、演算方法が自動的に切り替えられて、正確な波形モニタ画像を生成することが可能となる。
なお、入力された元画像の特徴を表す特徴画像と、現在表示されている画像の特徴を表す特徴画像との両方を表示する構成であってもよい。その場合には、各画像処理回路が、入力された分割画像と、所定の画像処理が施された分割画像とから特徴量を抽出すればよい。
えば、波形モニタ画像とベクトルスコープ画像の一方が左画像の領域内に合成され、他方が右画像の領域内に合成されてもよい。その場合には、波形モニタ画像の生成を担うLSIのDRAMに輝度データ、ベクトルスコープ画像の生成を担うLSIのDRAMに色差データが書き込まれればよい。
101 LSI
102 LSI
Claims (10)
- 画面に画像を表示する表示手段に接続可能な画像処理装置であって、
元画像を分割して得られる複数の分割画像のうち、1または2以上の分割画像からなる第1入力画像を用いて前記画面の第1領域に表示される第1表示画像を生成して出力する第1の画像処理回路と、
前記複数の分割画像のうち、前記第1入力画像とは異なる1または2以上の分割画像からなる第2入力画像を用いて前記画面の第2領域に表示される第2表示画像を生成して出力する第2の画像処理回路と、
前記第1入力画像の特徴量と前記第2入力画像の特徴量とを示す特徴画像が表示される前記画面内の位置に基づいて、前記第1の画像処理回路と前記第2の画像処理回路とを制御する制御手段と、
を備え、
前記制御手段は、
前記第1領域に前記特徴画像が表示される場合、前記第2の画像処理回路が前記第2入力画像の特徴量を前記第1の画像処理回路に書込み、かつ、前記第1の画像処理回路が前記特徴画像を含む前記第1表示画像を生成するように制御し、
前記第2領域に前記特徴画像が表示される場合、前記第1の画像処理回路が前記第1入力画像の特徴量を前記第2の画像処理回路に書込み、かつ、前記第2の画像処理回路が前記特徴画像を含む前記第2表示画像を生成するように制御する
ことを特徴とする画像処理装置。 - 前記第1の画像処理回路は、
前記第1表示画像を生成する第1の生成手段と、
前記第2の画像処理回路と通信を行う第1の通信手段と、
前記第2の画像処理回路から取得した特徴量を記憶する第1メモリと、
を備え、
前記第2の画像処理回路は、
前記第2表示画像を生成する第2の生成手段と、
前記第1の画像処理回路と通信を行う第2の通信手段と、
前記第1の画像処理回路から取得した特徴量を記憶する第2メモリと、
を備え、
前記制御手段は、
前記第1領域に前記特徴画像が表示される場合、前記第2の通信手段が前記第2入力画像の特徴量を前記第1メモリに書込み、かつ、前記第1の生成手段が前記第1入力画像の特徴量と前記第2入力画像の特徴量とを用いて前記特徴画像を生成し、
前記第2領域に前記特徴画像が表示される場合、前記第1の通信手段が前記第1入力画像の特徴量を前記第2メモリに書込み、かつ、前記第2の生成手段が前記第1入力画像の特徴量と前記第2入力画像の特徴量とを用いて前記特徴画像を生成するように制御する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1の通信手段と、前記第2の通信手段とは、PCIeを用いて互いに通信を行うことを特徴とする請求項2に記載の画像処理装置。
- ユーザの指示に応じて、前記特徴画像が表示される前記画面内の位置を決定する決定手段を備える
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記画像処理装置は、前記元画像から前記複数の分割画像を生成する分割装置と接続可能であり、
前記第1の画像処理回路は、前記分割装置から前記第1入力画像を取得し、
前記第2の画像処理回路は、前記分割装置から前記第2入力画像を取得する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記第1の画像処理回路および前記第2の画像処理回路はそれぞれ、前記特徴画像を生成するための複数の種類の演算を実行可能であり、
前記制御手段は、前記分割装置が前記複数の分割画像を得るための分割方法に応じて、前記第1の画像処理回路および前記第2の画像処理回路のうち前記特徴画像を生成する画像処理回路が実行する演算を切り替える
ことを特徴とする請求項5に記載の画像処理装置。 - 前記第1の画像処理回路および前記第2の画像処理回路はそれぞれ、前記第1入力画像の特徴量と前記第2入力画像の特徴量とをそれぞれ独立に演算する第1演算処理、または前記第1入力画像の特徴量と前記第2入力画像の特徴量と1つのデータ群として演算する第2演算処理のいずれかを実行することにより前記特徴画像を生成することが可能であり、
前記制御手段は、前記第1の画像処理回路および前記第2の画像処理回路のうち、前記特徴画像を生成する画像処理回路に、前記複数の分割画像が元画像を第1の方向に分割して得られた場合に、前記第1演算処理を実行させ、前記複数の分割画像が元画像を前記第1の方向とは異なる第2の方向に分割して得られた場合に、前記第2演算処理を実行させる
ことを特徴とする請求項6に記載の画像処理装置。 - 前記特徴画像は、元画像の水平位置または垂直位置ごとの輝度を表す波形モニタ画像、元画像の彩度と色相を表すベクトルスコープ画像、および、元画像の画素値のヒストグラムを表す画像のうち少なくとも1つの画像である
ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。 - 前記第1の画像処理回路は、前記第1入力画像に所定の画像処理を施す第1の画像処理手段を備え、
前記第2の画像処理回路は、前記第2入力画像に前記所定の画像処理を施す第2の画像処理手段を備え、
前記特徴画像は、前記所定の画像処理が施された前記第1入力画像の特徴量と、前記所定の画像処理が施された前記第2入力画像の特徴量とを示す画像である
ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。 - 画面に画像を表示する表示手段に接続可能な画像処理装置であって、
元画像を分割して得られる複数の分割画像のうち、1または2以上の分割画像からなる第1入力画像を用いて前記画面の第1領域に表示される第1表示画像を生成して出力する第1の画像処理回路と、
前記複数の分割画像のうち、前記第1入力画像とは異なる1または2以上の分割画像からなる第2入力画像を用いて前記画面の第2領域に表示される第2表示画像を生成して出力する第2の画像処理回路と、
を備えた画像処理装置の制御方法であって、
前記第1入力画像の特徴量と前記第2入力画像の特徴量とを示す特徴画像が表示される前記画面内の位置に基づいて、前記第1の画像処理回路と前記第2の画像処理回路とを制御する制御ステップを有し、
前記制御ステップは、
前記第1領域に前記特徴画像が表示される場合、前記第2の画像処理回路が前記第2入力画像の特徴量を前記第1の画像処理回路に書込み、かつ、前記第1の画像処理回路が前記特徴画像を含む前記第1表示画像を生成するように制御し、
前記第2領域に前記特徴画像が表示される場合、前記第1の画像処理回路が前記第1入力画像の特徴量を前記第2の画像処理回路に書込み、かつ、前記第2の画像処理回路が前記特徴画像を含む前記第2表示画像を生成するように制御する
ことを特徴とする画像処理装置の制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012084086A JP5968011B2 (ja) | 2012-04-02 | 2012-04-02 | 画像処理装置及びその制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012084086A JP5968011B2 (ja) | 2012-04-02 | 2012-04-02 | 画像処理装置及びその制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013213928A JP2013213928A (ja) | 2013-10-17 |
| JP2013213928A5 JP2013213928A5 (ja) | 2015-05-21 |
| JP5968011B2 true JP5968011B2 (ja) | 2016-08-10 |
Family
ID=49587298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012084086A Active JP5968011B2 (ja) | 2012-04-02 | 2012-04-02 | 画像処理装置及びその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5968011B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015210375A (ja) * | 2014-04-25 | 2015-11-24 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
| JP6815839B2 (ja) * | 2016-11-16 | 2021-01-20 | キヤノン株式会社 | 画像解析装置およびその制御方法 |
| WO2019087984A1 (ja) * | 2017-11-01 | 2019-05-09 | シャープ株式会社 | 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体 |
| US20210134252A1 (en) * | 2017-12-06 | 2021-05-06 | Sharp Kabushiki Kaisha | Image processing apparatus and display apparatus |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4062291B2 (ja) * | 2004-09-01 | 2008-03-19 | セイコーエプソン株式会社 | 自動画像補正回路 |
| JP4760288B2 (ja) * | 2005-10-13 | 2011-08-31 | ソニー株式会社 | 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム |
| JP2007288555A (ja) * | 2006-04-18 | 2007-11-01 | Pioneer Electronic Corp | 画像調整装置および画像調整方法 |
| JP2008205719A (ja) * | 2007-02-19 | 2008-09-04 | Sony Corp | 表示装置及び表示方法 |
-
2012
- 2012-04-02 JP JP2012084086A patent/JP5968011B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013213928A (ja) | 2013-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9471955B2 (en) | Multiple display pipelines driving a divided display | |
| US20040095482A1 (en) | Image processing circuit of image input device | |
| US9569703B2 (en) | Data transfer apparatus and method thereof | |
| JP5968011B2 (ja) | 画像処理装置及びその制御方法 | |
| KR102248789B1 (ko) | 이미지 해상도에 따라 리소스를 공유할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들 | |
| US20150042669A1 (en) | Rotating displayed content on an electronic device | |
| US9154665B2 (en) | Image processing apparatus and control method thereof | |
| JP5327482B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR20180056268A (ko) | 영상 처리 장치 및 그 제어 방법 | |
| KR20170037205A (ko) | 이미지 센서의 파라미터 제어 방법 | |
| CN109308862B (zh) | 信号控制方法、控制装置、处理装置及信号控制设备 | |
| US10262624B2 (en) | Separating a compressed stream into multiple streams | |
| JP6048046B2 (ja) | 画像合成装置及び画像合成方法 | |
| US8966145B2 (en) | Data conversion apparatus and method | |
| TWI464673B (zh) | 電子裝置以及由電子裝置傳送數據至顯示設備的方法 | |
| US20120144150A1 (en) | Data processing apparatus | |
| JP2015034891A (ja) | レジスタ設定制御装置 | |
| JP6283297B2 (ja) | オリジナルデプスフレームをリサイズ及び復元する方法、装置並びにシステム | |
| JP2013195963A (ja) | 画像処理装置、集積回路装置及び画像表示システム | |
| KR20190055693A (ko) | 영상의 해상도 변환을 위한 영상 처리 장치 | |
| JP4618012B2 (ja) | 画像処理装置 | |
| JP5321799B2 (ja) | マイクロコンピュータを含んだシステム | |
| JP2018093346A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
| KR102065515B1 (ko) | 유효 영상만을 출력하기 위한 증강현실기기용 디스플레이 장치 및 증강현실기기용 디스플레이 장치에서의 유효 영상만을 출력하는 방법 | |
| JP6320652B2 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150401 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160705 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5968011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |