JP5409245B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画面上に表示した画像の一部に相当する領域に、別の画像を重畳して表示する技術に関する。

従来、画面上に表示した画像の一部に相当する領域に、別の画像を重畳して表示する技術は、ピクチャ・イン・ピクチャ（ＰｉｎＰ）と呼ばれている。また、動画像の各フレーム間に補間フレームを生成し、動画像の表現を滑らかにしたりする技術は、フレームレート変換（ＦＲＣ）と呼ばれている。

そして、ＰｉｎＰのように複数の画像が合成された動画像に対して一括してＦＲＣ処理を行った場合、互いの画像の境界部分において正しい補間画素が生成されず、動画像の表現が滑らかにならないという課題がある。この課題を解決するために、以下の従来技術が存在する。

即ち、複数の入力画像のそれぞれに対して、ＦＲＣ処理を行った後に、解像度変換を行い、それらの画像を合成して表示する技術である（例えば、特許文献１）。
また、複数の入力画像が合成された画像を、重畳領域、前記重畳領域の周辺領域、その他の領域に分け、それぞれの領域ごとに画像データの内挿を行うか否か、動き補償処理を行うか否かを切り換える技術である（例えば、特許文献２）。

特開２００７−３１６４０５号公報 特開２００４−１２０７５７号公報

しかしながら、特許文献１によると、入力映像のそれぞれに対してフレームレート変換を行うため、複数の画像が重畳している領域において背後に隠れ込む画像の全てを処理することなり、画像処理に使用するメモリの容量の不必要な増大を招く。
また、特許文献２によると、複数の領域に対する処理が異なるため、それぞれの領域の境界において、滑らかな動画像を担保できない場合がある。

本発明は、上述した課題を解決するものであり、画像処理に使用するメモリの容量の不必要な増大を抑えると共に、複数の画像が合成された動画像の滑らかさを担保することを目的とする。
尚、ディスプレイの大画面化、高解像度化が進む今日において、画像処理に使用するメモリの容量の増大を抑えることは、レスポンスタイムの迅速化、管理コストの低減を実現するための重要な課題である。

上記の目的を達成するために、本発明の画像処理装置は、第１の動画の領域内に第２の動画を表示させる画像処理装置であって、前記第１および第２の動画のそれぞれを入力する入力手段と、前記入力された前記第１の動画の動きベクトルの情報を取得する取得手段と、前記第１の動画データのうち前記第２の動画の非表示領域に対応する領域のデータと、前記第１の動画データのうち前記第２の動画の表示領域内の所定領域に対応する領域のデータとをメモリに記憶させ、前記第１の動画データのうち前記第２の動画の前記表示領域内の所定領域外に対応する領域のデータを前記メモリに記憶させない記憶制御手段と、 前記入力手段で入力された前記第１の動画の第１のフレームと第２のフレームとの間に表示させるべき補間フレームを、前記取得手段により取得された前記動きベクトルの情報と、前記メモリに記憶されたデータとを用いて生成する生成手段と、前記第１のフレーム、前記第２のフレーム、及び、前記補間フレームに基づく動画を表示させる表示制御手段とを有する。

本発明によれば、画像処理に使用するメモリの容量の不必要な増大を抑えると共に、複数の画像が合成された動画像の滑らかさを担保することが可能となる。

表示システムの一例を示すブロック図 画面の構成の一例を示す図 第１の実施形態における画像処理の一例を示すフローチャート 第２の実施形態における画像処理の一例を示すフローチャート

以下、図面を参照ながら本発明の実施形態について詳細に説明する。

（第１の実施形態）
図１（ａ）は、画像処理装置１００を含む表示システムの構成の一例を示すブロック図である。
画像処理装置１００は、ベクトル検出部１０２、１１２、画面構成制御部１０３、合成部１０４、参照画像抽出部１０５、補間画像生成部１０６、メモリ１０７、入力部１０８、１１８、出力部１０９を備える。

尚、画像処理装置１００の各部は、ＲＯＭ、ＲＡＭ、ＣＰＵ等を有し、ＣＰＵが予めＲＯＭに格納されたプログラムをＲＡＭに展開し実行することにより、それぞれの機能を実現するものとして説明する。以下、画像処理装置１００の各部について詳述する。
入力部１０８は、親画面画像信号１０１の入力を受付け、入力部１１８は、子画面画像信号１１１の入力を受付ける入力インタフェース（Ｉ／Ｆ）である。

尚、親画面画像信号１０１とは、ＰｉｎＰにおいて、画像の一部が別の画像の背後に隠れ込む画像を表す信号とする。また、親画面画像信号１０１は、例えば、６０Ｈｚのフレーム周波数で入力されるＦｕｌｌ ＨＤ（１９２０×１０８０）の解像度を持つ画像信号であり、ＴＶ受信信号やＤＶＤなどの蓄積メディアから読み出された映像信号、ＰＣから出力される映像信号である。尚、ＴＶ受信信号とは、不図示のチューナで受信されたＴＶ映像信号が、復調処理やデコード処理を経て、必要に応じて色空間変換処理、高画質化処理などの信号処理が行われた後の信号とする。

また、子画面画像信号１１１とは、ＰｉｎＰにおいて、別の画像と重畳して表示する画像であって、当該別の画像よりも前面に表示する画像を表す信号とする。また、子画面画像信号１１１は、例えば、６０Ｈｚのフレーム周波数で入力される画像信号である。また、子画面画像信号１１１は、予め入力解像度を任意の解像度に変換するための解像度変換処理が行われた後の信号でもよい。尚、解像度変換処理とは、例えば、Ｆｕｌｌ ＨＤ（１９２０×１０８０）の解像度で入力された画像信号を、不図示のリモコンなどの入力装置からの入力に従って任意の解像度に変換する処理をいう。そして、この解像度変更処理によれば、例えば、Ｆｕｌｌ ＨＤ（１９２０×１０８０）の解像度を持つ画像信号が、６４０×４８０の解像度の画像信号へと変換される。

ベクトル検出部１０２は、親画面画像の動き補償をするために必要な動きベクトルの検出を行う。尚、動きベクトル検出手法としては、例えば、公知のブロックマッチング法、勾配法等を用いる。これらの手法は、連続した２つのフレーム間で小さなブロックごとに動きベクトルを検出する手法である。尚、ブロックマッチング法においては、ベクトル検出部１０２は、検出対象ブロックを後述する参照フレーム中の探索範囲内の画像と画素単位で全ての位置ごとにマッチングを取り、マッチング評価関数を計算し、最もマッチングの取れた位置を動きベクトルとする。尚、ベクトル検出部１１２は、子画面画像について、ベクトル検出部１０２と同様の処理を実行する。

画面構成制御部１０３は、親画面画像上で子画面画像が表示される位置を示す位置情報と、子画面画像のフレームサイズとを位置制御情報として保持する。尚、不図示のリモコンなどの入力装置からの入力に従って子画面画像が表示される位置が変更される場合、位置制御部１０３は入力に従って位置制御情報を変更する。

合成部１０４は、ベクトル検出部１０２、１１２から受信した情報、画面構成制御部１０３から受信した位置制御情報に従って、親画面画像と子画面画像とから合成画像を生成し、メモリ１０７に格納する。すなわち、合成部１０４が生成する合成画像は、例えば、図２（ａ）に示すような画像となる。

参照画像抽出部１０５は、位置制御情報に基づき、親画面画像のうち、子画面画像によって隠れる領域の一部に相当する領域を抽出し、参照画像としてメモリ１０７へ格納する。 尚、参照画像とは、より具体的には、親画面画像のうち、子画面画像が重畳して表示される領域であって、親画面画像と子画面画像の境界に隣接し、子画面画像の背面に隠れ込んだ領域の一部を除く領域の画像をいう。

図２（ｂ）は、参照画像抽出部１０５が参照画像を抽出する処理の一例を説明するための図である。本図を用いて、合成画像のｎフレームと（ｎ−１）フレームから、補間フレームの親画面領域にある内挿ブロック３００内の各画素を生成する処理について説明する。尚、内挿ブロック３００は親画面画像と子画面画像の境界にあるが、動きベクトル３０１が図２（ｂ）に示す方向であった場合、内挿ブロック３００内の各画素を生成するためには、ｎフレームにおける参照画像３０２の領域の親画面の画像信号を必要とする。しかしながら、ｎフレームは合成画像であるため、子画面が重畳されることによって参照画像３０２の領域の親画面の画像信号は失われている。そこで、参照画像抽出部１０５は、親画面上の子画面によって隠れる領域の画像信号の一部をこのような参照画像として抽出する。尚、本実施例においては、参照画像のサイズ及び形状（幅）は、固定値でもよく、動きベクトルの大きさ、子画面のフレームサイズ等に応じて決定される変動値であってもよい。即ち、動きベクトルの検出結果により内挿ブロックの各画素を生成するために参照画像領域の画像信号を必要としない場合は、その内挿ブロックの周辺の参照画像の抽出は行わない。また、子画面のフレームサイズ等に応じて決定される参照画像の形状とは、例えば、参照画像の画素信号の総量が常に一定となうようにしてもよい。

補間画像生成部１０６は、合成部１０４がメモリ１０７に格納した合成画像を読み出し、画面構成制御部１０３から受信した位置制御情報に基づいて補間フレームを生成する。即ち、補間画像生成部１０６は、合成画像内の親画面画像のうち、子画面画像が重畳して表示されない領域（親画面領域）に対しては、ベクトル検出部１０２が検出した動きベクトル、参照画像抽出部１０５で抽出された参照画像を参照して補間画像を生成する。一方、子画面領域に対しては、ベクトル検出部１１２から受信した動きベクトルを参照して補間画像を生成する。

このように親画面と子画面に対してそれぞれ正しい動きベクトルを参照して補間画像を生成することで、合成画像に対しても理論上、親画面と子画面の境界で画質が劣化することない補間画像を生成することができる。尚、補間画像を生成する処理については、後述する。

メモリ１０７は、合成画像の各フレームを格納するフレームメモリ領域を提供する記憶媒体である。また、メモリ１０７は参照画像抽出部１０５で抽出された、補間フレームの生成に必要な参照画像を保持メモリ領域も提供する。

出力部１０９は、生成した補間フレームの補間画像を、対応するフレームの合成画像に内挿するフレームレート変換を行い、フレームレート変換された画像を表示部２００へ出力する出力Ｉ／Ｆである。

表示部２００は、例えばＬＣＤ（液晶ディスプレイ）やプラズマディスプレイ等の表示機器であり、画像処理装置１００からの出力画像を表示する。尚、例えば、画像処理装置１００は、６０Ｈｚのフレーム周波数で入力される親画面画像信号１０１と子画面画像信号１１１とを合成した画像信号を、動き補償をしたフレームレート変換により１２０Ｈｚのフレーム周波数で出力する。このとき、表示部２００は、１２０Ｈｚのフレーム周波数で出力された画像信号を表示する。

図３は、補間画像生成部１０６における補間画像生成の処理の一例を示すフローチャートである。以下、図３を参照しながら補間画像生成の処理について説明する。

まず、ステップＳ４００において、補間画像生成部１０６は画面構成制御部１０３から位置制御情報を取得し、保持する。

次に、ステップＳ４０１において、補間画像生成部１０６は、フレームを走査しながら、補間画像が生成されているか否か判定し、補間画像が生成されていない場合には、各々フレームについて、後述するステップＳ４０２からの処理を実行する。一方、補間画像が生成されている場合には、一連の処理を終了する。

次に、ステップＳ４０２において、補間画像生成部１０６は、ステップＳ４００で保持した位置制御情報に基づき、着目している画素が親画面領域の画素であるか否かを判断し、親画面領域の画素であると判断された場合、ステップＳ４０３の処理を実行する。一方、親画面領域以外の画素、すなわち子画面領域の画素であったと判断された場合、ステップＳ４０７の処理を実行する。

次に、ステップＳ４０３において、補間画像生成部１０６は、ベクトル検出部１０２が検出した動きベクトルから、親画面領域の画素が含まれるブロックの動きベクトルを取得する。

次に、ステップＳ４０４において、補間画像生成部１０６は、合成画像の前フレーム（（ｎ−１）フレーム）あるいは、参照画像抽出部１０５が抽出した前フレームに対応した参照画像のうち、当該画素の補間画素生成に必要な画素信号をメモリ１０７より読み出す。尚、補間画素生成に必要な画素とは、親画面画像と子画面画像の境界付近の画素であり、取得した動きベクトルから、補間画素を生成するために参照画像を参照する必要があった場合、補間画像生成部１０６は参照画像の画素信号をメモリ１０７より読み出す。一方、当該画素が親画面と子画面の境界付近の画素ではない、あるいは境界付近の画素であっても動きベクトルから参照画像を参照する必要がないと判断した場合、補間画像生成部１０６は合成画像の前フレームの親画面領域の画素信号をメモリ１０７より読み出す。

次に、ステップＳ４０５において、補間画像生成部１０６は、合成画像の現フレーム（ｎフレーム）に対して、ステップＳ４０４と同様の処理を実行する。
一方、ステップＳ４０７において、補間画像生成部１０６は、ベクトル検出部１１２から受信した動きベクトルから、子画面領域の画素が含まれるブロックの動きベクトルを取得する。

次に、ステップＳ４０８において、補間画像生成部１０６は、合成画像の前フレームの子画面領域の画素信号をメモリ１０７より読み出す。

次に、ステップＳ４０９において、補間画像生成部１０６は、合成画像の現フレームの子画面領域の画素信号をメモリ１０７より読み出す。

そして、ステップＳ４０６において、補間画像生成部１０６は、ステップＳ４０４、Ｓ４０５で取得した画素信号から、親画面領域の画素の補間画素を生成し、ステップＳ４０８、Ｓ４０９で取得した画素信号から、子画面領域の画素の補間画素を生成する。次に、ステップＳ４０１に戻り、処理の対象となっているフレームの補間画像が生成され終わるまで、一連の処理繰り返す。

以上述べてきたように、合成画像の親画面領域と子画面領域に対して、それぞれ正しい動きベクトルを用いると共に、親画面画像上であって、子画面画像の背面に隠れ込む領域の一部についてのみ補間画像生成時の参照画像として保持する。すなわち、合成画像に対して正しい補間画像を生成することで、ＰｉｎＰにおいても生成する補間画像の数を過剰に増えることが抑えられる。また補間画像の生成に必要な画像を合成画像の差分を最小限に近づけて保持することで、回路規模とメモリ容量の増大を抑えることができる。

尚、親画像の解像度がＦｕｌｌ ＨＤ（１９２０×１０８０）であった場合、従来技術においては参照画像の保持のためにＦｕｌｌ ＨＤ分のメモリ容量が必要になる。一方、本発明によれば、最大でも子画面領域の解像度分のメモリ容量を持てばよい。さらには、参照画像を親画面領域と子画面領域の境界部を中心とした一部の画像とすることで、メモリ容量の増大を抑えることができる。

（第２の実施形態）
図１（ｂ）は、画像処理装置５００を含む表示システムの構成の一例を示すブロック図である。図２（ｃ）は、図１（ｂ）に示す表示システムで実現される画面構成を説明する図である。図１（ｂ）において、子画面１、子画面２、子画面３はそれぞれ重複することなく配置され、４Ｋ２Ｋの解像度を持つ親画面に重畳されている。このように、本実施形態の表示システムは４Ｋ２Ｋを表示可能なシステムであり、４Ｋ２Ｋの解像度を持つ親画面画像信号５０１に、複数の子画面画像信号５１１、５２１、５３１を合成して表示する。また、本実施形態の表示システムは、６０Ｈｚのフレーム周波数で入力される画像信号を、動き補償されたフレームレート変換により、１２０Ｈｚのフレーム周波数の画像信号として表示部２００に出力することで滑らかな動画表示を行う。

画像処理装置５００は、親画面ベクトル検出部５０２、子画面ベクトル検出部５１２、画面構成制御部５０３、合成部５０４、参照画像抽出部５０５、補間画像生成部５０６、メモリ５０７を備える。また、画像処理装置５００は、親画面画像信号入力部５０８、子画面画像信号入力部５１８、出力部５０９を備える。

以下、図１（ａ）に示す各部と同様の機能を有する要素については、共通の名称を付し（符号は変更している）、その説明を省略する。

図１（ｂ）において、親画面画像信号５０１は、６０Ｈｚのフレーム周波数で入力される４Ｋ２Ｋ（４０９６×２０４８）の解像度を持つ画像信号とする。また、子画面画像信号５１１、５２１、５３１は、６０Ｈｚのフレーム周波数で入力される画像信号であり、４Ｋ２Ｋよりも低い解像度を持つ画像信号とする。

子画面ベクトル検出部５１２は、複数の子画面画像信号のそれぞれに対して、動き補償のために必要な動きベクトル検出を行い、何れの子画面画像信号に対する動きベクトルであるかの情報と共に、検出した動きベクトルを補間画像生成部５０６へ送出する。子画面ベクトル検出部５１２は、複数の子画面画像信号の動きベクトル検出を時分割で行うことで、複数の子画面画像信号の動きベクトル検出をひとつの動きベクトル検出部のみで実行することができる。また、子画面ベクトル検出部５１２は、子画面画像信号５１１、５２１、５３１を後段の合成部５０４へ送出する。

画面構成制御部５０３は、位置制御情報として、親画面上の複数の子画面の位置と、子画面のフレームサイズを保持し、それを合成部５０４、参照画像抽出部５０５、補間画像生成部５０６へ送出する。

合成部５０４は、親画面ベクトル検出部５０２から受信した親画面画像信号５０１と、子画面ベクトル検出部５１２から受信した子画面映像信号５１１、５２１、５３１とを、位置制御情報に従って合成し、合成画像をメモリ５０７へ格納する。

参照画像抽出部５０５は、位置制御情報に基づき、親画面ベクトル検出部５０２より受信した親画面画像信号５０１のうち、親画面上の複数の子画面によって隠れる領域の画像信号の一部を抽出し参照画像としてメモリ５０７へ格納する。このとき、参照画像抽出部５０５は、抽出した参照画像が何れの子画面によって隠れるものであるかを関連付ける。

図２（ｄ）は、参照画像抽出部５０５における参照画像の抽出の一例を説明するための図である。以下、図２（ｄ）を参照して参照画像の抽出について説明する。参照画像抽出部５０５は、子画面１によって隠れる親画面領域の画像信号の一部を参照画像１として抽出し、子画面１と結びつけてメモリ５０７へと格納する。同様に、子画面２、子画面３によって隠れる親画面領域の画像信号の一部を参照画像２、参照画像３として抽出し、それぞれ子画面２と子画面３と結びつけてメモリ５０７へと格納する。

補間画像生成部５０６は、合成部５０４がメモリ５０７に格納した合成画像を読み出し、画面構成制御部５０３から受信した位置制御情報と、親画面ベクトル検出部５０２と子画面ベクトル検出部５１２から受信した動きベクトルを用いて補間フレームを生成する。

図４は、補間画像生成部５０６における補間画像生成の処理フローを説明するフローチャートである。以下、図４を参照して補間画像生成の処理について説明する。

ステップＳ８００において、補間画像生成部５０６は画面構成制御部５０３から複数の子画面の位置制御情報を取得する。ここで、補間画像生成部５０６はフレーム内での複数の子画面の表示位置を把握する。

ステップＳ８０１において、補間画像生成部５０６は、フレームを走査しながら、補間画像が生成されているか否か判定し、補間画像が生成されていない場合には、各々フレームについて、後述するステップＳ８０２からの処理を実行する。一方、補間画像が生成されている場合には、一連の処理を終了する。

ステップＳ８０２において、補間画像生成部５０６は、ステップＳ８００で把握した複数の子画面の表示位置に基づき、着目している画素が親画面領域の画素であるかを判断する。判断の結果、親画面領域の画素であった場合はステップＳ８０３の処理を実行し、親画面領域以外の画素、すなわち何れかの子画面領域の画素であった場合はステップＳ８０８の処理を実行する。

ステップＳ８０３において、補間画像生成部５０６は、親画像ベクトル検出部５０２から受信した動きベクトルから、当該画素が含まれるブロックの動きベクトルを取得する。

ステップＳ８０４において、補間画像生成部５０６は、ステップＳ８０３で取得した動きベクトルから当該画素において関連のある参照画像を算出する。すなわち、当該画素が親画面と何れかの子画面の境界付近の画素であり、取得した動きベクトルから、補間画素を生成するために参照画像を参照する必要があった場合、補間画像生成部５０６はその子画面が結びつけられた参照画像を確定する。一方、当該画素が親画面と何れの子画面との境界付近の画素ではない、あるいは境界付近の画素であっても動きベクトルから参照画像を参照する必要がないと判断した場合、補間画像生成部５０６は参照なしと確定する。

ステップＳ８０５において、補間画像生成部５０６は、合成画像の前フレーム（（ｎ−１）フレーム）あるいは、参照画像抽出部５０５が抽出した前フレームに対応した参照画像のうち、当該画素の補間画素生成に必要な画素信号をメモリ５０７より読み出す。ここで、参照画像の参照においては、補間画像生成部５０６はステップＳ８０４で確定した参照画像を参照する。

ステップＳ８０６おいて、補間画像生成部５０６は、合成画像の現フレーム（ｎフレーム）に対して、ステップＳ８０５と同様の作業を行う。

ステップＳ８０８において、補間画像生成部５０６は、当該画素が何れの子画面領域にあるかを判別する。

ステップＳ８０９において、補間画像生成部５０６は、子画面ベクトル検出部５１２からステップＳ８０８で判別した子画面と結びつけられた動きベクトルの中から、当該画素が含まれるブロックの動きベクトルを取得する。

ステップＳ８１０において、補間画像生成部５０６は、合成画像の前フレームの子画面領域の画素信号をメモリ５０７より読み出す。

ステップＳ８１１において、補間画像生成部５０６は、合成画像の現フレームの子画面領域の画素信号をメモリ５０７より読み出す。

ステップＳ８０７において、補間画像生成部５０６は、ステップＳ８０５とステップＳ８０６で取得した前フレームの画素信号と現フレームの画素信号から、親画面領域の補間画素を生成する。また、ステップＳ８０７において、補間画像生成部５０６は、ステップＳ８１０とステップＳ８１１で取得した前フレームの画素信号と現フレームの画素信号から、子画面領域の補間画素を生成する。次に、ステップＳ８０１に戻り、処理の対象となっているフレームの補間画像が生成され終わるまで、一連の処理繰り返す。

以上述べてきたように、本実施形態では、合成画像の親画面と複数の子画面に対して、それぞれ正しい動きベクトルを用いると共に、親画面上の複数の子画面で隠れる領域の一部のみを補間画像生成時の参照画像として保持する。すなわち、合成画像に対して正しい補間画像を生成することで、ＰｉｎＰにおいても補間画像生成部の数を増やすことなく、また補間画像の生成に必要な画像を合成画像の差分として最小限に保持することで、回路規模とメモリ容量の増大を抑えることができる。また、複数の子画面の動きベクトル検出を時分割で行うことで、動きベクトル検出部の数を増やすことなく、回路規模の増大を抑えることができる。親画像の解像度が４Ｋ２Ｋ（４０９６×２０４８）であった場合、従来技術においては参照画像の保持のために４Ｋ２Ｋ分のメモリ容量が必要になる。一方、本発明によれば、最大でも複数の子画面の解像度分のメモリ容量を持てばよい。さらには、参照画像を親画面と子画面の境界部を中心とした一部の画像とすることで、メモリ容量の増大を抑えることができる。メモリ容量の削減効果は、表示システムが扱う解像度が高くなる程に大きくなる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 第１の動画の領域内に第２の動画を重畳して表示させる画像処理装置であって、
   前記第１および第２の動画のそれぞれを入力する入力手段と、
   前記入力された前記第１の動画の動きベクトルの情報を取得する取得手段と、
   前記第１の動画のうち前記第２の動画が重畳されない領域に対応する領域のデータと、前記第１の動画のうち前記第２の動画が重畳される領域内の所定領域に対応する領域のデータとをメモリに記憶させ、前記第１の動画のうち前記第２の動画が重畳される前記領域内の前記所定領域外に対応する領域のデータを前記メモリに記憶させない記憶制御手段と、
   前記入力手段で入力された前記第１の動画の第１のフレームと第２のフレームとの間に表示させるべき補間フレームを、前記取得手段により取得された前記動きベクトルの情報と、前記メモリに記憶されたデータとを用いて生成する生成手段と、
   前記第１のフレーム、前記第２のフレーム、及び、前記補間フレームに基づく動画を表示させる表示制御手段とを有することを特徴とする画像処理装置。
2. 前記第１の動画の領域内に表示される前記第２の動画の位置情報とフレームサイズとを保持する保持手段を有し、
   前記記憶制御手段は、前記保持手段により保持された前記位置情報とフレームサイズとに基づいて前記所定領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の動画の位置情報とフレームサイズのうち少なくとも一方を変更するための入力を行う入力手段を有し、
   前記保持手段は、前記入力手段による入力に応じて変更された情報を保持することを特徴とする請求項２に記載の画像処理装置。
4. 前記記憶制御手段は、前記取得手段により取得された動きベクトルの情報に応じて、前記所定領域を決定することを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
5. 前記記憶制御手段は、前記第２の動画のフレームサイズに応じて、前記所定領域を決定することを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
6. 前記記憶制御手段は、前記第２の動画が重畳される領域のうち、前記第２の動画が重畳されない前記領域と隣接する領域を前記所定領域とすることを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
7. 第１の動画の領域内に第２の動画を重畳して表示させる画像処理装置が行う制御方法であって、
   前記第１および第２の動画のそれぞれを入力する入力工程と、
   前記入力された前記第１の動画の動きベクトルの情報を取得する取得工程と、
   前記第１の動画のうち前記第２の動画が重畳されない領域に対応する領域のデータと、前記第１の動画のうち前記第２の動画が重畳される領域内の所定領域に対応する領域のデータとをメモリに記憶させ、前記第１の動画のうち前記第２の動画が重畳される前記領域内の前記所定領域外に対応する領域のデータを前記メモリに記憶させない記憶制御工程と、
   前記入力工程で入力された前記第１の動画の第１のフレームと第２のフレームとの間に表示させるべき補間フレームを、前記取得工程により取得された前記動きベクトルの情報と、前記メモリに記憶されたデータとを用いて生成する生成工程と、
   前記第１のフレーム、前記第２のフレーム、及び、前記補間フレームに基づく動画を表示させる表示制御工程とを有することを特徴とする制御方法。
8. 前記第１の動画の領域内に表示される前記第２の動画の位置情報とフレームサイズとを保持する保持工程を有し、
   前記記憶制御工程は、前記保持工程により保持された前記位置情報とフレームサイズとに基づいて前記所定領域を決定することを特徴とする請求項７に記載の制御方法。
9. 前記第２の動画の位置情報とフレームサイズのうち少なくとも一方を変更するための入力を行う入力工程を有し、
   前記保持工程は、前記入力工程による入力に応じて変更された情報を保持することを特徴とする請求項８に記載の制御方法。
10. 前記記憶制御工程は、前記取得工程により取得された動きベクトルの情報に応じて、前記所定領域を決定することを特徴とする請求項７乃至９のうちいずれか１項に記載の制御方法。
11. 前記記憶制御工程は、前記第２の動画のフレームサイズに応じて、前記所定領域を決定することを特徴とする請求項７乃至１０のうちのうちいずれか１項に記載の制御方法。
12. コンピュータを請求項１乃至６の画像処理装置の各手段として動作させるためのプログラム。

Images