JP2009081540A - 情報処理装置および合成映像生成方法 - Google Patents

Abstract

【課題】 複数の画像を重ね合わせるブレンド処理の効率化を実現する。
【解決手段】 第１画像データを第１画像に復号する第1復号手段１５１９と、第２画像データを第２画像に復号する第２復号手段１５１４と、第３画像データを第３画像に復号する第３復号手段１５１８と、前記第１復号手段１５１９で復号された前記第１画像内の第１領域に、前記第２復号手段１５１４で復号された前記第２画像内の、前記第１領域と同じ座標位置にある第２領域の画像を書き込む書込手段１６０と、下から順に、前記第２復号手段１５１４で復号された前記第２画像、前記第３復号手段１５１８で復号された前記第３画像、前記書込手段１６０で前記第２領域の画像が書き込まれた前記第1画像を重ね合わせた表示画面を生成するブレンド処理手段１０５１を具備する。
【選択図】 図３

Description

本発明は、ＨＤ ＤＶＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の映像を再生する機能を有する情報処理装置、及び複数の映像を再生して合成する合成映像生成方法に関する。

近年、動画像のデジタル圧縮符号化技術の進展に伴い、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）規格の高精細映像を扱うことが可能な再生装置（プレーヤ）の開発が進められている。

この種のプレーヤにおいては、インタラクティブ性を高めるために、複数の画像を高次元で融合させるための機能が要求されている。
例えば特許文献１には、グラフィクスデータとビデオデータとディスプレイコントローラによって合成するシステムが開示されている。このシステムにおいては、ディスプレイコントローラは、ビデオデータをキャプチャし、そのキャプチャしたビデオデータをグラフィクス画面上一部のエリア上に合成する。
特開平８−２０５０９２号公報

ところで、この特許文献１に記載のシステムを含むこれまでのシステムでは、比較的低解像度のビデオデータを扱うことを前提としており、ＨＤ規格のビデオデータのような高精細画像を扱うことについては考慮されていない。また、それほど多くの画像を重ね合わせることを予定していない。

一方、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、最多で５つの画像を適宜に重ね合わせる必要がある。そのため、現実的な処理能力を超える程度にまでその処置量が達する状況にある。従って、この複数の画像を重ね合わせて表示画面を生成する方法については、複数の画像同士が重なり合った領域の画像処理における処理量を低減し、負荷を考慮した適切な効率化が求められている。

この発明は、このような事情を考慮してなされたものであり、複数の画像を重ね合わせるブレンド処理の効率化を実現する情報処理装置および表示画像生成方法を提供することを目的とする。

本発明に係る情報処理装置は、第１画像データを第１画像に復号する第1復号手段と、第２画像データを第２画像に復号する第２復号手段と、第３画像データを第３画像に復号する第３復号手段と、前記第１復号手段で復号された前記第１画像内の第１領域に、前記第２復号手段で復号された前記第２画像内の、前記第１領域と同じ座標位置にある第２領域の画像を書き込む書込手段と、下から順に、前記第２復号手段で復号された前記第２画像、前記第３復号手段で復号された前記第３画像、前記書込手段で前記第２領域の画像が書き込まれた前記第1画像を重ね合わせた表示画面を生成するブレンド処理手段とを具備することを特徴とする。

本発明に係る合成映像生成方法は、上から順に、第１映像、第２映像、第３映像を重ね合わせた第４映像を生成する方法であって、前記第３映像の特定領域の映像を、該特定の領域と同じ座標位置にある前記第１映像の領域に書き込み、上から順に、前記第３映像の特定領域の映像が書き込まれた前記第1映像、前記第２映像、前記第３映像を重ねた第４映像を生成することを特徴とする。

本発明によれば、複数の画像を重ね合わせるブレンド処理の効率化を実現することができる。

以下、図面を参照して本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。

図１は、ノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１７から構成される表示装置が組み込まれており、そのＬＣＤ１７の表示画面はディスプレイユニット１２のほぼ中央に位置されている。

ディスプレイユニット１２は、コンピュータ本体１１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、タッチパッド１５、クリックボタン１６およびスピーカ１９Ａ，１９Ｂなどが配置されている。

また、本コンピュータ１０は、ＨＤ ＤＶＤ規格のＤＶＤメディアに格納された（ＨＤ ＤＶＤ Ｖｉｄｅｏ規格の）オーディオ・ビデオ（ＡＶ）コンテンツを再生することができる。コンピュータ本体１１の正面には、ＤＶＤメディアを出し入れするためのスロット口１８が設けられている。

本実施の形態は、ＨＤ ＤＶＤを再生することができる。ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、コンテンツを再生する情報処理装置等で表示される表示画面は５つの画像のプレーンから構成される。これらのプレーンは表示画面を生成するブレンド処理を行う際に、重ね合わせる順序が固定され、下からメインビデオプレーン、サブビデオプレーン、サブピクチャプレーン、グラフィクスプレーン、カーソルプレーンの順となる。

さらに、本実施の形態は、メインビデオプレーンの画像をサブピクチャプレーンおよびグラフィクスプレーンに、またサブビデオプレーンの画像をグラフィクスプレーンに書き込むプレーン画像上書機能を有している。このプレーン画像上書機能は、例えば、３以上のプレーンを重ね合わせた表示画面を生成するブレンド処理機能の中の一機能として実装されている。このプレーン画像上書機能は、例えば、メインビデオの画像をグラフィクスより上に見えるように表示させたい場合、所望のメインビデオの画像をグラフィクスプレーンに書き込むことで、該画像をグラフィクスより上に見えるように表示させる機能の一つである。

このプレーン画像上書機能を用いることで、従来、各ピクセルの透明度を示す係数であるアルファデータの制御のみを用いて行っていた、複数の画像同士が重なり合った領域の画像処理について、各ピクセルのアルファデータを書き換える処理の回数を減らしブレンド処理全体の処理量が低減できる。

図２は、本発明の一実施形態に係るパーソナルコンピュータ１０のシステム構成を示している。本コンピュータ１０は、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、ＤＶＤドライブ１１０、カードコントローラ１１１、無線ＬＡＮコントローラ１１２、ＩＥＥＥ１３９４コントローラ１１３、およびエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１４等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）１５０、およびＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１のような各種アプリケーションプログラムを実行する。ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１はＯＳ１５０上で動作するソフトウェアであり、ＨＤ ＤＶＤドライブ１１０から読み出されるＡＶコンテンツを再生するための制御を行う。

ＨＤ ＤＶＤドライブ１１０によって駆動されるＨＤ ＤＶＤメディアのような蓄積メディアに格納されたＡＶコンテンツは、圧縮符号化されたメインビデオデータ、圧縮符号化されたメインオーディオデータ、圧縮符号化されたサブビデオデータ、圧縮符号化されたサブピクチャデータ、アルファデータを含むグラフィクスデータ、圧縮符号化されたサブオーディオデータ、ＡＶコンテンツの再生を制御するナビゲーションデータ等から構成されている。

圧縮符号化されたメインビデオデータは、例えば、主映像（主画面イメージ）として用いられる動画像をＨ．２６４／ＡＶＣ規格の圧縮符号化方式で圧縮符号化したデータである。メインビデオデータはＨＤ規格の高精細画像から構成されている。また、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）規格のメインビデオデータを使用することもできる。圧縮符号化されたメインオーディオデータは、メインビデオデータに対応するオーディオデータである。メインオーディオデータの再生は、メインビデオデータの再生と同期して実行される。

圧縮符号化されたサブビデオデータはメインビデオ上に重ね合わされた状態で表示される副映像（副画面イメージ）であり、メインビデオデータを補足する動画像（例えば映画監督のインタビューシーンなど）から構成されている。圧縮符号化されたサブオーディオデータは、サブビデオデータに対応するオーディオデータである。サブオーディオデータの再生は、サブビデオデータの再生と同期して実行される。

グラフィクスデータもメインビデオ上に重ね合わされた状態で表示される副映像（副画面イメージ）であり、例えば、メニューオブジェクトのような操作ガイダンスを表示するための各種データ（Ａｄｖａｎｃｅｄ Ｅｌｅｍｅｎｔｓ）から構成されている。各Ａｄｖａｎｃｅｄ Ｅｌｅｍｅｎｔは、静止画、動画（アニメーションを含む）、またテキストから構成されている。ＨＤ ＤＶＤプレーヤアプリケーションはユーザによるマウス操作に従って絵を描くドローウィング機能を有している。このドローウィング機能によって描画されたイメージもグラフィクスデータとして用いられ、メインビデオ上に重ね合わされた状態で表示することができる。

圧縮符号化されたサブピクチャデータは、字幕等のテキストから構成されている。
ナビゲーションデータは、コンテントの再生順を制御するプレイリストと、サブビデオおよびグラフィクス（Ａｄｖａｎｃｅｄ Ｅｌｅｍｅｎｔｓ）等の再生を制御するスクリプトとを含んでいる。スクリプトは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のようなマークアップ言語によって記述されている。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、主メモリ１０３の一部の記憶領域に割り当てられたビデオメモリ（ＶＲＡＭ）１０５ＡにＣＰＵ１０１によって書き込まれたデータから、表示画面を生成するグラフィクスコントローラである。ＧＰＵ１０５は、例えば、ＣＰＵ１０１によってＶＲＡＭ１０５Ａ上の５つのプレーンにそれぞれ画像（メインビデオ、サブビデオ、サブピクチャ、グラフィクス、カーソル）が書き込まれた場合、それら５つのプレーンに対応する画像同士をピクセル毎に重ね合わせるブレンド処理を実行し、表示画面を生成する。

ブレンド処理は、メインビデオ、サブビデオ、サブピクチャ、グラフィクスそれぞれに対応するアルファデータを用いて実行される。該アルファデータは１から０までの値を有し、その値が０に近づくほどピクセルの色は無色透明になる。そして、アルファデータは、メインビデオ、サブビデオ、サブピクチャ、グラフィクスの画像と一緒にＨＤ ＤＶＤメディアに格納されている。すなわち、メインビデオ、サブビデオ、サブピクチャ、グラフィクスの各々は、画像とアルファデータとから構成されている。

サウスブリッジ１０４は、ＬＰＣ（Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス上の各デバイス、およびＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１０９およびＨＤ ＤＶＤドライブ１１０を制御するためのＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

次に、図３を参照して、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１によって実現される画像処理の機能構成を説明する。

ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１は、オペレーティングシステム１５０の制御下で動作するいわゆるアプリケーションプログラムであり、図４に示すように、データ読取部１５１１、暗号化解除処理部１５１２、デマルチプレクサ（Ｄｅｍｕｘ）部１５１３、ビデオデコーダ１５１４、オーディオデコーダ１５１５、サブオーディオデコーダ１５１６、サブピクチャデコーダ１５１７、サブビデオデコーダ１５１８、グラフィクスデコーダ１５１９、ナビゲーション制御部１５２０、およびカーソルドローウィングマネージャ１５２１等を備えている。

ＨＤ ＤＶＤドライブ１１０のＨＤ ＤＶＤメディアに格納されたコンテンツ（メインビデオデータ、サブビデオデータ、サブピクチャデータ、メインオーディオデータ、サブオーディオデータ、グラフィクスデータ、ナビゲーションデータ）は、データ読取部１５１１によってＨＤ ＤＶＤドライブ１１０から読み出される。メインビデオデータ、サブビデオデータ、サブピクチャデータ、メインオーディオデータ、サブオーディオデータ、グラフィクスデータ、ナビゲーションデータはそれぞれ暗号化されている。メインビデオデータ、サブビデオデータ、サブピクチャデータ、メインオーディオデータ、サブオーディオデータは、ＨＤ ＤＶＤストリームに多重化されている。データ読取部１５１１によってＨＤ ＤＶＤメディアから読み出されたメインビデオデータ、サブビデオデータ、サブピクチャデータ、メインオーディオデータ、サブオーディオデータ、グラフィクスデータ、ナビゲーションデータはそれぞれコンテント暗号化解除処理部１５１２に入力される。暗号化解除処理部１５１２は各データの暗号化を解除するための処理を実行する。暗号化が解除されたナビゲーションデータはナビゲーション制御部１５２０に送られる。また、暗号化が解除されたＨＤ ＤＶＤストリームはデマルチプレクサ（Ｄｅｍｕｘ）部１５１３に送られる。

ナビゲーション制御部１５２０はナビゲーションデータに含まれるスクリプト（ＸＭＬ）を解析して、グラフィクスデータ（Ａｄｖａｎｃｅｄ Ｅｌｅｍｅｎｔｓ）の再生を制御する。グラフィクスデータ（Ａｄｖａｎｃｅｄ Ｅｌｅｍｅｎｔｓ）はグラフィクスデコーダ１５１９に送られてデコードされる。また、ナビゲーション制御部１５２０は、ユーザによるマウスデバイスの操作に応じてカーソルを移動する処理を実行する。ドローウィング機能によるイメージの描画は、ユーザによるマウスデバイスの操作をナビゲーション制御部１５２０が取得し、その軌跡、つまりカーソルの軌跡からなる絵のグラフィックスデータをＧＰＵ１０５に生成させた後、グラフィクスデコーダ１５１９でデコードされるナビゲーションデータによるグラフィックスデータと同等のグラフィクスデータとしてＧＰＵ１０５に再投入することで実現される。

デマルチプレクサ（Ｄｅｍｕｘ）部１５１３は、ＨＤ ＤＶＤストリームからメインビデオデータ、メインオーディオデータ、サブオーディオデータ、サブピクチャデータ、サブビデオデータ等を分離する。

メインビデオデータは、ビデオデコーダ１５１４に送られデコードされる。
メインオーディオデータは、オーディオデコーダ１５１５に送られデコードされる。サブオーディオデータは、サブオーディオデコーダ１５１６に送られデコードされる。デコードされたメインオーディオデータおよびサブオーディオデータは、Ｉ２Ｓ形式のデジタルオーディオ信号としてオーディオミキサ（図示していない）に送られる。

サブピクチャデータおよびサブビデオデータは、それぞれサブピクチャデコーダ１５１７およびサブビデオデコーダ１５１８に送られデコードされる。
デコードされたメインビデオデータ、サブピクチャデータ、サブビデオデータ、およびグラフィクスデータは、ＣＰＵ１０１によってＶＲＡＭ１０５Ａ内に、それぞれメインビデオプレーン、サブピクチャプレーン、サブビデオプレーン、およびグラフィクスプレーンとして書き込まれる。また、ＶＲＡＭ１０５Ａにはカーソルイメージに対応するカーソルデータもカーソルプレーンとして書き込まれる。また、メインビデオデータ、サブピクチャデータ、サブビデオデータ、グラフィクスデータ、およびカーソルデータの各々は、ピクセル毎にアルファデータを含む。

ＧＰＵ１０５は、ＶＲＡＭ１０５Ａ内のメインビデオプレーン、サブビデオプレーン、グラフィクスプレーン、サブピクチャプレーン、およびカーソルプレーンのそれぞれにおける画像を重ね合わせた表示画面を生成する。この場合、５つのプレーンの画像はＧＰＵ１０５のミキサ（ＭＩＸ）１０５１部によって実行されるアルファブレンディング処理によってピクセル毎に重ね合わされる。

ミキサ（ＭＩＸ）１０５１部は、５つのプレーンの画像のそれぞれに対応するアルファデータ、ＣＰＵ１０１によって指定されるそれぞれの位置情報、および図４以下で説明する画像書込部１６０によるプレーン画像上書機能に基づいてブレンド処理を実行することにより、例えば１９２０×１０８０ピクセルの背景画像上にメインビデオ、サブビデオ、グラフィクス、サブピクチャ、およびカーソルを重ね合わせた表示画面を生成する。

図４は、本実施の形態に係るパーソナルコンピュータ１０によって再生されるＨＤ規格のＡＶコンテンツ中の複数の画像データを重ね合わせるブレンド処理の手順を示す概念図である。尚、図４の例では、画像書込部１６０によるプレーン画像上書は行っていない。画像書込部１６０によりプレーン画像上書を行う場合の処理については、図７を参照しながら後述する。

ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、プレーン１からプレーン５の５つのプレーンが定義されており、各プレーンに前述のカーソル、グラフィクス、サブピクチャ、サブビデオ、メインビデオがそれぞれ割り当てられている。そして、本実施の形態では、図３に示すように、このプレーン１からプレーン５の５つの画像ａ１〜画像ａ５の重ね合わせをＧＰＵ１０５のミキサ部で実行し、目的の画像ａ６を作成している。

また、ＧＰＵ１０５は、前述のミキサ（ＭＩＸ）部１０５１のほか、スケーリング処理部１７０、ルーマキー処理部１７１を有している。スケーリング処理部１７０は、画像の解像度を段階的に拡大および縮小するスケーリング処理を実行する。ルーマキー処理部１７１は、輝度値がしきい値以下のピクセルのアルファ値を０にすることによって画像中の背景（黒）を取り除くルーマキー処理を実行する。

本実施の形態では、図４に示すように、スケーリング処理部１７０は、プレーン２からプレーン５の画像ａ２〜画像ａ５についてスケーリング処理を行う。また、ルーマキー処理部１７１は、プレーン４の画像ａ４についてルーマキー処理を行う。

また、本実施の形態は、メインビデオプレーンの画像をグラフィクスプレーンおよびサブピクチャプレーンに、また、サブビデオプレーンの画像をグラフィクスプレーンに書き込むプレーン画像上書機能を有している。該プレーン画像上書機能は、例えば、グラフィクスのメニューオブジェクトの中の１つとして実装され、例えば、サブピクチャ、サブビデオ、およびグラフィクスメニューを背景画面にして、該背景画面の上にスケーリング処理された小型のメインビデオ（以下、ウィンドウと称する。）を表示させる場合に起動する。そして、プレーン画像上書機能は、例えば、ミキサ（ＭＩＸ）部１０５１内の画像書込部１６０によって実行される。

このプレーン画像上書機能により、従来、各ピクセルのアルファデータの制御のみを用いて行っていた、複数の画像同士が重なり合った領域の画像処理について、各ピクセルのアルファデータの値を書き換える処理量を減らすことでブレンド処理全体の処理量が低減できる。以下、このプレーン画像上書機能について詳述する。

まずは、図５から図７を参照して、各ピクセルのアルファデータの制御のみを用いて行っていた、複数の画像同士が重なり合った領域の画像処理について説明した後に、図８を用いて本実施の形態における、複数のプレーンを重ね合わせた表示画面を生成する際に用いられるプレーン画像上書機能を説明する。なお、図５および図７では、技術内容を理解しやすいものとするため、メインビデオプレーン、サブビデオプレーン、サブピクチャプレーン、およびグラフィクスプレーンの４つのプレーンに対象を絞って説明を行う。

図５は、４つのプレーンを各ピクセルのアルファデータの値を１として、アルファデータの制御を行わない状態でブレンド処理する場合を示している。さらに、ここでは、サブピクチャを背景画面として全画面に表示して、スケーリング処理によりメインビデオを縮小して表示する場合を想定している。各ピクセルにおけるアルファデータの値が１であった場合、これらのピクセルによって構成される画像は全て不透明となる。ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、ブレンド処理機能において重ね合わせる順序が固定されているため、下からメインビデオプレーン、サブビデオプレーン、サブピクチャプレーン、およびグラフィクスプレーンの順で各プレーンに表示される画像を重ね合わせた表示画面ａ７が生成される。

ここで、例えば、サブピクチャ、サブビデオ、およびグラフィクスメニューを背景画面にして、該背景画面の上にメインビデオのウィンドウが見えるように表示させる場合、既存の技術では、メインビデオプレーンより上に重ねられる３つのプレーンの特定領域におけるアルファデータの値を０にする方法が考えられる。

ここで、図６を参照して、ＧＰＵ１０５のミキサ（ＭＩＸ）部１０５１によって実行される、アルファデータに基づくブレンド処理について説明する。
ここでは、例えば、スケーリング処理により縮小されたサブピクチャプレーンおよびサブビデオプレーンから１９２０×１０８０ピクセルの解像度を持つ表示画面を生成する場合を想定する。サブピクチャプレーンおよびサブビデオプレーンの各々は、例えば７２０×４８０ピクセルの解像度を持つ。この場合、サブピクチャプレーンおよびサブビデオプレーンの各々には、７２０×４８０ピクセルの解像度のアルファデータも付随する。

例えば、サブピクチャプレーンはオーバーサーフェースとして使用され、サブビデオプレーンはアンダーフェースとして使用される場合、サブピクチャプレーンとサブビデオプレーンとが重なった領域の各ピクセルの色は、以下の式（１）によって求められる。

Ｇ＝Ｇｏ×αｏ＋Ｇｕ（１−αｏ）αｕ …（１）
ここで、Ｇは重なった領域の各ピクセルの色、Ｇｏはオーバーサーフェースとして使用されるサブピクチャプレーンの各ピクセルの色、αｏはオーバーサーフェースとして使用されるサブピクチャプレーンの各ピクセルのアルファ値、Ｇｕはアンダーフェースとして使用されるサブビデオプレーンの各ピクセルの色である。

また、サブビデオプレーンとサブピクチャプレーンとが重なった領域の各ピクセルのアルファ値は、以下の式（２）によって求められる。
α＝αｏ＋αｕ×（１−αｏ） …（２）
ここで、αは重なった領域の各ピクセルのアルファ値、αｕはアンダーサーフェースとして使用されるメインビデオデータの各ピクセルのアルファ値である。
このように、ミキサ（ＭＩＸ）部１０５１は、サブピクチャプレーンおよびサブビデオプレーンに対応するアルファデータの内、オーバーサーフェースとして使用される方のアルファデータを用いて、サブピクチャプレーンとサブビデオプレーンとを重ね合わせ、これにより１９２０×１０８０ピクセルの表示画面を生成する。さらに、ミキサ（ＭＩＸ）部１０５１は、サブピクチャプレーンに対応するアルファデータとサブビデオプレーンに対応するアルファデータとから、１９２０×１０８０ピクセルの表示画面の各ピクセルのアルファ値を算出する。

以下、アルファデータの値を０にすることにより、先述の、サブピクチャ、サブビデオ、およびグラフィクスメニューを背景画面にして、該背景画面の上にメインビデオのウィンドウが見えるように表示させる方法について図７を参照しながら簡単に説明する。

この方法は、図７に示すように、サブビデオプレーン、サブピクチャプレーン、およびグラフィクスプレーンのそれぞれのウィンドウ領域について、該ウィンドウ領域を構成するピクセルが持つアルファデータの値を０に書き換える方法である。このアルファデータの書き換えを含めたブレンド処理は、例えば、ミキサ（ＭＩＸ）部１０５１によって行われる。各プレーンのウィンドウ領域を構成するピクセルのアルファデータの値が０になると、サブビデオプレーン、サブピクチャプレーン、およびグラフィクスプレーンにおけるウィンドウ領域は無色透明となり、それらを通して所望のウィンドウが見える表示画面ａ８が表示される。

しかし、図７の方法では、ブレンド処理を行う際に、サブビデオプレーン、サブピクチャプレーン、およびグラフィクスプレーンの各プレーンにおけるウィンドウ領域のアルファデータを処理する必要があり、ブレンド処理における処理量が多くなる。また、グラフィクスプレーン上にある複数のメニューオブジェクトのアルファデータを書き換える過程で、アルファデータの処理がなされたメニューオブジェクトを一時的に保持するため、グラフィクスプレーンの専用バッファ（図示していない）が必要となる。

そこで、本実施の形態では、プレーン画像上書機能を用いることで、ブレンド処理における処理量の低減を実現する。本実施の形態では、プレーン画像上書機能は、例えば、ミキサ（ＭＩＸ）部１０５１内にある画像書込部１６０で実行される。このプレーン画像上書機能は、図８に示すように、メインビデオのウィンドウをカーソルプレーンの下に、サブビデオプレーン、サブピクチャプレーン、およびグラフィクスプレーンの上に見えるように表示させたい場合、該ウィンドウと同じ座標に位置するグラフィクスプレーンのウィンドウ領域（図８の例では、（ｘ１，ｙ１）（ｘ１，ｙ２）（ｘ２，ｙ２）（ｘ２，ｙ１）で囲まれた矩形領域）に、メインビデオのウィンドウの画像を書き込む機能である。本実施の形態では、ブレンド処理を行う際に、所望のウィンドウが見える表示画面ａ８を生成する過程で、1つのプレーンについて画像書き込み処理を行うだけであり、ブレンド処理全体の処理量は、図７で示した方法と比べ３分の１の処理量となる。

また、本実施の形態では、メインビデオのウィンドウをグラフィクスプレーンに書き込むだけではなく、メインビデオのウィンドウをサブピクチャプレーンに、また、サブビデオのウィンドウをグラフィクスプレーンに書き込むことも出来る。これらの場合、ブレンド処理における処理量は、図７で示した方法と比べ２分の１の処理量となる。

また、本実施の形態では、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格における表示画面を例に説明を行っているが、これに限らず、複数の画像を重ね合わせた表示画面を生成するブレンド処理機能を有する装置であれば、プレーン画像上書機能を用いてブレンド処理の効率化が実現できる。また、本実施の形態におけるカーソルのように、表示画面を生成する過程で一番上にある画像にウィンドウの書き込みを行うこともできる。

次に、図９を参照して、本実施の形態における画像書込部１６０によるプレーン書込機能の流れについて説明する。図９は、例えば、本実施の形態における、画像書込部１６０によって実行されるプレーン画像上書機能の手順を示すフローチャートである。なお、ここでは、メインビデオプレーンの画像をグラフィクスプレーンに書き込む場合の説明を行うが、メインビデオプレーンの画像をサブピクチャプレーンに、また、サブビデオプレーンの画像をグラフィクスプレーンに書き込む場合についても、同様の手順でプレーン画像上書機能が動作するものとする。

プレーン画像上書機能は、ユーザが、例えば、サブビデオおよびグラフィクスメニューからなる背景画像の上にメインビデオのウィンドウを映したいと考えた場合、例えば、グラフィクスメニューオブジェクトの機能として備わっているスケーリング等の表示画面操作機能を選択操作していく過程で起動する。

まず、スケーリング処理部１７０は、メインビデオを縮小表示にするためスケーリング処理を行う（ステップＳ１０１）。
次に、ミキサ（ＭＩＸ）部１０５は、スケーリング処理されたメインビデオのウィンドウ領域の座標位置を特定する（ステップＳ１０２）。このウィンドウ領域の座標位置は、図８の例では、（ｘ１，ｙ１）（ｘ１，ｙ２）（ｘ２，ｙ２）（ｘ２，ｙ１）で囲まれた矩形領域が対応する。さらに、ミキサ（ＭＩＸ）部１０５は、ステップＳ１０２で得た座標を基に、グラフィクスプレーンにウィンドウ領域を特定する（ステップＳ１０３）。

次に、画像書込部１６０は、メインビデオのウィンドウを複製する（ステップＳ１０４）。また、画像書込部１６０は、複製されたメインビデオのウィンドウをステップＳ１０３で特定されたグラフィクスプレーンのウィンドウ領域に書き込む（ステップＳ１０５）。

そして、画像書込部１６０によるプレーン画像上書機能の処理が行われた後、ミキサ（ＭＩＸ）部１０５１は、メインビデオプレーン、サブビデオプレーン、およびグラフィクスプレーンを重ね合わせた表示画面を生成する。

このプレーン画像上書機能により、本実施の形態では、ブレンド処理を行って所望のウィンドウが見える表示画面を生成する過程で、従来行っていた複数のプレーンについて各画像を構成するピクセルのアルファデータの値を書き換える処理を行わずに、1つのプレーンについて画像書き込み処理を行うだけであり、ブレンド処理全体の処理量は従来の方法と比べて、メインビデオのウィンドウをグラフィクスプレーンに書き込む場合は３分の１の処理量となり、メインビデオのウィンドウをサブピクチャプレーンに書き込む場合と、サブビデオのウィンドウをグラフィクスプレーンに書き込む場合は２分の１の処理量となる。

また、従来の方法では、グラフィクスプレーン上にある複数のメニューオブジェクトのアルファデータを書き換える過程で、アルファデータの処理がなされたメニューオブジェクトを一時的に保持するためにグラフィクスプレーンの専用バッファが必要となったが、本実施の形態では、このグラフィクスプレーンの専用バッファを必要としない。

以上述べたように、本実施の形態では、複数の画像を重ね合わせるブレンド処理の効率化を実現することができる。また、ブレンド処理の効率化により、データ転送や再生処理の高速化を実現することができる。また、本実施の形態では、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格における表示画面を例に説明を行ったが、これに限らず、複数の画像を重ね合わせた表示画面を生成するブレンド処理機能を有する装置であれば、プレーン画像上書機能を用いてブレンド処理の効率化が実現できる。

本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る情報処理装置の概観の例を示すブロック図。 本発明の一実施形態に係る情報処理装置のシステム構成の例を示すブロック図。 図２のＨＤ ＤＶＤプレーヤアプリケーションによって実現されるソフトウェアデコーダの機能構成を説明するための図。 図１の情報処理装置においてＨＤ規格のＡＶコンテンツ中の５つのプレーンがどのような手順で重ね合わされるのかを示す概念図。 従来の情報処理装置で行われるアルファデータを変化させないでブレンド処理をする方法を説明するための図。 従来の情報処理装置のミキサ（ＭＩＸ）部によって実行されるブレンド処理を説明するための図。 従来の情報処理装置で行われるアルファデータを変化させてブレンド処理をする方法を説明するための図。 図１の情報処理装置に設けられたプレーン画像上書機能を説明するための図。 図１の情報処理装置に設けられた画像書込部を説明するためのフローチャート。

符号の説明

１３…キーボード
１４…パワーボタン
１５…タッチパッド
１６…クリックボタン
１７…ＬＣＤ
１８…スロット口
１９Ａ，１９Ｂ…スピーカ
１０１…ＣＰＵ
１０２…ノースブリッジ
１０３…主メモリ
１０４…サウスブリッジ
１０５…グラフィクスプロセッシングユニット（ＧＰＵ）
１０５Ａ…ビデオメモリ（ＶＲＡＭ）
１０６…サウンドコントローラ
１０７…ＢＩＯＳ−ＲＯＭ
１０８…ＬＡＮコントローラ
１０９…ハードディスクドライブ（ＨＤＤ）
１１０…ＨＤ ＤＶＤドライブ
１１１…カードコントローラ
１１２…無線ＬＡＮコントローラ
１１３…ＩＥＥＥ１３９４コントローラ
１１４…エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）
１５０…オペレーティングシステム
１５１…ＨＤ ＤＶＤプレーヤアプリケーションプログラム
１６０…画像書込部
１７０…スケーリング処理部
１７１…ルーマキー処理部
１０５１…ミキサ（ＭＩＸ）部
１５１１…データ読取部
１５１２…暗号化解除処理部
１５１３…デマルチプレクサ（Ｄｅｍｕｘ）部
１５１４…ビデオデコーダ
１５１５…オーディオデコーダ
１５１６…サブピクチャデコーダ
１５１７…サブビデオデコーダ
１５１８…ナビゲーション制御部
１５１９…グラフィクスデコーダ
１５２０…カーソルドローウィングマネージャ

Claims (9)

1. 第１画像データを第１画像に復号する第1復号手段と、
   第２画像データを第２画像に復号する第２復号手段と、
   第３画像データを第３画像に復号する第３復号手段と、
   前記第１復号手段で復号された前記第１画像内の第１領域に、前記第２復号手段で復号された前記第２画像内の、前記第１領域と同じ座標位置にある第２領域の画像を書き込む書込手段と、
   下から順に、前記第２復号手段で復号された前記第２画像、前記第３復号手段で復号された前記第３画像、前記書込手段で前記第２領域の画像が書き込まれた前記第1画像を重ね合わせた表示画面を生成するブレンド処理手段と
   を具備することを特徴とする情報処理装置。
2. 前記情報処理装置は、第４画像データを第４画像に復号する第４復号手段を更に具備し、
   前記ブレンド処理手段は、下から順に、前記第４復号手段で復号された前記第４画像、前記第２復号手段で復号された前記第２画像、前記第３復号手段で復号された前記第３画像、前記書込手段で前記第２領域が書き込まれた前記第1画像を重ね合わせた前記表示画面を生成する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記情報処理装置は、第４画像データを第４画像に復号する第４復号手段を更に具備し、
   前記ブレンド処理手段は、下から順に、前記第２復号手段で復号された前記第２画像、前記第３復号手段で復号された前記第３画像、前記第４復号手段で復号された前記第４画像、前記書込手段で前記第２領域が書き込まれた前記第1画像を重ね合わせた前記表示画面を生成する
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記第１復号手段は、操作ガイダンスを表示する符号化されたグラフィクスデータを前記第１画像に復号し、
   前記第２復号手段は、副映像を表示する符号化されたサブビデオデータを前記第２画像に復号し、
   前記第３復号手段は、字幕を表示する符号化されたサブピクチャデータを前記第３画像に復号し、
   前記第４復号手段は、主映像を表示する符号化されたメインビデオデータを前記第４画像に復号する
   ことを特徴とする請求項２記載の情報処理装置。
5. 前記第１復号手段は、操作ガイダンスを表示する符号化されたグラフィクスデータを前記第１画像に復号し、
   前記第２復号手段は、主映像を表示する符号化されたメインビデオデータを前記第２画像に復号し、
   前記第３復号手段は、副映像を表示する符号化されたサブビデオデータを前記第３画像に復号し、
   前記第４復号手段は、字幕を表示する符号化されたサブピクチャデータを前記第４画像に復号する
   ことを特徴とする請求項３記載の情報処理装置。
6. 前記情報処理装置は、カーソルが描画されるカーソルの画像を生成するカーソル画像生成手段を更に具備し、
   前記ブレンド処理手段は、下から順に、前記第４復号手段で復号された前記第４画像、前記第２復号手段で復号された前記第２画像、前記第３復号手段で復号された前記第３画像、前記書込手段で前記第２領域が書き込まれた前記第1画像、前記カーソル画像生成手段で生成されたカーソルの画像を重ね合わせた前記表示画面を生成する
   ことを特徴とする請求項２記載の情報処理装置。
7. 前記情報処理装置は、カーソルが描画されるカーソルの画像を生成するカーソル画像生成手段を更に具備し、
   前記ブレンド処理手段は、下から順に、前記第２復号手段で復号された前記第２画像、前記第３復号手段で復号された前記第３画像、前記第４復号手段で復号された前記第４画像、前記書込手段で前記第２領域が書き込まれた前記第1画像、前記カーソル画像生成手段で生成されたカーソルの画像を重ね合わせた前記表示画面を生成する
   ことを特徴とする請求項２記載の情報処理装置。
8. 前記書込手段は、前記第１の画像データに書き込む画像を複製して書き込むことを特徴とする請求項１または請求項２または請求項３記載の情報処理装置。
9. 上から順に、第１映像、第２映像、第３映像を重ね合わせた第４映像を生成する方法であって、
   前記第３映像の特定領域の映像を、該特定の領域と同じ座標位置にある前記第１映像の領域に書き込み、
   上から順に、前記第３映像の特定領域の映像が書き込まれた前記第1映像、前記第２映像、前記第３映像を重ねた第４映像を生成する
   ことを特徴とする合成映像生成方法。

Images