JP4487400B2

JP4487400B2 - Image deformation apparatus and image deformation method

Info

Publication number: JP4487400B2
Application number: JP2000273710A
Authority: JP
Inventors: 彰博 ▲高▼島; 雅文倉重
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-09-08
Filing date: 2000-09-08
Publication date: 2010-06-23
Anticipated expiration: 2020-09-08
Also published as: JP2002083316A

Description

【０００１】
【発明の属する技術分野】
本発明は画像変形装置及びその画像変形方法に関し、特に所定の画像に変形処理を施して特殊効果を発生させる画像変形装置及びその画像変形方法に関する。
【０００２】
【従来の技術】
従来、画像に特殊効果を与える手法として、適当な原画像に対して画像の移動、拡大、縮小、回転等の変形を行なう手法が知られており、これらの画像変形を高速に処理する画像変形装置が用いられてきた。
【０００３】
画像変形装置では、画像の縮小率に応じてプリフィルタリングした画像を画像メモリ（以下、テクスチャメモリとする）に書き込んだ後、画像の変形アドレス（以下、テクスチャアドレスとする）に従って変形アドレス近傍点の画像データをテクスチャメモリから読み出し、近傍点画像データ同士を補間（以下、インタポレーションとする）することで、画像の変形効果（以下、テクスチャマッピングとする）を実現している。以下、この方式によるテクスチャマッピング手法をプリフィルタ方式と呼ぶ。
【０００４】
一方、近年コンピュータグラフィックス分野においては、画像の変形はミップマップ方式による手法が主流となっている。ミップマップ方式は、プリフィルタリングを行なう代わりに、予め変形しようとする画像の縮小画像、例えば、×１、×１／２、×１／４、×１／８…をテクスチャメモリに書き込んだ後、テクスチャアドレス、及びどの倍率の縮小画像から画像データを読み出すか、という指定データに従って、その近傍点の画像データをテクスチャメモリから読み出し、インタポレーションすることでテクスチャマッピングを行なっている。
【０００５】
ここで、プリフィルタ方式とミップマップ方式によるインタポレーションを比較してみると、それぞれに次のような特徴がある。
プリフィルタ方式は、画像の縮小に応じて最適なプリフィルタリングを行なっているため、縮小画像が予め段階的に用意されているミップマップ方式より高画質になるという特徴がある。
【０００６】
ミップマップ方式は、予め縮小率の異なる画像をテクスチャメモリに書き込んでいるため、１フィールドの画像の中で縮小率の異なる画像を同時に表示することができるという特徴がある。このように、画像を同時に表示することをマルチオブジェクトと呼ぶことにする。これに対し、プリフィルタ方式では、１フィールドの画像の中では１つの縮小率でのプリフィルタリングしか行なえないため、マルチオブジェクトは不可能である。
【０００７】
近年の画像変形装置は、テクスチャマッピングをハードウェアで処理して、画像処理の高速化を計っている。
【０００８】
【発明が解決しようとする課題】
しかし、従来の画像変形装置には、プリフィルタ方式及びミップマップ方式の両方式を混在させることができないため、所望の画像変形を行なうことが難しいという問題がある。
【０００９】
上記説明のように、プリフィルタ方式は高画質を提供できるという特徴があり、ミップマップ方式はマルチオブジェクトが可能であるという特徴がある。画像の特殊効果を上げるためには、これらの特徴を生かして、所望の画像変形処理に最適な方式が選択できることが望ましい。例えば、動画に特殊効果を付加するための変形を行なう場合には、高画質となるプリフィルタ方式による処理が望ましい。また、所定の画像に額縁等の画像を付加したいような場合、ミップマップ方式で処理を行なう。
【００１０】
しかしながら、プリフィルタ方式とミップマップ方式の両方式を実現するためには、それぞれの処理を行なうハードウェアを搭載しなければならない。このため、１つの画像変形装置に従来両方式が混在することはなかった。
【００１１】
本発明はこのような点に鑑みてなされたものであり、所望の画像変形を行なうことが可能な画像変形装置及びその画像変形方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明では上記課題を解決するために、所定の画像に変形処理を施して特殊効果を発生させる画像変形装置において、変形対象のオブジェクトに対してポリゴン単位の頂点演算を行ない、前記ポリゴンの縮小率に応じたプリフィルタ係数を算出するモデリング手段と、前記オブジェクトに予め決められた所定の画像をマッピングするためのテクスチャアドレスを設定するテクスチャアドレス設定手段と、前記オブジェクトに関連付けて前記テクスチャアドレスを記憶するとともに、前記テクスチャアドレスを格納するときに未使用となる前記テクスチャアドレスの記憶領域に該オブジェクトの前記変形処理の手法の選択に関する指定情報を記憶するテクスチャアドレス記憶手段と、必要に応じて前記予め決められた画像の画像データを入力し、前記プリフィルタ係数に応じてプリフィルタ処理を行なうプリフィルタ処理手段と、前記プリフィルタ処理手段により処理された画像データ、及び必要に応じて外部にて生成された画像データとを前記テクスチャアドレスに基づいて記憶する画像データ記憶手段と、前記プリフィルタ処理手段により処理された画像データ及び前記外部にて生成された画像データの前記画像データ記憶手段への書き込み及び前記画像データ記憶手段に記憶された画像データの読み出しを制御する画像データ制御手段と、前記テクスチャアドレスに基づき、前記画像データ制御手段経由で読み出した前記画像データ記憶手段の画像データを前記指定情報に応じた変形処理の手法を用いて補間処理してマッピングを行なうテクスチャマッピング手段と、を有することを特徴とする画像変形装置、が提供される。
【００１３】
このような構成の画像変形装置では、モデリング手段は、変形対象のオブジェクトに対してポリゴン単位の頂点演算及びポリゴンの縮小率に応じたプリフィルタ係数を算出する。テクスチャアドレス設定手段は、モデリング手段により生成されたポリゴンを用いてオブジェクトに後述するような予め決められた画像をマッピングするためのテクスチャアドレスを設定し、変形処理の手法の選択に関する指定情報とともにオブジェクトに関連付けてテクスチャアドレス記憶手段に記憶する。指定情報は、テクスチャアドレスを格納するときに未使用となるテクスチャアドレスの記憶領域に記憶される。プリフィルタ処理手段は、モデリング手段により算出されたプリフィルタ係数に応じて貼り付けを行なう予め決められた画像データのプリフィルタリングを行なう。プリフィルタリング処理された画像データは、画像データ制御手段により画像データ記憶手段に記憶される。また、画像データ制御手段は、必要に応じて、テクスチャマッピングに用いるために外部にて生成された画像データを、テクスチャアドレスに基づいて画像データ記憶手段に記憶する。テクスチャマッピング手段は、テクスチャアドレス記憶手段に記憶されたテクスチャアドレスに基づいて、画像データ制御手段を介して画像データ記憶手段の画像データを読み出し、指定情報に応じた変形処理の手法を用いて補間処理し、マッピングを行なう。
【００１４】
また、上記課題を解決するために、所定の画像に変形処理を施して特殊効果を発生させる画像変形方法において、変形対象のオブジェクトに対してポリゴン単位の頂点演算及び前記ポリゴンの縮小率に応じたプリフィルタ係数を算出し、前記オブジェクトに予め決められた画像をマッピングするためのテクスチャアドレスを設定し、前記オブジェクトに関連付けて前記テクスチャアドレスをテクスチャアドレス記憶手段に記憶するとともに、前記テクスチャアドレスを格納するときに未使用となる前記テクスチャアドレスの記憶領域に該オブジェクトの前記変形処理の手法の選択に関する指定情報を記憶し、必要に応じて前記予め決められた画像の画像データを入力して前記プリフィルタ係数に応じてプリフィルタ処理を施し、前記プリフィルタ処理された画像データ及び必要に応じて外部にて生成された画像データとを前記テクスチャアドレスに基づいて画像データ記憶手段に記憶し、前記テクスチャアドレスに基づき、前記プリフィルタ処理された画像データを読み出し、前記指定情報に応じた変形処理の手法を用いて補間処理してマッピングを行なう手順を有することを特徴とする画像変形方法、が提供される。
【００１５】
このような手順の画像変形方法では、変形対象のオブジェクトに対してポリゴン単位の頂点演算及びポリゴンの縮小率に応じたプリフィルタ係数を算出する。生成されたポリゴンを用いてオブジェクトに対して後述するような予め決められた画像をマッピングするためのテクスチャアドレスを設定し、変形処理の手法の選択に関する指定情報とともにオブジェクトに関連付けて記憶する。指定情報は、テクスチャアドレスを格納するときに未使用となるテクスチャアドレスの記憶領域に記憶される。テクスチャマッピングされる画像データは、算出されたプリフィルタ係数に応じてプリフィルタリングされる。このようにしてプリフィルタリング処理された画像データは、所定の記憶領域に記憶される。また、必要に応じて、テクスチャマッピングに用いるために外部にて生成された画像データを記憶することもできる。テクスチャマッピング処理は、テクスチャアドレスに基づいて、プリフィルタ処理された画像データまたは外部にて生成された画像データを読み出し、指定情報に応じた変形処理の手法を用いて補間処理し、マッピングを行なう。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明の一実施の形態である画像変形装置の構成図である。
【００１７】
本発明に係る画像変形装置は、画像変形対象であるオブジェクトに対してテクスチャアドレスを設定するアドレス処理ブロック１００と、画像データの処理を行なうビデオ処理ブロック２００とから構成される。
【００１８】
アドレス処理ブロック１００は、装置全体の制御を行なうホスト１１０、ポリゴン処理とプリフィルタ係数算出を行なうモデリング部１２０、テクスチャアドレスを設定するテクスチャアドレス設定手段であるＤＤＡ（ＤｉｇｉｔａｌＤｉｆｆｅｒｅｎｔｉａｌＡｎａｌｙｚｅｒ、以下、ＤＤＡとする）１３０、及びテクスチャアドレスを記憶するテクスチャアドレス記憶手段であるアドレスバッファ１４０とから構成される。
【００１９】
ホスト１１０は、装置全体を制御するとともに、画像の変形（ワイヤーフレーム）データ、オブジェクト毎にテクスチャマッピングさせる画像の選択等の情報をモデリング部１２０へ渡す。
【００２０】
モデリング部１２０は、画像変形対象であるオブジェクトに対して、ポリゴン単位での３次元座標の頂点演算及び前記ポリゴンの縮小率に応じたプリフィルタ係数を算出する。
【００２１】
ＤＤＡ１３０は、オブジェクトに対して、モデリング部１２０で算出されたポリゴンを用いて所定の画像をマッピングするためのテクスチャアドレスを割り当て、アドレスバッファ１４０に書き込む。所定の画像は、ホスト１１０経由で指定されたオブジェクト毎にテクスチャマッピングさせる画像である。具体的には、モデリング部１２０で算出したポリゴンのデータをピクセルデータに変換し、アドレスバッファ１４０に書き込む。なお、アドレスバッファ１４０には、ポリゴンにビデオ画像を貼り付けるためのリードアドレスを書き込んでいる。このリードアドレスがテクスチャアドレスであり、ポリゴンにビデオ画像を貼り付ける操作がテクスチャマッピングである。
【００２２】
アドレスバッファ１４０は、ＤＤＡ１３０により生成されたテクスチャアドレスと、変形処理の手法の選択に関する指定情報とを、オブジェクトに関連付け記憶する。変形処理の手法の選択に関する指定情報は、ここでは、プリフィルタ方式とミップマップ方式のいずれを選択するかについての設定情報である。
【００２３】
ビデオ処理ブロック２００は、テクスチャマッピングを行なう元の画像データを入力し、プリフィルタ処理を行なうプリフィルタ処理部２１０、テクスチャマッピングを行なう画像データの読み出し及び書き込み制御を行なう画像データ制御手段であるテクスチャメモリコントロール２２０、テクスチャマッピングを行なう画像データを記憶する画像データ記憶手段であるテクスチャメモリ２３０、及びテクスチャマッピング処理を行なうテクスチャマッピング手段であるインタポレーション２４０とから構成される。
【００２４】
プリフィルタ処理部２１０は、テクスチャマッピングを行なう元の画像であるビデオ画像を入力し、モデリング部１２０の算出したプリフィルタ係数に応じてプリフィルタ処理を行なう。プリフィルタ処理部２１０は、プリフィルタ係数に応じて画像のピクセル方向（以下、Ｈ方向とする）にプリフィルタリング（アンチエイリアスフィルタ）処理を行なうＨ方向プリフィルタ２１１、画像のスキャンライン方向（以下、Ｖ方向とする）にもプリフィルタリングを行なうためＨＶスキャンコンバート処理するＨＶスキャンコンバート２１２、ＨＶスキャンコンバートした後にプリフィルタ係数に応じてＶ方向のフィルタリングを行なうＶ方向プリフィルタ２１３、及び画質向上のためにフィールド画像をフレーム画像に変換するフィールド／フレーム変換２１４とから構成される。
【００２５】
テクスチャメモリコントロール２２０は、ホスト１１０の指示に従って、プリフィルタ処理部２１０によってプリフィルタ処理された画像データをテクスチャメモリ２３０に書き込む。これらは、主として、プリフィルタ用画像データとして使われる。また、必要に応じて、ホスト１１０等で作成されたタイトルや模様等の画像データをテクスチャメモリ２３０に書き込む。これらは、ミップマップ用画像データとして使われる。さらに、ホスト等によって作成された画像データとは別に、プリフィルタ処理部２１０によって作成される縮小画像をミップマップ用画像として登録することもできる。また、テクスチャメモリコントロール２２０は、ホスト１１０の指示に従ってテクスチャメモリ２３０に記憶された画像データを読み出し、インタポレーション２４０へ送る。
【００２６】
テクスチャメモリ２３０は、テクスチャメモリコントロール２２０に従って、プリフィルタ用画像データ及びミップマップ用画像データを記憶する。
インタポレーション２４０は、テクスチャアドレスに基づき、テクスチャメモリコントロール２２０経由で読み出したテクスチャメモリ２３０の画像データをインタポレーション処理して、画像の変形に応じたテクスチャマッピングを完成させる。このとき、オブジェクトと関連付けて記憶されている指定情報に従って、プリフィルタ方式によるインタポレーション処理と、ミップマップ方式によるインタポレーション処理のいずれかが選択される。
【００２７】
このような構成の画像変形装置の動作及び画像変形方法について説明する。
まず、アドレス処理ブロック１００の動作について説明する。アドレス処理ブロック１００では、ホスト１１０より画像の変形データ、オブジェクト毎にテクスチャマッピングさせる画像の選択等の情報がモデリング部１２０に入力する。モデリング部１２０は、オブジェクトに対してポリゴン単位で３次元座標の頂点演算と、ポリゴンの縮小率に応じたプリフィルタ係数の算出を行なう。プリフィルタ係数は、プリフィルタ処理部２１０で使用される。ＤＤＡ１３０は、モデリング部１２０で算出されたポリゴンデータに基づいてオブジェクトに対してテクスチャマッピングを行なうためのテクスチャアドレスの設定を行なう。このとき、テクスチャアドレスとともにインタポレーション処理の方式がオブジェクトと関連付けて記憶される。
【００２８】
具体例で説明する。図２は、本発明の一実施の形態である画像変形装置のテクスチャアドレス空間の構成図である。ＳＤＴＶ（ＳｔａｎｄａｒｄＤｅｆｉｎｉｔｉｏｎＴｅｌｅｖｉｓｉｏｎ）と、ＨＤＴＶ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＴｅｌｅｖｉｓｉｏｎ）の場合の一例である。
【００２９】
本発明に係る画像変形装置のテクスチャアドレス空間は、テクスチャアドレスＵとテクスチャアドレスＶとの２次元空間である。信号フォーマットがＳＤＴＶの場合は、１オブジェクト当たり１０２４×１０２４の空間を持ち、１６オブジェクトに分割することができる。テクスチャアドレス空間の任意の領域毎に、プリフィルタ方式、またはミップマップ方式によるインタポレーションを設定することができため、最大１６オブジェクトまでのインタポレーション方式を選択することができる。ＨＤＴＶの場合は、１オブジェクト当たり、２０４８×２０４８の空間とし、最大４オブジェクトまでのインタポレーション方式を選択することができる。
【００３０】
プリフィルタ方式またはミップマップ方式の選択について、実施例で説明する。図３は、画像特殊効果の一例である。これは、「ブリック効果」を示したものである。
【００３１】
ブリック効果を発生させる一般的な方法の一例として、メイン（Ｍａｉｎ）の面には画質重視のためプリフィルタ方式の画像をテクスチャマッピングし、サイド（Ｓｉｄｅ）Ａ、Ｂにはタイトル等の静止画像をミップマップ方式にてマッピングする。このような場合には、オブジェクト（ここでは、Ｍａｉｎ、ＳｉｄｅＡ、及びＳｉｄｅＢの各面を示す）毎にインタポレーション方式を変えなければならない。このような場合のテクスチャアドレスの配置について説明する。図４は、テクスチャアドレスの配置例である。（ａ）は、信号フォーマットがＳＤＴＶの場合のテクスチャアドレスの一例であり、（ｂ）は、テクスチャアドレス（ＵまたはＶ）のデータフォーマットである。（ａ）に示したように、テクスチャアドレス空間を、Ｍａｉｎ、ＳｉｄｅＡ、及びＳｉｄｅＢの各オブジェクトで領域分割する。また、それぞれのオブジェクトのテクスチャアドレスを示すＵまたはＶデータは、（ｂ）に示すように上位２ビットが未使用である。この未使用の上位２ビットに、インタポレーション方式をプリフィルタ方式またはミップマップ方式のいずれとするかについての指定情報を設定する。このように、テクスチャアドレスの上位２ビットにより、インタポレーション方式の識別が可能となることから、同一のテクスチャメモリブロック上へ、プリフィルタ用画像データ及びミップマップ用画像データを配置することができる。なお、テクスチャアドレス空間の配置は、任意に設定することができる。
【００３２】
このようにして、テクスチャアドレス及び指定情報がアドレスバッファ１４０に設定される。図１に戻って説明する。
ビデオ処理ブロック２００では、プリフィルタ処理部２１０は、モデリング部１２０の算出したプリフィルタ係数に応じて、入力したビデオ画像にプリフィルタ処理を行なう。プリフィルタ処理された画像データは、テクスチャメモリコントロール２２０を介してテクスチャメモリ２３０に書き込まれる。このようにして、プリフィルタ処理され、テクスチャメモリ２３０に書き込まれた画像データは、主としてプリフィルタ方式のインタポレーション処理に用いられる。
【００３３】
次に、ミップマップ用画像データの書き込みについて説明する。タイトルや模様等、主に静止画像をテクスチャマッピングさせたり、マルチオブジェクトを行なう場合にはミップマップ方式を用いる。ミップマップ画像は、×１、×１／２、×１／４…といった数段階の縮小画像を予めテクスチャメモリ２３０に書き込んでおく。実際の書き込みは、ホスト１１０にて作成した数段階の静止画像を、テクスチャメモリコントロール２２０を介してテクスチャメモリ２３０に書き込む。また、ホスト１１０から静止画像データを書き込む方法とは別に、上記説明のプリフィルタ処理により生成された画像データをミップマップ用画像データとしてテクスチャメモリ２３０に書き込むとすることもできる。この場合、プリフィルタリングしながら、数段階の縮小画像を順次作成し、これを記憶していく。このため、ホスト１１０で縮小画像を作成するよりも高画質なミップマップ用画像データを作成することができる。
【００３４】
続いて、インタポレーション２４０において、テクスチャメモリ２３０からオブジェクトに応じた画像データを読み出し、テクスチャマッピングする。
インタポレーション２４０について、さらに詳細に説明する。図５は、本発明の一実施の形態である画像変形装置のインタポレーション部分の構成図である。図１と同じものには同じ番号を付し、説明は省略する。
【００３５】
「従来の技術」の項で説明したように、高速処理を行なうため、一般的にインタポレーション処理はハードウェアで行なわる。このため、プリフィルタ方式によるインタポレーション回路及びミップマップ方式によるインタポレーション回路とが用意されている。
【００３６】
本発明に係るインタポレーション２４０は、インタポレーションの方式を識別するＵ，Ｖデータ上位２ビットデコード回路２４１、プリフィルタ方式の補間処理を行なうプリフィルタ方式インタポレーション回路２４２、ミップマップ方式の補間処理を行なうミップマップ方式インタポレーション回路２４３、及び識別結果に基づいてプリフィルタ方式インタポレーション回路２４２、あるいは、ミップマップ方式インタポレーション２４３のいずれかを選択する選択手段であるスイッチ２４４とから構成される。
【００３７】
Ｕ，Ｖデータ上位２ビットデコード回路２４１は、オブジェクト毎のテクスチャアドレス（Ｕ，Ｖデータ）領域の未使用の上位２ビットに付加されたインタポレーション方式の識別フラグを抽出し、プリフィルタ方式／ミップマップ方式のフラグ情報としてスイッチ２４４へ出力する。
【００３８】
プリフィルタ方式インタポレーション回路２４２は、割り当てられたテクスチャアドレスに応じて、プリフィルタ方式に対するインタポレーション係数を発生させ、インタポレーション処理を行なう。
【００３９】
ミップマップ方式インタポレーション回路２４３は、割り当てられたテクスチャアドレスに応じて、ミップマップ方式に対するインタポレーション係数を発生させ、インタポレーション処理を行なう。
【００４０】
スイッチ２４４は、Ｕ，Ｖデータ上位２ビットデコード回路２４１の識別情報に応じて、プリフィルタ方式インタポレーション回路２４２の出力またはミップマップ方式インタポレーション回路２４３出力を選択する。
【００４１】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像変形装置が有すべき機能の処理内容は、コンピュータで読み取り可能な記録媒体に記録されたプログラムに記述しておく。そして、このプログラムをコンピュータで実行することにより、上記処理がコンピュータで実現される。コンピュータで読み取り可能な記録媒体としては、磁気記録装置や半導体メモリ等がある。市場に流通させる場合には、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)やフロッピーディスク等の可搬型記録媒体にプログラムを格納して流通させたり、ネットワークを介して接続されたコンピュータの記憶装置に格納しておき、ネットワークを通じて他のコンピュータに転送することもできる。コンピュータで実行する際には、コンピュータ内のハードディスク装置等にプログラムを格納しておき、メインメモリにロードして実行する。
【００４２】
【発明の効果】
以上説明したように本発明の画像変形装置では、オブジェクトに対応する所定のポリゴンを生成し、プリフィルタ係数を算出するとともに、オブジェクトに対して画像をマッピングするためのテクスチャアドレスを設定し、変形処理の手法の選択に関する指定情報とともに記憶する。算出されたプリフィルタ係数に応じて画像データのプリフィルタリングを行ない、画像データ記憶手段に記憶する。また、必要に応じて外部にて生成された画像データも画像データ記憶手段に記憶する。続いて、テクスチャアドレスに基づいて画像データ記憶手段の画像データを読み出し、指定情報に応じた手法を用いて補間処理し、マッピングを行なう。
【００４３】
このように、テクスチャアドレスに応じて変形処理の手法に関する指定情報を付加することができるため、テクスチャアドレスに応じて変形処理の手法を適宜選択することができる。また、それぞれの手法に合わせてテクスチャマッピング処理手法も適宜選択される。この結果、プリフィルタ方式とミップマップ方式というように、異なる方式を同一画像上で混在させることが可能となった。
【００４４】
また、本発明の画像変形方法では、オブジェクトに対応する所定のポリゴンを生成し、ポリゴンの縮小率に応じたプリフィルタ係数を算出するとともに、オブジェクトに対して画像をマッピングするためのテクスチャアドレスを設定し、変形処理の手法の選択に関する指定情報とともに記憶する。指定情報は、テクスチャアドレスとともにオブジェクトと関連付けて記憶される。算出されたプリフィルタ係数に応じて原画像データのプリフィルタリングを行ない、所定の記憶領域に記憶する。また、外部にて生成された画像データを記憶することもできる。続いて、テクスチャアドレスに基づいて画像データを読み出し、指定情報に応じた手法を用いて補間処理し、マッピングを行なう。
【００４５】
このように、テクスチャアドレスに応じて変形処理の手法に関する指定情報を付加することができるため、テクスチャアドレスに応じて変形処理の手法を適宜選択することができる。また、それぞれの手法に合わせてテクスチャマッピング処理手法も適宜選択される。この結果、プリフィルタ方式とミップマップ方式というように、異なる方式を同一画像上で混在させることが可能となった。
【図面の簡単な説明】
【図１】本発明の一実施の形態である画像変形装置の構成図である。
【図２】本発明の一実施の形態である画像変形装置のテクスチャアドレス空間の構成図である。
【図３】画像特殊効果の一例である。
【図４】テクスチャアドレスの配置例である。
【図５】本発明の一実施の形態である画像変形装置のインタポレーション部分の構成図である。
【符号の説明】
１００…アドレス処理ブロック、１１０…ホスト、１２０…モデリング部、１３０…ＤＤＡ、１４０…アドレスバッファ、２００…ビデオ処理ブロック、２１０…プリフィルタ処理部、２１１…Ｈ方向プリフィルタ、２１２…ＨＶスキャンコンバート、２１３…Ｖ方向プリフィルタ、２１４…フィールド／フレーム変換、２２０…テクスチャメモリコントロール、２３０…テクスチャメモリ、２４０…インタポレーション[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image deformation apparatus and an image deformation method thereof, and more particularly to an image deformation apparatus and an image deformation method for generating a special effect by performing a deformation process on a predetermined image.
[0002]
[Prior art]
Conventionally, as a technique for giving a special effect to an image, there is known a technique for performing deformation such as image movement, enlargement, reduction, rotation, or the like on an appropriate original image. Devices have been used.
[0003]
In the image transformation device, an image prefiltered in accordance with the image reduction ratio is written in an image memory (hereinafter referred to as a texture memory), and then the neighborhood address of the transformation address is determined according to the image transformation address (hereinafter referred to as a texture address). Image deformation is read from the texture memory, and neighboring point image data is interpolated (hereinafter referred to as interpolation), thereby realizing an image deformation effect (hereinafter referred to as texture mapping). Hereinafter, the texture mapping method according to this method is referred to as a prefilter method.
[0004]
On the other hand, in the computer graphics field in recent years, the mipmap method has become the mainstream for image deformation. In the mipmap method, instead of performing pre-filtering, a reduced image of an image to be deformed in advance, for example, x1, x1 / 2, x1 / 4, x1 / 8. Texture mapping is performed by reading out the image data of the neighboring points from the texture memory and interpolating in accordance with the specified data such as the texture address and from which reduced image data is read out.
[0005]
Here, when comparing the interpolation by the pre-filter method and the mipmap method, each has the following characteristics.
Since the prefilter method performs optimum prefiltering according to the reduction of the image, the prefilter method has a feature that the reduced image has higher image quality than the mipmap method that is prepared stepwise.
[0006]
The mipmap method has a feature that images having different reduction ratios can be simultaneously displayed in one field image because images having different reduction ratios are written in the texture memory in advance. Thus, displaying images simultaneously is referred to as a multi-object. On the other hand, in the pre-filter method, only one pre-filtering with one reduction rate can be performed in an image of one field, so that multi-object is impossible.
[0007]
In recent image transformation apparatuses, texture mapping is processed by hardware to speed up image processing.
[0008]
[Problems to be solved by the invention]
However, the conventional image deformation apparatus has a problem that it is difficult to perform desired image deformation because both the pre-filter method and the mipmap method cannot be mixed.
[0009]
As described above, the prefilter method has a feature that it can provide high image quality, and the mipmap method has a feature that multi-objects are possible. In order to increase the special effect of an image, it is desirable that an optimum method for a desired image deformation process can be selected by utilizing these characteristics. For example, when a modification for adding a special effect to a moving image is performed, processing by a pre-filter method that achieves high image quality is desirable. When it is desired to add an image such as a frame to a predetermined image, the process is performed by the mipmap method.
[0010]
However, in order to realize both the pre-filter method and the mipmap method, hardware for performing each processing must be installed. For this reason, both systems have never been mixed in one image deformation apparatus.
[0011]
The present invention has been made in view of these points, and an object thereof is to provide an image deformation apparatus and an image deformation method capable of performing desired image deformation.
[0012]
[Means for Solving the Problems]
In the present invention, in order to solve the above-described problem, in an image deformation apparatus that generates a special effect by performing a deformation process on a predetermined image. , Strange Modeling means for performing a vertex calculation for each object to be shaped and calculating a prefilter coefficient corresponding to the reduction ratio of the polygon, and a texture address for mapping a predetermined image to the object Texture address setting means to set ,in front In association with the object In addition to storing the texture address, designation information regarding selection of the deformation processing method of the object is stored in the storage area of the texture address that is unused when the texture address is stored. Texture address storage means for storing, and if necessary, said Predetermined Pre-filter processing means for inputting image data of an image and performing pre-filter processing according to the pre-filter coefficient, image data processed by the pre-filter processing means, and an image generated externally as necessary Image data storage means for storing data based on the texture address, image data processed by the pre-filter processing means, and writing of the externally generated image data to the image data storage means and the image Image data control means for controlling reading of image data stored in the data storage means, and image data of the image data storage means read via the image data control means based on the texture address according to the specified information A texture marker that performs mapping by interpolation using a transformation method Image transformation apparatus characterized by comprising: a ping means,, it is provided.
[0013]
In the image deformation apparatus having such a configuration, the modeling means is , Strange A pre-filter coefficient corresponding to a polygonal vertex calculation and a polygon reduction rate is calculated for the object to be shaped. The texture address setting means uses the polygon generated by the modeling means to make an object as described later. Predetermined Set texture address for image mapping, along with specification information on selection of deformation processing method Associated with an object Store in the texture address storage means. Designated information Is stored in the storage area for texture addresses that are unused when storing texture addresses. Remembered. The prefilter processing unit performs pasting according to the prefilter coefficient calculated by the modeling unit. Predetermined Pre-filtering image data. The prefiltered image data is stored in the image data storage means by the image data control means. Further, the image data control means stores image data generated externally for use in texture mapping in the image data storage means based on the texture address as necessary. The texture mapping means reads the image data in the image data storage means via the image data control means based on the texture address stored in the texture address storage means, and performs an interpolation process using a deformation processing technique according to the designation information. And mapping.
[0014]
Further, in order to solve the above problem, in an image deformation method for generating a special effect by performing deformation processing on a predetermined image , Strange For the object to be shaped, calculate the vertex calculation for each polygon and the prefilter coefficient corresponding to the reduction ratio of the polygon. Predetermined Set the texture address to map the image ,in front In association with the object The texture address is stored in the texture address storage means, and designation information related to selection of the deformation processing method of the object is stored in the storage area of the texture address that is unused when the texture address is stored. Memorize and if necessary Predetermined Based on the texture address, the image data of the image is input and subjected to prefilter processing according to the prefilter coefficient, and the prefiltered image data and externally generated image data as necessary For image data storage means An image deformation process comprising: storing, reading out the pre-filtered image data based on the texture address, and performing an interpolation process using a deformation process technique according to the designation information to perform mapping A method is provided.
[0015]
In the image transformation method of this procedure , Strange A pre-filter coefficient corresponding to a polygonal vertex calculation and a polygon reduction rate is calculated for the object to be shaped. Generated polygon The Use for objects as described below Predetermined Set texture address for image mapping, along with specification information on selection of deformation processing method Associated with an object Remember. Designated information Is stored in the storage area for texture addresses that are unused when storing texture addresses. Remembered. Image data subjected to texture mapping is prefiltered according to the calculated prefilter coefficient. The image data prefiltered in this way is stored in a predetermined storage area. In addition, image data generated externally for use in texture mapping can be stored as necessary. In the texture mapping process, prefiltered image data or externally generated image data is read out based on the texture address, and interpolation processing is performed using a deformation processing method according to the designation information to perform mapping.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram of an image deformation apparatus according to an embodiment of the present invention.
[0017]
The image deformation apparatus according to the present invention includes an address processing block 100 that sets a texture address for an object that is an image deformation target, and a video processing block 200 that processes image data.
[0018]
The address processing block 100 includes a host 110 that controls the entire apparatus, a modeling unit 120 that performs polygon processing and prefilter coefficient calculation, and a DDA (Digital Differential Analyzer, hereinafter referred to as DDA) that is a texture address setting unit that sets a texture address. ) 130 and an address buffer 140 which is a texture address storage means for storing the texture address.
[0019]
The host 110 controls the entire apparatus, and passes information such as image deformation (wire frame) data and image selection to be texture-mapped for each object to the modeling unit 120.
[0020]
The modeling unit 120 calculates a pre-filter coefficient corresponding to a vertex calculation of a three-dimensional coordinate in polygon units and a reduction rate of the polygon with respect to an object that is an image deformation target.
[0021]
The DDA 130 assigns a texture address for mapping a predetermined image to the object using the polygon calculated by the modeling unit 120 and writes the texture address in the address buffer 140. The predetermined image is an image that is texture-mapped for each object specified via the host 110. Specifically, the polygon data calculated by the modeling unit 120 is converted into pixel data and written to the address buffer 140. In the address buffer 140, a read address for pasting the video image to the polygon is written. This read address is the texture address, and the operation of pasting the video image on the polygon is texture mapping.
[0022]
The address buffer 140 stores the texture address generated by the DDA 130 and the designation information related to the selection of the deformation processing method in association with the object. Here, the designation information related to the selection of the deformation processing method is setting information on whether to select the pre-filter method or the mipmap method.
[0023]
The video processing block 200 receives the original image data for performing texture mapping, a prefilter processing unit 210 for performing prefilter processing, and a texture memory as image data control means for performing reading and writing control of image data for performing texture mapping. The control 220 includes a texture memory 230 as image data storage means for storing image data for performing texture mapping, and an interpolation 240 as texture mapping means for performing texture mapping processing.
[0024]
The pre-filter processing unit 210 inputs a video image that is an original image on which texture mapping is performed, and performs pre-filter processing according to the pre-filter coefficient calculated by the modeling unit 120. The pre-filter processing unit 210 performs an H-direction pre-filter 211 that performs pre-filtering (anti-alias filter) processing in the pixel direction of an image (hereinafter referred to as H direction) according to a pre-filter coefficient, and an image scan line direction (hereinafter referred to as V-direction). HV scan conversion 212 for HV scan conversion processing for pre-filtering, V-direction pre-filter 213 for performing V-direction filtering according to the pre-filter coefficient after HV scan conversion, and image quality improvement It comprises field / frame conversion 214 for converting a field image into a frame image.
[0025]
The texture memory control 220 writes the image data prefiltered by the prefilter processing unit 210 in the texture memory 230 in accordance with an instruction from the host 110. These are mainly used as prefilter image data. Further, image data such as a title and a pattern created by the host 110 or the like is written into the texture memory 230 as necessary. These are used as image data for mipmaps. In addition to the image data created by the host or the like, a reduced image created by the prefilter processing unit 210 can be registered as a mipmap image. Further, the texture memory control 220 reads the image data stored in the texture memory 230 in accordance with an instruction from the host 110 and sends it to the interpolation 240.
[0026]
The texture memory 230 stores prefilter image data and mipmap image data in accordance with the texture memory control 220.
The interpolation 240 interpolates the image data in the texture memory 230 read out via the texture memory control 220 based on the texture address, and completes the texture mapping according to the deformation of the image. At this time, either pre-filter interpolation processing or mipmap interpolation processing is selected according to the designation information stored in association with the object.
[0027]
The operation of the image deformation apparatus having such a configuration and the image deformation method will be described.
First, the operation of the address processing block 100 will be described. In the address processing block 100, information such as image deformation data and image selection to be texture-mapped for each object is input from the host 110 to the modeling unit 120. The modeling unit 120 calculates a vertex of a three-dimensional coordinate in units of polygons for an object and calculates a prefilter coefficient corresponding to the polygon reduction rate. The prefilter coefficient is used in the prefilter processing unit 210. The DDA 130 sets a texture address for performing texture mapping on the object based on the polygon data calculated by the modeling unit 120. At this time, the interpolation method is stored in association with the object together with the texture address.
[0028]
A specific example will be described. FIG. 2 is a configuration diagram of the texture address space of the image transformation apparatus according to the embodiment of the present invention. This is an example in the case of SDTV (Standard Definition Television) and HDTV (High Definition Television).
[0029]
The texture address space of the image transformation device according to the present invention is a two-dimensional space of texture addresses U and texture addresses V. When the signal format is SDTV, each object has a space of 1024 × 1024 and can be divided into 16 objects. Since the interpolation by the prefilter method or the mipmap method can be set for each arbitrary area of the texture address space, the interpolation method for up to 16 objects can be selected. In the case of HDTV, a space of 2048 × 2048 per object can be selected, and an interpolation method up to a maximum of 4 objects can be selected.
[0030]
The selection of the prefilter method or the mipmap method will be described in an embodiment. FIG. 3 is an example of an image special effect. This shows the “brick effect”.
[0031]
As an example of a general method for generating the brick effect, texture mapping is performed on the main (Main) surface with a pre-filter image for emphasizing image quality, and still images such as titles are displayed on Sides (A) and (B). Map using the mipmap method. In such a case, the interpolation method must be changed for each object (in this case, each side of Main, SideA, and SideB is shown). The arrangement of texture addresses in such a case will be described. FIG. 4 is an example of texture address arrangement. (A) is an example of a texture address when the signal format is SDTV, and (b) is a data format of the texture address (U or V). As shown in (a), the texture address space is divided into regions of Main, Side A, and Side B objects. In addition, in the U or V data indicating the texture address of each object, the upper 2 bits are unused as shown in (b). In the unused upper 2 bits, designation information as to whether the interpolation method is the pre-filter method or the mipmap method is set. Thus, since the interpolation method can be identified by the upper 2 bits of the texture address, the prefilter image data and the mipmap image data can be arranged on the same texture memory block. . The arrangement of the texture address space can be arbitrarily set.
[0032]
In this way, the texture address and the designation information are set in the address buffer 140. Returning to FIG.
In the video processing block 200, the prefilter processing unit 210 performs prefiltering on the input video image in accordance with the prefilter coefficient calculated by the modeling unit 120. The prefiltered image data is written into the texture memory 230 via the texture memory control 220. In this way, the image data that has been prefiltered and written to the texture memory 230 is mainly used for prefilter interpolation processing.
[0033]
Next, writing of mipmap image data will be described. The mipmap method is used for texture mapping of still images such as titles and patterns, or when performing multi-objects. For the mipmap image, several stages of reduced images such as x1, x1 / 2, x1 / 4 ... are written in the texture memory 230 in advance. In actual writing, several stages of still images created by the host 110 are written to the texture memory 230 via the texture memory control 220. In addition to the method of writing still image data from the host 110, the image data generated by the prefiltering process described above can be written to the texture memory 230 as mipmap image data. In this case, several stages of reduced images are sequentially created and stored while pre-filtering. Therefore, it is possible to create mipmap image data with higher image quality than creating a reduced image by the host 110.
[0034]
Subsequently, in the interpolation 240, image data corresponding to the object is read from the texture memory 230, and texture mapping is performed.
The interpolation 240 will be described in more detail. FIG. 5 is a configuration diagram of an interpolation part of the image transformation apparatus according to the embodiment of the present invention. The same parts as those in FIG.
[0035]
As described in the section “Prior Art”, in order to perform high-speed processing, interpolation processing is generally performed by hardware. For this reason, an interpolation circuit using a pre-filter method and an interpolation circuit using a mipmap method are prepared.
[0036]
The interpolation 240 according to the present invention includes a U and V data upper 2-bit decoding circuit 241 for identifying an interpolation method, a prefilter interpolation circuit 242 for performing prefilter interpolation, and a mipmap method. A mipmap interpolation circuit 243 that performs interpolation processing, and a switch 244 that is a selection unit that selects either the prefilter interpolation circuit 242 or the mipmap interpolation 243 based on the identification result; Consists of
[0037]
The U / V data upper 2-bit decoding circuit 241 extracts an interpolation method identification flag added to unused upper 2 bits of the texture address (U, V data) area for each object, and pre-filter / The information is output to the switch 244 as mipmap flag information.
[0038]
The pre-filter type interpolation circuit 242 generates an interpolation coefficient for the pre-filter type according to the assigned texture address, and performs an interpolation process.
[0039]
The mipmap method interpolation circuit 243 generates an interpolation coefficient for the mipmap method according to the assigned texture address, and performs an interpolation process.
[0040]
The switch 244 selects the output of the prefilter interpolation circuit 242 or the output of the mipmap interpolation circuit 243 according to the identification information of the U and V data upper 2-bit decoding circuit 241.
[0041]
The above processing functions can be realized by a computer. In this case, the processing contents of the functions that the image transformation apparatus should have are described in a program recorded on a computer-readable recording medium. Then, by executing this program on a computer, the above processing is realized by the computer. Examples of the computer-readable recording medium include a magnetic recording device and a semiconductor memory. When distributing to the market, store the program on a portable recording medium such as a CD-ROM (Compact Disc Read Only Memory) or floppy disk, or store it in a computer storage device connected via a network. In addition, it can be transferred to another computer through the network. When executed by a computer, the program is stored in a hard disk device or the like in the computer, loaded into the main memory and executed.
[0042]
【The invention's effect】
As described above, the image transformation apparatus of the present invention generates a predetermined polygon corresponding to an object, calculates a prefilter coefficient, sets a texture address for mapping an image to the object, and performs a transformation process. This information is stored together with designation information related to selection of the method. Image data is prefiltered according to the calculated prefilter coefficient, and stored in the image data storage means. Further, externally generated image data is also stored in the image data storage means as necessary. Subsequently, the image data in the image data storage means is read out based on the texture address, and interpolation processing is performed using a method according to the designation information to perform mapping.
[0043]
As described above, since the designation information related to the deformation processing method can be added according to the texture address, the deformation processing method can be appropriately selected according to the texture address. Also, a texture mapping processing method is appropriately selected according to each method. As a result, different methods such as a prefilter method and a mipmap method can be mixed on the same image.
[0044]
In the image transformation method of the present invention, a predetermined polygon corresponding to the object is generated, a prefilter coefficient corresponding to the reduction rate of the polygon is calculated, and a texture address for mapping the image to the object is set. Then, the information is stored together with designation information related to the selection of the deformation processing method. The designation information is stored in association with the object together with the texture address. The original image data is pre-filtered according to the calculated pre-filter coefficient and stored in a predetermined storage area. It is also possible to store image data generated externally. Subsequently, image data is read based on the texture address, and interpolation processing is performed using a technique according to the designation information, and mapping is performed.
[0045]
As described above, since the designation information related to the deformation processing method can be added according to the texture address, the deformation processing method can be appropriately selected according to the texture address. Also, a texture mapping processing method is appropriately selected according to each method. As a result, different methods such as a prefilter method and a mipmap method can be mixed on the same image.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image deformation apparatus according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of a texture address space of the image transformation device according to the embodiment of the present invention.
FIG. 3 is an example of an image special effect.
FIG. 4 is a layout example of texture addresses.
FIG. 5 is a configuration diagram of an interpolation portion of the image transformation apparatus according to an embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Address processing block, 110 ... Host, 120 ... Modeling part, 130 ... DDA, 140 ... Address buffer, 200 ... Video processing block, 210 ... Pre-filter processing part, 211 ... H direction pre-filter, 212 ... HV scan conversion, 213 ... V direction pre-filter, 214 ... field / frame conversion, 220 ... texture memory control, 230 ... texture memory, 240 ... interpolation

Claims

In an image deformation device that generates a special effect by performing a deformation process on a predetermined image,
Modeling means for performing a vertex calculation in units of polygons on an object to be deformed, and calculating a prefilter coefficient according to a reduction ratio of the polygon;
Texture address setting means for setting a texture address for mapping a predetermined image to the object;
Stores the texture address in association with the previous SL object, texture storing designation information regarding the selection of the transformation process of the method of the object in the storage area of the texture addresses to be unused when storing the texture address An address storage means;
Pre-filter processing means for inputting image data of the predetermined image as necessary and performing pre-filter processing according to the pre-filter coefficient;
Image data storage means for storing the image data processed by the pre-filter processing means, and image data generated externally as needed based on the texture address;
Image data control for controlling writing of image data processed by the pre-filter processing means and image data generated externally to the image data storage means and reading of image data stored in the image data storage means Means,
Based on the texture address, texture mapping means for performing mapping by interpolating the image data of the image data storage means read via the image data control means using a deformation processing method according to the designation information;
An image transformation device comprising:

The designation information stored in the texture address storage means stores, in the image data storage means, an image obtained by pre-filtering the deformation processing method performed by the texture mapping means in accordance with the image reduction ratio, and using this Whether to use a pre-filter method for performing image deformation, or to store images of different reduction ratios determined in advance in the image data storage means, and to use a mipmap method for performing image deformation using this. 2. The image transformation device according to claim 1, wherein the image transformation device is selection.

The texture mapping means includes
Pre-filter type interpolation means for reading out image data stored in the image data storage means and interpolating neighboring point image data according to the pre-filter type;
Mipmap interpolation means for reading out image data stored in the image data storage means and interpolating neighboring point image data according to the mipmap method;
Selection means for selecting either the pre-filter interpolation means or the mipmap interpolation means based on the designation information stored together with the texture address;
The image deformation apparatus according to claim 2, further comprising:

When the image transformation device performs mipmap texture mapping, if necessary,
The pre-filter processing means generates image data with a predetermined reduction ratio in advance,
2. The image transformation apparatus according to claim 1, wherein the image data control means stores image data having different reduction ratios generated by the prefilter processing means in the image data storage means.

In an image deformation method for generating a special effect by performing a deformation process on a predetermined image,
  For the object to be deformed, calculate the pre-filter coefficient according to the vertex calculation in polygon units and the reduction rate of the polygon,
  Set a texture address for mapping a predetermined image to the object,
Designation information related to selection of the method of the deformation processing of the object in the texture address storage area that is unused when storing the texture address while storing the texture address in the texture address storage means in association with the object Remember
  If necessary, input image data of the predetermined image and perform prefilter processing according to the prefilter coefficient,
  Storing the prefiltered image data and externally generated image data as needed in an image data storage unit based on the texture address;
  An image deformation method comprising: reading out the prefiltered image data based on the texture address, and performing mapping by performing interpolation processing using a deformation processing method according to the designation information.

In an image transformation device that performs transformation processing on image data,
  Pre-filter processing means for performing vertex calculation in units of polygons on the object to be deformed and performing pre-filter processing in accordance with the reduction rate of the polygon;
  Texture address setting means for setting a texture address for mapping a predetermined image to the object;
The texture address is stored in association with the object prefiltered by the prefilter processing means, and the deformation processing method of the object is stored in the texture address storage area that is unused when the texture address is stored. Storage means for storing designation information related to selection of
  Deformation processing means for performing a deformation process in accordance with the designation information on the image data stored by the storage means using the texture address stored by the storage means;
  An image transformation device comprising:

In an image deformation method for performing deformation processing on image data,
  The prefilter processing means performs a vertex calculation in units of polygons on the object to be deformed, and executes prefilter processing according to the polygon reduction rate,
  The texture address setting means sets a texture address for mapping a predetermined image to the object, and stores the texture address in the storage means in association with the object prefiltered by the prefilter processing means. And storing designation information related to selection of the deformation processing method of the object in a storage area of the texture address that is unused when the texture address is stored,
  The deformation processing means performs a deformation process according to the designation information on the image data stored by the storage means, using the texture address stored by the storage means.
  An image transformation method comprising a procedure.