JP2018125698A - 符号化処理装置、符号化処理方法、符号化処理プログラム、復号処理装置、復号処理方法、復号処理プログラム、および符号化復号処理方法 - Google Patents

Abstract

【課題】小画像の境界面を目立たなくする場合に回路規模の増大を抑制する。
【解決手段】順次入力される画像のうち処理対象とする画像を複数の小画像に分割する画像分割手段と、前記複数の小画像の符号化を実行する符号化処理手段と、前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信する送信手段と、前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記画像分割手段による画像の分割位置を変更する符号化位置制御手段と、を備えることを特徴とする符号化処理装置。
【選択図】図１

Description

本発明は、符号化処理装置、符号化処理方法、符号化処理プログラム、復号処理装置、復号処理方法、復号処理プログラム、および符号化復号処理方法に関する。

近年、フルHigh Definition（ＨＤ）（１９２０×１０８０画素）の動画像が広く利用されており、さらに高解像度の４Ｋ（３８４０×２１６０画素）や８Ｋ（７６８０×４３２０画素）の動画像の利用も拡大している。

画素数の大きい画像を符号化する場合、符号化対象となる画像を複数の小画像に分割し、分割した小画像ごとに符号化する符号化装置がある。分割した小画像それぞれの符号化処理は独立であるため、本来連続している領域である小画像間の境界線の画質は不連続となり、各小画像を復号して結合した場合に各小画像の境界線の画質が異なるため、境界線が目立ってしまう場合がある。

小画像の境界線を目立たなくする方法として、以下のような技術が知られている。隣接する小画像の符号化領域を重複する技術が知られている（例えば、特許文献１、２参照）。また、分割した小画像の境界線から離れる方向に小画像を符号化する技術が知られている（例えば、特許文献３参照）。境界線付近の劣化の度合いから符号量を制御する技術が知られている（特許文献４〜６参照）。また、画像を分割して分割画像を送信するシステムが知られている（例えば、特許文献７参照）。

特開平８−４６９６１号公報 特開平１０−２３４０４３号公報 国際公開第２００９／０６３５５４号 特開２００３−３４８５９７号公報 特開２００１−２８５８７６号公報 特開２０００−５９７７９号公報 特開２００７−２８１７１６号公報

小画像の境界線を目立たなくする場合、従来技術では、符号化装置や復号装置にメモリや制御回路等の多くの回路が追加されるため、回路規模が増大するという問題がある。例えば、従来技術では、重複する符号化領域分の画像情報を保持するメモリや境界線付近の劣化の度合いを判定して符号量を制御する回路などが追加される。

本発明は、小画像の境界線を目立たなくする場合に回路規模の増大を抑制することを目的とする。

実施の形態に係る符号化装置は、画像分割手段と、符号化処理手段と、送信手段と、符号化位置制御手段と、を備える。

前記画像分割手段は、順次入力される画像のうち処理対象とする画像を複数の小画像に分割する。

前記符号化処理手段は、前記複数の小画像の符号化を実行する。
前記送信手段は、前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信する。

前記符号化位置制御手段は、前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記画像分割手段による画像の分割位置を変更する。

実施の形態によれば、小画像の境界線を目立たなくする場合に回路規模の増大を抑制することができる。

実施の形態に係る符号化復号システムの機能ブロック図である。 画面の分割の第１の例である。 画面の分割の第２の例である。 画面の分割の第３の例である。 画面の分割の第４の例である。 実施の形態に係る符号化処理部の機能ブロック図である。 実施の形態に係る復号処理部の機能ブロック図である。 実施の形態に係る符号化処理のフローチャートである。 入力画像のマクロブロックの例を示す図である。 動きベクトルに基づく分割位置の算出処理のフローチャートである。 分割線とマクロブロックと動きベクトルを示す図である。 符号量に基づく分割位置の算出処理のフローチャートである。 分割線とマクロブロックと符号量を示す図である。 今回の分割位置を前回の分割位置と異なるようにする場合を説明する図である。 実施の形態に係る復号処理のフローチャートである。 情報処理装置（コンピュータ）の構成図である。

以下、図面を参照しながら実施の形態について説明する。
図１は、実施の形態に係る符号化復号システムの機能ブロック図である。

符号化復号システム１０１は、符号化装置２０１および復号装置３０１を備える。符号化装置２０１と復号装置３０１は、伝送路４０１により接続されている。

符号化装置２０１は、カメラ等の画像入力装置から画像を受信し、受信した画像（入力画像）を符号化し、符号化された入力画像を復号装置３０１に送信する。符号化装置２０１は、画像分割制御部２１１、符号化処理部２２１−ｉ（ｉ＝１〜ｎ）、分割位置判断部２３１、および多重化制御部２４１を含む。

画像分割制御部２１１は、入力画像を受信し、入力画像を分割位置判断部２３１から入力された分割位置で分割して複数の小画像を生成し、複数の小画像それぞれと複数の小画像それぞれの入力画像における位置を示す位置情報とを符号化処理部２２１−ｉに出力する。また、画像分割制御部２１１は、複数の小画像それぞれの位置情報を多重化制御部２４１に出力する。位置情報は、小画像の左上の画素の座標および小画像の縦と横の画素数を含む。画像分割制御部２１１は、入力画像を当該入力画像の前に入力された他の入力画像の符号化処理の際に得られた情報に基づいて算出された分割位置で分割する。画像分割制御部２１１は、画像分割手段の一例である。

符号化処理部２２１−ｉは、小画像を符号化し、符号化された小画像のビットストリーム（画像データ）を多重化制御部２４１に出力し、符号化処理により得られる符号化情報を分割位置判断部２３１に出力する。符号化処理部２２１−ｉは、小画像を所定のサイズ（例えば、１６×１６）のマクロブロックに分割して、マクロブロック単位で符号化を行う。符号化情報は、小画像に含まれる複数のマクロブロックそれぞれの動きベクトルまたは符号量である。符号化情報は、処理情報の一例である。また、符号化処理部２２１−ｉの数は、１つでもよく、その場合、画像分割制御部２１１は、複数の小画像を時分割で１つの符号化処理部２２１−ｉに出力する。符号化処理部２２１−ｉは、符号化処理手段の一例である。

分割位置判断部２３１は、符号化処理部２２１−ｉから受信した符号化情報に基づいて、今回符号化した入力画像の次の入力画像の分割位置を算出し、算出した分割位置を画像分割制御部２１１に出力する。これにより、分割位置判断部２３１は、前回算出した分割位置を今回算出した分割位置に変更する。分割位置判断部２３１は、符号化位置制御手段の一例である。

多重化制御部２４１は、符号化された複数の小画像の画像データを多重化して多重化データを生成し、多重化データに複数の小画像それぞれの入力画像における位置を示す位置情報を付加し（対応付け）、復号装置３０１に送信する。多重化制御部２４１は、送信手段の一例である。

復号装置３０１は、分離制御部３１１、復号処理部３２１−ｉ、および画像結合制御部３３１を含む。

分離制御部３１１は、多重化データを受信し、位置情報に基づいて多重化データを符号化された複数の小画像の画像データに分離する。分離制御部３１１は、符号化された複数の小画像の画像データそれぞれと位置情報とを復号処理部３２１−ｉに出力する。また、分離制御部３１１は、位置情報を画像結合制御部３３１に出力する。分離制御部３１１は、受信手段および分離手段の一例である。

復号処理部３２１−ｉは、符号化された小画像の画像データを復号し、復号された小画像を画像結合制御部３３１に出力する。

画像結合制御部３３１は、位置情報に基づいて、複数の復号された小画像を結合し、出力画像を生成し、出力画像を出力する。画像結合制御部３３１は、例えば、出力画像を表示する表示装置に出力画像を出力する。

入力画像を４分割する場合、例えば以下に示すように分割される。
図２は、画面の分割の第１の例である。

図３は、画面の分割の第２の例である。
図２に示すように入力画像１００を水平方向と垂直方向のそれぞれ中央で分割し、左上、右上、左下、および右下の画像をそれぞれ小画像Ａ〜Ｄとする。また、図３に示すように入力画像１００を水平方向の中央より左側の位置と垂直方向の中央より下側の位置で分割し、左上、右上、左下、および右下の画像をそれぞれ小画像Ａ〜Ｄとする。

小画像Ａ〜Ｄでは、水平方向における符号化が、各小画像の一番上のラインの左端から右方向に実行され、各小画像の右端に達した場合は、現在のラインの一段下のラインに移行し、再び左端から右方向に符号化が実行される。

図４は、画面の分割の第３の例である。
図５は、画面の分割の第４の例である。

図４に示すように、入力画像１００を４分割し、分割された左上、右上、左下、および右下の画像をそれぞれ小画像Ａ〜Ｄとした場合に、入力画像１００の上側の小画像Ａと小画像Ｂを分割する境界線の水平方向の位置と、入力画像１００の下側の小画像Ｃと小画像Ｄを分割する境界線の水平方向の位置とが異なるように分割してもよい。

また、図５に示すように、入力画像１００を４分割し、分割された左上、右上、左下、および右下の画像をそれぞれ小画像Ａ〜Ｄとした場合に、入力画像１００の右側の小画像Ｂと小画像Ｄを分割する境界線の垂直方向の位置と、入力画像１００の左側の小画像Ａと小画像Ｃを分割する境界線の垂直方向の位置とが異なるようにしてもよい。

上記の分割された小画像の数や境界線の位置は一例であり、例えば、水平方向の境界線のみで４分割したり、垂直方向の境界線のみで４分割したり、９個または１６個の小画像に分割するなど、任意の数の小画像に分割してもよい。

図６は、実施の形態に係る符号化処理部の機能ブロック図である。
符号化処理部２２１−ｉは、減算部２２２−ｉ、量子化部２２３−ｉ、予測部２２４−ｉ、ラインメモリ２２５−ｉ、動きベクトル検出部２２６−ｉ、逆量子化部２２７−ｉ、加算部２２８−ｉ、符号化部２２９−ｉを含む。

減算部２２２−ｉは、入力された小画像の各画素の画素値から予測画像の各画素の画素値を減算して予測残差を算出する。

量子化部２２３−ｉは、予測残差を直交変換し、空間周波数領域に変換した信号を量子化して符号化対象となる信号を算出する。

予測部２２４−ｉは、ラインメモリ２２５−ｉに格納されたローカルデコード画像と動きベクトル検出部２２６−ｉから入力される動きベクトルに基づき予測画像を生成する。

ラインメモリ２２５−ｉは、加算部２２８−ｉから出力されたローカルデコード画像を格納する。

動きベクトル検出部２２６−ｉは、小画像の局所領域（マクロブロック（ＭＢ））毎の動きベクトルを検出し、検出した各マクロブロックの動きベクトルを符号化部２２９−ｉに出力する。

逆量子化部２２７−ｉは、量子化部２２３−ｉで量子化した信号を逆量子化し、逆量子化した信号に対して逆直交変換を行い、予測残差を復元する。

加算部２２８−ｉは、予測部２２４−ｉから出力された予測画像と逆量子化部２２７−ｉから出力された予測残差を加算して、ローカルデコード画像を生成する。

符号化部２２９−ｉは、量子化した信号に対してエントロピー符号化処理を行い、符号化データ（ビットストリーム）を出力する。また、符号化部２２９−ｉは、符号化情報として、動きベクトルまたは符号量を出力する。

図７は、実施の形態に係る復号処理部の機能ブロック図である。
復号処理部３２１−ｉは、復号部３２２−ｉ、逆量子化部３２３−ｉ、予測部３２４−ｉ、加算部３２５−ｉ、およびラインメモリ３２６−ｉを含む。

復号部３２２−ｉは、位置情報に基づいてビットストリームを復号し、復号したデータを逆量子化部３２３−ｉに出力する。

逆量子化部３２３−ｉは、復号したデータを逆量子化し、逆量子化したデータを逆直交変換して、予測残差を復元し、加算部３２５−ｉに出力する。

予測部３２４−ｉは、ラインメモリ３２６−ｉに格納したデコード画像とビットストリームの予測情報から予測画像を生成し、加算部３２５−ｉに出力する。

加算部３２５−ｉは、予測画像と予測残差とを加算し、小画像（デコード画像）を生成する。

ラインメモリ３２６−ｉは、加算部３２５−ｉから出力された小画像を格納する。
図８は、実施の形態に係る符号化処理のフローチャートである。

ステップＳ５０１において、画像分割制御部２１１は、入力画像を取得する。
ステップＳ５０２において、分割位置判断部２３１は、今回取得した入力画像の１つ前の入力画像の符号化処理で算出された符号化情報を符号化処理部２２１−ｉから受信し、符号化情報に基づいて分割位置を算出し、算出した分割位置を画像分割制御部２１１に出力する。符号化情報は、例えば、動きベクトルまたは符号量である。画像分割制御部２１１は、分割位置算出部２３１から分割位置を受信し、当該分割位置に基づいて入力画像を分割し、複数の小画像を生成する。分割位置算出部２３１は、複数の小画像をそれぞれ符号化処理部２２１−ｉに出力する。

ステップＳ５０３において、符号化処理部２２１−ｉは、入力された小画像を符号化し、符号化した小画像（ビットストリーム）を多重化制御部２４１に出力する。

ステップＳ５０４において、多重化制御部２４１は、符号化処理部２２１−ｉから受信した複数の符号化した小画像を多重化した多重化データ（ビットストリーム）を生成し、複数の小画像それぞれの入力画像における位置を示す位置情報を多重化データに付加する。

ステップＳ５０５において、多重化制御部２４１は、位置情報と複数の符号化した小画像を含む多重化データを復号装置３０１に出力する。

尚、図８は、１枚の画像に対する符号化処理を示し、動画を構成する画像が符号化装置２０１に順次入力される場合、画像が入力されるごとにステップＳ５０１〜Ｓ５０５の処理が繰り返し実行される。

次に、ステップＳ５０２の符号化情報に基づく分割位置の算出処理について詳細に説明する。

以下では、図９に示すような入力画像１００−１に基づいて分割位置を算出する場合を説明する。入力画像１００−１は、複数の小画像に分割された後、各小画像は符号化処理部２２１−ｉにおいて、所定のサイズのマクロブロック単位で符号化処理が行われる。図９の入力画像１００−１は、横ｘ個、縦ｙ（＝６）個のマクロブロックを含み、入力画像１００−１の左からｉ個目、上からｊ個目のマクロブロックは、マクロブロックＭＢ（ｉ−１，ｊ−１）と表記する。以下の説明で用いる水平位置座標ｉと垂直位置座標ｊは、マクロブロック単位の座標である。例えば、マクロブロックのサイズが１６×１６の場合、水平位置座標ｉと垂直位置座標ｊは、入力画像の画素単位の座標では、１６×ｉと１６×ｊの座標となる。

図１０は、動きベクトルに基づく分割位置の算出処理のフローチャートである。
ステップＳ６０１において、分割位置判断部２３１は、水平位置座標ｉを１に設定する。水平位置座標ｉは分割線の座標を示す。

ステップＳ６０２において、分割位置判断部２３１は、垂直位置座標ｊを０に設定し、評価値Ｓ_ｉを０に設定する。

ステップＳ６０３において、分割位置判断部２３１は、分割線の右側に隣接するマクロブロックＭＢ（ｉ，ｊ）の動きベクトルＶ（ｉ，ｊ）の水平成分Ｖｘ（ｉ，ｊ）の絶対値を取得する。

ステップＳ６０４において、分割位置判断部２３１は、分割線の左側に隣接するマクロブロックＭＢ（ｉ−１，ｊ）の動きベクトルＶ（ｉ−１，ｊ）の水平成分Ｖｘ（ｉ−１，ｊ）の絶対値を取得する。

ステップＳ６０５において、分割位置判断部２３１は、動きベクトルＶ（ｉ，ｊ）の水平成分Ｖｘ（ｉ，ｊ）の絶対値と動きベクトルＶ（ｉ−１，ｊ）の水平成分Ｖｘ（ｉ−１，ｊ）の絶対値とを評価値Ｓ_ｉに累算する。

ステップＳ６０６において、分割位置判断部２３１は、垂直位置座標ｊを１加算する。
ステップＳ６０７において、分割位置判断部２３１は、垂直位置座標ｊと縦方向のマクロブロックの数ｙが一致するか判定する。垂直位置座標ｊと垂直方向のマクロブロックの数（すなわち、入力画像の下端の垂直方向の座標である）ｙ（図９の入力画像１００−１においてｙ＝６）が一致する場合、制御はステップ６０８に進み、一致しない場合、制御はステップＳ６０３に戻る。

ステップＳ６０８において、分割位置判断部２３１は、評価値Ｓ_ｉと今まで算出した評価値のうちで最小の評価値Ｓ_ｃを比較する。評価値Ｓ_ｉが評価値Ｓ_ｃより小さい場合、制御はステップＳ６０９に進み、評価値Ｓ_ｃが評価値Ｓ_ｃ以上の場合、制御はステップＳ６１０に進む。

ステップＳ６０９において、分割位置判断部２３１は、分割位置候補ｃを水平位置座標ｉの値に更新する。また、評価値Ｓ_ｃを評価値Ｓ_ｉの値に更新する。

ステップＳ６１０において、分割位置判断部２３１は、水平位置座標ｉを１加算する。
ステップＳ６１１において、分割位置判断部２３１は、水平位置座標ｉと水平方向のマクロブロックの数ｘが一致するか判定する。水平位置座標ｉと水平方向のマクロブロックの数（すなわち、入力画像の右端の水平方向の座標である）ｘが一致する場合、分割位置判断部２３１は、分割位置候補ｃを分割位置として出力し、一致しない場合、制御はステップＳ６０２に戻る。

図１１は、分割線とマクロブロックと動きベクトルを示す図である。
水平位置座標ｉ＝ａの場合、評価値Ｓ_ａは、ｉ＝ａの分割線の右に隣接するマクロブロックＭＢ（ａ、０）〜ＭＢ（ａ，５）の動きベクトルＶ（ａ、０）〜Ｖ（ａ，５）の水平成分の絶対値｜Ｖｘ（ａ、０）｜〜｜Ｖｘ（ａ，５）｜とｉ＝ａの分割線の左に隣接するマクロブロックＭＢ（ａ−１、０）〜ＭＢ（ａ−１，５）の動きベクトルＶ（ａ−１、０）〜Ｖ（ａ−１，５）の水平成分の絶対値｜Ｖｘ（ａ−１、０）｜〜｜Ｖｘ（ａ−１，５）｜との和である。

すなわち、水平位置座標ｉにおける評価値Ｓｉは、下式（１）で算出される。

上述の図１０の分割位置の算出処理では、入力画像を左右に分割する垂直方向の分割線の水平方向における位置（分割位置）を算出していたが、入力画像を上下に分割する水平方向の分割線の垂直方向における位置（分割位置）を算出する場合には、以下のように算出する。分割位置判断部２３１は、水平方向の全ての分割線候補それぞれにおいて、水平方向の分割線候補の上下にそれぞれ隣接する複数のマクロブロックの動きベクトルの垂直方向の絶対値の和を当該分割線候補の評価値として算出し、複数の評価値のうち最小の評価値に対応する分割線候補の位置を分割位置とする。

また、上述の図１０の分割位置の算出処理では、複数の分割位置候補のうち１つが分割位置として算出されていたが、算出する分割位置は複数でもよく、例えば、算出した全ての分割位置候補の評価値のうち小さい順に所定数の評価値を選択し、選択された所定数の評価値に対応する分割位置候補を分割位置として出力してもよい。

図１２は、符号量に基づく分割位置の算出処理のフローチャートである。
ステップＳ７０１において、分割位置判断部２３１は、水平位置座標ｉを１に設定する。水平位置座標ｉは分割線の座標を示す。水平位置座標ｉは、マクロブロック単位の座標である。

ステップＳ７０２において、分割位置判断部２３１は、垂直位置座標ｊを０に設定し、評価値Ｓ_ｉを０に設定する。垂直位置座標ｊは、マクロブロック単位の座標である。

ステップＳ７０３において、分割位置判断部２３１は、分割線の右側に隣接するマクロブロックＭＢ（ｉ，ｊ）の符号量ｒ（ｉ、ｊ）を取得する。

ステップＳ７０４において、分割位置判断部２３１は、分割線の左側に隣接するマクロブロックＭＢ（ｉ−１，ｊ）の符号量ｒ（ｉ−１、ｊ）を取得する。

ステップＳ７０５において、分割位置判断部２３１は、符号量ｒ（ｉ、ｊ）と符号量ｒ（ｉ−１、ｊ）とを評価値Ｓ_ｉに累算する。

ステップＳ７０６において、分割位置判断部２３１は、垂直位置座標ｊを１加算する。
ステップＳ７０７において、分割位置判断部２３１は、垂直位置座標ｊと縦方向のマクロブロックの数ｙ（すなわち、入力画像の下端の垂直方向の座標である）が一致するか判定する。垂直位置座標ｊと垂直方向のマクロブロックの数ｙ（図９の入力画像１００−１においてｙ＝６）が一致する場合、制御はステップ７０８に進み、一致しない場合、制御はステップＳ７０３に戻る。

ステップＳ７０８において、分割位置判断部２３１は、評価値Ｓ_ｉと今まで算出した評価値のうちで最小の評価値Ｓ_ｃを比較する。評価値Ｓ_ｉが評価値Ｓ_ｃより小さい場合、制御はステップＳ７０９に進み、評価値Ｓ_ｃが評価値Ｓ_ｃ以上の場合、制御はステップＳ７１０に進む。

ステップＳ７０９において、分割位置判断部２３１は、分割位置候補ｃを水平位置座標ｉの値に更新する。また、評価値Ｓ_ｃを評価値Ｓ_ｉの値に更新する。
ステップＳ７１０において、分割位置判断部２３１は、水平位置座標ｉを１加算する。

ステップＳ７１１において、分割位置判断部２３１は、水平位置座標ｉと水平方向のマクロブロックの数ｘが一致するか判定する。水平位置座標ｉと水平方向のマクロブロックの数（すなわち、入力画像の右端の水平方向の座標である）ｘが一致する場合、分割位置判断部２３１は、分割位置候補ｃを分割位置として出力し、一致しない場合、制御はステップＳ７０２に戻る。

図１３は、分割線とマクロブロックと符号量を示す図である。
水平位置座標ｉ＝ａの場合、評価値Ｓａは、ｉ＝ａの分割線の右に隣接するマクロブロックＭＢ（ａ、０）〜ＭＢ（ａ，５）の符号量ｒ（ａ、０）〜ｒ（ａ，５）とｉ＝ａの分割線の左に隣接するマクロブロックＭＢ（ａ−１、０）〜ＭＢ（ａ−１，５）の符号量ｒ（ａ−１、０）〜ｒ（ａ−１，５）との和である。

すなわち、水平位置座標ｉにおける評価値Ｓｉは、下式（２）で算出される。

上述の図１２の分割位置の算出処理では、入力画像を左右に分割する垂直方向の分割線の水平方向における位置（分割位置）を算出していたが、入力画像を上下に分割する水平方向の分割線の垂直方向における位置（分割位置）を算出する場合には、以下のように算出する。分割位置判断部２３１は、水平方向の全ての分割線候補それぞれにおいて、水平方向の分割線候補の上下にそれぞれ隣接する複数のマクロブロックの符号量の和を当該分割線候補の評価値として算出し、複数の評価値のうち最小の評価値に対応する分割線候補の位置を分割位置とする。

また、上述の図１２の分割位置の算出処理では、複数の分割位置候補のうち１つが分割位置として算出されていたが、算出する分割位置は複数でもよく、例えば、算出した全ての分割位置候補の評価値のうち小さい順に所定数の評価値を選択し、選択された所定数の評価値に対応する分割位置候補を分割位置として出力してもよい。

図１４は、今回の分割位置を前回の分割位置と異なるようにする場合を説明する図である。

上述の動きベクトルに基づく分割位置の算出処理および符号量に基づく分割位置の算出処理において、全ての入力画像（全フレーム）それぞれで評価値が最小の分割位置を選択して画像分割制御部２１１に出力することもできるが、入力画像の絵柄によっては同一の、もしくは近傍の分割位置が連続して最小となる場合がある。

この場合、境界線がフレーム間で移動せず境界線の劣化が目立つため、複数の分割位置候補のうち、直近のフレームの分割位置と近傍となる（すなわち、分割位置候補の位置と直近のフレームの分割位置との差（距離）が閾値未満である）分割位置候補を除外した中から評価値が最小である分割位置候補を選択することで、境界線の劣化が目立つことを回避できる。すなわち、分割位置判断部２３１は、直近のフレームの分割位置から閾値以上離れた分割位置候補のうちで、評価値が最小である分割位置候補を今回分割する画像の分割位置として算出する。

図１４において、前回の入力画像（フレーム）１００−０において、前々回の入力画像の符号化処理の際の符号化情報（動きベクトルまたは符号量）に基づいて算出された分割位置Ａで入力画像１００−０が分割されたとする。そして、前回の入力画像１００−０の符号化処理の際の符号化情報に基づく今回の入力画像１００−１の分割位置の算出において、分割位置候補Ａにおける評価値Ｓａが最小となり、今回の入力画像１００−１の分割位置候補として分割位置Ａの近傍の分割位置候補Ａが算出されたとする。分割位置判断部２３１は、分割位置候補Ａが前回の入力画像１００−０の分割位置Ａの近傍である場合、分割位置候補Ａを除外し、評価値が２番目に小さく、分割位置Ａから離れた位置の分割位置候補Ｂを分割位置として選択する。

上述の動きベクトルによる分割位置の算出処理および符号量に基づく分割位置の算出処理では、入力画像を縦断もしくは横断する線分で分割する場合の分割位置の候補を求めたが、図４，５に示すような入力画像を縦断もしくは横断しない線分で分割することもできる。

例えば、入力画像を縦断しない線分で４分割する場合には、図１０，１２で述べた分割位置の算出方法により入力画像を横断する線分で上下に分割する分割位置候補を最初に求め、上下に分割した画像領域のそれぞれで独立して動きベクトルに基づく分割位置の算出もしくは符号量に基づく分割位置の算出による左右の分割位置の候補を評価することで、上下に分割した画像領域で異なる左右の分割位置の候補を求める。

同様に画像を横断しない線分で４分割する場合には、図１０，１２で述べた分割位置の算出方法により入力画像を縦断する線分で左右に分割する分割位置候補を最初に求め、左右に分割した画像領域のそれぞれで独立して上下の分割位置の候補を求める。分割位置が画像を縦断もしくは横断しないことで分割位置の空間的な連続性が軽減され、分割位置での画質の劣化を目立たなくすることが出来る。

図１５は、実施の形態に係る復号処理のフローチャートである。
ステップＳ８０１において、分離制御部３１１は、符号化装置２０１から多重化データを受信する。

ステップＳ８０２において、分離制御部３１１は、多重化データに含まれる位置情報に基づいて、多重化データを複数の画像データに分離する。複数の画像データのそれぞれは、符号化された複数の小画像それぞれのビットストリームである。分離制御部３１１は、複数の画像データそれぞれを対応する画像データの位置情報とともに復号処理部３２１−ｉに出力する。また、分離制御部３１１は、位置情報を画像結合制御部３３１に出力する。

ステップＳ８０３において、復号処理部３２１−ｉは、入力された画像データを復号して、復号された小画像を画像結合制御部３３１に出力する。

ステップＳ８０４において、画像結合制御部３３１は、位置情報に基づいて、復号された複数の小画像を結合し、出力画像を生成する。

ステップＳ８０５において、画像結合制御部３３１は、出力画像を出力する。
実施の形態に係る符号化復号システムによれば、今回の符号化処理における入力画像の分割位置を前回の入力画像の分割位置と異なる位置にすることで、境界線を目立たなくすることが出来る。

実施の形態に係る符号化復号システムによれば、符号化処理の際に算出される符号化情報（動きベクトルまたは符号量）を用いて分割位置を算出している。動きベクトルおよび符号量は、従来から符号化処理において算出される情報であるため、従来技術において境界線を目立たなくする場合に必要となる追加回路の規模に比べて追加回路の増加を抑えることが出来る。

実施の形態に係る符号化復号システムによれば、隣接するマクロブロックの動きベクトルまたは符合量が小さい位置で入力画像を分割することで、入力画像の絵柄が平坦な位置で分割され、境界線を目立たなくすることが出来る。尚、実施の形態では、今回取得した入力画像の１つ前の入力画像の符号化処理で算出された符号化情報に基づいて分割位置を算出し、今回取得した入力画像を当該分割位置で分割しているが、動画像において今回取得した入力画像と１つ前の入力画像とは似ているため、１つ前の入力画像から算出した分割位置で今回取得した入力画像を分割しても、絵柄が平坦な位置で分割される可能性が高い。

図１６は、情報処理装置（コンピュータ）の構成図である。
実施の形態の符号化装置２０１および復号装置３０１は、例えば、ハードウェア回路として実装することもでき、また情報処理装置（コンピュータ）１を用いて実装することもできる。

情報処理装置１は、ＣＰＵ２、メモリ３、入力装置４、出力装置５、記憶部６、記録媒体駆動部７、及びネットワーク接続装置８を備え、それらはバス９により互いに接続されている。

ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、画像分割制御部２１１、符号化処理部２２１−ｉ、分割位置判断部２３１、多重化制御部２４１、分離制御部３１１、復号処理部３２１−ｉ、および画像結合制御部３３１として動作する。

メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。

この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。

入力装置４は、ユーザ又はオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力装置４は、例えば、キーボード、マウス、タッチパネル、カメラ、またはセンサ等である。

出力装置５は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力装置５は、例えば、ディスプレイ、またはプリンタ等である。

記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。

記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。

ネットワーク接続装置８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。

尚、情報処理装置１が図１６のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。

以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
順次入力される画像のうち処理対象とする画像を複数の小画像に分割する画像分割手段と、
前記複数の小画像の符号化を実行する符号化処理手段と、
前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信する送信手段と、
前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記画像分割手段による画像の分割位置を変更する符号化位置制御手段と、
を備えることを特徴とする符号化処理装置。
（付記２）
前記処理情報は、前記符号化の実行の際に算出される動きベクトルであることを特徴とする付記１記載の符号化処理装置。
（付記３）
前記処理情報は、前記符号化された各小画像の符号量であることを特徴とする付記１記載の符号化処理装置。
（付記４）
前記符号化位置制御手段は、前記他の画像の分割位置を前記処理対象とする画像の分割位置から閾値以上離れた位置に変更することを特徴とする付記１乃至３のいずれか１項に記載の符号化処理装置。
（付記５）
符号化処理装置が
順次入力される画像のうち処理対象とする画像を複数の小画像に分割し、
前記複数の小画像の符号化を実行し、
前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信し、
前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記分割する処理による画像の分割位置を変更する、
処理を備える符号化処理方法。
（付記６）
前記処理情報は、前記符号化の実行の際に算出される動きベクトルであることを特徴とする付記５記載の符号化処理方法。
（付記７）
前記処理情報は、前記符号化された各小画像の符号量であることを特徴とする付記５記載の符号化処理方法。
（付記８）
前記変更する処理は、前記他の画像の分割位置を前記処理対象とする画像の分割位置から閾値以上離れた位置に変更することを特徴とする付記５乃至７のいずれか１項に記載の符号化処理方法。
（付記９）
コンピュータに
順次入力される画像のうち処理対象とする画像を複数の小画像に分割し、
前記複数の小画像の符号化を実行し、
前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信し、
前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記分割する処理による画像の分割位置を変更する、
処理を実行させる符号化処理プログラム。
（付記１０）
前記処理情報は、前記符号化の実行の際に算出される動きベクトルであることを特徴とする付記９記載の符号化処理プログラム。
（付記１１）
前記処理情報は、前記符号化された各小画像の符号量であることを特徴とする付記９記載の符号化処理プログラム。
（付記１２）
前記変更する処理は、前記他の画像の分割位置を前記処理対象とする画像の分割位置から閾値以上離れた位置に変更することを特徴とする付記９乃至１１のいずれか１項に記載の符号化処理プログラム。
（付記１３）
順次入力される画像のうち処理対象とする画像を前記処理対象とする画像に先行する他の画像の符号化の実行の際の処理情報に応じて変更された分割位置で複数の小画像に分割し、前記複数の小画像を符号化することで生成された、前記複数の小画像それぞれの複数の符号化データと前記処理対象とする画像における前記複数の小画像の位置を示す位置情報とを含む符号化ストリームを受信する受信手段と、
前記位置情報に基づいて前記符号化ストリームを前記複数の符号化データに分離する分離手段と、
前記複数の符号化データを復号して復号された前記複数の小画像を出力する復号処理手段と、
前記復号された前記複数の小画像を前記位置情報に基づいて結合する画像結合手段と、
を備えることを特徴とする復号処理装置。
（付記１４）
復号処理装置が
順次入力される画像のうち処理対象とする画像を前記処理対象とする画像に先行する他の画像の符号化の実行の際の処理情報に応じて変更された分割位置で複数の小画像に分割し、前記複数の小画像を符号化することで生成された、前記複数の小画像それぞれの複数の符号化データと前記処理対象とする画像における前記複数の小画像の位置を示す位置情報とを含む符号化ストリームを受信し、
前記位置情報に基づいて前記符号化ストリームを前記複数の符号化データに分離し、
前記複数の符号化データを復号して復号された前記複数の小画像を出力し、
前記復号された前記複数の小画像を前記位置情報に基づいて結合する、
処理を備えることを特徴とする復号処理方法。
（付記１５）
コンピュータに
順次入力される画像のうち処理対象とする画像を前記処理対象とする画像に先行する他の画像の符号化の実行の際の処理情報に応じて変更された分割位置で複数の小画像に分割し、前記複数の小画像を符号化することで生成された、前記複数の小画像それぞれの複数の符号化データと前記処理対象とする画像における前記複数の小画像の位置を示す位置情報とを含む符号化ストリームを受信し、
前記位置情報に基づいて前記符号化ストリームを前記複数の符号化データに分離し、
前記複数の符号化データを復号して復号された前記複数の小画像を出力し、
前記復号された前記複数の小画像を前記位置情報に基づいて結合する、
処理を実行させることを特徴とする復号処理プログラム。
（付記１６）
符号化処理装置と復号処理装置を含むシステムの符号化復号処理方法であって、
前記符号化処理装置が
順次入力される画像のうち処理対象とする画像を複数の小画像に分割し、
前記複数の小画像の符号化を実行し、
前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信し、
前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記分割する処理による画像の分割位置を変更し、
前記復号処理装置が
前記複数の小画像それぞれの複数の符号化データと前記位置情報とを含む符号化ストリームを受信し、
前記位置情報に基づいて前記符号化ストリームを前記複数の符号化データに分離し、
前記複数の符号化データを復号して復号された前記複数の小画像を出力し、
前記復号された前記複数の小画像を前記位置情報に基づいて結合する、
処理を備える符号化復号処理方法。

１０１ 符号化復号システム
２０１ 符号化装置
２２２ 減算部
２２３ 量子化部
２２４ 予測部
２２５ ラインメモリ
２２６ 動きベクトル検出部
２２７ 逆量子化部
２２８ 加算部
２２９ 符号化部
３０１ 復号装置
３１１ 分離制御部
３２１ 復号処理部
３３１ 画像結合制御部
４０１ 伝送路

Claims (10)

1. 順次入力される画像のうち処理対象とする画像を複数の小画像に分割する画像分割手段と、
   前記複数の小画像の符号化を実行する符号化処理手段と、
   前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信する送信手段と、
   前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記画像分割手段による画像の分割位置を変更する符号化位置制御手段と、
   を備えることを特徴とする符号化処理装置。
2. 前記処理情報は、前記符号化の実行の際に算出される動きベクトルであることを特徴とする付記１記載の符号化処理装置。
3. 前記処理情報は、前記符号化された各小画像の符号量であることを特徴とする請求項１記載の符号化処理装置。
4. 前記符号化位置制御手段は、前記他の画像の分割位置を前記処理対象とする画像の分割位置から閾値以上離れた位置に変更することを特徴とする請求項１乃至３のいずれか１項に記載の符号化処理装置。
5. 符号化処理装置が
   順次入力される画像のうち処理対象とする画像を複数の小画像に分割し、
   前記複数の小画像の符号化を実行し、
   前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信し、
   前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記分割する処理による画像の分割位置を変更する、
   処理を備える符号化処理方法。
6. コンピュータに
   順次入力される画像のうち処理対象とする画像を複数の小画像に分割し、
   前記複数の小画像の符号化を実行し、
   前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信し、
   前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記分割する処理による画像の分割位置を変更する、
   処理を実行させる符号化処理プログラム。
7. 順次入力される画像のうち処理対象とする画像を前記処理対象とする画像に先行する他の画像の符号化の実行の際の処理情報に応じて変更された分割位置で複数の小画像に分割し、前記複数の小画像を符号化することで生成された、前記複数の小画像それぞれの複数の符号化データと前記処理対象とする画像における前記複数の小画像の位置を示す位置情報とを含む符号化ストリームを受信する受信手段と、
   前記位置情報に基づいて前記複数の符号化データに分離する分離手段と、
   前記複数の符号化データを復号して復号された前記複数の小画像を出力する復号処理手段と、
   前記復号された前記複数の小画像を前記位置情報に基づいて結合する画像結合手段と、
   を備えることを特徴とする復号処理装置。
8. 復号処理装置が
   順次入力される画像のうち処理対象とする画像を前記処理対象とする画像に先行する他の画像の符号化の実行の際の処理情報に応じて変更された分割位置で複数の小画像に分割し、前記複数の小画像を符号化することで生成された、前記複数の小画像それぞれの複数の符号化データと前記処理対象とする画像における前記複数の小画像の位置を示す位置情報とを含む符号化ストリームを受信し、
   前記位置情報に基づいて前記符号化ストリームを前記複数の符号化データに分離し、
   前記複数の符号化データを復号して復号された前記複数の小画像を出力し、
   前記復号された前記複数の小画像を前記位置情報に基づいて結合する、
   処理を備えることを特徴とする復号処理方法。
9. コンピュータに
   順次入力される画像のうち処理対象とする画像を前記処理対象とする画像に先行する他の画像の符号化の実行の際の処理情報に応じて変更された分割位置で複数の小画像に分割し、前記複数の小画像を符号化することで生成された、前記複数の小画像それぞれの複数の符号化データと前記処理対象とする画像における前記複数の小画像の位置を示す位置情報とを含む符号化ストリームを受信し、
   前記位置情報に基づいて前記符号化ストリームを前記複数の符号化データに分離し、
   前記複数の符号化データを復号して復号された前記複数の小画像を出力し、
   前記復号された前記複数の小画像を前記位置情報に基づいて結合する、
   処理を実行させることを特徴とする復号処理プログラム。
10. 符号化処理装置と復号処理装置を含むシステムの符号化復号処理方法であって、
    前記符号化処理装置が
    順次入力される画像のうち処理対象とする画像を複数の小画像に分割し、
    前記複数の小画像の符号化を実行し、
    前記符号化処理手段によって符号化された各小画像を前記処理対象とする画像における位置を示す情報に対応づけて送信し、
    前記符号化の実行の際の処理情報に応じて、前記処理対象とする画像に後続する他の画像について前記分割する処理による画像の分割位置を変更し、
    前記復号処理装置が
    前記複数の小画像それぞれの複数の符号化データと前記位置情報とを含む符号化ストリームを受信し、
    前記位置情報に基づいて前記符号化ストリームを前記複数の符号化データに分離し、
    前記複数の符号化データを復号して復号された前記複数の小画像を出力し、
    前記復号された前記複数の小画像を前記位置情報に基づいて結合する、
    処理を備える符号化復号処理方法。

Images