WO2002005565A1

WO2002005565A1 - Image data decoder and image data decoding method

Info

Publication number: WO2002005565A1
Application number: PCT/JP2001/005738
Authority: WO
Inventors: Koji Imura; Daiji Ido; Akihiro Miyazaki; Koichi Hata
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-07-06
Filing date: 2001-07-03
Publication date: 2002-01-17
Anticipated expiration: 2003-01-06
Also published as: AU2001267907A1; JP2002027470A; CN1173578C; EP1298936A4; CN1383687A; EP1298936A1; US20020136309A1

Description

明細書画像デー夕復号装置および画像データ復号方法技術分野

本発明は、画像データ復号装置および画像データ復号方法に関し、特に、符号化された画像デー夕を受信しながら復号およぴ再生を行う画像配信システムで利用される画像データ復号装置および画像データ復号方法に関する。背景技術

画像信号を符号化する技術としては、国際標準化委員会（ISO/IEC) で勧告化された ISO/IEC 14496 part 2 (Visual) (通称 MPEG-4) がある。 MPEG-4 Visual は、マルチメディア符号化方式であり、様々な映像素材を符号化できる技術である。

画像符号化技術は、動き補償予測符号化方式、離散コサイン変換、および可変長符号の 3つの技術で実現されている。この画像符号化技術では、符号化対象のビクチャと、符号化対象のビクチャの 1つ前に符号化対象となったビクチャとの間の動き量を評価し、その動き量で補正した予測画像信号と符号化対象のピクチャとの差分を算出し、その差分情報を周波数領域へ変換したのち、その周波数成分の発生頻度の偏りを利用してハフマン符号と呼ばれる可変長符号に変換する。

上記 3つの要素技術（すなわち、動き補償予測符号化方式、離散コサイン変換、および可変長符号）は、符号化ピクチャ全体に適用されるのではなく、ピクチャを 16 X 16画素の符号化プロック（マクロプロヅク）に分割した単位毎に適用される。

また、 MPEG-4 では、伝送誤りによる画質劣化を抑制するための技術として、ビデオパケットと呼ばれる技術が採用されている。これは、複数のマクロブロックの符号化デ一夕を、 1つの伝送単位（ビデオパケット）として伝送する方式である。

ビデオパケットの構成方法としては、特開平 08-205155号公報に記載されているように、マクロブロック単位の発生符号量を累積し、この累積した符号量が所定の符号量に達した時点ででビデオパケットを構成する方法がある。このようにしてビデオパケットを構成することにより、動きが大きくて符号量が多い部分は少ないマクロプロックでビデオパケットが構成されるため、伝送エラーによりビデオパケヅトにエラ一が発生した場合でも、動きの大きい部分では劣化の範囲を小さく抑えることができる。また、背景などの符号量が少ない部分は多くのマクロプロックでビデオパケットが構成されるが、動きがないため劣化が目立たない。このようにしてビデオパケットを構成することにより、各ビデオパケットに効率よくビットを割り振ることが可能となる。

また、符号化デ一夕を受信しながら復号および再生するための送受信手順として、 IETF (Internet Engineering Task Force) で規定された RTP (Real-time Transport Protocol) がある。： RTPでは、ヘッダ部分に再生夕イミング（タイムスタンプ）やシーケンス番号といった符号化デ一夕に関する情報が格納され、ペイロード部分に符号化データが格納される。図 1は、 RTPパケットの構成を示す模式図である。

図 1において、「V」は RTP のバージョン、「CC」は貢献者数、「PT」はペイロードタイプ（ビデオやオーディオなどの種類）、「SSRC」は送信者 ID_S 「CSRC」はこのパケヅトに含まれている貢献者の ID をそれそれ示す。また、シーケンス番号は、 RTP パケヅト毎に 1つずつシーケンシャルに割当てられる番号であり、タイムスタンプは、符号化データの再生タイミング (すなわち、画像の表示タイミング）を示す。

具体的には例えば、 1ピクチャが 5つの RTP パケットに分割して伝送される場合、それそれの HTP パケットのタイムスタンプには同じ時刻情報 (当該ピクチャの再生 '表示タイミング）が格納され、シーケンス番号には、 1から 5が順に割り振られる。受信側では、シーケンス番号を用いて伝送途中における符号化データの欠落を検出し、タイムスタンプに従ってペイ口一ドに格納されている符号化デ一夕の復号および再生を行う。

しかしながら、 RTP により符号化デ一夕の伝送を行った場合、伝送路の状態に状態によっては、 RTP パケットがタイムスタンプで指定されたタイミングまでに受信側に到着しないことがある。

この場合、指定されたタイミングより遅れて受信側に到着した； RTP パケットを使用せずに、指定されたタイミングまでに到着した RTP パケッ卜のみを使用して符号化デ一夕を再生する方法を採ることが考えられる。しかし、この方法では、欠落した情報により再生画像の画質が劣化してしまうという問題がある。

さらに、画像符号化方式では、 1つ前のピクチャとの差分情報を用いて順次ビクチャの再生を行うため、一度あるビクチャに画質の劣化が生じると、それ以降に再生されるピクチャのすべてにその画質の劣化が伝播してしまうという問題がある。

また、 RTP パケットがタイムスタンプで指定されたタイミングまでに受信側に到着しない場合に、再生タイミングを多少遅らせて、同一のタイムス夕ンプが格納されているすべての RTP バケツトが到着してから符号化デ一夕を再生する方法を採ることも考えられる。しかし、この方法により再生された画像では、滑らかな動きを再現できなくなるという問題がある。発明の開示

本発明の目的は、タイムスタンプで指定されたタイミングまでにパケットが到着しない場合でも、画質の劣化が伝播してしまうことを防止でき、かつ、滑らかな動きを再現することができる画像データ復号装置および画像デ一夕復号方法を提供することである。上記目的を達成するために本発明では、時刻情報で示された再生 ·表示夕ィミングより遅れて到着した画像デ一夕をその次の画像データの再生 ·表示タイミングまでに復号して、時刻情報で示されたタイミングで再生した画像において画像データが欠落していた部分をその復号した画像で補うことにより、次の再生画像以降に画質の劣化が伝播してしまうことを防止するようにした。図面の簡単な説明

図 1は、 RTPパケットの構成を示す模式図である。

図 2は、本発明の一実施の形態に係る画像データ復号装置を備える無線通信端末装置の概略構成を示す要部ブロック図である。

図 3は、本発明の一実施の形態に係る画像データ復号装置の出力制御部の概略構成を示す要部ブロック図である。

図 4は、本発明の一実施の形態に係る画像データ復号装置の復号部の概略構成を示す要部プロック図である。

図 5は、本発明の一実施の形態に係る画像データ復号装置の動作を説明するための図である。

図 6は、本発明の一実施の形態に係る画像データ復号装置の動作を説明するための図である。発明を実施するための最良の形態

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。図 2は、本発明の一実施の形態に係る画像デ一夕復号装置を備える無線通信端末装置の概略構成を示す要部ブロック図である。図 2に示す無線通信端末装置において出力制御部 1 0 4と復号部 1 0 5とで構成される部分が、本実施の形態に係る画像データ復号装置に該当する。

図 2において、無線部 1 0 2は、アンテナ 1 0 1を介して受信されたパケッ卜に含まれる符号化データに対して所定の無線処理を施し、復調部 1 0 3 は、無線処理後の符号化データに対して所定の復調処理を施す。

出力制御部 1 0 4は、復調部 1 0 3から出力された符号化デ一夕のタイムスタンプに従って、復号部 1 0 5へ出力する符号化デ一夕を制御する。具体的には、出力制御部 1 0 4は、タイムスタンプで指定された再生 ·表示タイミングより遅れて到着したバケツトに含まれる符号化データを、そのタイムス夕ンプの次のタイムス夕ンプが指定されているパケットに含まれる符号化データとともに、復号部 1 0 5へ出力するように制御する。出力制御部 1 0 4の構成については、後述する。

復号部 1 0 5は、出力制御部 1 0 4から出力された符号化デ一夕を復号する。復号部 1 0 5は、出力制御部 1 0 4から出力された符号化データに、第 nピクチャの再生 ·表示タイミングより遅れて到着した第 nピクチヤの符号化データがある場合には、その遅れて到着した第 nピクチヤの符号化デ一夕をまず復号して、その復号した再生画像により第 nピクチヤの再生 ·表示夕イミングで既に復号済みの再生画像を更新してから、第 n + 1ビクチャの再生 ·表示タイミングまでに到着した第 n + 1ピクチャの符号化デ一夕を第 n + 1ピクチャの再生 ·表示タイミングで復号する。

次いで、出力制御部 1 0 4の構成について説明する。図 3は、本発明の一実施の形態に係る画像データ復号装置の出力制御部の概略構成を示す要部ブロック図である。図 3において、復調部 1 0 3より出力された符号化データは、一旦受信バッファ 2 0 1に蓄えられ、タイムスタンプ抽出部 2 0 2によりタイムスタンプが抽出される。抽出されたタイムスタンプは順次、検出更新部 2 0 3へ出力され、検出更新部 2 0 3によって、今回出力されたタイムスタンプと前回出力されたタイムスタンプとが比較されて、タイムスタンプの切り替わりが検出される。

タイムスタンプの切り替わりが検出されたときには、検出更新部 2 0 3は、検出された旨をバッファ入力制御部 2 0 6に通知するとともに、基準時刻記憶部 2 0 4に記憶されている基準時刻 T c および Tp を更新する。ここで、基準時刻 T c とは最新のタイムスタンプで示されている再生 ·表示タイミングであり、基準時刻 T p とは最新のタイムスタンプの 1つ前のタイムスタンプで示されていた再生 ·表示タイミングである。

バッファ入力制御部 2 0 6は、基準時刻記憶部 2 0 4に記憶されている基準時刻 T cおよび T p と夕イマ 2 0 5で示される現在の時刻 T d とに従ってスィッチ 2 0 7の切り替え制御を行うことにより、受信バッファ 2 0 1に蓄えられている符号化デ一夕をバッファ A 2 0 8とバッファ B 2 0 9とに適宜振り分けて蓄積する。具体的な振り分け方法については、後述する。

バッファ出力制御部 2 1 0は、基準時刻記憶部 2 0 4に記憶されている基準時刻 T cおよび Tp と夕イマ 2 0 5で示される現在の時刻 T d とに従ってスイッチ 2 1 1の切り替え制御を行うことにより、ノヅファ A 2 0 8またはバッファ B 2 0 9に蓄積されている符号化データを復号部 1 0 5へ出力する _c 次いで、復号部 1 0 5の構成について説明する。図 4は、本発明の一実施の形態に係る画像データ復号装置の復号部の概略構成を示す要部プロック図である。図 4において、出力制御部 1 0 4より出力された符号化デ一夕は、可変長復号部 3 0 1で復号される。符号化データは可変長符号化方式により符号化されているため、可変長復号部 3 0 1での復号の結果、差分情報および動き量が再生される。可変長復号部 3 0 1は、差分情報を差分値演算部 3 0 2へ出力し、フレームメモリ 3 0 3に蓄えられている画像を動き量で補正する。動き量で補正された画像は、加算器 3 0 4へ出力される。

差分値演算部 3 0 2は、可変長復号部 3 0 1より出力された差分情報に対して逆離散コサイン変換処理および逆量子化処理を施すことにより差分値を算出し、加算器 3 0 4へ出力する。加算器 3 0 4では、動き量に応じて補正された画像と差分値とが加算され、再生画像が得られる。この再生画像は、次のピクチャの予測のためにフレームメモリ 3 0 3へ記録される。

次いで、上記構成を有する画像デ一夕復号装置の動作について説明する。まず、基準時刻記憶部 204に記憶されている基準時刻 Tc, Tp および夕イマ 205で計時される現在の時刻 Td と、検出更新部 203、バッファ入力制御部 206およびバッファ出力制御部 210の動作の関係について説明する。

現在の時刻 Tdが基準時刻 Tp になった時には（すなわち、 Td=Tp の時には）、バッファ出力制御部 2 10は、現在符号化デ一夕が入力されているバッファとは異なるバッファから符号化デ一夕が復号部 105へ出力されるようにスイッチ 21 1を制御する。具体的には、例えば図 3において、受信バッファ 201より現在符号化デ一夕が入力されているバッファがバッファ A 208である場合には、ノヅファ出力制御部 210は、 Td=Tp の時には、スィッチ 211をバッファ B 209側へ接続して、バッファ B 209 と復号部 105とを接続する。

また、現在の時刻 Tdが基準時刻 Tc になった時には（すなわち、 Td= Tcの時には）、バッファ出力制御部 2 10は、現在符号化データが入力されているバッファから符号化データが復号部 105へ出力されるようにスィツチ 211を制御する。具体的には、例えば図 3において、受信バッファ 2 01より現在符号化デ一夕が入力されているバッファがバッファ A 208である場合には、バッファ出力制御部 210は、 Td=Tcの時には、スィヅチ 211をバッファ A 208側へ接続して、バッファ A 208と復号部 10 5とを接続する。

さらに、 Td=Tc となる度に、ノソファ入力制御部 206は、符号化デ —夕が入力されるバッファを切り替える。具体的には、例えば図 3において、受信バッファ 201より現在符号化データが入力されているバッファがバヅファ A 208である場合には、バッファ入力制御部 206は、 Td=Tc となつた以降、スイッチ 207をバッファ B209側へ接続して、受信バヅファ 201とバッファ B 209とを接続する。

また、検出更新部 203でタイムスタンプの切り替わりが検出される度に、バッファ入力制御部 2 0 6は、 Tp< T d< Tcであれば、符号化デ一夕が入力されるバッファを切り替える。

また、検出更新部 2 0 3でタイムスタンプの切り替わりが検出される度に、基準時刻記憶部 2 0 4に記憶されている Tp が T c で更新され、 T c が最新のタイムスタンプで更新される。

以下、本実施の形態に係る画像データ復号装置の動作を各時刻およびタイムスタンプで示されている再生 ·表示タイミングと関連づけて具体的に説明する。図 5および図 6は、本発明の一実施の形態に係る画像データ復号装置の動作を説明するための図である。なお、図 5および図 6において、 t 1〜 t 3は各タイムスタンプを示しており、 P 1— 1〜P 3— 3は各パケットに格納されている符号化デ一夕を示している。したがって例えば、 P l— 1〜 P 1 — 4は、 t 1のタイミングで再生されるべき画像デ一夕が 4つに分割されたときの個々の符号化デ一夕を示す。

また、図 5に示すバッファ状態および図 6に示すバッファ状態は、 2つのバッファの内容を時刻の経過に沿って示したものであり、斜線をかけて示したバッファが現在符号化デ一夕が入力される対象となっているバッファであまず、図 5を用いて説明する。図 5では、すべてのパケットがタイムス夕ンプで示される再生 ·表示タイミングよりも前に受信側（すなわち、本実施の形態に係る画像データ復号装置）に到着した場合を示している。

図 5に示すように、送信側から送信されたパケットは、ある送信時間経過後のタイミングで、受信側である本実施の形態に係る画像デ一夕復号装置に到着する。

最初の符号化データ P 1― 1が受信バッファ 2 0 1に入力されると、夕ィムスタンプ抽出部 2 0 2は、タイムスタンプ t 1を抽出して検出更新部 2 0 3へ出力する。そして検出更新部 2 0 3は、基準時刻記憶部 2 0 4に記憶されている Tp と Tc をそれそれ、図 5に示すように、 Tp = 0， T c= t 1に設定する。

また、パヅファ入力制御部 2 0 6は、スイッチ 2 0 7をバッファ A 2 0 8 側へ接続して、受信バッファ 2 0 1内にある符号化デ一夕 P 1― 1をバヅファ A 2 0 8へ出力する。これにより、図 5に示すように、符号化データ P 1 一 1がバッファ A 2 0 8に蓄積される。以降、検出更新部 2 0 3でタイムス夕ンプの切り替わりが検出されるまで、バッファ入力制御部 2 0 6は、スィヅチ 2 0 7をバッファ A 2 0 8側へ接続して、受信バッファ 2 0 1内にある符号化データをバッファ A 2 0 8へ出力する。よって、図 5に示すように、符号化デ一夕 P 1— 1〜P 1— 4が、ノッファ A 2 0 8に順次蓄積される。次いで、符号化データ P 2— 1が受信バヅファ 2 0 1に入力されると、夕ィムスタンプ抽出部 2 0 2は、タイムスタンプ t 2を抽出して検出更新部 2 0 3へ出力する。そして検出更新部 2 0 3では、今回出力されたタイムス夕ンプ t 2と前回出力されたタイムスタンプ t 1とが比較されて、時刻 t _d i において、タイムスタンプが t 1から t 2に切り替わったことが検出される _c 時刻 t d i では、 Tpく t _{d l} < T cであるので、ノヅファ入力制御部 2 0 6 は、符号化データが入力されるバッファをバッファ A 2 0 8からバッファ B 2 0 9へ切り替える。つまり、検出更新部 2 0 3でタイムスタンプの次の切り替わりが検出される t _{d 2} まで、ノ'ッファ入力制御部 2 0 6は、スイッチ 2 0 7をバッファ B 2 0 9側へ接続して、受信バッファ 2 0 1内にある符号化データをバッファ B 2 0 9へ出力する。よって、図 5に示すように、符号化デ—夕] p 2— 1〜P 2— 3が、ノソファ B 2 0 9に順次蓄積される。

また、時刻 t d i においてタイムスタンプが t 1から t 2に切り替わったことが検出されると、検出更新部 2 0 3は、図 5に示すように、 Tp を t 1 に更新し、 T cを t 2に更新する。

そして、現在の時刻 T dが Tp になった時（つまり、タイムスタンプ t 1 の符号化データを再生する時刻 t 1になった時）に、バッファ出力制御部 2 1 0は、現在符号化データが入力されているバッファ; B 2 0 9とは異なるバヅファ A 2 0 8に蓄積されている符号化デ一夕が復号部 1 0 5へ出力されるようにスィツチ 2 1 1を制御する。すなわち、バッファ出力制御部 2 1 0は、時刻 t 1おいてスィヅチ 2 1 1をバッファ A 2 0 8側へ接続して、図 5に示すように、符号化デ一夕 P 1— 1〜P 1— 4をまとめてバッファ A 2 0 8から復号部 1 0 5へ出力する。

以降同様の処理が繰り返されて、次に現在の時刻 T d が Tp になった時 (つまり、タイムスタンプ t 2の符号化デ一夕を再生する時刻 t 2になった時）に、ノヅファ出力制御部 2 1 0は、時刻 t 2おいてスイッチ 2 1 1をバヅファ B 2 0 9側へ接続して、図 5に示すように、符号化デ一夕 P 2 _ 1〜 P 2 - 3をまとめてバッファ B 2 0 9から復号部 1 0 5へ出力する。

このように、すべてのパケットがタイムスタンプで示される再生 ·表示夕ィミングょりも前に到着した場合には、本実施の形態に係る画像データ復号装置では、欠落した情報がない画像を各タイムスタンプで示される再生 ·表示タイミングに再生することができる。

次いで、図 6を用いて説明する。図 6では、タイムスタンプで示される再生 ·表示タイミングよりも遅れて受信側（すなわち、本実施の形態に係る画像データ復号装置）に到着するパケヅ卜がある場合を示している。

図 6に示すように、送信側から送信されたパケットは、ある送信時間経過後のタイミングで、受信側である本実施の形態に係る画像データ復号装置に到着する。

最初の符号化デ一夕 P 1 - 1が受信バッファ 2 0 1に入力されると、図 5 で説明した場合と同様に、図 6に示すように、 T p = 0 , T c= t lに設定れ

また、バッファ入力制御部 2 0 6は、スイッチ 2 0 7をバッファ A 2 0 8 側へ接続して、受信バッファ 2 0 1内にある符号化データ P 1— 1をバヅファ A 2 0 8へ出力する。これにより、図 6に示すように、符号化デ一夕 P 1 — 1がバッファ A 2 0 8に蓄積される。以降、 T d二 T c になるまで、ノソファ入力制御部 2 0 6は、スィヅチ 2 0 7をバッファ A 2 0 8側へ接続して. 受信バッファ 2 0 1内にある符号化デ一夕をバッファ A 2 0 8へ出力する。よって、図 6に示すように、符号化データ P 1—1および P 1—2が、バッファ A 2 0 8に順次蓄積される。

そして、現在の時刻 T d が T c になった時（つまり、タイムスタンプ t 1 の符号化データを再生する時刻 t 1になった時）に、バッファ出力制御部 2 1 0は、現在符号化データが入力されているバッファ A 2 0 8に蓄積されている符号化データが復号部 1 0 5へ出力されるようにスィツチ 2 1 1を制御する。すなわち、バヅファ出力制御部 2 1 0は、時刻 t 1おいてスイッチ 2 1 1をバッファ A 2 0 8側へ接続して、図 6に示すように、符号化データ P 1— 1および P 1—2をまとめてバッファ A 2 0 8から復号部 1 0 5へ出力する。

また、現在の時刻 T dが T c になった時に、バッファ入力制御部 2 0 6は、符号化データが入力されるバッファをバッファ A 2 0 8からバッファ B 2 0 9へ切り替える。よって、符号化デ一夕 P 1— 3および P 1— 4は、図 6に示すように、バッファ B 2 0 9に蓄積される。

次いで、符号化データ P 2— 1が受信バッファ 2 0 1に入力されると、図 4で説明した場合と同様に、検出更新部 2 0 3で、今回出力されたタイムス夕ンプ t 2と前回出力されたタイムスタンプ t 1とが比較されて、時刻 t d i において、タイムスタンプが t 1から t 2に切り替わったことが検出される。

しかし、図 6に示す場合では、時刻 t _{d l} では、 T c< t d i であるので (すなわち、 Tp< t d i < Tcではないので）、バッファ入力制御部 2 0 6は、符号化データが入力されるバッファを切り替えず、 Tp および Tc の更新のみが、図 5で説明した場合と同様にして検出更新部 2 0 3よって行われる。よって、次に現在の時刻 T d が T c になるまで、受信バッファ 2 0 1から出力される符号化データが順次バッファ: B 2 0 9に蓄積される。すなわち、図 6に示すように、符号化デ一夕 P 1— 3 , P 1— 4および P 2— 1がバヅファ B 2 0 9に蓄積される。

そして、次に現在の時刻 T d が Tc になった時（つまり、タイムスタンプ t 2の符号化データを再生する時刻 t 2になった時）に、バッファ出力制御部 2 1 0は、現在符号化データが入力されているバッファ A 2 0 8とは異なるバッファ B 2 0 9に蓄積されている符号化データが復号部 1 0 5へ出力されるようにスイッチ 2 1 1を制御する。

すなわち、バッファ出力制御部 2 1 0は、時刻 t 2おいてスィツチ 2 1 1 をバッファ B 2 0 9側へ接続して、図 6に示すように、符号化デ一夕 P 1— 3， P 1— 4および P 2— 1をまとめてバッファ B 2 0 9から復号部 1 0 5 へ出力する。つまり、時刻 t 2おいては、タイムスタンプで示された再生 - 表示タイミングょりも遅れて到着した符号化データ P 1 — 3および P 1 - 4 が、タイムスタンプで示された再生 ·表示タイミング以前に到着した符号化デ一夕 P 2—1の前に追加されて復号部 1 0 5へ出力される。

そして、復号部 1 0 5では、タイムスタンプで示された再生 .表示夕イミングよりも遅れて到着した符号化データ P 1— 3および P 1 _ 4の復号が、タイムスタンプで示ざれた再生 ·表示タイミング以前に到着した符号化デ一夕； P 2— 1の復号の前に行われる。よって、復号部 1 0 5では、既に t lの時点で符号化デ一夕 P— 1および P— 2から再生済みでフレームメモリ 3 0 3に記録されているタイムスタンプ t 1のピクチャが、復号された P 1—3 および P 1— 4から算出される差分値により更新された後に、符号化データ P 2 - 1の復号が行われる。

これにより、タイムスタンプ t 1のピクチャ上において t 1の時点では欠落していた符号化デ一夕 P 1—3ぉょび卩 1—4に該当する部分が t 2の時点で補われるため、 t 2以降に再生されるピクチャに画質の劣化が伝播してしまうことを防止することができる。

以降同様の処理が繰り返されて、時刻 t 3おいては、図 6に示すように、タイムスタンプで示された再生 ·表示タイミングよりも遅れて到着した符号化データ P 2— 2および P 2— 3が、タイムスタンプで示された再生 ·表示タイミング以前に到着した符号化デ一夕 P 3 - 1の前に追加されて復号部 1 0 5へ出力される。

なお、検出更新部 2 0 3でタイムスタンプの切り替わりが検出されたときに、 T d< T p であるる場合（すなわち、ノツファ A 2 0 8およびバッファ B 2 0 9の両者に、未だ復号されていない符号化データが残留している場合）には、バッファ入力制御部 2 0 6は、これ以上の符号化デ一夕が各バッファに入力されないように、データ入力を停止する旨を示す停止信号を、受信バッファ 2 0 1対して送る。これにより、バッファ A 2 0 8およぴバヅファ B 2 0 9において、ノ 'ヅファオーバーフローが発生してしまうことを防止することいができる。

このように、本実施の形態によれば、タイムスタンプで示された再生 -表示タイミングょりも遅れて到着した符号化デ一夕は、タイムスタンプで示された再生 ·表示タイミング以前に到着した符号化データの前に追加されて復号部へ出力される。よって、復号部では、タイムスタンプで示された再生 - 表示タイミング以前に到着した符号化データの復号前に、タイムスタンプで示された再生 ·表示タイミングょりも遅れて到着した符号化デ一夕の復号を行って既に再生済みでフレームメモリに記録されているピクチャを、タイムスタンプで示された再生 ·表示タイミングょりも遅れて到着した符号化デ一夕から算出される差分値により更新することができるので、以降再生されるピクチャに画質の劣化が伝播してしまうことを防止することができ、見やすい画像を再生することができる。

なお、上記一実施の形態では、画像データ復号装置が無線通信端末装置に備えられる場合を一例に挙げて説明したが、これに限られるものではなく、画像デ一夕復号装置を有線の通信システムで使用される通信端末装置に備えることも可能である。また、上記一実施の形態に係る画像デ一夕の復号は、画像データ復号装置として説明しているが、この画像デ一夕の復号をソフトウヱァにより実現することも可能である。すなわち、上記画像データ復号を行うプログラムを予め R OMに格納しておき、そのプログラムを C PUによって動作せるようにしてもよい。また、上記画像データ復号を行うプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュ一夕の RAMに記録して、コンピュータをそのプログラムに従って動作させるようにしてもよい。このような場合においても、上記一実施の形態と同様の作用および効果を呈する。

以上説明したように、本発明によれば、タイムスタンプで指定された再生 ·表示夕イミングまでにパケットが到着しない場合でも、画質の劣化が伝播してしまうことを防止でき、かつ、滑らかな動きを再現することができる。本明細書は、 2000年 7月 6日出願の特願 2000— 2054 14に基づくものである。この内容はすぺてここに含めておく。産業上の利用可能性

本発明は、通信端末装置、特に、無線通信端末装置に利用可能である。

Claims

請求の範囲

1 . 画像間の差分情報を用いて画像を順次再生する画像デ一夕復号装置において、

第 1の表示タイミングで再生される第 1画像に含まれる第 1画像データと前記第 1の表示タイミングょりも遅い第 2の表示タイミングで再生される第 2画像に含まれる第 2画像データとを受信する受信器と、

前記第 1の表示タイミングょりも遅れて受信された第 1画像データを用いて前記第 2の表示タイミングまでに前記第 1画像を再生した後、前記第 1画像と前記第 2画像との差分情報に従って前記第 2の表示タイミングで前記第 2画像を再生する復号制御器と、

を有する画像データ復号装置。

2 . 復号制御器は、

第 1の表示タイミングまでに受信された第 1画像データのみを用いて前記第 1の表示タイミングで再生した第 1画像を、前記第 1の表示タイミングょりも遅れて受信された第 1画像データを用いて第 2の表示タイミングまでに再生した第 1画像によって更新する、

請求項 1記載の画像データ復号装置。

3 . 画像データ復号装置を搭載する通信端末装置であって、前記画像デー夕復号装置は、

第 1の表示タイミングで再生される第 1画像に含まれる第 1画像データと前記第 1の表示タイミングょりも遅い第 2の表示タイミングで再生される第 2画像に含まれる第 2画像デ一夕とを受信する受信器と、

を有する。

4 . 画像間の差分情報を用いて画像を順次再生する画像データ復号方法 (こおいて、

第 1の表示タイミングで再生される第 1画像に含まれる第 1画像データと前記第 1の表示タイミングょりも遅い第 2の表示タイミングで再生される第 2画像に含まれる第 2画像データとを受信する受信ステツプと、

前記第 1の表示タイミングょりも遅れて受信された第 1画像データを用いて前記第 2の表示タイミングまでに前記第 1画像を再生した後、前記第 1画像と前記第 2画像との差分情報に従って前記第 2の表示タイミングで前記第 2画像を再生する復号制御ステップと、

を有する画像データ復号方法。

5 . 復号制御ステツプにおいて、

第 1の表示タイミングまでに受信された第 1画像デ一夕のみを用いて前記第 1の表示タイミングで再生した第 1画像を、前記第 1の表示タイミングょりも遅れて受信された第 1画像データを用いて第 2の表示タイミングまでに再生した第 1画像によって更新する、

請求項 4記載の画像データ復号方法。

6 . 画像間の差分情報を用いて画像を順次再生する画像データ復号プログラムであって、

第 1の表示タイミングで再生される第 1画像に含まれる第 1画像データと前記第 1の表示タイミングょりも遅い第 2の表示タイミングで再生される第 2画像に含まれる第 2画像データとを受信する受信ステップと、

前記第 1の表示タイミングょりも遅れて受信された第 1画像デ一夕を用いて前記第 2の表示タイミングまでに前記第 1画像を再生した後、前記第 1画像と前記第 2画像との差分情報に従って前記第 2の表示タイミングで前記第 2画像を再生する復号制御ステツプと、

を有する画像データ復号プログラム。

7 . 復号制御ステップにおいて、第 1の表示タイミングまでに受信された第 1画像デ一夕のみを用いて前記第 1の表示タイミングで再生した第 1画像を、前記第 1の表示タイミングょりも遅れて受信された第 1画像デ一夕を用いて第 2の表示夕イミングまでに再生した第 1画像によって更新する画像データ復号プログラムを格納する、請求項 6記載の画像データ復号プログラム。