[go: up one dir, main page]

TWI548265B - Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, and animation decoding program - Google Patents

Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, and animation decoding program Download PDF

Info

Publication number
TWI548265B
TWI548265B TW098131397A TW98131397A TWI548265B TW I548265 B TWI548265 B TW I548265B TW 098131397 A TW098131397 A TW 098131397A TW 98131397 A TW98131397 A TW 98131397A TW I548265 B TWI548265 B TW I548265B
Authority
TW
Taiwan
Prior art keywords
reference image
recorded
signal
decoding
image
Prior art date
Application number
TW098131397A
Other languages
English (en)
Other versions
TW201016021A (en
Inventor
Yoshinori Suzuki
Choong Seng Boon
Jens-Rainer Ohm
Mathias Wien
Aleksandar Stojanovic
Thiow Keng Tan
Original Assignee
Ntt Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo Inc filed Critical Ntt Docomo Inc
Publication of TW201016021A publication Critical patent/TW201016021A/zh
Application granted granted Critical
Publication of TWI548265B publication Critical patent/TWI548265B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Description

動畫編碼裝置、動畫解碼裝置、動畫編碼方法、動畫解碼方法、動畫編碼程式、及動畫解碼程式
本發明係有關於動畫編碼裝置、動畫解碼裝置、動畫編碼方法、動畫解碼方法、動畫編碼程式、及動畫解碼程式，尤其是有關於預測編碼及預測解碼時的預測訊號之生成。
為了有效率地進行動畫資料的傳送，採用了壓縮編碼技術。例如，作為以動畫為對象的技術，係廣泛採用了MPEG1、2，4或H.261～H.264之方式。於此種動畫的編碼技術中，藉由使用時間軸上相鄰的相鄰影像來生成要當作編碼對象的對象影像之預測訊號，然後將對象影像與預測訊號的差分加以編碼，以實現資料量的削減。此手法稱作畫格間編碼。
例如，在H.264所規定的編碼方式中，是將1畫格的影像分割成由16×16像素所成之區塊的領域，將影像以該區塊單位來進行編碼處理。在畫格間編碼方式中，對於作為編碼對象之影像的對象區塊，參照已編碼且已被復原之其他畫格來進行運動補償預測，以生成預測訊號。接著，求出該對象區塊與該預測訊號的差分值，進行離散餘弦轉換與量化處理，生成編碼資料。
其他，為了降低預測訊號中所含之量化雜訊等，或是為了預測新出現的影像訊號等，而會採用雙向預測之方式。在雙向預測時，關於對象區塊是帶有2個運動量，藉由第1運動量，而從在時間上位於對象區塊前方的第1參照影像，求出第1預測訊號，藉由第2運動量，而從在時間上位於對象區塊後方的第2參照影像，求出第2預測訊號，藉由將第1與第2預測訊號予以平均化以生成預測訊號。又，也會從時間上位於前方的2個參照影像分別求出第1與第2預測訊號之後，藉由他們的平均而生成預測訊號。關於畫格間編碼的細節，例如記載於專利文獻1與非專利文獻1。
[先前技術文獻]
[專利文獻]
[專利文獻1]美國專利公報第6259739號
[非專利文獻]
[非專利文獻1]Iain E. G. Richardson,“H.264 and MPEG-4 Video Compression”,JohnWiley & Sons,2003,pp.170-176,207-212。
可是，上述的預測訊號生成方法，係有如下之課題。亦即，在構成動畫的影像中，有時會含有，構成影像之紋理(花紋)是隨著時間一起變化的情形。在此種紋理訊號中，是每一像素地呈現細緻的運動，在畫格與畫格之間位於相同位置的像素，係隨著時間而變化。例如，海的波浪、煙霧、微風吹拂的花壇等等。此種紋理稱作「動態紋理」。此外，在上述的先前技術中視為編碼對象的對象區塊，係以位於其前後之畫格的像素幾乎沒有變動為前提。因此，若已運動補償過之預測訊號是類似於對象訊號之前提成立，則可將差分訊號抑制得較低。亦即，利用畫格間的訊號之相關是較高的性質，實現資料壓縮。
然而，當對象區塊的訊號中含有動態紋理時，即使從前後的畫格來進行預測，也由於像素的值是隨時間而改變，對象區塊之像素並不類似於位在預測訊號之相同位置上的像素，因此差分訊號會變大。其結果為，壓縮資料量會有變大的情形。具體而言，含有動態紋理的動畫的畫格間的相關性較低，在先前技術中難以實現高壓縮率。尤其是，在以低位元速率進行編碼的時候，資料量大的差分訊號的傳輸是較為困難，因此會有位於再生影像中的紋理訊號會幾乎盡失之課題。
於是，本發明係有鑑於所述課題而研發，其目的在提供一種動畫編碼裝置、動畫解碼裝置、動畫編碼方法、動畫解碼方法、動畫編碼程式、及動畫解碼程式，藉由對於含有動態紋理的動畫生成適合的預測訊號，而可降低所被壓縮成的動畫之資料量。
為了解決上記課題，本發明的動畫編碼裝置，其特徵為，具備：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和預測訊號生成手段，係生成針對對象訊號的預測訊號；和差分生成手段，係生成對象訊號與預測訊號之差分亦即差分訊號；和編碼手段，係將差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成再生訊號；和儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；預測訊號生成手段，係至少使用新增參照影像來生成預測訊號。
或者，本發明的動畫編碼方法，其特徵為，具備：輸入步驟，係輸入手段將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和預測訊號生成步驟，係由預測訊號生成手段生成針對對象訊號的預測訊號；和差分生成步驟，係由差分生成手段生成對象訊號與預測訊號之差分亦即差分訊號；和編碼步驟，係由編碼手段將差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼步驟，係由解碼手段將編碼差分訊號予以解碼，以生成解碼差分訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成再生訊號；和儲存步驟，係由儲存手段，將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；在預測訊號生成步驟中，係至少使用新增參照影像來生成預測訊號。
或者，本發明的動畫編碼程式，其特徵為，係使電腦動作成為：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；預測訊號生成手段，係生成針對對象訊號的預測訊號；差分生成手段，係生成對象訊號與預測訊號之差分亦即差分訊號；編碼手段，係將差分訊號以所定方法加以編碼而生成編碼差分訊號；解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；加算手段，係對解碼差分訊號，加算預測訊號，以生成再生訊號；儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；以及參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；預測訊號生成手段，係至少使用新增參照影像來生成預測訊號。
若依據此種動畫編碼裝置、動畫編碼方法、及動畫編碼程式，則動畫當中的部分影像亦即編碼對象影像的對象訊號會被輸入，該訊號與預測訊號之間的差分訊號會被編碼，並且，編碼差分訊號會被解碼而被加算預測訊號，藉此而生成再生訊號，該再生訊號係被當作預測訊號生成用之參照影像而儲存。此時，使用已生成的既存參照影像來求出觀測行列式，根據該觀測行列式而生成新增參照影像，至少使用新增參照影像來生成預測訊號，因此可以新生成出符合既存參照影像中所沒有之動態紋理之性質的參照影像。藉此，可生成更近似於存在於編碼對象影像中之動態紋理的預測訊號，結果是，差分訊號被壓抑成較小，可有效降低所被壓縮成的動畫之資料量。
參照影像生成手段，係基於既存參照影像來求出觀測行列式及狀態向量，基於觀測行列式及狀態向量來生成新增參照影像，較為理想。若具備所述之參照影像生成手段，則可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
又，編碼手段，係更將狀態向量加以編碼，較為理想。此情況下，由於將狀態向量提供給解碼側因而在解碼側不需要生成狀態向量的處理，因此可實現有效率的解碼處理。
又甚至，參照影像生成手段，係以由複數既存參照影像所構成之行列式為對象來執行奇異值分解，以求出觀測行列式，較為理想。若採取所述構成，則可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
本發明的動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對解碼差分訊號的預測訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成再生訊號；和儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；預測訊號生成手段，係至少使用新增參照影像來生成預測訊號。
又，本發明的動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對解碼差分訊號的預測訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成再生訊號；和儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；預測訊號生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式及狀態向量之至少一者，基於觀測行列式或狀態向量來生成預測訊號。
或者，本發明的動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼步驟，係由解碼手段將編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對解碼差分訊號的預測訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成再生訊號；和儲存步驟，係由儲存手段，將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；在預測訊號生成步驟中，係至少使用新增參照影像來生成預測訊號。
又，本發明的動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼步驟，係由解碼手段將編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對解碼差分訊號的預測訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成再生訊號；和儲存步驟，係由儲存手段，將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；在預測訊號生成步驟中，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式及狀態向量之至少一者，基於觀測行列式或狀態向量來生成預測訊號。
或者，本發明的動畫解碼程式，其特徵為，使電腦動作成為：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；預測訊號生成手段，係生成針對解碼差分訊號的預測訊號；加算手段，係對解碼差分訊號，加算預測訊號，以生成再生訊號；儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；以及參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；預測訊號生成手段，係至少使用新增參照影像來生成預測訊號。
又，本發明的動畫解碼程式，其特徵為，係使電腦動作成為：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；預測訊號生成手段，係生成針對解碼差分訊號的預測訊號；加算手段，係對解碼差分訊號，加算預測訊號，以生成再生訊號；儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；預測訊號生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式及狀態向量之至少一者，基於觀測行列式或狀態向量來生成預測訊號。
若依據此種動畫解碼裝置、動畫解碼裝置、及動畫解碼程式，則含有編碼差分訊號的壓縮資料會被輸入，該編碼差分訊號會被解碼，對解碼差分訊號加算預測訊號，藉此而生成再生訊號，該再生訊號係被當作預測訊號生成用之參照影像而儲存。此時，使用已生成的既存參照影像來求出觀測行列式或狀態向量，根據該觀測行列式或狀態向量而生成預測訊號，因此相較於僅使用既存參照影像來生成預測訊號，可生成更適合於動態紋理之性質的預測訊號。藉此，差分訊號被壓抑成較小，可有效降低壓縮資料的資料量。
參照影像生成手段，係基於既存參照影像來求出觀測行列式及狀態向量，基於觀測行列式及狀態向量來生成新增參照影像，較為理想。若具備所述之參照影像生成手段，則可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
又，在壓縮資料中還含有對應於狀態向量的向量壓縮資料；解碼手段，係將向量壓縮資料加以復原而生成解碼狀態向量；參照影像生成手段，係基於觀測行列式及解碼狀態向量來生成新增參照影像，也很理想。如此一來，藉由狀態向量是從編碼側提供因而不需要生成狀態向量的處理，因此可實現有效率的解碼處理。
甚至，參照影像生成手段，係以由複數既存參照影像所構成之行列式為對象來執行奇異值分解，以求出觀測行列式，較為理想。此情況下，可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
為了解決上記課題，本發明的動畫編碼裝置，其特徵為，具備：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和分割手段，係將編碼對象影像，分割成複數領域；和預測訊號生成手段，係生成針對複數領域當中之對象領域之對象訊號的預測訊號；和差分生成手段，係生成對象領域的對象訊號與預測訊號之差分亦即差分訊號；和編碼手段，係將差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；和位置設定手段，係設定新增參照影像在管理複數參照影像用之參照影像清單中的插入位置；和熵編碼手段，係至少將編碼差分訊號及新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；預測訊號生成手段，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新參照影像清單；預測訊號生成手段，係使用從參照影像清單中所含之參照影像裡所選擇的參照影像，來生成對象領域的預測訊號；熵編碼手段，係將對象領域之預測訊號之生成時所使用過的參照影像加以表示的參照影像號碼，加以編碼。
又，本發明的動畫編碼裝置，其特徵為，具備：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和分割手段，係將編碼對象影像，分割成複數領域；和預測訊號生成手段，係生成針對複數領域當中之對象領域之對象訊號的預測訊號；和差分生成手段，係生成對象領域的對象訊號與預測訊號之差分亦即差分訊號；和編碼手段，係將差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼手段，係將編碼差分訊號予以解碼，以生成解碼差分訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存手段，係將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；和位置設定手段，係針對至少二個以上對象領域所構成之大領域，設定新增參照影像在管理複數參照影像用之參照影像清單中的插入位置；和熵編碼手段，係至少將編碼差分訊號及關於大領域的新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；預測訊號生成手段，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新關於大領域的參照影像清單；預測訊號生成手段，係使用從關於對象領域所屬之大領域的參照影像清單中所含之參照影像裡所選擇的參照影像，來生成對象領域的預測訊號；熵編碼手段，係將對象領域之預測訊號之生成時所使用過的參照影像加以表示的參照影像號碼，加以編碼。
或者，本發明的動畫編碼方法，其特徵為，輸入步驟，係輸入手段將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和分割步驟，係由分割手段，將編碼對象影像，分割成複數領域；和預測訊號生成步驟，係由預測訊號生成手段，生成針對複數領域當中之對象領域之對象訊號的預測訊號；和差分生成步驟，係由差分生成手段生成對象領域的對象訊號與預測訊號之差分亦即差分訊號；和編碼步驟，係由編碼手段將差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼步驟，係由解碼手段將編碼差分訊號予以解碼，以生成解碼差分訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存步驟，係由儲存手段，將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；和位置設定步驟，係由位置設定手段，設定新增參照影像在管理複數參照影像用之參照影像清單中的插入位置；和熵編碼步驟，係由熵編碼手段，至少將編碼差分訊號及新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；在預測訊號生成步驟中，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新參照影像清單；在預測訊號生成步驟中，係使用從參照影像清單中所含之參照影像裡所選擇的參照影像，來生成對象領域的預測訊號；在熵編碼步驟中，係將對象領域之預測訊號之生成時所使用過的參照影像加以表示的參照影像號碼，加以編碼。
又，本發明的動畫編碼方法，其特徵為，具備：輸入步驟，係輸入手段將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和分割步驟，係由分割手段，將編碼對象影像，分割成複數領域；和預測訊號生成步驟，係由預測訊號生成手段，生成針對複數領域當中之對象領域之對象訊號的預測訊號；和差分生成步驟，係由差分生成手段生成對象領域的對象訊號與預測訊號之差分亦即差分訊號；和編碼步驟，係由編碼手段將差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼步驟，係由解碼手段將編碼差分訊號予以解碼，以生成解碼差分訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存步驟，係由儲存手段，將再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；和位置設定步驟，係由位置設置手段，針對至少二個以上對象領域所構成之大領域，設定新增參照影像在管理複數參照影像用之參照影像清單中的插入位置；和熵編碼步驟，係由熵編碼手段，至少將編碼差分訊號及關於大領域的新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；在預測訊號生成步驟中，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新關於大領域的參照影像清單；在預測訊號生成步驟中，係使用從關於對象領域所屬之大領域的參照影像清單中所含之參照影像裡所選擇的參照影像，來生成對象領域的預測訊號；在熵編碼步驟中，係將對象領域之預測訊號之生成時所使用過的參照影像加以表示的參照影像號碼，加以編碼。
若依據此種動畫編碼裝置、動畫編碼方法、及該當動畫編碼裝置所涉及之處理在電腦上執行所需之動畫編碼程式，則因為是根據觀測行列式來生成新增參照影像，所以可以新生成出符合既存參照影像中所沒有之動態紋理之性質的參照影像，可生成更近似於存在於編碼對象影像中之動態紋理的預測訊號。其結果為，差分訊號被壓抑成較小，可有效降低所被壓縮成的動畫的資料量。亦即，可有效率地將動態紋理予以編碼。又，在上述動畫編碼裝置等中，使用將該新增參照影像或既存參照影像加以管理的參照影像清單，使用從該參照影像清單中所含之參照影像中所選擇出來的參照影像來生成預測訊號。因此，可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號，將差分訊號壓抑得更小，即使不將差分訊號予以編碼，也可能再生出視覺上近似於對象訊號的訊號。甚至，在上述動畫編碼裝置等中，因為新增參照影像在參照影像清單中的插入位置也被編碼，因此可抑制參照影像之選擇資訊所需要的編碼量。
位置設定手段，係當在參照影像清單中不含有新增參照影像時，則生成用來表示新增參照影像未被包含在參照影像清單中之事實的位置資訊；熵編碼手段，係將用來表示新增參照影像未被包含在參照影像清單中之事實的位置資訊，進行熵編碼；預測訊號生成手段，係更新參照影像清單使其不含有新增參照影像，較為理想。又，在新增參照影像的位置設定步驟中，係當在參照影像清單中不含有新增參照影像時，則生成用來表示新增參照影像未被包含在參照影像清單中之事實的位置資訊；在熵編碼步驟中，係將用來表示新增參照影像未被包含在參照影像清單中之事實的位置資訊，進行熵編碼；在預測訊號生成步驟中，係更新參照影像清單使其不含有新增參照影像，較為理想。若具備所述的位置設定手段或位置設定步驟，則參照影像清單的作成或參照影像的選擇就可變廣，可提高自由度。
又，參照影像生成手段，係基於既存參照影像來求出觀測行列式及狀態向量，基於觀測行列式及狀態向量來生成新增參照影像，較為理想。若具備所述之參照影像生成手段，則可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
又，熵編碼手段，係更將狀態向量加以熵編碼，較為理想。此情況下，由於將狀態向量提供給解碼側，因而在解碼側不需要生成狀態向量的處理，因此可實現有效率的解碼處理。
又，參照影像生成手段，係以由複數既存參照影像所構成之行列式為對象來執行奇異值分解，以求出觀測行列式及狀態向量之至少一者，而生成新增參照影像，較為理想。若採取所述構成，則可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
本發明的動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼手段，係從壓縮資料中，至少復原出要作為解碼對象之對象領域的編碼差分訊號；和解碼手段，係將對象領域的編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對解碼差分訊號的對象領域之預測訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存手段，係將對象領域的再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；熵解碼手段，係將新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從壓縮資料中解碼出來；預測訊號生成手段，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新參照影像清單；熵解碼手段，係將基於已更新之參照影像清單來生成對象領域之預測訊號之際所使用的參照影像加以表示的參照影像號碼，從壓縮資料中解碼出來；預測訊號生成手段，係使用已解碼之參照影像號碼所示的參照影像，來生成對象領域的預測訊號。
又，本發明的動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼手段，係從壓縮資料中，至少復原出要作為解碼對象之對象領域的編碼差分訊號；和解碼手段，係將對象領域的編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對解碼差分訊號的對象領域之預測訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存手段，係將對象領域的再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；熵解碼手段，係針對至少二個以上對象領域所構成之大領域，將新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從壓縮資料中解碼出來；預測訊號生成手段，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新關於大領域的參照影像清單；熵解碼手段，係將基於已更新之參照影像清單來生成對象領域之預測訊號之際所使用的參照影像加以表示的參照影像號碼，從壓縮資料中解碼出來；預測訊號生成手段，係使用已解碼之參照影像號碼所示的參照影像，來生成對象領域的預測訊號。
又，本發明的動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼手段，係從壓縮資料中，至少復原出要作為解碼對象之對象領域的編碼差分訊號；和解碼手段，係將對象領域的編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對解碼差分訊號的對象領域之預測訊號；和加算手段，係對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存手段，係將對象領域的再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；熵解碼手段，係將新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從壓縮資料中解碼出來；預測訊號生成手段，係基於將新增參照影像之插入位置加以表示的位置資訊來更新參照影像清單，並且使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；熵解碼手段，係將基於已更新之參照影像清單來生成對象領域之預測訊號之際所使用的參照影像加以表示的參照影像號碼，從壓縮資料中解碼出來；預測訊號生成手段，係使用已解碼之參照影像號碼所示的參照影像，來生成對象領域的預測訊號。
本發明的動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼步驟，係由熵解碼手段，從壓縮資料中，至少復原出要作為解碼對象之對象領域的編碼差分訊號；和解碼步驟，係由解碼手段將對象領域的編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對解碼差分訊號的對象領域之預測訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存步驟，係由儲存手段，將對象領域的再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；在熵解碼步驟中，係將新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從壓縮資料中解碼出來；在預測訊號生成步驟中，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新參照影像清單；在熵解碼步驟中，係將基於已更新之參照影像清單來生成對象領域之預測訊號之際所使用的參照影像加以表示的參照影像號碼，從壓縮資料中解碼出來；在預測訊號生成步驟中，係使用已解碼之參照影像號碼所示的參照影像，來生成對象領域的預測訊號。
又，本發明的動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼步驟，係由熵解碼手段，從壓縮資料中，至少復原出要作為解碼對象之對象領域的編碼差分訊號；和解碼步驟，係由解碼手段將對象領域的編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對解碼差分訊號的對象領域之預測訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存步驟，係由儲存手段，將對象領域的再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，使用儲存步驟中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存步驟中；在熵解碼步驟中，係針對至少二個以上對象領域所構成之大領域，將新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從壓縮資料中解碼出來；在預測訊號生成步驟中，係基於將新增參照影像之插入位置加以表示的位置資訊，來更新關於大領域的參照影像清單；在熵解碼步驟中，係將基於已更新之參照影像清單來生成對象領域之預測訊號之際所使用的參照影像加以表示的參照影像號碼，從壓縮資料中解碼出來；在預測訊號生成步驟中，係使用已解碼之參照影像號碼所示的參照影像，來生成對象領域的預測訊號。
又，本發明的動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼步驟，係由熵解碼手段，從壓縮資料中，至少復原出要作為解碼對象之對象領域的編碼差分訊號；和解碼步驟，係由解碼手段將對象領域的編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對解碼差分訊號的對象領域之預測訊號；和加算步驟，係由加算手段，對解碼差分訊號，加算預測訊號，以生成對象領域的再生訊號；和儲存步驟，係由儲存手段，將對象領域的再生訊號，當作預測訊號所被生成之際所被參照的參照影像而加以儲存；在熵解碼步驟中，係將新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從壓縮資料中解碼出來；在預測訊號生成步驟中，係基於將新增參照影像之插入位置加以表示的位置資訊來更新參照影像清單，並且使用儲存手段中所儲存之已生成的參照影像亦即既存參照影像來求出觀測行列式，基於觀測行列式而生成新的參照影像亦即新增參照影像，然後儲存至儲存手段中；在熵解碼步驟中，係將基於已更新之參照影像清單來生成對象領域之預測訊號之際所使用的參照影像加以表示的參照影像號碼，從壓縮資料中解碼出來；在預測訊號生成步驟中，係使用已解碼之參照影像號碼所示的參照影像，來生成對象領域的預測訊號。
若依據此種動畫解碼裝置、動畫解碼方法、及該當動畫解碼裝置所涉及之處理在電腦上執行所需之動畫解碼程式，則因為是根據觀測行列式來生成新增參照影像，所以可以新生成出符合既存參照影像中所沒有之動態紋理之性質的參照影像，可生成更近似於動態紋理的預測訊號。其結果為，差分訊號被壓抑成較小，可有效降低所被壓縮成的動畫的資料量。又，在上述動畫解碼裝置等中，使用將該新增參照影像或既存參照影像加以管理的參照影像清單，使用從該參照影像清單中所含之參照影像中所選擇出來的參照影像來生成預測訊號。因此，可生成更近似於動態紋理的預測訊號，可將差分訊號壓抑得更小。甚至，在上述動畫解碼裝置等中，因為新增參照影像在參照影像清單中的插入位置也從壓縮資料被解碼取得，因此可抑制參照影像之選擇資訊所需要的編碼量。
熵解碼手段，係將用來表示新增參照影像未被包含在參照影像清單中之事實的位置資訊，進行熵解碼；預測訊號生成手段，係更新參照影像清單使其不含有新增參照影像，較為理想。又，在熵解碼步驟中，係將用來表示新增參照影像未被包含在參照影像清單中之事實的位置資訊，進行熵解碼；在預測訊號生成步驟中，係更新參照影像清單使其不含有新增參照影像，較為理想。若具備所述的熵解碼手段或熵解碼步驟則，參照影像清單的作成或參照影像的選擇就可變廣，可提高自由度。
又，參照影像生成手段，係基於參照影像來求出觀測行列式及狀態向量，基於觀測行列式及狀態向量來生成新增參照影像，較為理想。若具備所述之參照影像生成手段，則可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
又，在壓縮資料中還含有對應於狀態向量的向量壓縮資料；解碼手段，係將編碼差分訊號解碼成解碼差分訊號之際，將向量壓縮資料加以復原而生成解碼狀態向量；參照影像生成手段，係基於觀測行列式及解碼狀態向量來生成新增參照影像，也很理想。如此一來，狀態向量是被從編碼側提供，因而不需要生成狀態向量的處理，因此可實現有效率的解碼處理。
又，參照影像生成手段，係以由複數既存參照影像所構成之行列式為對象來執行奇異值分解，以求出觀測行列式及狀態向量之至少一者，而生成新增參照影像，較為理想。此情況下，可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號。
若依據本發明，則可藉由對於含有動態紋理的動畫生成適合的預測訊號，來降低所壓縮成的動畫之資料量。
以下，一面參照圖面，一面詳細說明本發明所述之動畫編碼裝置及動畫解碼裝置的理想實施形態。此外，於說明中，同一要素或具有同一機能的要素，是使用同一符號，並省略重複說明。
[第1實施形態]
(動畫編碼裝置)
圖1係本發明之理想一實施形態所述之動畫編碼裝置之構成的區塊圖。同圖所示的動畫編碼裝置1，係具備：輸入端子(輸入手段)101、區塊分割部102、預測訊號生成部(預測訊號生成手段)103、畫格記憶體(儲存手段)104、減算器(差分生成手段)105、轉換部(編碼手段)106、量化部(編碼手段)107、逆量化部(解碼手段)108、逆轉換部(解碼手段)109、加算器(加算手段)110、熵編碼部111、、輸出端子112、參照影像生成部(參照影像生成手段)113所構成。以下，說明動畫編碼裝置1的各構成要素。
區塊分割部102係從輸入端子101輸入著由複數畫格的影像所構成的動畫訊號，將該動畫訊號當中的屬於編碼對象的編碼對象影像，分割成複數領域。具體而言，係區塊分割部102係將影像分割成16×16像素所成的區塊(領域)，但亦可分割成8×8像素所成的區塊，亦可分割成其他任意大小及形狀(例如非正方形)的區塊。區塊分割部102係將已分割之區塊的像素訊號當中要作為編碼處理對象之領域(以下稱作「對象區塊」)的像素訊號(以下稱作「對象像素訊號」)，經由訊號線L102而輸出至減算器105，再經由訊號線L103而輸出至預測訊號生成部103。
預測訊號生成部103，係對於對象區塊的對象像素訊號，生成用來預測該影像的16×16像素所成之預測訊號。亦即，預測訊號生成部103係使用先前MPEG-2、4、H.264等所規定的方法，例如，根據畫格記憶體104中所儲存的參照影像而偵測出對象區塊的運動量，根據所得到的運動向量(運動量)及參照影像，算出預測訊號。該參照影像，係過去曾被編碼後而被復原之再生影像(細節將於後述)。此處，預測訊號生成部103，係基於經由訊號線L103所輸入之對象區塊的對象像素訊號，及經由訊號線L105而從畫格記憶體104所被參照的參照影像，進行運動量的偵測以生成預測訊號，將該預測訊號經由訊號線L104、L106而送至減算器105及加算器110。
減算器105係從區塊分割部102所送來的對象像素訊號中，減去從預測訊號生成部103所送來的對該對象像素訊號之預測訊號，生成2個訊號的差分亦即差分訊號。然後，該差分訊號係經由訊號線L107而被輸出至轉換部106，藉由轉換部106及量化部107而以所定之編碼方式，轉換成編碼差分訊號。具體而言，轉換部106係將差分訊號進行離散餘弦轉換而生成轉換係數。該轉換係數，係經由訊號線L108而被輸出至量化部107，量化部107係將轉換係數加以量化而生成編碼差分訊號後，經由訊號線L109而輸出至熵編碼部111及逆量化部108。
熵編碼部111，係將編碼差分訊號轉換成可變長度碼後，經由訊號線L110而輸出至輸出端子112。此處，熵編碼部111，係亦可取代可變長度碼而改適用為算術編碼。同時，被預測訊號生成部103所求出的對象區塊之運動向量，係經由訊號線L111而被送往熵編碼部111，熵編碼部111係將該運動向量轉換成可變長度碼，輸出至輸出端子112。
逆量化部108及逆轉換部109，係以對應於轉換部106及量化部107所使用之編碼對象的解碼方式，從編碼差分訊號中再生出解碼差分訊號。具體而言，係逆量化部108，係將已被量化之轉換係數予以逆量化而還原成轉換係數，經由訊號線L112而輸出至逆轉換部109，逆轉換部109係將轉換係數進行逆離散餘弦轉換，而將差分訊號予以復原。然後，逆轉換部109係經由訊號線L113而將解碼差分訊號送往加算器110。
加算器110係藉由對解碼差分訊號加算上經由訊號線L106所輸入之預測訊號，以將對象區塊的對象像素訊號再生成為再生訊號，經由訊號線L114而儲存至畫格記憶體104。畫格記憶體104，係將如此過去曾經當作對象區塊而處理過的複數對象像素訊號(以下稱作「既存參照影像」)加以保持，在下次處理的對象區塊之預測訊號生成之際，會參照之。
參照影像生成部113，係生成和已經被儲存在畫格記憶體104中的既存參照影像不同的新增參照影像。亦即，參照影像生成部113，係經由訊號線L116而取得被儲存在畫格記憶體104中的既存參照影像。
圖2係圖示了，畫格記憶體104中所儲存之既存參照影像的概念。在圖2(a)中係圖示了，畫格是按照動畫訊號的顯示順序而被編碼時的既存參照影像，各各畫格201,202,203,204,205的再生影像係以像素向量yt,yt+1,yt+2,yt+3,yt+4(下標字係表示時刻)的方式而被儲存。此處，以畫格201,202,…,205之順序來進行編碼處理，畫格206被當成對象畫格而處理的時序上，在畫格記憶體104中係有畫格201～205之再生影像被當作既存參照影像而儲存。圖2(b)中係圖示了，在運動量偵測之際進行雙向預測時的既存參照影像。此處，在將畫格207～209、及畫格211、212編碼後，畫格210就會被編碼，畫格210被當成對象畫格而處理的時序上，在畫格記憶體104中係有畫格207～209,211,212之再生影像被當作既存參照影像而儲存。
如上記，使用畫格記憶體104中所儲存的既存參照影像之一部分，參照影像生成部113會生成出新增參照影像。例如，參照影像生成部113，係從畫格記憶體104的5個既存參照影像之像素向量yt,yt+1,yt+2,yt+3,yt+4，使用下記式(1)，形成由像素向量yt,yt+1,yt+2,yt+3,yt+4所構成的行列式Yt t+4。
然後，參照影像生成部113，係以由既存參照影像所構成的行列式Yt t+4為對象，實施奇異值分解處理。此種奇異值分解處理，係可採用下記式(2)所示的QR分解。
式(2)中的行列式Xt t+4係為由下記式(3)： 所表示成的行列式。如此一來，參照影像生成部113係求出觀測行列式C、及各向量xt,xt+1,xt+2,xt+3,xt+4。
然後，參照影像生成部113，係根據各向量xt,xt+1,xt+2,xt+3,xt+4，使用下記式(4)： 來求出狀態遷移行列式A。此處，行列式Xt+1 t+4、及Xt t+3係分別由下記式(5)及(6)所給定。
又，式(4)中，(‧)+係表示擬似逆行列式。
又，參照影像生成部113，係使用如此所求出的狀態遷移行列式A，用下記式(7)： 而求出了狀態向量xt+5之後，如下記式(8)： 所示，基於狀態向量xt+5與觀測行列式C，生成具有動態紋理之性質的新增參照影像y"t+5。該新增參照影像，係經由訊號線L115而儲存至畫格記憶體104。
此外，如上記的新增參照影像之生成時，如式(1)所示，觀測行列式C係由向量xt,xt+1,xt+2,xt+3,xt+4所求出，畫格記憶體104中過去曾被參照影像生成部113所追加的新增參照影像，係未被使用。但是，新增參照影像的信賴度較高的情況下，則在觀測行列式C等的算出時亦可使用之。又，於新增參照影像之生成時，亦可使用奇異值分解以外之方法。例如，可舉出固有值分解、LU分解、丘列斯基分解。
預測訊號生成部103，係至少使用新增參照影像來生成，針對下個畫格之對象區塊之對象像素訊號的預測訊號。換言之，預測訊號生成部103，係亦可使用既存參照影像及新增參照影像雙方來生成預測訊號，也可僅使用新增參照影像來生成預測訊號。例如，預測訊號生成部103，係以這些複數參照影像為對象，將最接近於對象區塊之像素訊號的參照區塊，決定成為預測訊號。將該預測訊號所屬之參照影像加以識別的識別元，或從對象區塊之位置的位移亦即運動向量，係被送往送訊側(細節係記載於文獻「Iain E. G. Richardson,“H.264 and MPEG-4 Video Compression”,John Wiley ＆ Sons,2003」。)。此外，預測訊號生成部103，係將畫格記憶體104中的既存參照影像或新增參照影像加以特定之際，係藉由參照被附加在既存參照影像或新增參照影像的識別資訊而進行。此處，雖然預測訊號生成部103，係在對象畫格的前一個畫格的再生訊號被儲存在畫格記憶體104之後，從含有該再生影像的最近5畫格的參照影像來生成出新增參照影像，但並非限定於此。又，於預測訊號生成部103中，求出觀測行列式C及狀態向量xt+5後，亦可使用這些來直接生成對象像素訊號的預測訊號。
以下，一面參照圖3，一面詳述動畫編碼裝置1之動作，並且說明本實施形態所涉及之動畫編碼方法。
首先，藉由區塊分割部102，編碼對象的對象區塊的對象像素訊號會被輸入(步驟S01)。接著，藉由預測訊號生成部103，使用畫格記憶體104中所儲存的參照影像，來生成對於對象像素訊號的預測訊號(步驟S02)。然後，藉由減算器105，基於對象像素訊號與預測訊號而生成差分訊號(步驟S03)。其後，該差分訊號係被轉換部106及量化部107進行轉換及量化，生成編碼差分訊號(步驟S04)。
上記編碼差分訊號，係藉由逆量化部108及逆轉換部109而被逆量化及逆轉換，被再生成解碼差分訊號(步驟S05)。再者，藉由加算器110，該解碼差分訊號與預測訊號係被加算而生成再生訊號(步驟S06)。然後，該再生訊號係被當作參照影像而儲存在畫格記憶體104(步驟S07)。對於此種對象區塊之處理，係對對象畫格中所有的對象區塊，重複進行。
在作為編碼對象的1畫格被編碼後，藉由參照影像生成部113，以畫格記憶體104中所儲存之一部分的既存參照影像為對象，實施奇異值分解處理，生成觀測行列式C及狀態向量xt+5(步驟S08)。接著，藉由參照影像生成部113，基於觀測行列式C及狀態向量xt+5而生成新增參照影像，作為下個畫格進行編碼之際的參照影像而儲存在畫格記憶體104(步驟S09)。此種新增參照影像的生成處理，係對動畫的全部或部分畫格重複進行。另一方面，對象畫格的編碼差分訊號係經由熵編碼部111而被含在壓縮資料而輸出(步驟S10)。
(動畫解碼裝置)
以下，說明本實施形態所述之動畫解碼裝置的構成。圖4係本發明之理想一實施形態所述之動畫解碼裝置40之構成的區塊圖。同圖所示的動畫解碼裝置40，係具備：輸入端子(輸入手段)401、資料解析部(輸入手段)402、逆量化部(解碼手段)403、逆轉換部(解碼手段)404、加算器(加算手段)405、預測訊號生成部(預測訊號生成手段)407、畫格記憶體(儲存手段)406、參照影像生成部(參照影像生成手段)408、輸出端子409所構成。以下，說明動畫解碼裝置40的各構成要素。
對資料解析部402係從輸入端子401輸入著，含有編碼差分訊號的已被壓縮編碼之壓縮資料。資料解析部402，係從該壓縮資料解析並抽出編碼差分訊號以外，還將生成預測訊號時所必須的運動向量或進行逆量化所需的量化參數，予以解析並抽出。然後，資料解析部402，係將已抽出之編碼差分訊號及量化參數，經由訊號線L402而輸出至逆量化部403，將運動向量相關資訊經由訊號線L410而送出至預測訊號生成部407。該編碼差分訊號，係被逆量化部403及逆轉換部404解碼而復原成差分訊號。
逆量化部403，係將對象區塊的編碼差分訊號，基於量化參數而加以逆量化。逆量化部403，係將已逆量化之編碼差分訊號，經由訊號線L403而輸出至逆轉換部404。
逆轉換部404，係將從逆量化部403所輸入之編碼差分訊號，進行逆離散餘弦轉換而生成解碼差分訊號。逆轉換部404，係將已生成的解碼差分訊號，經由訊號線L404而輸出至加算器405。
預測訊號生成部407，係基於已被資料解析部402所抽出之運動向量、及從畫格記憶體406所參照過的參照影像，來生成針對處理對象之解碼差分訊號的預測訊號。已生成的預測訊號，係經由訊號線L407而被送往加算器405。
加算器405，係對已被逆轉換部404復原的解碼差分訊號，加算上預測訊號，已生成對象區塊的再生訊號。然後，加算器405係將該再生訊號當作參照影像而儲存在畫格記憶體406。又，再生訊號，係經由輸出端子409而被傳輸至外部的影像顯示裝置(未圖示)。
參照影像生成部408，係和上述動畫編碼裝置1的參照影像生成部113同樣地，基於已被儲存在畫格記憶體406中的一部分之既存參照影像，藉由奇異值分解處理而求出觀測行列式C及狀態向量xt+5。此處雖然是使用已被儲存在畫格記憶體406中的既存之再生影像來生成觀測行列式C，但亦可配合過去曾經生成過的新增參照影像來生成觀測行列式C。然後，參照影像生成部408，係與參照影像生成部113同樣地生成具有動態紋理性質的新增參照影像y"t+5，經由訊號線L408b而儲存至畫格記憶體406。對此，藉由預測訊號生成部407，至少以新增參照影像y"t+5為依據，生成針對下個畫格之對象區塊的預測訊號。
以下，一面參照圖5，一面詳述動畫解碼裝置40之動作，並且說明本實施形態所涉及之動畫解碼方法。
首先，一旦對資料解析部402輸入了含有編碼差分訊號的壓縮資料，則從該壓縮資料之中會抽出編碼差分訊號、運動向量、及量化參數(步驟S21)。接著，該編碼差分訊號係被逆量化部403及逆轉換部404所解碼，生成解碼差分訊號(步驟S22)。然後，藉由預測訊號生成部407，基於運動向量、及從畫格記憶體406所參照過的參照影像，來生成預測訊號(步驟S23)。其後，藉由加算器405，解碼差分訊號與預測訊號會被加算，而生成再生訊號(步驟S24)。該再生訊號係被當作參照訊號而儲存在畫格記憶體406(步驟S25)。
同時，藉由參照影像生成部408，以畫格記憶體406中所儲存的參照影像為對象，實施奇異值分解，以求出觀測行列式C及狀態向量xt+5(步驟S26)。然後，藉由參照影像生成部408，使用觀測行列式C及狀態向量xt+5來生成新增參照影像y"t+5，儲存至畫格記憶體406(步驟S27)。該新增參照影像y"t+5的生成，係當作在下個畫格解碼所需的參照影像而被使用。目前為止的處理，是對1畫格份的編碼差分訊號重複進行後，再生影像就從輸出端子409被輸出(步驟S28)。
若依據以上說明的動畫編碼裝置1及動畫解碼裝置40，則使用已被儲存在記憶體中的已生成之既存參照影像來求出觀測行列式C及狀態向量xt+5，根據這些而生成新增參照影像，至少使用新增參照影像來生成針對對象像素訊號的預測訊號，因此可以新生成出符合既存參照影像中所沒有之動態紋理之性質的參照影像。更詳細而言，在本實施形態中，動態紋理是使用自回歸滑動平均模型(ARMA)所代表的性質，從既存參照影像，生成被該當模型所使用的觀測行列式或狀態向量等。因此，可以新生成出符合既存參照影像中所沒有之動態紋理之性質的參照影像。藉此，可生成更近似於存在於編碼對象影像中之動態紋理的預測訊號，結果是，差分訊號被壓抑成較小，可有效降低所被壓縮成的動畫之資料量。又，除了從既存參照影像還從含有符合於動態紋理之新增參照影像的複數候補訊號生成預測訊號，因此可決定出比先前更近似於對象像素訊號的預測訊號，可將差分訊號壓抑得更小。
以下說明，使電腦動作成為動畫編碼裝置1及動畫解碼裝置40的動畫編碼程式及動畫解碼程式。
本發明所述之動畫編碼程式及動畫解碼程式，係被儲存在記錄媒體中來提供。作為記錄媒體則例如有，Floppy(註冊商標)碟片、CD-ROM、DVD、或ROM等記錄媒體，或是半導體記憶體等。
圖7係將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示，圖8係將記錄媒體中所記憶之程式加以執行所需之電腦的斜視圖。作為電腦，亦包含具備CPU而可進行軟體所致之處理或控制的DVD播放器、機上盒、行動電話等。
如圖7所示，電腦30，係具備：軟碟驅動裝置(Floppy為註冊商標)、CD-ROM驅動裝置、DVD驅動裝置等讀取裝置12、讓作業系統常駐的作業用記憶體(RAM)14、用來記憶記錄媒體10中所記憶之程式的記憶體16、顯示器這類顯示裝置18、屬於輸入裝置的滑鼠20及鍵盤22、進行資料收送用的通訊裝置24、控制著程式之執行的CPU26。電腦30，係一旦把記錄媒體10插入至讀取裝置12，則從讀取裝置12就可向記錄媒體10中所儲存的動畫編碼‧解碼程式進行存取，藉由該當影動畫編碼‧解碼程式，就可成為本發明所述之動畫編碼裝置或動畫解碼裝置而動作。
如圖8所示，動畫編碼程式或是動畫解碼程式，係可以被重疊於載波之電腦資料41的方式，透過網路而提供。此時，電腦30，係將通訊裝置24所接收到的動畫編碼程式或動畫訊號程式，記憶在記憶體16，就可執行該當動畫編碼程式或動畫訊號程式。
此外，本發明係不限定於前述第1實施形態。例如，動畫編碼裝置1及動畫解碼裝置40，係亦可動作成，將新增參照影像生成之際所使用之觀測行列式C及狀態向量xt+5的雙方或是其中一方，包含在壓縮資料中而從動畫編碼裝置1傳輸至動畫解碼裝置40。此情況下，由於解碼側不需要觀測行列式或狀態向量生成處理，因此可實現有效率的解碼處理。
例如，當狀態向量傳輸時，於動畫編碼裝置1中，被參照影像生成部113所生成的狀態向量xt+5是經由訊號線L117而被送往熵編碼部111，藉由熵編碼部111進行可變長度編碼後，成為壓縮資料而從輸出端子112輸出(圖1)。又，圖6係此時的動畫解碼裝置40之動作的流程圖。從壓縮資料被輸入起，至儲存再生影像到畫格記憶體406中為止的處理(步驟S31～步驟S35)，係是和圖5所示的步驟S21～步驟S25為止的處理相同。再生影像的儲存後，藉由資料解析部402將壓縮資料中所含之狀態向量予以抽出並進行可變長度解碼，以生成解碼狀態向量，同時，經由訊號線L411而送往參照影像生成部408(步驟S36)。此時，雖然想定了狀態向量是已被可變長度編碼之情形，但若以特定的編碼方法進行過壓縮的情況下，則是以對應於該編碼方法的解碼方法先作解碼後，才送往參照影像生成部408。接著，藉由參照影像生成部408，參照畫格記憶體406而求出觀測行列式C(步驟S37)。其後，藉由參照影像生成部408，使用觀測行列式C、從資料解析部402所送來的解碼狀態向量xt+5，來生成新增參照影像(步驟S38)。最後，1畫格份的再生影像會從輸出端子409輸出(步驟S39)。
又，狀態向量xt+5係亦可為了壓縮資料量而被量化再傳輸。此情況下，為了保持編碼側與解碼側的整合性，必須要從已逆量化的狀態向量xt+5與觀測行列式C，生成新增參照影像。
又，新增參照影像生成之記，狀態向量xt+5，係可使用由式(7)所算出者，也可使用由式(8)所算出者。亦即，令編碼對象的畫格為y"t+5，對其乘上觀測行列式C的逆行列式，就可生成對於對象畫格yt+5為最佳狀態的狀態向量xt+5。
又，亦可將參照影像生成部408的處理全部由預測訊號生成部407來執行。具體而言，亦可為，預測訊號生成部407是使用畫格記憶體406中所儲存的既存參照影像來求出觀測行列式C及狀態向量xt+5，基於其而直接生成預測訊號。此情況下也是，亦可將觀測行列式C及狀態向量xt+5的一方或雙方，從編碼側取得之。
又，對象畫格中帶有動態紋理之性質的訊號，係僅存在於一部分之對象像素訊號之情形。此情況下，新增參照影像的生成亦可並非畫格全體，而使僅針對一部分領域選擇性地進行。例如，在再生訊號之中，將具有動態紋理的對象區塊，以區塊號碼等加以特定，對具有該當區塊號碼的對象區塊而生成預測訊號之際，係將參照影像生成部113予以活化(Active)等。
[第2實施形態]
接著，關於本發明的第2實施形態，一面參照圖面一面說明。第2實施形態所述的動畫編碼裝置及動畫解碼裝置，係與第1實施形態所述之動畫編碼裝置及動畫解碼裝置有部分不同。以下就以不同點為中心來說明。
(動畫編碼裝置)
圖9係本發明之第2實施形態所述之動畫編碼裝置之構成的區塊圖。同圖所示的動畫編碼裝置50，係具備：輸入端子(輸入手段)101、區塊分割部(分割手段)102、預測訊號生成部(預測訊號生成手段)103、畫格記憶體(儲存手段)104、減算器(差分生成手段)105、轉換部(編碼手段)106、量化部(編碼手段)107、逆量化部(解碼手段)108、逆轉換部(解碼手段)109、加算器(加算手段)110、熵編碼部(熵編碼手段)111、輸出端子112、參照影像生成部(參照影像生成手段)113、位置設定部(位置設定手段)117、位置選擇部118所構成。
位置設定部117，係設定新增參照影像在管理複數參照影像用之參照影像清單中的插入位置，生成表示已被設定之插入位置的位置資訊用的部分。該參照影像清單，係將複數參照影像對應關聯至參照影像號碼而加以管理用的清單，若以畫格201～205的再生影像(參照圖2)來作為參照影像，則例如會像是圖14所示的表901。此種參照影像清單，係例如，被預測訊號生成部103所具備，預測訊號生成部103，係使用從參照影像清單中所含之參照影像裡所選擇的參照影像，來生成針對對象區塊之對象像素訊號的預測訊號。在參照影像清單中，藉由參照影像號碼，就可識別在預測訊號生成之際所使用的參照影像。又，參照影像號碼係有，號碼的值越小則編碼時所需的編碼量越小之傾向，對於選擇頻繁度高的參照影像，事先賦予越小值的參照影像號碼，就可提升編碼效率。
位置設定部117，係在設定參照影像清單中的新增參照影像的插入位置之際，從畫格記憶體104經由訊號線L501而將既存參照影像之資訊，從參照影像生成部113經由訊號線L502而將新增參照影像之資訊一一加以取得，設定新增參照影像的插入位置。以參照影像生成部113來生成新增參照影像的方法係和第1實施形態相同，故此處省略說明。位置設定部117係決定新增參照影像在參照影像清單(例如圖14的表901)中的插入位置。作為位置設定部117所進行的插入位置之決定方法，係可考慮以過去的畫格中的新增參照影像之選擇率來進行決定的方法，或將影像內所含之紋理訊號的比率加以解析而求出的方法，但並非限定於這些(在後述中係說明位元率失真最佳化(Rate-Distortion Optimization)所致之手法)。位置設定部117，係將所被設定或決定的位置資訊，經由訊號線L503及訊號線L504，輸出至預測訊號生成部103與熵編碼部111。
預測訊號生成部103，係一旦經由訊號線L503而被輸入了表示新增參照影像之插入位置的位置資訊(例如參照影像清單中的參照影像號碼)，則基於該位置資訊來更新參照影像清單。具體而言，係對於具備圖14的表901所示之參照影像清單的預測訊號生成部103，一旦輸入了表示新增參照影像之插入位置是參照影像號碼4的位置資訊，則預測訊號生成部103係將其更新成圖14的表902所示之參照影像清單。伴隨著新增參照影像之插入，更新後的參照影像清單中，編碼順序最早的既存參照影像亦即yt會被自動除外。此外，圖14的表903～906，係當輸入了表示新增參照影像之插入位置是參照影像號碼3,2,1,0的位置資訊時的更新後之參照影像清單。
此外，在雙向預測的情況下，由於針對對象區塊之像素訊號會生成2個預測訊號，因此會準備2個參照影像清單。圖15所示的參照影像清單911係為第2個參照影像清單的例子。在此例子中，顯示順序上比編碼對象畫格較為未來的畫格，是賦予了較小的參照影像號碼0、1。另一方面，作為第1個參照影像清單，雖然可使用圖14的表901，但此情況下，如圖2(a)、(b)所示，必須要將前(過去)5張與後(未來)2張總計7張的參照影像，先儲存在畫格記憶體104。限定為5張的情況下，作為第1個參照影像清單，亦可選擇如圖16的參照影像清單921所示的在編碼順序上較為過去的5畫格來當作參照影像。參照影像的張數沒有限制，只要是一張以上即可自由設定。參照影像的張數，係可在編碼側與解碼側預先訂定，或是亦可在編碼側將參照影像之張數按照畫格單位或序列單位來決定並加以編碼然後送出至解碼側。雙向預測的情況下，位置設定部117係關於2個參照影像清單(例如911、921)，將分別表示新增參照影像之插入位置的位置資訊，予以設定。將2個參照影像清單中的插入位置加以表示的位置資訊，是和上記同樣，被輸出至預測訊號生成部103或熵編碼部111，進行參照影像清單的更新或熵編碼。
位置設定部117，係亦可將參照影像清單更新之際所被除外的參照影像，當作參照影像清單生成資訊，與位置資訊一起經由訊號線L503及訊號線L504，輸出至預測訊號生成部103與熵編碼部111，在熵編碼部111被編碼。預測訊號生成部103係基於位置資訊與參照影像清單生成資訊，來更新參照影像清單。此時，取代掉編碼對象之畫格的新增參照影像，使過去畫格的新增參照影像被包含在參照影像清單中的方式來生成參照影像清單生成資訊並加以編碼，亦可使編碼對象畫格的新增參照影像與過去畫格的新增參照影像一起被包含在參照影像清單中而編碼。例如，關於參照影像清單的參照影像號碼，可將畫格號碼與參照影像之種類(既存參照影像或是新增參照影像)的組合加以編碼而實現之。若依據此方法，則可以僅用新增參照影像來構成參照影像清單。
又，當參照影像清單是僅由既存參照影像所構成，不含有新增參照影像的情況下，則新增參照影像之插入位置加以表示的位置資訊，係用來表示新增參照影像未被包含於參照影像清單中這件事情的資訊。作為位置資訊的例子，係有「表示是否要將新增參照影像包含於參照影像清單中的旗標」和「表示新增參照影像之插入位置的參照影像號碼」之組合，若旗標是表示不要含有新增參照影像的情況下，則參照影像號碼係不編碼。尤其是，若為雙向預測的情況，僅一方之參照影像清單有含新增參照影像，另一方參照影像清單僅由既存參照影像所構成，如此一來，參照影像的選擇範圍較廣，可提高自由度。
預測訊號生成部103，係在參照影像清單更新後，基於已被更新的參照影像清單，來生成對象區塊的預測訊號。又，預測訊號生成部103，係進行對象區塊預測時所用過的參照影像號碼或運動向量之偵測，經由訊號線L111而輸出至熵編碼部111。此時，當將新增參照影像用於對象區塊之預測時，係亦可不輸出運動向量，而是以零運動向量的方式，生成對象區塊的預測訊號。
位置選擇部118，係將新增參照影像在參照影像清單中的插入位置，以位元率失真最佳化方法來進行選擇並決定之際所使用到的部分。位置選擇部118，係於參照影像生成部113中生成新增參照影像後，使用輸入端子101、區塊分割部102、預測訊號生成部103、畫格記憶體104、減算器105、轉換部106、量化部107、逆量化部108、逆轉換部109、加算器110、熵編碼部111、位置設定部117，對新增參照影像之插入位置的每一候補(例如參照影像清單902～906)，進行如上述的位置設定或編碼或局部解碼處理，將各候補所作的編碼資料，經由訊號線L110而取得之，計算編碼量。位置選擇部118，係從輸入端子101取得編碼對象畫格的輸入影像，從加算器110取得編碼對象畫格的再生影像，計算各候補中的編碼失真(平均平方誤差)。然後，位置選擇部118，係對每一候補，算出乘上了由量化係數所決定之權重係數的編碼量與編碼失真之總和，將其值最小的新增參照影像之插入位置，加以選擇。位置選擇部118，係將已選擇之候補的編碼資料，經由訊號線L505而輸出至輸出端子112，並且以使得只有所選擇之候補的再生訊號會呈有效的方式，來控制畫格記憶體104。亦即，以位置選擇部118來決定新增參照影像的插入位置。此外，不用位元率失真最佳化法，而是用如上述的新增參照影像之選擇率所決定的方法等情況下，由位置設定部117來決定新增參照影像之插入位置的時候，則不需要位置選擇部118。
以下，一面參照圖10，一面詳述動畫編碼裝置50之動作，並且說明位元率失真最佳化方法所作的動畫編碼方法。
此處係想定了，在要進行編碼的影像的對象訊號輸入前，後述的步驟S45～S50中所進行之處理，係對過去複數輸入影像而進行的情形。亦即，關於編碼的對象訊號被輸入以前的其他編碼對象影像，係會被進行如下的處理。具體而言，藉由預測訊號生成部103，使用畫格記憶體104中所儲存的複數參照影像，來生成對於對象像素訊號的預測訊號(與後述的步驟S45相同)。然後，藉由減算器105，基於對象像素訊號與預測訊號而生成差分訊號(與後述的步驟S46相同)。其後，該差分訊號係被轉換部106及量化部107轉換成頻率領域然後被量化，生成編碼差分訊號(與後述的步驟S47相同)。上記編碼差分訊號，係藉由逆量化部108及逆轉換部109而被逆量化及逆轉換，被再生成解碼差分訊號(與後述的步驟S48相同)。再者，藉由加算器110，該解碼差分訊號與預測訊號係被加算而生成再生訊號(與後述的步驟S49相同)。其後，該再生訊號係被當作參照影像而儲存在畫格記憶體104(與後述的步驟S50相同)。
接下來，在要進行編碼的影像的對象訊號係被輸入(步驟S41)，藉由參照影像生成部113，以畫格記憶體104中所儲存之一部分的既存參照影像為對象，實施奇異值分解處理，生成觀測行列式C及狀態向量xt+5。然後，藉由參照影像生成部113，基於觀測行列式C及狀態向量xt+5而生成新增參照影像，作為下個畫格進行編碼之際的參照影像而儲存在畫格記憶體104(步驟43)。此種新增參照影像的生成處理，係對動畫的全部或部分畫格重複進行。此外，亦可將所被生成的觀測行列式C及狀態向量xt+5的任一方或雙方，傳輸至收訊側。
接下來，在步驟S44中，對於既存的再生影像所致之參照影像所構成的參照影像清單(例如圖14的表901、圖15的表911、圖16的表921)，生成要藉由位置設定部117來設定將新增參照影像予以插入的插入位置所需之位置資訊，並輸出至預測訊號生成部103。在被輸入著位置資訊的預測訊號生成部103中，參照影像清單會基於位置資訊而被更新，已被更新的參照影像清單(例如圖14的表902～906、圖15的表911～916、圖16的表921～926)會被取得。
接著，在步驟S45中，基於步驟S44中所被更新過的參照影像清單，偵測出在對象區塊之預測時所使用的參照影像與運動向量。此時，當已選擇了新增參照影像時，亦可不發送運動向量，而是生成設作零運動向量的預測訊號。其後，進行如上述步驟S46～S50之處理。其後，在步驟S51中係進行控制，為了決定新增參照影像插入到已更新之參照影像清單中的位置，在步驟S44中改變要插入新增參照影像的插入位置，然後重複步驟S45～S50之處理(基本編碼步驟)。其後，若所有的設定位置(例如參照影像號碼0～4)上的基本編碼步驟所作的測試均結束，則前進至步驟S52，計算所被重複之每一基本編碼步驟的編碼量與編碼失真(輸入影像與再生影像的平均平方誤差)，求出乘上了由量化係數所決定之權重係數的編碼量與編碼失真之總和。然後，除了將該值呈最小的新增參照影像之設定位置加以選擇並決定，還將畫格記憶體104構成為，只有已選擇之基本編碼步驟的結果是有效。
接下來，在步驟S53中，將含有步驟S51中所選擇的新增參照影像之插入位置的編碼資料(含有新增參照影像的位置資訊與各對象區塊的參照影像號碼與運動向量及編碼差分訊號)，從輸出端子112輸出。此外，在該輸出之際，雖然是將新增參照影像之插入位置加以表示的位置資訊，以畫格單位而發送，但亦可以複數區塊所群組化而成的大領域單位(將畫面分割成的分割領域單位)，來決定將新增參照影像的插入位置加以表示的位置資訊並傳輸之。
此外，在上記實施施形態中，雖然是於參照影像生成部113中生成新增參照影像，但亦可先以預測訊號生成部103求出觀測行列式C與狀態向量xt+5後，直接生成預測訊號。又，雖然是以奇異值分解的方法來求出觀測行列式C與狀態向量xt+5，但亦可使用其他的方法。又，當已被更新的參照影像清單中不含有新增參照影像時，則對於該畫格，係亦可不需要參照影像生成部113的處理。
又，在上記實施形態中，不需要將觀測行列式C與狀態向量xt+5加以編碼而傳輸，因此如後面所說明，在收訊側(解碼側)上以同樣方法求出觀測行列式C與狀態向量xt+5，而生成新增參照影像，但是，為了減少收訊側的處理量，亦可先將狀態向量xt+5加以編碼然後傳輸。此情況下，已被求出狀態向量xt+5係經由訊號線L117而送往熵編碼器111，經過熵編碼後，對外部輸出傳送。此外，若以預測訊號生成部103求出了狀態向量xt+5時，則經由訊號線L111而對外部輸出傳送。
又，在上記實施形態中，雖然狀態向量xt+5係也可使用式(7)所求得者，但亦可由式(8)求出。亦即，令編碼對象的畫格為y"t+5，對其乘上觀測行列式C的逆行列式，就可生成對於對象畫格y"t+5為最佳狀態的狀態向量xt+5。為了削減資料量，亦可先將狀態向量xt+5量化然後傳輸。此情況下，為了保持送訊側與收訊側的整合性，必須要從已逆量化的xt+5與觀測行列式C，生成新增參照影像。此外，雖然說明了發送狀態向量xt+5之形態，但亦可取而代之改送觀測行列式C，或是亦可送出觀測行列式C與狀態向量xt+5雙方。雖然有時候，帶有動態紋理性質的訊號，係只存在於畫面內之一部分，但此情況下，上述新增參照影像的生成係亦可不是畫格全體，而是對一部分領域進行。
又，在上記實施施形態中，雖然是將新增參照影像之插入位置加以表示的資訊，以畫格單位而發送，但亦可以複數區塊所群組化而成的大領域單位(將畫面分割成的分割領域單位)，來發送將新增參照影像的插入位置加以表示的資訊。此情況下，位置設定部117與預測訊號生成部103，係對每一大領域，作成更新參照影像清單。然後，預測訊號生成部103，係基於對象區塊所屬之大領域的更新參照影像清單來選擇參照影像，將參照影像號碼送往熵編碼器111。此種大領域的定義，係可在編碼側與解碼側事先定義(例如將畫面作4分割而構成4個大領域)，也可將大領域的構成在編碼側決定然後在熵編碼器111中進行編碼。若為此方法，則在含動態紋理的大領域知參照影像清單中係追加新增參照影像，在不含動態紋理的大領域中則是僅以既存參照影像來構成參照影像清單，此種處理就成為可能。又，雖然是將新增參照影像對參照影像清單的插入位置加以編碼，但亦可根據已經解碼的資訊來決定。例如，亦可基於過去的已編碼畫格中的新增參照影像之選擇率來自動決定新增參照影像對參照影像清單的插入位置。
(動畫解碼裝置)
以下說明第2實施形態所述之動畫解碼裝置的構成。圖10係第2實施形態所述之動畫解碼裝置之構成的區塊圖。同圖所示的動畫解碼裝置60，係具備：輸入端子(輸入手段)401、熵解碼部(熵解碼手段)410、逆量化部(解碼手段)403、逆轉換部(解碼手段)404、加算器(加算手段)405、預測訊號生成部(預測訊號生成手段)407、畫格記憶體(儲存手段)406、參照影像生成部(參照影像生成手段)408、輸出端子409所構成。
對輸入端子401係輸入著，含有動畫進行預測編碼所得之編碼差分訊號的壓縮資料。作為此種壓縮資料係有，例如圖9的動畫編碼裝置50中處理所得到的資料。該壓縮資料中，如上述，除了含有編碼差分訊號以外，還含有用來生成預測訊號所必須之運動向量、用來識別參照影像的參照影像號碼、用來進行逆量化的量化參數、用來生成新增參照影像所需的狀態向量xt+5之資料、將新增參照影像之插入位置加以表示的位置資訊等。此外，當在動畫解碼裝置60上生成狀態向量xt+5的情況下，狀態向量xt+5係亦可不被含有。
熵解碼部410，係將所被輸入的壓縮資料進行解析而進行熵解碼，復原成原本的數值等，從該壓縮資料中，抽出上述編碼差分訊號等。然後，熵解碼部410，係將已抽出之編碼差分訊號及量化參數，經由訊號線L402而輸出至逆量化部403，並將運動向量相關資訊經由訊號線L410而送出至預測訊號生成部407。該編碼差分訊號，係被逆量化部403及逆轉換部404解碼而復原成差分訊號。又，熵解碼部410，係將已經復原的表示新增參照影像之插入位置的位置資訊，經由訊號線L412而送出至預測訊號生成部407。
預測訊號生成部407，係用來生成針對處理對象解碼差分訊號的預測訊號用的部分。預測訊號生成部407，係一旦從熵解碼部410輸入了表示新增參照影像之插入位置的位置資訊，則和動畫編碼裝置50的預測訊號生成部103同樣地，更新參照影像清單。當沒有含新增參照影像的時候，參照影像清單就不被更新。此外，當在壓縮資料中含有用來生成參照影像清單所需的資訊亦即參照影像清單生成資訊的情況下，預測訊號生成部407，係將已被熵解碼部410所解碼之參照影像清單生成資訊，經由訊號線L412取得並使用於參照影像清單的更新。在此種參照影像清單生成資訊中，如上述，例如，含有被從參照影像清單排除在外的既存參照影像之資訊。又，在參照影像清單生成資訊中，關於參照影像清單的各參照影像號碼，將各個畫格號碼與參照影像之種類(既存參照影像或是新增參照影像)的組合加以表示的情況下，就可明示性地更新參照影像清單。
又，預測訊號生成部407，係基於運動向量與參照影像號碼，對存在於畫格記憶體406中的參照影像進行存取，生成解碼對象的對象區塊的預測訊號。此外，關於參照影像號碼是表示新增參照影像的區塊，事先決定了運動向量資訊未被包含在壓縮資料中的情況下，則是以零運動向量的方式，從新增參照影像生成出對象區塊之預測資訊。如此所得到的預測訊號，係經由訊號線L407而被送往加算器405，被加算至解碼差分訊號，生成再生訊號。
參照影像生成部408，係和上述動畫編碼裝置50的參照影像生成部113同樣地，基於已被儲存在畫格記憶體406中的一部分之既存參照影像，藉由奇異值分解處理而求出觀測行列式C與狀態向量xt+5。此外，當狀態向量xt+5是被包含在壓縮資料中時，則是經由訊號線L411而從熵解碼部410取得狀態向量xt+5來使用。壓縮資料中所含的狀態向量xt+5雖然是被熵編碼，但若用熵編碼以外的特定編碼方法來進行過壓縮的情況下，則將從熵解碼部410所輸出的狀態向量xt+5，先以對應於該特定編碼方法的解碼處理進行解碼後，才送出至參照影像生成部408。又，雖然使用再生影像來求出觀測行列式C，但亦可除了再生影像之外還加上過去曾經生成過的新增參照影像來求出觀測行列式C。
參照影像生成部408，係和第1實施形態同樣地，根據觀測行列式C與狀態向量xt+5，基於式(8)，生成帶有動態紋理之性質的新增參照影像y"t+5。所被生成的新增參照影像y"t+5，係經由訊號線L408b而儲存至畫格記憶體406。然後，預測訊號生成部407係和動畫編碼裝置50的預測訊號生成部103同樣地，基於既存參照影像及新增參照影像之至少1者，來生成下個畫格的對象區塊的預測訊號。
此外，亦可讓預測訊號生成器407具有參照影像生成器408的新增參照影像之生成處理機能。此情況下，經由訊號線L410而將狀態向量xt+5送往預測訊號生成器407，將所生成的預測訊號直接送往加算器405。
又，在上記實施施形態中，雖然是將新增參照影像之插入位置加以表示的資訊，以畫格單位而接收，但亦可以複數區塊所群組化而成的大領域單位(將畫面分割成的分割領域單位)，來接收將新增參照影像的插入位置加以表示的資訊。此情況下，預測訊號生成部407，係對每一大領域，作成及更新參照影像清單。然後，預測訊號生成部407，係基於對象區塊所屬之大領域的更新參照影像清單來選擇參照影像。大領域，係可在編碼側與解碼側事先定義(例如將畫面作4分割而構成4個大領域)，也可於熵解碼部410上將大領域的構成加以解碼。又，雖然是將新增參照影像對參照影像清單的插入位置加以解碼，但亦可根據已經解碼的資訊而在解碼側決定之。例如，亦可基於過去的已解碼畫格中的新增參照影像之選擇率來自動決定新增參照影像對參照影像清單的插入位置。
以下，一面參照圖11，一面詳述動畫解碼裝置60之動作，並且說明狀態向量xt+5是不被壓縮資料所含有時的動畫解碼方法。
此處係假定了，在要被解碼的影像的解碼處理實施前，就實施後述的步驟S65～S68，複數的解碼影像是已經被復原的情形。具體而言，一旦對熵解碼部410輸入了含有編碼差分訊號的壓縮資料，則從該壓縮資料之中會抽出編碼差分訊號、運動向量、及量化參數。然後，該編碼差分訊號係被逆量化部403及逆轉換部404所解碼，生成解碼差分訊號(後述步驟S65)。又，將解碼對象之對象區塊的預測訊號的生成時所必須之運動向量與參照影像訊號加以解碼，基於被儲存在畫格記憶體的參照影像來生成預測訊號(後述的步驟S66)。其後，藉由加算器405，解碼差分訊號與預測訊號會被加算，而生成再生訊號(後述的步驟S67)。該再生訊號係被當作參照訊號而儲存在畫格記憶體406(後述的步驟S68)。
接下來，含有作為解碼對象之編碼差分訊號的壓縮資料，係被輸入(步驟S61)。在步驟S62中，對畫格記憶體406中所儲存的參照影像(再生影像)，實行奇異值分解而生成觀測行列式C與狀態向量xt+5。此一連串處理，係使用上述的式(1)～(8)，基於觀測行列式C與狀態向量xt+5，而生成新增參照影像。所被生成的新增參照影像，係被儲存在畫格記憶體406中(步驟S63)。
接下來，前進至步驟S64，對於既存的再生影像所致之參照影像所構成的參照影像清單(例如圖14的表901等)，將表示新增參照影像插入位置的位置資訊，從壓縮資料中取得，將參照影像清單予以更新，取得更新後的參照影像清單(例如參照圖14的表902～906等)。其後，前進至步驟S65，將編碼差分訊號予以解碼，以生成解碼差分訊號。然後，在步驟S66中，將參照影像號碼與運動向量予以解碼，並且針對已更新的參照影像清單，根據已被解碼之之參照影像號碼所示的參照影像與運動向量，來生成對象區塊的預測訊號。其後，進行步驟S67、S68，重複步驟S65～S68所定次數(或是壓縮資料全部被輸入，並都實施了復原處理為止)後，將再生影像，輸出至輸出端子409(步驟S69)。
接著，一面參照圖13一面說明動畫解碼方法的變形例。該變形例係對應於，狀態向量xt+5是被包含在壓縮資料中而被從編碼側傳輸之情形的實施形態。在此變形例中，步驟S71、S74～S80係和圖12的步驟S61、S63～S69相同，故省略說明。
在步驟S72中，從壓縮資料，抽出狀態向量xt+5並解碼，生成解碼狀態向量。然後，在步驟S73中，對畫格記憶體406中所儲存的參照影像(再生影像)，實行奇異值處理而生成觀測行列式C。其後，和圖12的步驟S63相同，基於觀測行列式C與步驟S72中所得到的解碼狀態向量，來生成新增參照影像(步驟S74)。如此生成的新增參照影像，係當作下個畫格解碼所需的參照影像，而被儲存在畫格記憶體406中。
若依據以上說明的動畫編碼裝置50及動畫解碼裝置60，則動態紋理是利用自回歸滑動平均模型(ARMA)所代表的性質，使用已經生成的既存參照影像來求出被該當模型所使用的觀測行列式C，根據該觀測行列式C來生成新增參照影像。因此，可以新生成出符合既存參照影像中所沒有之動態紋理之性質的參照影像，可生成更近似於存在於編碼對象影像中之動態紋理的預測訊號。其結果為，差分訊號被壓抑成較小，可有效降低所被壓縮成的動畫的資料量。亦即，可有效率地將動態紋理予以編碼。又，在上述動畫編碼裝置等中，使用將該新增參照影像或既存參照影像加以管理的參照影像清單，使用從該參照影像清單中所含之參照影像中所選擇出來的參照影像來生成預測訊號。因此，可生成更進一步近似於存在於編碼對象影像中之動態紋理的預測訊號，將差分訊號壓抑得更小，即使不將差分訊號予以編碼，也可能再生出視覺上近似於對象訊號的訊號。甚至，在上述動畫編碼裝置等中，因為新增參照影像在參照影像清單中的位置也被編碼，因此可抑制參照影像之選擇資訊所需要的編碼量。
此外，使電腦動作成為上述動畫編碼裝置50及動畫解碼裝置60的動畫編碼程式及動畫解碼程式，係和第1實施形態相同，故省略說明。
 [產業上利用之可能性]
本發明係以動畫編碼裝置、動畫解碼裝置、動畫編碼方法、動畫解碼方法、動畫編碼程式、及動畫解碼程式作為使用用途，可藉由對於含有動態紋理的動畫生成適合的預測訊號，來降低所壓縮成的動畫之資料量。
1,50．．．動畫編碼裝置
40,60．．．動畫解碼裝置
101．．．輸入端子(輸入手段)
102．．．區塊分割部
103．．．預測訊號生成部(預測訊號生成手段)
104．．．畫格記憶體(儲存手段)
105．．．減算器(差分生成手段)
106．．．轉換部(編碼手段)
107．．．量化部(編碼手段)
108．．．逆量化部(解碼手段)
109．．．逆轉換部(解碼手段)
110．．．加算器(加算手段)
111．．．熵編碼部(編碼手段)
113．．．參照影像生成部(參照影像生成手段)
117．．．位置設定部(位置設定手段)
118．．．位置選擇部
401．．．輸入端子(輸入手段)
402．．．資料解析部(輸入手段)
403．．．逆量化部(解碼手段)
404．．．逆轉換部(解碼手段)
405．．．加算器(加算手段)
406．．．畫格記憶體(儲存手段)
407．．．預測訊號生成部(預測訊號生成手段)
408．．．參照影像生成部(參照影像生成手段)
410．．．熵解碼部(熵解碼手段)
[圖1]本發明之第1實施形態所述之動畫編碼裝置之構成的區塊圖。
[圖2]圖1的畫格記憶體中所儲存的既存參照影像之概念的圖示。
[圖3]圖1的動畫編碼裝置之動作的流程圖。
[圖4]本發明之第1實施形態所述之動畫解碼裝置之構成的區塊圖。
[圖5]圖4的動畫解碼裝置之動作的流程圖。
[圖6]本發明的變形例亦即動畫解碼裝置之動作的流程圖。
[圖7]將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示。
[圖8]將記錄媒體中所記憶之程式加以執行所需之電腦的斜視圖。
[圖9]本發明之第2實施形態所述之動畫編碼裝置之構成的區塊圖。
[圖10]圖9的動畫編碼裝置之動作的流程圖。
[圖11]本發明之第2實施形態所述之動畫解碼裝置之構成的區塊圖。
[圖12]圖11的動畫解碼裝置之動作的流程圖。
[圖13]圖11的動畫解碼裝置之另一動作流程圖。
[圖14]參照影像清單之一例的圖示。
[圖15]其他參照影像清單之一例的圖示。
[圖16]其他參照影像清單之一例的圖示。
1．．．動畫編碼裝置
101．．．輸入端子
102．．．區塊分割部
103．．．預測訊號生成部
104．．．畫格記憶體
105．．．減算器
106．．．轉換部
107．．．量化部
108．．．逆量化部
109．．．逆轉換部
110．．．加算器
111．．．熵編碼部
112．．．輸出端子
113．．．參照影像生成部
L101～L117．．．訊號線

Claims (29)

  1. 一種動畫編碼裝置，其特徵為，具備：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和預測訊號生成手段，係生成針對前記對象訊號的預測訊號；和差分生成手段，係生成前記對象訊號與前記預測訊號之差分亦即差分訊號；和編碼手段，係將前記差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成再生訊號；和儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記編碼對象影像之前1個的既存參照影像所對應之 前記狀態向量、與該當狀態遷移行列式而求出編碼對象影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；前記預測訊號生成手段，係至少使用前記新增參照影像來生成前記預測訊號。
  2. 如申請專利範圍第1項所記載之動畫編碼裝置，其中，前記編碼手段，係更將前記狀態向量予以編碼。
  3. 一種動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對前記解碼差分訊號的預測訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成解碼對象影像的再生訊號；和儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前 記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象影像之前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象影像所對應之狀態向量，基於前記觀測行列式和該當解碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；前記預測訊號生成手段，係至少使用前記新增參照影像來生成前記預測訊號。
  4. 如申請專利範圍第3項所記載之動畫解碼裝置，其中，在前記壓縮資料中還含有對應於狀態向量的向量壓縮資料；前記解碼手段，係將前記向量壓縮資料加以復原而生成解碼狀態向量；前記參照影像生成手段，係基於前記觀測行列式及前記解碼狀態向量來生成前記新增參照影像。
  5. 一種動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和 預測訊號生成手段，係生成針對前記解碼差分訊號的預測訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成解碼對象影像的再生訊號；和儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；前記預測訊號生成手段，係藉由以含有前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解以求出觀測行列式及狀態向量之其中任一方並且從前記壓縮資料取得前記觀測行列式及前記解碼對象影像所對應之狀態向量之其中另一方，或者，從前記壓縮資料取得前記觀測行列式及前記解碼對象影像所對應之狀態向量，基於前記觀測行列式及前記解碼對象影像所對應之狀態向量而生成新增參照影像，至少使用前記新增參照影像來生成預測訊號。
  6. 一種動畫編碼方法，其特徵為，具備：輸入步驟，係輸入手段將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和預測訊號生成步驟，係由預測訊號生成手段生成針對前記對象訊號的預測訊號；和差分生成步驟，係由差分生成手段生成前記對象訊號與前記預測訊號之差分亦即差分訊號；和編碼步驟，係由編碼手段將前記差分訊號以所定方法 加以編碼而生成編碼差分訊號；和解碼步驟，係由解碼手段將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成再生訊號；和儲存步驟，係由儲存手段，將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記編碼對象影像之前1個的既存參照影像所對應之前記狀態向量、與該當狀態遷移行列式而求出編碼對象影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；在前記預測訊號生成步驟中，係至少使用前記新增參照影像來生成前記預測訊號。
  7. 一種動畫解碼方法，其特徵為，具備： 輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼步驟，係由解碼手段將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對前記解碼差分訊號的預測訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成解碼對象影像的再生訊號；和儲存步驟，係由儲存手段，將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象影像之前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象影像所對應之狀態向量，基於前記觀測行列式和該當解碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；在前記預測訊號生成步驟中，係至少使用前記新增參 照影像來生成前記預測訊號。
  8. 一種動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和解碼步驟，係由解碼手段將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對前記解碼差分訊號的預測訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成解碼對象影像的再生訊號；和儲存步驟，係由儲存手段，將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；在前記預測訊號生成步驟中，係藉由以含有前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解以求出觀測行列式及狀態向量之其中任一方並且從前記壓縮資料取得前記觀測行列式及前記解碼對象影像所對應之狀態向量之其中另一方，或者，從前記壓縮資料取得前記觀測行列式及前記解碼對象影像所對應之狀態向量，基於前記觀測行列式及前記解碼對象影像所對應之狀態向量而生成新增參照影像，至少使用前記新增參照影像來生成預測訊號。
  9. 一種動畫編碼程式，其特徵為， 使電腦成為以下手段而動作：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；預測訊號生成手段，係生成針對前記對象訊號的預測訊號；差分生成手段，係生成前記對象訊號與前記預測訊號之差分亦即差分訊號；編碼手段，係將前記差分訊號以所定方法加以編碼而生成編碼差分訊號；解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成再生訊號；儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；以及參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記編碼對象影像之前1個的既存參照影像所對應之前記狀態向量、與該當狀態遷移行列式而求出編碼對象影像所對應之狀態向量，基於前記觀測行列式和該當編碼對 象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；前記預測訊號生成手段，係至少使用前記新增參照影像來生成前記預測訊號。
  10. 一種動畫解碼程式，其特徵為，使電腦成為以下手段而動作：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；預測訊號生成手段，係生成針對前記解碼差分訊號的預測訊號；加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成解碼對象影像的再生訊號；儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；以及參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象影像之前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象影像所對 應之狀態向量，基於前記觀測行列式和該當解碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；前記預測訊號生成手段，係至少使用前記新增參照影像來生成前記預測訊號。
  11. 一種動畫解碼程式，其特徵為，使電腦成為以下手段而動作：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；預測訊號生成手段，係生成針對前記解碼差分訊號的預測訊號；加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成解碼對象影像的再生訊號；儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；前記預測訊號生成手段，係藉由以含有前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解以求出觀測行列式及狀態向量之其中任一方並且從前記壓縮資料取得前記觀測行列式及前記解碼對象影像所對應之狀態向量之其中另一方，或者，從前記壓縮資料取得前記觀測行列式及前記解碼對象影像所對應之狀態向量，基於前記觀測行列式及前記解碼 對象影像所對應之狀態向量而生成新增參照影像，至少使用前記新增參照影像來生成預測訊號。
  12. 一種動畫編碼裝置，其特徵為，具備：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和分割手段，係將前記編碼對象影像，分割成複數領域；和預測訊號生成手段，係生成針對前記複數領域當中之對象領域之對象訊號的預測訊號；和差分生成手段，係生成前記對象領域之對象訊號與前記預測訊號之差分亦即差分訊號；和編碼手段，係將前記差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數 既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記編碼對象影像之前1個的既存參照影像所對應之前記狀態向量、與該當狀態遷移行列式而求出編碼對象影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；和位置設定手段，係設定前記新增參照影像在管理複數前記參照影像用之參照影像清單中的插入位置；和熵編碼手段，係至少將前記編碼差分訊號及前記新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；前記預測訊號生成手段，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新前記參照影像清單；前記預測訊號生成手段，係使用從前記參照影像清單中所含之參照影像裡所選擇的參照影像，來生成前記對象領域的預測訊號；前記熵編碼手段，係將前記對象領域之預測訊號之生成時所使用過的前記參照影像加以表示的參照影像號碼，加以編碼。
  13. 一種動畫編碼裝置，其特徵為，具備：輸入手段，係將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和 分割手段，係將前記編碼對象影像，分割成複數領域；和預測訊號生成手段，係生成針對前記複數領域當中之對象領域之對象訊號的預測訊號；和差分生成手段，係生成前記對象領域之對象訊號與前記預測訊號之差分亦即差分訊號；和編碼手段，係將前記差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼手段，係將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存手段，係將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記編碼對象影像之前1個的既存參照影像所對應之前記狀態向量、與該當狀態遷移行列式而求出編碼對象影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新 增參照影像，然後儲存至前記儲存手段中；和位置設定手段，係針對至少二個以上前記對象領域所構成之大領域，設定前記新增參照影像在管理複數參照影像用之參照影像清單中的插入位置；和熵編碼手段，係至少將前記編碼差分訊號及關於前記大領域的前記新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；前記預測訊號生成手段，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新關於前記大領域的前記參照影像清單；前記預測訊號生成手段，係使用從關於前記對象領域所屬之前記大領域的前記參照影像清單中所含之參照影像裡所選擇的參照影像，來生成前記對象領域的預測訊號；前記熵編碼手段，係將前記對象領域之預測訊號之生成時所使用過的前記參照影像加以表示的參照影像號碼，加以編碼。
  14. 如申請專利範圍第12項或第13項所記載之動畫編碼裝置，其中，前記位置設定手段，係當在前記參照影像清單中不含有前記新增參照影像時，則生成用來表示前記新增參照影像未被包含在前記參照影像清單中之事實的前記位置資訊；前記熵編碼手段，係將用來表示前記新增參照影像未被包含在前記參照影像清單中之事實的前記位置資訊，進 行熵編碼；前記預測訊號生成手段，係更新前記參照影像清單使其不含有前記新增參照影像。
  15. 如申請專利範圍第12項或第13項所記載之動畫編碼裝置，其中，前記熵編碼手段，係更將前記狀態向量進行熵編碼。
  16. 一種動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼手段，係從前記壓縮資料中，至少復原出要作為解碼對象之對象領域的前記編碼差分訊號；和解碼手段，係將前記對象領域的前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對前記解碼差分訊號的前記對象領域之預測訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存手段，係將前記對象領域的再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前 記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象之影像的前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象之影像所對應之狀態向量，基於前記觀測行列式和該當解碼對象之影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；前記熵解碼手段，係將前記新增參照影像在管理複數前記參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從前記壓縮資料中解碼出來；前記預測訊號生成手段，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新前記參照影像清單；前記熵解碼手段，係將基於已更新之前記參照影像清單來生成前記對象領域之預測訊號之際所使用的前記參照影像加以表示的參照影像號碼，從前記壓縮資料中解碼出來；前記預測訊號生成手段，係使用已解碼之前記參照影像號碼所示的前記參照影像，來生成前記對象領域的預測訊號。
  17. 一種動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預 測編碼所得之編碼差分訊號；和熵解碼手段，係從前記壓縮資料中，至少復原出要作為解碼對象之對象領域的前記編碼差分訊號；和解碼手段，係將前記對象領域的前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對前記解碼差分訊號的前記對象領域之預測訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存手段，係將前記對象領域的再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成手段，係藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象之影像的前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象之影像所對應之狀態向量，基於前記觀測行列式和該當解碼對象之影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；前記熵解碼手段，係針對至少二個以上前記對象領域 所構成之大領域，將前記新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從前記壓縮資料中解碼出來；前記預測訊號生成手段，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新關於前記大領域的前記參照影像清單；前記熵解碼手段，係將基於已更新之前記參照影像清單來生成前記對象領域之預測訊號之際所使用的前記參照影像加以表示的參照影像號碼，從前記壓縮資料中解碼出來；前記預測訊號生成手段，係使用已解碼之前記參照影像號碼所示的前記參照影像，來生成前記對象領域的預測訊號。
  18. 如申請專利範圍第16項或第17項所記載之動畫解碼裝置，其中，前記熵解碼手段，係將用來表示前記新增參照影像未被包含在前記參照影像清單中之事實的前記位置資訊，予以解碼；前記預測訊號生成手段，係更新前記參照影像清單使其不含有前記新增參照影像。
  19. 如申請專利範圍第16項或第17項所記載之動畫解碼裝置，其中，在前記壓縮資料中還含有對應於狀態向量的向量壓縮資料； 前記解碼手段，係將前記編碼差分訊號解碼成前記解碼差分訊號之際，將前記向量壓縮資料加以復原而生成解碼狀態向量；前記參照影像生成手段，係基於前記觀測行列式及前記解碼狀態向量來生成前記新增參照影像。
  20. 一種動畫解碼裝置，其特徵為，具備：輸入手段，係輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼手段，係從前記壓縮資料中，至少復原出要作為解碼對象之對象領域的前記編碼差分訊號；和解碼手段，係將前記對象領域的前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成手段，係生成針對前記解碼差分訊號的前記對象領域之預測訊號；和加算手段，係對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存手段，係將前記對象領域的再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；前記熵解碼手段，係將前記新增參照影像在管理複數前記參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從前記壓縮資料中解碼出來；前記預測訊號生成手段，係基於將前記新增參照影像之插入位置加以表示的位置資訊來更新前記參照影像清 單，並且藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象之影像的前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象之影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象之影像所對應之狀態向量而生成前記新增參照影像，然後儲存至前記儲存手段中；前記熵解碼手段，係將基於已更新之前記參照影像清單來生成前記對象領域之預測訊號之際所使用的前記參照影像加以表示的參照影像號碼，從前記壓縮資料中解碼出來；前記預測訊號生成手段，係使用已解碼之前記參照影像號碼所示的前記參照影像，來生成前記對象領域的預測訊號。
  21. 一種動畫編碼方法，其特徵為，具備：輸入步驟，係輸入手段將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和分割步驟，係由分割手段，將前記編碼對象影像，分割成複數領域；和 預測訊號生成步驟，係由預測訊號生成手段，生成針對前記複數領域當中之對象領域之對象訊號的預測訊號；和差分生成步驟，係由差分生成手段生成前記對象領域的對象訊號與前記預測訊號之差分亦即差分訊號；和編碼步驟，係由編碼手段將前記差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼步驟，係由解碼手段將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存步驟，係由儲存手段，將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記編碼對象影像之前1個的既存參照影像所對應之前記狀態向量、與該當狀態遷移行列式而求出編碼對象影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象影像所對應之狀態向量而生成新 的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；和位置設定步驟，係由位置設定手段，設定前記新增參照影像在管理複數前記參照影像用之參照影像清單中的插入位置；和熵編碼步驟，係由熵編碼手段，至少將前記編碼差分訊號及前記新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；在前記預測訊號生成步驟中，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新前記參照影像清單；在前記預測訊號生成步驟中，係使用從前記參照影像清單中所含之參照影像裡所選擇的參照影像，來生成前記對象領域的預測訊號；在前記熵編碼步驟中，係將前記對象領域之預測訊號之生成時所使用過的前記參照影像加以表示的參照影像號碼，加以編碼。
  22. 一種動畫編碼方法，其特徵為，具備：輸入步驟，係輸入手段將由複數影像所構成之動畫當中的編碼對象影像中所含之對象訊號，加以輸入；和分割步驟，係由分割手段，將前記編碼對象影像，分割成複數領域；和預測訊號生成步驟，係由預測訊號生成手段，生成針 對前記複數領域當中之對象領域之對象訊號的預測訊號；和差分生成步驟，係由差分生成手段生成前記對象領域的對象訊號與前記預測訊號之差分亦即差分訊號；和編碼步驟，係由編碼手段將前記差分訊號以所定方法加以編碼而生成編碼差分訊號；和解碼步驟，係由解碼手段將前記編碼差分訊號予以解碼，以生成解碼差分訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存步驟，係由儲存手段，將前記再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記編碼對象影像之前1個的既存參照影像所對應之前記狀態向量、與該當狀態遷移行列式而求出編碼對象影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存 手段中；和位置設定步驟，係由位置設置手段，針對至少二個以上前記對象領域所構成之大領域，設定前記新增參照影像在管理複數參照影像用之參照影像清單中的插入位置；和熵編碼步驟，係由熵編碼手段，至少將前記編碼差分訊號及關於前記大領域的前記新增參照影像之插入位置加以表示的位置資訊，進行熵編碼；在前記預測訊號生成步驟中，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新關於前記大領域的前記參照影像清單；在前記預測訊號生成步驟中，係使用從關於前記對象領域所屬之前記大領域的前記參照影像清單中所含之參照影像裡所選擇的參照影像，來生成前記對象領域的預測訊號；在前記熵編碼步驟中，係將前記對象領域之預測訊號之生成時所使用過的前記參照影像加以表示的參照影像號碼，加以編碼。
  23. 如申請專利範圍第21項或第22項所記載之動畫編碼方法，其中，在前記位置設定步驟中，係當在前記參照影像清單中不含有前記新增參照影像時，則生成用來表示前記新增參照影像未被包含在前記參照影像清單中之事實的前記位置資訊；在前記熵編碼步驟中，係將用來表示前記新增參照影 像未被包含在前記參照影像清單中之事實的前記位置資訊，進行熵編碼；在前記預測訊號生成步驟中，係更新前記參照影像清單使其不含有前記新增參照影像。
  24. 一種動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼步驟，係由熵解碼手段，從前記壓縮資料中，至少復原出要作為解碼對象之對象領域的前記編碼差分訊號；和解碼步驟，係由解碼手段將前記對象領域的前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對前記解碼差分訊號的前記對象領域之預測訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存步驟，係由儲存手段，將前記對象領域的再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數 狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象之影像的前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象之影像所對應之狀態向量，基於前記觀測行列式和該當解碼對象之影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後儲存至前記儲存手段中；在前記熵解碼步驟中，係將前記新增參照影像在管理複數前記參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從前記壓縮資料中解碼出來；在前記預測訊號生成步驟中，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新前記參照影像清單；在前記熵解碼步驟中，係將基於已更新之前記參照影像清單來生成前記對象領域之預測訊號之際所使用的前記參照影像加以表示的參照影像號碼，從前記壓縮資料中解碼出來；在前記預測訊號生成步驟中，係使用已解碼之前記參照影像號碼所示的前記參照影像，來生成前記對象領域的預測訊號。
  25. 一種動畫解碼方法，其特徵為，具備：輸入步驟，係由輸入手段輸入著壓縮資料，其係含有 動畫進行預測編碼所得之編碼差分訊號；和熵解碼步驟，係由熵解碼手段，從前記壓縮資料中，至少復原出要作為解碼對象之對象領域的前記編碼差分訊號；和解碼步驟，係由解碼手段將前記對象領域的前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對前記解碼差分訊號的前記對象領域之預測訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存步驟，係由儲存手段，將前記對象領域的再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；和參照影像生成步驟，係由參照影像生成手段，藉由以含有複數個前記儲存步驟中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象之影像的前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象之影像所對應之狀態向量，基於前記觀測行列式和該當解碼對象之影像所對應之狀態向量而生成新的前記參照影像亦即新增參照影像，然後在前記儲存步驟 中加以儲存；在前記熵解碼步驟中，係針對至少二個以上前記對象領域所構成之大領域，將前記新增參照影像在管理複數參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從前記壓縮資料中解碼出來；在前記預測訊號生成步驟中，係基於將前記新增參照影像之插入位置加以表示的位置資訊，來更新關於前記大領域的前記參照影像清單；在前記熵解碼步驟中，係將基於已更新之前記參照影像清單來生成前記對象領域之預測訊號之際所使用的前記參照影像加以表示的參照影像號碼，從前記壓縮資料中解碼出來；在前記預測訊號生成步驟中，係使用已解碼之前記參照影像號碼所示的前記參照影像，來生成前記對象領域的預測訊號。
  26. 如申請專利範圍第24項或第25項所記載之動畫解碼方法，其中，在前記熵解碼步驟中，係將用來表示前記新增參照影像未被包含在前記參照影像清單中之事實的前記位置資訊，予以解碼；在前記預測訊號生成步驟中，係更新前記參照影像清單使其不含有前記新增參照影像。
  27. 一種動畫解碼方法，其特徵為，具備： 輸入步驟，係由輸入手段輸入著壓縮資料，其係含有動畫進行預測編碼所得之編碼差分訊號；和熵解碼步驟，係由熵解碼手段，從前記壓縮資料中，至少復原出要作為解碼對象之對象領域的前記編碼差分訊號；和解碼步驟，係由解碼手段將前記對象領域的前記編碼差分訊號予以解碼，以生成解碼差分訊號；和預測訊號生成步驟，係由預測訊號生成手段生成針對前記解碼差分訊號的前記對象領域之預測訊號；和加算步驟，係由加算手段，對前記解碼差分訊號，加算前記預測訊號，以生成前記對象領域的再生訊號；和儲存步驟，係由儲存手段，將前記對象領域的再生訊號，當作前記預測訊號所被生成之際所被參照的參照影像而加以儲存；在前記熵解碼步驟中，係將新的前記參照影像亦即前記新增參照影像在管理複數前記參照影像用之參照影像清單中的插入位置加以表示的位置資訊，從前記壓縮資料中解碼出來；在前記預測訊號生成步驟中，係基於將前記新增參照影像之插入位置加以表示的位置資訊來更新前記參照影像清單，並且藉由以含有複數個前記儲存手段中所儲存之已生成的前記參照影像亦即既存參照影像的行列式為對象而執行QR分解，以分解成觀測行列式和前記複數既存參照影像所對應之複數狀態向量，從前記複數既存參照影像所 對應之狀態向量，求出表示顯示順序為連續的2個狀態向量之關係的狀態遷移行列式，基於顯示順序為前記解碼對象之影像的前1個的既存參照影像所對應之狀態向量與該當狀態遷移行列式而求出解碼對象之影像所對應之狀態向量，基於前記觀測行列式和該當編碼對象之影像所對應之狀態向量而生成前記新增參照影像，然後儲存至前記儲存手段中；在前記熵解碼步驟中，係將基於已更新之前記參照影像清單來生成前記對象領域之預測訊號之際所使用的前記參照影像加以表示的參照影像號碼，從前記壓縮資料中解碼出來；在前記預測訊號生成步驟中，係使用已解碼之前記參照影像號碼所示的前記參照影像，來生成前記對象領域的預測訊號。
  28. 一種動畫編碼程式，係用來使如申請專利範圍第12項~第15項之任一項所記載之動畫編碼裝置所涉及之處理，在電腦上執行。
  29. 一種動畫解碼程式，係用來使如申請專利範圍第16項~第20項之任一項所記載之動畫解碼裝置所涉及之處理，在電腦上執行。
TW098131397A 2008-09-19 2009-09-17 Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, and animation decoding program TWI548265B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008241128 2008-09-19
JP2009104084A JP5680283B2 (ja) 2008-09-19 2009-04-22 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム

Publications (2)

Publication Number Publication Date
TW201016021A TW201016021A (en) 2010-04-16
TWI548265B true TWI548265B (zh) 2016-09-01

Family

ID=42039517

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098131397A TWI548265B (zh) 2008-09-19 2009-09-17 Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, and animation decoding program

Country Status (6)

Country Link
US (1) US9277238B2 (zh)
EP (2) EP2838269A1 (zh)
JP (1) JP5680283B2 (zh)
CN (1) CN102027746B (zh)
TW (1) TWI548265B (zh)
WO (1) WO2010032693A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5680283B2 (ja) 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP5368631B2 (ja) * 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
JP2012253722A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像符号化装置と画像復号装置およびその方法とプログラム
KR101442127B1 (ko) 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US20130101014A1 (en) * 2011-10-25 2013-04-25 Microsoft Corporation Layered Screen Video Encoding
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN104025587B (zh) * 2011-12-28 2017-08-29 Jvc建伍株式会社 动图像解码装置及动图像解码方法
EP4152751A1 (en) * 2012-01-19 2023-03-22 Electronics And Telecommunications Research Institute Method for image coding/decoding
US9729870B2 (en) * 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
CN102970542B (zh) * 2012-11-30 2015-06-10 上海晨思电子科技有限公司 一种视频数据转换的方法、装置和智能电视
KR101410837B1 (ko) * 2013-09-10 2014-06-24 이에스이 주식회사 비디오 메모리의 모니터링을 이용한 영상 처리 장치
CN104967453B (zh) * 2015-06-24 2018-01-05 西北工业大学 基于fpga的多路循环数据压缩器和解压缩器以及方法
CN104933670B (zh) * 2015-07-02 2018-06-15 北京电子工程总体研究所 一种图像像素数据的存储方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008331A2 (en) * 2006-07-11 2008-01-17 Thomson Licensing Methods and apparatus using virtual reference pictures

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60235528A (ja) * 1984-05-08 1985-11-22 Canon Inc デ−タ圧縮方式
DE69535007T2 (de) * 1994-12-20 2006-12-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur objektbasierten prädiktiven Kodierung und Übertragung von digitalen Bildern und Dekodierungsvorrichtung
CN1155259C (zh) 1996-11-26 2004-06-23 松下电器产业株式会社 运动图象可变比特率编码装置和编码方法
US20040135788A1 (en) * 2000-12-22 2004-07-15 Davidson Colin Bruce Image processing system
US6909807B2 (en) * 2001-06-28 2005-06-21 Intel Corporation Compression and synthesis of two dimensional images
US6977659B2 (en) * 2001-10-11 2005-12-20 At & T Corp. Texture replacement in video sequences and images
CN100420308C (zh) * 2002-04-26 2008-09-17 株式会社Ntt都科摩 图象编码装置和图象译码装置
CN101039424B (zh) * 2002-07-15 2010-05-26 株式会社日立制作所 动态图像编码方法
US7336803B2 (en) * 2002-10-17 2008-02-26 Siemens Corporate Research, Inc. Method for scene modeling and change detection
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
JP4415186B2 (ja) * 2004-05-17 2010-02-17 カシオ計算機株式会社 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8150151B2 (en) * 2005-05-12 2012-04-03 Bracco Imaging S.P.A. Method for coding pixels or voxels of a digital image and a method for processing digital images
WO2007094100A1 (ja) * 2006-02-13 2007-08-23 Kabushiki Kaisha Toshiba 動画像符号化／復号化方法及び装置並びにプログラム
JP5680283B2 (ja) 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008331A2 (en) * 2006-07-11 2008-01-17 Thomson Licensing Methods and apparatus using virtual reference pictures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Stefano Soatto, Gianfranco Doretto, Ying Nian Wu, "Dynamic Textures," Proceedings of the Eighth IEEE International Conference on Computer Vision, Vol. 2, Pages. 439-446, July 7-14, 2001. http://dx.doi.org/10.1109/ICCV.2001.937658^&rn^ *

Also Published As

Publication number Publication date
JP2010098710A (ja) 2010-04-30
EP2352295A1 (en) 2011-08-03
WO2010032693A1 (ja) 2010-03-25
TW201016021A (en) 2010-04-16
CN102027746A (zh) 2011-04-20
US9277238B2 (en) 2016-03-01
EP2838269A1 (en) 2015-02-18
CN102027746B (zh) 2014-03-26
JP5680283B2 (ja) 2015-03-04
EP2352295B1 (en) 2014-11-12
EP2352295A4 (en) 2012-03-28
US20110222601A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
TWI548265B (zh) Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, and animation decoding program
CN107071465B (zh) 动态图像预测解码装置及方法
JP4949836B2 (ja) 記述的モデルパラメータを用いたエンハンスメントレイヤデータを符号化及び復号化するシステム及び方法
JP2013201773A (ja) データを符号化するための方法、装置、およびコンピュータ読み取り可能な記録媒体
JP2007300380A (ja) 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
RU2689424C1 (ru) Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
US20090279614A1 (en) Apparatus and method for managing reference frame buffer in layered video coding
CN103299635A (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序，图像预测解码装置、图像预测解码方法以及图像预测解码程序
JP6426648B2 (ja) 動画像予測復号方法及び動画像予測復号装置
KR100720851B1 (ko) 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 기록한 기록 매체, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 기록한 기록 매체
KR101431046B1 (ko) Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
JP4620695B2 (ja) スケーラブル動画像符号化方法，装置，そのプログラムおよびその記録媒体
JP5375697B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム
JP2020058075A (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び記録媒体
JP5415495B2 (ja) 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP6071618B2 (ja) 画像処理装置及びプログラム
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
Wu et al. Generative Memorize-Then-Recall framework for low bit-rate Surveillance Video Compression
JP5715291B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
Malassiotis et al. Motion estimation based on spatiotemporal warping for very low bit-rate coding
JP2006109052A (ja) 符号化装置及び符号化プログラム
JP2004343710A (ja) 動画像復号装置及び方法
JP2006109053A (ja) 復号化装置及び復号化プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees