TW201215100A - Information processing device and information processing method - Google Patents

Description

201215100 六、發明說明： 【發明所屬之技術領域】 本技術係關於一種資訊處理裝置及資訊處理方法，尤其 係關於一種能夠以低延遲再生高畫質之立體圖像之資訊處 理裝置及資訊處理方法。 【先前技術】 當前’經由網際網路或LAN(Local Area Network，區域 網路）等各種網路而傳送圖像資料（尤其是動態圖像資料）之 應用程式及服務被廣泛利用。於經由網路而傳送圖像資料 之情形時，一般而言係在發送側藉由編碼（壓縮）處理使資 料量減少之後將圖像資料向網路送出，在接收側對經編碼 之圖像資料進行解碼（解壓）處理而使其再生。 作為圖像壓縮處理，最廣為人知的是MPEG(Moving Pictures Experts Group，動晝專家群）方式。於使'用MPEG 方式作為圖像資料之傳送時之圖像壓縮處理之方式的情形 時，以MPEG方式為依據而生成之MPEG串流係遵循 IP(Internet Protocol，網際網路協定）而儲存至ΪΡ封包’並 經由網路而傳送。而且，MPEG串流係使用PC(Personal Computer，個人電腦）或 PDA(Personal Digital Assistants’ 個人數位助理）、行動電話機等通訊終端而得以接收，並 於通訊終端之畫面上顯示與MPEG串流相對應之圖像。 然而，在以圖像資料之輸送為主要目的之例如隨選視訊 (Video on-demand)及實時影像之串流輸送、或者視訊會 議、視訊電話等即時通訊中，存在因網路之抖動而使發送 154157.doc 201215100 側之圖像資料全部未到達接收側之環境、或者圖像資料由 具有不同能力之終端所接收之環境。 具體而言，例如存在如下情形：自1個發送源發送之圖 像資料由行動電話機等包含低解像度之顯示器與處理能力 較低之CPU(Central Processing Unit，中央處理單元）的接 收終端所接收並進行顯示，與此同時，由桌上型個人電腦 等包含高解像度之顯示器與處理能力較高之CPU的接收終 端所接收並進行顯示。 如此，於假設圖像資料由具有不同能力之終端所接收之 環境的情形時，例如利用有相對於收發之圖像資料階層性 地執行編碼之被稱為階層編碼的技術。於圖像資料經階層 編碼並發送之情形時，於接收側，例如可分選面向包含高 解像度之顯示器之接收終端之編碼資料、及面向包含低解 像度之顯示器之接收終端之編碼資料並予以保持，適當變 更圖像尺寸或晝質。 作為可進行階層編碼之壓縮·擴展方式，例如可列舉 MPEG4 方式與 JPEG2000(Joint Photographic Experts Group 2000，聯合圖像專家群2000)方式。MPEG4方式中，預定 將FGS(Fine Granularity Scalability，精細可分級性）技術作 為標準規格而引入並進行分佈化，且據說藉由該技術可自 較低之位元率至較高之位元率可縮放地輸送。又，以子波 (Wavelet)轉換為基礎之JPEG2000方式中，可發揮子波轉 換之特徵而以空間解像度為基礎階層性地生成封包、或者 以畫質為基礎階層性地生成封包。又，JPEG2000方式中， 154157.doc 201215100 可藉由不僅可處理靜止圖像亦可處理動晝之M〇ti〇n(運動) JPEG20GG(Part 3(第3部分））方式，將經階層化之資料作為 檔案而保存。 進而#為I5自層編碼之方式，亦提出有以離散餘弦轉換 (DCT. Discrete Cosine Transf0rm)為基礎之方式。於該方 :中’對圖像資料等進行DCT處理而區分高波段及低波 段，將經區分之高波段與低波段作為階層而生成封包。 又，以圖像資料之輸送為主要目的之通訊中，於較多之 情形時需要即時性。因&，為確保即時性作為以ιρ為基 礎之通訊協I通常使用UDp(User Datag聰㈣。⑺i，用 戶資料報協定）’於UDP之上的階層中使用RTp(Reai_time Transport Protoc〇1，即時傳送通訊協定卜再者，儲存至 封包之資料格式遵從根料種制程切編碼方式而 疋義之各自之格式。又，作為通訊網路，使用無線或有線 之LAN、或光纖通訊、數 位用戶迴路家族）、電力線路通訊、或c〇_ax(c〇axiai Cable’同軸電纜）之網路等。 忒等通訊網路逐年高速化。然而，於現狀下，存在顯示 圖像之大晝面化及高畫質化相較即時性更優先之傾向，發 ^之圖像資料之資料量正在增大。因&，例如，利用有當 月’J成為主流之MPEG方式或者JPEG2〇〇〇方式之代表性系統 中，碼延遲（編碼延遲+解碼延遲）達到2圖片（picture)以 上，故難說可確保圖像資料輸送中之充分之即時性。 因此，近年來，提出有藉由將丨圖片分割成包含N個線 154157.doc 201215100 (叫以上)之集合的線塊，並以該線塊為單位來壓縮圖像 =縮短延遲時間的圖縣縮方式（以τ，稱為線型編解碼 益線型編解碼器之優勢在於：延遲時間為短時間·及 由，以圖像屢縮之！個單位進行處理之資訊較少，故可實 現局速處理及硬體規模之減小。 關於線型編解Μ，例如記載於專利文獻…。且體而 言，專利文獻！中，記載有針對藉由線型編解碼器而、經塵 縮之通訊資料以線塊為單位適當地進行缺漏資料之内插處 ^通Bfl裝置。又，專利文獻2t，記载有實現了使用有 線i編解碼器作為I缩方式之情形時之延遲之減少及處理 二資訊處理裝置。進而，專利文獻…記載有 2由傳輸由利用有子波轉換之線型編解碼器壓縮之圖像資 低頻率成分而抑制畫質之劣化的發送裝置…專利 :獻4中，記載有在藉由線型編解碼器而經壓縮之圖像資 料之通訊中穩定地獲得同步的發送裝置。 又’由於可藉由㈣線型編解碼器㈣低延遲傳輸高書 之圖像㈣’故期待線型編解碼器今後應用於進行實況 轉播之相機系統。再者，本申& 本申5月人於專利文獻5中提出有 使用録調變器而提高傳輸效率的相m 另-方面’作為立體圖像之編碼方式，MV。(祕 /dlng，多視點編碼）方式具代表性。該MVC方式中，將 用圖像與右眼用圖像視為分別獨立之圖像並對其等進 订編媽。又，作為立體圖傻 圖像與方式，亦存在將左眼用 朁作為訊框圖像而編碼之視框序列 154157.doc 201215100 (Frame SeqUentiai)方式等。再者，此處為簡化說明，立體 圖像係設為包含左眼用圖像與右眼用圖像之2個視點之圖 像，但亦可為包含2個以上之視點之圖像。 參照圖1，說明對藉由MPEG4或JPEG2000方式而經編碼 之接收資料進行内插處理之情形時之先前之通訊終端裝置 1〇的構成例。圖令，虛線箭頭表示控制信號之流向，實線 箭頭表示資料之流向。 圖像應用程式管理部u自圖像源等之應用程式接受發送 "青求’將發送對象之圖像資料等供給至發送資料壓縮部 12。又，圖像應用程式管理部11根據來自應用程式之發送 "月求進行路徑控制或基於Q〇S(Quality of Service，服務 質量）之與無線線路相關之控制。進而，圖像應用程式管 理部11將自接收資料解碼部25供給之圖像資料等保持於未 圖不之記憶體，並通知特定之應用程式接收。再者，圖像 應用程式管理部11亦可進行CCD(Charge

Coupled Device， 電街麵 & 器件）或 CMOS(Complementary Metal Oxide Sermconductor ’互補金氧半導體）感測器等圖像輸入裝置 之控制。 發送資料壓縮部12係以MPEG4或JpEG2〇〇〇方式對自圖 像應用程式管理部11供給之圖像f料進行壓縮，從而削減 違圖像資料之資料量。接著，發送資料壓縮部12將經壓縮 之圖像資料輸出至發送記憶體丨3。 發送§己憶體13儲存自發送資料壓縮部丨2輸入之圖像資 料。又，發送記憶體13儲存自接收資料分離部21供給之向 154157.doc 201215100 其他終端傳送的傳送資料。再者，發送記憶體丨3亦可储存 不向其他終端傳送之資料。又，發送記憶體丨3將資料之儲 存情況通知給收發控制部14。 收發控制部14根據自發送記憶體13供給之儲存情況而請 求發送資料生成部15開始處理《又，收發控制部丨4遵循 TDMA(Time Division Multiple Access，時分多重存取）或 CSMA(Carrier Sense Multiple Access，載波感測多重存取） 等MAC(Media Access Control，媒體存取控制）協定，而控 制物理層控制部16。再者，收發控制部14亦可進行與 CSMA相似之方式即並非藉由載波而係藉由前導碼 (preamble)之關聯而識別封包之被稱為pSMA(preamble Sense Multiple Access ’前導碼感測多重存取）的媒體存取 控制。又’收發控制部14根據自接收資料分離部21供給之 資訊而控制物理層控制部1 6。 發送資料生成部1 5根據收發控制部14之請求，將儲存至 發送記憶體13之圖像資料或傳送資料封包化，開始生成發 送封包之處理。發送資料生成部1 5將所生成之發送封包供 給至物理層Txl7。又，發送資料生成部15視需要而控制物 理層控制部16。 物理層控制部16基於由收發控制部14或發送資料生成部 15進行之控制而控制物理層7^17及物理層尺乂2〇。 物理層Τχ17根據物理層控制部16之請求而開始動作，將 自發送資料生成部15供給之發送封包輸出至收發切換部 18 〇 154157.doc 201215100 收發切換部18具有切換資料之發送或接收之功能，於發 送封包自物理層Txl7供給而來之情形時，經由天線19發送 該發送封包，於經由天線19接收封包之情形時，將該封包 供給至物理層Rx20。 物理層RX20根據物理層控制部16之請求而開始動作，將 經由天線19所接收之封包供給至接收資料分離部21。 接收資料分離部21對自物理層Rx2〇供給之封包予以分 析，提取包含圖像應用程式管理部u中所需之圖像資料之 資料’並將其作為接收資料而供給至圖像解碼部22與内插 資料健存部23。又，接收資料分離部21對自物理層Rx2〇供 ，。之封包予以分析，根據路由表咖6)等資訊，提 取必需向其他終端發送之資料作為傳送資料。接著，接收 資料分離部21將該傳送資料供給至發送記憶體13。又，接 收資料刀離部21自封包提取收發控制部14所需之資訊，並 供給至收發控制部丨4。 圖像解碼部22以欄位為單位或以複數個欄位為單位對自 接收資料分離部21供給之接收資料予以分析，並將分析結 果供給至圖像資料輸入切換部24。又，圖像解竭部Μ對接 收資料予以分析’藉由該接收資料令所含之圖像資料之欄 位編號而掌握應再生之接收資料。接著，圖像解碼部⑽ 應再生之接收資料供給至圖像資料輸人切換部24。 内插資料儲存部23將自接收資料分離部21供給之接收資 料作為内插資料而予以儲存。 圖像資料輸入切換部2 4根據自圖像解碼部2 2供給之分析 154157.doc 201215100 結果’而選擇自圖像解碼部22供給之接收資料、或儲存至 内插資料儲存部23之内插資料。接著，圖像資料輸入切換 部24將所選擇之接收資料或内插資料供給至接收資料解碼 咅P25 ° 此處，如上所述，分析結果係以複數個訊框為單位或者 欄位為單位而獲得，因此由圖像資料輸入切換部24選擇之 切換單位最短為攔位單位。因此’進行與攔位或訊框相關 之處理之MPEG方式中，直至解碼圖像被切換之前需要相 當多之時間。 接收資料解碼部25以MPEG4方式或jPEG2〇〇〇方式對自 圖像資料輸入切換部24供給之接收資料或内插資料進行解 碼，並將結果所得之圖像資料供給至圖像應用程式管理部 11。再者，接收資料解碼部25僅可以攔位單位以上之間隔 進行再初始化β 接下來，對圖i所示之通訊終端裝置1〇之基本動作進 說明。 _於接收時’自作為通訊對象之發送台發送而來之資料係 由天線19 I)欠發切換部j 8、及物理層Rx2〇而被接收，藉 由接收資料分離部21將包含圖像應用程式管理部"中所需 之圖像資料之接收資料分離。經分離之接收資料係由圖像 解妈部22進行分析，例如於未產生m料，由接收 寅料解碼部25進行料。另—方面，於產生錯誤之情形 1夺，儲存至内插資料儲存部23之内插資料代替接收資料而 接收資料解碼部25解碼^經解碼之圖像資料遵從圖像應 I54157.doc 201215100 用程式管理部u之控制而輸出至顯 ::者’本說"中，所謂「錯誤」，:二： 之錯系’亦包括資料之缺漏。 於發送時，自圖像應用程式管理部⑽給之發 圖像資料係由發送資料壓縮部12壓縮，並储存至發送 體"。所儲存之圖像資料係藉由發送資料生成部15: 封包化為發送封包，並經由物理層如、收發切換部I 及天線19而發送至作為通訊對象之發送台。 [先前技術文獻] [專利文獻] [專利文獻1]曰本專利特開2007-31 1948號公報 [專利文獻2]曰本專利特開2008-28541號公報 [專利文獻3]曰本專利特開2〇〇8_42222號公報 [專利文獻4]曰本專利特開2009-278545號公報 [專利文獻5]曰本專利第3617087號 【發明内容】 [發明所欲解決之問題] 如上所述，專利文獻1中所記載之通訊裝置係針對藉由 線型編解碼器而壓縮之通訊資料，以線塊為單位適當地進 行缺漏資料之内插處理。藉此，能夠以低延遲再生高畫質 之圖像。 然而，專利文獻1中所記載之通訊裝置係將二維圖像作 為通訊對象，並未對應立體圖像之通訊。 具體而言’於通訊對象為包含利用不同相機進行攝影所 154157.doc -11· 201215100 得之左眼用圖像與右眼用圖像之立體圖像的情形時，必需 於接收側進行左眼用圖像與右眼用圖像之相位對準及應對 線路錯誤。更詳細而言，於構成立體圖像之左眼用圖像與 右眼用圖像分別以不同頻道進行傳輸之情形時，左眼用圖 像與右眼用圖像中延遲時間或錯誤數不同。又，於左眼用 圖像與右眼用圖像之任一者產生錯誤之情形時，即便另一 者未產生錯誤，亦會使接收圖像失去立體感。其結果為， 於時間軸方向上立體感之有無會發生變化，而給用戶以不 愉快感。 因此，必需於接收側掌握左眼用圖像與右眼用圖像之各 自之延遲時間及錯誤數，而進行以編碼單位管理之處理。 然而，專利文獻1所記載之通訊裝置中，並未考慮如此 之處理1此’難以於接收侧以低延遲再生高畫質之立體 圖像。 本技術係#於此種狀況研究而成者，㈣能夠以低延遲 再生高畫質之立體圖像者。 [解決問題之技術手段] 本技術之-形態之資訊處理裝置包括：接收部，其以線 塊為單位而接收藉由線型編解碼器而經編碼之構成立體圖 像資料之複數個視點的圖像資料；儲存部，其將藉由上述 接收部所接收之上述複數個視點之圖像資料作為内插資料 而予以儲存；及圖像輸出部，其係於藉由上述接收部所接 收之上述特定量之上述複數個視點之圖像資料中的至少 個視點之圖像f料之上述錯誤數為第U核以上的情形 154157.doc •12· 201215100 時，輸出與上述特定 儲存於上述儲存部之 上述内插資料。 置之複數個視點之圖像資料相對應之 錯誤數小於第2閾值之上述特定量的 本技術之一方面之資訊處理方法係與本技術之一方面之 資訊處理裝置相對應。 本技術之-形態中，對藉由線型編解碼編碼 成立體圖像資料之複數個視點之圖像資料的以線塊為單位 之接收進行控制’將所接收之上述複數個視點之圖像資料 作為内插資料㈣存於儲存部，於所接收之上述特定量之 上述複數個視點之圖像資料中的至少__個視點之圖像資料 :上述錯誤數為^閾值以上的情形時，㈣與上述特定 量之複數個視點之圖像資料相對應之儲存於上述儲存部之 錯誤數小於第2闕值之上述特定量的上述内插資料。 [發明之效果] 月匕夠以低延遲再生高畫質之立體 根據本技術之一形態 圖像。 【實施方式】 <第1實施形態> [通訊系統之第1實施形態之構成例] 圖2係表示應用本技術之通訊系統之第斤施形態之構成 例的方塊圖。 圖2之通訊系統3〇係由2台攝影裝置31八及攝影裝置 31B、以及中繼器32所構成。 通》fL系統30之攝影裝置31A係例如由視訊攝影機所構 154157.doc 13 201215100 成。攝影裝置31A對被攝體進行攝影，並藉由線型編解碼 器對結果所得之®像資料進行接著，㈣裝置Μ 利用無線將經㈣之圖像資料作為立體圖像資料中之左眼 :圖像資料（以下，稱為L⑽，左）圓像資料）發送至中繼 盗32。又，攝影裝置31A利用無線接收自中繼器η發送而 來之圖像資料等。 攝影裝置31B係例如由視訊攝影機所構成。攝影裝置 31B以與攝影裝置31A不同之視點對被攝體進行攝影，並 ，由線型編解碼器對結果所得之圖像資料進行麼縮。接 者’攝影裝置31B利用無線將經壓縮之圖像資料作為立體 圖像資料中之右眼用圖像資料（以下，稱為阶响，右）圖 像資料)發送至中繼器32。又，攝影裝置31B利用無線接收 自中繼器32發送而來之圖像資料等。 再者’攝影裝置31A及攝影裝置31B並不限定於視訊攝 影機’亦可為具有攝影功能之數位靜態相機、pc、行動電 話機、遊戲機等其他裝置U，以下，於無需特別區分攝 影裝置31A與攝影裝置仙之情形時，將其等統稱為攝影 裝置31。 中繼器32係例如由PC所構成。中繼器训用無線接收自 攝影裝置31A發送而來之[圖像資料、與自攝影裝置3ΐβ發 送而來之R圖像資料。t繼器32以與線型編解碼器相對應 之方式對所接收之L圖像資料與R圖像資料進行解碼，並根 據解碼之結果所得之L圖像資料與R圖像資料，修正相機間 之色偏差及光軸之微小偏差，從而顯示立體圖像。又，中 154157.doc -14· 201215100 繼器32將特定之圖像資料發送至攝影裝置31。 再者’攝影裝置31及中繼器32亦可於同級間（peer_t〇 peer)動作’亦可作為網路之一部分而動作。 [中繼器之構成例] 圖3係表示圖2之中繼器32之構成例之方塊圖。 對圖3所示之構成中與圖丨之構成相同之構成附加相同符 號。適當省略重複之說明。 圖3之中繼器32之構成主要在以下方面與圖構成不 同：設置有發送資料壓縮部40，以代替發送資料壓縮部 12 ;設置有接收資料分離部41，以代替接收資料分離部 21 ;設置有線型内插部42，以代替圖像解碼部22、内插資 料儲存部23、及圖像資料輸入切換部24 ;以及設置有接收 資料解碼部43，以代替接收資料解碼部25 ^ 中繼器32自攝影裝置31A接收藉由線型編解碼器而壓縮 之線塊單位之L圖像資料之封包，自攝影裝置⑽接收_ 像資料之封包，並根據該等封包而顯示立體圖像。 具體而言’中繼器32之發送資料壓縮部简由線型編解 碼器以特定之編碼速率對自圖像應用程式管理部丨1供认之 圖像資料進行壓縮，從而削減該圖像資料之資料量；^接 著，發送資料壓縮部40與圖丨之發送資料壓縮部Η同樣 地’將經壓縮之圖像資料輸出至發送記憶體13。 接收資料分離部41對自物理層Rx2〇供給之封包予以分 析’提取包含圖像應用程式f理部u中所需之線塊單位之 圖像資料之資料，並將其作為接收資料而供給至線型内插 154157.doc •15- 201215100 又’接收資料分離部41與圓1之接收資料分離部21 同樣地，對自物理層Rx2〇供給之封包予以分析，根據路由 表等資讯而提取向其他終端發送所需之傳送資料。接著， 接收資料分離部41與接收資料分離部2丨同樣地，將該傳送 資料供給至發送記憶體13。進而，接收資料分離部41與接 收資料分離部21同樣地，自封包提取收發控制部丨4所需之 資訊’並供給至收發控制部14。 線型内插部42對自接收資料分離部41供給之接收資料進 行内插處理。具體而言，線型内插部42將自接收資料分離 部41供給之接收資料、或作為内插資料而儲存之接收資料 作為内插後資料，供給至接收資料解碼部43。再者，關於 線型内插部42之詳情，參照下述之圖8進行說明。 、 接收資料解碼部4 3以與線型編解碼器相對應之方式對自 線型内插部42供給之内插後資料進行解碼，並將其結果所 得之圖像資料供給至圖像應用程式管理部丨丄。 進而，接收資料解碼部43求出内插後資料之缺漏率。具 體而言，接收資料解碼部43求出作為内插後資料之匕圖像 資料與R圖像資料各自所含之強制解碼資料（虛設資料）之 發生頻度作為缺漏率。再者，所謂強制解碼資料係配置於 内插後資料之錯誤部分之資料，接收資料解碼部们將該缺 漏率與當前之解碼對象之線塊編號作為解碼資訊而供給至 線型内插部42。 再者，攝影裝置31A及攝影裝置31B之構成除了不包括 線型内插部42、或者設置有上述專利文獻i中所記載之線 154157.doc -16- 201215100 型内插部以代替線型内插部42之方面以外，與中繼器32之 構成相同，故省略說明。 [發送資料壓縮部之構成例] 圖4係表示圖3之發送資料壓縮部4〇之構成例之方塊圖。 如圖4所示，發送資料壓縮部4〇係由子波轉換部51、申 途計算用緩衝部52、係數重排序用緩衝部53、係數重排序 部54、量化部55、及熵編碼部56所構成。 輸入至發送資料壓縮部40之圖像資料係經由子波轉換部 51而暫時積存於申途計算用緩衝部52。 子波轉換部5 1對積存於中途計算用緩衝部52之圖像資料 實施子波轉換。關於該子波轉換部51之詳情於後敘述。子 波轉換部5 1將藉由子波轉換而獲得之係數資料供給至係數 重排序用緩衝部53。 係數重排序部54按照特定之順序（例如，子波逆轉換處 理順序）將寫入至係數重排序用緩衝部53之係數資料讀 出’並供給至量化部5 5。 量化部55以特定之方法將所供給之係數資料量化，並將 所獲得之係數資料供給至熵編碼部56。 熵編碼部56如以霍夫曼編碼（Huffman coding)或算術編 碼等特定之熵編碼方式對所供給之係數資料進行編碼。熵 編碼部56將結果所得之資料作為經壓縮之圖像資料而供給 至發送記憶體13(圖3)。 [子波轉換部之說明] 圖5係表示圖4之子波轉換部51之構成例之方塊圖。 154157.doc •17· 201215100 再者，於圖5之例中，子波轉換之等級為3(等級！至等級 3)，且子波轉換部㈣設為將圖料料分割成低波段與高 波段且僅將低波段成分階層性地分割者。又，於圖$中， 為方便起見’表示有相對於一維圖像資料（例如圖像資料 之水平成分）進行子波轉換之區塊，但可藉由將該區塊擴 展成二維而與二維圖像資料（圖像資料之垂直成分與水平 成分）相對應。 等級1之電路部61包含低通濾波器71、降低取樣頻率取 樣器（d_Sampler)72、高通遽波器73、及降低取樣頻率取 樣器74。等級2之電路部62包含低通遽波請、降低取樣 頻率取樣器82、高通遽波㈣、及降低取樣頻率取樣器 84。等級3之電路部63包含低通濾波_、降低取樣頻率 取樣器92、高通渡波器93、及降低取樣頻率取樣器。 自圖4之中途計算用緩衝部52讀出之圖像資料係藉由電 路部61之低通濾波器71(傳輸函數H〇(z))與高通濾波器 W傳輸函數Hl(z))而頻帶分割。藉由低通據波器71之頻帶 刀割而獲得之低波段成分係供給至降低取樣頻率取樣器 72藉由问通濾波器73之頻帶分割而獲得之高波段成分係 供給至降低取樣頻率取樣器74,且分別使解像度減省為二 分之一倍。 藉由降低取樣頻率取樣器72減省所得之低波段成分（圖 中之L(L〇W，低）成分）之信號係藉由電路部62之低通濾波 器81(傳輸函數h〇(z))與高通濾波器83(傳輸函數Ηι(ζ))而進 而頻帶分割。藉由低通濾波器81之頻帶分割而獲得之低波 154157.doc 201215100 段成分係供給至降低取樣頻率取樣器82，藉由高通渡波器 83之頻帶分割而獲得之高波段成分係供給至降低取樣頻率 取樣器84，且分別使解像度減省為二分之一倍。 又，藉由降低取樣頻率取樣器82減省所得之低波段成分 (圖中之LL成分）之信號係藉由電路部〇之低通滤波器 9U傳輸函數H〇(Z))與高通據波器93(傳輸函數出卜)）而進而 頻帶分割。藉由低㈣波器91之頻帶分割而獲得之低波段 成分係供給至降低取樣頻率取樣器92，藉由高通濾、波器％ 之頻帶分割而獲得之高波段成分係供給至降低取樣頻率取 樣器94，且分別使解像度減省為二分之一倍。 如此，相對於低波段成分僅重複等級數之頻帶分割與減 省，藉此而使低波段成分階層化為等級數之階層。即，於 圖5之例之情形時，僅進行等級數即3次之頻帶分割。藉 此，藉由降低取樣頻率取樣器74減省所得之低波段成分 (圖中之L成分）階層化為藉由降低取樣頻率取樣器84減省 所得之高波段成分（圖中tLH成分）、藉由降低取樣頻率取 樣器94減省所得之高波段成分（圖中之LLH成分广及藉由 降低取樣頻率取樣器92減省所得之低波段成分（圖中之 成分）之3個階層。 又，將藉由降低取樣頻率取樣器74減省所得之高波段成 分（圖中之H(High，高）成分）視為i個階層。接著，經階層 化之Η成分、LH成分、LLH成分、及LLL成分作為係數資 料而輸出至係數重排序用緩衝部53(圖4)。 圖6係表示至等級3為止對二維圖像資料進行子波轉換之 154157.doc •19· 201215100 結果所得之係數資料的圖。 圖6所示之L及Η之標註法與處理一維圖像資料之圖5中 之L及Η之標註法不同。即，圖6之例中係進行圖像資料之 水平成分與垂直成分之頻帶分割’故必需標註水平成分與 垂直成分各自之頻帶成分。因此，於圖6中連續地標1主水 平成分與垂直成分之2種頻帶成分。例如，「ΗΗ」意指水 平成分及垂直成分之頻帶成分均為Η成分，「HL」意指水 平成分之頻帶成分為Η成分且垂直成分之頻帶成分為1成 分。又，「LLLH」意指水平成分為LL成分且垂直成分為 LH成分》 如圖6所示，首先，於等級1之水平成分與垂直成分之頻 帶分割中，生成LL成分、LH成分、HL成分、及ΗΗ成分之 4種成分。接著，於等級2之水平成分與垂直成分之頻帶分 割中，LL成分再次頻帶分割，而生成LLLL成分、LLHL成 分、LLLH成分、及LLHH成分。進而，於等級3之水平成 分與垂直成分之頻帶分割中，LLLL成分再次頻帶分割， 而生成LLLLLL成分、LLLLHL成分、LLLLLH成分、及 LLLLHH成分。再者，以下，將經頻帶分割而成之1種成分 稱為次頻帶。 又，線型編解碼器中，將為生成最低波段成分之次頻帶 (於圖6之例之情形時為LLLLLL成分、LLLLHL成分、 LLLLLH成分、LLLLHH成分）之1線之係數資料所必需之線 數之圖像資料視為線塊，以該線塊為單位而生成係數資 料。如上所述，於各等級中解像度係減省為二分之一倍， 154I57.doc •20· 201215100 因此，例如於分割等級數為]^之情形時，構成線塊之線之 數量為2之N乘方。例如於分割等級數為4之情形時，構成 線塊之線之數量為2之4乘方即16。 再者，根據子波轉換處理，可實現不僅與頻率之漸進性 相對應而且與空間解像度之漸進性、SNR(Signal t〇 N〇ise

Ratio，信號雜訊比）即晝質之漸進性、或者色彩成分 (RGB . 一原色（紅（red)，綠（呂咖打），藍（biue))或 YCbcr(Y(iuminance)與彩度Cb(blueness)、Cr(redness川之 漸進性等各種漸進式態樣相對應之階層編碼（漸進式編 碼）。 如此之漸進式編碼係於網際網路之圖像輸送等中被較多 採用之編碼，且可於解碼側進行如下之階段性解碼顯示處 理，即例如先輸出粗略之圖像資料，再依序輸出精細之圖 像並進行顯示等。 例如，接收資料解碼部43可首先對低波段之接收資料進 行解碼，並在短時間内於顯示器（未圖示）上顯示較粗之概 略立體圖像，此後對高波段之接收資料進行解碼，並逐漸 地顯示精細之立體圖像。 [接收資料之資料格式之說明] 圖7係表示自攝影裝置31接收之接收資料之資料格式之 圖。 如圖7所示’接收資㈣由圖像資料和與該圖像資料相 對應之線塊編號、頻道編號、及次頻帶編號所構成。 再者，所謂線塊編號係用以識別畫面内 合線塊之編 154157.doc 201215100 號。又，所謂頻道編號係用以特定接收資料之頻道之編 號，且L圖像資料之頻道編號與反圖像資料之頻道編號不 同。因此，藉由檢測接收資料之頻道編號，可識別該接收 資料中所含之圖像資料為L圖像資料、或尺圖像資料。進 而，所謂次頻帶編號係用以特定次頻帶之編號。 [線型内插部之構成例] 圖8係表示圖3之線型内插部42之構成例之方塊圖。 再者，圖中，虛線箭頭表示控制信號之流向，實線箭頭 表示資料之流向。 圖8之線型内插部42係由接收資料分析部1〇1、資料儲存 部102、L圖像資料輸出管理部1〇3、R圖像資料輸出管理部 1〇4、及線型複數資料鏈接管理部1〇5、及圖像資料輸入切 換部106(圖像輸出部）所構成。 線型内插部42之接收資料分析部101保持自圖3之接收資 料分離部41供給之接收資料。又，接收資料分析部對 該接收資料予以分析，識別該接收資料中所含之線塊編 號。進而，接收資料分析部1〇1對接收資料予以分析，根 據該接收資料中所含之頻道編號，而識別接收資料中所含 之圖像資料為L圖像資料、或R圖像資料。接收資料分析部 1〇1對接收資料予以分析，檢測接收資料之封包錯誤數與 到達時間。 〃 進而，接收資料分析部1〇1係於接收資料中所含之圖像 資料為L圖像資料之情形時，將該接收資料之線塊編號、 封包錯誤數、及到達時間作為L圖像資料資訊而供給至[圖 1541f7.doc •22· 201215100 像資料輪出管理部103。另一方面，於接收資料甲所含之 圖像資料為R圓像資料之情形時，接收f料分析部⑻將該 接收資料之線塊編號、封包錯誤數、及到達時間供給至r 圖像資料輸出管理部1 〇4。 進而接收資料分析部1Q1讀出包含由LgI像資料輸出管 • 理部1G3所指示之線塊編號之L圖像資料之接收資料，並且 «賣出包含由Rgl像資料輸出管理部1()4所指示之線塊編號之 R圖像資料之接收資料。 又，接收資料分析部101(插入部）係於所讀出之接收資 料中所含之L圖像資料及R圖像資料之線塊之至少—者中產 生錯誤之情形時，將強制解碼資料插入至與產生該錯誤之 部分相對應之L圖像資料及R圖像資料之 資料分析部職插入有強制解碼資料之接二= 圖像資料輸入切換部1 〇6。 〜再者，強制解碼資料例如可藉由基於使用圖像過滤器之 前後之線塊之關聯性較高之圖像資料的推測等而生成，亦 可為中間色之圖像資料。 資料儲存部1 0 2係由i欄位之圖像資料之儲存用之接枚資 •料儲存部⑴與内插資料儲存部112所構成。接收資料健存 .冑⑴係例如由具有停止功能之緩衝器所構成。接收資料 儲存部m根據來自L圖像資料輪出管理部⑻之指示盘來 自關像資料輸出管理部104之指示，而儲存來自接收資料 分離部41之接收資料或停止儲存。 内插資料儲存部U2係於在接收資料儲存部iu中儲存有 154157.doc -23- 201215100 1攔位之接收資料之愔 以儲存。内插資料儲〇、冑出41欄位之接收資料並予 包含由L圖像資料輪出子管==斤/堵存之接«料令之 資料、與包含由R圖傻咨 所心示之線塊編號之接收 號之接收資料。接:資料輸出管理部104所指示之線塊編 者’内插資料儲存部112將所嘈屮夕蛀 收資料作為内插資料 P 12將所讀出之接 _資料輸出管理部;:3 = 之L圖像資訊供给至線冑料分析部101供給

@ ^ Ψ ^ ”複數資料鏈接管理部105。又，L 圖像資枓輸出管理部1〇3根據來 部105之指令，對資粗紗— I複數資科鏈接管理

圖像資祕㈣下達儲存指令。進而，L 圖像貢科輸出皆i W05之#八⑯線型複數資料鍵接管理 °Ρ之“，將特定之線塊編號作為當前之讀出對象之 線塊編號而指示給資粗 出f象之 R圖傻部續接收資料分析部101。 之R圖像資^出#理部1G4將自接收資料分析部101供給

資讯供給至線型複數資料鏈接管理部105。又，R 圖像資料輸出管理部1 〇4根櫨 才據來自線型複數資料鏈接管理

部2令，對資㈣存部⑽下達儲存指令。進而，R 圖像-料輸出管理部104遵照來自線型複數 部105之指令，將牲令夕说仏从 ^ τ 特疋之線塊編號作為當前之讀出對象之 線塊編號而指示給資料儲存部1〇2與接收資料分析部⑻。 線型複數資料鏈接管理部105對用於以棚位為單位管理L 圖像資訊與R圖像資訊之管理表格予以保持並管理。線型 複數貧料鏈接管理部105將自L圖像資料輸出管理部⑻供 給之L圖像資訊、與自R圖像資料輸出管理部ι〇4供給之r 154157.doc •24- 201215100 圖像資s孔登錄於管理表格。又，線型複數資料鏈接管理部 105根據管理表格，以線塊為單位而指示圖像資料輸入切 換部106選擇。 又，線型複數資料鏈接管理部1〇5根據自圖3之接收資料 解碼部43供給之解碼資訊，指示L圖像資料輸出管理部1〇3 與R圖像資料輸出管理部104讀出。進而，線型複數資料鏈 接管理部105例如根據管理表格，指示L圖像資料輸出管理 t»P 103與R圖像資料輸出管理部1 〇4儲存。 圖像資料輸入切換部106遵照線型複數資料鏈接管理部 105之指示，選擇自接收資料分析部1〇1供給之接收資料、 與自資料儲存部102供給之内插資料中之任一者，並作為 内插後資料而輸出至圖3之接收資料解碼部43。 再者，接收資料分析部1〇1及資料儲存部1〇2中所記憶之 接收資料可為所有次頻帶之接„料，亦可為自最低波段 成分至數次頻帶之接收資料。於後者之情形時，為記憶接 收資料所必需之記憶容量較少便可…根據内插後資料 所顯示之圖像中，可不易識別出封包錯誤。 [管理表格之例] 如圖9所示，管理表格中設有「線塊編號 圚9係表示管理表格之例 -、「L之到達 時間」、「R之到達時間」、「到達時間之閾值（第㈣ 值）」、「L之封包錯誤數」、4之封包錯誤數」、「封 包錯誤數之間值(第！閨值)」、及「輸出」之項目。而且， 以各攔位之線塊為單位而登錄有與各項目相對應之資訊。 154157.doc -25· 201215100 圖9之例中，作為特定攔 爛位之線塊編號「1」之線塊之資 訊，與項目「線塊編號，法丄 琥」建立對應關係而登錄有「1」， 與項目「L之到達時間建 〇 遂立對應關係而登錄有該線塊編 號「1」之線塊之L圖像眘姐+ ^ 豕頁科之到達時間「10」。又，與項 目^ R之到達時間」建立對應^ ^ ^ ^ ^ ^ ^ ^ 丁應關係而登錄有線塊編號r 1」 之線塊U圖像資料之到達時間「12」，與項目「到達時 =之閣值」建立對應㈣而絲有到達 閾值 「13」。 又’與項目「L之封包錯誤數」建立對應關係而登錄有 線塊編號4」之線塊^圖像資料之封包錯誤數％， 與項目「R之封包錯誤數建立 運立對應關係而登錄有線塊編 號1」之線塊之R圖像資料之封包錯誤數「〇」。進而， 與項目「封包錯誤數之間值」建立對應關係而對應有封包 錯誤數之閾值「2」。 作為與項目「輸出」相對應之資訊，登錄有表示輸出至 圖3之接收資料解碼部43之資料、即由圖像資㈣4換 部⑽斤選擇之資料之資訊。具體而言，於l圖像資料及& 圖像資料之到達時間及封包錯誤數小於間值之情形時，八 錄有「接收資料」，於除此以外之情形時，登錄有「内^ 資料」。 例如，線塊編號之線塊U圖像資料及㈣像資料 之到達時間分別小於到達時間之閾信「 13」’但L圖像資 料之封包錯誤數為封包錯誤數之閾值「 值2」以上。因此， 作為與線塊編號M」之項目「輸出」相對應之資訊而登 154157.doc -26- 201215100 錄有「内插資料」。 再者，與項目「到達時間之閾值」及「封包錯誤數之閣 值」相對應之資訊既可預先登錄，亦可根據用戶之指示而 登錄》 曰μ [中繼器之處理之說明] 圖1〇係說明圖3之中繼器32之管理表格更新處理之流程 圖。 於圖10之步驟S10中，物理層控制部16控制由物理層 Rx2〇(接收部）進行之封包之接收。藉此，自攝影裝置^發 送而來之封包經由天線19、收發切換部18、及物理層τχΐ7 而被接收，並供給至接收資料分離部41。 於步驟S11中，接收資料分離部41對所接收之封包予以 分析，提取包含圖像應用程式管理部i i中所必需之線塊單 位之圖像資料之資料，並作為接收資料而輸出至線型内插 部42。 於步驟S12中，線型内插部42之接收資料分析部1〇1與資 料儲存部1〇2(圖8)取得自接收資料分離部41供給之接收資 料。接著’接收資料分析部1 〇丨保持接收資料。 於步驟S13中，接收資料分析部ι〇1對接收資料予以分 析。其結果為，接收資料分析部1〇1識別接收資料之線塊 編號、與接收資料中所含之圖像資料為L圖像資料或R圖像 資料°又’接收資料分析部101檢測接收資料之封包錯誤 數與到達時間。 接收資料分析部101係於接收資料為L圖像資料之情形 154l57.doc -27- 201215100 時’經由L圖像資料輸出管理部1 〇3將該接收資料之線塊編 號、封包錯誤數、及到達時間作為L圖像資料資訊而供給 至線型複數資料鍵接管理部1〇5。另一方面，於接收資料 為R圖像資料之情形時，接收資料分析部1〇1經由R圖像資 料輸出管理部104將該接收資料之線塊編號、封包錯誤 數、及到達時間供給至線型複數資料鏈接管理部1〇5 ^ 於步驟S14中’線型複數資料鏈接管理部105根據自L圖 像資料輸出管理部1〇3供給之L圖像資料資訊、及自尺圖像 資料輸出管理部104供給之R圖像資料資訊而更新管理表 格。然後，處理結束。 圖11係說明圖3之中繼器32之内插資料儲存處理之流程 圖°玄内插資料儲存處理係例如將各線.塊作為處理對象， 以線塊為單位而進行。 於步驟S2 1中，線型複數資料键接管理部1 參照管理表 格，對處理對象之線塊之1圖像資料與R圖像資料之兩者中 ，否未產生錯料以判斷L言，線型複數f料鍵接 管理部1G5對與制於管理表格内之處理對象之線塊之線 塊編號之項目「L之封包錯誤數」及「尺之封包錯誤數」相 對應之值是否兩者均小於特定之閾值(第2閾值)予以判斷。 再者，該閾值既可和與項目「封包錯誤數之間值」相對應 之值相同’亦可不同。 接著，於已判定與項目「L之封包錯誤數」及「尺之封 包錯誤數」相對應之值兩者均小於特定之間值之情形時， 線型複數資料鍵接管理部〗〇5判定處理對象之線塊之匕圖像 I54157.doc -28- 201215100 資料與R圖像資料之兩者中未產生錯誤。另一方面，於已 判疋與項目「L之封包錯誤數」及「尺之封包錯誤數」相對 應之值之至少一者為特定之閾值以上的情形時，線型複數 資料鍵接管理部105判定處理對象之線塊之L圖像資料與R 圖像資料之至少一者中產生錯誤。

於已在步驟S21中判定處理對象之線塊之L圖像資料與R 圖像資料之兩者中未產生錯誤之情形時，處理進展至步驟 S22。 於步驟S22中’線型複數資料鏈接管理部ι〇5參照管理表 格，對是否存在處理對象之線塊之L圖像資料與尺圖像資料 之兩者予以判斷。具體而言，線型複數資料鏈接管理部 105對與對應於管理表格内之處理對象之線塊之線塊編號 之項目「L之到達時間」及r R之到達時間」相對應之值是 否小於特疋之閾值（第4閾值）予以判斷。該閾值既可和與項 目「到達時間之閾值」相對應之值相同，亦可不同。 接著，於已判定與項目r L之到達時間」及r R之到達 時間」相對應之值小於特定之閾值之情形時，線型複數資 料鏈接管理部105判定存在處理對象之線塊之L圖像資料與 R圖像資料之兩者。另一方面，於已判定與項目「L之到達 時間」及「R之到達時間」相對應之值之至少一者為特定 之閾值以上的情形時，線型複數資料鏈接管理部1〇5判定 不存在處理對象之線塊之L圖像資料與r圖像資料之至少一 者。 於已在步驟S22中判定存在處理對象之線塊之[圖像資料 154157.doc -29- 201215100 與R圖像資料之兩者的情形時，線型複數資料鍵接管理部 H)5指示L圖像資料輸出管理部⑼糾圖像資料輸出管理; 104儲存處理對象之線塊。藉此，L圖像資料輸出管理 ⑻與R圖像資料輸出管理部1〇4分別指示接收資料储存部 111儲存處理對象之線塊。 接著，於步驟S23中，接收資料儲存部U1遵照來自^圖 像資料輸出管理部^^與尺圖像資料輸出管理部1〇4之指 不’將處理對象之線塊之L圖像f料與”像資料作為内插 資料而予以儲存°再者’於内插資料之封包錯誤數不為〇 之情形時，可藉由與接收資料分析部1()1之處理相同之處 理，而將強制解碼資料插入至内插資料β 於步驟S24中，内插資料儲存部112對1欄位之線塊之[圖 像資料與R圖像資料是否已儲存至接收資料儲存部⑴予以 判斷。於已在步驟S24中判定已儲存有2欄位之線塊之1圖 像資料與R圖像資料之情形時，於步驟S25中，内插資料儲 存部112將儲存至接收資料儲存部ill之1欄位之線塊之L圖 像資料與R圖像資料作為内插資料而予以儲存。然後，處 理結束。 ”' 另一方面，於已在步驟S24中判定i欄位之線塊之L圖像 資料與R圖像資料未儲存至接收資料儲存部lu之情形時， 處理結束。

又，於已在步驟S21中判定處理對象之線塊之乙圖像資料 與R圖像資料之至少—者中產生錯誤的情料，或者於已 在步驟S22中判定不存在處理對象之線塊之L圖像資料與R 154157.doc •30· 201215100 圖像資料之至少-者的情形時，未儲存處理對象之線塊之 L圖像資料與R圓像資料便結束處理。 根據如上所述之内插資料儲存處理，於L圖像資料與r

圖像> 料之至J 一者中產生錯誤或者不存在L圖像資料與R 圖像資料之至少一者之情形時，L圖像資料與R圖像資料之 兩者未作為内插資料而予以儲存。因此，所儲存之内插資 料中獲得L®像資料與㈣像資料之同步。其結果為，即便 於代替接收資料而對内插資料進行解碼之情形時，亦不會 有損再生圖像之立體感。即，可再生未失去立體感之^ 質之立體圖像。 圖12係說明圖3之中繼器32之内插資料讀出處理之流程 圖。該内插資料讀出處理係例如於由圖3之接收資料解碼 部43開始解碼處理時開始。 於圖12之步驟S31中，線型複數資料鏈接管理部1〇5自接 收資料解碼部43取得解碼資訊。 於步驟S32中，線型複數資料鏈接管理部1〇5對解碼資訊 中所含之L圖像資料與R圖像資料之缺漏率之至少一者是否 超過閾值予以判斷。作為該閾值，預先設定有適合於中繼 器32之值。 於已在步驟S32中判定L圖像資料與R圖像資料之缺漏率 之至少一者超過閾值之情形時，於步驟S33中，線型複數 資料鏈接管理部105識別解碼資訊中所含之當前之解碼對 象之線塊編號。接著，線型複數資料鏈接管理部1〇5經由L 圖像資料輸出管理部1〇3及R圖像資料輸出管理部1〇4將該 154157.doc •31· 201215100 線塊編號指示給内插資料儲存部112。 於步驟S34中’内插資料儲存部112讀出自[圖像資料輪 出管理部1G3及11圖像資料輸出管理部刚所指示之線塊編 號之線塊之内插資料，並供給至圖像資料輸入切換部 106。然後，處理結束。 另方面，於已在步驟S32中判定L圖像資料與r圖像資 料之缺漏率·^者均未超過間值之情形時，處理結束。 圖13係說明圖3之中繼器32之切換處理之流程圖。該切 換處理係將各線塊作為處理對象，以線塊為單位而進行。 於圖13之步驟S41十，線型複數資料鍵接管理部ι〇5參照 管理表格，對處理對象之線塊之[圖像資料與R圖像資料之 兩者之封包錯誤數是否小於閾值予以判斷。具體而言，線 型複數資料鏈接管理部105對與對應於管理表格内之處理 對象之線塊之線塊編號之項目「1之封包錯誤數」及「尺之 封包錯誤數」相對應的值是否兩者均小於與項目「封包錯 誤數之閾值」相對應之閾值予以判斷。 於已在步驟S41中判定L圖像資料與R圖像資料之兩者之 封包錯誤數小於閾值之情形時，處理進展至步驟S42。 於步驟S42中，線型複數資料鏈接管理部1〇5參照管理表 格，對處理對象之線塊之L圖像資料與R圖像資料之兩者之 到達時間是否小於閾值予以判斷。具體而言，線型複數資 料鏈接管理部1〇5對與對應於管理表格内之處理對象之線 塊之線塊編號之項目「L之到達時間」及「R之到達時間」 相對應的值是否兩者均小於與項目「到達時間之閾值」相 154157.doc -32· 201215100 對應之閾值予以判斷。 於已在步驟S42中判定L圖像資料與R圖像資料之兩者之 到達時間小於間值之情料，線型複數#料鏈接管理部 105指不圖像資料輸入切換部1〇6選擇接收資料。接著，於 步驟S43中’圖像資料輸人切換部1()6輸出來自接收資料分 析部101之接收資料，結束處理。 另一方面，於已在步驟S41中判定L圖像資料與R圖像資 料之至少一者之封包錯誤數不小於閾值之情形時，或者於 已在步驟S42中判定L圖像資料與R圖像資料之至少一者之 到達時間不小於閾值之情形時，線型複數資料鏈接管理部 105指示圖像資料輸入切換部106選擇内插資料。 接著，於步驟S44中，圖像資料輸入切換部1〇6輸出來自 内插資料儲存部112之内插資料，結束處理。 藉由如上所述之切換處理，可將以線塊為單位而作為解 碼對象之資料自接收資料及内插資料之一者切換成另一 者。因此’即便於1攔位之中的線塊中產生錯誤，亦可在 該線塊中使用内插資料，故可提高再生圖像之穩定性。 再者，於在1欄位之中的線塊中使用有内插資料之情形 時’僅與1攔位内之特定之線塊相對應之圖像成為與之前 的攔位之線塊相對應之圖像，但只要為攔位或者訊框之間 隔為24 P以上之動晝，則不存在顯示方面之問題。但，關 於顯示方面之問題係視通訊系統30中所要求之規格而定， 通訊系統30中之攔位或者訊框之間隔並非必需為24 p以 154157.doc •33- 201215100 [中繼器之處理之其他例之說明] 圖14係說明圖3之中繼器32之内插資料儲存處理之其他 例之流程圖。該内插資料儲存處理例如將各線塊作為處理 對象，以線塊為单位而進行。 於圖14之内插資料儲存處理中，全部之接收資料儲存至 圖8之接收資料儲存部lu。 具體而言’於圖14之步驟S51中，接收資料儲存部 據自線型複數資料鏈接管理部1〇5經由l圖像資料輸出管理 部103與R圖像資料輸出管理部1〇4而供給之處理對象之線 塊之儲存之指示，而儲存處理對象之線塊之L圖像資料與r 圖像資料。 由於步驟S52及S53之處理與圖1〇之步驟S24及S25之處理 相同，故省略說明。 圖15係說明進行圖14之内插資料儲存處理之情形時之内 插資料讀出處理的流程圖。該内插資料讀出處理係例如於 由圖3之接收資料解碼部43開始解碼處理時開始。 圖15之内插資料讀出處理係僅於當前之解碼對象之線塊 之L圖像資料與R圖像資料之封包錯誤數及到達時間小於間 值之情形時讀出内插資料。 具體而言，於圖15之步驟S71及S72中，進行與圖12之步 驟S31及S32相同之處理。接著，於步驟S73中，線型複數 資料鏈接管理部1〇5識別解碼資訊令所含之當前之解碼對 象之線堍編號。 於步驟S74中，線型複數資料鏈接管理部1〇5與圖u之步 154J57.doc -34 * 201215100 ’對當前之解碼對象 者中是否未產生錯誤 驟S 21之處理同樣地，參照管理表格 之線塊之L圖像資料與R圖像資料之兩 予以判斷。 於已在步驟S74中判定當前之解碼對象之線塊之l圖像資 料與R圖像資料之兩者中未產生錯誤之情形時，處理進展 至步驟S75。 理部105與圖11之步 對是否存在當前之 資料之兩者予以判 於步驟S 7 5中，線型複數資料鍵接管 驟S22之處理同樣地，參照管理表格， 解碼對象之線塊之L圖像資料與R圖像 斷。 於已在步驟S75中判定存在當前之解碼對象之線塊之匕圖 像資料與R圖像資料之兩者的情形時，線型複數資料鏈接 管理部105經由L圖像資料輸出管理部1〇3及尺圖像資料輸出 管理部104,將於步驟S73中所識別之線塊編號指示給内插 資料儲存部112。接著，處理進展至步驟S76。 於步驟S76中，内插資料儲存部112讀出自L圖像資料輸 出管理部103及R圖像資料輸出管理部1〇4所指示之線塊編 號之線塊之内插資料，並供給至圖像資料輸入切換部 1 〇6 ^然後，處理結束。 另一方面，於已在步驟S74中判定當前之解碼對象之線 塊之L圖像資料與R圖像資料之至少一者中產生錯誤之情形 時，或者於已在步驟S75中判定不存在當前之解碼對象之 線塊之L圖像資料與r圖像資料之至少一者之情形時，未讀 出當前之解碼對象之線塊之L圖像資料與尺圖像資料，便結 154157.doc •35- 201215100 束處理。 如上所述，於通訊系統30中，攝影裝置31藉由線型編解 碼器對圖像資料進行編碼並發送，於該圖像資料之封包錯 誤數及到達時間為閾值以上之情形時，中繼器32未進行重 傳請求便進行基於内插資料之内插H巾繼㈣能夠 以低延遲再生立體圖像資料。又，由於攝影裝置31藉由線 型編解碼器對圖像資料進行編碼並發送，故在中繼器32中 解碼處理所必需之記憶容量與圖片型編解碼器相比較小便 可。 又，於通訊系統30中，中繼器32係於作為接收資料之[ 圖像資料與R圖像資料之兩者之封包錯誤數及到達時間不 小於閾值的情形時，再生L圖像資料與R圖像資料之兩者之 封包錯誤數及到達時間小於閾值之内插資料以代替接收資 料。因此，即便於通訊環境為因傳輸路徑之抖動等而使發 送侧之立體圖像資料全部未到達接收側、或者如基於傳輸 路徑之延遲量較大之不良環境的情形時，亦可再生高晝質 之立體圖像資料。 如此，於通訊系統30中，能夠以低延遲再生高畫質之立 體圖像資料，因此通訊系統3 〇例如適合於實況轉播之核心 技術即相對於即時圖像之高速切換處理。 <第2實施形態> [通訊系統之第2實施形態之構成例] 圖16係表不應用本技術之通訊系統之第2實施形態之構 成例的方塊圖。 154157.doc 36· 201215100 圖16之通訊系統12〇係由2台攝影裝置121A及攝影裝置 12 1B、以及中繼器122所構成。 通訊系統120之攝影裝置121A係與圖2之攝影裝置31 a同 樣地，由視訊攝影機等所構成。攝影裝置121A與攝影裝置 31A同樣地，對被攝體進行攝影，並藉由線型編解碼器對 結果所得之圖像資料進行壓縮。接著，攝影裝置121A與攝 影裝置3 1A同樣地，利用無線將經壓縮之圖像資料作為l 圖像資料而發送至中繼器122。又，攝影裝置121A利用無 線接收自中繼器122發送而來之圖像資料、用以請求變更 編碼速率之命令（以下，稱為變更請求命令）等。攝影裝置 121A遵照變更請求命令，對編碼速率予以變更。 攝影裝置121B係與圖2之攝影裝置31B同樣地，由視訊 攝影機等所構成。攝影裝置121B與攝影裝置3 1B同樣地， 以與攝影裝置121A不同之視點對被攝體進行攝影，並藉由 線型編解碼器對結果所得之圖像資料進行壓縮。接著，攝 〜裝置121B與攝影裝置3 1B同樣地，利用無線將經壓縮之 圖像資料作為R圖像資料而發送至中繼器122。又，攝影裝 置121B利用無線接收自中繼器122發送而來之圖像資料、 變更請求命令等。攝影裝置121B遵照變更請求命令，對編 碼速率予以變更。 再者，以下，於無需特別區分攝影裝置121A與攝影裝置 121B之情形時’將其等統稱為攝影裝置12ι。 中繼器122係與圖2之中繼器32同樣地，例如由pc所構 成。中繼器122係與中繼器32同樣地，制無線接收自攝 154157.doc •37- 201215100 影裝置121A發送而來之L圖像資料、與自攝影裝置^⑺發 送而來之R圖像資料。中繼器122係與中繼器32同樣地，以 與線型編解碼器相對應之方式對所接收之L圖像資料及尺圖 像資料進行解碼，並根據解碼之結果所得之L圖像資料與r 圖像資料而顯示立體圖像。 又，中繼器122根據所接收之L圖像資料之缺漏率，將變 更请求命令發送至攝影裝置121A。中繼器122根據所接收 之R圖像資料之缺漏率，將變更請求命令發送至攝影裝置 121B。進而，中繼器122與中繼器32同樣地，將特定之圖 像資料發送至攝影裝置12 1。 再者，攝影裝置121及中繼器122既可於同級間動作，亦 可作為網路之一部分而動作。 [攝影裝置之構成例] 圖Π係表示圖16之攝影裝置121之構成例之方塊圖。 對圖Π所示之構成中與圖i之構成相同之構成附加相同 符號。適當省略重複之說明。 圖Π之攝影裝置121之構成主要在以下方面與之㈣ 不同：設置有發送資料壓縮部151，以代替發送資料壓縮 部⑴設置有接„料分離部152，以代替接收資料分離 部21 ;未設置圖像解碼部22、内插資料儲存咅⑵、及圖像 資料輸入切換部24;以及設置有接收資料解碼部153，以 代替接收資料解碼部25。 ▲攝影裝置m自中繼器122接收變更請求命令，並遵照該 變更請求命令而對編碼速率予以變更。 154157.doc •38- 201215100 具體而言，攝影裝置121之發送資料壓縮部151係藉由線 型編解碼器以特定之編碼速率對自圖像應用程式管理部【i 供給之圖像資料進行壓縮，從而削減該圖像資料之資料 里。接著’發送資料壓縮部1 5 1將經壓縮之圖像資料輸出 至發送記憶體13。又，發送資料壓縮部151將圖像資料之 壓縮時之編碼速率作為自接收資料分離部1 52供給之編碼 速率而進行更新。 接收資料分離部152對自物理層RX20供給之封包予以分 析’提取包含圖像應用程式管理部i丨中所必需之以線塊為 單位之圖像資料之資料，並作為接收資料而供給至接收資 料解碼部153。接收資料分離部152對自物理層Rx2〇供給之 封匕予以分析’提取變更請求命令，並將由該變更請求命 γ所要求之編碼速率供給至發送資料壓縮部1 5 1。 又’接收資料分離部152係與圖1之接收資料分離部21同 樣地，對自物理層Rx2〇供給之封包予以分析，並根據路由 表等資訊而提取必需向其他終端發送之傳送資料。接著， 接收 > 料分離部152與接收資料分離部21同樣地，將該傳 送資料供給至發送記憶體13。進而，接收資料分離部152 與接收資料分離部2丨同樣地，自封包中提取收發控制部】4 所必需之資訊，並供給至收發控制部14。 接收資料解碼部1 53以與線型編解碼器相對應之方式對 自接收資料分離部152供給之接收資料進行解碼，並將結 果所得之圖像資料供給至圖像應用程式管理部11。 再者’攝影裴置121亦可於接收資料分離部152與接收資 154157.doc

S •39- 201215100 料解碼部1 53之間設置上述專利文獻1中所記載之線型内插 部，而進行自中繼器122發送而來之圖像資料之内插處 理。 [攝影裝置之處理之說明] 圖18係說明圖17之攝影裝置121之編碼控制處理之流程 圖。該編碼控制處理係例如於自圖像應用程式管理部丨i對 發送資料壓縮部15 1供給圖像資料時開始。 於步驟S100中，發送資料壓縮部151係對藉由線型編解 碼器以特定之編碼速率將自圖像應用程式管理部丨丨供給之 圖像資料塵縮之編碼處理予以初始化，而開始編碼處理。 於步驟S101中，接收資料分離部152對自物理層1^2〇供 給之封包予以分析，而判定是否已接收變更請求命令。 於已在步驟S101中判定接收了變更請求命令之情形時， 接收資料分離部152將由該變更請求命令所要求之編碼速 率供給至發送資料壓縮部15 1。接著，於步驟S 102中，發 送資料壓縮部151將自接收資料分離部152供給之編碼速率 作為編碼處理中之編碼速率而設定。 於步驟S103中，發送資料壓縮部〗51重設編碼處理。藉 此，可應對因編碼速率之變更而產生之輸入時脈之變更 等。 於步驟S104中，發送資料壓縮部151開始在變更後之編 碼速率之條件下之編碼處理。接著，處理進展至步驟 S105。 另一方面，於已在步驟S101中判定未接收變更請求命令 154157.doc 201215100 之情形時，處理進展至步驟SI〇5。 於步驟S105中，發送資料壓縮部151對是否結束編碼處 理、例如圖像資料是否未自圖像應用程式管理部u供給予 以判斷。.於已在步驟S105中判定不結束編碼處理之情形 時，處理返回至步驟S101，重複步驟81〇1至81〇5之處理直 至判定結束編碼處理為止。 另一方面，於已在步驟S1〇5中判定結束編碼處理之情形 時，發送資料壓縮部151結束編碼處理。 / [中繼器之構成例] 圖19係表示圖16之中繼器122之構成例之方塊圖。 對圖所示之構成中與圖3之構成相同之構成附加相同 符號。適當省略重複之說明。 圖19之中繼器122之構成主要在如下方面與圖3之構成不 同：設置有發送記憶體171，以代替發送記憶體13 ;以及 設置有線型内插部172，以代替線型内插部42。 於中繼器122中，發送記憶體171與圖i或圖3之發送記憶 體13同樣地，儲存自發详咨 目赞送貢枓壓縮部12輸入之圖像資料。 又，發送記憶體171與發送記憶體13同樣地，儲存自接收 資料分離部21供給之傳送資料。發送記憶體171與發送記 憶體13同樣地，將資料之儲存情況通知給收發控制部14。 二：A送。己憶體Μ儲存自線型内插部172供給之向攝影 變更請求命令及向攝影裝置121B下達之 SIT。向該攝影裝置"Μ達之變更請求命令係 與圖像胃料㈣崎供給歸 154157.doc 201215100 而進行封包化，並經由物理層Τχ 17、收發切換部18、及天 線19而發送至攝影裝置121Α。同樣地，向攝影裝置121Β 下達之變更請求命令係發送至攝影裝置121Β。 線型内插部172與圖3之線型内插部42同樣地，相對於自 接收資料分離部41供給之接收資料進行内插處理β又，線 型内插部172根據自接收資料解碼部43供給之解碼資訊中 所含之缺漏率而生成向攝影裝置12ι下達之變更請求命 令’並供給至發送記憶體171 »再者’關於線型内插部丨72 之詳情’參照下述圖20而進行說明。 [線型内插部之構成例] 圖20係表示圖19之線型内插部172之構成例之方塊圓。 對圖20所示之構成中與圖8之構成相同之構成附加相同 符號。適當省略重複之說明。 圖20之線型内插部172之構成主要在如下方面與圖8之構 成不同：設置有線型複數資料鏈接管理部191、圖像資料 輸入切換部192 ’以代替線型複數資料鏈接管理部1〇5、圖 像資料輸入切換部106 ;以及新設置有圖像速率變更請求 部 193。 於圖20之線型内插部172中，線型複數資料鏈接管理部 191係與圖8之線型複數資料鏈接管理部ι〇5同樣地，對管 理表格予以保持並管理。線型複數資料鏈接管理部ΐ9ι係 與線型複數資料鏈接管理部105同樣地，將自L圖像資料輸 出官理部103供給之L圖像資訊、與自R圖像資料輪出管理 部104供給之R圖像資訊登錄於管理表格。又，線型複數資 154157.doc -42· 201215100 料鏈接管理部191係與線型複數資料鏈接管理部1〇5同樣 地，根據管理表格，以線塊為單位而指示圖像資料輸入切 換部106選擇。 又，線型複數資料鏈接管理部105係與線型複數資料鏈 接管理部105同樣地，根據自圖19之接收資料解碼部“供 給之解碼資訊，指示L圖像資料輸出管理部丨的與尺圖像資 料輸出管理部104讀出。進而，線型複數資料鏈接管理部 191與線型複數資料鏈接管理部1〇5同樣地，例如根據管理 表格，指示L圖像資料輸出管理部丨们與尺圖像資料輸出管 理部104儲存。 又，線型複數資料鏈接管理部191根據解碣資訊，而指 示圖像資料輸入切換部192發送向攝影裝置121八或攝影裝 置121B下達之變更請求命令。 圖像資料輸入切換部192係與圖8之圖像資料輸入切換部 1〇6同樣地，遵照線型複數資料鏈接管理部1〇5之指示，選 擇自接收資料分析部1〇1供給之接收資料、愈 部-供給之内插資料中之任一者，並將其;乍:= 料而輸出至圖19之接收資料解碼部43。 又，圖像資料輸入切換部192遵照來自線型複數資料鏈 接B理邛191之扣示，而指示圖像速率變更請求部丨93發送 向攝影裝置121A或攝影裝置121B下達之變更請求命令。 圖像速率變更請求部193遵照來自圖像資料輸入切換部 192之彳日示，生成向攝影裝置121八或攝影裝置下達之 變更請求命令，並供給至圖19之發送記憶體171。 154157.doc •43· 201215100 [中繼器之處理之說明] 圖21係說明圖19之中繼器122之内插資料讀出處理之流 程圖。該内插資料讀出處理係例如於由圖19之接收資料解 碼4 43開始解碼處理時開始。再者，中繼器^ 進行圖η 之内插資料儲存處理。 於步驟S121中，線型複數資料鍵接管理部I"自接收資 料解碼部43取得解碼資訊。 ;ν驟S122中，線型複數資料鍵接管理部191對解碼資 訊中所含之L圖像資料與R圖像資料之缺漏率之至少一者是 否超過預先設定之聞值予以判斷。即，線型複數資料鍵接 管理部191對作為内插後資料之L圖像資料與R圖像資料之 封包錯誤數之至少-者是否超過特定之閾值（第3閾值）予以 於已在步驟smt判定L圖像資料與R圖像資料之缺漏 率之至少一者超過預先設定之間值的情形時，於步驟⑽ 中’線型複數資料鏈接管理部191識別解碼資訊中所含之 當前之解碼對象之線塊編號。接著，線型複數資料鍵接管 理部191經由L圖像資料輸出管理部1〇3綱像資料輸出管 理部104,將該線塊編號指示給内插資料儲存部⑴。 於步驟S124中’内插資料儲存部112讀出自l圖像資料輸 出：理部職R圓像資料輸出管理部1〇4指示之線塊編號 ，線塊之内插資料’並將其供給至圖像資料輸入切換部 10 6 ° 於步驟S⑽，線型複數資料鏈接管理部191經由圖像 154l57.doc 201215100 資料輸入切換部192指示圖像速率變更請求部i93發送向攝 影裝置121A或攝影裝置121B下達之變更請求命令。具體 而言，於L圖像資枓之缺漏率超過閾值之情形時，線型複 數資料鍵接管理部191指示向攝影裝置121八下達之變更請 求命令之發送，於R圖像資料之缺漏率超過閾值之情形 時，指示向攝影裝置121B下達之變更請求命令之發送。 再者’線型複數資料鏈接管理部191既可指示特定之變 更幅度之變更請求命令之發送，亦可指示對應缺漏率之變 更幅度之變更請求命令之發送。 於步驟S126中，圖像速率變更請求部193遵照自線型複 數資料鏈接管理部191經由圖像資料輸入切換部192而供給 之指示，而生成向攝影裝置121下達之變更請求命令。接 著，圖像速率變更請求部193將該變更請求命令供給至圖 19之發送記憶體171並予以儲存。 於步驟S127中，發送資料生成部15將儲存至發送記憶體 ⑺之攝影裝置121之變更請求命令封包化，並經由物理層 TU7、收發切換部18、及天線19而發送至攝影裝置Μ】。 於步驟S128巾，接收資料解碼㈣㈣是否必需解碼處 理之重設。 八體而5 ’—般情況下若編碼速率於中途發生變化 解碼時序會發生變化’因此必需重設解碼處理。缺而，存 在編碼速率之變化較小時無需重設解碼處理的情形。因 ::步驟㈣中，接收資料解碼部〇對例如編碼速率之 變疋否大於特定之閨值予以判斷’於編碼速率之變化大 154157.doc •45· 201215100 於特定之閾值之情形時，判定必需解碼處理之重設。另一 方面’於編碼速率之變化不大於特定之閾值之情形時，判 定無需解碼處理之重設。 於已在步驟S128中判定必需解碼處理之重設之情形時， 於步驟S129中，接收資料解碼部43重設解碼處理。然後， 處理進展至步驟S130。 另—方面，於已在步驟S128中判定無需解碼處理之重設 之情形時，處理跳過步驟S129而進展至步驟S130。 於步驟S130中，線型複數資料鏈接管理部191取得解碼 資訊，對該解碼資訊中所含之L圖像資料與R圖像資料之缺 漏率是否兩者均為閾值以下予以判斷。

於已在步驟S130中判定L圖像資料與尺圖像資料之缺漏 率兩者均不為閾值以下之情形時，處理返回至步驟SU3。 接著，重複步驟S123至S130之處理，直至L圖像資料與R 圖像資料之缺漏率兩者均為閾值以下，從而生成變更後之 編媽速率與上回不同之變更請求命令。 •再者，即便於已在步驟S13〇中判定L圖像資料與R圖像 資料之缺漏率兩者均不《閾值以下<情形時，#以變更後 之編碼速率成為最低值之方式而生成變更請求命令時，代 替變更請求命令而將通知通訊惡化之f訊發送至攝影裝置 121，處理結束。 另一方面’於已在步驟8130中判定L圖像資料與r圖像 資料之缺漏率兩者均為閾值以下之情形時，或者於已在步 驟S122中判定L圖像資料與„像資料之缺漏率兩者均未 154I57.doc -46- 201215100 超過預先設定之閾值之情形時，處理結束。 如上所述，中繼器122係於L圖像資料與R圖像資料之至 少一者之缺漏率超過閾值之情形時，向與上述一者相對應 之攝影裝置121A或攝影裝置121B發送變更請求命令。藉 此，L圖像資料與R圖像資料之至少一者之編碼速率得以變 更，因此，即便於L圊像資料與R圖像資料之至少一者之傳 播環境已惡化之情形時，亦可穩定地再生立體圖像資料。 再者，圖21之内插資料讀出處理係與圖12之内插資料讀 出處理相對應者即進行圖"之内插資料儲存處理之情形時 之内插讀出處理，進行圖14之内插資料儲存處理之情形時 之内插讀出處理除了圖15之步驟S74及S75之處理係在步驟 S123與步驟S124之間進行這一點以外，其他亦與圖21之内 插資料讀出處理相同。 1、作 不丨处枉汉t刀換慝理 分別與圖H)之管理表格更新處理及圖13之切換處理相同， 因此省略說明。 。進而’於第2實施形態中’編碼速率設為可變更，但亦 :不變更編碼速率’而對線型編解碼器之構造化等級即頻 。成分等其他與編碼相關之資訊予以變更。又，亦可 碼速率與構造化等級之兩者 ' 編石m 良更進而，亦可不變更 於馬速率’而對通訊速㈣與通訊相關之資訊予 於該情形時，攝影裝置121 訊诘+ #枓生成部15以變更通 Λ迷率之方式動作。 又’編碼速率既能夠以變得更低之方式進行變更，亦能 154157.doc -47 201215100 夠以變得更高之方式進行變更。 <第3實施形態> [通訊系統之第1實施形態之構成例] 圖22係表示應用本技術之通訊系統之第3實施形態之構 成例的方塊圖。 對圖22所示之構成中與圖2之構成相同之構成附加相同 符號。適當省略重複之說明。 圖22之通訊系統2〇〇之構成主要在以下方面與圖2之構成 不同··設置有攝影裝置201A，以代替攝影裝置31八；以及 設置有中繼器202，以代替中繼器32。 於通訊系統200中，不僅係L圖像資料，與L圖像資料一 併取4于之聲音資料亦利用無線發送至中繼器202。 具體而言’於通訊系統200中，攝影裝置2〇1A與圖2之攝 影裝置3 1A同樣地，例如由視訊攝影機所構成。攝影裝置 201A對被攝體進行攝影，並且取得周圍之聲音。接著，攝 影裝置201A與攝影裝置3丨a同樣地，藉由線型編解碼器對 攝影之結果所得之圖像資料進行壓縮。又，攝影裝置2〇1A 將所取得之聲音之類比信號轉換成pCM(Pulse c〇de Modulation，脈碼調變）資料，並#Mp3(M〇ving朽仙代

Experts Group Audio Layer-3，動態影像專家壓縮標準音 頻層面 3)、WMA(Windows Media Audio，視窗媒體聲 頻）、RealAudio(音訊標準）、ATRAC(AdaptiVe Transform Acoustic Coding，適應變換聲響編碼）等方式進行壓縮。 接著，攝影裝置201A利用無線將經壓縮之圖像資料作為 -48- 154157.doc 201215100 L圖像資料而發送至中繼器202，並且利用無線發送聲音資 料。又，攝影裝置201A與攝影裝置31A同樣地，利用無線 接收自中繼器202發送而來之圖像資料等。 中繼器202與圖2之中繼器32同樣地，例如由PC所構成。 中繼器202利用無線接收自攝影裝置2〇ia發送而來之L圖 像資料及聲音資料、與自攝影裝置31B發送而來之R圖像 資料。中繼器202與中繼器32同樣地，以與線型編解碼器 相對應之方式對所接收之L圖像資料與R圖像資料進行解 碼’並根據解碼之結果所得之L圖像資料與R圖像資料，而 顯示立體圖像。又’中繼器202以與MP3、WMA、 RealAudio、ATRAC專相對應之方式對所接收之聲音資料 進行解碼，並根據解碼之結果所得之PCM資料而輸出聲 音。又’中繼器202與中繼器32同樣地，將特定之圖像資 料發送至攝影裝置201A與攝影裝置31B。 [中繼器之構成例] 圖23係表示圖22之中繼器202之構成例之方塊圖。 對圖23所示之構成中與圖3之構成相同之構成附加相同 符號。適當省略重複之說明。 圖23之中繼器202之構成主要在以下方面與圖3之構成不 同：設置有發送資料壓縮部220、發送記憶體221、接收資 料分離部222、線型内插部223、接收資料解碼部224，以 代替發送資料壓縮部40、發送記憶體13、接收資料分離部 41、線型内插部42、接收資料解碼部43。 於中繼器202中，發送資料壓縮部22〇與圖3之發送資料 154157.doc •49· 201215100 壓縮部40同樣地，藉由線型編解石馬器以特定之編碼速率對 自圖像應隸式管理部11供給之圖像資料進行壓縮，從而 削減該圖像資料之資料量。接著，發送資料壓縮部22〇與 發送資料壓縮部40同樣地，將經壓縮之圖像資料輸出至發 送記憶體221。又，發送資料愿縮部22〇以刪、刪a、 Real Audi。ATRAC等方式對自圖像應用程式管理部"供 給之聲音資料進行壓縮，從而削減資料量。接著，發送資 料壓縮部220將經壓縮之聲音資料輸出至發送記憶體η卜 發送記憶體22 1儲存自| #咨μ @ μ Α 怖仔目發送資枓壓縮部220輸入之圖像資 料與聲音資料。該圖像資料與聲音資料係由發送資料生成 和讀出並進行封包化。又，發送記憶體221與圖3之發送 記憶體13同樣地’健存自接收資料分離部222供給之傳送 貧料。再者，發送記憶體221亦可與發送記憶體13同樣 地，儲存不向其他終端傳送之資料。又，發送記憶體22ι 將資料之儲存情況通知給收發控制部14。 接收資料分離部222對自物理層Rx2〇供給之封包予以分 ，’並將包含圖像應用程式管理部u中所必需之以線塊為 早位之圖像資料之資料、及包含與該圖像資料相對應之聲 音資料之資料作為接收資料而供給至線型内插部如。再 者’包含聲音資料之資料中至少含有聲音資料、及與該聲 音資料相對應之圖像資料之線塊編號。 又，接收資料分離部222與圖i之接收資料分離部 ^對自物理層如〇供給之封包予以分析，並根據路由表 等資訊’提取必需向其他終端發送之傳送資料。接著，接 I54157.doc •50- 201215100 收資料分離部222與接收資料分離部21同樣地，將該傳送 資料供給至發送記憶體22 1。進而，接收資料分離部222與 接收資料分離部21同樣地，自封包中提取收發控制部14所 必需之資訊，並供給至收發控制部14。 線型内插部223與圖3之線型内插部42同樣地，相對於自 接收資料分離部222供給之接收資料進行内插處理。接 著’線型内插部223將相對於接收資料之内插處理之結果 所得之内插後資料供給至接收資料解碼部224。再者，關 於線型内插部223之詳情，參照下述圖24而進行說明。 接收資料解碼部224以與線型編解碼器相對應之方式對 自線型内插部223供給之内插後資料中之圖像資料進行解 碼，並將結果所得之圖像資料供給至圖像應用程式管理部 11。又，接收資料解碼部224以與MP3、WMA、RealAudio、 ATRAC等相對應之方式對自線型内插部223供給之内插後 資料中之聲音資料進行解碼，並將結果所得之pCM資料供 給至圖像應用程式管理部11。 進而，接收資料解碼部224與接收資料解碼部43同樣 地，求出内插後資料之缺漏率。接收資料解碼部與接 收資料解碼部43同樣地，將該缺漏率與當前之解碼對象之 線塊編號作為解碼資訊而供給至線型内插部223。 再者，攝影裝置2〇1A之構成除了不包括線型内插部 223、或設置上述專利文獻^所記載之線型内插部以代替 線型内插部223這-點以外，其他與中繼器繼之構成相 同’因此省略說明。 154157.doc -51- 201215100 [線型内插部之構成例] 圖24係表示圖23之線型内插部223之構成例之方塊圖。 對圖24所不之構成中與圖8之構成相同之構成附加相同 符號。適當省略重複之說明。 圖24之線型内插部223之構成主要在以下方面與圖8之構 成不同·认置有圖像資料輸入切換部240，以代替圖像資 料輸入切換部106 ;以及重新設置有接收資料分析部241、 生成部242、聲音資料輸出管理部243、及聲音資料輸入切 換部244 » 於線型内插部223中，圖像資料輸入切換部24〇與圖& 圖像資料輸人切換部1()6同樣地，遵照線型複數資料鍵 管理部105之指示，選擇自接收資料分析部⑻供給之接】 資料中之包含圖像資料之資料、與自資料儲存部1〇2心 之内插資料中之任一者。接著，圖像資料輸入切換❹ 與圖像資料輸入切換部106同樣地，將所選擇之資料作 内插後資料而輸出至圖23之接收資料解碼部以。又，^ 像資料輸人切換部24G將表示接收資料中之包含圖像資_ 之資料：與内插資料中之所選擇之資料的資訊即選擇資言 供給至聲音資料輸入切換部244。 仏^資料分析部241保持自圖23之接收資料分離部叫 ^之接收資料中之包含聲音資料之資料。又，接收資料名 =1對該包含聲音資料之資料予以分析，識別該資· 資二Γ鬼編號。接著，接收資料分析部241將由聲看 資科輸出㈣部243所指示之線塊編號之包含聲音資料之 154157.doc •52- 201215100 資料供給至聲音資料輸入切換部244。 又，接收資料分析部241對包含聲音資料之資料予以分 析，檢測該資料之封包錯誤率以作為聲音資料之錯誤率。 接著，接收資料分析部241將聲音資料之錯誤率供給至聲 音資料輸出管理部243 » 生成部242生成用以使聲音靜音之資料即靜音資料。具 體而言，例如，生成部242生成頻率成分為〇之聲音資料以 作為靜音資料。又，生成部242根據自接收資料分離部M2 供：之接收資料中之包含聲音資料之資料，檢索如將該聲 音責料作為靜音資料而進行内插時不會成為高頻之聲音資 料之内插位置。接著，生成部242將由聲音資料輸出管理 部243所指示之線塊編號之聲音資料於内插位置處置換成 靜音資料，並將結果所得之包含聲音資料之資料作為内插 資料而供給至聲音資料輸入切換部244 » 聲音資料輸出管理部243將自圖23之接收資料解碼部224 供給之解碼資訊中所含之當前之解碼對象之線塊編號指示 給生成部242與接收資料分析部24卜又，聲音資料輸出管 理部243根據自接收資料分析部241供給之聲音資料之錯誤 率’指示聲音資料輸入切換部244選擇。 聲音資料輪入切換部244根據自圖像資料輸入切換部24〇 供給之選擇資訊及來自聲音資料輸出管理部243之指示， 選择自接收資料分析部241供給之接收資料中之包含聲音 資料之資料、與自生成部242供給之内插資料中之任一 者。接著，聲音資料輸入切換部244(聲音輸出部）將所選擇 154157.doc •53· 201215100 之包含聲音資料之資料或者内插資料作為内插後資料而輸 出至圖23之接收資料解碼部224。 [中繼器之處理之說明] 圖25係說明由圖24之線型内插部223進行之聲音處理之 流程圖。該聲音處理係例如於已自圖24之圖像資料輸入切 換部240輸入選擇資訊時開始。 於圖25之步驟S141中，聲音資料輸入切換部244根據自 圖像資料輸入切換部240供給之選擇資訊，對圖像資料輸 入切換部240中是否選擇有内插資料予以判斷。 於已在步驟S141中判定選擇有内插資料之情形時，處理 進展至步驟S142。於步驟S142中，聲音資料輸入切換部 244選擇自接收資料分析部24丨供給之接收資料、與自生成 部242供給之内插資料中之内插資料，並作為内插後資料 而輸出。藉此，於顯示與儲存至内插資料儲存部丨12之内 插資料相對應之圖像之情形時，可防止輸出語音不同步之 曰。其結果為，可輸出與圖像相適合之令人愉悦之聲 音。 另方面，於已在步驟S141中判定未選擇有内插資料之 凊形時即圖像資料輸入切換部240中選擇有接收資料之情 形時，處理進展至步驟S143。 八；’驟S143中，聲音資料輸出管理部對自接收資料 二析部241供給之聲音資料之錯誤率是否超過預先設定之 閾值予以判斷。 ;已在步驟S143中判定聲音資料之錯誤率超過預先設定 154157.doc •54· 201215100 之閾值之情形時，於 * 243判定、 中’聲音資料輪出管理部 判疋疋否輪出 田e理4 且 &成。P 242輪出之内插資料。 '、 §，例如在以於聲音資料之錯誤率超 之閾值時由用卢趴山 狀錯决羊超過預先設定 戶輸出内插資料之方式進几 聲音資料輸出管理邻2咖〜式進订6又疋的情形時， 田官理。p 243判定輸出内插 在以即便於聲音資料夕扭％玄 力方面’ 用戶亩…資4之錯誤率超過預先設定之閾值時亦由 用戶直接輸出接收眘细—a 行含聲音資料之f料之方式進 插資料。 ^曰貝科輸出官理部243判定不輸出内 料===144中判定輸出内插資料之情形時，聲音資 斜… 43指不聲音資料輸入切換部244選擇内插資 ’、。者，於步驟S145中，聲音資料輸入切換部244選擇 並輸出自生成部242供給之内插資料，結束處理。 另-方面’於已在步驟Sl43中判定聲音資料之錯誤率未 超過間值之情形時，或者於已在步驟81辦判定不輸出内 插資料之情形時，聲音資料輸出管理部243指示聲音資料 輸：切換部244選擇接收資料中之包含聲音資料之資料。 接著於步驟S146中，聲音資料輸入切換部244選擇並輸 出自接收資料分析部24丨供給之接收資料中之包含聲音資 料之資料，結束處理。 再者，於上述說明中，線型内插部223係藉由在圖8之線 型内插部42中添加進行聲音處理之區塊而構成，但亦可藉 由在圖20之線型内插部172中添加進行聲音處理之區塊= 構成。 154157.doc 55- 201215100 <第4實施形態> [線型内插部之構成例] 圖26係表示圖3之線型内插部42之其他構成例之方塊 對圖26所示之構成中與圖8之構成相同之構成附加相同 符號。適當省略重複之說明。 圖26之線型内插部42之構成在以下方面與圖8之構成不 同：設置有接收資料分析部301，以代替接收資料分析部 1 〇 1 ·’以及設置有線型複數資料鏈接管理部302，以代替線 型複數資料鏈接管理部1〇5。 圖26之線型内插部42係於場景轉換後之最初之欄位（畫 面）之參數資訊之取得過程中輸出内插資料。再者，所謂 參數資訊係量化資訊或用於訊框間預測之資訊。 具體而言，於圖26之線型内插部42中，接收資料分析| 301係與圖8之接收資料分析部1〇1同樣地，保持自圖3之^ 收資料分離部41供給之接收資料。 又’接收資料分析部3()1與接收資料分析部ι〇ι同樣地 :。接收資料予以分析，識別該接收資料中所含之線塊· 號°進而’接收資料分析部3〇1與接收資料分析部101同1 地。’對接㈣料予以分析’根據該接收資料t所含之頻丈 圖:象資：別接收資料中所含之圖像資料為LBI像資料、或 =::。接收資料分析部3。1與接收資料分析部ΗΠ同| 地’對接收資料予 到達時間。 "析’檢測接收資料之封包錯誤數！ 154157.doc •56- 201215100 進而，接收資料分析部3〇1與接收資料分析部1〇1同樣 地，於接收資料中所含之圖像資料為！^圖像資料之情形 時，將該接收資料之線塊編號、封包錯誤數、及接收資料 之到達時間作為L圖像資料資訊而供給至[圖像資料輸出管 理部103。另一方面，於接收資料中所含之圖像資料為尺圖 像資料之情形時，接收資料分析部301與接收資料分析部 101同樣地，將該接收資料之線塊編號、封包錯誤數、及 到達時間供給至R圖像資料輸出管理部1〇4。 進而，接收資料分析部301與接收資料分析部ι〇ι同樣 地，讀出由L圖像資料輸出管理部1〇3所指示之線塊編號之 包含L圖像資料之接收資料，並且讀出由尺圖像資料輸出管 理部1〇4所指示之線塊編號之包含尺圖像資料之接收資料。 又，接收資料分析部301與接收資料分析部〗〇丨同樣地， 於所讀出之接收資料中所含之匕圖像資料及R圖像資料之線 塊之至J/ 一者中產生錯誤的情形時，將強制解碼資料插入 至與產生該錯誤之部分相對應之L圖像資料及R圖像資料之 '^刀接著，接收資料分析部3 01與接收資料分析部丨〇 i同 樣地將插入有強制解碼資料之接收資料供給至圖像資料 輸入切換部1〇6。 進而’接枚資料分析部301(檢測部）對接收資料予以分 析並檢測場景轉換。場景轉換之檢測方法有根據接收資 ;斗中所3之L圓像資料或R圖像資料々皮此之差分進行檢測之 方法或者根據自攝影裝置31發送而來之表示場景轉換之 欄位位置之資句" 貝況進仃檢測的方法等。接收資料分析部3〇 1 154157.doc •57· 201215100 將場景轉換之檢測結果供給至線型複數資料键接管理部 302 ° 線型複數資料鏈接管理部302與圖8之線型複數資料鏈接 管理部105同樣地，對管理表格予以保持並管理。線型複 數資料鍵接官理部302與線型複數資料鏈接管理部1 〇5同樣 地’將自L圖像資料輸出管理部ι〇3供給之l圖像資訊、與 自R圖像資料輸出管理部1〇4供給之R圖像資訊登錄於管理 表格。又’線型複數資料鏈接管理部3〇2與線型複數資料 鏈接管理部105同樣地，根據管理表格，而指示圖像資料 輸入切換部106選擇。 又，線型複數資料鏈接管理部302與線型複數資料鏈接 管理部105同樣地，根據自圖3之接收資料解碼部43供給之 解碼資訊，指示L圖像資料輸出管理部1〇3與R圖像資料輸 出管理部104讀出。進而，線型複數資料鏈接管理部3〇2與 線型複數資料鏈接管理部1〇5同樣地，例如根據管理表 格，而指示L圖像資料輸出管理部1〇3與R圖像資料輸出管 理部104儲存。 又’線型複數資料鏈接管理部302根據自接收資料分析 部3 01供給之場景轉換之檢測結果’而指示圖像資料輸入 切換部106選擇。 [中繼器之處理之說明] 圖27係說明由圖26之線型内插部42進行之場景轉換處理 之流程圖。該場景轉換處理係例如於將表示場景轉換之存 在之％景轉換之檢測結果自接收資料分析部3 〇 1供給至線 154157.doc •58· 201215100 型複數資料鍵接管理部302時開始。再者，於線型内插部 42中，進行圖11之内插資料儲存處理。 於步驟S 161中，線型複數資料鏈接管理部3〇2識別自圖3 之接收資料解碼部43供給之解碼資訊中所含之當前之解碼 對象之線塊編號。接著，線型複數資料鏈接管理部3〇2經 由L圖像資料輸出管理部103及汉圖像資料輸出管理部， 將该線塊編號指示給内插資料儲存部丨丨2。又，線型複數 資料鏈接管理部302指示圖像資料輸入切換部1〇6選擇自内 插資料儲存部112輸出之内插資料。. 於步驟S162中，内㈣料儲存部U2讀出自L圖像資料輸 出管理部1G3及R圖像資料輸出管理部⑽指示之線塊編號 之線塊之内插資料’並將其供給至圖像資料輸入切換部 106 ° 於步驟S163中’圖像資料輸入切換部1〇6遵照來自線型 複數資料鍵接管理部3G2之指示，而選擇自内插資料儲存 部112所讀出之内插資料，並作為内插後資料而輸出。 、於步物64中’接收資料分析部3〇1對場景轉換後之最 初之欄位之純#料以分析，並收集該接收資料中所含 之參數資訊。 之中，接收資料分析部3Gi對是否已收集1攔位 之：赵：訊即是否已收集全部之場景轉換後之最初之攔位 之參數資訊予以判斷。 於已在步驟S165中判定尚未 形時’處理返回至步驟S161， 收集1欄位之參數資訊之情 重複步驟S161至S165之處 154157.doc •59· 201215100 理，直至收集1欄位之參數資訊為止。即，於正在 π叹杲場 景轉換後之最初之欄位之參數資訊的期間，輸出内播 料。 另一方面，於已在步驟S165中判定收集了 ！攔位之參數 資訊之情形時，處理結束。 再者，針對場景轉換後之第2欄位以後之接收資料進行 圖12之内插資料讀出處理及圖13之切換處理。又，於中= 裔32中，於進行圖14之内插資料儲存處理之情形時，針對 場景轉換後之第2攔位以後之接收資料進行圖15之内插資 料讀出處理及圖13之切換處理。χ，該情形時之場景轉: 處理除了在步驟8162與3163之處理之間進行圖Η之步驟 S74與S75之處理這一點以外，其他與圖27之場景轉換處理 相同。 如上所述’圖26之線型内插部㈣於取得場景轉換後之 最初之欄位之接«料之參數資訊的期間輸出内插 即，線型内插部42輸出内插資料以代替因在場景轉換時圖 像資料大幅度變化而導致壓縮效率下降從而使晝質劣化之 場景轉換後之最初之攔位之包含圖像資料之接收資 此，使輸出圖像資料之晝質提高。 稽 進而，於第4實施形錤φ 〜中，於圖8之線型内插部42中， 正在收集場景轉換後之啬心—μ % 之欄位之參數資訊之期間輸 内插資料，而於圖20之鸽刑& ^ 乃Π铷出 線型内插部172或圖24之線型内插 部223中，亦可於正在收 m播 在收集％景轉換後之最初之欄 數資訊之期間輪出内插資 爛位之參 154157.doc 201215100 又’第4實施形態中係於場景轉換時進行了場景轉換處 理，但亦可於頻道切換時等立體圖像資料在時間上大幅度 變化之情形時進行場景轉換處理。 〈第5實施形態> • [線型内插部之構成例] 圖28係表示圖3之線型内插部42之其他構成例之方塊 圖。 對圖28所示之構成中與圖8之構成相同之構成附加相同 符號。適當省略重複之說明。 圖28之線型内插部42之構成在以下方面與圖8之構成不 同：設置有接收資料分析部351、線型複數資料鏈接管理 部352、圖像資料輸入切換部353，以代替接收資料分析部 1〇1、線型複數資料鏈接管理部105、圖像資料輸入切換部 106 〇 圖28之線型内插部42係於視差小於特定之閾值且l圖像 資料與R圖像資料之線塊之任一者之封包錯誤數及到達時 間小於特定之閾值的情形時，自該一者生成另一者並代 替内插資料而輸出。 ’ 具體而言，於圖28之線型内插部42中，接收資料分析部 ' 351與圖8之接收資料分析部101同樣地，保持自圖3之接收 資料分離部41供給之接收資料。又’接收資料分析部351 與接收資料分析部1〇1同樣地’對該接收資料予以分析， 識別該接收資料中所含之線塊編號。進而，接收資料分析 部351與接收資料分析部ι〇1同樣地，對接收資料予以分 154157.doc -61 - 201215100 二，^根據該接收資料中所含之頻道編號，識別接收資料 所3之圖像資料為L圖像資料、或R圖像資料。接枚 t析部351與接收資料分析部101同樣地，對接收資料予以 分析’檢測接收資料之封包錯誤數與到達時間。

進而，接收資料分析部351與接收資料分析部101同樣 :’於接收資料中所含之圖像資料為，圖像資料之情形 該接收⑽之線塊編號、封包錯誤數、及到達時間 作為L圖像資料資訊而供給^圖像資料輸出管理部I 2一方面’於接收資料中所含之圖像資料為R圖像資料之 情形時，接收資料分析部351與接收資料分析部ι〇ι同樣 地，將該接收資料之線塊編號、封包錯誤數、及到達時間 供給至R圖像資料輸出管理部104。 進而’接收資料分析部351與接收f料分析部⑻同樣 地’讀出由L圖像資料輸出管理部1〇3所指示之線塊編號之 包含L圖像資料之接收資料，並且讀出由_像資料輸出管 理部1〇4所指示之線塊編號之包含_像資料之接收資料。 又，接收資料分析部351與接收資料分析部ι〇ι同樣地， 於所讀出之接收資料中所含U圖像資料及r圖像資科之線 塊之至少-者中產生錯誤的情形時，將強制解碼資料插入 至與產生該錯誤之部分相對應之L圖像資料及r圆像資料之 部分。接著，接收資料分析部101將插入有強制解碼資料 之接收資料供給至圖像資料輸入切換部。 又，接收資料分析部351(視差檢測部）對作為接收 U圖像資料與R圖像資料之線塊予以分析，檢測該線塊之 154J57.doc •62· 201215100 視差。再者’該視差既可包含於接收資料中，亦可根據[ 圖像資料與R圖像資料之線塊之偏差量而計算出來。接收 資料分析部351對經檢測之線塊之視差是否為特定之閾值 上予以判斷，並生成表示該判定結果之旗標即視差旗 標。接收資料分析部351將各線塊之視差旗標與該線塊之 線塊編號一併供給至線型複數資料鏈接管理部3 5 2 ^ 線型複數資料鏈接管理部352與圖8之線型複數資料鏈接 管理部105同樣地’對管理表格予以保持並管理。線型複 數資料鏈接管理部352與線型複數資料鏈接管理部1〇5同樣 地，將自L圖像資料輸出管理部1〇3供給之[圖像資訊、與 自R圖像資料輸出管理部1〇4供給之R圖像資訊登錄於管理 表格。又，線型複數資料鏈接管理部352將自接收資料分 析部3 5 1供給之線塊之視差旗標和與該視差旗標一併供給 之線塊編號建立對應關係而登錄於管理表格。 又，線型複數資料鏈接管理部352與線型複數資料鏈接 管理部105同樣地，根據管理表格，以線塊為單位而指示 圖像資料輸入切換部353選擇。線型複數資料鏈接管理部 352與線型複數資料鏈接管理部1〇5同樣地，根據自接收資 料解碼部43供給之解碼資訊，指示L圖像資料輸出管理部 103與R圖像資料輸出管理部1〇4讀出。進而，線型複數資 料鏈接管理部352與線型複數資料鏈接管理部1〇5同樣地， 例如根據管理表格，指示L圖像資料輸出管理部j 〇3與R圖 像資料輸出管理部104儲存。 圖像資料輸入切換部3 5 3遵照線型複數資料鏈接管理部 154157.doc -63 - 201215100 352之指示，由自内插資料儲存部112讀出之作為内插資料 之L圖像資料與R圖像資料中之一者生成另一者，並將結果 所得之L圖像資料與R圖像資料作為一部分内插資料。圖像 資料輸入切換部353遵照線型複數資料鏈接管理部352之指 示’選擇來自接收資料分析部351之接收資料、來自資料 儲存部102之内插資料、及一部分内插資料中之任一者， 並將其輸出至圖3之接收資料解碼部43。 [管理表格之例] 圖29係表示管理表格之例之圖。 圖29之管理表格係藉由在圖9之管理表格中追加「視差 旗標」之項目而構成。作為與項目「視差旗標」相對應之 資訊，登錄有藉由接收資料分析部351而生成之視差旗 標。此處，視差旗標「i」纟示視差為特定之閾值以上， 視差旗標「〇」表示視差小於特定之閾值。 、於圖29之例中’作為與線塊編號「1」i「8」相對應之 視差旗標’分別登錄有「1」、「0」、r 〇 、「1 「0」、「〇」、「0」、「1」。 「因此’於圖9之例中’與線塊編號「3」相對應之項目 「輸出」之資訊為「内插資料」，而圖29之例中則成為 「L内插資料」。再者，所謂「L内插資料」係包含作為接 收資料之⑼像資料、與自該[圖像資料生成之R圖像資料 之一部分内插資料。 貝针 。，於線塊編號「3」之線塊中，R圖像資料 封包錯誤數為間值以上，而L圖像資料之到達時間及封 154157.doc • 64 · 201215100 錯誤數則分別小於閾值。因此，圖2 8之圖像資料輸入切換 部3 5 3藉由使該L圖像資料沿水平方向移動而生成R圖像資 料，並輸出包含該L圖像資料與R圖像資料之一部分内插資 料。 又，於圖9之例中，與線塊編號「7」相對應之項目「輸 出」之資訊為「内插資料」，而圖29之例中則成為「r内 插資料」。再者，所謂Γ R内插資料」係包含作為接收資 料之R圖像資料、與自該尺圖像資料生成之[圖像資料之一 部分内插資料。 更詳細而言，於線塊編號「7」之線塊中，L圖像資料之 到達時間為閾值以上，而尺圖像資料之到達時間及封包錯 誤數則分別小於閾值。因此，圖像資料輸入切換部M3藉 由使R圖像資料沿水平方向移動而生成L圖像資料，並輸出曰 包含該R圖像資料與L圖像資料之一部分内插資料。 [線型内插部之處理之說明] 圖30係說明由圖28之線型内插部42進行之切換處理之流 程圖。 於步驟S201中，線型複數資料鏈接管理部352與圖。之 步驟S41之處理同樣地，參照管理表格，對處理對象之線 塊之L圖像資料與R圖像f料之兩者之封包錯誤數是否小於 閾值予以判斷。 於已在步驟S201中判定L圖像資料與尺圖像資料之兩者 之封包錯誤數小於閾值之情形時，處理進展至步驟S2〇2。 於步驟S202中，線型複數資料鏈接管理部352與圖^之 154157.doc •65· 201215100 理對象之線 是否小於閾 步驟S42之處理同樣地，參照管理表格，對處 塊之L圖像資料與R圖像資料之兩者之到達時間 值予以判斷。 於已在步驟S202中判^ L圖像資料與_像資料之兩者 之到達時間小於間值之情形時，線型複數資料鏈接管理部 352指不圖像資料輸人切換部⑸選擇接收資料。接著，於 步驟S203中，圖像資料輸入切換部⑸將來自接收資料分 析4 351之接收資料作為内插後資料而輸出，並結束處 另一方面，於已在步驟S2〇2中判定L圖像資料與r圖像 資料之兩者之到達時間不小於閾值之情形時，處理進展至 步驟S204。於步驟隨中，線型複數資料鏈接管理部扣 參照管理表格，對處理對象之線塊之視差旗標是否為〇予 以判斷。 於已在步驟S204中判定視差旗標為〇之情形時，於步驟 S205中，線型複數資料鏈接管理部352參照管理表格，對 處理對象之線塊之L圖像資料與R圖像資料之任一者之到達 時間是否小於閾值予以判斷。 於已在步驟S205中判定L圖像資料與R圖像資料之任一 者之到達時間均不小於閾值之情形時即L圖像資料與r圖像 資料之兩者之到達時間為閾值以上之情形時，線型複數資 料鏈接管理部3 5 2指示圖像資料輸入切換部3 5 3選擇内插資 料。接著，處理進展至步驟S2〇6。 又，於已在步驟S2〇4中判定視差旗標不為〇之情形時即 154157.doc •66- 201215100 視差旗標為i之情形時，線型複數資料鏈接管理 ^ 圖像資料輸入切換部353選擇内插資料。。352指示 至步驟S206。 處理進展 於步驟S206中，圖像資料輸入切換部353 421/^^-* 將來自内插眘 科儲存部m之内插資料作為内插後資料而輪出 ^ 處理。 此…果

另一方面，於已在步驟S205中判定L 資料之任-者之到達時間小於閾值之情形時線 =: =接:理部352指示圖像資料輸入切換部353選擇藉二 述者生成另-者而獲得之一部分内插資料 理進展至步驟S208。 伐考’處 又，於已在步驟S201中判定L圖像資料與r圖像 ^者之封包錯誤數不小於間值之情形時，於步驟⑽中， 線型複數資料鏈接管理部352參照管 是否為韻。 冑視差旗標 於已在步驟簡中判定視差旗標為0之情形時，於步驟 〇8中，線型複數資料鏈接管理部乃 格 處理對象之線塊之L圖像資料與R_f料之任 錯誤數是否小於閾值予以判斷。 ，匕 於已在步驟S·中判定L圖像資料與R圖像資料之任一 者之封包錯誤數小於間值之情形時，處理進展至步驟 S209。於步驟S2〇9中，線 後數資枓鏈接管理部352參照 :表格者丨料值予以判 154157.doc -67- 201215100 於已在步驟S208中判定一者之到達 時，線型複數資料鍵接管理部352指曰像 =選擇藉…述，成另—者 插資料。接著，處理進展至步驟S2i〇。 複：i:S21°中’圖像資料輸入切換部353遵照來自線型 =數資料鍵接管理部扣之指示，而生成-部分内插資 於步驟S211中，圖像資料輸人切換部阳選擇步驟如〇 所生成之一部分内插資料，將其作為内插後資料而輸 出，並結束處理。 另一方面，於已在步驟S207中判定視差旗標不為〇之情 形時，在步驟S208中判定L圖像資料與尺圖像資料之任一 者之封包錯誤數均不小於間值之情形時’或者在步驟s2〇9 中判定一者之到達時間不小於閾值之情形時，線型複數資 料鏈接管理部352指示圖像資料輸入切換部353選擇内插資 料°接著，處理進展至步驟S212。 於步驟S212中，圖像資料輸入切換部353選擇自内插資 料儲存部112供給之内插資料，並將其作為内插後資料而 輸出。然後，處理結束。 再者’第5實施形態中係於圖8之線型内插部42中生成並 輸出—部分内插資料，但亦可於圖20之線型内插部172或 圖24之線型内插部223中生成並輸出一部分内插資料。 又’於L圖像資料與R圖像資料包含γ成分及c成分之情 形時’亦可僅針對L圖像資料與R圖像資料之γ成分而進行 154157.doc • 68 · 201215100 封包錯誤數與到達時間之閾值判定。其原因在於，有可能 在顯示之情形時c成分之缺漏不太顯眼。 進而，於上述說明中’根據缺漏率而確定了是否讀出内 插資料，但亦可根據由接收資料分離部41(152、222)進行 之同位檢查（parity check)之結果而確定。 又，於上述說明中，攝影裝置31(121、201A)、與中繼 盗32(122、2G2)係設為進行無線通訊者，但亦可進行基於 電話線（包括ADSL(Asymmetrie叫㈣㈣似加Une， 非對稱數㈣戶線））、電力料、CQ_ax、光纖等之有線通 訊0 進而接收資料儲存部1 i i與内插資料儲存部丨12係設為 儲存1欄位之圖像資料’但亦可儲存複數個攔位之圖像資 料。於該情形時，可使用複數個攔位之内插資料而進行内 插，因此可再生更穩定之立體圖像。 又，圖像應用程式管理部11亦可將自接收資料解碼部 43053、224)供給之接枚資料記憶至電視接收機（television receiver)或 LCD(Liquid Crystal η;。τ

Dlspiay ’液晶顯示器）等顯 示裝置之緩衝器(未圖示)。通常，可於 存數欄位或者數訊框之圖像資料。 % 進而，於上述說明中係將以 之資料自接收資料及内插資料 可以訊框為單位進行切換。 線塊為單位而作為解碼對象 之者切換成另一者，但亦 又，於上述說明中，資 用之接收資料儲存部1 1 i與 料錯存部H)2係可藉由設置儲存 讀出用之内插資料儲存部"2之 154157.doc -69· 201215100 2個儲存部而實現容易之記憶體控制處理，但資料館存部 102之構成並不限定於此。 進而’於上述說明中’立體圖像係設為包含2個視點之 圖像，因此頻道數為2,但於立體圖像包含2個以上之視 之圖像之情形時，頻道數亦可為2以上。 又’上述說明中係於各線塊之封包錯誤數與到達時間之 兩者J於閾值之情形時’將該線塊作為内插資料而使用或 者設為解碼對象’但於封包錯誤數與到達時間之任—者小 ;間值之ff形時，亦可將該線塊作為内插資料而使用或者 設為解碼對象。 ~ 進而’於上述說明中，在管理表格中係以1個線塊為單 位而登錄了資訊，但亦能夠以複數個線塊為單位而登錄資 訊。於該情料，閾㈣定處理能夠以複數個線塊為單位 進行。 又，1襴位之分隔亦可不為與HSYNC(H〇riz〇ntai Synchronizing Signai，水平同步信號）相對應者。 <第6實施形態> [應用本技術之電腦之說明] 接著，上述一系列處理之至少一部分既可藉由硬體而進 行’亦可藉由軟體而進行。於藉由軟體進行一系列處理之 至少一部分之情形時’構成該軟體之程式安裝於通用之電 腦等。 因此，圖31表示安裝有執行上述一系列處理之程式之電 腦之一實施形態之構成例。 154157.doc -70- 201215100 程式可預先記錄至作為電腦中所内置之記錄媒體之記憶 部 408 或R〇M(ReadOnlyMemory,唯讀記憶體）4〇2 中。 又或者，程式亦可儲存（記錄）至可移動媒體41丨。如此 之可移動媒體411可作為所謂套裝軟體（package sQftware) 而提供。此處，作為可移動媒體411，例如有軟碟卬以讣16 disc)、CD-R〇M(Compact Disc-Read Only Mem〇ry，緊致 光碟.唯瀆記憶體）、MO(Magneto Optical，磁光）碟、 DVD(Digital Versatile Disc，數位多功能光碟）、磁碟半 導體記憶體等。 再者，程式除了自如上所述之可移動媒體411經由驅動 器410而安裝於電腦以外，亦可經由通訊網或廣播網而下 載至電腦，並安裝於内置之記憶部4〇8中。即，程式可例 如自下載網站經由數位衛星廣播用之人工衛星而利用無線 傳送至電腦，或者經由LAN(L〇cal Area Netw〇rk，區域網 路）、網際網路等網路而利用有線傳送至電腦。 電月b内置有CPU(Central Processing Unit，中央處理單 元）4〇1，輸入輸出介面4〇5經由匯流排4〇4而連接於cpu 401 ° 若CPU 401經由輸入輸出介面4〇5，並藉由用戶對輸入部 406進行操作等而輸入指令，便隨之執行儲存至4们 之程式。或者，CPU 401將儲存至記憶部4〇8之程式載入至 RAM(Random Access Memory，隨機存取記憶體）4〇3而執 行。 藉此CPU 401進行依據上述流程圖之處理、或根據上 154157.doc -71- 201215100 述方塊圖之構成而進行之處理。接著，CPU 401視需要將 其處理結果例如經由輸入輸出介面4〇5而自輸出部4〇7輸 出，或者自通訊部409發送，進而記錄至記憶部4〇8。 J 再者，輸入部406由鍵盤及滑鼠、麥克風等所構成。 又，輸出部407由LCD(Liquid Crystal Display)及揚聲器等 所構成。 此處，本說明書中’電騎據程式而進行之處理並非必 需按照作為流程圖所記載之順序而沿時間序列進行。即， 電腦根據程式而進行之處理亦包括平行地或者分別地執行 之處理（例如，平行處理或者目標處理）。 又，程式既可藉由1台電腦（處理器）進行處理’亦可藉 由複數台電腦進行分散處理。進而，程式亦可傳送 之電腦而予以執行。 書中’所㈣統係表示由複數個裝置所 裝置整體。 再者，本技術之實施形態並不限定於上述實施形態，亦 可於不脫離本技術之主旨之範圍内進行㈣變更。 又，本技術亦可採取如下之構成。 0) 一種資訊處理裝置，其包括： 接收部，其以線塊為i 編碣之構成立體圖像資W 妾收藉由線型編解碼器而經 …! Γ 之複數個視點之圖像資料； 子°、將藉由上述接收部 之圖像資料作為内插資料而予以儲存;及數個視點 354J57.doc -72· 201215100 圖像輸出σρ，其係於藉由上述接收部所接收之上述特定 量之上述複數個視點之圖像資料中的至少-個視點之圖像 資料之上述錯誤數為第1閾值以上的情形時，冑出與上述 特定量之複數個視點之圖像#料㈣應之儲存於上述儲存 部之錯誤數小於第2難之上述特定量的上額插資料。 (2) ’該管理 之圖像資 如上述（1)之資訊處理裝置，其中包括管理部 部針對每個上述視點，管理登錄該視點之特定量 料之錯誤數的表格； 上述圖像輸出部根據上述表格而輸出上述内插資料 (3) =⑴或⑺之資訊處理裝置，其中上述圖像輸出部 係於藉由上述接收部所接收之上述特定量之上述複數個視 =之圖像㈣之上述錯誤數全部小於上述第i閾值的情形 日、輸出上述特定量之複數個視點之圖像資料。 (4) 如上述⑴或⑺之資訊處理裝置，其中上述圖”㈣ 係於上補定量之複數個視點之圖像#射的至少 點之圖像資料之上述錯誤數為上述第工間值以上或者上； 到達時間為第3間值以上的情形時，出與上述特定量之 複數個視點之K像資❹對應之赫於上述儲 數小於上述第2間值且到達時間小於第續值之上述特；： 的上述内插資料。 4付疋里

I54I57.doc •73· 201215100 :二物之資訊處理裝置，其中上述圖像輪出部係於 之複數個視點之圖像資料之上述錯誤數全部小 第3聞到達時間全部小於上述 資料。、4時’輸出上述較量之複數個視點之圖像 (6) 如上述(1)至(3)中任-項之資訊處理裝置，其中進而包 括插入部，該插入部係於藉由上述接收部所接收之上述複 數個視點之圖像資料之至少一個視點之圖像資料令產生伊 誤的情形時’將虛設資料插入至與產生該錯誤之部分相童; 應之上述複數個視點之圖像資料之部分； 上述圖像輸出部係於上述錯誤數全部小於上述第丨閾值 之情形時’輸出藉由上述插人部而插人有上述虛設資料之 上述特定量之複數個視點之圖像資料。 ⑺ 如上述（1)至（6)中任一項之資訊處理裝置，其中上述儲 存部儲存藉由上述接收部所接收之上述複數個視點之圖像 資料中之上述錯誤數小於上述第2閾值者。 (8) 如上述（1)至（7)中任一項之資訊處理裝置，其中進而包 括請求部，該請求部係於藉由上述接收部所接收之上述特 疋量之複數個視點之圖像資料之至少一個視點之圖像資料 之上述錯誤數超過第3閾值的情形時，請求與該圖像資料 之編碼或者通訊相關之資訊之變更。 154157.doc •74· 201215100 (9) 如上述⑴至(8)中任一項之資訊處理褒 括： 再中進而包 生成部，其生成用於使聲音靜音之靜音資料 聲音輸出部，其輸出上述靜音資料；且 料^述接收部亦接收與上述立體圖像資料相對應之聲音資 上述聲音輸出部係於藉由上述圖像輸出部而輸 定量之複數個視點之圖像資料之情形時，輸出與該圖像資 料相對應之上述聲音資料，於藉由上述圖像輪出部而= 上述特定量之内插資料之情形時’輸出上述靜 (10) 9 如上述（1)至（9)中任一項之資訊處理裝置，其中進而勹 括檢測部’該檢測部檢測上述圖像資料之場景轉 = 道切換； 一可頻 上述圖像輸出部係於取得上述圖像資料之場景轉換或者 頻道切換時之最初之晝面之上述複數個視點之圖像資料之 參數資訊的期間’輸出上述内插資料。 (11) 如上述（1)至（3)或⑻至⑽中任—項之f訊處理裝置， 其中進而包括視差檢測部，該視差檢測部檢測上述特定量 之上述立體圖像資料之視差； 上述圖像輸出部根據上述視差，於上述視差較小、且上 述特定量之上述複數個視點之圖像資料中的至少一個視點 154157.doc -75· 201215100 之圖像資料 之上 述錯誤數為上述第1閾值以上、且至少一 7點之Μ㈣之上賴誤數小於上㈣1靜的情形 I ’使用上述錯誤數何上述第】間值之上述特^量之特 2視點之圖像資料而生成上述特定量之其他視點之圖像 园，並輸出其結果所得之上述特定量之上述複數個視點 之圖像資料。 02) 種資訊處理方法，其包含由具備儲存部之資訊處理裝 置執行之如下步驟： 接收控制步驟，其係控制藉由線型編解碼器而經編碼之 構成立體圖像資料之複數個視點之圖像資料之以線塊為單 位之接收； 儲存控制步驟，其係將藉由上述接收步驟之處理所接收 之上述複數個視點之圖像資料作為内插資料而儲存於上 健存部；及 圖像輸出步驟，其係於藉由上述接收步驟之處理所接收 之上述特定量之上述複數個視點之圖I資料中的至少一個 視點之圖像資料之上述錯誤數為第1閾值以上的情形時， 輸出與上述特定量之複數個視點之圖像資料相對應之儲存 於上述儲存部之錯誤數小於第2閾值之上述特定量的上述 内插資料。 【圖式簡單說明】 圖1係表示先前之通訊終端裝置之構成例之方塊圖。 圖2係表示應用本技術之通訊系統之第丨實施形態之構成 154157.doc •76· 201215100 例的方塊圖。 圖3係表示圖2之中繼器之構成例之方塊圖。 圖4係表示圖3之發送資料壓縮部之構成例之方塊圖。 圖5係表示圖4之子波轉換部之構成例之方塊圖。 圖6係表示係數資料之圖。 圖7係表示接收資料之資料格式之圖。 圖8係表示圖3之線型内插部之構成例之方塊圖。 圖9係表示管理表格之例之圖。 圖1〇係說明管理表格更新處理之流程圖。 圖11係說明内插資料儲存處理之流程圖。 圖12係說明内插資料讀出處理之流程圖。 圖13係說明切換處理之流程圖。 圖14係說明内插資料儲存處理之其他例之流程圖。 圖15係說明内插資料讀出處理之其他例之流程圖。 圖16係表示應用本技術之通訊系統之第2實施形態之構 成例的方塊圖。 圖17係表示圖16之攝影裝置之構成例之方塊圖。 圖18係說明編碼控制處理之流程圖。 圖19係表示圖16之中繼器122之構成例之方塊圖。 圖20係表示圖19之線型内插部之構成例之方塊圖。 圖21係說明内插資料讀出處理之流程圖。 圖22係表示應用本技術之通訊系統之第3實施形態之構 成例的方塊圖。 圖23係表示圖22之中繼器之構成例之方塊圖。 154157.doc •77- 201215100 圖24係表示圖23之線型内插部之構成例之方塊圖。 圖25係說明聲音處理之流程圖。 圖26係表示圖3之線型内插部之其他構成例之方塊圖。 圖27係說明場景轉換處理之流程圖。 圖28係表示圖3之線型内插部之其他構成例之方塊圖。 圖29係表示管理表格之例之圖。 圖30係說明切換處理之流程圖。 圖3 1係表示電腦之一實施形態之構成例之圖。 【主要元件符號說明】 20 物理層Rx 32 中繼器 42 線型内插部 101 接收資料分析部 102 資料儲存部 103 L圖像資料輸出管理部 104 R圖像資料輸出管理部 105 線型複數資料鏈接管理部 106 圖像資料輸入切換部 111 接收資料儲存部 112 内插資料健存部 122 中繼器 191 線型複數資料鏈接管理部 192 圖像資料輸入切換部 193 圖像速率變更請求部 154157.doc -78- 201215100 202 中繼器 240 圖像資料輸入切換部 242 生成部 244 聲音資料輸入切換部 301 接收資料分析部 302 線型複數資料鏈接管理部 351 接收資料分析部 352 線型複數資料鏈接管理部 353 圖像資料輸入切換部 154157.doc -79-

Claims (1)

1. 201215100 七、申請專利範園： 1. 一種資訊處理裝置，其包括： 接收。p纟以線塊為單位而接枚藉由線型編解碼器而 入爲馬之構成立體圖像資料之複數個視點之圖像資料； 儲存部，其將藉由上述接收部所接收之上述複數個視 點之圖像資料作為内插資料而予以儲存；及 圖像輸出部，其係於藉由上述接收部所接收之上述特 定量之上述複數偏視點之圖像資料中的至少一個視點之 圖像資料之上述錯誤數為第1間值以上的情形時，輸出 與上述特定量之複數個視點之圖像資料相對應之館存於 上述儲存部之錯誤數小於第2間值之上述特定量的上述 内插資料。 2·如請求項1之資訊處理裝置， 部針對每個上述視點，管理登錄該視點之特定量之圖像 資料之錯誤數的表格； 上述圖像輸出部根據上述表格而輸出上述内插資料。 3.:請求項丨之資訊處理裝置，其中上述圖像輸出部係於 藉由上述接收部所接收之上述特定量之上述複數個視點 之圖像詩之上述錯缝全料於上述第1間值的情形 時輸出上述特定量之複數個視點之圖像資料。 4·如請求項1之資訊處理裝置，其中 T上迷圖像輪出部係於 述特疋量之複數個視點之圖像資料中的至少一個 之圖像資料之上述錯誤數為上述第旧值以上、或= 述到達時間為第3閾值以上的情形時，輸出與上^特亡 154157.doc 201215100 量之複數個視點之圖像資料相對應之儲存於上述儲存部 之錯餘Μ上述第2間值且到達時間小於第㈣值之上 述特疋量的上述内插資料。 5. 如請求項4之資訊處理裝 罝具〒上述圖像輸出部係於 上述特定量之複數個視點之圖像資料之上述錯誤數全部 J於上述第1閨值’且該圖像資料之到達時間全部小於 上述第3閾值的情形時，輪出 勒j出上述特疋里之稷數個視點 之圖像資料。 6.如請求们之資訊處理裝置，其中進而包括插入部，該 插入:Ρ係於藉由上述接收部所接收之上述複數個視點之 圖像貧料中的至少—個視點之圖像資料中產生錯誤的情 形時’將虛設資料插人至與產生該錯誤之部分相對應之 上述複數個視點之圖像資料之部分； 上述圖像輸出部係於上述錯誤數全部小於上述第ι閾 值之情形時，輸出藉由上述插入部而插入有上述虛設資 料之上述特定量之複數個視點之圖像資料。 7.如請求項1之資訊處理裝置，其中上述儲存部儲存藉由 上述接收部所接收之上述複數個視點之圖像資料中之上 述錯誤數小於上述第2閾值者。 8·如請求項1之資訊處理裝置，其中進而包括請求部，該 請求部係於藉由上述接收部所接收之上述特定量之複數 個視點之圖像資料中的至少一個視點之圖像資料之上述 錯誤數超過第3閾值的情形時，請求與該圖像資料之編 碼或者通訊相關之資訊之變更。 154157.doc 201215100 9.如請求項1之資訊處理裝置，其中進而包括： 生成部’其生成用於使聲音靜音之靜音資料；及 聲音輸出部’其輸出上述靜音資料；且 上述接收部亦接收與上述立體圖像資料相對應之聲音 資料； 上述聲音輸出部係於藉由上述圖像輸出部而輸出上述 特定量之複數個視點之圖像f料之情形時，輸出與該圖 像資料相對應之上述聲音資料，於藉由上述圖像輸出部 而輸出上述特;t量之内插資料之情形時，輸出上述靜音 資料。 1〇·如請求項!之資訊處理裝置’其中進而包括檢測部，該 檢測部檢測上述圖像資料之場景轉換或者頻道切換· 上述圖像輸出部係於取得上述圖像資料之場景轉換或 者頻道切換時之最初之書而& A —面的上述複數個視點之圖像資 料之參數資訊的期間，輸出上述内插資料。 11.如請求項1之資訊處理裝置，其 1具中進而包括視差檢測 部，該視差檢測部檢測上述特定 之視差； 里之上返立體圖像資料 上述圖像輸出部係於上述視差較小、且上述特定量之 上述複數個視點之圖像資料中的至少— — 個視點之圖像盲 料之上述錯誤數為上述第丨閾值以上、 之圖像資料之上述錯誤數小於上U 1至〉 '一個視點 一 迷第1閾值的情形時， 根據上述視差，使用上述錯誤數小於上述第旧值之上 速特定量之特定視點之圖像資 成上述特定量之其 154157.doc 201215100 他視點之圖像資料，並輪出装 叛出其、果所得之上述特定量之 上述複數個視點之圖像資料。 12 •一種資訊處理方法，其包含 W傩吞部之資訊處理裝 置執仃之如下步驟： 接收控制步驟，其係控制藉由線型編解碼器而經編碼 之構成立體圖像資料之複數個視點之圖像資料之以線塊 為單位之接收； 儲存控制步驟，其係將藉由上述接收步驟之處理所接 收之上述複數個視點之圖像資料作為内插資料而儲存於 上述儲存部；及 、 圖像輸出步驟，其係於藉由上述接收步驟之處理所接 收之上述特定量之上述複數個視點之圖像資料中的至少 一個視點之圖像資料之上述錯誤數為第1閾值以上的情 形時輸出與上述特定量之複數個視點之圖像資料相對 應之储存於上述儲存部之錯誤數小於第2閣值之上述特 定量的上述内插資料。 154157.doc