TW201926992A - 用於數位實境之影像壓縮 - Google Patents

Abstract

本發明揭示一種顯示一數位實境系統的影像形成部分之方法，該方法包括：針對要顯示在一或多個編碼器處理裝置內的每一影像，利用根據該數位實境串流的系統操作及該內容，差異壓縮指出該影像的影像資料，來產生壓縮的影像資料，如此該影像的不同部分使用不同的壓縮程度來壓縮；運用一無線通訊連結，將該已壓縮影像資料無線傳輸至一顯示裝置；以及在關聯於該顯示裝置的一或多個解碼處理裝置內，差異解壓縮該已壓縮影像資料來從而產生指出要顯示的該影像之影像資料。

Description

用於數位實境之影像壓縮

本發明係關於數位實境應用的影像壓縮或解壓縮之方法及設備，並且在一個特定範例中用於壓縮或解壓縮影像，以允許用降低的頻寬並且較少的延遲來傳輸影像資料，允許數位實境內容以無線方式傳輸。

本說明書中對任何先前申請案(或其衍生資訊)或任何已知事項的引用，不是也不應被視為確認或承認或任何形式的建議，即先前申請案(或其衍生資訊)或已知事物，構成本說明書所涉及努力領域的一般常見知識之一部分。

在虛擬、增強和混合的實境系統中，通常提供一種可戴式顯示裝置，諸如頭戴式顯示器(HMD，Head Mounted Display)，其基於顯示裝置的相對空間位置及/或方位將資訊顯示給佩戴者。這種系統根據關於該顯示裝置姿勢(位置和方位)的資訊所產生影像來進行操作，如此隨著該顯示裝置移動，會更新該等影像以反映該顯示裝置的新姿勢。

混合式實境系統通常允許現實與虛擬成分同時存在於視野之內，這通常使用兩種不同技術之一來達成。

在攝影機至顯示器方法中，一顯示器放置在使用者的視野內，眼睛與現實世界場景之間，用來顯示來自一或多部攝影機的現實世界畫面，結合其他內容，像是虛擬物體、文字等等。這種方式通常利用攝影機搭配其他感測器資料來建立環境的一特徵地圖，以允許追蹤現實世界與虛擬世界物體之間的關聯性。結果為人工產生的混合實境，具備透過攝影機產生近似於現實世界的畫面，並且經常用於頭戴裝置實現以及手持裝置整合，例如使用智慧型電話、平板等等。其適用於單視場觀看以及更人性化的立體頭戴式裝置。由於通過攝影機觀看現實世界的人為性質，它還可以實現更加虛擬化的體驗，並且可以實現不同程度的虛擬場景。

第二技術更偏向現實世界體驗，與虛擬特徵整合，並且通常運用部分透明顯示器而能看見現實世界。這通常使用位於使用者眼睛和現實世界場景之間的特殊鏡頭來實現，類似於在一副老花眼鏡中發現的可用性。通過波導、內部反射或其他光學方法，來自投影機的光線用於顯示出現在現實世界中的虛擬特徵。雖然攝影機仍舊可用於位置追蹤，不過通常不扮演直接創建該混合實境畫面的角色。

為了避免暈動症（motion sickness），並且確定內容顯示在相對於現實世界環境的正確位置內，姿勢資訊的收集和相應影像的建立間之時間差最小化，特別是在該顯示裝置快速移動的情況下，這相當重要。結合產生高解析度影像，使得它們看起來盡可能逼真之需求，這表示需要有相當高階的處理硬體。結果，高端現有系統通常需要具有高頻寬並且低延遲連接至該顯示裝置的靜態桌上型電腦。因此，像是HTC Vive^TM 、Oculus Rift^TM 和Playstation VR^TM 這些當前的系統在電腦與HMD之間需要有線連接，這並不方便。

雖然有行動解決方案可用，例如Gear VR^TM ，其併入行動電話來執行HMD本身內的影像處理和顯示，但是處理能力是有限的，意味著可以顯示的內容受到限制，特別是在影像解析度和品質方面。

我們都知道，壓縮影像資料可縮小資料體積。這在許多應用當中都非常有用，像是減少儲存該影像資料所需的儲存容量，或減少傳輸該影像資料伴隨的頻寬需求。

JPEG使用根據離散餘弦轉換(DCT，discrete cosine transform)的有損形式壓縮，此算術運算將視頻源的每個幀/場從空間(2D)域轉換為頻域(也就是轉換域)。鬆散基於人類視覺心理系統的知覺模型拋棄了高頻資訊，即強度上和色調上的急劇轉變。在轉換域中，通過量化來減少資訊。然後將量化係數依序並不丟失資料地打包至一輸出位元流。

然而，這種方式只能完成有限的壓縮量並且需要相當多的處理時間，因此不適合用於低延遲應用，像是虛擬或增強實境、遠程發送等。

在一個廣義形式中，本發明的一個態樣係在提供一種顯示成形一數位實境串流的部分的影像之方法，針對要顯示的每一影像，該方法包括：在一或多個編碼器處理裝置內，根據系統操作及該數位實境串流的內容，利用差異壓縮代表該影像的影像資料，來產生壓縮的影像資料，如此該影像的不同部分使用不同的壓縮程度來壓縮；運用一無線通訊連結，將該壓縮影像資料無線傳輸至一顯示裝置；以及在關聯於該顯示裝置的一或多個解碼處理裝置內，差異解壓縮該壓縮影像資料來從而產生影像資料指出要顯示的該影像。

在一個具體實施例內，該方法包括：藉由拋棄該影像的至少某些影像資料來差異壓縮該影像資料；以及藉由重新建立該影像的至少某些影像資料來差異解壓縮該壓縮影像資料。

在一個具體實施例內，該方法包括使用至少以下之一來重新建立影像資料：一先前影像的一對應部分之影像資料；以及使用已定義的影像資料。

在一個具體實施例內，該方法包括：根據至少以下之一來差異壓縮該影像資料：至少部分指出至少以下之一的顯示資料：該顯示裝置的操作；該顯示裝置的使用；以及指出該無線通訊連結的通訊連結資料；至少部分指出該顯示裝置的一組態的組態資料；以及至少部分指出該數位實境內容的內容資料；以及根據至少以下之一來差異解壓縮該壓縮影像資料：該顯示資料；該通訊連結資料；該組態資料；以及指出該差異壓縮的壓縮資料。

在一個具體實施例內，該方法包括：使用該通訊連結資料來決定一目標壓縮；根據至少以下之一來決定一些興趣區域每一者的相對壓縮程度：該組態資料；該顯示資料；以及該內容資料；根據該相對壓縮程度以及所需的該整體壓縮程度，來決定興趣區域每一者的絕對壓縮程度；以及使用每一興趣區域的該絕對壓縮程度來壓縮該影像資料。

在一個具體實施例內，該方法包括：使用至少以下之一來決定一興趣區域的位置：該顯示資料；以及該內容資料；根據該位置以及至少以下之一來決定一興趣區域的該相對壓縮程度：關聯於該興趣區域的內容；定義該顯示裝置的相對壓縮程度之一組態地圖；以及定義該使用者凝視的相對壓縮程度之一凝視地圖。

在一個具體實施例內，該方法包括使用至少以下之一來決定要忽略的該影像部分：該組態資料；以及該內容資料。

在一個具體實施例內，該方法包括：在關聯於該顯示裝置的該一或多個解碼器處理裝置內：利用分析來自一或多個隨機（on-board）感測器的信號來產生顯示資料；在該處儲存該顯示資料；以及將該顯示資料無線傳輸至該一或多個編碼器處理裝置；在該一或多個編碼器處理裝置內：根據已接收的顯示資料來差異壓縮該影像資料；將該壓縮影像資料無線傳輸至該顯示裝置；以及在關聯於該顯示裝置的該一或多個解碼器處理裝置內，根據已儲存的顯示資料來解壓縮已接收並壓縮的影像資料。

在一個具體實施例內，該影像形成一系列影像一部分，並且其中該方法包括使用各別顯示資料來壓縮與解壓縮至少以下之一：一或多個影像的一子系列之影像資料；以及每一影像的影像資料。

在一個具體實施例內，該方法包括根據至少以下之一來選擇性傳輸該顯示資料：該無線通訊連結的操作；以及一壓縮影像資料頻寬。

在一個具體實施例內，該顯示資料指出至少以下之一：指出相對於環境的一顯示裝置姿勢之姿勢資料；指出相對於該環境的一顯示裝置動作之動作資料；一使用者提供的輸入命令；指示一使用者凝視的凝視資料；以及指出該使用者的一生理屬性之生理資料。

在一個具體實施例內，該感測器包括至少以下之一：影像感測器；範圍感測器；位置感測器；方位感測器；動作感測器；眼睛追蹤感測器；肌肉追蹤感測器；以及生理感測器。

在一個具體實施例內，該方法包括使用一同時定位和映射演算法來產生至少姿勢與動作資料之一者。

在一個具體實施例內，該姿勢資料包括一環境內相對於該顯示裝置的許多點位置之指示。

在一個具體實施例內，該方法包括：使用至少以下之一來決定顯示裝置姿勢與先前影像顯示之變化：動作資料；以及姿勢資料與先前姿勢資料；以及使用顯示裝置姿勢的變化來進行至少以下之一：壓縮影像資料；以及解壓縮該壓縮影像資料。

在一個具體實施例內，該方法包括：擷取一先前影像的先前影像資料；決定該影像與該先前影像之間的冗餘；以及使用該冗餘進行至少以下之一：壓縮影像資料；以及解壓縮該壓縮影像資料。

在一個具體實施例內，該方法包括：決定一使用者凝視，包括至少以下之一：一凝視方向；以及一凝視深度；使用該使用者凝視來進行至少以下之一：壓縮影像資料；以及解壓縮該壓縮影像資料。

在一個具體實施例內，該方法包括使用該影像一部分的一視野深度以及該凝視深度來進行至少以下之一：壓縮該影像部分的影像資料；以及解壓縮該影像的部分的該壓縮影像資料。

在一個具體實施例內，該方法包括：在該一或多個編碼器處理裝置內：根據內容資料來差異壓縮該影像資料；產生指出該差異壓縮的壓縮資料；將該壓縮資料無線傳輸至該顯示裝置；以及在關聯於該顯示裝置的一或多個解碼處理裝置內，根據該壓縮資料解壓縮該壓縮影像資料來從而產生要顯示的該影像。

在一個具體實施例內，該方法包括：使用該內容資料來選擇一壓縮方案；以及使用該壓縮方案差異壓縮該影像資料。

在一個具體實施例內，該方法包括由至少以下之一來決定該內容資料：接收來自一內容引擎的內容資料；以及分析一低解析度影像。

在一個具體實施例內，該方法資料包括至少以下之一：像素陣列內容；影像內容；該影像的不同部分的內容；該影像的不同部分的不透明度；該影像之內的興趣區域；該影像之內的興趣位置；關聯於該影像的一或多個提示；以及該影像之內的一或多個顯示物體。

在一個具體實施例內，該壓縮資料包括至少以下之一：指出涵蓋一或多個顯示物體的一邊界之邊界資料；指出像素陣列的一區塊的區塊資料；指出該影像的不同部分的不透明度之不透明度資料；以及指出一興趣位置的位置標記。

在一個具體實施例內，該方法包括：在該一或多個編碼器處理裝置內：產生一邊界；根據該邊界來差異壓縮該影像資料；產生指出該邊界的邊界資料；將該邊界資料無線傳輸至該顯示裝置；以及在關聯於該顯示裝置的一或多個解碼處理裝置內，根據該邊界資料解壓縮該壓縮影像資料來從而產生要顯示的該影像。

在一個具體實施例內，該方法針對每一邊界包括：在該一或多個編碼器處理裝置內：選擇一各別壓縮方案來壓縮該邊界之內的影像資料；以及根據該選取的壓縮方案來產生該邊界資料；以及在關聯於該顯示裝置的該一或多個解碼器處理裝置內：根據該邊界資料來決定該選取的壓縮方案；以及使用一對應解壓縮方案來解壓縮該壓縮影像資料。

在一個具體實施例內，該邊界資料指出至少以下之一：一邊界範圍，包括至少以下之一：一或多個邊界頂點；一邊界形狀；以及一邊界位置；邊界範圍內相較於一先前影像的一先前邊界之變化；以及應該使用一評估邊界的一指示。

在一個具體實施例內，該方法包括在該一或多個編碼器處理裝置內，由至少以下之一產生一邊界：使用該內容資料計算一邊界；以及使用該顯示資料評估邊界內的一變化。

在一個具體實施例內，該方法包括在該一或多個編碼器處理裝置內，由以下計算一邊界：從該內容資料識別該影像的一或多個部分；計算涵蓋該一或多個部分的至少一個邊界。

在一個具體實施例內，該一或多個部分涵蓋該影像之內的一或多個顯示物體。

在一個具體實施例內，該方法包括計算該邊界，如此讓編碼該邊界所需的位元數以及編碼影像資料最小化。

在一個具體實施例內，該方法包括：在該一或多個編碼器處理裝置內：擷取指出一先前影像的一先前邊界之先前邊界資料；使用該先前邊界資料決定邊界範圍內之變化；以及使用該邊界範圍的變化產生該邊界資料；以及在該一或多個解碼器處理裝置內：擷取指出一先前影像的一先前邊界之先前邊界資料；從該邊界資料決定邊界內之一變化；以及使用該先前邊界以及邊界範圍的該變化來計算一邊界範圍。

在一個具體實施例內，該方法在該一或多個編碼器處理裝置內包括：針對一系列影像內每一第n 個影像，使用至少以下之一來評估一估計的邊界：一計算的邊界；以及該內容資料；根據比較結果選擇性重新計算一邊界。

在一個具體實施例內，該方法在關聯於該顯示裝置的該一或多個解碼器處理裝置內包括：從該邊界資料決定要使用的一估計邊界；以及使用該顯示資料評估一邊界。

在一個具體實施例內，該方法包括使用至少以下之一來評估一邊界：顯示裝置姿勢之一變化；以及一視野變化。

在一個具體實施例內，該方法包括：在該一或多個編碼器處理裝置中，通過以下壓縮該影像的至少部分：從該影像資料獲得像素資料，該像素資料代表來自一影像之內的像素陣列；識別包括具有實質上類似像素陣列內容的一些像素陣列之一像素區塊；產生包括指出以下的區塊資料之壓縮資料：一第一像素陣列位置；一末端像素陣列位置；以及該項素陣列內容；以及在關聯於該顯示裝置的該一或多個解碼器處理裝置中，通過以下解壓縮該壓縮影像的至少部分：從區塊資料決定：一第一像素陣列位置；一末端像素陣列位置；以及像素陣列內容，使用該區塊參數產生包含許多像素陣列具有實質上類似的像素陣列內容之一像素區塊；以及至少部分使用該像素區塊來產生影像資料。

在一個具體實施例內，該方法包括由至少以下之一來決定指出一顯示裝置組態之該組態資料：使用一顯示裝置識別碼來擷取該組態資料；以及在該顯示裝置與該一或多個編碼器處理裝置之間無線交換組態資料。

在一個具體實施例內，關聯於該顯示裝置組態的該一或多個解碼器處理裝置包括至少以下之一：一顯示器解析度；一顯示器更新率；一顯示器視野；以及顯示器透鏡屬性。

在一個具體實施例內，該方法包括由至少以下之一來決定指出一無線通訊連結操作的無線連結資料：來自無線通訊連結硬體；在關聯於該顯示裝置並且與一或或多個編碼器處理裝置無關的該一或多個解碼器處理裝置中；以及利用在該顯示裝置與該一或多個編碼器處理裝置之間交換該通訊連結資料。

在一個具體實施例內，該通訊連結資料指出至少以下之一：一無線通訊連結錯誤度量；一無線通訊連結服務品質；一無線通訊連結頻寬；以及一無線通訊連結延遲。

在一個具體實施例內，該方法包括藉由以下來差異壓縮該影像資料：從該影像資料獲得像素資料，該像素料資料代表該影像之內一像素陣列；決定該影像之內該像素陣列的一位置；以及至少部分依照該已決定的位置將該像素資料壓縮，如此壓縮程度取決於該像素陣列的該已決定位置。

在一個具體實施例內，該方法包括壓縮該像素資料，如此該壓縮程度取決於至少以下之一：一使用者凝視；以及顯示裝置組態。

在一個具體實施例內，該方法包括：通過以下壓縮該影像資料：從該影像資料獲得像素資料，該像素料資料代表該影像之內一像素陣列；對該像素資料套用一轉換，以決定指示該像素陣列的頻率分量之一組頻率係數；使用一位元編碼方案選擇性對至少某些該等頻率係數編碼，藉此產生一組編碼的頻率係數；以及使用該編碼的頻率係數產生該壓縮影像資料；以及通過以下解壓縮該壓縮影像資料：依照該位元編碼方案，從該壓縮影像資料決定一組已編碼的頻率係數；依照該位元編碼方案，執行該等編碼頻率係數的位元解碼，藉此產生一組頻率係數；以及對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。

在一個具體實施例內，該位元編碼方案定義用於編碼該等頻率係數之每一者的位元數，並且其中該等頻率係數進行選擇性編碼，如此至少以下之一者：具有一較高振幅的頻率係數被編碼；至少某些該等編碼的頻率係數具有不同位元數；較少位元數用於將對應至較高頻率的頻率係數編碼；逐漸較少的位元數用於將對應至逐漸較高頻率的頻率係數編碼；至少一頻率係數被捨棄，如此該組編碼頻率係數小於該組頻率係數；以及對應至較高頻率的至少一頻率係數被捨棄。

在一個具體實施例內，該方法包括選擇具有逐漸減少位元數的頻率係數，直到一或多個編碼參數被滿足。

在一個具體實施例內，該方法包括：在該一或多個編碼器處理裝置內，產生指出該編碼頻率係數的一索引；以及在關聯於該顯示裝置的該一或多個解碼器處理裝置內，使用該索引解壓縮該壓縮影像資料。

在一個具體實施例內，該索引指出：每一編碼頻率係數的一些位元；以及一位置，該位置為至少以下之一：在一已定義順序內每一編碼頻率係數的一位置；以及在係數矩陣之內每一編碼頻率係數的一位置。

在一個具體實施例內，該方法包括根據一所需壓縮程度來選擇一位元編碼方案。

在一個具體實施例內，該方法包括：使用複數個壓縮方案之不同者來壓縮該影像的不同部分；以及使用該影像不同部分的對應解壓縮方案來解壓縮該壓縮影像資料。

在一個具體實施例內，該等複數個壓縮方案包括至少以下之一：使用不同壓縮類型的壓縮方案；以及使用不同壓縮參數的壓縮方案。

在一個具體實施例內，該方法包括根據一所需壓縮程度來選擇一壓縮方案。

在一個廣義形式中，本發明的一個態樣係在提供一種用於顯示形成一數位實境串流的部分的影像之系統，該系統包括：一或多個編碼器處理裝置，利用根據該數位實境串流的系統操作及該內容，差異壓縮指示該影像的影像資料，來產生壓縮的影像資料，如此該影像的不同部分使用不同的壓縮程度來壓縮；一無線通訊連結，無線傳輸該壓縮影像資料；以及關聯於一顯示裝置的或多個解碼處理裝置，解壓縮該壓縮影像資料來從而產生指出要顯示該影像的影像資料。

在一個具體實施例內，該顯示裝置包括：一無線收發器；一顯示器；以及一或多個感測器。

在一個具體實施例內，該感測器包括至少以下之一：影像感測器；範圍感測器；位置感測器；方位感測器；動作感測器；眼睛追蹤感測器；以及生理感測器。

在一個具體實施例內，該顯示裝置與一編碼器之至少一者包括儲存至少以下之一的記憶體：指出一顯示裝置組態的組態資料；指出關聯於該顯示裝置的一已定義邊界之邊界資料；指出一先前影像的一先前邊界之先前邊界資料；指出一先前顯示裝置姿勢的先前姿勢資料；以及指出一先前影像的先前影像資料。

在一個具體實施例內，該顯示裝置包括：一解碼器輸入緩衝區，接收該壓縮影像資料；以及一解碼器輸出緩衝區，儲存該影像資料。

在一個具體實施例內，該一或多個解碼器處理裝置包括至少以下之一：一合適程式編輯的場可程式閘陣列；一專用積體電路；以及一圖形處理單元。

在一個具體實施例內，該一或多個編碼器處理裝置形成一編碼器的零件，包括：一編碼器輸入緩衝區，接收該影像資料；以及一編碼器輸出緩衝區，儲存該壓縮影像資料。

在一個具體實施例內，該編碼器包括一編碼器發射器，發射來自該編碼器輸出緩衝區的該影像資料。

在一個具體實施例內，該編碼器處理裝置包括：一合適程式編輯的場可程式閘陣列；一專用積體電路；以及一圖形處理單元。

在一個具體實施例內，該系統包括與一編碼器無線通訊來交換至少以下之一的一解碼器：壓縮的影像資料；至少部分指出至少以下之一的顯示資料：該顯示裝置的操作；該顯示裝置的使用；以及指出該無線通訊連結的通訊連結資料；至少部分指出該顯示裝置組態的組態資料；以及至少部分指出該數位實境內容的內容資料；以及指出該差異壓縮的壓縮資料。

在一個具體實施例內，該解碼器為至少以下之一：耦接至一可穿戴式顯示裝置；一穿戴式顯示裝置的零件；以及一用戶端裝置之內的一嵌入式系統。

在一個具體實施例內，該編碼器為耦合至合適程式編輯的電腦系統及其一部分的至少一者。

應了解，本發明的廣泛形式及其各自特徵可以結合使用、可互換及/或獨立使用，並且不用於限制參考單獨的廣泛形式。

此時說明壓縮與解壓縮影像資料用於一數位實境應用的方法範例。

針對例示目的，假設該處理至少部分使用一或多個電子處理裝置來執行，該裝置通常形成電腦系統或類似系統的一部分， 通常透過無線連接與顯示裝置(例如頭戴式顯示器)通訊。在一較佳範例中，提供一編碼器處理裝置來用於負責提供影像資料的該(等)電腦系統內、與之搭配或成為其一部分，而一或多個解碼器處理裝置則提供用於顯示數位實境內容給一使用者的一HMD內、與之搭配或成為其一部分。然而，將了解應可使用其他替代配置。

該影像資料通常代表一系列影像的一或多個影像成形部分，這在一個範例中為使用該HMD遠端播放的一數位內容串流。該數位內容串流通常形成增強或混合實境應用的一部分，其中影像內容與使用者環境一起顯示，例如通過在透明螢幕上顯示影像及/或通過將該等影像與該環境的影像組合。然而，將了解本文內說明的某些技術也適用於虛擬實境及/或遠端呈現應用，因此數位實境一詞並非限制性。具體而言，數位實境一詞旨在至少包含混合真實和虛擬實境應用，通常稱為混合或合併實境，包括僅將虛擬物體覆蓋到使用者的視野內或提供與現實世界特徵強烈交織並且似乎共存的虛擬特徵，但也可擴展到增強和純粹虛擬實境應用。

此時將參閱第一A圖說明用於壓縮與解壓縮影像資料的一第一範例處理。

在此範例內，在步驟100上，一或多個編碼器處理裝置通過差異壓縮影像資料（其指示要顯示的該影像），來產生壓縮的影像資料。這根據系統操作以及該數位實境串流的內容來執行，如此該影像的不同部分就可使用不同的壓縮程度來壓縮，從而達成最佳化整體壓縮量，同時降低對於可察覺影像品質的衝擊。

在步驟101上，該壓縮影像資料以無線方式傳輸至一顯示裝置，像是一可穿戴式HMD。該傳輸通常透過合適的無線通訊通道來執行，其可包括一專用通訊通道、Wi-Fi或其他802.11網路、行動電話網路，像是3G、4G或5G網路或等等。

在接收時，然後在步驟102上，關聯於該顯示裝置的一或多個解碼處理裝置差異解壓縮該壓縮影像資料，從而產生影像資料（其指出要顯示的該影像）。在這方面，該解壓縮影像資料可提供給該顯示裝置的一顯示引擎，這允許其以正常方式顯示。

因此，上述方式使用系統操作與內容的組合，使得每個影像的壓縮適合於當前系統操作和當前內容，從而最佳化每個影像的壓縮處理，從而有助於確定滿足頻寬和延遲的要求。

例如：在無線通訊連連結品質由於例如干擾而降低的事件中，執行更積極的壓縮，以便減小與每個影像相關聯的影像資料整體尺寸，從而確保影像的無線傳輸不會中斷。類似地，所使用的該壓縮根據頭戴裝置的動作、頭戴裝置的特性等等來改變，底下將說明額外範例。

為了達成此目的，單獨或同時使用不同的壓縮技術，依需求動態選擇，以確保達成所要的壓縮程度。

例如：一個壓縮技術包括拋棄至少某些影像的影像資料，然後通過重建至少某些該影像的影像資料，來差異解壓縮該壓縮影像資料。在此方面，拋棄該影像的一部分，因此不需要傳輸，可導致顯著的整體壓縮，對該影像的剩餘部分不會有不利的影響。

拋棄的該影像部分可從先前影像的對應部分重建，運用連續影像之間的冗餘（redundancy），考慮到頭戴裝置移動而計算，允許重建影像細節而不需要傳輸影像數據。因此，通過分析該頭戴裝置的動作以及在連續訊框之間內容中的變化，這可導致影像資料體積大幅減少，而影像品質沒有或有最少耗損。例如：若該使用者相對於虛擬特徵進行平移移動，則可在解壓縮側水平或垂直移位一些訊框，而不需要發送新訊框。

另外，在混合實境應用的情況下，所產生的大部分實際上不顯示，並且僅為了確保影像的顯示部分顯示在正確位置上而包括在內。尤其是，在當頭戴裝置包括部分透明顯示器的情況下，或者在攝影機到顯示（camera-to-display）方法的情況下，用頭戴裝置中的攝影機饋送替換這些部分時，這些部分不顯示。為了提供與不同硬體的相互操作性，這些區域通常在影像中生成為黑色像素，其中頭戴裝置在顯示最終混合實境影像時操作以省略或替換黑色像素。因此，在另一個範例中，該顯示裝置可適於在圖像傳遞到該顯示引擎之前，使用例如黑色像素的已定義影像資料，來重建該影像的省略部分，然後該顯示引擎以正常方式解譯這一點、省略或替換該等黑色像素。

在另一個範例中，要省略的區域由不透明度定義，通常以一alpha通道的形式，與更典型地RGB影像資料一起提供。因此，在另一個範例中，可使用該alpha通道和RGB通道執行壓縮，其中重建的alpha通道用於定位RGB通道中的興趣區域/物體，從而控制這些區域在最終影像中呈現的位置。

除了移除影像的部分之外，該壓縮技術還可使用一或多種不同的壓縮技術，來壓縮影像的剩餘部分。這可包括使用已知的壓縮方式，例如JPEG等，通過調整該壓縮演算法的參數來控制壓縮程度。其他可用的額外壓縮技術包括區塊編碼、DCT以及相關位元編碼方案等等，以及額外範例將於底下更詳細說明。

通常，該系統適於根據與系統操作及/或內容的不同方面有關之資料範圍，來控制壓縮處理，

例如：壓縮處理可考慮至少部分指出該顯示裝置操作及/或該顯示裝置用途的顯示資料、指出該無線通訊連結操作的通訊連結資料、至少部分指出該顯示裝置組態的組態資料以及至少部分指出該數位實境內容的內容資料。

該顯示資料可定義目前的顯示裝置姿勢及/或動作，其可用於評估與先前影像相比的冗餘，或者定義使用者凝視，其可評估使用者正在關注影像的哪些區域，並且因此需要更高的影像品質。類似地，內容資料可用於決定影像內的興趣區域，例如基於視覺內容及/或其他上下文提示，例如可聽到的提示，再次允許確定需要更高影像品質的區域。該組態資料通常定義該影像在顯示裝置視野之外的部分，因此不顯示，及/或在影像的未顯示區域中，因此可使用更積極的壓縮而不會察覺影像品質降低。最後，該通訊連結資料可根據目前頻寬及/或延遲，用來控制所使用的總體壓縮程度，從而確保可及時傳輸該壓縮影像資料。

當使用顯示資料、通訊連結資料及/或組態資料執行壓縮時，由於頭戴裝置可知道此資訊，這允許解碼器處理裝置使用相同的資料，包括執行該解壓縮時的該顯示資料、通訊連結資料及/或組態資料。另外，在壓縮以內容資料為基礎的情況下，解碼器處理裝置可另外使用指出該差異壓縮的壓縮資料，其可由編碼器處理裝置作為該壓縮影像資料的一部分或與之一起提供。在任何一種情況下，該資料都可用於建立用在該影像不同部分上的壓縮，然後使用它來實現適當的對應解壓縮方案。例如：這可用於允許解碼器處理裝置重新創建該影像的省略部分，並且在解壓縮該影像的壓縮部分時，使用正確的解壓縮技術。

特別是在使用顯示資料以及通訊連結資料及/或組態資料的情況下，這些資料對於該顯示裝置與處理裝置都已知為正常系統操作的一部分，因此在該(等)處理裝置與顯示裝置之間不需要額外的資料傳輸，反而可降低頻寬要求，允許更多頻寬專用於該壓縮影像資料的傳輸。

在一個範例中，當實現該壓縮處理時會將許多因素列入考量，例如：該(等)編碼器處理裝置可使用該通訊連結資料決定一目標壓縮，尤其是使用該整體頻寬及/或通訊連結延遲，來評估可用於每一壓縮影像的壓縮影像資料量，而不會造成傳輸處理內的瓶頸。

在已決定該目標壓縮時，然後該(等)編碼器處理裝置根據該組態資料、該顯示資料及/或該內容資料，來決定一些興趣區域中每一者的相對壓縮程度。如此，這將評估不同的興趣區域、可使用的壓縮量，選擇性考慮裝置組態、使用者凝視、該興趣區域的內容、其他上下文提示等等列入考慮， 例如：這可通過使用該顯示資料及/或該內容資料決定一興趣區域的位置，然後根據該位置以及關聯於該區域的該內容決定該相對壓縮程度來實現，定義該顯示裝置的相對壓縮程度之一組態地圖，或定義該使用者凝視的相對壓縮程度之一凝視地圖。 底下將更詳細說明這樣的範例。

一旦確定了每個興趣區域的相對壓縮程度，就可根據該相對壓縮程度和所需的總體壓縮程度為每個興趣區域計算絕對壓縮程度，從而允許每個興趣區域使用適當技術進行壓縮。如此該已決定的壓縮程度可用來選擇壓縮方案及/或選擇壓縮方案的參數。一般而言，使用許多不同壓縮方案及/或參數，從而允許針對該影像的不同部分實現差異壓縮。

此時在更深入範例之前，將使用方式的組合更詳細分開說明不同方式的進一步特徵。

此時將參閱第一B圖說明使用顯示資料執行壓縮/解壓縮的處理範例。

在此範例中，在步驟110上，一顯示裝置分析來自一或多個感測器的信號，用此分析來產生顯示資料。如先前所述，該顯示資料係關於顯示裝置操作及/或使用的一些態樣，並且可包括指出相對於環境的顯示裝置姿勢之任一或多個姿勢資料、指出相對於環境的顯示裝置動作之動作資料、使用者提供的輸入命令、指出使用者凝視的凝視資料及/或指出使用者生理屬性的生理資料。這些資料的每一者所具有的共同點是，這些資料可使用根據該顯示裝置的內建感測器及/或與該顯示裝置通訊之感測器即時量測，允許將此資訊從顯示裝置傳輸到該編碼器處理系統，並列入可考量來將該壓縮處理最佳化。

由此可了解，該等感測器的性質及所執行的該分析將根據較佳實施而變化，例如：當決定姿勢及/或動作時，該等感測器應包括位置及方位感測器，諸如定位系統(例如GPS)與方位感測器(加速度計)的組合。然而在一個較佳範例中，該等感測器包括影像或範圍感測器，用來運用同時定位與映射(SLAM，simultaneous localisation and mapping)演算法來計算姿勢資料。其他可用的範例感測器包括眼睛追蹤感測器，特別是瞳孔或肌肉感測器，及/或其他生理感測器，例如用於感測肌肉及/或大腦內的電活動。

在步驟111上，該顯示資料儲存在該頭戴裝置內，在步驟112上從該顯示裝置傳輸至該等一或多個處理裝置之前，通常使用用於傳輸該壓縮影像資料的相同通訊連結。

在步驟113上，該(等)編碼器處理裝置至少部分使用該顯示資料，產生壓縮影像資料。該壓縮的性質以及其執行方式將根據該較佳實施方式而變，並且可包括使用現有的壓縮技術，以及本文內說明的一或多種壓縮技術。

該壓縮影像資料一旦產生之後，就在步驟114上無線傳輸給該顯示裝置。在步驟115上，該顯示裝置接收該壓縮影像資料，然後在步驟16上，解碼該壓縮影像資料。實現這一點的方式將根據該壓縮影像資料的方式而變化，並且下面將更詳細描述範例。

一旦解碼之後，這允許由該顯示裝置使用合適的顯示系統，像是螢幕、波導投影配置等，來顯示該影像。

因此，上述處理利用決定來自內建感測器的顯示資料來操作，該資料隨後無線傳輸至處理裝置，允許該處理裝置在產生壓縮影像資料時使用該顯示資料。然後該壓縮影像資料以無線方式返回該顯示裝置，允許使用該就地儲存的顯示資料來解壓縮。當執行該壓縮與解壓縮處理時，這允許該等編碼器與解碼器處理裝置使用該顯示資料形式內相同的資訊。這可允許在編碼器和解碼器處理裝置中就地選擇合適的壓縮和相應的解壓縮方案，從而避免需要交換關於所使用壓縮方案的進一步資訊，以便允許執行解壓縮。更進一步，這允許在執行壓縮時考慮當前操作和顯示裝置的使用，從而允許根據當前情況對其進行最佳化。例如，可使用移動程度來調整壓縮等級，以便如果使用者快速移動，並且虛擬特徵在遠處，則可應用更高等級的壓縮，而如果使用者仍然接近一物體，則可使用減少的壓縮量，可能需要犧牲訊框率。

這些特徵使得數位實境影像可由與顯示裝置無線通訊的處理裝置生成，而不會導致過多的頻寬要求或延遲。在一個特定範例中，這使得能夠從雲端型計算實現數位實境影像的遠端服務，其中所得到的影像在經由諸如行動電話網路或類似網路的行動通訊網路傳輸之後，儘管這不是必需的，可使用其他無線通訊系統，例如WiFi等，顯示在一顯示裝置上。

此時將描述一些進一步特色。

在一個範例中，該方法包括根據該無線通訊連結的操作及/或一壓縮影像資料頻寬，選擇性傳輸該顯示資料。如此，該系統可考量可用頻寬以及該壓縮影像資料的大小，選擇是否傳輸該顯示資料。應了解在可用的情況下，通常在壓縮和解壓縮每一影像時使用各別顯示資料，如此根據該顯示裝置的當前操作，來最佳壓縮和解壓縮每個影像。然而，如果不發送顯示資料，則相同的顯示資料可用於來自該數位實境串流的影像子序列，例如使用相同的顯示資料壓縮和解壓縮一些影像的序列。

在一個範例中，該等感測器包括影像或範圍感應器，該方法包括使用SLAM演算法產生姿勢資料。在這種情況下，可在戴著頭戴裝置時計算姿勢資料，例如使用就地實現的SLAM演算法，這與傳統技術形成對比，其中該處理裝置通過使該顯示裝置將該感測器信號的指示傳送給該處理裝置，或其中該影像資料在顯示裝置本身上創建，來計算該姿勢資料。例如，該姿勢資料可包括一環境內相對於該顯示裝置的許多感測點位置之指示。

因此，姿勢資料的隨機計算（on-board calculation）可最小化從該顯示裝置傳輸資料的需求量，以便允許創建該壓縮影像資料。尤其是這避免需要傳輸感測器信號，例如使用安裝在顯示裝置上的成像裝置所擷取之影像，因為這會佔用大量頻寬並且可能對影像資料傳輸導入頻寬限制，或者可能造成系統延遲。然而應了解，這非必需並且可替代，可使用其他感測配置，例如感測顯示裝置相對於信標（beacons）的位置或其他類似的配置。

如上所述，可根據姿勢及/或動作資料來創建該壓縮影像資料，如此可在考慮顯示裝置姿勢及/或動作的情況下將該壓縮最佳化，從而實現該壓縮最佳化。在一個範例中，該方法包括根據動作資料及/或姿勢資料以及先前姿勢資料來決定顯示裝置姿勢變化，然後使用顯示裝置姿勢變化來產生壓縮影像資料或解壓縮該壓縮影像資料。尤其是，此處理運用連續影像之間的顯示裝置姿勢變化，以便將該壓縮/解壓縮處理最佳化。尤其是，這依賴於以下事實：隨著該顯示裝置移動，該等影像內物體的位置也將移動，了解該移動就能夠實現提高效率。

在一個特定範例中，這由決定後續影像之間冗餘來實現。具體是，該方法可包括通過從一先前影像擷取先前影像資料來壓縮該影像資料，決定該影像與先前影像之間的冗餘，然後使用該冗餘來壓縮該影像資料。類似地，當解壓縮影像時，該方法包括在該顯示裝置內，擷取先前影像的先前影像資料，決定該影像與先前影像之間的冗餘，並使用該冗餘來解壓縮該影像資料。如此，由該等處理裝置以及顯示裝置儲存先前影像並使用，以便降低需要傳輸的資料量級。

例如：在連續影像之間一影像之內各別物體的外觀並未改變，只有根據該顯示裝置動作而改變位置。因此在此範例中，可簡單使用先前影像的部分來置換一物體位置。然後該顯示裝置可從該先前影像擷取影像資料，並將此替換至該目前影像內，大幅減少需要傳輸的影像資料量而不會造成任何資訊損失。這可根據該顯示裝置動作來計算，及/或可通過碼替換來實現，例如用先前影像部分的參照來置換一影像部分，而該參照當成該影像資料部分來傳輸。該參照可為任何外型，但是在一個範例中為代表該早先影像之內一區域的程式碼或類似物。這可包括像素的特定區域，像是一或多個像素陣列，或可代表由一邊界定義的區域，這從剩餘的說明當中將可了解。

對使用者動作的認知也可用來調整一訊框率，通過省略訊框來降低訊框率，讓較少動作的場景內使用降低的壓縮，例如若使用者正在觀看一靠近的物體並相對靜止時。當使用者開始加速時，該編碼方案可調整為積極壓縮以及較高的訊框率組合，來提供較低延遲並且更持續的體驗。

該顯示裝置的動作也可用來評估邊界的位置，該邊界充當用於剔除影像資料的遮罩，下面將有更詳細的說明。

該顯示資料還可或另外是指出使用者凝視的凝視資料，包括凝視的方向及/或深度。這可利用任何適當的技術來確定，例如追蹤使用者的瞳孔或眼睛肌肉，其中獨立追蹤每個使用者眼睛的凝視方向，以便決定凝視深度。這種眼睛追蹤感測配置及其操作都為已知，因此不再進一步詳細描述。

然後，編碼器處理裝置根據該凝視來壓縮影像資料，例如通過根據其位置和使用者的凝視，提供不同壓縮程度給該影像內的不同體或區域。例如這執行之後可減少壓縮，因此較佳品質用在使用者凝視點附近的影像物體，而較大的壓縮則用於遠離使用者凝視的物體上。在這方面，使用者通常不太會聚焦在遠離其凝視點的物體上，因此將不會感覺到影像品質降低到如果物體更接近凝視點的程度。如此，這允許使用較大壓縮來編碼進一步遠離凝視點的物體，而不會注意到影像品質降低。應了解，凝視點可包括凝視深度，以及在該影像上的2D位置，意味著壓縮程度可根據影像內容的景深而變化，相對於使用者的凝視深度。

一旦生成，壓縮影像資料就可用無線方式傳輸到該顯示裝置，允許顯示裝置的解碼器處理裝置解壓縮該壓縮影像資料。同樣，根據該凝視資料執行解碼。在這方面，應了解由於該顯示裝置已存取相同的凝視資料，因此可對該(等)處理裝置使用類似的評估技術，以決定該壓縮並因此確定應使用的壓縮演算法。這允許成功重建影像資料，而不需要關於用來從該(等)處理裝置傳送到該顯示裝置的編碼演算法之資訊。

因此，上述處理在壓縮和解壓縮階段期間都運用凝視資料，允許對不同的影像物體執行差異壓縮，並且不需要將關於所使用壓縮處理的知識傳送到該顯示裝置，進而降低資料頻寬需求。

雖然眼睛位置可通過主動眼睛追蹤動態更新，但是被動統計凝視預測或甚至使用AI演算法或EEG輸入(測量腦神經活動以動態估計凝視方向)，也可當成凝視方向的指示器。例如神經感測器可與更傳統的感測器結合使用，以幫助更精確的追蹤並消除誤差和誤報。

這可以擴展到包括放置在身體上或身體內的感測器，以感測肌肉中的電活動，減少未來運動估計中的潛伏期，尤其是頸部和頭部運動。在此範例中，可在完全轉化為機械運動或肌肉完全伸展之前，從早期電學或生理問題(例如快速抽搐運動)估計肌肉未來的動作。

這類系統可並行佈署，以讀取對所查看內容的神經學響應。這也可用於資料採擷，或根據神經響應與神經映射來建立改善的互動。另一個互補的應用可以是使用神經感測來估計和讀取臉部表情，其可發送至一虛擬化身表示，這對於交互應用和遠端呈現特別有益。

一學習演算法可包含在這種形式的系統中，其中定義的運動組合用於校準以幫助消除誤報。

該系統還可更廣泛地利用肌肉運動，例如預測顯示裝置的運動，以允許非常快速地在HMD上計算平移影像偏移或翹曲，而不需要渲染或接收新訊框，這可改善快速、小幅度「顫抖」頭部運動的延遲。通過網路以小頻寬代價提供更大的影像持久性。這類系統可與HMD的其他感測器一起運作，來消除誤報。

神經植入解決方案自然不會受到身體異常電活動誤報的影響，雖然看似具有侵入性，但可能特別適合讓殘疾人士有更好的VR、MR或神經織網與其他植入方面未來進步之體驗，對於普通使用者來說，可如電腦介面般受到歡迎。

此時將參考第一C圖來說明使用該數位實境串流內容來編碼影像之處理範例。

在此範例中，在步驟120上，編碼器處理裝置決定內容資料。內容資料可涉及內容的任何方面，並且可包括像素陣列內容、影像內容、影像不同部分的內容、影像不同部分的不透明度、影像內的興趣區域、影像之內的興趣位置、與影像相關聯的一或多個提示，諸如可聽見或上下文提示，或影像內的一或多個顯示物體。內容資料可以任何適當的方式決定，並且這可涉及執行影像分析，例如低解析度影像，或可涉及從內容引擎接收關於該等物體的資訊內容，例如物體的形狀和位置，從而避免執行影像分析的需要，進而降低計算需求並提高速度。如底下更詳細說明，該內容資料也可包括描述檔等，其至少部分管理所執行的該壓縮。內容資料可額外及/或另外包括場景地圖，指定物體位置或其他興趣區域、上下文提示的位置等，其可再次用於輔助該壓縮處理。

在步驟121上，當差異壓縮該影像資料時，使用該內容資料。這可以任何適當的方式實現，但是在一個範例中，涉及了決定包含該影像之內一或多個興趣區域(像是一或多個物體)的邊界。另外，這可涉及識別和替換該影像之內像素區塊，或者識別該影像具有低不透明度的區域，然後使用更積極的壓縮或省略較低不透明度區域，這對使用者具有較小的視覺衝擊。

在步驟122上，產生指出該差異壓縮的壓縮資料。該壓縮資料可包括邊界資料，這些資料可以是指定該邊界範圍的一或多個參數、可以是估計邊界要使用的指示，或者可以是邊界變化的指示。另外，這可包括指出像素陣列區塊的區塊資料、指出該影像不同部分的不透明度之不透明度資料或指出興趣位置的位置標記。

在步驟123上，壓縮影像資料和該壓縮資料都發送給該顯示裝置，可用於重建該影像。

在此範例中，因此該壓縮使用有關該數位實境串流內容的資訊，以便將該壓縮處理最佳化。這可將可以省略的影像資料列入考慮，例如，若落在邊界之外、低於不透明度臨界值，或者由區塊代碼取代，這可導致資料量顯著減少，不管剩餘的影像資料是否壓縮。

如上所述，在一個範例中，編碼器處理裝置根據該內容來操作產生一或多個邊界，然後根據該等邊界差異壓縮該影像資料。邊界可以任何適當的方式確定，並且可根據先前邊界來估計，根據興趣區域的位置和範圍、已識別的物體等等來計算。邊界通常包含區域及/或物體，並用於定義一遮罩，從而指定需要編碼的影像部分和可省略的部分。應了解，如果在該影像內分開提供多個物體，則可定義包含所有物體的單一邊界，或者可定義多個邊界，每個邊界包含一或多個物體。因此，對一邊界的引用旨在涵蓋多個單獨邊界的使用。

邊界內的影像資料編碼可以任何合適的方式執行，並且可包括保留該邊界內影像部分的影像資料不改變，但更典型地包括某種形式的有損或無損壓縮，例如代碼替換、JPEG壓縮、位元編碼等。進一步的變化是基於影像之間的冗餘，以來自先前影像的內容替換邊界的內容。例如，若邊界圍繞靜止的物體，則可只從該壓縮影像資料中省略整個邊界內的影像資料，並用來自先前影像的影像資料代替。

一旦已產生一邊界，則創建指出該邊界的邊界資料。該邊界資料可以是指定該邊界範圍的一或多個參數、可以是估計邊界要使用的指示，或者可以是邊界變化的指示。

然後，該壓縮影像資料和邊界資料可發送至該顯示裝置。在該特定情況下，該壓縮影像資料僅省略(遮蔽)落在邊界之外的影像資料，從而導致資料量顯著減少，而不管邊界內的影像資料是否壓縮。

然後，關聯於該顯示裝置的解碼器處理裝置通常通過解析該壓縮影像資料並擷取該邊界資料，可從接收到的壓縮影像資料中決定邊界資料以及編碼的影像資料。利用合適的解碼方案對該編碼影像資料進行解碼，其中執行該解碼方案的方式取決於用來編碼該影像資料的該編碼方案。例如，用來壓縮該邊界之內影像資料的各別壓縮方案可在該邊界資料內識別。另外，該解碼器處理裝置可根據該顯示資料、組態資料及/或通訊連結資料，來決定所使用的壓縮方案。在任一種情況下，該解壓縮處理使用對應的解壓縮方案，來解壓縮該壓縮的影像資料。

然後，根據該邊界與該解碼影像資料，顯示該影像。尤其是，這通常通過根據該解碼的影像資料顯示興趣區域之影像來實現，其中該等影像的位置由該邊界限定，有效重建該原始影像。在這方面，根據應用，可簡單地重建、替換或不顯示該原始影像落在邊界之外的遮蔽部分。例如，在混合或增強實境應用中，不顯示該影像的遮蔽部分，允許看見使用者的外部環境。具體是，這些為已省略、允許使用者直接看見環境或由該環境的擷取影像來替換。為了實現此目的，傳統系統將不要顯示的像素編碼成黑色像素，而該顯示系統不顯示黑色像素，或用擷取的環境影像來取代黑色像素。因此在這種情況下，該影像的遮蔽區域可由黑色像素代替，因此現有的顯示系統可正確解析該等影像，但應了解，可使用其他配置。

因此，上述處理通過遮蔽未在混合或增強實境應用中顯示的影像部分來有效地壓縮該影像，從而允許使用者查看其周圍環境。由於增強或混合實境應用往往只顯示小影像區域，以便使用者可保持看見其本地環境，這可顯著減少需要傳輸的影像資料量，從而實現顯著的壓縮，即使關聯於該等物體的影像資料本身並未壓縮。然而，基於邊界的知識可精確顯示所得到的影像，該邊界實際上可用於重建邊界之外的影像部分，或者正確地將該影像部分定位在邊界內。

一般而言，該邊界資料設置成讓定義該邊界所需的資料最少。這可通過機制的組合來實現，包括通過適當選擇邊界形狀，或者通過追蹤或估計連續影像之間的邊界變化。

在一個範例中，該邊界資料指出一邊界範圍包括邊界向量、邊界形狀及/或位置。這可為任何適當的形式，但通常選擇為允許最小化定義邊界所需的資料，例如通過根據多邊形上的邊界形狀，使得邊界可由多邊形的頂點來定義。然而應了解，任何合適的邊界形狀都可使用，在這種情況下，這可以其他方式定義。例如，在邊界是圓圈的情況下，這可由半徑和圓心限定，而正方形可由兩個相對的角限定。另外，邊界資料可指出邊界的變化，包括形狀及/或位置的變化，或者可以是估計應該由解碼器處理裝置計算的指示，從而避免傳輸詳細邊界資料的需要。

通常計算出邊界形狀與範圍，以便確定該影像之內的物體及/或興趣區域都包含在內。當壓縮一影像時，該處理裝置通常從一內容引擎接收限定該影像的影像資料。雖然這可分析以確定物體的位置及/或形狀，但更典型地，處理裝置可從內容引擎接收每個顯示物體的顯示物體範圍之指示。這允許使用每個顯示物體的該物體範圍來計算該邊界範圍。這是可行的，因為內容引擎將具有關於物體形狀和位置的知識，這反過來避免該處理裝置執行複雜影像分析的需要，這種分析可能導致增加延遲。

在這方面，內容引擎包含有關將要渲染的場景之所有資訊。通常在執行時間上，此資訊輸出僅限於必要的輸入和輸出，具有非常有限的動態分析內容或以自定義方式調整內容的能力。內容提供的資訊受限於允許的遊戲引擎功能規範，以及內容創建者定義的選擇。然而，內容引擎可設置成提供額外資訊作為輸出，例如通過實現自定義代碼（custom code），創建或安裝第三方插件或通過自定義。在一個範例中，這用來產生一場景地圖，其範例顯示於第五E圖內。該場景地圖識別使用者591相對於一些物體592的當前視野。在此範例中，當使用者移動，例如使用者依箭頭593所示來旋轉，系統可估計特徵位置變化，用此來評估影像之間的冗餘。這也可用來預測即將到來影像中特徵的位置，接著可幫助邊界建構。

然而將了解，這不一定是必要的。作為進一步替代方案，可使用低解析度影像來計算內容資料，允許在渲染完整解析度影像之前創建該內容資料，從而能夠平行執行渲染和分析，以避免瓶頸。

在一個範例中，編碼器處理裝置決定形成包含一或多個物體的興趣區域之顯示區域，然後使用該顯示區域計算邊界範圍。可利用顯示區域，使得邊界不一定完全符合物體的形狀。特別是，由於物體形狀可能非常複雜，因此需要大量資料來描述符合物體形狀的邊界。因此，較佳是邊界具有降低的複雜度，並且特別是，使用多邊形或其他容易定義的形狀來定義，允許使用減少的位元數來定義該邊界，並且這樣的範例顯示於第五B圖並且下面將有更詳細的說明。因此應了解，邊界範圍通常經過計算，用來平衡減少編碼所需影像資料量之需要與邊界的相對複雜度，同時確保邊界完全包含一或多個物體。

如上述，邊界資料可指出邊界範圍變化。例如，如果邊界形狀保持不變，則邊界資料可僅指出與用於先前影像的先前邊界相比之邊界易位。其他範例變化可包括邊界形狀內旋轉或變化。在這方面，特別是對於更複雜的邊界，應了解，這可減少用於定義當前影像邊界的資料量，例如允許新邊界由代表新位置的單一坐標定義，而不必為多邊形的每個頂點定義坐標。在此範例中，該方法通常包括擷取指出先前影像邊界的先前邊界資料，從邊界範圍與先前邊界資料來決定邊界範圍變化，並使用該邊界範圍變化產生邊界資料。

進一步替代方式為使用一估計邊界。在這方面，根據先前邊界的範圍和諸如顯示資料的資訊來估計邊界範圍，例如考慮關於顯示裝置姿勢變化及/或使用者輸入命令的認知。如果興趣區域在場景內是靜態的，並且唯一的改變是在顯示裝置相對於場景的視野中，則這很有效。在這種情況下，由於視野的變化可從顯示資料導出，這對於處理裝置和顯示裝置都是已知的，允許邊界資料簡化為一簡單旗標，指出是否應使用估計的邊界，然後根據需要在每個裝置中獨立計算邊界。這種方法的優點在於避免傳輸關於邊界範圍的複雜資訊之需求，從而大幅降低資料傳輸要求。

在一個範例中，可根據顯示裝置姿勢變化，通過現有邊界的易位而僅估計該估計的邊界範圍。特別是，該方法包括通過決定先前姿勢資料指出先前顯示裝置姿勢來估計邊界範圍，使用姿勢資料和先前姿勢資料從先前影像的顯示，來決定顯示裝置姿勢變化，然後使用顯示裝置姿勢變化來決定一估計的邊界範圍。

除了使用顯示裝置姿勢變化之外或作為其替代，可計算或估計邊界變化以考慮使用者輸入，例如導致視野變化。例如，如果使用者靜止並且選擇放大影像，則應了解，可僅增加邊界範圍而不改變形狀或位置。

當使用估計的邊界時，通常檢查影像序列中每第n個影像，以確保估計的邊界仍然準確。為了實現這一點，將估計的邊界範圍與計算的邊界範圍，或影像中一或多個顯示物體進行比較，以確定邊界準確。在編碼邊界資料之前，可對當前影像執行此操作。然而，由於執行比較的需要可能導入處理延遲，因此在另一個範例中，這可根據先前影像來執行。因此，在使用估計的邊界壓縮一影像之後，執行該比較，這用於決定是否要估計或計算下一影像的邊界。因此，例如，若估計的邊界不再足夠接近計算的邊界，則可為下一影像重新計算邊界，並將其傳送到顯示裝置。

將了解，在解壓縮期間將執行類似的處理。

特別是，解壓縮處理通常決定邊界範圍，然後使用該邊界範圍對壓縮影像資料進行解碼，例如通過在邊界之外的區域中填充影像，或者僅在邊界所定義位置內顯示該邊界內部影像。作為其一部分，邊界之內處理影像資料可能需要解壓縮，使用與用來壓縮邊界內影像的壓縮技術相對應之解壓縮技術，這是根據壓縮資料及/或諸如顯示資料等其他資料來確定。這還可包括替代影像資料，例如，利用來自先前影像的內容，獲得邊界內的影像內容。

在一個範例中，指出先前影像的先前邊界之先前邊界資料被擷取，其中來自先前邊界的邊界範圍變化是從邊界資料和先前邊界所決定，並且邊界範圍變化用於計算新的邊界範圍。

另外，可根據先前的邊界範圍和顯示資料來估計邊界範圍，例如顯示裝置姿勢的改變。這通常通過擷取指出先前影像的先前邊界之先前邊界資料、決定指出先前顯示姿勢的先前姿勢資料、使用姿勢資料和先前姿勢資料來決定顯示裝置姿勢變化，然後使用顯示裝置姿勢和先前的邊界以估計當前邊界範圍來實現。

可執行類似的處理，以便根據視野變化決定估計的邊界範圍，例如通過擷取指出先前影像的先前邊界之先前邊界資料，使用輸入命令來決定另一視野變化，例如縮放等，然後使用視野變化來估計邊界範圍。

因此，邊界的使用可有效定義一遮罩，該遮罩內的區域根據影像之間的冗餘來壓縮或替換，並且省略遮罩外部的區域，從而避免傳輸這些區域中任何資訊之需要。

此範例顯示於第五C圖內，其中在內容引擎、編碼器和解碼器處理裝置之間商定一固定影像(訊框)大小和長寬比。雖然訊框的長寬比以及解析度維持不變，整個訊框在壓縮和解壓縮側都光柵化（rastered）或更新，然而像素遮罩邊界580由四個頂點581界定，而遮罩外部的像素區塊582並未傳輸，像素區塊583經過壓縮和傳輸用於解壓縮。遮罩內的像素資料可使用任何壓縮形式來壓縮，例如DCT編碼等，以減少遮罩內的資料量。

可通過部分光柵緩衝器、訊框比較或如上所示低解析度參考訊框的渲染，或者與先前緩衝訊框的差異比較來產生該遮罩。這也可在內容引擎內實現，例如在GPU級別上，允許GPU節省用於渲染的資源，並將該資訊傳遞到該壓縮編解碼器。

時間差分析可分離到該遮罩區域內以及其邊緣周圍的直接像素，從而允許低延遲時間壓縮方案。

遮蔽區域可在解壓縮期間以任何適當的方式重建，包括通過使用Alpha通道再現、某些顏色像素群組再現，可能是黑色，或者與另一個像素資料源結合，也許來自攝影機。

應了解，以上說明集中在主要基於影像之視覺內容來識別興趣區域。然而，使用其他上下文提示，像是聲音提示，也可實現此目的。例如，立體聲和更高級的環繞聲，雙耳聲音可在混合實境應用中提供大量的沉浸感，音頻提示綁定到3D場景中的特定位置，這用來當成使用者聚焦或凝視在興趣特徵上的提示。這通常由內容引擎在創建3D場景期間執行，因此可使用該資訊以便定位影像內的興趣區域，從而允許據此調整壓縮。應了解，這有點類似於根據眼睛追蹤所執行的差異壓縮，但是使用內容提示來預測使用者凝視，而不是直接測量。

使用邊界的替代方案涉及區塊替換。在此範例中，一或多個編碼器處理裝置獲得像素資料，其通常對應於來自影像內m × m個像素的陣列，其中隨該影像逐漸處理之後，已判定像素序列的像素資料。

編碼器處理裝置識別像素陣列序列，該序列為包括大體上一致像素內容的連續像素陣列之序列。在這方面，如上面針對混合或增強實境內容所討論的，影像的大部分通常指定為黑色像素，使得不顯示這些像素。因此，可識別並取代這些的序列。

在這方面，接著產生包括區塊資料的壓縮資料，其指出第一像素陣列位置、結束像素陣列位置和像素陣列內容。這允許將相同像素陣列的序列替換為減少數量的資料，例如代碼序列，其僅指定單一像素陣列的像素陣列內容，搭配開始和結束位置，應了解， 可根據開始位置和像素陣列長度。

接著可將該壓縮影像資料無線傳輸到顯示裝置，允許解碼器處理裝置根據接收的壓縮資料來決定像素陣列參數，並使用這些參數來決定第一像素陣列位置、結束像素陣列位置和像素陣列內容。此後，利用像素陣列內容可產收像素陣列序列，其用於產生影像資料，從而允許顯示該影像。

因此應了解，此方式用於執行替換，用由單一像素陣列以及開始和結束位置所定義的序列，替換基本上相同的連續像素陣列之序列。這可顯著減少需要傳輸的資料量，而無需使用有損壓縮。

應了解，所選擇的特定壓縮方案可根據內容的性質而變。例如在某些情況下，區塊編碼可能比使用邊界更有效，反之亦然。一般來說，該處理涉及使用內容資料來選擇壓縮方案，並使用該壓縮方案差異壓縮影像資料。在一個範例中，這可涉及在壓縮方案之間選擇，例如在區塊編碼和邊界編碼之間，或者根據上下文提示、物體隔離、識別興趣區域，例如臉部資訊，或使用由內容引擎定義的興趣區域來定義邊界。雖然這可僅基於對渲染影像的分析來執行，但更佳是，這使用內容引擎和編碼器之間某種程度的整合來實現。在一個範例中，這使用GPU等級或甚至內容創建等級(安裝在遊戲引擎中的模組/外掛)中的整合來實現，其允許內容創建者定義內容的最佳化描述檔。這可是從完全手動處理到完全自動化處理的任何處理，使用AI、神經網路或電腦視覺技術，其從預先確定的資料庫或即時了解影像屬性。

還可存在用於控制編碼器在哪個模式內操作的描述檔選項，其可概述例如場景類型和預期影像複雜度之類的內容，並且編碼器使用該選項來選擇要使用哪種壓縮形式。在一個範例中，在編碼器接收渲染影像之前，將該資訊作為內容資料的一部分傳送到編碼器。

創建內容資料的進一步可能性是播放該內容的未優化版本，而一學習演算法學習內容獨特屬性，並將正確的壓縮描述檔應用於其上。此資訊的線上資料庫可實施，以確保該處理一次只需要一人就可完成。

如上述，另一種可能性是使內容引擎在提供主要高解析度訊框之前，以限定間隔渲染小型、低解析度訊框，如第五D圖內所示。可快速分析低解析度訊框以識別內容，從而導引該壓縮處理。這通常涉及分析影像，以識別諸如可遮蔽或跳躍阻擋（jump blocked）的大量黑色或Alpha通道區域之特徵，像是期望更高解析度的臉部聚焦特徵、內容創建者已請求演算法關注的其他特徵、藉由參考圖像，例如槍的十字線圖案，或看起來模糊不清的生物面孔，在內容創建點上預定義的特徵。系統也可尋找可用來執行動態調整的其他有用特徵，例如上下文提示的存在等。

如前所述，影像中的黑色區域通常是多餘的，並且這些可另外呈現為alpha通道，其用於再現透明度和不同的不透明度，並且因此可幫助將虛擬物體與現實世界整合， 允許陰影等的低不透明度特徵。

在一個實施中，alpha通道可由內容引擎渲染，意味著編碼器接收RGBA通道，並且可使用alpha通道來控制壓縮處理。在一個範例中，這可通過在alpha通道上施加壓縮來實現，其中積極壓縮完全透明的區域，而具有不同不透明度的區域則施加較少的壓縮。用於alpha通道的區塊可在尺寸上比RGB通道更具侵略性，而區塊編碼方案可用於嘗試消除alpha通道的大片透明區域。可使用邊界方法來識別興趣特徵，並且可消除alpha通道的大片透明區域。此處理可用於控制RGB通道中的壓縮，這涉及對較低不透明度等區域更積極套用壓縮。

若壓縮側和解壓縮側都知道「區塊跳躍」的預定大小，例如光柵掃描是8×8像素區塊，但是對於任何大區域的黑色或alpha像素，約定的「跳躍區塊」是32個區塊的群組，直到分類顯示RGB的區塊。這可使用參考影像或部分緩衝的光柵快速估計，並允許影像的主要黑色或alpha區域以比基本8×8區塊大許多的像素群組來傳輸。如果以某些配置實現，這可能導致傳輸黑色像素區域所需的位元數減少。這些優化對於未來具有極高像素數的更高解析度顯示器尤其有用。

這種方法也可應用於RGB的大彩色區域，儘管可傳達多少分類器描述檔以確保有價值的資料減少是有限的，因此這樣的策略可在剔除的位數限制內實現，保持大於任何時間發送的位數。

在另一個變化中，該方法可包括使用指出顯示裝置組態的組態資料來壓縮/解壓縮影像資料。特別是，執行該操作以考慮到不同顯示裝置可具有不同配置，因此具有顯示影像資料的不同能力。這可用於優化壓縮，例如將壓縮定制為顯示解析度，省略落在視野之外的資料，根據顯示更新率壓縮影像或使用鏡頭屬性來優化壓縮。

在此方面，許多HMD運用矩形長寬比顯示器或投影機。由於透鏡、波導、全內反射或其他方法的光學特性，通常存在多個像素的永久遮蔽區域。所有這些資料都是多餘的，並且從未查看過。這是不需要發送的資訊，可通過靜態位元遮罩的方法永久剔除。進一步優化和不同程度的壓縮可應用於透鏡與玻璃或元件的獨特光學性質，其影響光進入眼睛的折射。如果認為生理上人眼中心凹與HMD中使用的光學元件之影像劣化特性一致，則可減少大量資料。Foveation也可以是靜態的，預先確定的，並且完全基於顯示器、鏡頭和眼睛特性的組合，這些特性對於已知的HMD品牌永遠不會改變。

在一個範例中，組態資料儲存為組態地圖，該圖指定應用於影像不同部分的不同壓縮程度。組態資料可在就地儲存並由顯示裝置擷取，並在首次建立連接時上載到編碼器處理裝置。另外，當編碼器處理裝置和顯示裝置首先連接時，可交換顯示裝置識別碼並用於擷取組態資料。

該壓縮處理也可考慮指出無線通訊連結操作的通信連結資料。通訊連結資料可指出無線通訊連結錯誤度量、無線通訊連結服務質量、無線通訊連結頻寬和無線通訊連結延遲中的任一或多者。因此，這允許定制整體壓縮程度，以確保壓縮影像資料可適當地傳輸到顯示裝置。

通訊連結資料可從無線通訊連結硬體接收及/或可由顯示裝置和編碼器處理裝置獨立確定，或可在裝置之間交換。無論如何，兩裝置都可知道這一點，從而可用來控制壓縮和解壓縮處理。

應了解，上述範例方式可獨立使用及/或結合使用。上述技術還可與其他編碼/解碼技術結合使用，例如允許壓縮邊界內物體的影像資料。此時將說明範例。

在一個範例中，影像資料形成n個影像序列的一部分，其中n個影像中的至少一些影像之影像資料使用相應的壓縮方案來壓縮。在這方面，通常將不同的壓縮方案用於n個影像中至少一些，使得至少一些影像以不同的方式壓縮。不同的壓縮方案可提供不同程度的壓縮，包括有損壓縮及/或無損壓縮，並且還可使用不同的壓縮機制，例如壓縮不同影像內不同顏色的空間通道、執行區塊編碼等。因此，可使用各種不同的影像壓縮演算法，並且在以下描述中對特定範例的引用並非用於限制。另請注意，n個影像序列中至少一些影像可未壓縮。

因此，該方法提供用於壓縮並隨後解壓縮視頻內容串流中n個影像序列的機制，使用針對至少一些影像的不同壓縮/解壓縮方案，並且選擇性編碼一些影像而沒有、最小或無損壓縮。

在這方面，通常執行影像壓縮以便最小化所得資料量，例如允許使用較少的儲存空間來儲存，或使用較少的頻寬來傳輸。然而，壓縮可能導致影像中的資訊遺失，進而導致影像品質損失及/或壓縮偽像導入，例如振鈴、輪廓、分色、階梯噪訊、混疊、塊狀等。

在典型的視頻壓縮方案中，跨多個訊框共同執行壓縮，例如，使用時間冗餘來考慮連續訊框通常非常相似的事實，因此諸如MPEG-4這些壓縮方案僅使用動作估計來編碼連續訊框之間的差異，以找出訊框之間的差異。這有助於增加可執行的壓縮程度，同時最小化偽像的存在。然而，為了使這些方案最佳地操作，較佳是在開始壓縮之前知道多個影像訊框的內容。因此，這通常不適用於數位實境方案，因為其中低延遲要求通常要求盡可能快地壓縮每個訊框，這意味著一旦訊框生成，並且在生成連續訊框之前，這基本上就要完成，表示很難使用時間冗餘。

相較之下，上述方法對序列內的不同影像使用不同的壓縮方法。例如，這可包括使用針對第一影像的無損壓縮方案，來壓縮五個影像序列，接著針對接下來四個影像的四個有損壓縮方案，例如使用行程編碼，然後是色彩空間縮減、色度子採樣、變換編碼、分形壓縮等。

不同的壓縮方案通常具有不同的結果品質，並且通常具有不同的壓縮偽像，這意味著特定偽像通常僅存在於序列內的一或兩個影像中。由於觀看每個影像的時間非常短，例如0.04秒或更短，因此觀察者不會注意到這些偽像。更進一步，由於人們傾向於跨多個訊框同時感知視頻內容，因此解壓縮內容的觀看者將傾向於同時感知在整個影像序列中的品質，而不會注意到單一影像上的品質降低。這意味著只要序列中的一些影像具有足夠高的品質，使用者通常不會感覺到整體品質量降低，如果這些影像僅限於某些影像，則使用者也不會察覺到特定的壓縮偽像。此外，可通過在訊框之間執行混合，來進一步減少影像之間的偽像，例如減少特定頻率像素中的閃爍。

因此，可使用具有不同壓縮演算法的一系列影像(諸如多個視頻和電腦圖形訊框)進行壓縮來獲得高壓縮程度，與所述情況相比具有較少的感知品質降低。通過確定在多個連續影像中不存在類似的偽像，這也顯著最小化壓縮偽像的影響，從而顯著降低這些偽像被感知的程度。另外，該方法允許數位內容串流內的每個訊框單獨壓縮，這反過來使得這特別適合於需要低延遲的應用，例如數位實境應用。

在一個範例中，壓縮方案根據影像內相應像素陣列的位置來執行差異壓縮。因此，在此範例中，根據由影像的哪個部分提供該內容，並且在一個範例中，根據使用者正在觀看或期望觀看的影像部分，來差異壓縮影像。

在此範例中，該方法包括從影像資料獲得像素資料，其中像素資料表示一或多個影像內的像素陣列，並確定一或多個影像內像素陣列相對於限定位置的位置。在一個範例中，所定義的位置至少部分指出使用者的凝視點，不過這不是必需的，並且可另外為任何合適的限定位置，例如可使用影像的中心。在此之後，至少部分根據該已決定的位置來壓縮像素資料，使得壓縮程度取決於所決定的像素陣列位置，例如壓縮更遠離使用者凝視或更朝向影像邊緣的影像內容，使用者通常較少注意到這些內容。

應了解，可執行類似的解壓縮處理，其牽涉到獲得壓縮的影像資料，該壓縮影像資料代表該等一或多個影像之內一像素陣列，並且至少部分根據該等一或多個影像之內相對於一已定義位置的該像素陣列之一位置來壓縮，至少部分依照該已決定位置來解壓縮該壓縮影像資料。

如此，這提供壓縮與後續解壓縮該影像的機制，其中該壓縮根據一像素陣列相對於一定義點的位置來控制。尤其是，這允許根據該像素陣列的位置，選擇壓縮程度，如此在一影像的更重要部分內可使用較少壓縮，像是凝視點附近區域，而該影像的其他區域則可使用較大壓縮，像是遠離該凝視點的區域，例如使用者的視野周邊內。

在一個範例中，這用來提供注視點壓縮（foveated compression），通過增加使用者的周邊視野的壓縮，其中降低的影像品質不太明顯，從而允許實現更大的總體壓縮，而無可察覺的品質損失。

在一個範例中，所定義的位置根據使用者的凝視點，其可以基於凝視的實際測量點，或該使用者的預期或預測凝視點，例如通過假設使用者盯著該影像的大致中心，或基於內容，例如影像內的焦點、頭戴組的移動等來決定。此外，該定義點可偏離該凝視點，例如將此定位在該凝視點底下，來考量到個人傾向稍微察覺凝視點底下更多細節，避免走路時撞到障礙物之事實。

該壓縮程度可基於與該定義點的距離，例如遠離該凝視點時逐漸降低，但也可基於相對於該定義點的方向，如此高於或低於該定義點時壓縮較多。應了解，這允許在相對於該凝視點定位具有任意形狀的區域中使用相應的壓縮程度，並且這可以根據受壓縮內容的特定環境及/或性質來配置。例如，這允許圍繞該定義點的橢圓形、卵形或心形區域與周邊區域相比具有減少的壓縮量，從而在該使用者對任何壓縮偽像的感知將會更大的區域中優化影像品質。

在一個範例中，該壓縮方案壓縮影像資料，通過對該像素資料套用一轉換，以決定指示該像素陣列的頻率分量之一組頻率係數。該轉換通常為一頻率轉換，像是傅立葉轉換等，並且在一個範例內為2D DCT (離散餘弦轉換)。該轉換可用任何合適的方式套用，例如使用已知的轉換技術，但是在一個範例中以高並行方式執行，藉此縮短處理時間。

在變換之後，該處理涉及使用位元編碼方案，選擇性地編碼至少一些頻率係數，從而生成一組編碼頻率係數，並使用該編碼頻率係數生成壓縮影像資料。在此範例中，該位元編碼方案可定義用於將每一該等頻率係數編碼的位元數，如此至少某些該等編碼頻率係數具有不同的位元數。通常執行該處理以便減少用於編碼頻率係數的位元數，從而最小化編碼頻率係數所需的位元數。這可包括用零位元編碼某些該等頻率係數，藉此有效忽略該等各別頻率係數做為該編碼步驟的一部分。更進一步，對於較高頻率分量，所使用的位元數通常較少，因為其幅度較小並因為其對應至影像內的劇烈轉變，意味著其對於整體影像品質的貢獻較少。這允許較高頻率分量係數使用較少位元進行編碼，或甚至丟棄而不會明顯對於感知影像品質有不利影響，同時減少編碼頻率係數所需的總位元數。

應該注意的是，這種方法應該與代碼替換技術形成對照，例如霍夫曼編碼(Huffman encoding)，其中的值替代較短的代碼。相反，在此範例中，仍舊編碼該等值，儘管使用適合於該值預期幅度的位元數，因此如果預期該頻率係數值不超過七，那麼這可編碼為三位元字元，所以六會編碼為「110」，而不是使用預設的八位元字元「00000110」。相較之下，若預期該頻率係數之值高達六十三，則應使用六位元字元，例如二十應編碼為「010100」。在該值高出該可用位元數的事件中，則可使用可用於該定義位元數的最大值，從而導致所得壓縮影像資料的精度損失。

如此，該位元編碼方案使用有關該等頻率係數值的預期大小之資訊，以便定義應使用的位元數。較不積極的位元編碼方案將使用較多位元數，導致壓縮較少，但是有較高解析度，而較積極的位元編碼方案將使用較少位元數，因此提供較多壓縮，但是解析度較低。

應了解在此範例中，該處理通常涉及通過根據位元編碼方案對編碼頻率係數進行位元解碼，來解壓縮該壓縮影像資料，從而生成一組頻率係數。應了解在一個範例中，這可能導致解析度損失，因為由於編碼位元的減少，不一定能準確再現頻率係數。

在任何事件中，通過使用一位元編碼方案，其定義用於將每一頻率係數編碼的該位元數，這允許在解壓縮該壓縮影像資料時使用相同方案，接著允許執行正確解壓縮，同時允許設置所使用的該位元編碼方案，將用於目前情況的該壓縮最佳化。

在另一個範例中，對該像素資料套用一轉換，以決定指示該像素陣列的頻率分量之一組頻率係數，例如使用2D DCT或如上述的其他類似轉換。在此之後，對該組頻率係數的所選子集進行編碼。在這方面，編碼的頻率係數是所選取的子集，以便最大化編碼頻率資訊的有效性，例如通過選擇具有最高幅度的頻率係數，並因此對於解壓縮的影像品質有最大貢獻。

執行選擇的方式將根據較佳實施方式而變，但是在一個範例中，這涉及選擇具有幅度逐漸變小的頻率係數，因此可通過逐漸減小的位元數來定義，直到達到某個限制。然而，這不是必需的，並且可使用其他選擇方法。

頻率係數可以任何合適的方式編碼，其可根據較佳實施方式而變，並且在一個範例中，可包括使用頻率係數的原始位元代表，或者執行一些其他形式的無損編碼，如下面有更詳細說明。

在此之後，創建索引，該索引指示編碼的頻率係數。該索引用於識別頻率係數，讓這些頻率係數可用於在隨後解壓縮步驟中重新生成影像。索引可以是任何適當的形式，並且可以任何適當的方式識別頻率係數，例如通過識別係數的位置，例如在係數矩陣內。索引可與頻率係數分開提供，例如通過提供索引，然後是一串編碼頻率係數，或者可包括索引內的編碼頻率係數，如下面將有更詳細說明。

一旦執行編碼並創建索引，就可生成包括編碼頻率係數和索引的壓縮影像資料。例如：這可通過建立包含該等編碼頻率係數順序，選擇性具有額外資訊，像是旗標或其他標記來識別新影像等等的開始，的一位元組串流來執行。

因此，上述處理允許通過對所選頻率係數進行編碼，並使用索引來創建壓縮影像資料，以便識別編碼頻率係數。通過允許選擇頻率係數，這可在隨後解壓縮影像時導致更高的影像品質。

在這方面，傳統方法集中於編碼對應於較低頻率的頻率係數，基於這些頻率係數通常對影像品質貢獻最大。在這種情況下，通過在每次執行編碼時對相同的頻率係數進行編碼，這使得解碼處理成為可能，但是相反地意味著所執行的編碼不針對每個像素陣列進行最佳化，從而導致諸如長條狀的偽像。

相反的，在當前方法中，可選擇頻率係數以最佳化所得到的影像，例如通過對最大幅度係數進行編碼，這反過來對所得影像的外觀提供最大貢獻。最大幅度頻率係數不限於最低頻率係數，意味著也可編碼更大的高頻係數。在這種情況下，通過在壓縮影像資料中包括索引來促進影像的解壓縮，這意味著所選擇的頻率係數可針對每個像素區塊而變，允許針對每個像素區塊及/或影像進行最佳化壓縮，同時最小化對影像品質的衝擊。

然後可將壓縮的影像資料提供給顯示裝置，其中編碼頻率係數經過解碼，以創建頻率係數的子集。應了解，所執行的方式將根據所執行編碼的性質而變。然後，該索引用於生成全套頻率係數，通常通過定義具有空值的未編碼頻率係數。對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。尤其是，其通常為逆向頻率轉換的形式，像是逆向傅立葉轉換2D DCT等。

因此，這允許通過對所選擇的頻率係數子集進行編碼，來對影像資料進行編碼，並使用索引來識別編碼頻率係數，然後可在對編碼頻率係數進行解壓縮時使用該索引。該方法本質上是自適應的，意味著所選擇的頻率係數將根據所編碼像素陣列的內容而變，從而確保針對內容最佳化壓縮，允許最大化可實現的壓縮量，同時最小化對影像品質的衝擊。

在一個範例中，該方法包括選擇具有p位元的頻率係數，其中p是最初設定為最大位元數的整數，然後選擇具有逐漸減小的p位元值之頻率係數。這執行來編碼具有更大幅度並因此具有更多位元數的頻率係數，優先於具有較小幅度並因此具有更少位元數的頻率係數，這反過來對影像品質的影響更小。通常，執行逐漸選擇較小數量位元的處理，直到滿足編碼參數，從而選擇編碼的頻率係數之子集。例如，這可執行來確保編碼足夠的頻率係數，以維持期望的影像品質，同時最小化所傳輸影像資料的總體積。編碼參數可以多種方式中的任何一種來定義，並可具體實施固定規則或動態規則，允許根據影像內容、可用的傳輸要求、期望壓縮程度等自適應地編碼像素陣列。

在另一範例中，該方法包括選擇多個壓縮方案之一，並使用所選擇的壓縮方案對影像資料進行編碼，選擇性包括指出該壓縮影像資料中所選方案的代碼，以允許後續解碼。該處理可包括對上述編碼方案使用特定的位元編碼方案，不過這並非必要，並且該技術可應用於任何壓縮方案。

在一個範例中，所使用的壓縮方案可選擇，以基於當前要求最佳化壓縮。例如，這可根據與硬體操作有關的一或多個操作參數和/或與影像有關的影像參數。該操作參數可包括用於發送該壓縮影像資料的一通訊連結之傳輸頻寬、用於發送該壓縮影像資料的一通訊連結之傳輸服務品質、一顯示裝置的移動、影像顯示要求、一目標顯示解析度等之任一或多者。類似地，該等影像參數可包括正在處理的通道、一或多個影像內像素陣列的位置、一或多個影像內像素陣列相對於該等一或多個影像的觀察者凝視點之位置等等。針對另一替代方案，可使用指示該解壓縮影像內錯誤及/或資料傳輸的錯誤度量，以便控制使用的壓縮程度。

將了解，這些配置可用來動態調整壓縮程度，例如利用根據當前誤差值、該像素陣列的內容、傳輸頻寬等，改變該等臨界值或位元編碼方案。例如：若壓縮偽像超出一設定量，則利用調整臨界值可降低壓縮程度，而若可用傳輸頻寬下降，則可提高壓縮。此動態調整壓縮的能力幫助將該壓縮最佳化，以獲得當前環境的最佳可能影像品質，

例如，在顯示裝置移動的情況下，可將來自頭部追蹤系統的反饋提供給該編碼演算法，允許編碼演算法根據頭部加速度資訊選擇壓縮方案，允許壓縮演算法動態調整訊框率和壓縮量。這種運動反饋資料可從HMD內的內部IMU (慣性測量單元)或次一級的單元中讀出，例如形成解碼器或單獨系統的一部分。

應了解，可使用各種其他技術，包括縮放頻率係數以減小其幅度、選擇性並行編碼不同顏色通道、執行顏色通道轉換等。應了解，這種技術可與上述方法結合使用，從而壓縮未使用其他技術壓縮的影像資料，例如壓縮邊界內的影像資料。

使用各種不同硬體組態都可實現上述操作。在一個範例中，該設備包括無線通訊的一編碼器和一解碼器，允許影像資料以壓縮影像資料方式在該編碼器與該解碼器之間傳輸。在一個特定範例中，可用此來提供可穿戴式顯示裝置，像是一HMD與一處理系統之間的無線通訊。此時將參照第二A圖來說明此範例。

在此範例中，像是適合程式編輯電腦系統、遊戲控制台等的一處理系統210經過改良來在一HMD 240上產生顯示內容。處理系統210通常通過接收來自該HMD有關該HMD姿勢的感測器資料，並且選擇性輸入來自一或多個各別控制器250的資料，來實現此目的。然後處理系統210根據該感測器及/或輸入資料來產生內容，通常為視頻資料的形式，其可從視頻卡等地方輸出。該視頻資料透過一無線通訊連結260傳輸至一編碼器220，其通過壓縮該影像資料來編碼該視頻資料，然後無線傳輸該壓縮影像資料至解碼器230。解碼器230將該壓縮影像資料解碼，並將該結果視頻資料提供給該HMD來顯示。

應了解，此配置允許現有的電腦系統、遊戲機等處理系統210、HMD 240透過無線連接260相連，如此避免處理系統210與HMD 240之間有線連接的需求。如此例如一使用者可穿戴一HMD和相關解碼器，然後將該編碼器連接至其電腦系統或遊戲機，建構成一無線HMD配置。

然而這並非必需，或者處理系統210和HMD 240可設置成包括整合式編碼器與解碼器硬體，允許這些透過直接無線連接260來通訊，如第二B圖內所示。

此時將參照第三圖來更詳細說明該硬體組態的範例。

此範例將用各別硬體編碼器與解碼器來例示，但是應了解，這並非必需並且該相同技術可與整合式硬體結合使用。更進一步，雖然參照虛擬實境應用，同樣這並非必需，並且該技術可用來套用至其中要傳輸形成一內容串流一部分的影像資料之任何環境，尤其是當要使用有限頻寬傳輸內容串流時，同時保持可接受的影像品質以及期望的延遲，像是在虛擬實境、增強實境或遠端發送應用中。

在此範例中，設備300再次包括一處理系統310、編碼器320、解碼器330以及HMD或類似形式的一顯示裝置340。此時將更詳細說明這些組件每一者。

在此範例中，處理系統310包括一個微處理器311、一記憶體312、一選配輸入/輸出裝置313，像是鍵盤及/或顯示器，以及如所示透過一匯流排315互連的一外部介面314。在此範例中，外部介面314可用於將處理系統310連接至周邊裝置，像是通訊網路、儲存裝置、週邊設備等。雖然顯示單一外部介面314，不過這僅為範例，並且實際上可提供使用許多方法(例如乙太網路、序列、USB、無線等等)的多個介面。在此特定範例中，該外部介面包括至少一資料連接，像是USB，以及視頻連接，像是DisplayPort、HMDI、Thunderbolt等等。

在使用中，微處理器311執行儲存在記憶體312內應用程式軟體形式的指令，允許執行所需的處理。該應用程式軟體可包括一或多個軟體模組，並且可在合適的執行環境內執行，像是一作業系統環境等。

因此，應了解，可從任何合適的處理系統形成處理系統310，像是合適的程式編輯PC等等。在一個特定範例中，處理系統310為標準處理系統，像是Intel架構型處理系統，其執行儲存在非揮發性(例如硬碟)儲存設備內的軟體應用程式，不過這並非必要。然而，也應了解，該處理系統可為任何電子處理裝置，像是微處理器、微晶片處理器、邏輯閘組態、選擇性關聯於實施邏輯的韌體，諸如FPGA (場可程式編輯閘陣列)、一專用積體電路(ASIC)、一圖形處理單元(GPU)或任何其他電子裝置、系統或配置。

更進一步，雖然處理系統310顯示為單一實體，應了解實際上處理系統310應由多個實體裝置所形成，可選擇性分配在一些地理各別位置上，例如雲端環境一部分。

編碼器320通常包括一編碼器輸入緩衝區321，依序連結至一編碼器處理裝置322、一編碼器輸出緩衝區323以及一收發器324。提供一各別資料緩衝區325來連結至收發器324。

在使用中，影像資料，並且在一個特定範例中，視頻資料已接收，並且在送至編碼器處理裝置322進行壓縮之前，暫時儲存在輸入緩衝區321內。在此方面，該編碼器輸入緩衝區通常緩衝對應至該影像的接下來m -1列像素，然後接下來m 列像素之影像資料。這允許編碼器處理裝置322從該已緩衝影像資料獲得接下來m xm 區塊像素的像素資料，並開始編碼。然而應了解，這並非必要，並且可使用其他緩衝方案，包括緩衝先前訊框，以用於編碼後續訊框之間的差異。

一旦已經完成，則緩衝接下來m個像素，重複此步驟直到已獲取並已編碼來自前m列像素的像素資料。然後針對該影像內後續像素列重複此處理，直到已獲取整個影像的像素資料，在此點上以類似方式處理下一個影像。做為此方式的結果，該編碼器輸入緩衝器不需要儲存來自下一行的超過m-1個完整行和m個像素的影像資料，從而減少了記憶體需求。此外，當已獲取像素資料時，這可使用該編碼處理立即處理，即使在緩衝影像資料的接下來m個像素之前。這顯著縮短處理時間，並幫助減少整體延遲。

然後，該結果壓縮影像資料儲存在編碼器輸出緩衝器323內，例如依序通過編碼位元內的讀數，藉此透過收發器324，在傳輸至解碼器330之前，執行並列至序列位元組編碼。收發器324也調適成透過編碼器資料緩衝區325傳輸其他資料，像是接收自HMD 340的一感測器資料。

根據較佳具體實施例，緩衝區321、323、325可為任何合適的暫時儲存設備形式，並且在一個範例中，可包括高效能FIFO (先進先出)場記憶體晶片等等。該輸入緩衝區通常連接至HDMI連接埠、顯示器連接埠輸出或任何其他合適的視頻源，而資料緩衝區335連接至USB連接埠，藉此允許等效連接至該電腦系統。

收發器324可為任何合適形式，但是在一個範例中，允許該編碼器與該解碼器之間短範圍無線電通訊360，例如透過點對點直接WiFi^TM 連接、60 GHz無線技術、行動電話網路，像是3G、4G或5G網路，等等。

處理裝置322可為能夠執行該壓縮處理，包括本文所說明的該壓縮處理的任何裝置。處理裝置322可包括依照記憶體內儲存的軟體指令操作之通用處理裝置。然而，在一個範例中，為了確定適當的快速壓縮時間，該處理裝置包括設置成執行該壓縮處理的客製化硬體。這可包括選擇性關聯於實現邏輯的韌體，像是一FPGA (場可程式編輯閘陣列)、一圖形處理單元(GPU，Graphics Processing Unit)、一專用積體電路(ASIC，Application-Specific Integrated Circuit)、數位信號處理器(DSP，digital signal processor)或任何其他電子裝置、系統或配置。

在較佳範例中，編碼器處理裝置322設置成執行各別顏色通道的並行處理，像是RGB或YCbCr通道。例如，這可包括每一通道的各別頻率係數之並行編碼。更進一步，雖然顯示單一編碼器處理裝置322，實務上，可提供各別編碼器處理裝置322來同時編碼每一顏色通道，或另外可使用、一GPU或其他類似並行處理架構。

解碼器330通常包括一收發器334，其連結至一解碼器輸入緩衝區331，接著連結至一解碼器處理裝置332和一解碼器輸出緩衝區333。另外提供一各別資料緩衝區335，其連結至收發器334。

在使用中，透過收發器334從編碼器320接收壓縮影像資料，並且在送至解碼器處理緩衝區332進行壓縮之前，暫時儲存在輸入緩衝區331內。然後，該結果影像資料在傳輸至顯示裝置340之前，儲存在解碼器輸出緩衝區333內。收發器324也調適成透過解碼器資料緩衝區335傳輸其他資料，像是接收自顯示裝置340的一感測器資料。

根據較佳具體實施例，緩衝區331、333、335可為任何合適的暫時儲存設備形式，並且在一個範例中，可包括高效能FIFO (先進先出)場記憶體晶片等等。該輸出緩衝區通常連接至HDMI連接埠，而資料緩衝區335則連接至USB連接埠，藉此允許等效連接至該顯示裝置。

收發器334可為任何合適形式，但是在一個範例中，允許該編碼器與該解碼器之間短範圍無線電通訊360，例如透過點對點直接WiFi^TM 連接、60 GHz無線技術、行動電話網路，像是3G、4G或5G網路，等等。

處理裝置332可包括依照記憶體內儲存的軟體指令操作之通用處理裝置。然而，在一個範例中，為了確定適當的低解壓縮時間，該處理裝置包括設置成執行該解壓縮處理的客製化硬體。這可包括選擇性關聯於實現邏輯的韌體，像是一FPGA (場可程式編輯閘陣列)、一圖形處理單元(GPU，Graphics Processing Unit)、一專用積體電路(ASIC，Application-Specific Integrated Circuit)或任何其他電子裝置、系統或配置。

在較佳範例中，解碼器處理裝置332設置成執行各別通道的並行解壓縮，例如通過執行各別頻率係數的並行編碼。同樣，雖然顯示單一解碼器處理裝置332，實務上，可提供各別解碼器處理裝置332來同時編碼每一該等通道，或另外可使用、一GPU或其他類似並行處理架構。

顯示裝置340包括至少一個微處理器341、一記憶體342、一選配輸入/輸出裝置343，像是鍵盤或輸入按鈕、一或多個感測器344、一顯示器345，以及如所示透過一匯流排347互連的一外部介面346。

顯示裝置340可為HMD形式，因此提供於適當外殼內，然後可讓使用者佩戴，並包括相關透鏡，允許觀看該顯示器，精通技術人士將會了解。

在此範例中，外部介面347經過調適，用來透過有線連接，將該顯示裝置正常連接至處理系統310。雖然顯示單一外部介面347，不過這僅為範例，並且實際上可提供使用許多方法(例如乙太網路、序列、USB、無線等等)的多個介面。在此特定範例中，該外部介面通常包括至少一資料連接，像是USB，以及視頻連接，像是DisplayPort、HMDI、Thunderbolt等等。

在使用中，微處理器341執行儲存在記憶體342內應用程式軟體形式的指令，允許執行所需的處理。該應用程式軟體可包括一或多個軟體模組，並且可在合適的執行環境內執行，像是一作業系統環境等。因此，應了解該處理裝置可為任何電子處理裝置，像是微處理器、微晶片處理器、邏輯閘組態、選擇性關聯於實施邏輯的韌體，諸如FPGA (場可程式編輯閘陣列)、一圖形處理單元(GPU)、一專用積體電路(ASIC)或任何其他電子裝置、系統或配置。

感測器344通常用於感測顯示裝置340的方位及/或位置，並且可包括慣性感測器、加速度計等，但是在一個範例中包括適於將本地環境成像的影像感測器，允許使用SLAM演算法計算顯示裝置姿勢。可提供像是光感測器或近接感測器這些額外感測器，來決定目前是否正在佩戴該顯示裝置，而眼睛追蹤感測器可用於提供使用者凝視點的指示。

還可提供輸入裝置，允許使用者輸入命令經由解碼器和編碼器傳送到處理裝置310，例如允許使用者與該內容互動。這樣的輸入裝置可根據控制器，但是另外可通過使用由影像感測器344感測的手勢及/或由眼睛追蹤感測器感測的眼睛姿勢來確定。

在一個範例中，該顯示裝置可因此為現有商業顯示裝置，像是HTC Vive^TM 、Oculus Rift^TM 或Playstation VR^TM 頭戴組，不過應了解，這並非必需並且可使用任何合適的配置。

此時將更詳盡說明該影像壓縮/解壓縮的操作範例。

為了該範例的目的，假設處理系統310正在執行產生顯示在顯示裝置340上內容的應用程式軟體，其中根據來自顯示裝置340上感測器344以及選配的其他感測器之感測器資料，動態地顯示內容，例如手持控制器或位置檢測系統(未顯示)，如精通技術人員將了解的。

由處理系統310所執行的動作，係由處理器311依照在記憶體312內儲存為應用程式軟體的指令來執行，及/或透過I/O裝置313或其他週邊(未顯示)接收自使用者的輸入指令來執行。顯示裝置340所執行的動作由處理器341依照在記憶體342內儲存為應用程式軟體的指令來執行。

編碼器320和解碼器330當成處理系統310與顯示裝置340之間的介面，允許影像資料顯示於顯示裝置340上之前壓縮、無線傳輸然後解壓縮，同時也允許感測器資料或輸入指令資料回傳至該處理系統。由編碼器320和解碼器330所執行的動作通常由各別處理裝置322、332根據已定義的程式編輯來執行，並且在一個範例中，根據一客製化硬體組態及/或嵌入式韌體內的指令來執行。

然而應了解，針對以下範例目的所假設的上述組態並非必需，並且可使用許多其他組態，例如，編碼器和解碼器的功能可直接內建於處理系統310和顯示裝置340內，例如將功能結合到處理系統310或顯示裝置340內的處理裝置中。此外，該壓縮技術可套用至廣泛的其他場景中，包括在一或多個電腦系統上壓縮與解壓縮影像串流，不需要使用各別顯示裝置。然而，上述配置對於虛擬、增強或混合實境應用、遠程發送應用等特別有利。

此時將參閱第四A圖至第四D圖更詳細說明用於數位實境應用的壓縮與後續解壓縮影像資料之整體處理範例。

在此範例中，在步驟400上，顯示裝置340從一或多個感測器344獲得感測器信號，然後在步驟402上運用這些信號計算一顯示裝置姿勢。在較佳範例中，這涉及使用裡朝外追蹤，其中顯示裝置中的內建感測器344感測周圍環境，允許顯示裝置340計算顯示裝置姿勢。在步驟404上，將姿勢生成為姿勢資料，其在一個範例中包括利用SLAM演算法偵測到的環境中多個點之相對位置的指示。

第五A圖中顯示已擷取影像的範例，其中顯示混合實境影像500，其包括一環境510以及相關於該環境顯示的數位實境物體520。在此範例中，利用偵測技術識別環境中的多個特徵，如多個十字511所示，其中一些當成追蹤特徵512，在步驟404上允許計算顯示裝置的姿勢並將其儲存為姿勢資料。

與此處理同時，顯示裝置340在步驟406從眼睛感測器獲取信號，其中這些信號用於在步驟408上計算使用者凝視，特別是每隻眼睛的凝視方向，然後在步驟410上將此資訊儲存為凝視資料。另應了解，可用類似的方式捕獲其他顯示資料，因此不再詳細描述。

在步驟412上，顯示裝置340將姿勢和凝視資料，與經由使用者介面(例如手持控制器)提供的任何輸入命令，及/或任何其他顯示資料一起發送到處理系統310以進行分析。

在此方面，處理系統310在步驟414上接收該姿勢/凝視/輸入資料，並在步驟416上提供該姿勢與輸入資料給一內容引擎。內容引擎使用這些資料來計算要顯示的內容，例如在步驟418上計算物體細節，特別是要顯示以供在數位實境內容中使用的物體之範圍和位置。在步驟420上，將內容資料送回處理裝置310，其中該內容資料包括內容細節，諸如物體細節、關於其他內容的資訊，諸如可聽到的提示等、可由該處理裝置分析的場景地圖及/或低解析度影像。這通常作為生成該影像的部分處理來執行，但是在渲染該影像之前執行，從而最佳化該處理並減少延遲。

與此處理同時，處理裝置310根據該姿勢資料以及關聯於先前姿勢的先前姿勢資料，來決定顯示裝置姿勢的變化。類似地，處理裝置310在步驟424上根據輸入資料來決定視野改變。

在步驟426上，處理裝置310估計新影像邊界。第五B圖內顯示一邊界的範例，其中一物體570在一環境560內。一邊界580顯示圍繞該物體，這可由許多頂點來限定。根據顯示裝置姿勢變化以及視野變化，該邊界可根據從關聯於先前影像的先前邊界資料來決定的一先前邊界來評估。

在步驟428上，該內容細節及估計的邊界可選擇性用來執行一邊界檢查。這可通過比較該邊界與該物體範圍及/或興趣區域來執行，以確保其位於邊界內。雖然這可針對每個影像來執行，但更典型地，這針對每一第n個影像來執行，其中n的值已定義，並且可能是可變的，例如取決於顯示裝置340的移動速率。這執行來避免將過多延遲導入該邊界決定處理中。更進一步在一個範例中，在該影像資料的壓縮和傳輸之後執行這樣的邊界檢查，這用於確定是否應該為後續影像計算新邊界，如此這不會延遲該影像資料的壓縮和傳輸。

若在步驟430上確定邊界無法接受，則處理系統310在步驟432上重新計算邊界。在這方面，可通過使處理系統310根據從內容引擎接收的物體細節，繪製圍繞該等物體的一或多個新邊界，來重新計算邊界。然後在步驟434上創建對應於新邊界的邊界資料，這選擇性根據新的絕對邊界來定義，或者基於與先前邊界相比的邊界範圍變化。

第六A圖內顯示用於單一場景中左眼和右眼影像的多個邊界之範例，其中包括五個不同形狀的邊界區域601、602、603、604、605。

一旦在步驟436上認為估計或計算的邊界是可接受的，則處理系統310根據當前顯示裝置的組態，以組態地圖的形式擷取組態資料。這通常根據顯示裝置與處理系統310之間的初始資訊交換來實現，例如發生在顯示裝置與處理系統初始設定或配對使用時。

第六B圖內顯示組態地圖的範例，其包括用於左眼與右眼影像的各別地圖。在此範例中，地圖包括第一、第二和第三顯示區域611、612、613，通常由於鏡頭配置，可顯示逐漸減少的影像細節。在此範例中，第三顯示區域613落在特定顯示裝置的視野之外，因此不會顯示，這意味著可丟棄該區域中的影像內容，而第二顯示區域612對應於與第一顯示區域611相比可使用更高程度壓縮的區域。雖然顯示三個區域，但這並非用於限制，並且可使用任何合適的數量，或者另外，可定義壓縮的連續變化程度，這在很大程度上取決於顯示裝置的能力。

在步驟430上，處理系統根據凝視資料決定凝視方向和深度，其用於決定一凝視圖，第六C圖內顯示其範例。在此範例中，每隻眼睛的凝視點620由相應的第一、第二和第三凝視區域621、622、623圍繞，對於這些凝視區域，使用者會感知越來越少的細節，如此可使用更高的壓縮程度。同樣地，雖然顯示三個區域，但這並非用於限制，並且可使用任何合適的數量，或者另外，可定義壓縮的連續變化程度，這在很大程度上取決於顯示裝置的能力。

在步驟440上，分析該內容資料，以決定內容提示，例如不同邊界區域的相對重要性，以決定根據該內容可套用的相對壓縮量。

然後將來自這些的資訊組合來決定相對壓縮程度，並且其範例顯示在第六D圖內。出於解釋的目的，此範例忽略了內容提示的效果，但是一般方法仍然可以理解。

在此範例中，第五邊界區域605位於該第三顯示區域內，因此不會顯示，並且將僅被省略。第三和第四邊界區域603、604落在第二顯示區域612之內。然而，第三邊界區域落在第二凝視區域內，而第四邊界區域落在第三凝視區域內，意味著第四邊界區域604具有比第三邊界區域603更高的相對壓縮程度。針對類似原因，第一邊界區域具有比第二邊界區域602更低的壓縮程度，意味著對於第一、第二、第三和第四邊界區域中的每一者，壓縮程度將逐漸增加，如第六E圖內線粗程度所示。

在步驟442上，已決定多個相對壓縮，處理系統310根據無線通訊連結資料決定一目標壓縮，使用該資料在步驟446上決定四個邊界區域中每一個的絕對壓縮量，這些絕對壓縮量用於選擇每個邊界的壓縮方案及/或壓縮方案參數。

與這些處理同時，內容引擎在步驟448上渲染該影像，在步驟450上提供完成的影像。

在步驟452上，編碼器320根據該各別編碼方案，將該等邊界之內的影像資料編碼。然後將得到的編碼影像資料與生成的邊界資料組合，以形成壓縮影像資料，然後在步驟454上將其發送到顯示裝置。在這方面，請注意，如果沒有創建新邊界，則邊界資料將僅指定要使用一估計的邊界。

在影像資料壓縮的同時，顯示裝置340可再次通過在步驟456上將當前姿勢與先前姿勢進行比較，並且在步驟458上根據使用者輸入命令決定視野改變，來決定顯示裝置姿勢的變化。這可用於在步驟460上估計邊界並決定一凝視、深度和方向，其進而用於在步驟462上計算一凝視圖。在步驟464上一組態圖也被擷取。應了解，這些處理可與壓縮影像資料的創建並行執行，以便在接收壓縮影像資料之前完成。

當接收到壓縮影像資料時，解碼器330在步驟466上決定邊界資料，允許解碼器330決定是否應使用估計的邊界或重新計算的邊界。在步驟468上選擇相關邊界，在步驟470上決定每個邊界區域的編碼方案。應了解，這可使用類似的處理來計算每個邊界的絕對壓縮來實現。尤其是，這可使用凝視圖和配置圖，以及關於與邊界資料一起提供的相對內容壓縮之資訊，以及從通訊連結資料導出的目標壓縮，使用該資訊來確定針對每個邊界區域使用哪種編碼方案。在步驟472上，解碼器330對每個邊界區域內的影像資料進行解碼，在步驟474上，創建邊界外的影像資料，允許在步驟476上顯示該影像。

應了解，在壓縮影像資料之前不執行邊界檢查的範例中，可替代執行邊界檢查，同時（但是在生成下一影像資料之前）顯示裝置解壓縮該已接收的影像資料。

在任何事件中，上述處理允許進行顯著的數位內容壓縮，而對於等待時間沒有不利的影響，允許將該技術用於使用現有硬體，對虛擬或增強實境可穿戴式顯示器提供無線連接，同時也允許在其他應用當中更廣泛地實現已改良的影像壓縮。

在一個範例中，這是作為全循環式（fill-loop）壓縮的一部分來實現，其中使用關於顯示裝置的資訊，例如顯示裝置姿勢，以便最佳化內容創建及/或壓縮。在一個範例中，這可使用包括以下的系統來實現： l 在PC/伺服器上運行的軟體 l 遊戲引擎以及內容產生軟體 l SOC上的壓縮軟體 l SOC上的解壓縮軟體 l 在OS/GPU、DSP或其他選擇性平台上運行的壓縮/解壓縮 l HMD或顯示裝置。

利用這個完整的循環，意味著可利用整個介面生態系統來更大程度減少需要傳輸的資料。尤其是，這可使用本文所描述技術任一或多者來實現，包括： l 追蹤一使用者凝視 l 追蹤該內容內的一興趣區域 l 根據鏡頭屬性及/或顯示器視野的注視點壓縮 l 訊框之內虛擬物體的隔離 l 細部區域，(臉部等等) l 追蹤可聽見提示焦點區域 l 場景映射及未來評估內的內容互動 l 跳躍區塊壓縮及區塊分組策略 l 動態訊框率 l 場景映射、場景屬性互動評估。

這些變量中的一些將物體與空白背景隔離開來，並用於完全遮蓋該物體，以避免需要發送冗餘黑色或alpha通道像素的整個訊框，而其他變量則創建圍繞興趣物體(如臉部、聽覺注意提示或內容互動)的遮罩。

在本說明書和以下申請專利範圍中，除非上下文另有要求，否則文字「包括」以及諸如「包括」或「包含」之類的變體將被理解為暗示包括所述整數群組或步驟，但不排除任何其他整數或整數群組。如本文所用並且除非另有說明，術語「大約」表示±20％。

必須注意，如本說明書以及隨附申請專利範圍中所使用，單數形「一」以及「該」涵蓋具有複數個指稱物的實施例，除非上下文明確另有所指。因此，例如，對「處理系統」的引用包括複數個處理系統。在本說明書和隨後的申請專利範圍中，將參考許多術語，並且除非相反的意圖是顯而易見的，否則這些術語將定義為具有以下含義。

精通技術人士將了解，許多變化和修改將變得顯而易見。精通技術人士應了解的所有這些變化和修改，都應落在上述本發明中廣泛的精神和範疇內。

100-102‧‧‧步驟

343‧‧‧輸入/輸出裝置

210‧‧‧處理系統

344‧‧‧感測器

220‧‧‧編碼器

345‧‧‧顯示器

230‧‧‧解碼器

346‧‧‧外部介面

240‧‧‧HMD

347‧‧‧匯流排

250‧‧‧控制器

360‧‧‧短範圍無線電通訊

300‧‧‧設備

400-476‧‧‧步驟

310‧‧‧處理系統

500‧‧‧混合實境影像

311‧‧‧微處理器

510‧‧‧環境

312‧‧‧記憶體

511‧‧‧十字

313‧‧‧輸入/輸出裝置

512‧‧‧追蹤特徵

314‧‧‧外部介面

520‧‧‧數位實境物體

315‧‧‧匯流排

560‧‧‧環境

320‧‧‧編碼器

570‧‧‧物體

321‧‧‧編碼器輸入緩衝區

580‧‧‧像素遮罩邊界

322‧‧‧編碼器處理裝置

580‧‧‧邊界

323‧‧‧編碼器輸出緩衝區

581‧‧‧頂點

324‧‧‧收發器

582‧‧‧像素區塊

325‧‧‧資料緩衝區

583‧‧‧像素區塊

330‧‧‧解碼器

591‧‧‧使用者

331‧‧‧解碼器輸入緩衝區

592‧‧‧物體

332‧‧‧解碼器處理裝置

593‧‧‧箭頭

333‧‧‧解碼器輸出緩衝區

601-605‧‧‧邊界區域

334‧‧‧收發器

611‧‧‧第一顯示區域

335‧‧‧資料緩衝區

612‧‧‧第二顯示區域

340‧‧‧顯示裝置

613‧‧‧第三顯示區域

341‧‧‧微處理器

621‧‧‧第一凝視區域

342‧‧‧記憶體

622‧‧‧第二凝視區域

623‧‧‧第三凝視區域

請參閱圖式，說明本發明的許多範例具體實施例，其中：

第一A圖為壓縮與解壓縮影像資料用於一數位實境應用的方法範例之流程圖；

第一B圖為壓縮與解壓縮影像資料用於一數位實境應用型顯示資料的方法範例之流程圖；

第一C圖為根據數位實境內容，壓縮與解壓縮影像資料用於一數位實境應用的方法範例之流程圖；

第二A圖為用於在一可穿戴式裝置上顯示影像的一設備之第一範例示意圖；

第二B圖為用於在一可穿戴式裝置上顯示影像的一設備之第二範例示意圖；

第三圖為用於壓縮與解壓縮影像資料的一數位實境系統合併設備之特定範例示意圖；

第四A圖至第四D圖為壓縮與解壓縮影像資料用於一數位實境應用的特定方法範例之流程圖；

第五A圖為第一數位實境影像範例的螢幕截圖；

第五B圖為第二數位實境影像範例的螢幕截圖；

第五C圖為例示邊界編碼範例的示意圖；

第五D圖為例示一低解析度影像範例的螢幕截圖；

第五E圖為場景地圖範例的示意圖；

第六A圖為各別邊界所定義一些興趣區域範例的示意圖；

第六B圖為組態地圖範例的示意圖；

第六C圖為凝視地圖範例的示意圖；

第六D圖為第六A圖的興趣區域覆蓋在第六C圖的組態地圖和第六D圖的凝視地圖上之示意圖；以及

第六E圖為顯示第六A圖中興趣區域的相對壓縮程度之示意圖。

Claims (63)

1. 一種顯示成形一數位實境串流的部分的影像之方法，針對要顯示的每一影像，該方法包括： a) 在一或多個編碼器處理裝置內，根據系統操作及該數位實境串流的內容，利用差異壓縮代表該影像的影像資料，來產生壓縮的影像資料，如此該影像的不同部分使用不同的壓縮程度來壓縮； b) 運用一無線通訊連結，將該壓縮影像資料無線傳輸至一顯示裝置；以及 c) 在關聯於該顯示裝置的一或多個解碼處理裝置內，差異解壓縮該壓縮影像資料來從而產生指出要顯示該影像之影像資料。
2. 如申請專利範圍第1項之方法，其中該方法包括： a) 藉由拋棄該影像的至少某些影像資料來差異壓縮該影像資料；以及 b) 藉由重新建立該影像的至少某些影像資料來差異解壓縮該壓縮影像資料。
3. 如申請專利範圍第2項之方法，其中該方法包括使用至少以下之一重建影像資料： a) 一先前影像的一對應部分之影像資料；以及 b) 使用已定義的影像資料。
4. 如申請專利範圍第1至3項任一項之方法，其中該方法包括： a) 根據至少以下之一來差異壓縮該影像資料： i) 至少部分指出至少以下之一的顯示資料： (1) 該顯示裝置的操作； (2) 該顯示裝置的使用；以及 ii) 指出該無線通訊連結的通訊連結資料； iii) 至少部分指出該顯示裝置的一組態的組態資料；以及 iv) 至少部分指出該數位實境內容的內容資料；以及 b) 根據至少以下之一來差異解壓縮該壓縮影像資料： i) 該顯示資料； ii) 該通訊連結資料； iii) 該組態資料；以及 iv) 指出該差異壓縮的壓縮資料。
5. 如申請專利範圍第4項之方法，其中該方法包括： a) 使用該通訊連結資料來決定一目標壓縮； b) 根據至少以下之一來決定一些興趣區域每一者的一相對壓縮程度： i) 該組態資料； ii) 該顯示資料；以及 iii) 該內容資料； c) 根據該相對壓縮程度以及所需的該整體壓縮程度，來決定興趣區域每一者的一絕對壓縮程度；以及 d) 使用每一興趣區域的該絕對壓縮程度來壓縮該影像資料。
6. 如申請專利範圍第5項之方法，其中該方法包括： a) 使用至少以下之一來決定一興趣區域的位置： i) 該顯示資料；以及 ii) 該內容資料；以及 b) 根據該位置以及至少以下之一來決定一興趣區域的該相對壓縮程度： i) 關聯於該興趣區域的內容； ii) 定義該顯示裝置的相對壓縮程度之一組態地圖；以及 iii) 定義該使用者凝視的相對壓縮程度之一凝視地圖。
7. 如申請專利範圍第4至6項任一項之方法，其中該方法包括使用至少以下之一決定要拋棄的該影像部分： a) 該組態資料；以及 b) 該內容資料。
8. 如申請專利範圍第1至7項任一項之方法，其中該方法包括： a) 在關聯於該顯示裝置的該一或多個解碼器處理裝置內： i) 利用分析來自一或多個隨機感測器的信號來產生顯示資料； ii) 就地儲存該顯示資料；以及 iii) 將該顯示資料無線傳輸至該一或多個編碼器處理裝置； b) 在該一或多個編碼器處理裝置內： i) 根據已接收的顯示資料來差異壓縮該影像資料；以及 ii) 將該壓縮影像資料無線傳輸至該顯示裝置；以及 c) 在關聯於該顯示裝置的該一或多個解碼器處理裝置內，根據已儲存的顯示資料來解壓縮已接收並壓縮的影像資料。
9. 如申請專利範圍第8項之方法，其中該影像形成一系列影像的一部分，並且其中該方法包括使用各別顯示資料來壓縮與解壓縮至少以下之一： a) 一或多個影像的一子系列之影像資料；以及 b) 每一影像的影像資料。
10. 如申請專利範圍第8或9項之方法，其中該方法包括根據至少以下之一選擇性發送該顯示資料： a) 該無線通訊連結的操作；以及 b) 一壓縮影像資料頻寬。
11. 如申請專利範圍第8至10項任一項之方法，其中該顯示資料指出至少以下之一： a) 指出相對於環境的一顯示裝置姿勢之姿勢資料； b) 指出相對於該環境的一顯示裝置動作之動作資料； c) 使用者提供的輸入命令； d) 指示一使用者凝視的凝視資料；以及 e) 指出該使用者的一生理屬性之生理資料。
12. 如申請專利範圍第11項之方法，其中該等感測器包括至少以下之一： a) 影像感測器； b) 範圍感測器； c) 位置感測器； d) 方位感測器； e) 動作感測器； f) 眼睛追蹤感測器； g) 肌肉追蹤感測器；以及 h) 生理感測器。
13. 如申請專利範圍第11或12項之方法，其中該方法包括使用一同時定位和映射演算法來產生至少姿勢與動作資料之一者。
14. 如申請專利範圍第11至13項任一項之方法，其中該姿勢資料包括一環境內相對於該顯示裝置的許多點位置之指示。
15. 如申請專利範圍第11至14項任一項之方法，其中該方法包括： a) 使用至少以下之一來決定顯示裝置姿勢與一先前影像顯示之變化： i) 動作資料；以及 ii) 姿勢資料與先前姿勢資料；以及 b) 使用顯示裝置姿勢的變化來進行至少以下之一： i) 壓縮影像資料；以及 ii) 解壓縮該壓縮影像資料。
16. 如申請專利範圍第11至15項任一項之方法，其中該方法包括： a) 擷取一先前影像的先前影像資料； b) 決定該影像與該先前影像之間的冗餘；以及 c) 使用該冗餘來進行至少以下之一： i) 壓縮影像資料；以及 ii) 解壓縮該壓縮影像資料。
17. 如申請專利範圍第11至16項任一項之方法，其中該方法包括： a) 決定一使用者凝視，包括至少以下之一： i) 一凝視方向；以及 ii) 一凝視深度；以及 b) 使用該使用者凝視來進行至少以下之一： i) 壓縮影像資料；以及 ii) 解壓縮該壓縮影像資料。
18. 如申請專利範圍第17項之方法，其中該方法包括使用該影像一部分的一視野深度以及該凝視深度來進行至少以下之一： a) 壓縮該影像部分的影像資料；以及 b) 解壓縮該影像的部分的該壓縮影像資料。
19. 如申請專利範圍第1至18項任一項之方法，其中該方法包括： a) 在該一或多個編碼器處理裝置內： i) 根據內容資料來差異壓縮該影像資料；以及 ii) 產生指出該差異壓縮的壓縮資料； b) 將該壓縮資料無線傳輸至該顯示裝置；以及 c) 在關聯於該顯示裝置的一或多個解碼處理裝置內，根據該壓縮資料解壓縮該壓縮影像資料來從而產生要顯示的該影像。
20. 如申請專利範圍第19項之方法，其中該方法包括： a) 使用該內容資料來選擇一壓縮方案；以及 b) 使用該壓縮方案差異壓縮該影像資料。
21. 如申請專利範圍第19或20項之方法，其中該方法包括藉由至少以下之一決定該內容資料： a) 接收來自一內容引擎的內容資料；以及 b) 分析一低解析度影像。
22. 如申請專利範圍第19至21項任一項之方法，其中該內容資料包括至少以下之一： a) 像素陣列內容； b) 影像內容； c) 該影像的不同部分的內容； d) 該影像的不同部分的不透明度； e) 該影像之內的興趣區域； f) 該影像之內的興趣位置； g) 關聯於該影像的一或多個提示；以及 h) 該影像之內的一或多個顯示物體。
23. 如申請專利範圍第19至22項任一項之方法，其中該壓縮資料包括至少以下之一： a) 指出涵蓋一或多個顯示物體的一邊界之邊界資料； b) 指出像素陣列的一區塊的區塊資料； c) 指出該影像的不同部分的不透明度之不透明度資料；以及 d) 指出一興趣位置的位置標記。
24. 如申請專利範圍第1至23項任一項之方法，其中該方法包括： a) 在該一或多個編碼器處理裝置內： i) 產生一邊界； ii) 根據該邊界來差異壓縮該影像資料；以及 iii) 產生指出該邊界的邊界資料； b) 將該邊界資料無線傳輸至該顯示裝置；以及 c) 在關聯於該顯示裝置的一或多個解碼處理裝置內，根據該邊界資料解壓縮該壓縮影像資料來從而產生要顯示的該影像。
25. 如申請專利範圍第24項之方法，其中該方法用於每一邊界包括： a) 在該一或多個編碼器處理裝置內： i) 選擇一各別壓縮方案來壓縮該邊界之內的影像資料；以及 ii) 根據該選取的壓縮方案來產生該邊界資料；以及 b) 在關聯於該顯示裝置的該一或多個解碼器處理裝置內： i) 根據該邊界資料來決定該選取的壓縮方案；以及 ii) 使用一對應解壓縮方案來解壓縮該壓縮影像資料。
26. 如申請專利範圍第24或25項之方法，其中該邊界資料指出至少以下之一： a) 一邊界範圍，包括至少以下之一： i) 一或多個邊界頂點； ii) 一邊界形狀；以及 iii) 一邊界位置； b) 邊界範圍內相較於一先前影像的一先前邊界之變化；以及 c) 應該使用一評估邊界的一指示。
27. 如申請專利範圍第24至26項任一項之方法，其中該方法包括在該一或多個編碼器處理裝置內，由至少以下之一產生一邊界： a) 使用該內容資料計算一邊界；以及 b) 使用該顯示資料評估邊界內的一變化。
28. 如申請專利範圍第27項之方法，其中該方法包括在該一或多個編碼器處理裝置內，由以下計算一邊界： a) 從該內容資料識別該影像的一或多個部分；以及 b) 計算涵蓋該一或多個部分的至少一個邊界。
29. 如申請專利範圍第28項之方法，其中該一或多個部分涵蓋該影像之內的一或多個顯示物體。
30. 如申請專利範圍第27至29項任一項之方法，其中該方法包括計算該邊界，如此讓編碼該邊界所需的位元數以及編碼影像資料最小化。
31. 如申請專利範圍第24至30項任一項之方法，其中該方法包括： a) 在該一或多個編碼器處理裝置內： i) 擷取指出一先前影像的一先前邊界之先前邊界資料； ii) 使用該先前邊界資料決定邊界範圍內之變化；以及 iii) 使用該邊界範圍的變化產生該邊界資料；以及 b) 在該一或多個解碼器處理裝置內： i) 擷取指出一先前影像的一先前邊界之先前邊界資料； ii) 從該邊界資料決定邊界內之一變化；以及 iii) 使用該先前邊界以及邊界範圍的該變化來計算一邊界範圍。
32. 如申請專利範圍第24至31項任一項之方法，其中該方法在該一或多個編碼器處理裝置內包括： a) 針對一系列影像內每一第n個影像，使用至少以下之一來評估一估計的邊界： i) 一計算的邊界；以及 ii) 該內容資料；以及 b) 根據比較的結果選擇性重新計算一邊界。
33. 如申請專利範圍第24至32項任一項之方法，其中該方法在關聯於該顯示裝置的該一或多個解碼器處理裝置內包括： a) 從該邊界資料決定要使用的一估計邊界；以及 b) 使用該顯示資料評估一邊界。
34. 如申請專利範圍第32或33項之方法，其中該方法包括使用至少以下之一來評估一邊界： a) 顯示裝置姿勢之一變化；以及 b) 一視野變化。
35. 如申請專利範圍第1至34項任一項之方法，其中該方法包括： a) 在該一或多個編碼器處理裝置中，通過以下壓縮該影像的至少部分： i) 從該影像資料獲得像素資料，該像素資料代表來自一影像之內的像素陣列； ii) 識別包括具有實質上類似像素陣列內容的一些像素陣列之一像素區塊；以及 iii) 產生包括指出以下的區塊資料之壓縮資料： (1) 一第一像素陣列位置； (2) 一末端像素陣列位置；以及 (3) 該項素陣列內容；以及 b) 在關聯於該顯示裝置的該一或多個解碼器處理裝置中，通過以下解壓縮該壓縮影像的至少部分： i) 從區塊資料決定： (1) 一第一像素陣列位置； (2) 一末端像素陣列位置；以及 (3) 像素陣列內容； ii) 使用該區塊參數產生包含許多像素陣列具有實質上類似的像素陣列內容之一像素區塊；以及 iii) 至少部分使用該像素區塊來產生影像資料。
36. 如申請專利範圍第1至35項任一項之方法，其中該方法包括利用至少以下之一來決定指出一顯示裝置組態之組態資料： a) 使用一顯示裝置識別碼來擷取該組態資料；以及 b) 在該顯示裝置與該一或多個編碼器處理裝置之間無線交換該組態資料。
37. 如申請專利範圍第36項之方法，其中關聯於該顯示裝置組態的該一或多個解碼器處理裝置包括至少以下之一： a) 一顯示器解析度； b) 一顯示器更新率； c) 一顯示器視野；以及 d) 顯示器透鏡屬性。
38. 如申請專利範圍第1至37項任一項之方法，其中該方法包括利用至少以下之一來決定指出一無線通訊連結的操作之通訊連結資料： a) 來自無線通訊連結硬體； b) 在關聯於該顯示裝置並且與一或多個編碼器處理裝置無關的該一或多個解碼器處理裝置中；以及 c) 利用在該顯示裝置與該一或多個編碼器處理裝置之間交換該通訊連結資料。
39. 如申請專利範圍第38項之方法，其中該通訊連結資料指出至少以下之一： a) 一無線通訊連結錯誤度量； b) 一無線通訊連結服務品質； c) 一無線通訊連結頻寬；以及 d) 一無線通訊連結延遲。
40. 如申請專利範圍第1至39項任一項之方法，其中該方法包括利用以下來差異壓縮該影像資料： a) 從該影像資料獲得像素資料，該像素料資料代表該影像之內一像素陣列； b) 決定該影像之內該像素陣列的一位置；以及 c) 至少部分依照該已決定的位置將該像素資料壓縮，如此一壓縮程度取決於該像素陣列的該已決定位置。
41. 如申請專利範圍第40項之方法，其中該方法包括壓縮該像素資料，如此該壓縮程度根據至少以下之一： a) 一使用者凝視；以及 b) 顯示裝置組態。
42. 如申請專利範圍第1至41項任一項之方法，其中該方法包括： a) 通過以下壓縮該影像資料： i) 從該影像資料獲得像素資料，該像素料資料代表該影像之內一像素陣列； ii) 對該像素資料套用一轉換，以決定指示該像素陣列的頻率分量之一組頻率係數； iii) 使用一位元編碼方案選擇性對至少某些該等頻率係數編碼，藉此產生一組編碼的頻率係數；以及 iv) 使用該編碼的頻率係數產生該壓縮影像資料；以及 b) 通過以下解壓縮該壓縮影像資料： i) 依照該位元編碼方案，從該壓縮影像資料決定一組編碼的頻率係數； ii) 依照該位元編碼方案，執行該等編碼頻率係數的位元解碼，藉此產生一組頻率係數；以及 iii) 對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。
43. 如申請專利範圍第42項之方法，其中該位元編碼方案定義用於編碼該等頻率係數之每一者的位元數，並且其中該等頻率係數進行選擇性編碼，如此至少以下之一者： a) 具有一較高振幅的頻率係數被編碼； b) 至少某些該等編碼的頻率係數具有不同位元數； c) 較少位元數用於將對應至較高頻率的頻率係數編碼； d) 逐漸較少的位元數用於將對應至逐漸較高頻率的頻率係數編碼； e) 至少一頻率係數被捨棄，如此該組編碼頻率係數小於該組頻率係數；以及 f) 對應至較高頻率的至少一頻率係數被捨棄。
44. 如申請專利範圍第42或43項之方法，其中該方法包括選擇具有逐漸減少位元數的頻率係數，直到一或多個編碼參數被滿足。
45. 如申請專利範圍第42至44項任一項之方法，其中該方法包括： a) 在該一或多個編碼器處理裝置內，產生指出該編碼頻率係數的一索引；以及 b) 在關聯於該顯示裝置的該一或多個解碼器處理裝置內，使用該索引解壓縮該壓縮影像資料。
46. 如申請專利範圍第45項之方法，其中該索引指出： a) 每一編碼頻率係數的一些位元；以及 b) 一位置，該位置為至少以下之一： i) 在一已定義順序內每一編碼頻率係數的一位置；以及 ii) 在係數矩陣之內每一編碼頻率係數的一位置。
47. 如申請專利範圍第42至46項任一項之方法，其中該方法包括根據一需求的壓縮程度來選擇該位元編碼方案。
48. 如申請專利範圍第1至47項任一項之方法，其中該方法包括： a) 使用複數個壓縮方案之不同一者來壓縮該影像的不同部分；以及 b) 使用該影像不同部分的對應解壓縮方案來解壓縮該壓縮影像資料。
49. 如申請專利範圍第48項之方法，其中該等複數個壓縮方案包括至少以下之一： a) 使用不同壓縮類型的壓縮方案；以及 b) 使用不同壓縮參數的壓縮方案。
50. 如申請專利範圍第48或49項之方法，其中該方法包括根據一需求的壓縮程度來選擇一壓縮方案。
51. 一種用於顯示形成一數位實境串流的部分的影像之系統，該系統包括： a) 一或多個編碼器處理裝置，利用根據該數位實境串流的系統操作及該內容，差異壓縮指出該影像的影像資料，來產生壓縮的影像資料，如此該影像的不同部分使用不同的壓縮程度來壓縮； b) 一無線通訊連結，無線傳輸該壓縮影像資料；以及 c) 關聯於一顯示裝置的一或多個解碼處理裝置，解壓縮該壓縮影像資料來從而產生指出要顯示該影像的影像資料。
52. 如申請專利範圍第51項之系統，其中該顯示裝置包括： a) 一無線收發器； b) 一顯示器；以及 c) 一或多個感測器。
53. 如申請專利範圍第52項之系統，其中該等感測器包括至少以下之一： a) 影像感測器； b) 範圍感測器； c) 位置感測器； d) 方位感測器； e) 動作感測器； f) 眼睛追蹤感測器；以及 g) 生理感測器。
54. 如申請專利範圍第51至53項任一項之系統，其中該顯示裝置與一編碼器之至少一者包括儲存至少以下之一的記憶體： a) 指出一顯示裝置組態的組態資料； b) 指出關聯於該顯示裝置的一已定義邊界之邊界資料； c) 指出一先前影像的一先前邊界之先前邊界資料； d) 指出一先前顯示裝置姿勢的先前姿勢資料；以及 e) 指出一先前影像的先前影像資料。
55. 如申請專利範圍第51至54項任一項之系統，其中該顯示裝置包括： a) 一解碼器輸入緩衝區，接收該壓縮影像資料；以及 b) 一解碼器輸出緩衝區，儲存該影像資料。
56. 如申請專利範圍第51至55項任一項之系統，其中該一或多個解碼器處理裝置包括至少以下之一： a) 一合適程式編輯的場可程式閘陣列； b) 一專用積體電路；以及 c) 一圖形處理單元。
57. 如申請專利範圍第51至56項任一項之系統，其中該一或多個編碼器處理裝置形成一編碼器的零件包括： a) 一編碼器輸入緩衝區，接收該影像資料；以及 b) 一編碼器輸出緩衝區，儲存該壓縮影像資料。
58. 如申請專利範圍第57項之系統，其中該編碼器包括一編碼器發射器，發送來自該編碼器輸出緩衝區的該影像資料。
59. 如申請專利範圍第51至58項任一項之系統，其中該編碼器處理裝置包括： a) 一合適程式編輯的場可程式閘陣列； b) 一專用積體電路；以及 c) 一圖形處理單元。
60. 如申請專利範圍第51至59項任一項之系統，其中該系統包括一解碼器，其與一編碼器無線通訊來交換至少以下之一： a) 壓縮的影像資料； b) 至少部分指出至少以下之一的顯示資料： i) 該顯示裝置的操作；以及 ii) 該顯示裝置的使用； c) 指出該無線通訊連結之操作的通訊連結資料； d) 至少部分指出該顯示裝置組態的組態資料； e) 至少部分指出該數位實境內容的內容資料；以及 f) 指出該差異壓縮的壓縮資料。
61. 如申請專利範圍第60項之系統，其中該解碼器為至少以下之一： a) 耦接至一可穿戴式顯示裝置； b) 一穿戴式顯示裝置的零件；以及 c) 一用戶端裝置之內的一嵌入式系統。
62. 如申請專利範圍第60或61項之系統，其中該解碼器為耦合至合適程式編輯的電腦系統及其一部分的至少一者。
63. 如申請專利範圍第51至62項任一項之系統，其中該系統執行如申請專利第1至50項任一項之方法。