現在將參考多個附圖詳細描述示例性實施方式,雖然此描述提供了可能實施的詳細實例,但應注意到這些細節只是示範性的並不限制本申請案的範圍。 行動裝置的螢幕顯示能夠顯示高畫質解析度內容、超高畫質解析度內容等等。例如區塊編碼模式和變換之類的視訊編碼工具可能無法針對螢幕內容編碼而被最佳化。 第1圖是示出了螢幕內容共享系統的示例性方塊圖的圖。螢幕內容共享系統可包括接收器、解碼器及/或顯示器(渲染器)。第2圖是示出了基於區塊的單一層視訊轉碼器的示例的圖。第3圖是示出了基於區塊的單一層視訊解碼器的示例的圖。第3圖中的視訊解碼器可接收第2圖中的編碼器產生的視訊位元流。視訊解碼器可重建將被顯示的視訊訊號。在視訊解碼器處,位元流可由熵解碼器解析。殘差係數可被逆量化以及逆變換以獲得重建殘差。編碼模式及/或預測資訊可被用於使用空間預測及/或時間預測獲得預測信號。預測信號及/或重建殘差可被一同添加以產生重建視訊。重建視訊可在被儲存在參考圖像儲存器中之前經由環路濾波。重建視訊可被顯示及/或將被用於解碼未來的視訊訊號(一個或多個)。 單一層編碼器可使用空間預測(例如,框內預測)及/或時間預測(例如,框間預測及/或移動補償預測)來預測輸入視訊訊號。編碼器可包括模式決定邏輯,該邏輯例如基於速率及/或失真考慮以選擇預測的形式。編碼器可對預測殘差(例如,輸入信號和預測信號間的差異信號)進行變換和量化。量化的殘差、模式資訊(例如,框內或框間預測)及/或預測資訊(例如,移動向量、參考圖像索引、框內預測模式等等)可在熵編碼器處被壓縮並被封裝到輸出視訊位元流中。如第2圖所示,編碼器可藉由將逆量化和逆變換應用到量化殘差以獲得重建殘差以及將重建殘差添加到預測信號來產生重建視訊訊號。重建視訊訊號可通過環路濾波過程(例如,去塊濾波、樣本適應性偏移、適應性環路濾波濾等等)。重建視訊訊號可被儲存在參考圖像儲存器中以用於預測未來的視訊訊號。 由於其編碼器和解碼器可本質上根據第2圖和第3圖的示例性編碼器和解碼器進行操作,因而高效視訊編碼(HEVC)可以是基於混合視訊編碼標準的區塊。HEVC可允許使用更大的視訊區塊及/或可使用四叉樹分割來傳訊區塊編碼資訊。圖像或切片可被分割成具有同樣大小(如64x64)的編碼樹區塊(CTB)。CTB可被分割至具有四叉樹的CU。CU可被分割至具有四叉樹的預測單元(PU)及/或轉換單元(TU)。 第4圖是示出了八分區模式的示例的圖。對於框間編碼的CU,其PU可為八分區模式之一,例如,如第4圖所示。時間預測(如,移動補償)可被應用於重建框間編碼的PU。依賴於移動向量的精確度(如,其可以是達到HEVC中的1/4像素),線性濾波器可被應用於獲得在分數位置的像素值。內插濾波器可具有用於亮度的七個或更多抽頭、及/或用於色度的四個抽頭。HEVC中的去塊濾波器可以是例如基於內容的,使得不同的去塊濾波器操作可被應用在TU和PU邊界處,例如,依賴於編碼模式差異、移動差異、參考圖像差異、素值差異等等。對於熵編碼,HEVC可將基於上下文適應性演算法二進制編碼(CABAC)用於區塊級語法元素(如,除了高級參數)。CABAC編碼可包括基於上下文編碼的常規二進數及/或沒有上下文的旁路編碼的二進數。 HEVC可關注於4:2:0格式的連續音視訊內容。針對離散音螢幕內容,模式決定和轉換編碼工具可以不優化,例如,該內容可在4:4:4視訊的格式下被捕捉到。 第5A圖是示出了螢幕內容區塊的示例的圖。第5B圖是示出了第5A圖的螢幕內容區塊的調色板索引圖的示例的圖。如第5A圖所示,螢幕內容區塊可包括有限數量的顏色,並且每個像素的顏色值可從其上方及/或左側像素重複。取代直接編碼像素值,調色板表格可被作為記錄重要顏色值的字典而被使用。並且相應的調色板索引圖可被用於呈現每個像素的顏色值,例如,如第5B圖中所示的。運行值可被用於表明具有相同顏色(如,調色板索引)的連續像素的長度以減少空間冗餘。使用基於調色板的編碼方法而不是傳統區塊編碼模式可改進編碼螢幕內容的壓縮性能。 調色板編碼模式可包括索引模式(如,運行模式)及/或複製模式。在索引模式中,色彩索引可首先被編碼。如果色彩索引等於調色板表格大小,其可表明調色板表格中不包括逃逸顏色。並且顏色值可在色彩索引之後而被顯式地編碼。如果色彩索引小於調色板表格大小,這可意味著調色板表格中的主色,則運行值可被編碼以傳訊掃描次序中有多少連續像素具有與編碼顏色相同的顏色。在該複製模式中,運行值可被編碼以表明多少像素具有與其上方像素相同的顏色。掃描次序可包括、但不限制於水平遍歷掃描及/或垂直遍歷掃描,例如,如第11A圖及第11B圖所示及於此所述的。 對於在運行編碼中編碼的像素位置,運行長度鏈中的第一位置的調色板索引可以用位元流的形式呈現。調色板索引可使用截斷二進制編碼(TBC)被二值化及/或以旁路模式被編碼。TBC可以是固定長度編碼(FLC)的變數(variant)及/或被用於均勻分佈的字母。當字母的大小為2的冪數時,TBC可退化到FLC。例如,對於一調色板索引等級pLevel,可假設其最大值pMax是已知的。例如,n=pMax+1及k=floor(〖log〗_2 (n)),使得2^k≤n<2^(k+1)且u=2^(k+1)-n。調色板索引可例如被二值化如下:如果pLevel<u,碼字可藉由具有長度k的pLevel的二進制呈現來指定;否則,碼字可藉由具有長度k+1的pLevel+u的二進制呈現來指定。表1提供了在pMax=8時,調色板索引二值化的示例。
表 1 : pMax=8 時的 TBC 二值化示例
從表1可見,在二值化一個調色板索引等級之前,最大等級pMax可被指定為TBC過程的輸入。 為了利用一個調色板編碼的CU的調色板索引間的相關性,一種冗餘移除方法可被應用以藉由減少編碼調色板索引的量級及/或TBC碼字的最大長度來改進調色板索引編碼的效率。例如,在索引模式中編碼一個調色板索引之前,可檢查一個或多個隨後的條件。如果目前像素位置的左鄰在索引模式中被編碼,則目前調色板索引可與其左鄰的相同。否則,如果兩個調色板索引相同,調色板索引可在索引模式下使用更大的運行長度一同被編碼。如果目前像素位置的左鄰在複製模式中被編碼,則目前調色板索引可與其上鄰的相同。否則,如果兩個調色板索引相同,調色板索引可在複製模式下使用更大的運行長度一同被編碼。因此,如果滿足上述兩個條件之一,調色板索引pLevel及/或最大TBC值pMax可被減小(如,減一),這樣可以減少用於呈現目前像素位置的調色板索引的碼字長度。 第12A圖是示出了調色板索引編碼的冗餘移除方法的示例的圖,其中CPI位置在索引模式中被編碼。第12B圖是示出了調色板索引編碼的冗餘移除方法的示例的圖,其中CPI位置在複製模式中被編碼。第12A圖及第12B圖示出了當左鄰像素在索引模式中被編碼(如第12A圖所示)以及在複製模式中被編碼(如第12B圖所示)時,冗餘移除過程的示例。目前像素位置i參考的,如第12A圖及第12B圖中的虛黑線包圍的比較調色板索引(CPI)位置k可經由如下方式計算:
其中,iWidth為目前CU的寬度。 調色板索引可獨立地被編碼而不是在索引模式或複製模式下編碼,例如,雖然逃逸顏色可由等於目前調色板編碼設計中調色板大小的調色板索引來表明。換句話說,當逃逸顏色位置被掃描時,具有相同調色板索引值的像素位置的一個運行長度鏈可被打破。由於用於逃逸顏色的調色板索引可以未被包括在基於運行長度的編碼中,因而,如果相應的CPI位置不是具有逃逸顏色的位置,則在編碼調色板索引時使用的上面冗餘移除演算法可能是可適用的(例如,僅僅適用的)。 對於複製模式,調色板索引可從上面列中的上面解碼索引預測。例如,因為上面參考像素超過了CU邊界,對於一個調色板CU的第一列中的像素,複製模式可被去能,使得其由索引模式編碼(例如,總是被編碼)。例如,為了改進複製模式的效率,可使用鄰居CU的邊界像素作為參考來為第一列(例如,或者當palette_transpose_flag (調色板_轉置_旗標)等於1時的第一行)中的像素而賦能複製模式。第13圖示出了當palette_transpose_flag等於0(如,水平掃描次序)時的擴展複製模式的一個示例。為了重建目前CU的第一列的色彩索引,如果索引由複製模式編碼,解碼器可從來自上面鄰居CU的相應鄰居參考像素(NCP)重建索引。NCP的顏色值可例如被用於第一條線的複製模式並且解碼器可不具有或不獲得NCP的索引,如第13圖中所示。因此,調色板索引編碼冗餘移除方法可不應用於其CPI像素參考NCP的像素。舉例來說,如果掃描次序中的目前像素的之前像素在複製模式中編碼並且目前像素(如,CPI位置)的上鄰指的是一個NCP,則索引編碼冗餘移除方法可被去能。 語法元素可被二值化到二進制串,其中旁路二進數和上下文編碼的二進數可由二進制算數編碼(BAC)引擎單獨編碼,例如用於HEVC螢幕圖像編碼擴展中的調色板模式和其他編碼模式的基於上下文的二進制算數編碼(CABAC)。對於上下文編碼的二進數,上下文模型(例如,概率模型)可在編碼和解碼中為BAC維持。對於旁路二進數,語法元素可不在上下文模型下被編碼。將旁路二進數一同分組到更長的鏈可增加每個週期處理的二進數的數量(例如,解析通量),這可以被用於編碼HEVC中的多個語法元素,例如,移動向量編碼和係數編碼。調色板索引編碼的語法元素(例如,palette_index_idc)可被旁路編碼及/或與其他上下文編碼(例如,palette_run_type和palette_run_msb_id_plus1)的語法元素交錯,以例如用於HEVC螢幕內容編碼中的調色板設計。palette_index_idc的解析可被一同分組並放置在其他上下文編碼語法元素之前,以例如改進解析通量。表2是這種調色板編碼的語法表格。
表 2 :調色板語法的示例
語法元素num_palette_index (數量_調色板_索引)可指定在目前區塊中傳訊的調色板索引的數量。語法元素palette_last_run_type_flag (調色板_最後_運行_類型_旗標)可指定目前區塊中最後運行的調色板編碼模式。 雖然此處所述的一個或多個實施方式可使用HEVC標準作為基礎的視訊編碼標準撰寫,但是,實施方式可被應用到其他視訊編解碼器。 調色板編碼效率可被提供。調色板編碼可編碼水平線及/或垂直線。如果是水平線,索引模式可以用運行值(如,大的運行值)編碼連續像素。如果是垂直線,則垂直線可被認為是在垂直遍歷掃描次序中的水平線,例如,如第11B圖所示。多個方向的線可被用在螢幕內容中。第6圖是示出了用於控制台的示例SCC測試序列的圖。 不在水平方向或垂直方向的線可被認為是不規則線。例如,如果有多個不規則線,區塊可被分成多個不連續的分段。可能難以用高效的方法使用已有調色板編碼模式編碼多個不連續的段。第7A圖是示出了具有4個顏色的示例性8×8區塊的圖,其中虛線示出了在調色板編碼中的掃描次序。第7B圖示出了具有4個顏色的示例性8×8區塊的圖,其中虛線示出了使用索引模式和複製模式的調色板編碼中的掃描次序。舉例來說,一個8×8區塊中可有兩條不規則線,例如,如第7A圖所示。可具有四種顏色,白、灰、藍和黃,其在第7A圖及第7B圖中以不同的虛線及/或陰影表示。第7B圖示出了具有用於8x8區塊的水平遍歷掃描次序中的運行和複製模式的調色板編碼的示例。總共,17個運行可用如黑色虛線所示的索引模式和黑色實線所示的複製模式被編碼。 調色板編碼的解析相依可被提供。舉例來說,考慮到用於螢幕內容的調色板編碼的高編碼效率,可有選擇調色板編碼作為較佳編碼模式的大百分比CU,因此,調色板編碼可限制資料解析相依以能夠進行高通量實施。在調色板編碼設計中可有多個不同種類的相依。例如,上下文建模相依可被使用,上下文建模相依可指在一個語法元素的上下文獲取中對之前編碼語法元素的相依。語法解析相依可被使用,語法解析相依可指像素位置上的一個語法元素的解碼值被用作用於隨後像素位置的語法元素的解析的輸入的相依。語法傳訊相依可被使用,語法傳訊相依可指一個語法元素的傳訊可依賴於其他語法元素的解碼值的相依。 上下文建模相依可被提供。palette_transpose_flag的上下文建模相依可被提供。水平遍歷掃描及/或垂直遍歷掃描可被賦能以掃描一個調色板編碼CU的調色板索引。可對以調色板模式編碼的每個CU傳訊一個旗標palette_transpose_flag以選擇用於目前CU的兩種掃描模式中的一個。兩種上下文模型可被用於編碼旗標palette_transpose_flag,可依賴於目前CU的左鄰CU的調色板索引是被水平還是垂直掃描來選擇兩種上下文模型。基於鄰居的上下文建模方式可提供更高的編碼效率。基於鄰居的上下文建模方式可不允許高度的並行,因為兩個相鄰調色板編碼的CU可能不同時被解碼。基於鄰居的上下文建模方式法可使用一個附加緩衝以儲存用於左鄰CU的palette_transpose_flag的狀態。 palette_mode的上下文建模相依可被提供。可對一個或多個像素位元置傳訊旗標palette_mode,例如,除了在一個調色板編碼的CU的第一列中的像素位置(例如,當沒有上方像素用於複製時,複製模式對於第一列中的像素位置可能是無效)。兩種上下文模型可被用於編碼palette_mode旗標,其可基於在上面列中並列的像素的相同語法元素的值來確定。由於一個像素處上下文的確定可依賴於掃描次序中該像素前的像素的調色板索引編碼模式,因此,palette_mode 的上下文建模相依方法可減少通量。 與逃逸顏色傳訊相關的相依可被提供。palette_index (調色板_索引)的語法解析相依可被提供。對於在索引模式中編碼的像素,運行長度鏈中的第一像素的調色板索引可經由語法元素palette_index而被傳訊。語法元素palette_index可使用TBC被二值化,對此,調色板索引的最大值(例如,pMax)被用作TBC過程的輸入。由於冗餘移除方法可被應用到調色板索引編碼並且用於表明逃逸顏色的調色板索引可不在索引模式或複製模式中編碼,例如,向一個像素位置的TBC過程輸入pMax的計算可依賴於目前像素位置的左鄰和CPI位置是否作為逃逸顏色而被編碼。例如,如果目前像素位置的左鄰或CPI位置作為逃逸顏色被編碼,pMax可被設定為目前CU的調色板表格大小〖Size〗_PLT。否則(如,如果目前像素位置的左鄰和CPI位置均為主色),pMax可被設定為〖Size〗_PLT-1。根據目前調色板編碼設計中的逃逸顏色傳訊,逃逸顏色可藉由檢查在一個像素位置上的解碼調色板索引是否等於調色板表格大小而被識別。因此,目前palette_index語法元素的解碼值可確定將被處理的下一語法元素的值。例如,當冗餘移除方法在調色板索引編碼中被使用時,一個調色板索引可在其CPI位置的調色板索引被完全重建後被解碼。 palette_escape_val的語法傳訊相依可被提供。對於逃逸顏色位置(例如,CU的每個逃逸顏色位置),位置的顏色值可被量化(例如,如果使用有損編碼)並被傳送到解碼器。舉例來說,逃逸顏色可藉由傳訊語法元素palette_index(例如,當冗餘移除法未被應用時,palette_index等於〖Size〗_PLT,當冗餘移除法被應用時,palette_index等於〖Size〗_PLT-1)而以位元流來呈現,palette_index之後是另一語法元素palette_escape_val (調色板_逃逸_值),palette_escape_val可表明量化的顏色值(例如,如果使用有損編碼)。當一個像素被識別為如palette_index表明的逃逸顏色時,語法palette_escape_val元素可被傳訊(例如,僅被傳訊)。因此,palette_index語法元素的值可以確定什麼語法元素將被處理。舉例來說,如果palette_index表明目前像素為逃逸顏色,則下一語法元素可為palette_escape_val,否則下一語法元素可為palette_run (調色板_運行)。基於對palette_index的語法解析相依的相同分析,其CPI位置的調色板索引被完全重建後,一個像素可被(如,可只被)識別為逃逸顏色,例如,由於冗餘移除過程被應用到調色板索引編碼。因此,逃逸顏色的語法傳訊相依可引起通量問題。 palette_run的語法傳訊相依可被提供。語法元素palette_run可表明索引模式和複製模式中具有相同調色板索引的連續像素數量。當一個像素被識別為主色,語法元素palette_run的傳訊可被傳訊(例如,僅被傳訊),例如,可以與palette_escape_val形成對照。因此,可應用於元素palette_escape_val的相似的語法傳訊相依問題可存在於palette_run的傳訊中。 調色板表格產生(例如,僅在編碼器側)可被提供。藉由將目前CU的顏色值聚集到多個集合以及使用顏色叢集的質心(centroid)作為調色板表中的主色,基於顏色聚集的調色板表格產生方法可被用於選擇以用調色板模式編碼的一個CU的主色。在有損編碼中,可經由量化像素來產生一個顏色叢集,因為顏色值與叢集的質心間的失真對於相同主色來說可以是預定義的臨界值。此臨界值可基於亮度和色度成分的位元深度等於8位元的假設而被設定。因此,目前調色板表格產生方法可能不適合處理當輸入螢幕內容視訊的位元深度大於8位元的情況。 一個或多個實施方式可在前方處理擴展複製模式和分組調色板索引的合併的衝突。舉例來說,調色板索引編碼二進數可在一個調色板CU前被分組。調色板索引(例如,由語法元素palette_index_idc指定的)可藉由需要知道最大可能等級的TBC編碼而被二值化。冗餘移除可不應用於其CPI像素參考NCP的像素。因此,不同最大TBC等級可依據像素位置而獲得。舉例來說,對於涉及與來自鄰居CU的NCP關聯的CPI像素的像素,最大TBC等級pMax可保持為不變(如,當目前CU中沒有逃逸顏色像素時為調色板表格的大小減一,或當目前CU中具有至少一個逃逸顏色像素時為調色板表格的大小)。對於涉及不與來自鄰居CU的NCP關聯的CPI像素的像素,最大TBC等級pMax可被減一。用於一個像素的語法palette_index_idc的解析可依賴於調色板掃描次序中的之前像素的調色板編碼模式的知識。以及,此知識可在為目前像素的之前像素解碼調色板編碼模式(例如,palette_run_type_flag (調色板_運行_類型_旗標))以及調色板運行(例如,palette_run_msb_id_plus1和 palette_run_refinement_bits)之後被獲取。因此,當賦能擴展複製模式時,分組調色板索引的解析可不被置於調色板模式和調色板運行的解析之前。 例如,為了在與賦能上面擴展複製同時,在調色板解析過程開始時分組調色板索引,調色板傳訊方法可將最大TBC等級pMax減一。由於冗餘移除可不被應用到其CPI像素指的是來自鄰居CU的NCP的像素,用於那些像素的調色板索引的動態範圍可例如從0到pMax。例如,為了補償調色板索引的減小的動態範圍,當相應的被解析的調色板索引等於pMax-1時,對於那些像素(如,其CPI像素指的是來自鄰居CU的NCP的像素),附加的旗標可被傳訊。如果該旗標等於1,調色板索引可被解碼為pMax。如果該旗標等於0,調色板索引可被解碼為pMax-1。舉例來說,表3為調色板語法表格示例。
表 3 :調色板語法表格示例
一個或多個實施方式可在前方當將分組索引與擴展的複製-上面(copy-above)模式進行合併時處理未知TBC最大值問題。語法元素palette_index_refinement_flag (調色板_索引_精化_旗標)可作為旁路二進數被編碼及/或與上下文編碼的傳訊調色板模式和調色板運行的語法元素進行交錯。為了解析palette_index_refinement_flag的值,解碼器可檢查目前像素是否具有涉及來自鄰居CU的像素的一個CPI位置、及/或之前解析的調色板索引是否等於pMax-1。 提出了編碼模式草圖複製模式以編碼包含不規則線的區塊。語法冗餘可從具有特殊特性的區塊被移除。運行值編碼可被簡化。目前調色板編碼設計中的解析相依可被移除。舉例來說,語法元素palette_transpose_flag的上下文建模相依可例如藉由簡化相應的上下文模型而被移除。語法元素palette_mode的上下文建模可例如藉由在不使用上下文的情況下使用運行長度編碼而被移除。與逃逸顏色傳訊相關的語法解析相依及/或語法傳訊相依可被移除。調色板表格產生過程可以例如在解碼器側用高位元深度來處理輸入螢幕內容視訊。 用於調色板編碼的草圖複製模式可被提供。草圖複製模式可藉由從一個或多個方向中的編碼鄰居樣本位置複製調色板索引來執行(例如,可包括任何分類的對角線(diagonal)、水平方向及/或垂直方向)。草圖複製模式可允許一個或多個特定方向中的像素複製。可在運行計數期間考慮被編碼的不規則線(如,對角線)。一個或多個(如,三個)語法元素可針對草圖模式而被編碼:色彩索引、方向及/或運行。色彩索引可為調色板表格中的索引及/或等於表明逃逸顏色的調色板表格大小。方向資訊可在色彩索引之後被編碼。運行值可被編碼以表明與在傳訊方向中的第一像素具有相同色彩索引的像素數量。 被編碼的方向可被定義。第8A圖是示出了具有粗粒度的16方向的示例的圖。第8B圖是示出了具有細粒度的16方向的示例的圖。第8A圖及第8B圖示出了不同粒度下的16方向的定義,其中每一側可分別具有8個方向。 第8A圖中的方向可由如下公式定義:
第8B圖中定義的方向可處於細粒度,並且方向可由如下公式定義:
例如,由於垂直遍歷掃描中的索引模式可有效地編碼垂直線,草圖複製模式中可不考慮垂直方向。例如,如果用於方向編碼的負荷影響性能,在低位元速率編碼下,則方向的數量可被減少。方向資訊可被分割為一個或多個元素,例如,在一側的方向的索引和旗標“is_righ_flag”。“is_righ_flag”可被用於表明方向屬於哪側。方向的最大索引可等於多個不同方向,例如,如第8A圖及第8B圖給出的示例中的七個不同方向(如,對於每個邊)。先前被編碼的鄰居像素的方向可被考慮,例如,為了進一步移除方向編碼的冗餘。如果目前像素具有與之前被編碼鄰居像素的方向相比相同的方向,則旗標“same_direction_flag (相同_方向_旗標)”可被編碼(如,僅有旗標“same_direction_flag”被編碼)。如果方向不同但其具有與“is_right_flag”相同的值,則可執行修剪過程。第9圖是示出了用於草圖複製模式的方向編碼演算法的示例流程圖。 第10圖是示出了使用草圖複製模式的調色板編碼的示例的圖。第10圖可與第7B圖中的調色板編碼進行比較。可以用草圖模式編碼不規則線。在位置S11,不規則線(例如,從S11到S39的對角線)可藉由具有等於3的運行值的草圖模式而被編碼。is_right_flag可被設定為1並且方向索引可為0。在位置S12,不規則線(如從S12到S32的對角線)可藉由具有等於3的運行值的草圖模式而被編碼。is_right_flag可被設定為0並且方向索引可為0。位置S12之後,索引模式可編碼區塊中剩餘的像素。例如,由於不包括不規則線,總共可編碼五個運行。該區塊中的分段數量可藉由賦能草圖複製模式而被減少。 傾向於應用調色板編碼的區塊可包括多個顏色。草圖複製模式可被應用於(例如,僅被應用於)包括一個或多個不規則線的區塊。如果區塊內沒有不規則線,則草圖複製模式可不被選擇,儘管,例如,該模式可以被賦能。由於一個或多個附加模式被增加,用於運行和複製模式的傳訊負荷可能會被增加。因而,草圖複製模式的使用可受限制以減少傳訊負荷。旗標可被添加到以調色板所編碼的編碼單元中以表明草圖複製模式是否被賦能。舉例來說,如果未賦能,則沒有傳訊負荷被增加。草圖複製模式的應用可被限制,由於如果剩餘的像素不多的話,例如,草圖複製模式可在一個區塊內被使用,草圖複製模式將不會節省太多。例如,如果編碼位置在由臨界值定義的特定列之外,草圖複製模式可不為剩餘像素編碼節省傳訊負荷。臨界值可與編碼單元的大小相適應。舉例來說,對於8x8、16x16、32x32及/或64x64編碼單元,臨界值可為[4, 7, 12, 16]。 掃描方法可被擴展。第11A圖及第11B圖分別示出了水平遍歷掃描和垂直遍歷掃描的編碼次序的示例。水平遍歷掃描及/或垂直遍歷掃描可按相反的次序而被執行,例如,這可相當於將區塊以順時針方向方式旋轉180度或以逆時針方向方式旋轉180度。第11C圖及第11D圖分別示出了反向水平遍歷掃描和反向垂直遍歷掃描的編碼次序的示例。 用於調色板表格語法元素的冗餘移除可被提供。語法元素palette_escape_val_present_flag可被用於表明逃逸顏色是否存在於編碼單元(CU)中。逃逸顏色可以用等於調色板表格大小的色彩索引來傳訊。如果沒有逃逸顏色,則最大色彩索引可等於調色板表格大小減一。否則,最大色彩索引可等於調色板表格大小。此最大值可影響色彩索引編碼,例如,由於色彩索引可以用截斷二進制編碼來編碼。截斷二級制編碼中用於變數x的位元的數量可由下式提供:
其中,M為變數x的最大值加一。從上式中可以確定附加值可以用具有更小M的(n-1)位元來編碼。元素palette_escape_val_present_flag可不被傳訊,以例如移除調色板傳訊冗餘。當CU的調色板表格大小為0(例如,調色板表格為空),解碼器可確定所有像素都是逃逸顏色(例如,調色板表格中沒有主色)。因此,當CU的調色板表格大小為0時,palette_escape_val_present_flag可不被傳訊且解碼器可推斷該值為1。當調色板表格大小是不是0的值時,則palette_escape_val_present_flag可被傳訊。因此,當調色板表格大小為不是0的值時,palette_escape_val_present_flag可被傳訊(例如,僅被通知)。如果編碼單元中有一個顏色(例如,僅有一個顏色)(例如,調色板表格大小為1並且palette_escape_val_present_flag為0)、或者如果所有像素均作為逃逸顏色而被編碼(例如,調色板表格大小為0並且palette_escape_val_present_flag為1),則調色板模式可處於索引模式(如,被推斷處於索引模式(例如,運行模式))並且如果運行被編碼則運行值可為編碼單元的大小減1。例如,如果編碼單元中有一個顏色(例如,僅有一個顏色) (例如,調色板表格大小為1並且palette_escape_val_present_flag為0),則解碼器可不接收palette_mode及/或可推斷palette_mode等於0 (例如,被推斷為處於索引模式(例如,運行模式))及/或可不接收palette_run及/或可推斷palette_run等於CU大小減1。為調色板模式傳訊及/或運行編碼增加的條件如表6所示。 調色板編碼中語法元素Run的熵編碼可被提供。兩種不同編碼可被用於編碼語法元素Run。表4是Run值二值化的示例。對於整個Run的範圍可有三個分段,二進數的前一、二、三數位可被上下文編碼(例如表4中粗體示出的),二進數中後續的數位可在無任何上下文下被旁路編碼(例如,表4中非粗體示出的)。0到2可為每個二進數以固定上下文編碼的第一分段。3-26可為第二分段。前綴的編碼可與分段1相同,尾置可以用Golomb-Rice碼編碼及/或賴士(rice)參數可等於3。超過26的值可為第三分段。第三分段的前綴可與分段1同樣編碼。尾置可以用Exp-Golomb碼編碼。從3到10的運行值,3個前綴二進數、及/或4個尾置二進數可被編碼。第二階Exp-Golomb可被提供給超過2的值。示例性二值化可在表5中提供。對於小運行,二進數的數量可被減少。
表 4: 運行值的示例性二值化(如,在 SCC 中) 表 5 : 運行值的示例性二值化
調色板編碼的解析相依改進可被提供。移除語法元素“palette_transpose_flag”的上下文建模依賴性可被提供。一個或多個(例如,兩個上下文模型)可用於編碼語法元素palette_transpose_flag。例如,基於目前CU的左鄰CU的調色板索引被水平掃描還是被垂直掃描,來為palette_transpose_flag選擇一上下文模型。由於兩個鄰居調色板編碼的CU的位元流可能未被同時解析,因而這可能使得實際實施的並行設計變得複雜。這種基於鄰居的上下文建模可使用一個二進制緩衝器儲存左鄰CU的語法元素的值。例如,當其他CU級旗標(例如,如palette_share_flag (調色板_分享_旗標),palette_escape_val_present_flag (調色板_逃逸_值_呈現_旗標),num_signalled_palette_entries (數量_傳訊_調色板_項)等等)可使用一個單一上下文在旁路模式被編碼及/或上下文模式中被編碼時,palette_transpose_flag 旗標可以是使用其空間鄰居建立其上下文模型的CU等級旗標。 關於目前CU左鄰的語法元素palette_transpose_flag的上下文建模相依可如藉由以一個單一上下文編碼旗標而被移除。這可執行以改進並行能力及/或使得調色板編碼的CU等級傳訊設計更一致。 語法元素palette_transpose_flag可在旁路模式中被編碼。 語法元素“palette_mode”的上下文建模相依可被移除。一個或多個上下文模型可被用於編碼palette_mode旗標,其可基於在上面列中並列像素的相同語法元素的值而被確定。表6示出了用於編碼palette_mode旗標的上下文建模的示例。在索引模式及/或複製模式中,可針對具有相同調色板索引的連續像素的每個運行長度鏈解碼palette_mode。相應地,當一個像素上的上下文的確定可依賴於掃描次序中在其之前的像素的調色板索引編碼模式時,該上下文建模方法可減少解析過程的通量。
表 6 : 語法元素 palette_mode 的上下文建模的示例
一個CU的旗標palette_mode可形成包括元素0或1的二進制向量。例如,由於在一個單一循環中可一同產生多個二進數,運行長度編碼(RLE)是藉由表明兩個1之間連續的0的個數來編碼二進制向量的方法。RLE可被用於需要高通量的應用。舉例來說,為了移除palette_mode的上下文建模,RLE可被用於編碼語法元素palette_mode。 語法元素palette_mode的上下文建模相依可藉由以單以上下文編碼旗標來移除。 與逃逸顏色傳訊相關的語法解析及/或傳訊相依可被移除。例如,由於被應用於調色板索引編碼的冗餘移除演算法以及基於TBC的二值化,當解析語法元素palette_index、palette_escape_val和palette_run時,可存在與逃逸顏色傳訊相關聯的語法傳訊相依以及語法解析相依。例如,為了更高的通量及/或改進調色板編碼的效率,解析相依可被移除。 舉例來說,雖然目前調色板編碼方法可使用最大調色板索引以表明逃逸顏色,但用於逃逸顏色的調色板索引可能未在索引模式或複製模式下被編碼。舉例來說,當遇到逃逸顏色時,具有相同調色板索引的連續像素的一個運行長度鏈可被斷開。這可以妥協於調色板編碼的整體編碼效率及/或將相依引入至以調色板模式所編碼的CU的解析過程。在應用冗餘移除演算法之後,一個像素的調色板索引可在其CPI位置的調色板索引被完全重建之後被解析(例如,為了檢查CPI位置是否作為逃逸顏色而被編碼,這可確定TBC二值化過程的輸入參數pMax)。 用於表明逃逸顏色的調色板索引可被用作一個正常調色板索引並且可使用索引模式及/或複製模式對其進行編碼。舉例來說,解碼器可解析CU的調色板索引運行值。調色板索引運行值可表明CU中相應像素位置的連續調色板索引的長度。一個或多個調色板索引可對應於逃逸顏色。舉例來說,調色板索引可對應於多個不同逃逸顏色值。因此,逃逸顏色的運行(如,可為相同或不同逃逸顏色)可在索引模式及/或複製模式中被編碼。舉例來說,CU的不同像素位置的顏色值可根據一個或多個運行而被編碼,一個或多個運行可包括主色的一個或多個運行及/或逃逸顏色的一個或多個運行。逃逸顏色的運行可為相同逃逸顏色或不同逃逸顏色的運行。解碼器可根據調色板索引運行值(如,可以是逃逸顏色的運行)重建CU的相應像素位置的連續調色板索引。解碼器可根據調色板索引及/或一個或多個palette_escape_val值重建CU像素位置的顏色值。例如,為了移除元素palette_escape_val的語法傳訊相依,語法元素palette_escape_val的解析可與其他語法元素的解析分離。舉例來說,可應用一個或多個掃描傳遞以解析一個調色板編碼的CU的語法元素。掃描傳遞(例如,第一掃描傳遞)可解析除了palette_escape_val之外的已有調色板語法元素。掃描傳遞(例如,第二掃描傳遞)可例如基於來自第一掃描傳遞的解碼調色板索引以解析語法元素palette_escape_val。在第二掃描傳遞中,當一個像素位置的調色板索引(例如,藉由第一傳遞獲得的)等於目前CU(如,逃逸顏色)的調色板表格大小時,palette_escape_val可針對一個像素位置而被解析。 調色板索引的語法解析相依可被移除。最大調色板索引pMax可以用固定值(如,調色板表格大小的最大值)被用作為調色板索引編碼的TBC二值化過程的輸入。為了移除關於逃逸顏色的元素 palette_escape_val和 palette_run的語法傳訊相依,用於逃逸顏色的冗餘移除方法可被移除。 高位元深度的改進的調色板表格產生可被提供。藉由將目前CU的顏色值聚集到多個集合以及使用顏色叢集的質心作為調色板表格中的主色,基於顏色聚集的調色板表格產生方法可被用於選擇調色板模式編碼的CU的主色。在有損編碼中,可藉由量化像素(如,所有像素)來產生一個顏色叢集,為此,對於相同的主色,顏色值與叢集的質心間的失真小於預定義的臨界值T,,例如,如下式所示:
其中P_i和C_i可分別表示目前像素和叢集的質心的第i個分量的值。臨界值T可依賴於量化參數而被設定。表7示出了在T的值與量化參數之間進行映射的示例。
表 7 :在量化參數( QP )和臨界值 T (如 SCM-2.0 中)之間進行映射的示例
在表7中,可假設亮度和色度分量的輸入位元深度為8位元,確定臨界值T的值。因而,經由目前調色板表格產生方法的調色板表格可能不適合處理輸入螢幕內容視訊的位元深度多餘8位元的情況。為了改進高位元深度的調色板編碼的編碼效率,8位元失真可被用於調色板表格產生過程。亮度和色度分量的位元深度可被表示為〖BitDepth〗_Y和〖BitDepth〗_C,並且失真計算公式可以如下:
表8示出了可以用於賦能在此描述的語法冗餘移除方法及/或移除在此描述的解析相依的語法的示例。
表 8 : 調色板編碼語法的示例
一個或多個實施方式可包含擴展複製模式的解析通量。例如,在擴展複製模式被賦能時,分組的調色板索引的解析可不被放置於調色板模式和調色板運行的解析之前。增加解析通量的一個或多個實施方式可被提供,其可與擴展複製模式被聯合地應用。 調色板索引可一起被分組並在調色板模式和在調色板運行之後放置(例如,相比於在模式和運行之前放置索引)。逃逸顏色可被分開並在調色板索引之後放置。例如,可使用隨後的調色板語法設置。與調色板模式和調色板運行相關的語法元素(例如,可包括palette_run_type_flag、palette_run_msb_id_plus1、palette_run_refinement_bits等等)可被放置在目前CU中(例如,目前CU中第一個)。由索引模式編碼的一個或多個(例如,所有)像素的一個或多個(例如,所有)調色板索引(例如,palette_index_idc)可在與調色板模式和調色板運行相關的語法元素之後被放置。作為逃逸顏色而被編碼的一個或多個(例如,所有)像素的一個或多個(例如,所有)逃逸顏色(例如,palette_escape_val)可在像素的調色板索引之後被放置。表9示出了具有此種設置的調色板語法表格的示例。
表 9 :調色板編碼語法示例
調色板運行可由HEVC SCC運行編碼方法來編碼。在此描述的一個或多個運行編碼方法可與一個或多個描述的實施例結合。例如,表10是具有之前描述的佈置的包含運行到結束(run-to-end)編碼的調色板語法的示例。
表 10 :調色板編碼語法示例
調色板索引編碼(例如,palette_index_idc)和逃逸顏色(例如,palette_escape_val)的語法元素可例如在表10的示例性調色板編碼語法中被單獨分組。在該實施例中,兩個單獨的掃描循環可被用於目前CU中的調色板索引和逃逸顏色值。 一個或多個實施方式可一起分組調色板索引和逃逸顏色(例如,在組內,palette_index_idc和palette_escape_val仍然是交錯的)並例如在調色板模式和調色板運行之後放置調色板索引和逃逸顏色。palette_index_idc和palette_escape_val均可被旁路編碼。例如,如下語法元素設置可被提供:與調色板模式和調色板運行有關的語法元素(例如,palette_run_type_flag,palette_run_msb_id_plus1、及/或palette_run_refinement_bits)在目前CU中被首先設定,並且一個或多個(例如,所有)語法元素(例如,palette_index_idc和palette_escape_val)被一同分組並在調色板模式和調色板運行之後被放置,表11提供了此種示例。
表 11 :調色板編碼語法示例
第二運行編碼方法可被使用。例如,表12是具有上述佈置的包含第二運行編碼(如,run-to-end語法元素)的調色板語法表格的示例。
表 12 :調色板編碼語法示例
如果調色板索引在調色板模式、調色板運行和逃逸顏色之前在前面被分組,並且擴展的複製上面模式被賦能,對於那些其上面鄰居像素指的是鄰居CU的像素的調色板索引,用於TBC中調色板索引編碼的最大值可能不被確定。在上面鄰居位置處的索引可能不可用。當被編碼的值等於最大值(例如,index_max)減一時,附加旗標可以被傳訊以表明被編碼的值是否應該被解釋為最大值減一或被解釋為最大值。 一個或多個實施方式可被提供,其中調色板索引在前面被分組(例如,被佈置)並且擴展複製上面模式被賦能。CU等級指示(例如,旗標)可被提供。例如,CU等級指示可被預先佈置以指示解碼器如何解釋及/或熵編碼該調色板索引。 語法元素use_index_max_for_palette_indices可作為CU等級旗標而被發送,例如,如表13所示。如果use_index_max_for_palette_indices旗標具有值1,則如果沒有逃逸顏色的話,調色板索引的編碼可使用等於調色板表格大小的TBC的最大值,或者如果有逃逸顏色的話,調色板索引的編碼可使用等於調色板表格大小加一的TBC的最大值。如果use_index_max_for_palette_indices旗標具有值0,則如果沒有逃逸顏色的話,調色板索引的編碼可使用等於調色板表格大小減一的TBC的最大值,或者如果有逃逸顏色的話,調色板索引的編碼可使用等於調色板表格大小的TBC的最大值。解碼器可確定TBC的最大值並相應地解碼調色板索引。
表 13 :調色板編碼語法示例
語法元素use_index_max_for_palette_indices可表明index_max是否被作為調色板索引的TBC編碼的最大值。具有值1的語法元素use_index_max_for_palette_indices可表明如果沒有逃逸顏色的話,調色板索引的編碼使用等於調色板表格大小的TBC的最大值,或者表明如果有逃逸顏色的話,調色板索引的編碼使用等於調色板表格大小加一的TBC的最大值。具有值0的語法元素use_index_max_for_palette_indices可表明如果沒有逃逸顏色的話,調色板索引的編碼使用等於調色板表格大小減一的TBC的最大值,或者如果有逃逸顏色的話,調色板索引的編碼使用等於調色板表格大小的TBC的最大值。 語法元素use_index_max_for_palette_indices可被用作CU等級旗標,例如,如表14所示。如果語法元素use_index_max_for_palette_indices具有值1,則如果沒有逃逸顏色的話,可使用等於調色板表格大小的TBC的最大值編碼主導的(leading)調色板索引的數量,或者如果有逃逸顏色的話,可使用等於調色板表格大小加一的TBC的最大值編碼主導的調色板索引的數量。如果沒有逃逸顏色的話,調色板索引的剩餘數量可使用等於調色板表格大小減一的TBC的最大值而被編碼,或者如果有逃逸顏色的話,可使用等於調色板表格大小的TBC的最大值而被編碼。主導的調色板索引的數量可作為值palette_num_leading_indices而被發送到解碼器。調色板索引的剩餘數量可作為值palette_num_remaining_indices而被發送到解碼器。palette_num_leading_indices的值可被有條件地發送,例如,只在use_index_max_for_palette_indices具有值1的情況下,在位元流中發送palette_num_leading_indices的值。 如果語法元素use_index_max_for_palette_indices具有值0,則palette_num_leading_indices的值可不以位元流的形式呈現,並且可被推斷具有0值。在這種情況下,如果沒有逃逸顏色的話,一個或多個(如,所有)調色板索引可以用等於調色板表格大小減一的TBC的最大值而被編碼,或者,如果有逃逸顏色的話,一個或多個(如,所有)調色板索引可使用等於調色板表格大小的TBC的最大值而被編碼。解碼器可使用這些語法元素來確定一個或多個(如每個)調色板索引的TBC的最大值、並可以相應地解碼調色板索引。
表 14 :調色板語法的示例
語法元素use_index_max_for_palette_indices可表明是否在位元流中傳訊palette_num_leading_indices的非零值。語法元素palette_num_leading_indices可表明主導的調色板索引的數量,主導的調色板索引是以TBC編碼的最大值進行編碼,TBC編碼的最大值在目前CU中沒有逃逸顏色編碼的情況下被設定為調色板表格大小,或者在目前CU中具有逃逸顏色編碼的情況下被設定為調色板表格大小加一。如果沒有呈現,palette_num_leading_indices (調色板_數量_主導_索引)的值可被推斷為0。語法元素palette_num_remaining_indices (調色板_剩餘_索引)可被表明調色板索引的數量,調色板索引是以TBC編碼的最大值進行編碼,TBC編碼的最大值在目前CU中沒有逃逸顏色編碼的情況下被設定為調色板表格大小減一,或者在目前CU中具有逃逸顏色編碼的情況下被設定為調色板表格大小。 use_index_max_for_palette_indices不被傳訊及/或呈現(例如,總是呈現)palette_num_leading_indices的情況下,調色板索引可被提供,例如,如表15示出的。
表 15 :調色板語法的示例
palette_index_refinement_flag的傳訊可從調色板模式和調色板運行的解析循環移動到調色板索引的解析循環。在解析一個調色板編碼的CU的調色板索引之前,最大值TBC等級可被減一(如pMax-1)。當一個像素的解析調色板索引等於pMax-1時,palette_index_refinement_flag可被傳訊(如,總是被傳訊)。該種語法可包括更高的解析通量,例如,由於調色板索引編碼的旁路二進數可從調色板模式和調色板運行的上下文編碼的二進數中分離。表16提供了該語法的示例。
表 16 :調色板語法的示例
第14A圖是可以實施所揭露的一個或多個實施方式的例示通信系統100的圖示。通信系統100可以是為多個無線使用者提供諸如語音、資料、視訊、消息傳遞、廣播等內容的多重存取系統。該通信系統100可以經由共享包括無線頻寬的系統資源來賦能多個無線使用者存取此類內容,舉例來說,通信系統100可以使用一種或多種頻道存取方法,例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)等等。 如第14A圖所示,通信系統100可以包括無線傳輸/接收單元(WTRU)102a、102b、102c、及/或102d(通常或統稱為WTRU 102),無線電存取網路(RAN)103/104/105,核心網路106/107/109、公用交換電話網路(PSTN)108、網際網路110以及其他網路112,但是應該瞭解,所揭露的實施方式設想了任何數量的WTRU、基地台、網路及/或網路元件。每一個WTRU 102a、102b、102c、102d可以是被配置為在無線環境中操作及/或通信的任何類型的裝置。例如,WTRU 102a、102b、102c、102d可以被配置為傳輸及/或接收無線信號、並且可以包括使用者設備(UE)、行動站、固定或行動用戶單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、隨身型易網機、個人電腦、無線感測器、消費類電子裝置等等。 通信系統100還可以包括基地台114a和基地台114b。每一個基地台114a、114b可以是被配置為經由與WTRU 102a、102b、102c、102d中的至少一個WTRU無線介接來促使存取一個或多個通信網路的任何類型的裝置,該網路可以是核心網路106/107/109、網際網路110及/或網路112。作為示例,基地台114a、114b可以是基地收發站(BTS)、節點B、e節點B、本地節點B、本地e節點B、網站控制器、存取點(AP)、無線路由器等等。雖然每一個基地台114a、114b都被描述為是單一元件,但是應該瞭解,基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。 基地台114a可以是RAN 103/104/105的一部分,該RAN還可以包括其他基地台及/或網路元件(未顯示),例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台114a及/或基地台114b可以被配置為在名為胞元(未顯示)的特定地理區域內部傳輸及/或接收無線信號。胞元可被進一步劃分成胞元扇區。例如,與基地台114a關聯的胞元可分為三個扇區。由此,在一個實施方式中,基地台114a可以包括三個收發器,也就是說,每一個收發器對應於胞元的一個扇區。在另一個實施方式中,基地台114a可以使用多輸入多輸出(MIMO)技術,由此可以針對胞元的每個扇區使用多個收發器。 基地台114a、114b可以經由空中介面115/116/117以與一個或多個WTRU 102a、102b、102c、102d進行通信,該空中介面115/116/117可以是任何適當的無線通訊鏈路(例如射頻(RF)、微波、紅外線(IR)、紫外線(UV)、可見光等等)。該空中介面115/116/117可以用任何適當的無線電存取技術(RAT)來建立。 更具體地說,如上所述,通信系統100可以是多重存取系統、並且可以使用一種或多種頻道存取方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。舉例來說,RAN RAN 103/104/105中的基地台114a與WTRU 102a、102b、102c可以實施諸如通用行動電信系統(UMTS)陸地無線電存取(UTRA)之類的無線電技術,並且該技術可以使用寬頻CDMA(WCDMA)來建立空中介面115/116/117。WCDMA可以包括諸如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)之類的通信協定。HSPA可以包括高速下鏈封包存取(HSDPA)及/或高速上鏈封包存取(HSUPA)。 在另一個實施方式中,基地台114a與WTRU 102a、102b、102c可以實施演進型UMTS陸地無線電存取(E-UTRA)之類的無線電技術,該技術可以使用長期演進(LTE)及/或高級LTE(LTE-A)來建立空中介面115/116/117。 在其他實施方式中,基地台114a與WTRU 102a、102b、102c可以實施如IEEE 802.16(全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000(IS-2000)、臨時標準95(IS-95)、臨時標準856(IS-856)、全球行動通信系統(GSM)、用於GSM增強資料速率演進(EDGE)、GSM EDGE(GERAN)等無線電存取技術。 例如,第14A圖中的基地台114b可以是無線路由器、本地節點B、本地e節點B或存取點,並且可以使用任何適當的RAT來促成例如營業場所、住宅、交通工具、校園等等的局部區域中的無線連接。在一個實施方式中,基地台114b與WTRU 102c、102d可以實施諸如IEEE 802.11之類的無線電技術來建立無線區域網路(WLAN)。在另一個實施方式中,基地台114b與WTRU 102c、102d可以實施諸如IEEE 802.15之類的無線電技術來建立無線個人區域網路(WPAN)。在再一個實施方式中,基地台114b和WTRU 102c、102d可以使用基於蜂巢的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A等等)來建立微微胞元或毫微微胞元。如第14A圖所示,基地台114b可以直接連接到網際網路110。由此,基地台114b未必需要經由核心網路106/107/109來存取網際網路110。 RAN 103/104/105可以與核心網路106/107/109通信,該核心網路106/107/109可以是被配置為向一個或多個WTRU 102a、102b、102c、102d提供語音、資料、應用及/或網際協定語音(VoIP)服務的任何類型的網路。例如,核心網路106/107/109可以提供呼叫控制、記帳服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分配等等、及/或執行使用者認證之類的高階安全功能。雖然在第14A圖中沒有顯示,但是應該瞭解,RAN 103/104/105及/或核心網路106/107/109可以直接或間接地和使用與RAN 103/104/105相同RAT或不同RAT的其他RAN進行通信。例如,除了與使用E-UTRA無線電技術的RAN 103/104/105連接之外,核心網路106/107/109還可以與使用GSM無線電技術的另一RAN(未顯示)通信。 核心網路106/107/109還可以充當供WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通信協定的全球互連電腦網路和裝置系統,該協定可以是傳輸控制協定(TCP)/網際協定(IP)網際網路協定族中的TCP、使用者資料包通訊協定(UDP)和IP。網路112可以包括由其他服務供應者擁有及/或操作的有線或無線通訊網路。例如,網路112可以包括與一個或多個RAN相連的另一個核心網路,該一個或多個RAN可以使用與RAN 103/104/105相同RAT或不同RAT。 通信系統100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力,換言之,WTRU 102a、102b、102c、102d可以包括在不同無線鏈路上與不同無線網路通信的多個收發器。例如,第14A圖所示的WTRU 102c可以被配置為與使用基於蜂巢的無線電技術的基地台114a通信、以及與可以使用IEEE 802無線電技術的基地台114b通信。 第14B圖是例示WTRU 102的系統圖。如第14B圖所示,WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132、電源134、全球定位系統(GPS)晶片組136以及其他週邊裝置138。應該瞭解的是,在保持符合實施方式的同時,WTRU 102還可以包括前述元件的任何子組合。而且,實施方式考慮了基地台114a和114b、及/或基地台114a和114b可以表示的節點可以包括第14B圖中描繪的及於此描述的某些或所有元件,其中,除了其它之外,節點諸如但不限於收發站(BTS)、節點B、網站控制器、存取點(AP)、本地節點B、演進型本地節點B(e節點B)、本地演進節點B(HeNB)、本地演進節點B閘道、及代理節點。 處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、多個微處理器、與DSP核心關聯的一或多個微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)電路、其他任何類型的積體電路(IC)、狀態機等等。處理器118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102能在無線環境中操作的任何其他功能。處理器118可以耦合至收發器120,收發器120可以耦合至傳輸/接收元件122。雖然第14B圖將處理器118和收發器120描述為是獨立元件,但是應該瞭解,處理器118和收發器120可以集成在一個電子封裝或晶片中。 傳輸/接收元件122可以被配置為經由空中介面115/116/117來傳輸信號至基地台(例如,基地台114a)、或接收來自基地台(例如,基地台114a)的信號。例如,在一個實施方式中,傳輸/接收元件122可以是被配置為傳輸及/或接收RF信號的天線。在另一個實施方式中,例如,傳輸/接收元件122可以是被配置為傳輸及/或接收IR、UV或可見光信號的發射器/偵測器。在再一個實施方式中,傳輸/接收元件122可以被配置為傳輸和接收RF和光信號。應該瞭解的是,傳輸/接收元件122可以被配置為傳輸及/或接收無線信號的任何組合。 此外,雖然在第14B圖中將傳輸/接收元件122描述為是單一元件,但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說,WTRU 102可以使用MIMO技術。因此,在一個實施方式中,WTRU 102可以包括經由空中介面115/116/117來傳輸和接收無線電信號的兩個或更多個傳輸/接收元件122(例如,多個天線)。 收發器120可以被配置為對傳輸/接收元件122將要傳輸的信號進行調製,以及對傳輸/接收元件122接收的信號進行解調。如上所述,WTRU 102可以具有多模能力。因此,收發器120可以包括用於使WTRU 102能經由諸如UTRA和IEEE 802.11之類的多種RAT來進行通信的多個收發器。 WTRU 102的處理器118可以耦合至揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)、並且可以接收來自這些元件的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128輸出使用者資料。此外,處理器118可以從例如不可移式記憶體130及/或可移式記憶體132之類的任何適當的記憶體中存取資訊、以及將資料存入這些記憶體。所述不可移式記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或是任何其他類型的記憶體儲存裝置。可移式記憶體132可以包括使用者身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在其他實施方式中,處理器118可以從那些並非實際位於WTRU 102上的記憶體存取資訊、以及將資料存入這些記憶體,其中舉例來說,該記憶體可以位於伺服器或家用電腦(未顯示)。 處理器118可以接收來自電源134的電力、並且可以被配置分發及/或控制用於WTRU 102中的其他元件的電力。電源134可以是為WTRU 102供電的任何適當的裝置。舉例來說,電源134可以包括一個或多個乾電池組(如鎳鎘(Ni-Cd)、鎳鋅(Ni-Zn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)、太陽能電池、燃料電池等等。 處理器118還可以與GPS晶片組136耦合,該晶片組可以被配置為提供與WTRU 102的目前位置相關的位置資訊(例如經度和緯度)。作為來自GPS晶片組136的資訊的補充或替代,WTRU 102可以經由空中介面115/116/117接收來自基地台(例如基地台114a、114b)的位置資訊、及/或根據從兩個或多個附近基地台接收的信號時序來確定其位置。應該瞭解的是,在保持符合實施方式的同時,WTRU 102可以用任何適當的定位方法來獲取位置資訊。 處理器118還可以耦合到其他週邊裝置138,這其中可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如,週邊裝置138可以包括加速度計、電子指南針、衛星收發器、數位相機(用於照片和視訊)、通用序列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍牙®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。 第14C圖是根據一個實施方式的RAN 103和核心網路106的系統圖。如上所述,RAN 103可以使用UTRA無線電技術以經由空中介面115來與WTRU 102a、102b、102c進行通信。RAN 103還可以與核心網路106通信。如第14C圖所示,RAN 103可以包括節點B 140a、140b、140c,其中每一個節點B都可以包括經由空中介面115以與WTRU 102a、102b、102c通信的一個或多個收發器。節點B 140a、140b、140c中的每一個都可以與RAN 103內的特定胞元(未顯示)相關聯。RAN 103還可以包括RNC 142a、142b。應該瞭解的是,在保持與實施方式相符的同時,RAN 103可以包括任何數量的節點B和RNC。 如第14C圖所示,節點B 140a、140b可以與RNC 142a進行通信。此外,節點B 140c可以與RNC 142b進行通信。節點B 140a、140b、140c可以經由Iub介面以與各自的RNC 142a、142b進行通信。RNC 142a、142b可以經由Iur介面彼此通信。每一個RNC 142a、142b都可以被配置為控制與其相連的各自的節點B 140a、140b、140c。另外,每一個RNC 142a、142b可被配置為執行或支援其他功能,例如外環功率控制、負載控制、允許控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。 第14C圖所示的核心網路106可以包括媒體閘道(MGW)144、行動交換中心(MSC)146、服務GPRS支援節點(SGSN)148、及/或閘道GPRS支援節點(GGSN)150。雖然前述每個元件都被描述為是核心網路106的一部分,但是應該瞭解,核心網路操作者之外的其他實體也可以擁有及/或操作這其中的任一元件。 RAN 103中的RNC 142a可以經由IuCS介面而連接到核心網路106中的MSC 146。MSC 146可以連接到MGW 144。MSC 146和MGW 144可以為WTRU 102a、102b、102c提供對PSTN 108之類的電路切換式網路的存取,以促成WTRU 102a、102b、102c與傳統陸線通信裝置間的通信。 RAN 103中的RNC 142a還可以經由IuPS介面而連接到核心網路106中的SGSN 148。該SGSN 148可以連接到GGSN 150。SGSN 148和GGSN 150可以為WTRU 102a、102b、102c提供對網際網路110之類的封包交換網路的存取,以促成WTRU 102a、102b、102c與IP賦能裝置之間的通信。 如上所述,核心網路106還可以連接到網路112,該網路可以包括其他服務供應者擁有及/或操作的其他有線或無線網路。 第14D圖是根據一個實施方式的RAN 104以及核心網路107的系統圖示。如上所述,RAN 104可以使用E-UTRA無線電技術以經由空中介面116來與WTRU 102a、102b、102c進行通信。此外,RAN 104還可以與核心網路107通信。 RAN 104可以包括e節點B 160a、160b、160c,但是應該瞭解,在保持與實施方式相符的同時,RAN 104可以包括任何數量的e節點B。每一個e節點B 160a、160b、160c可以包括一個或多個收發器,以便經由空中介面116來與WTRU 102a、102b、102c通信。在一個實施方式中,e節點B 160a、160b、160c可以實施MIMO技術。由此,例如,e節點B 160a可以使用多個天線來向WTRU 102a傳輸無線信號、以及接收來自WTRU 102a的無線信號。 每一個e節點B 160a、160b、160c可以與特定胞元(未顯示)相關聯、並且可以被配置為處理無線電資源管理決策、切換決策、上鏈及/或下鏈中的使用者排程等等。如第14D圖所示,e節點B 160a、160b、160c可以經由X2介面彼此通信。 第14D圖所示的核心網路107可以包括移動性管理閘道(MME)162、服務閘道164以及封包資料網路(PDN)閘道166。雖然上述每一個元件都被描述成是核心網路107的一部分,但是應該瞭解,核心網路操作者之外的其他實體可以擁有及/或操作這些元件中的任一元件。 MME 162可以經由S1介面來與RAN 104中的每一個e節點B 160a、160b、160c相連、並且可以充當控制節點。例如,MME 162可以負責認證WTRU 102a、102b、102c的使用者、啟動/停用承載,在WTRU 102a、102b、102c的初始連結期間選擇特定服務閘道等等。該MME 162還可以提供控制平面功能,以在RAN 104與使用了GSM或WCDMA之類的其他無線電技術的其他RAN(未顯示)之間執行切換。 服務閘道164可以經由S1介面而連接到RAN 104中的每一個e節點B 160a、160b、160c。該服務閘道164通常可以路由和轉發去往/來自WTRU 102a、102b、102c的使用者資料封包。服務閘道164還可以執行其他功能,例如在e節點B間的切換期間錨定使用者平面、在下鏈資料可供WTRU 102a、102b、102c使用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等等。 服務閘道164還可以連接到PDN閘道166,可以為WTRU 102a、102b、102c提供針對諸如網際網路110之類的封包交換網路的存取,以促成WTRU 102a、102b、102c與IP賦能裝置之間的通信。 核心網路107可以促成與其他網路的通信。例如,核心網路107可以為WTRU 102a、102b、102c提供對PSTN 108之類的電路切換式網路的存取,以促成WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。例如,核心網路107可以包括IP閘道(例如,IP多媒體子系統(IMS)伺服器)或與之通信,其中該IP閘道充當核心網路107與PSTN 108之間的介面。此外,核心網路107可以為WTRU 102a、102b、102c提供對網路112的存取,其中該網路可以包括其他服務供應者擁有及/或操作的其他有線或無線網路。 第14E圖是根據一個實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術而以空中介面117上與WTRU 102a、102b、102c通信的存取服務網路(ASN)。如以下進一步論述的那樣,核心網路109以及WTRU 102a、102b、102c,RAN 105的不同功能實體之間的通信鏈路可被定義為參考點。 如第14E圖所示,RAN 105可以包括基地台180a、180b、180c以及ASN閘道182,但是應該瞭解,在保持與實施方式相符的同時,RAN 105可以包括任何數量的基地台及ASN閘道。每一個基地台180a、180b、180c可以與RAN 105中的特定胞元(未顯示)相關聯,並且每個基地台可以包括一個或多個收發器,以經由空中介面117而與WTRU 102a、102b、102c進行通信。在一個實施方式中,基地台180a、180b、180c可以實施MIMO技術。由此,舉例來說,基地台180a可以使用多個天線來向WTRU 102a傳輸無線信號、以及接收來自WTRU 102a的無線信號。基地台180a、180b、180c還可以提供移動性管理功能,例如切換觸發、隧道建立、無線電資源管理、訊務分類、服務品質(QoS)策略實施等等。ASN閘道182可以充當訊務聚合集點、並且可以負責傳呼、用戶特性檔快取、針對核心網路109的路由等等。 WTRU 102a、102b、102c與RAN 105之間的空中介面117可被定義為是實施IEEE 802.16規範的R1參考點。另外,每一個WTRU 102a、102b、102c可以與核心網路109建立邏輯介面(未顯示)。WTRU 102a、102b、102c與核心網路109之間的邏輯介面可被定義為R2參考點,該參考點可以用於認證、授權、IP主機配置管理及/或移動性管理。 每一個基地台180a、180b、180c之間的通信鏈路可被定義為R8參考點,該參考點包含了用於促成WTRU切換以及基地台之間的資料傳遞的協定。基地台180a、180b、180c與ASN閘道182之間的通信鏈路可被定義為R6參考點。該R6參考點可以包括用於促成基於與每一個WTRU 102a、102b、102c相關聯的移動性事件的移動性管理。 如第14E圖所示,RAN 105可以連接到核心網路109。RAN 105與核心網路109之間的通信鏈路可以被定義為R3參考點,例如,該參考點包含了用於促成資料傳遞和移動性管理能力的協定。核心網路109可以包括行動IP本地代理(MIP-HA)184、認證、授權、記帳(AAA)伺服器186以及閘道188。雖然前述每個元件都被描述為是核心網路109的一部分,但是應該瞭解,核心網路操作者以外的實體也可以擁有及/或操作這其中的任一元件。 MIP-HA可以負責IP位址管理、並且可以允許WTRU 102a、102b、102c在不同的ASN及/或不同的核心網路之間漫遊。MIP-HA 184可以為WTRU 102a、102b、102c提供對網際網路110之類的封包交換網路的存取,以促成WTRU 102a、102b、102c與IP賦能裝置之間的通信。AAA伺服器186可以負責使用者認證以及支援使用者服務。閘道188可以促成與其他網路的互通。例如,閘道188可以為WTRU 102a、102b、102c提供於PSTN 108之類的電路切換式網路的存取,以促成WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。另外,閘道188可以為WTRU 102a、102b、102c提供針對網路112的存取,其中該網路可以包括其他服務供應者擁有及/或操作的其他有線或無線網路。 雖然在第14E圖中沒有顯示,但是應該瞭解,RAN 105可以連接到其他ASN,並且核心網路109可以連接到其他核心網路。RAN 105與其他ASN之間的通信鏈路可被定義為R4參考點,該參考點可以包括用於協調WTRU 102a、102b、102c在RAN 105與其他ASN之間的移動的協定。核心網路109與其他核心網路之間的通信鏈路可以被定義為R5參考點,該參考點可以包括用於促成本地核心網路與被訪核心網路之間互通的協定。 儘管上述特徵和元件以特定組合方式被描述,本領域中具有通常知識者應注意到每個特徵或元素可單獨使用或與其他特徵和元素任意組合的方式使用。此外,在此描述的方法可以以用於電腦或處理器執行的電腦可讀媒體中的電腦程式、軟體或韌體來實現。電腦可讀媒體的示例包括電子信號(經由有線或無線連接傳輸)和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括、但不限於唯讀記憶體(ROM)、隨機記憶體(RAM)、暫存器、快取記憶體、半導體記憶裝置、例如內置硬碟和抽取式磁碟之類的磁性媒體、磁光媒體和光學媒體(例如,CD-ROM磁片)、數位多功能光碟(DVD)。與軟體相關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC或任何主機電腦中使用的射頻收發器。