TW201301877A - 以影像感測器為基礎之具有多輸入模式之多維度遙控器 - Google Patents

Abstract

一種用以產生電視輸入指令之方法，並藉由具有影像感測器之遙控器完成目的。本發明之方法透過擷取自影像感測器之圖形影像，對電視顯示器螢幕之角落進行識別。本發明之方法透過電視顯示器螢幕之電視參考尺寸，執行圖形影像之邊緣偵測與分段，用以識別圖形影像中電視顯示器螢幕之四角落的像素座標。本發明之方法透過交互比例演算法，將像素座標中的相機中心位置映對至虛擬電視座標，並且將虛擬電視中游標的位置映對至電視顯示器螢幕的座標。

Description

以影像感測器為基礎之具有多輸入模式之多維度遙控器

本發明係關於一種遙控器，尤其是關於一種具有影像感測器之網路電視用之多輸入模式遙控器。

網路電視(Internet TV)近來的發展不僅提供傳統的電視節目，也提供互動的內容，例如2D及3D網頁，線上2D，3D遊戲等等。為了符合逐日擴展的使用者對網路TV用的輸入特色的需要，存在著可提供比現有輸入裝置更改善的輸入能力之下一代遙控器的強烈需求。

本發明之目的在於提供一種具有影像感測器之多輸入模式之網路電視遙控器。

於一實施例中，本發明提供一種使用具有一影像感測器之遙控器產生電視用之輸入指令之方法。此方法藉由遙控器之影像感測器所擷取之圖形影像來識別電視顯示器之角落。此方法隨後使用電視顯示器螢幕之參考電視尺寸來執行邊緣偵測以及圖像之分段，以識別圖形影像中之電視顯示器四個角落之像素座標。本案方法隨後使用一交互比例演算法(cross ratio algorithm)映對(map)該像素座標中之一相機中心位置至一虛擬電視座標，隨 後對應虛擬電視座標中之一游標的位置至該電視顯示器螢幕之座標。

於本發明另一實施例中，本發明提供一種遙控器，包括一影像感測器，一多點觸控觸碰板以及一微處理器。該影像感測器用以執行影像擷取及深度感測。微處理器用以處理影像感測器資料以及於複數輸入模式中之一模式中，從該影像感測器及該多點觸控觸碰板接收之多點觸控觸碰板資料。於一手勢輸入模式或一游標控制模式中，此微處理器用以執行以下步驟(i)從該遙控器之影像感測器所抓取之一圖形影像識別一電視顯示器螢幕之角落，以及(ii)使用電視顯示器螢幕之參考電視尺寸執行邊緣偵測及圖形影像之分段，以識別該圖形影像中之電視顯示器螢幕之四角落之像素座標。

於一實施例中，本發明提供一種電視用之遙控器輸入系統。該系統包括一如前所述之遙控器以及一電視遙控器支援模組。該電視遙控器支援模組係用以(i)使用一交互比例演算法(cross ratio algorithm)映對(map)該像素座標中之一相機中心位置至一虛擬電視座標，以及(ii)對應虛擬電視座標中之一游標的位置至該電視顯示器螢幕之座標。

以下所述本發明之實施例係為例示之用，並非用以限制本發明之範圍。可以理解的是，本發明使用一或多種電腦可讀取之媒介，而每種媒介可用以包含操作用之資料或電腦可執行之資料。電腦可執行之資料包括各種資料結構、程式或是其它程式模組。此外，電腦可讀取之媒介可為隨機存取記憶體(RAM)、唯讀型記憶體(ROM)或是其他能夠提供資料或執行指令 的裝置或零件。所有電腦可讀取之媒介適用於本發明，但在某些實施例中，電腦可讀取之媒介為實體非臨時電腦可讀取之媒介(tangible non transitory computer readable media)。

網路電視與遙控器的硬體與軟體結構

請參閱圖1，圖1為遙控器之立體圖。如圖1所示，遙控器100包括一2D或3D影像感測器102與一觸碰板104，其中影像感測器102具有像素座標，而觸碰板104為多指觸碰板或是數位板(digitizer)，用以控制網路電視110。觸碰板104藉由傳送絕對座標，或是傳送習知滑鼠模式的相對座標進行操作。此外，遙控器100包括一個或多個按鍵106，用以操作網路電視110或是改變遙控器100的模式。

遙控器100的韌體藉由無線通訊裝置112將資料封包以無線方式傳送至網路電視110，而網路電視110藉由網路電視110之無線通訊裝置114完成無線通訊。上述的無線通訊方式可為藍牙、WiFi或是其他適用技術。網路電視110包括遙控器支援模組，遙控器支援模組接收來自遙控器100的訊號，並且產生多維輸入指令，例如控制游標。

遙控器100之影像感測器102具有兩種功能：影像擷取與深度感測。深度感測是指以像素座標表示遙控器100與3D環境中物件之間的距離。利用影像感測器102所擷取的2D彩色影像以及深度感測過程，遙控器100能夠將相機中心位置的像素座標映對至電視螢幕座標中的游標位置。

請參閱圖2，圖2為遙控器之方塊示意圖。承上所述，遙控器100包括影像感測器102、一多指觸碰板104或數位板，以及複數個按鍵106或按 壓開關，其中影像感測器102可為CMOS 2D/3D感測器。如圖2所示，影像感測器102、多指觸碰板104與按鍵106電連接於微處理器200，且如圖1所示，微處理器200的資料透過無線通訊裝置112傳送至網路電視110。

請參閱圖3，圖3為遙控器之韌體與網路電視之遙控器支援模組的方塊圖。韌體300設於遙控器100內部，遙控器支援模組302設於網路電視110內部，其中韌體300接收多指觸碰板104與影像感測器102的非連續資料組，並透過無線方式將非連續資料組傳送至網路電視110之無線通訊驅動器306。

於某些較佳實施例中，遙控器100為複合型USB人類介面裝置，且遙控器100包括至少二個獨立邏輯裝置。第一邏輯裝置為多指觸碰板，第二邏輯裝置為影像感測器。電視操作系統304透過無線通訊驅動器306接收來自遙控器100的資料封包，且資料封包將依序被傳送至USB數位板驅動器308與游標導航模組320。

多維輸入功能

關於遙控器的獨立輸入控制模式將於下文中說明，請繼續參閱圖3。本發明之遙控器係為具有三個獨立輸入控制模式的多功能多維遙控器。

第一控制模式為游標位置模式，藉由結合影像感測器與觸碰板兩種輸入方式控制網路電視的游標位置。第二控制模式為手勢輸入模式，當遙控器在開放空間中移動時，藉由遙控器之影像感測器產生輸入訊號。第三控制模式為多指輸入模式，藉由複數手指觸碰觸碰板產生多指觸碰訊號。

上述任一控制模式皆可應用至二維、三維或是其他多維輸入指令。甚 者，上述輸入控制模式可藉由按壓遙控器之一個或多個按鍵進行切換。

在游標位置模式中，藉由移動遙控器產生的影像感測器資料比觸碰板資料具有更高優先性。影像感測器資料可藉由絕對位置指令成為直接指向指令，用以導航電視螢幕上的游標。在游標位置模式中，若影像感測器的位移速率小於預設值，例如遙控器靜止不動，則觸碰板資料將被辨識且應用於精確的游標控制移動。舉例來說，當使用者透過遙控器指向螢幕上的物件時，可以進行物件選擇。當上述輸入方式執行且使用者需要微調游標位置時，使用者可以不動遙控器，並藉由觸碰板移動游標以實現精確的游標控制。

手勢輸入模式根據軀體在開放空間中的移動方式執行手勢輸入。舉例來說，使用者握持遙控器100且移動遙控器100以執行手勢。這些手勢將根據手勢資料庫形成輸入指令。手勢輸入模式中的觸碰板沒有功能，因此觸碰板上任何接觸不進行辨識，亦不產生任何輸入指令。

手勢輸入模式僅利用影像感測器資料。同理，多指輸入模式僅利用觸碰板資料。於此模式中，觸碰板資料為接觸觸碰板的手指手勢輸入所產生的絕對觸碰位置資料，且所有影像感測器資料將被忽略。

游標位置控制模式

請繼續參閱圖3，特別是遙控器處於游標控制模式時，遙控器支援模組302的應用。在游標控制模式中，電視顯示器產生一游標影像，其中游標的位置係藉由計算影像感測器資料與觸碰板資料而得。影像感測器指向電視顯示器所產生的影像感測器資料可用以進行粗略的游標控制(精準度低)， 其中游標的粗略控制為絕對位置指令。

在此過程中，遙控器之韌體執行實時影像處理，用以偵測電視框體的四個角落，並且傳送資料至網路電視內的遙控器支援模組302。於游標位置控制模式中，手指在觸碰板上拖曳而產生的觸碰板資料，透過相對的指向方法成為精確的游標位置控制(精準度高)。

如圖3所示，遙控器支援模組302包括游標導航模組320。游標導航模組320將相機中心位置的像素座標映對至絕對游標位置的電視螢幕座標。游標導航模組320更包括一交互比例模組312、一相機中心位置映對模組314和/或一虛擬游標映對模組316。

交互比例模組312用以計算五個點的交互比例值，其中五個點的象限代碼與預設虛擬標記對應於虛擬電視框體影像的象限代碼與像素座標。相機中心位置映對模組314用以將相機中心位置的像素座標映對於虛擬游標的虛擬電視座標。以上過程藉由象限代碼、交互比例以及預設虛擬標記的虛擬電視座標完成。虛擬游標映對模組316用以將虛擬電視框體中的虛擬游標映對至真實電視框體中的游標。游標指向模組310藉由游標導航模組320的輸出產生游標位置指令，進而協助精確的游標控制並使其過程平順化。此外，於某些較佳實施例中，支援電視軟體302透過多指觸碰板之資料封包產生一游標指令。圖3的程式模組將於下文的次標題中進一步說明。

遙控器與電視遙控器支援模組的影像處理

請再度參閱圖3，影像感測器擷取影像，且影像藉由遙控器之韌體300和/或網路電視之遙控器支援模組302進行處理。影像處理的基本步驟如下 所示。首先，透過初始步驟進行影像參數識別。這些參數包括電視尺寸、電視顯示器到影像感測器之間的距離，影像感測器的水平方向、鉛直方向與轉動方向，以及電視遙控器支援模組302選擇的映對參數組。

再則，執行邊緣偵測與分段步驟。於此步驟中，影像感測器用以偵測電視框體的四個角落，而韌體則負責影像的分段。

接著，執行連續映對步驟。於此步驟中，電視遙控器支援模組302將絕對游標位置之座標映對至電視顯示器之座標。下文的表1顯示影像感測器與電視遙控器支援模組302執行的步驟。表1的內容將進一步說明。

偵測邊緣、分段電視框體以及識別電視螢幕的四個角落

偵測電視螢幕以及識別電視螢幕的四個角落可藉由一深度感測相機完成，其中深度感測相機同時擷取RGB數位影像與深度影像(相機與物件之間每一像素的距離資料)。上述相機可為商業用的3D感測相機，例如微軟的Kinect®，其中Kinect®之2D/3D影像感測器的硬體結構為結合習知2D彩色影像晶片與獨立的3D深度感測晶片(如Kinect®的感測器)。此外，同時偵測2D彩色電視影像的影像與深度感測影像的單一硬體晶片亦適用。 於某些實施例中，遙控器利用2D影像與深度感測資料，進而偵測的像素平面中的電視框體之四個角落，如圖4A至4F所示。圖4A為電視顯示器螢幕擷取圖形影像之電視環境示意圖。電視環境中包括一電視400、一牆面402位於電視400後方、一嵌壁404位於電視400之更後方、一人物406以及一演講台408位於電視400之右方。

當遙控器進行游標導航初始化時，遙控器傳送一指令至電視400，進而顯示一單發圖形影像，例如純色螢幕410。如圖4B所示，純色螢幕410為圖中被填滿斜線部分，其中上述色彩可為藍色。遙控器自擷取圖形影像獲取電視影像與深度資料。

關於圖形影像之深度資料請參閱圖4C，圖4C利用不同花紋顯示物件所在的不同深度。利用圖像資料，遙控器能夠搜尋並且識別電視螢幕420與影像感測器之間的距離。當遙控器與電視螢幕420的距離被識別後，遙控器將可根據距離產生深度影像的色彩直方圖。舉例來說，圖4C顯示影像物件中物件的深度，且每一物件依據其深度的不同而標示不同花紋。如圖4C所示，物件420與422分別與影像感測器相距相同距離。

接著，圖4C的影像經過二值化影像處理，且二值化的閥值與電視顯示器螢幕420之間的距離值相關。如此一來，所有物件的距離值將被二值化而形成純色。請參閱圖4D，圖4D為圖4C的二值化影像示意圖。需要注意的是，物件430與432皆顯示填滿實線，是因為兩者分別與影像感測器相距相同距離。

識別電視框體的距離資料後，遙控器可透過內建的查表資料庫獲得電視框體的預測尺寸。請參閱圖4E，透過資料庫中的電視框體預測尺寸，遙 控器可以正確地識別影像440中與電視螢幕大小最相近的物件。當電視物件識別，即分段電視框體完成後，如圖4F所示，電視框體之每一角落的位置被計算為像素座標。電視框體的質心位置可藉由四個角落450的位置推得。

將相機中心位置映對至電視空體座標的交互比例演算法

當電視螢幕的中心位置被識別為像素座標後，交互比例演算法可將相機中心位置映對至電視框體座標。交互比例為應用數學之幾何學中一種比例。舉例來說，請參閱圖5，四條直線自點O延伸，其中四條直線上的點x1、x2、x3、x4與x1’、x2’、x3’、x4’與其投影轉換相關，因此，如下方的方程式1所示，(x1,x2,x3,x4)的交互比例等於(x1’,x2’,x3’,x4’)的交互比例。

交互比例=[(x1-x3)/(x2-x3)]/[(x1-x4)/(x2-x4)]=[(x1’-x3’)/(x2’-x3’)]/[(x1’-x4’)/(x2’-x4’)]方程式1

上述遙控器透過交互比例的不變量，將像素座標中的相機中心位置映對至電視螢幕座標中的游標所在位置。如圖6所示，圖6為光學中心600投射一線穿經相機透鏡602產生的投影轉換，且此線延伸至電視螢幕604。

在習知的電腦製圖法中，像素座標(x,y,z)與電視螢幕座標(X,Y)之間的關係已由投影轉換所定義。請參閱方程式2。

投影轉換矩陣包括相機內部矩陣與外部矩陣。內部矩陣代表內部相機參數，例如焦距。外部矩陣代表2D像素場景與3D環境(包括電視框體)之間的3D轉換和旋轉。電視螢幕座標中每個定義的2D位置將經由數位相機的透鏡擷取，並經由透鏡執行投影轉換矩陣，使得每個像素座標與電視座標互相對應。

投影轉換能夠保留交互比例、長度比例的比例、點的共線性以及點的順序。由於這些投影不變量經過投影轉換後仍不被改變，因此交互比例可將像素座標中的相機中心位置映對至電視螢幕座標中的游標位置。換言之，五個像素座標中已知的點(預設四個位置或虛擬標記以及相機中心位置)所計算出的交互比例，理該相等於電視螢幕座標中四個已知的點與未知游標的位置的交互比例。如圖7、8A與8B所示，對應於相機中心的游標位置可依據像素平面中的交互比例推算其未知的位置(X_游標,Y_游標)。

圖7為投影轉變以及相機定位至游標的示意圖。如圖7繪有影像感測器的投影中心700。投影穿過鏡象平面704，其中鏡象平面704包括相機像素座標p1，p2，p3，p4以及相機中心C。投影繼續前進並抵達一參考平面710，其中參考平面710包括一游標712以及被標註為P1，P2，P3，P4的 電視螢幕座標714。

圖8A與8B顯示電視螢幕座標與相機像素座標之間的交互比例係為不變量之示意圖。圖8A中包括影像感測器106以及具有游標712與標記m1、m2、m3、m4的電視110。圖8B中包括被擷取電視影像800與相機中心位置，其中相機中心位置被標記為p5，且位於電視影像的中心。標記p1，p2，p3，p4對應於標記m1、m2、m3、m4。值得被注意的是，交互比例_電視=F(m1,m2,m3,m4,p5)相等於交互比例_相機=F(p1,p2,p3,p4,p5)。

在習知的應用數學中，兩個交互比例方程式之五個點中任三點不共線，且其投影轉換如下所示。透過兩個交互比例與方程式3和4，未知的游標位置(X_游標,Y_游標)將被獲得。

Cross Ratio 1=(|M₄₃₁|^＊ |M₅₂₁|)/(|M₄₂₁|^＊|M₅₃₁|) Cross Ratio 2=(|M₄₂₁|^＊ |M₅₃₂|)/(|M₄₃₂|^＊|M₅₂₁|)方程式3和4

在方程式3和4中，M_ijk為一矩陣，且矩陣其中i、j、k分別表示點的代碼。(x _i ,y _i )為標號i的點的2D座標。純量值|M_ijk|是M_ijk矩陣的行列式。

透過交互比例計算游標導航的計算過程包括下列四個步驟：

步驟1：在第一個步驟中，接收預設四點的原始資料封包，用以計算交互比例或是像素座標中「虛擬標記」的位置。如圖9所示，電視螢幕900的擷取影像位於像素座標中的X軸904與Y軸902，其中被擷取的電視框 體影像中包括四個虛擬標記908的位置Pi(i=1-4)，以及代表相機中心位置的第五點P5 906。以VGA解析度的螢幕為例，P5在(X,Y)座標系統中位於(320,240)。

步驟2：在第二個步驟中，透過步驟1的點資料計算交互比例。舉例來說，利用Pi(i=1-4)的預設點資料與相機中心位置P5進行計算，如下所示，再經由方程式3與4獲得交互比例CR1與交互比例CR2。須注意的是，應該避免三點共線的條件。

Pi(x,y)=虛擬標記i的位置P5(x,y)=像素平面座標中的相機中心位置|M 431 |=P4xP3y+P3xP1y+P1xP4y-(P1xP3y+P3xP4y+P1yP4x) |M 421 |=P4xP2y+P2xP1y+P1xP4y-(P1xP2y+P2xP4y+P1yP4x) |M 432 |=P4xP3y+P3xP2y+P2xP4y-(P2xP3y+P3xP4y+P2yP4x) |M 521 |=P5xP2y+P2xP1y+P1xP5y-(P1xP2y+P2xP5y+P1yP5x) |M 531 |=P5xP3y+P3xP1y+P1xP5y-(P1xP3y+P3xP5y+P1yP5x) |M 532 |=P5xP3y+P3xP2y+P2xP5y-(P2xP3y+P3xP5y+P2yP5x)

步驟3：藉由步驟2中所得的交互比例推算游標位置。舉例而言，在電視螢幕座標中的游標位置Cur(x5,y5)如下計算：x5=-(E^＊(A^＊F-C^＊D)/(B^＊D-A^＊E)+F)/D y5=(A^＊F-C^＊D)/(B^＊D-A^＊E)

純量值A，B，C，D，E以及F如下所示：A=(CR1^＊|M_TV421|^＊(Y3-Y1)-|M_TV431|^＊(Y2-Y1)) B=(CR1^＊|M_TV421|^＊(X1-X3)-|M_TV431|^＊(X1-X2)) C=(CR1^＊|M_TV421|^＊(X3Y1-X1Y3)-|M_TV431|^＊(X2Y1-X1Y2)) D=(CR2^＊|M_TV432|^＊(Y2-Y1)-|M_TV421|^＊(Y3-Y2)) E=(CR2^＊|M_TV432|^＊(X1-X2)-|M_TV421|^＊(X2-X3)) F=(CR2^＊|MTV432|^＊(X2Y1-X1Y2)-|M_TV421|^＊(X3Y2-X2Y3))

於以上方程式中，CR1與CR2由步驟2而得。虛擬標記的位置Vi=(Xi,Yi)係電視座標中的預設值。行列式|M_TV ijk|藉由電視座標中的虛擬標記的位置Vi=(Xi,Yi)而得。

步驟4：當上述三個步驟完成後，將返回並且重複步驟1。

避免交互比例定位的計算溢位

在投影幾何學中利用交互比例的計算困難點在於，當三點處於共線時，交互比例將成為零或無限。圖10為三點所產生的計算溢位的示意圖。如圖10所示，電視框體1000的四個角落1002為預設點，與虛擬標誌相同，用以計算交互比例。當游標712位於四個角落1002的任一連線上，將發生三點共線的情形。

圖11A與圖11B為不同虛擬標記1100組合構成三點共線的另一示意圖。如圖11A所示，電視螢幕座標分散至象限中。如圖11B所示，像素座標與相機中心1110對應至圖11A。

為了避免共線條件，游標導航模組識別游標所在的象限。圖12A至12D顯示虛擬標記1100的適當位置，藉以根據電視座標中的游標當前位置有效計算交互比例。用以計算交互比例的預設四點如下所示。

圖12A至12D顯示一第一虛擬標記1100，其中第一虛擬標記1100位於游標所在象限的對角象限。接著，第二虛擬標記1100位於第一虛擬標記所在的水平邊線上，且第二虛擬標記距離第一虛擬標記半個水平邊線。第三虛擬標記1100位於第一虛擬標記所在的鉛直邊線上，且第三虛擬標記距離第一虛擬標記四分之一個鉛直邊線。第四虛擬標記1100位於相反的鉛直 邊線上，且其高度為四分之一個鉛直邊線。

換言之，若游標位於象限I，且正往電視螢幕的象限I或象限II的方向位移，則不與圖12A或圖12B所示的虛擬標記1100產生共線情形。同理，若游標位於象限II，且正往電視螢幕的象限I或象限II的方向位移，則不與圖12B所示的虛擬標記1100產生共線情形。若游標位於象限III，且正往電視螢幕的象限III或象限IV的方向位移，則不與圖12C所示的虛擬標記1100產生共線情形。另外，若游標位於象限IV，且正往電視螢幕的象限III或象限IV的方向位移，則不與圖12D所示的虛擬標記1100產生共線情形。

圖13A至13D為順利計算交互比例的初始導航與後續導航之示意圖。如圖13A所示，當第一次的游標導航時，遙控器之影像感測器識別擷取電視框體1302，其中電視框體1302包括相機中心1304。遙控器傳送識別象限的訊息資料至電視支援程式。如圖13B所示，電視支援程式接收訊息資料，但並未更新電視螢幕1310上游標1312的位置。

如圖13C所示，當象限與預設四個虛擬標記1306出現在像素座標中，遙控器傳送資料組至電視遙控支援模組，其中資料組中包括當前象限代碼、四個角落的位置以及用以計算交筆的五個點的像素座標。接著，電視遙控支援模組代表遙控器計算像素平面中的交互比例，並且依據遙控器傳送的象限代碼，計算電視螢幕座標中所對應的預設四個虛擬標記。

虛擬電視框體的概念

交互比例定位的目的在於使得像素座標中的相機中心位置對應至真實 電視螢幕座標的游標。然而，以上方法並不適用於遙控器與電視框體相距較遠的情形，因為距離遙遠導致電視框體的擷取影像過小，因而無法使用預設四點計算交互比例。

因此，虛擬電視框體的概念能夠克服遙控器與電視框體相距較遠的情形。圖14為虛擬電視框體的操作示意圖。主要的概念是界定一虛擬電視框體1302，其中虛擬電視框體1302必須足夠大，用以確保計算交互比例的精準度以及進行游標導航。因此，圖14顯示一虛擬電視框體1302為電視框體的延伸，且虛擬電視框體1302大於實際電視框體110。游標導航模組透過虛擬電視框體1302計算交互比例，並將相機中心對應至虛擬電視框體座標。虛擬電視框體1302的尺寸可由使用者自行設定，且任何大於實際電視框體110的尺寸皆可適用。

圖15為實際電視框架110與使用者自訂的虛擬電視框架1302之擷取影像示意圖。如圖15所示，在像素座標中，虛擬電視框架1302的長度與寬度約為實際電視框架110的三倍之大。

圖16A繪製透過虛擬電視框體的擷取影像計算交互比例的示意圖。在圖16A中，攝像裝置擷取實體電視框體110之影像於像素平面1600。實體電視框體110的質心位置可被計算。接著，如圖16A所示，虛擬電視框體1302包圍實體電視框體110的質心。接著，游標導航模組識別虛擬電視框體1302的象限，且相機中心位於象限之中。關於虛擬電視框體1302中預設四點1004(虛擬標記)的位置請參閱圖12A至圖12D。

將相機中心1602映對於虛擬電視座標的過程請參閱圖16B至16D。圖16B繪製在虛擬電視座標1302中交互比例的計算。圖16C繪製游標1610 以及相機中心映對至虛擬電視座標的映圖之示意圖。圖16D繪製游標1610以及虛擬游標映對至真實電視座標的映圖與真實游標1622之示意圖。當上述的中間映對過程完成虛擬游標V_cur(Vx,Vy)的計算，接下來如圖16D所示，將虛擬游標位置映對至真實電視110的真實虛擬游標位置Cur(x,y)，其計算如下示方程式5與6。

x=Vx/寬度的延伸比例y=Vy/高度的延伸比例方程式5與6

透過預測資料庫查表推算電視框體之尺寸

於某些實施例中，如圖4E所示，查表資料庫用以協助遙控器判斷影像中的電視框體。查表包括電視框體尺寸的擷取資料，其中電視框體尺寸(像素座標中的寬度與高度)係透過2D/3D影像感測器位於不同3D位置與方向進行的實際量測結果。

當3D相機在游標倒向中獲得遙控器與電視框體的距離(例如深度)時，影像感測器亦擷取攝像影像。透過上述影像，遙控器將傳送攝像影像之四個角落位置的像素座標至電視遙控支援模組。

於某些實施例中，電視遙控器支援模組中的游標導航模組搜尋查表，藉由與電視間的距離推得電視框架的一參考尺寸。如圖17所示，查表將依據距離的不同而對應不同表格。

然而於某些實施例中，由於遙控器與電視螢幕110之間形成各種水平角度或鉛直角度，因此遙控器的影像感測器所擷取的電視框體畫面並非標 準的矩形。請參閱圖18與圖19，圖18為遙控器與電視螢幕110形成各種水平角度之示意圖，圖19為遙控器與電視螢幕110形成各種鉛直角度之示意圖。如圖18與圖19所示，遙控器100a-j所拍攝的各種擷取影像1804a-e以及1900a-e。值得一提的是，在圖18中的電視長度1802是不變量，而在圖19中的電視寬度1902是不變量。

游標導航模組利用水平角度與鉛直角度皆為零時所測得的尺寸，比較圖20A至20D中影像的各邊邊長，並藉由比較的結果回推遙控器的角度與方向。接著，游標導航模組搜尋最相近的參考尺寸，而此參考尺寸將被傳送至遙控器，用以協助遙控器判斷影像中的電視框體，如圖4E所示。

然而，在某些例子中，假如遙控器的位置與方向被明顯的改變，則參考尺寸可能不準確。若遙控器無法順利分段電視框體影像，則遙控器傳送一要求至電視遙控器支援模組，用以使電視重新顯示一攝像影像，如前述藍色螢幕以修正參考尺寸。

處理Z角度

Z角度的改變來自影像感測器垂直於電視螢幕的旋轉。Z角度的改變可用來執行電視指令或是電視音量控制。一般而言，Z角度的改變並不運用於游標導航，因為這對游標位置的變化而言毫無必要。因此若Z角度的改變量已大於閥值，例如10、15、20、25、30、35、40、45、50、55、60或甚至大於60度，則游標導航模組將游標圖示改變為使用者自訂的非游標圖示。

然而，若Z角度改變小於閥值，則游標導航計算擷取電視框體影像的質心，且在交互比例計算時，將虛擬電視框體的Z角度視為等於零。請參 閱圖21，可藉由X軸與電視框體之擷取影像的較長側邊的正切值，進行Z角度的估算。圖21為擷取影像2100之示意圖，其中擷取影像2100包括一相機中心位置2104與標有Z角度2106的電視框體2102。

同時操作粗略-精確模式的游標指令產生

請參閱圖22，圖22繪製在X-Y平面上同時粗略-精確模式的輸入產生。如上文所述，藉由將像素平面投影映對至電視框體平面的交互比例，可獲取電視螢幕座標中的游標的絕對位置。圍繞於當前游標位置2202的使用者自訂局部映對區域2200，用以進行觸碰板104之精確控制。游標可藉由局部映對區域2200連續移動，而當游標2202移動時，局部映對區域亦同步跟隨游標的軌跡移動。

使用者移動遙控器100以進行導航游標2202，而局部映對區域2200則為游標指向的粗略控制。接著，使用手指觸碰或拖曳觸碰板106使游標2202以進行精確控制。執行精確控制時，使用者可以透過局部映對區域2200將游標220移動至任何位置。圖23A顯示遙控器100進行粗略游標控制，而圖23B則顯示利用觸碰板106繼續進行精確游標控制。

此概念亦適用於其他粗略輸入控制裝置，例如遙控器中的慣性感測器。搭配觸碰板，迴轉感測器或加速度感測器亦適用於游標指向的粗略控制，而觸碰板106則提供游標指向的精確控制。小型軌跡球、小型搖桿或是其他具有類斯功能的裝置皆可取代觸碰板106達到同時粗略-精確的控制方法。

回到圖24A至24C，局部映對區域2200的尺寸可依據電視110與遙控 器100之間的距離而定。若距離越遠，則游標控制的精準度需要越低。

圖25A至25D顯示三個可供使用者選擇的游標控制模式，其提供(i)只有數位板的相對游標指向，(ii)同時粗略/精確的游標控制，(iii)只有遙控器之影像感測器資料粗略控制。

圖26A至26D顯示如何避免轉換粗略與精確控制而產生不順暢的游標導航。如圖26A所示，剛結束拖曳動作且游標2202位於局部映對區域2200的左上角。當使用者欲透過遙控器100的移動進行游標導航時，如圖26B與圖26C所示，游標2202將停留於相同的位置。當遙控器100的位移停止或小於移動閥值，則使用者可重新在觸碰板進行手指拖曳，使精確游標控制初始化。

電視與遙控器之間相距極短距離時的游標導航

假若電視與遙控器之間相距極短距離時，影像感測器可能無法擷取完整電視框體，而無法偵測電視螢幕框體的四個角落。於此例中，遙控器之韌體將影像感測器之游標導航自動切換為觸碰板之游標導航，並且傳送「過於接近電視」的訊號至主機的電視遙控器支援模組。主機的電視程式將顯示注意訊息以告知使用者距離問題，以及在此情況下數位板的游標導航的可用性。

3D輸入模式

圖27A至27D顯示額外兩個自由角度(DOF)由遙控器100產生輸入指令。請參閱圖27A與圖27B，遙控器100包括Z軸的轉換指令。請參閱圖27C與圖27D，遙控器100包括Z軸的旋轉指令。電視遙控器支援模組可 用以改變擷取電視框體物件2710a-2710b的尺寸，藉以產生放大/縮小指令。Z角度改變的計算已於上文中提及，且適用於使用者特殊指令，例如控制音量大小。

當3D圖像應用被使用時，使用者在3D環境中移動3D游標以選擇3D物件。舉例來說，如圖28A所示，使用者以前後方向移動遙控器100則產生粗略控制指令，和/或使用者以左右方向移動遙控器100則產生3D游標的X轉換指令。手指觸碰訊號亦被用以產生3D游標的精確控制，其中使用者自訂的局部映對區域2200則位於X-Z平面。

如圖28b所示，使用者亦可移動遙控器100產生3D游標的Y轉換指令或Z轉換指令以進行粗略控制指令。再者，手指觸碰訊號可以產生精確控制，其中使用者自訂映對區域22000位於Y-Z平面中。

自由空間中的手勢輸入模式

於某些實施例中，使用者在接觸觸碰板106的狀態下，於自由空間中透過移動遙控器100產生2D或3D手勢輸入。如上文所述，如圖1之按鍵被裝設於遙控器之本體，用以切換三種控制模式：2D游標模式、移動遙控器本體的手勢模式，以及多指手勢模式。

如圖29A與29B顯示自由空間中的2D手勢輸入之示意圖。在手勢模式中，假若使用者接觸到觸碰板106之表面，將顯示泡泡圖示2900。當使用者在自由空間中依序移動遙控器，泡泡軌跡將被顯示於電視顯示器。電視中的手勢辨識應用程式用以辨識單一行程字元2902，例如單獨的阿拉伯數字。若手勢辨識系統成功辨識字元，則程式將顯示純色軌跡2904，用以 告知使用者此為成功結果。手勢輸入特徵亦可被延伸至3D手勢。如圖30A與圖30B顯示如何藉由3D空間中的遙控器100在X-Z平面移動，進而產生3D的泡泡軌跡3000、3002。

多指輸入模式

於多指輸入模式之某些實施例中，觸碰板資料被視為唯一的輸入指令。為了避免因為遙控器本體的搖晃而導致非預期和/或不受歡迎的輸入，影像感測器資料將被忽略為不作為條件。

圖31A至31C繪製藉由手指3100在觸碰板106之表面形成複數個雙指觸控，並由此產生額外四個DOF輸入指令。然而，有些使用者可能會想同時使用數位板的多指觸碰手勢與移動遙控器的本體，因此韌體與主機的電視程式允許使用者可選擇使用兩種輸入資料。圖32顯示同時結合影像感測器與觸碰板以產生螺旋輸入指令3200。

如圖32顯示使用者以前後方向移動遙控器則產生一粗略Z轉換指令。同時，使用者可以藉由觸碰板106上的手指手勢產生一Z軸旋轉指令。結合上述兩種手勢，並且將環形軌跡轉換為3D圖像環境中的3D旋轉指令，遙控器100中的韌體以及主機中的電視介面軟體產生Z軸旋轉指令。

以上所述僅為本發明之較佳實施例，並非用以限定本發明之申請專利範圍，因此凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含於本案之申請專利範圍內。

100‧‧‧遙控器

1000‧‧‧電視框體

102‧‧‧影像感測器

1002‧‧‧角落

104‧‧‧觸碰板

1004‧‧‧虛擬標記

106‧‧‧按鍵

1100‧‧‧虛擬標記

110‧‧‧網路電視

1110‧‧‧虛擬標記

112‧‧‧無線通訊裝置

1302‧‧‧電視框體

114‧‧‧無線通訊裝置

1304‧‧‧相機中心

200‧‧‧微處理器

1306‧‧‧虛擬標記

300‧‧‧韌體

1310‧‧‧電視螢幕

302‧‧‧遙控器支援模組

1312‧‧‧游標

304‧‧‧電視操作系統

1600‧‧‧像素平面

306‧‧‧無線通訊驅動器

1602‧‧‧相機中心

308‧‧‧USB數位板驅動器

1610‧‧‧游標

310‧‧‧游標指向模組

1802‧‧‧電視長度

312‧‧‧交互比例模組

1902‧‧‧電視寬度

314‧‧‧相機中心位置映對模組

2100‧‧‧影像

316‧‧‧虛擬游標映對模組

2102‧‧‧電視框體

320‧‧‧游標導航模組

2104‧‧‧相機中心位置

400‧‧‧電視

2106‧‧‧Z角度

402‧‧‧牆面

2200‧‧‧局部映對區域

404‧‧‧嵌壁

2202‧‧‧游標

406‧‧‧人物

2900‧‧‧泡泡圖示

408‧‧‧演講台

2902‧‧‧單一行程字元

410‧‧‧純色螢幕

2904‧‧‧純色軌跡

420‧‧‧電視螢幕

3000‧‧‧泡泡軌跡

422‧‧‧物件

3002‧‧‧泡泡軌跡

430‧‧‧物件

3100‧‧‧手指

432‧‧‧物件

3200‧‧‧螺旋輸入指令

440‧‧‧影像

100a-100j‧‧‧遙控器

450‧‧‧角落

1804a-1804e‧‧‧擷取影像

700‧‧‧投影中心

1900a-1900e‧‧‧擷取影像

704‧‧‧鏡象平面

2710a-2710d‧‧‧電視框體物件

710‧‧‧參考平面

C‧‧‧相機中心

712‧‧‧游標

m1-m5‧‧‧標記

900‧‧‧電視螢幕

P1-P5‧‧‧電視螢幕座標

902‧‧‧Y軸

p1-p5‧‧‧相機像素座標

904‧‧‧X軸

x1-x4‧‧‧四條直線上的點

906‧‧‧第五點

X1-X4‧‧‧四條直線上的點

908‧‧‧虛擬標記

o‧‧‧一點

714‧‧‧電視螢幕座標

1622‧‧‧真實游標

600‧‧‧光學中心

604‧‧‧電視螢幕

602‧‧‧相機透鏡

800‧‧‧電視影像

圖1：係為遙控器與網路電視之立體圖。

圖2：係為遙控器之韌體之方塊圖。

圖3：係為遙控器韌體與網路電視之遙控器支持模組方塊圖。

圖4A至4F：係為偵測邊緣、分段與辨識角落過程之示意圖。

圖5：係為四線交叉於二平面之二維示意圖。

圖6：係為一線穿越二平面之三維示意圖。

圖7：係為相機中心位置投影轉換與映對至游標之示意圖。

圖8A與8B：係為電視螢幕座標與相機像素座標之交互比例的不變量之示意圖。

圖9：係為具有虛擬標記映對於電視座標之像素座標之示意圖。

圖10：係為虛擬標記之三點共線而產生計算溢位之示意圖。

圖11A與11B：係為顯示器螢幕上的虛擬標記以及三點共線之擷取圖形影像之示意圖。

圖12A至12D：係為虛擬標記位置基於游標所在象限之示意圖。

圖13A至13D：係為包含成功執行交互比例計算之游標產生過程示意圖。

圖14：係為遙控器、網路點是與虛擬電視框體之立體圖。

圖15：係為電視框體之擷取影像以及虛擬電視框體之示意圖。

圖16A：係為擷取影像與透過虛擬電視框體對準電視之代表圖。

圖16B至16B D：係為計算游標位置之步驟示意圖。

圖17：係為查表示意圖。

圖18：係為依據不同水平角度之遙控器擷取電視顯示器之圖形影像之前視 圖。

圖19：係為依據不同鉛直角度之遙控器擷取電視顯示器之圖形影像之側視圖。

圖20A至20D：係為於不同角度擷取之電視顯示器。

圖21：係為電視顯示器包括一Z角度之示意圖。

圖22：係為遙控器與具有粗略-精確控制特徵之遙控器所應用之電視顯示器之立體圖。

圖23A：係為顯示器螢幕上之局部映對區域之轉換示意圖。

圖23B：係為顯示器螢幕上之局部映對區域之游標移動示意圖。

圖24A至24C：係為相距電視不同距離之遙控器與其局部映對區域之尺寸之立體圖。

圖25A至25C：係為三個獨立游標控制模式之示意圖。

圖26A至26D：係為避免游標導航不順暢之過程示意圖。

圖27A與27B：係為Z軸移動而得額外一自由角度輸入手勢與其顯示影像示意圖。

圖27C與27D：係為Z軸旋轉而得額外一自由角度輸入手勢與其顯示影像示意圖。

圖28A與28B：係為三維中產生游標移動之示意圖。

圖29A至29C：係為開放空間中二維手勢之示意圖。

圖30A至30B：係為開放空間中三維手勢之示意圖。

圖31A至31C：係為多指觸碰板之多扺觸碰手勢之示意圖。

圖32：係為透過影像感測器與觸碰板之三維手勢之示意圖。

700‧‧‧投影中心

704‧‧‧鏡象平面

710‧‧‧參考平面

712‧‧‧游標

P1-P5‧‧‧電視螢幕座標

p1-p5‧‧‧相機像素座標

714‧‧‧電視螢幕座標

Claims (20)

1. 一種利用具有一影像感測器之一遙控器產生一電視輸入指令之方法，其中該方法包括下列步驟：該遙控器之該影像感測器擷取一電視顯示器螢幕之一圖形影像，並透過該遙控器識別該電視顯示器螢幕之複數角落；藉由該電視顯示器螢幕之一電視參考尺寸進行該圖形影像之邊緣偵測與分段，以識別該圖形影像中該電視顯示器螢幕之四角落之該像素座標；透過該電視之一遙控器支援模組與一交互比例演算法，將位於該像素座標中之一相機中心位置映對至一虛擬電視座標；以及透過該遙控器支援模組，將該虛擬電視座標中的一游標之一位置映對至該電視顯示器螢幕之該座標。
2. 如申請專利範圍第1項所述之方法，其中更包括步驟：透過一查表識別該電視參考尺寸之對應資料。
3. 如申請專利範圍第2項所述之方法，其中該查表包括於三維位置與方向中，該電視參考尺寸與該控制器至該電視顯示器螢幕之距離之對應關係。
4. 如申請專利範圍第1項所述之方法，其中更包括步驟：傳送該電視顯示器螢幕之該圖形影像中該四角落之深度資料以及該像素座標至該電視之該遙控器支援模組。
5. 如申請專利範圍第1項所述之方法，其中更包括步驟：識別位於該圖形影像中一電視顯示器螢幕之該相機中心位置所處之象限；計算一虛擬標記位置，用以避免於該交互比例演算法中出現共線定位情形；以及 將虛擬標記位置用於該交互比例演算法中。
6. 如申請專利範圍第1項所述之方法，其中更包括步驟：識別該遙控器與該電視顯示器螢幕之該距離是否超過一預設距離；於該圖形影像之該電視顯示器螢幕之一重心周圍定義出一虛擬電視框架；藉由該虛擬電視框架計算該虛擬標記位置；以及將該虛擬標記位置用於該交互比例演算法中。
7. 如申請專利範圍第1項所述之方法，其中更包括步驟：產生一游標導航指令並於該電視顯示器螢幕中顯示該游標。
8. 如申請專利範圍第1項所述之方法，其中更包括步驟：重複進行該圖形影像之邊緣偵測與分段並將該虛擬電視座標中的一游標之一位置映對至該電視顯示器螢幕之座標。
9. 如申請專利範圍第8項所述之方法，其中更包括步驟：當一Z角度之變化量大於一預設數值時，停止重複進行該圖形影像之邊緣偵測與分段以及將該虛擬電視座標中的一游標之一位置映對至該電視顯示器螢幕之座標。
10. 如申請專利範圍第1項所述之方法，其中更包括步驟：於該電視顯示器螢幕之該游標位置周圍定義一局部映對區域；以及基於該遙控器之一觸碰板之輸入資料於該局部映對區域中移動該游標位置。
11. 如申請專利範圍第10項所述之方法，其中更包括步驟：當影像感測器資料使該局部映對區域改變時，保持該游標於該局部映對區域中的相對位置。
12. 如申請專利範圍第10項所述之方法，其中更包括步驟：依據該遙控器與該電視顯示器螢幕之距離變化，更改該局部映對區域之 尺寸。
13. 如申請專利範圍第1項所述之方法，其中更包括步驟：藉由該遙控器之一觸碰板的輸入資料修改該游標於該電視座標中的位置。
14. 如申請專利範圍第1項所述之方法，其中更包括步驟：辨別藉由移動該控制器所產生的自由空間手勢。
15. 如申請專利範圍第1項所述之方法，其中更包括步驟：自該搖控器輸入模式切換至僅利用該遙控器之觸碰板而不使用來自該影像感測器之資料之一模式。
16. 一種遙控器，包括：一影像感測器，用於擷取圖形影像以及感測空間深度；一多點觸碰板；以及一微處理器，基於其中一複數輸入模式處理來自該影像感測器或該多點觸碰板之資料；其中於該至少一輸入模式中，該微處理器辨識由該遙控器之該影像感測器所擷取之一圖形影像中一電視顯示器螢幕之複數角落位置，並藉由該電視顯示器螢幕之一電視參考尺寸進行該圖形影像之邊緣偵測與分段，以識別該圖形影像中該電視顯示器螢幕之四角落之該像素座標。
17. 如申請專利範圍第16項所述之遙控器，其中於該至少一輸入模式中，該微處理器更識別位於該圖形影像中一電視顯示器螢幕之該相機中心位置所處之象限，並計算一虛擬標記位置以避免於該交互比例演算法中出現共線定位情形。
18. 如申請專利範圍第16項所述之遙控器，其中於一多點觸碰模式中，該微處理器僅處理來自該多點觸碰板之資料。
19. 一種用於電視之遙控器輸入系統，包括： 一遙控器，包括：一影像感測器，用於擷取圖形影像以及感測空間深度；一多點觸碰板；以及一微處理器，用於辨識由該遙控器之該影像感測器所擷取之一圖形影像中一電視顯示器螢幕之複數角落位置，並藉由該電視顯示器螢幕之一電視參考尺寸進行該圖形影像之邊緣偵測與分段，以識別該圖形影像中該電視顯示器螢幕之四角落之該像素座標；以及一遙控器支援模組，基於一交互比例演算法將位於該像素座標中之一相機中心位置映對至一虛擬電視座標，並將該虛擬電視座標中的一游標之一位置映對至該電視顯示器螢幕之該座標。
20. 如申請專利範圍第19項所述之遙控器輸入系統，其中該微處理器更識別位於該圖形影像中一電視顯示器螢幕之該相機中心位置所處之象限，並計算一虛擬標記位置以避免於該交互比例演算法中出現共線定位情形。