TWI297866B - Method for triggering input commands of a program run on a computing system, computer-readable recording medium, computing system, input device for interfacing with a computing device, and input object used as an input device for a computing device - Google Patents

Description

1297866 (1) 玖、發明說明 【發明所屬之技術領域】 本發明係大致有關電腦系統之姿態輸入（gesture i n p u t )，尤係有關以視覺方式追蹤一可變形的g g jit 中該變形在該電腦系統的一部分上觸發一動作。 【先前技術】 相關人士對尋找電腦系統輸入裝置的替代方式有很大 的興趣。視覺姿態輸入裝置正愈來愈普及。〜般而言，姿 態輸入意指使諸如一電腦系統、電視遊戲機、或智慧型電 子裝置等的一電子裝置對一追蹤一物體的視頻攝像機所捕 獲的某些姿態起反應。 利用數位視頻攝像機來追蹤移動中的物體並處理視頻 影像以便產生各種顯示畫面已是此項技術中所習知的。例 如，由 Segen所發明的美國專利 6,072,504 揭示了用 來產生運動比比賽的動畫視訊之一項此種應用。根據該系 統，係利用複數個視頻攝像機追蹤一個在比賽時的網球之 位置，且採用使球場中的各三維點與該等視頻攝像機的視 場內的各數位影像之各二維點（亦即像素）相關之一組方 程式。可利用來自各別視頻影像的三角測量，使一特定數 位影像中決定的網球之各像素位置與移動中的網球之一特 定三維位置相關，且以最小平方法來分析一系列的影格， 以便將網球的該等位置適配到用來描述該網球移動的各連 續區段之軌跡方程式。 -4 - 1297866 (2) 如 S egen的專利所詳細說明的，—旦決定了 一物體 的位置及移動之三維描述之後，即可使用此項技術中習知 的各種方法，以便利用一在一電視遊戲環境中產生適當的 物體移動的動畫之程式來產生該物體的一動晝。亦即， Se gen的專利係與利用在一時點上捕獲的複數個二維視頻 影像來決定一移動中的物體之三維位置有關。一旦知道了 “實際”物體的三維位置之後，則可以遊戲程式設計師一 般都知道的任何一種不同之方式而利用該資訊來控制一遊 戲程式。 然而，Segen專利的系統有賴於複數個視頻攝像機， 以便根據三角測量法而產生與物體有關的位置資訊。此 外，在 Segen專利中被偵測的物體是不需要與該物體在 空間中的方位（例如傾角）有關的資訊之一簡單球體。因 此，Segen專利的系統無法利用一單一的視頻攝像機而以 二維視頻影像來重建一物體的位置及方位（不論該物體是 在移動中或是靜止的，都是如此）。 在遊戲程式中利用一些三維幾何形狀的組合來形成虛 擬物體是很常見的，其中在執行一遊戲程式诗，係以利用 諸如一搖桿、遊戲控制器、或其他輸入裝置等的一輸入裝 置輸入的若千輸入參數來決定該等物體間之相對三維描 述。然後將該等虛擬物體的該三維位置及方位投射到一個 二維顯示畫面（具有背景、光影（lighting )、陰影 (s h a d i n g )、材質（t e X t u r e )等的要素），以便利用遊 戲機的著色貼圖處理器（rendering processor)功能來產 -5- (3) 1297866 生三維透視圖或著色貼圖。 舉例而言，可以有用來構成一遊戲顯示畫面中對應於 在“實際”物體附近移動的方式的一移動影像之“虛擬 物體”。爲了要顯示該虛擬物體，將所計算出的三維資訊 用來確定遊戲機的記憶體空間中之“虛擬物體”的位置 及方位，然後以習知的處理程序來執行該影像的著色貼 圖，以便將該三維資訊轉換爲一實際的透視顯示畫面。 然而，儘管有上述的知識及技術，但是一些問題繼續 阻礙了成功的物體追蹤，而一個尤其困難的問題是只精確 地提取一視頻影像中明確地對應於一相關物體的那些像 素。例如，雖然可較易於完成其色彩與另一色彩的背景有 明顯對比之物體（該物體的色彩與背景的色彩極爲不同） 的移動，但是在多種色彩或非靜態背景的情形中，縱使追 蹤有明亮色彩的物體也是不容易的。光影的變化也會嚴重 地影響視頻攝像機所感測的該物體之外觀色彩，因而當光 影狀況改變時，有賴於偵測一特定色彩的物體之各物體追 縱方法非常易於發生錯誤，或者需要持續地進行重新校 準。電視遊戲程式的典型家用環境需要比傳統物體追蹤電 腦視覺系統大許多的使用彈性及可靠性。 因此，在家用環境下，必須能夠以一單一較便宜的視 頻攝像追蹤一替代性的輸入裝置，以便使該輸入裝置能被 廣爲接受。此外，該替代性的輸入裝置必須是便於使用。 有一種穿戴在使用者手上的手套包含可由一攝像機追蹤以 捕獲輸入的若千感測器，雖然已試用過此種手套，但是使 -6- (4) 1297866 用者尙未欣然接受此種手套。不熱中於手套的一個理由是 必須不斷脫下及戴上手套所帶來的不方便。 因此，目前需要解決先前技術的問題，而提供一種可 由一單一視頻攝像機追蹤的輸入裝置，其中使用者便於使 用該輸入裝置。 【發明內容】 廣義而言，本發明由於提供了一種方法及系統而滿足 了上述的這些需求，該系統及方法提供了一種可由一單一 視頻攝像機追蹤的被動式輸入裝置。我們當了解，可以其 中包括一程序、一系統、或一裝置的多種方式來實施本發 明。下文中將說明本發明的數個創新之實施例。 在一實施例中，提供了一種觸發在一運算系統中執行 的一程式的輸入命令之方法。該方法開始時係監視一捕獲 裝置之前的一視場。然後識別該視場內的一輸入物體。分 析所偵測的該輸入物體是否有形狀上的改變。然後偵測到 該輸入物體的改變。然後，在該運算系統上執行的該程式 中觸發一輸入命令。該觸發是所偵測到的該輸入物體的改 變之結果。 在另一實施例中，提供了一種輸入偵測程式。係在一 運算裝置中執行該輸入偵測程式，且該輸入偵測程式具有 用來決定何時要觸發一 ΐ程式的輸入命令之程式指令。該 輸入偵測程式包含用來監視在一捕獲裝置之前的一視場之 程式指令。該捕獲裝置將資料提供給該輸入偵測程式。且 >7-

I 1297866 (5) 包含了用來識別該視場內的一輸入物體之程式指令。也包 含了用來偵測該輸入物體的實體改變之程式指令、及用來 觸發在該運算裝置上執行的該主程式中之一輸入命令之程 式指令，其中該觸發是所偵測到的該輸入物體的實體改變 之結果。 在又一實施例中，提供了 一種運算系統。該運算系統 具有一輸入偵測系統。該輸入偵測系統決定何時要觸發經 由該運算系統而執行的一主程式的輸入命令。該運算系統 包含一捕獲裝置。且包含了用來監視在該捕獲裝置之前的 一視場之電路、以及用來識別該視場內的一輸入物體之電 路。又包含了用來偵測該輸入物體的實體改變之電路、以 及用來觸發經由該運算系統而執行的該主程式中之一輸入 命令之電路。該觸發是所偵測到的該輸入物體的實體改變 之結果。 在又一實施例中，提供了 一種運算系統。該運算系統 具有一輸入偵測系統。該輸入偵測系統決定何時要觸發經 由該運算系統而執行的一主程式的輸入命令。該運算系統 包含用來捕獲影像資料之裝置、以及用來監視在該捕獲裝 置之前的一視場之裝置。也包含了用來識別該視場內的一 輸入物體之裝置、以及用來偵測該輸入物體的實體改變之 裝置。也包含了用來觸發經由該運算系統而執行的該主程 式中之一輸入命令之裝置，其中該觸發是所偵測到的該輸 入物體的實體改變之結果。 若參照下文中之詳細說明，並配合用來舉例解說本發 冬 (6) 1297866 明原理的各附圖，將可易於了解本發明的其他觀點及優 點。 【實施方式】 本發明揭示了一種可變形的輸入裝置，其中係由一視 頻攝像機捕獲該變形，而觸發一事件。在下文的說明中， 述及了許多特定的細節，以便使本發明可徹底被了解。然 而，熟習此項技術者當可了解，可在無須這些特定細節的 全部或部分之情形下實施本發明。在其他的情形中，並不 詳細說明習知的程序步驟，以便不會非必要地模糊了本發 明。 本發明的該等實施例提供了一種當在一視頻攝像機的 視場中時可變形的使用者輸入裝置。該視頻攝像機捕獲諸 如該輸入裝置寬高比等的該變形，並開始可在一監視器上 顯示的一事件或動作。例如，該輸入裝置的變形可告知一 滑鼠進行點選，以便開啓一個人電腦的一檔案或視窗，抓 取、拖曳、或操縱一電腦遊戲的一影像，或者甚至起動一 智慧型裝置。我們當了解，該輸入裝置是一被動式裝置， 亦即，該輸入裝置是一可被一外力變形的物體。因此，該 輸入裝置並不產生會被傳送到一接收器的任何主動信號。 如本文所述的各實施例所闡釋的，該使用者輸入裝置可讓 人得到與滑鼠按鍵點選有關的且使用者便於使用的經驗。 圖 1是根據本發明一實施例而可追蹤一使用者輸入 裝置的一整體系統組態之一高階示意圖。在此處，施加壓 -9 - (7) 1297866 力，將上端及下端擠壓在一起，使用者輸入裝置（3 00 ) 即可改變其寬高比。在一實施例中，該改變是數位視頻攝 像機（1 90 )所捕獲的寬高比。數位視頻攝像機（I 90 )係 連接到電視遊戲機（6 〇 )。在一實施例中，該事件是在諸 如一遊戲機等的一運算系統上執行的一主程式之一輸入命 令。電視遊戲機（6 0 )係連接到監視( 8 0 )。因此，使 用者輸入裝置的寬高比之改變觸發了可讓一使用者操縱監 視器（8 0 )上的一影像之一事件。我們當了解，當該使用 者輸入裝置在 X、y、或 z平面中移動時，該使用者輸 入裝置即被追蹤。在這些平面中之移動可進行類似於一滑 鼠的按鍵點選及拖曳之功能。亦即，藉由擠壓使用者輸入 裝置（3 00 )以改變一寬高比，並移動該輸入裝置且使該 輸入裝置變形，一使用者即可移動或操縱該顯示監視器上 的一影像。雖然圖中示出一電視遊戲機，但是本文所述之 該等實施例亦可應用於個人電腦或諸如電視機、數位影音 光碟（Digital Video Disc ;簡稱 DVD )播放器、及智慧 型裝置等其他的消費性電子裝置。 仍然請參閱圖 1，在一實施例中，使用者輸入裝置 (3 0 0 )可以是可置於使用者的手掌中之一可變形的半圓 柱體。可以利用可經由施加壓力而而變形且在釋放壓力後 即回復到原始形狀的任何材料構成使用者輸入裝置 (3 0 0 )。一使用者可在視頻攝像機（3 00 )的視場內放置 —輸入裝置，該輸入裝置可以是被連接到諸如由 S〇ny Computer E n t e r t a i n m e n t I n c ·所製造的 “ P1 a y s t a t i ο η 2 ·，® -10 - (8) 1297866 等的遊戲機（6 Ο )之輸入/輸出j；阜。當該彳吏用 輸入裝置（3 0 0 )移到攝像機（3 〇 〇 )的視場內 (3 0 0 )即拾取該使用者輸入裝置的諸如尺寸 色彩等的實體特性。然後執行處理，以便隔離 應於該使用者輸入裝置的一像素組。計算該匱| 描述，而該三維描述包括該圓柱體在三維空間 方位，且對應地將該描述儲存在遊戲機（60 ) 體中。因此，使用此項技術中習知的著色貼圖 將對該物體的三維描述用來促成一遊戲程式中 (8 0 )的顯不營幕上顯不之一動作。例如，1 (8 0 )上的一物體對應於使用者輸入裝置（ 動，而移動通過該遊戲的整個畫面。當該使用 者輸入裝置（300)的位置及方位，且寬高比丨 偵測到時，即持續地更新記憶體中的該物體之 以及影像記憶體的著色貼圖區中之該物體之對 圖，以便也改變監視器（80 )上的該物體之位 因此，一使用者將一力施加到一被動式輸入裝 一視覺觸發器將產生一動作，例如產生由與一 關聯的一主程式執行之一輸入命令。 圖 2是適於配合一用來作爲根據本發明 替代性輸入裝置的被操縱之物體而使用的一電 各組件組態之一方塊圖。遊戲機（6 0 )構成根 一整體娛樂系統（1 1 0 )之一組件，而如圖2 整體娱樂系統（1 1 0 )配備有·· 一多處 者將使用者 時，攝像機 、形狀、及 並區分只對 柱體的三維 中之位置及 的一主記憶 技術時，可 將在監視器 可使監視器 3 0 0 )的移 者改變使用 的改變已被 三維描述、 應的著色貼 置及方位。 置而造成的 運算系統相 ~實施例的 視遊戲機的 據本發明的 所示，該 理器單元 -11 - (9) 1297866 (M u 11 i Ρ ι· o c e s s ο l. U n i t ;簡稱 Μ P U ) (112)，用以控制 整體系統（Π 0 );用於各種程式作業及資料儲存的主記 憶體（1 1 4 ) •，向量計算單元（1 1 6 )，用以執行幾何處理 所需的浮點向量計算；影像處理器（1 2 0 )，用以根據來 自 Μ P U ( 1 1 2 )的控制命令而產生資料，並將視頻信號輸 出到監視器（80 )(例如一 CRT ); —圖形介面 (Graphics In terFace;簡稱 GIF) (122)，用以執行 MPU ( 112)或向量計算單元（Π6)與影像處理器 (1 2 0 )之間且係經由一傳輸匯流排的斡旋等作業；輸入 /輸出埠（1 2 4 )，用以協助自各周邊裝置接收資料，並 將資料傳送到各周邊裝置；由諸如一快閃記憶體構成之內 部 OSD功能 ROM(OSDROM) (126)，用以執行對 一核心等的單元之控制；以及具有日曆及計時器功能之即 時鐘（1 2 8 )。 主記憶體（1 1 4 )、向量計算單元（1 1 6 )、 GIF (122 ) 、 OSDROM ( 126 )、即時鐘（RTC ) ( 128 )、 及輸入/輸出埠（1 2 4 )係經由資料匯流排（1 3 0 )而連接 到 Μ P U ( 1 1 2 )。影像處理單元（1 3 8 )亦係連接到匯流 排（1 3 0 )，而影像處理單元（1 3 8 )是一用來擴展被壓縮 的移動影像及材質影像因而產生影像資料之處理器。例 如，影像處理單元（I38 )可服務根據 MPEG2或 MPEG4標準格式而解碼並產生位元流、大區塊 (macroblock)解碼、執行反離散餘弦函數變換、色彩空 間轉換、及向量量化等的功能° -12 - (10) 1297866 一聲音洗統係由下列組件所構成：聲音處理單元 (SPU ) 171 )，用以根據來自 MPU ( 1 12 )的指令而產 生音樂或其他的音效；聲音緩衝器（173 )，而 SPU (1 7 1 )可將波形資料記錄到聲音緩衝器（1 7 3 )中；以及 喇叭（175 )，用以輸出 SPU ( 171 )所產生的音樂或其 他音效。我們當了解，可將喇叭（1 75 )合倂成爲監視器 (8 0 )的一部分，或者可以連接到外部喇叭（1 7 5 )的一 獨立聲音線路輸出連接裝置之方式提供該喇叭。 也設有被連接到匯流排（1 3 0 )之通訊介面（1 40 )， 通訊介面（1 4 0 )是一具有數位資料的輸入/輸出及根據 本發明的數位內容的輸入之功能之介面。例如，可將使用 者輸入資料經由通訊介面（1 4 0 )傳送到一網路上的一伺 服器端，並自該伺服器端接收狀態資料，以便調和獻上電 視遊戲應用。用來輸入與整體娛樂系統（1 1 0 )有關的資 料（例如關鍵性輸入資料或座標資料）之輸入裝置 (1 3 2 )(或被稱爲控制器）以及用來再生諸如儲存各種 程式及資料（亦即與物體有關的資料及材質資料等的資 料）的 CR-ROM 等的光碟（70)內容之光碟裝置 (1 3 6 )係連接到輸入/輸出埠（1 24 )。 作爲輸入裝置的進一步延伸或替代物，本發明包含數 位視頻攝像機（1 90 )，而數位視頻攝像機（1 90 )係連接 到輸入/輸出埠（1 2 4 )。可將輸入/輸出埠（1 2 4 )實施 爲其中包括串列及 USB介面之一種或多種輸入介面，其 中數位視頻攝像機（]9 0 )可有利地利用 U S B輸入或適 -13- (11) 1297866 於配合攝像機（3 Ο Ο )柑使用的任何其他傳統之介面。 前文所述之影像處理器（1 2 0 )包含一著色貼圖引擎 (170 )、介面（172 )、影像記憶體（174 )、及一顯示 控制裝置（1 76 )(例如一可程式 CRT 控制器或類似之 控制裝置）。著色貼圖引擎（1 7〇 )經由記憶體介面 (1 72 )且根據自 MPU ( 1 1 2 )供應的著色貼圖命令，而 執行對影像記憶體中之預定影像資料進行著色貼圖之作 業。著色貼圖引擎（17〇 )具有即時對符合諸如 NTSC 或 PAL 標準的 3 2 0 x 24 0 像素或 640 x 4 80 像素的影 像資料進行著色貼圖之能力，更具體而言，係在大於在 ]/60秒至 1/30秒的每一時間間隔有十至數十次的一速 率下進行該著色貼圖。 匯流排（1 7 8 )係連接於記憶體介面（1 7 2 )與著色貼 圖引擎（1 7 0 )之間，且一第二匯流排（1 8 0 )係連接於記 憶體介面（1 72 )與影像記憶體（1 74 )之間。第一匯流排 (1 7 8 )及第二匯流排（1 8 0 )分別具有諸如 1 2 8位元的 一位元寬度，且著色貼圖引擎（1 70 )可執行與該影像記 憶體有關的高速著色貼圖處理。影像記憶體（1 74 )採用 一聯合記憶體結構 其中可在一相同的區域中設定諸如一材質著色貼圖區及一 顯示著色貼圖區。 顯示控制器（1 76 )之結構爲將經由光碟裝置（1 3 6 ) 自光碟（7 0 )擷取的材質資料或已在主記憶體（1] 4 )中 產生的材質資料經由記憶體介面（]7 2 )而寫到影像記憶 (12) 1297866 體（1 7 4 )之該材質著色貼圖區。經由記憶體介面（1 7 2 ) 讀出已在影像記憶體（1 7 4 )的顯示著色貼圖區中被著色 貼圖的影像資料，並將該影像資料輸出到監視器（8 0 )， 並在該監視器（8 0 )的螢幕上顯示該影像資料。 圖 3是根據本發明的一實施例而用來追蹤並區分與 使用者所操縱的使用者輸入裝置對應的一像素組的各功能 方塊之一方塊圖。我們當了解，係由遊戲機（6 0 )中之 Μ P U ( 1 1 2 )所執行的軟體實施該等方塊所示的功能。此 外，並非圖3中之該等方塊所示之所有功能都爲每一實 施例所使用。 開始時，自攝像機輸入的像素資料係經由輸入/輸出 埠介面（124 )而供應到遊戲機（60 )，而使下文所述的 程序在該遊戲機上執行。首先，當根據諸如組成影像的點 陣而對影像的每一像素抽樣時，即執行一色彩分割 (color segmentation)處理步驟（S201)，因而決定每一 像素的色彩，並將該影像分成不同色彩的許多二維區段。 然後，在某些實施例中，執行一色彩轉變局部化（ transition localization)步驟（S203)，因而更明確地決 定不同色彩的區段鄰接的各區域，因而界定了影像中發生 不同的色彩轉變之位置。然後，執行一幾何處理步驟 (S 2 0 5 )，該步驟取決於實施例而包含一邊緣偵測程序或 執行區域通統計資料的計算，以便因而以代數或幾何的方 式界定與相關物體的邊緣對應之直線、曲線、及（或）多 邊形。例如，在圖1所示的使用者_入裝置之情形中， -15- (13)

I Ϊ297866 ^ <象素區將包含與該使用者輸入裝置的一正交前視圖對應 % ~大致長方形之形狀。利用該長方形的代數或幾何描 ^，即可界定只與該物體對應的像素組之中心、寬度、長 度、及二維方位。 係根據以與本發明較佳實施例的後續說明相關聯的方 $描述之各演算法，而在步驟（S20 7 )中計算該物體的三 糸隹位置及方位。三維位置及方位的資料也在一處理步驟 (S209 )中接受 Kalman濾波，以便提昇效能。執行此 種處理，以便估計該物體在一時點上將來到何處，並拒斥 不可能的且因而被視爲在真實資料集之外的亂真量測値。 使用 Kalman濾波的另一個理由是攝像機（190 )係在 30赫（Hz)上產生影像，而典型的顯示器是在 60赫上 運作，因而 Kalman濾波塡補了用來控制遊戲程式中的 動作的資料中之空隙。經由 Kalman濾波而使離散資料 平滑化是電腦視覺領域中所習知的，因而將不進一步詳細 說明其中之情形。 圖 4 A是根據本發明一實施例的被配置成沿著 X、 Y方向而追蹤且可觸發將在一監視器上顯示的一事件的 一可變形之使用者輸入裝置之一示意圖。視頻攝像機 (190 )追蹤可變形的使用者輸入裝置（300 )。視頻攝像 機（190 )係連接到遊戲機（60 )，而遊戲機（60 )又係 連接到監視器（8 〇 )。在一實施例中，數位視頻攝像機 (1 9 0 )以前文所述之方式經由色彩而追蹤可變形的裝置 (3 0 0 )。亦即，當該使用者輸入裝置在攝像機（】9 0 )之 -16- (14) 1297866 視場中時，該使用者輸入裝置是一種可被追蹤之色彩。我 們將可了解，可變形的裝置（3 0 0 )在本質上是已被切成 一半的一圓柱體之一部分。亦即，可變形的裝置（3 00 ) 可根據一實施例而置入一手掌內。因此，當可變形的裝置 ( 3 0 0 )變形時，該可變形的裝置之寬高比改變，且數位 視頻攝像機（1 9 0 )捕獲該寬局比的改變。將所捕獲的該 寬高比之改變傳送到遊戲機（6 0 )，而遊戲機（6 0 )又使 得一事件被觸發，且在監視器（8 0 )上顯示該事件。例 如，可以類似於一滑鼠之方式使用可變形的裝置 (300)，以便可掌控並移動一物體或一視窗中之一物 件。 在一實施例中，可在點（3 02 )上抓取影像（3 04 )， 並視需要而拖曳或操縱影像（3 04 )。熟習此項技術者當 可了解，可執行任何數目的適當作業，其中可變形的裝置 ( 3 00 )可以如同一滑鼠之方式完成類似的功能。當然， 可將可變形的裝置（3 00 )用來進行一電視遊戲、或需要 類似滑鼠的功能之任何適當之互動式遊戲。在此處，可變 形的裝置（3 00 )的寬高比之改變等同於滑鼠按鍵的點 選，且自可變形的裝置之起始位置改變寬高比時，可拖曳 影像。因此，可將使用者輸入裝置用來玩一撲克牌遊戲。 熟習此項技術者當可了解，有許多可利用本文所述的類似 滑鼠的功能之應用。 圖 4 B是根據本發明一實施例而自前視之位置檢視 時的可變形的裝置的寬高比的改變之一示意簡圖。可變形 -17_ (15) 1297866 的裝置原先是在一放鬆的位置（3 0 0A )。當一使用者向 下擠壓該可變形的裝置時，寬高比改變而到一閉合的位置 (3 00B )。我們當了解，本文所述的輸入裝置將haptic/ 觸覺回授提供給一使用者，而該回授相當於一動作被觸 發。 圖 5 是根據本發明一實施例的一可變形的使用者輸 入裝置的一替代實施例之一示意圖。在此處，可變形的使 用者輸入裝置（3 1 〇 )可根據一使用者施加到該可變形的 裝置之力而存在於一放鬆狀態（3 1 0 A )或一擠壓狀態 (3 1 0B )。因此，可變形的裝置（3 ] 〇 )在此處之形式爲 一伸縮球。更一般性而言，本文所述之視覺追蹤系統可追 蹤任何類型的可變形球體。我們當了解，在該實施例中， 數位視頻攝像機（1 9 0 )所看到的可變形的裝置（3 1 0 )之 面積是保持不變的。因此，數位視頻攝像機（1 90 )除了 捕獲可變形的裝置（3 I 〇 )之 X及 Y平面的移動之 外，亦可捕獲 Z方向上的移動。可利用該 Z方向將諸 如檜案（3 (HB )等的一檔案向前或向後拉，亦即，沿著監 視器（8 0 )上所示的深度方向而拉動。此外，根據可變形 的裝置（3 1 0 )沿著 Z軸移動的方向，可使可變形的裝 置（3 1 0 )所抓取的顯示物體縮小或放大。例如，在一實 施例中，如果使可變形的裝置（3 1 0 )較接近攝像機 (1 90 )，則將使所顯示的物體放大，而如果使可變形的 裝置（3 1 0 )移動離開攝像機（1 90 )，則將使所顯示的物 體在監視器（8 0 )上縮小。熟習此項技術者當可了解，沿 -18 - (16) 1297866 著 X、Y、及ζ方向的移動之一組合可使所顯示的物體 改變其尺寸及位置。在此處，係將一角度 Θ 用來決定 沿著這三個維度空間之移動。熟習此項技術者當可了解， Θ 是沿著攝像機（1 9 〇 )的觀看平面之一角度。 仍然請參閱圖 5，該攝像機捕獲可變形的裝置 (3 1 0 )之位置。將該位置資訊傳送到遊戲機（6 0 )。遊 戲機（6 0 )以前文中參照圖1 - 3所述之方式處理該位 置資訊。當該可變形的裝置的寬高比或相對位置改變時， 該處理將該移動轉換爲在監視器（8 0 )上顯示的一物體。 我們當了解，在本發明的一實施例中，於該可變形的裝置 之寬高比改變時，可產生一音頻信號。此外，該可變形的 裝置中可包含一被動式按鈕按壓的信號。因此，縱使運算 系統並未感測到點選的雜訊，使用者仍將可感受到點選。 在一實施例中，係經由對影像中各像素之分析，而決 定 χ、y、Ζ、Θ、及擠壓參數。我們當了解，影像中的該 等像素是被追蹤的物體（亦即可變形的裝置）之一部分。 更具體而言，X與影像中的該等像素之水平質量中心成 正比。Y與影像中的該等像素之垂直質量中心成正比。γ 係與該等像素的面積或主二次矩（princjpal sec〇nd moment )的平方根成反比（產生不同的精確度/可靠性 特性）° Θ 對應於該主二次矩的旋轉角度。諸如擠壓量 (亦即以寬高比表示的變形量或改變量）等的擠壓參數係 與主一；人矩的平方根除以最小二次矩（m i n i m a 1 s e c ο n d moment )的平方根所得之數値成正比。可利用對該影像 -19 - (17) 1297866 的各點的單一次分析來計算每· 一上述的參數。因此，本文 所述之實施例是非常快速的，且比其他常用的衡量値對雜 訊（亦即視覺錯誤）較不敏感。 圖 6A 是前文中參照圖 4A、4B、及 5所述的可 變形的使用者輸入裝置的又一實施例之一示意簡圖。在此 處，可變形的裝置（ 320)包含連接起來的一上方部分及 〜下方部分，因而可施加一力而改變該上方部分與該下方 部分間之距離，而使這兩個部分接觸。因此，將將壓力施 加到可變形的裝置（3 2 0 )的兩端時，寬高比將會改變。 然而，可變形的裝置（3 2 0 )的面積保持不變，因此，攝 像機（1 9 0 )可追蹤該可變形的裝置在 X、γ、及 z平 面上的移動。如前文所述，可由可變形並回復到其原始形 狀的任何適當材料構成可變形的使用者輸入裝置 (3 2 0 ) ° 圖6B是可變形的裝置（3 20 )在一放鬆的位置 (3 2 0A )及一閉合的位置（32〇b )之一示意簡圖。熟習 此項技術者當可了解，如前文所述，攝像機（1 9 〇 )所偵 測的可變形的裝置（3 20 )之面積保持不變。亦即，放鬆 的位置（3 2 0 A )中的像素數目與閉合的位置（3 2 〇 b )中 的像素數目相同。因此，可在三維空間中追蹤該移動。 圖6 C是使用兩個可變形的裝置而非使用一個可變 t的I置日寸的_ 6A $ —替代實施例。在此處，一使用 者可將每一可變形的裝置（ 3 2 0A-!)及（ 3 2 0A-2)放在每 一手中。可將可變形的裝置（ 3 20A-U及（32〇A-2)用來 - 20- (18) 1297866 抓取或操縱監視器（8 〇 )上的一影像。裝置（3 2 〇 A .，i )及 (3 20A-2 )可對相同的影像或不同的影像進行操作。在一 貫施例中，攝像機（1 9 0 )可捕獲持有一個或兩個可變形 的裝置（3 2 0 )的一使用者之影像，因而可在監視器 (8 0 )上顯示持有一個或多個使用者輸入裝置（3 2 〇 )的 使用者之影像。 本文所述之該等實施例亦可使用反反射（retro-reflective ) 材料 。該 反反射 材料的 形式可 以是可 被施加 到可變形的裝置的一面（例如可變形的裝置（3 2 0 )面對 攝像機（1 9 0 )的前面部分）之膠帶、塗料、塑膠等的材 料。在此處，攝像機（1 9 〇 )將包含被導向一可變形的裝 置之光線。如一般所知道的，自反反射材料反射的光線將 被導向攝像機（1 9 0 )。該光源可以是任何可見光或不可 見光的波長。在一實施例中，該光源是一紅外線光源。 圖7是根據本發明一實施例而觸發在一運算系統上 執行的一程式的輸入命令的方法步驟之一流程圖。該方法 開始於步驟（4 0 0 )，此時提供了連接到一電腦的一捕獲 裝置。在一實施例中，該捕獲裝置是一數位攝像機，例如 一網路攝影機。該運算系統可以是前文中參照圖1-3 所述之具有一監視器之一遊戲機。該方法然後進入步驟 (4 0 2 )，此時監視一捕獲區。在一實施例中，該捕獲區 是該捕獲裝置的視場。 圖7所示之方法然後進入步驟（4 〇4 )，此時在該 捕獲區內偵測到一輸入裝置，且識別該輸入裝置的〜起始 -21 - (19) 1297866 形狀。在此處，一使用者可將前文中參照圖 4 - 6 C所述 之該輸入裝置放入該捕獲裝置的視場中。該輸入裝置的形 狀可以是任何適當的形狀，例如前文中參照圖4 - 6 C所 述的使用者輸入裝置。在一實施例中，係將該輸入裝置配 置成可修改該捕獲裝置可監視的一前方投射區之寬高比。 S亥方法然後進入步驟（4 0 6 )，此時識別該輸入裝置的形 狀之改變。例如，一使用者可擠壓該輸入裝置，因而改變 該輸入裝置之寬高比。該方法然後進入步驟（4 〇 8 )，此 時係回應所偵測到該輸入裝置形狀的改變，而在連接到該 捕獲裝置的電腦上執fr的一電腦程式中觸發一活動輸入。 在一實施例中，當對應於該輸入裝置的一圖示（icon )係 位於一監視器上的一影像之上時，即發生該使用者輸入裝 置的形狀之改變。與一滑鼠按鍵的點選之功用類似，該形 狀之改變使該影像被選擇。在另一實施例中，移動該使用 者輸入裝置同時保持該使用者輸入裝置被改變的形狀時， 將使所選擇的影像移動或改變。我們當了解，可包含多個 使用者輸入裝置。例如，一使用者可在每一手中持有一個 使用者輸入裝置。 圖8是根據本發明一實施例而觸發一電視遊戲的〜 遊戲控制命令的方法步驟之一流程圖。該方法開始於步，驟 (4 1 〇 )，此時提供一遊戲機，用以玩電視遊戲。電視遊 戲係在一螢幕上顯示。在一實施例中，該遊戲機是 “PLAYSTATION 2”® 遊戲機。該方法然後進入步驟 (4 1 2 )，此時提供一被耦合到該遊戲機之視訊捕獲裝 -22- (20) 1297866 置。在一實施例中，該捕獲裝置是諸如網路攝影機等的一 數位攝像機。該方法然後進入步驟（4 1 4 )，此時監視在 該捕獲裝置前方的一捕獲區。如前文所述，在一實施例 中，該捕獲區是該捕獲裝置的視場。 圖 8 所示之該方法然後進入步驟（4 1 6 )，此時偵 測該捕獲區內的一輸入裝置，且識別該輸入裝置的一起始 形狀。在此處，一使用者可將前文中參照圖 4 - 6 C所述 之該輸入裝置放入該捕獲裝置的視場。在一實施例中，該 捕獲裝置傳送出來自接近該捕獲裝置的一光源之光線，而 偵測該輸入裝置。在該實施例中，該輸入裝置將包含被配 置成將光線直接反射回產生該光線的光源之反反射材料。 該方法然後進入步驟（4 1 8 )，此時識別出該輸入裝置的 形狀之一改變。例如，一使用者可濟壓該輸入裝置，因而 改變該輸入裝置的寬高比。該方法然後進入步驟 (420 )，此時係回應所偵測到了該輸入裝置形狀之改 變，而在連接到該捕獲裝置的遊戲機上執行的一電腦程式 中觸發一遊戲控制命令。在一實施例中，移動該使用者輸 入裝置並同時保持該被改變的使用者輸入裝置形狀會使所 選擇的影像移動或改變尺寸。在另一實施例中，寬高比改 變的程度指示了 一電視遊戲期間的一緊握力。例如，寬高 比改變得愈大，則對一特定電視遊戲功能有愈緊的握持。 槪括而言，本文所界定的該可變形的裝置的寬高比之 一改變觸發了類似於一滑鼠按鍵點選或抓取作業的一事件 或動作。我們當了解，寬高比的改變可觸發任何數目的事 -23- (21) 1297866 件。例如，可使用一下拉式選單，可玩電視遊戲，可抓取 物體，向前移動，向後移動，進行堆疊或分層等事件。此 外，進行擠壓該使用者輸入裝置以改變其形狀，即可模擬 一事件，例如一按鈕的按壓或一抓取動作。在一實施例 中，用來捕獲該使用者輸入裝置形狀的改變之該攝像機被 配置成利用色彩來追蹤該裝置。在替代實施例中，該攝像 機可利用被施加到該可變形的裝置之反反射材料而以光線 來追蹤該裝置。本文所述的可變形的裝置可採取任何適當 的形狀，而讓使用者無須使用一滑鼠即可感受滑鼠按鍵點 選的感覺，亦即接收到 haptic/觸覺回授。在本質上，一 使用者無須戴上一手套，即可獲得該手套的功能。雖然前 文中已參照一電視遊戲機而說明了上述的該等實施例 但是該等實施例係用來舉例，而非對本發明加以限制。可 將本文所述的可變形的裝置應用於一個人電腦、諸如電視 機、錄影機、家庭劇院系統等的消費性電子裝置、以及諸 如廚房裝置等的智慧型裝置。對此項技術具有一般知識者 當可了解，可將前文所述的實施例應用於執行電視遊戲的 遊戲機、以及使用者自一伺服器存取電視遊戲的線上電視 遊戲。 本發明可採用涉及電腦系統中儲存的資料之各種以電 腦實施的作業。這些作業是需要對物理量作物理操作的那 些作業。雖非必然，但這些物理量之形式通常爲可被儲 存、傳送、結合、比較、及以他種方式操作之電氣信號或 磁性信號。此外，通常將所執行的該等操作稱爲操作項， -24 - (22) 1297866 例如產生、識別、決定、或比較。 在本文中說明的且構成本發明的一部分之任何該等作 業都是有用的機器作業。本發明亦有關用來執行這些作業 的一裝置或一構件。可針對所需之目的而特別建構該構 件，或者該構件可以是被電腦中儲存的一電腦程式所選擇 性啓動或設定組態之一般用途電腦。尤其可配合根據本文 的揭示事項而撰寫的電腦程式使用各種一般用途機器，或 者該等一般用途機器可更易於建構一較專用之構件，以便 執行所需的作業。 雖然前文中已爲了淸楚地了解本發明而相當詳細地說 明本發明，但是顯然可實施某些改變及修改。因此，應將 本發明的實施例視爲舉例說明，而非對本發明加以限制， 且本發明並不限於本文所提供的細節，而是可在該說明的 範圍及等效說明之內修改本發明。 【圖式簡單說明】 若參照前文中之說明，並配合各附圖，將可易於了解 本發明及其進一步的優點。 圖1是根據本發明一實施例而可追蹤一使用者輸入 裝置的一整體系統組態之一高階示意圖。 圖2是適於配合一用來作爲根據本發明一實施例的 替代性輸入裝置的被操縱之物體而使用的一電視遊戲機的 各組件組態之一方塊圖。 圖3是根據本發明的一實施例而用來追蹤並區分與 -25- (23) 1297866 使用者所操縱的使用者輸入裝置對應的一像素組 、3各功食fc 方塊之一方塊圖。 匕 圖4 A是根據本發明一實施例的被配釐成沿著 Y 方向而追rtt且可觸發將在一監視器上顯示的__ 〜事件的 一可變形之使用者輸入裝置之一示意圖。 圖4B是根據本發明一實施例而自前視之位置检視 時的可變形的裝置的寬高比的改變之一示意簡圖。 Η 5疋:根據本發明一貫施例的一可變形的使用者輸 入裝置的一替代實施例之一示意圖。 圖 6Α是前文中參照圖 4Α、4Β、及 5所述的可 變形的使用者輸入裝置的又一實施例之一示意簡圖。 圖 6 Β是一可變形的裝置在一放鬆的位置及一閉合 的位置之一示意簡圖。 圖 6C是使用兩個可變形的裝置而非使用一個可變 形的裝置時的圖 6Α之一替代實施例。 圖 7是根據本發明一實施例而觸發在一運算系統上 執行的一程式的輸入命令的方法步驟之一流程圖。 圖 8是根據本發明一實施例而觸發一電視遊戲的一 遊戲控制命令的方法步驟之~流程圖。 〔主要元件對照表〕 3 0 0使用者輸入裝置 1 9 0數位視頻攝像機 6〇電視遊戲機 -26- (24) (24)1297866 8 0 監視器 1 1 〇整體娛樂系統 1 1 2 多處理器單元 1 1 4 主記憶體 1 1 6向量計算單元 1 2 2 圖形介面 1 2 0 影像處理器 1 2 4輸入/輸出璋 126 OSD 功能 ROM 1 2 8 即時鐘 1 3 0資料匯流排 1 3 8影像處理單元 1 7 1聲音處理單元 1 7 3聲音緩衝器 1 7 5 喇叭 1 4 0通訊介面 1 3 2輸入裝置 1 3 6光碟裝置 70 光碟 170著色貼圖引擎 172記憶體介面 174影像記憶體 1 7 6顯示控制裝置 1 7 8第一匯流排 -27 (25) (25)1297866 ].8 0第二匯流排 3 Ο 2 點 3 Ο 4 影像 3 Ο 0 A，3 2 Ο Α放鬆的位置 3 Ο Ο B，3 2 Ο B 閉合的位置 3 1 0可變形的使用者輸入裝置 3 10A放鬆狀態 3 10B 擠壓狀態 304B 檔案 3 2 0 可變形的裝置

-28 -

Claims (1)

1297866 牛 lJ7· n

拾、申請專利範圍 附件4A: 第92 1 1 6297號專利申請案 中文申請專利範圍替換本 民國9 7年3月12日修正 1 . 一種觸發在一運算系統中執行的一程式的輸入命 令之方法，包含下列步驟： 監視一捕獲裝置之前的一視場； 識別該視場內的一輸入物體，然後分析所偵測的該輸 入物體否有形狀上的改變； 偵測到該輸入物體的改變；以及 在該運算系統上執行的該程式中觸發一輸入命令，該 觸發是所偵測到的該輸入物體的改變之結果。 2 ·如申請專利範圍第 1項之方.法，其中該捕獲裝 置是一數位視頻攝像機。 3 ·如申請專利範圍第 2項之方法，其中該數位視 頻攝像機追蹤該輸入物體的色彩。 4 ·如申請專利範圍第 2項之方法，其中該數位視 頻攝像機追蹤自該輸入物體反射的光線。 5 ·如申請專利範圍第 1項之方法，其中該偵測該 輸入物體的改變之該步驟進一步包含下列步驟： 偵測該輸入物體的寬高比之一改變；以及 偵測該輸入物體的位置之一改變。 6 ·如申請專利範圍第 1項之方法，其中該程式是 1297866 I tk 3. n N ….」 一電視遊戲，且該運算系統是一遊戲機。 7 ·如申請專利範圍第 5項之方法，其中該輸入命 令使在被耦合到該運算系統的一監視器上顯示的一影像之 尺寸改變。 8 ·如申請專利範圍第 5項之方法，其中該輸入命 令使在被耦合到該運算系統的一監視器上顯示的一影像被 選擇。 9· 一種電腦可讀取記錄媒體，其上儲存有在一運算 裝置中執行的輸入偵測程式，該輸入偵測程式具有用來決 定何時要觸發一主程式的輸入命令之程式指令，該輸入偵 測程式包含： 用來監視在一捕獲裝置之前的一視場之程式指令，而 該捕獲裝置將資料提供給該輸入偵測程式； 用來識別該視場內的一輸入物體之程式指令； 用來偵測該輸入物體的實體改變之程式指令；以及 用來觸發在該運算裝置上執行的該主程式中之一輸入 命令之程式指令，其中該觸發是所偵測到的該輸入物體的 實體改變之一結果。 10.如申請專利範圍第 9項之電腦可讀取記錄媒 體，其中用來偵測該輸入物體的實體改變之程式指令包 含： 用來偵測該輸入物體的寬高比的一改變之程式指令； 以及 用來偵測該輸入物體的位置的一改變之程式指令。 -2- 1297866 11.如申請專利範圍第 9項之電腦可讀取記錄安某 體，其中該運算裝置是一電視遊戲機。 12·如申請專利範圍第 9項之電腦可讀取記錄$某 體，其中該輸入物體是一可伸縮的球體。 1 3 ·如申請專利範圍第 9項之電腦可讀取記錄安某 體，其中用來觸發一輸入命令的該等程式指令使在被耦合 到該運算裝置的一監視器上顯示的一影像之尺寸改變。 1 4 · 一種運算系統，該運算系統具有一輸入偵測系 統，該輸入偵測系統決定何時要觸發經由該運算系統而執 行的一主程式的輸入命令，該運算系統包含： 用來捕獲影像資料之裝置； 用來監視在該捕獲裝置之前的一視場之裝置； 用來識別該視場內的一輸入物體之裝置； 用來偵測該輸入物體的一實體改變之裝置；以及 用來觸發經由該運算系統而執行的該主程式中之一輸 入命令之裝置，其中該觸發是所偵測到的該輸入物體的實 體改變之一結果。 1 5 ·如申請專利範圍第 1 4項之運算系統，其中用 來偵測該輸入物體的一實體改變之該裝置包含： 用來偵測該輸入物體的寬高比的一改變之裝置；以及 用來偵測該輸入物體的位置的一改變之裝置。 1 6.如申請專利範圍第 14項之運算系統，其中該 輸入物體是一被動式裝置。 17.如申請專利範圍第 14項之運算系統，其中該 -3- 1297866

運算系統是一遊戲機。 18. —種作爲一運算裝置的介面之輸入裝置，包含： 一第一部分；以及 與該第一部分整合的一第二部分，其中該輸入裝置被 配置成將一第一寬高比界定在一第一狀態，並將一第二寬 高比界定在一第二狀態，可偵測該第一狀態與該第二狀態 間之一改變，而在該運算裝置上觸發一輸入命令。 1 9 ·如申請專利範圍第 1 8項之輸入裝置，其中該 φ 第一部分及該第二部分界定了一個半圓柱體。 2 0.如申請專利範圍第1 8項之輸入裝置’其中該 輸入裝置被配置成可大致被握持在一人類的手掌之內。 2 1 .如申請專利範圍第1 8項之輸入裝置’其中該 第一部分及該第二部分界定了一球體。 2 2 ·如申請專利範圍第1 8項之輸入裝置’其中該 第一部分界定了一第一邊緣，且該第一部分界定了一第一 邊緣，而該第一邊緣大致與該第二邊緣平行。 春 23. 如申請專利範圍第22項之輸入裝置，其中在 該第一邊緣與該第二邊緣之間界定了一開口’而施加到^ 輸入裝置的一外力可閉合該開口。 24. 如申請專利範圍第18項之輸入裝置，其中該 · 第一狀態與該第二狀態間之改變會造成一卡嗒聲。 25. 如申請專利範圍第18項之輸入裝置，其中係 在連接到該蓮算裝置的一可觀賞螢幕上顯示與該輸入裝置 對應的一符號° -4 - 1297866

26· —種被用來作爲一運算裝置的一輸入裝置之輸入 物體，包含： 一第一部分；以及 被耦合到該第一部分的一第二部分，使該輸入物體被 配置成將一第一形狀界定在一放鬆狀態，並將一第二形狀 界定在一變形狀態，其中該運算裝置偵測到該第一形狀與 該第二形狀間之一改變，而觸發可在連接到該運算裝置的 一可觀賞螢幕上顯示的一輸入。 27. 如申請專利範圍第 26項之輸入物體，進一步 包含： 該第一部分的一邊緣；以及 該第二部分的一邊緣，該第一部分的該邊緣及該第二 部分的該邊緣被配置成反射光線，而該運算裝置可追蹤自 該第一部分的該邊緣及該第二部分的該邊緣反射的光線。 28. 如申請專利範圍第 26項之輸入物體，其中該 運算裝置是一遊戲機。 29. 如申請專利範圍第 26項之輸入物體，其中該 運算裝置所檢視的該輸入物體之面積保持不變，以便追蹤 三維空間中之移動。 3〇.如申請專利範圍第 27項之輸入物體，進一步 包含： 處於該放鬆狀態時在該第一部分的該邊緣與該第二部 分的該邊緣之間界定的一開口，該開口係在該變形狀態時 閉合。 1297866 .s. i.u \ . , j 3 1·如申請專利範圍第 26項之輸入物體，其中係 在連接到該運算裝置的一可觀賞螢幕上顯示與該第一及第 二部分對應的一符號。 32· —種作爲一運算裝置的介面之輸入物體，包含： 一第一邊緣； 與該第一邊緣大致平行之一第二邊緣，該第一邊緣及 該第二邊緣被配置成在有一外力施加到該輸入物體時相互 接觸，其中該運算裝置可追蹤該第一邊緣及該第二邊緣。 33.如申請專利範圍第 32項之輸入物體，進一步 包含： 在該第一邊緣與該第二邊緣之間界定的一開口。 34·如申請專利範圍第 33項之輸入物體，其中該 施加到該輸入物體的外力閉合在該第一邊緣與該第二邊緣 之間界定的該開口。 35. 如申請專利範圍第 32項之輸入物體，其中施 加到該輸入物體的外力造成一卡嗒聲。 36. 如申請專利範圔第 32項之輸入物體，其中係 在連接到該運算裝置的一可觀賞螢幕上顯示與該第一及第 二邊緣對應的一符號。 37. 如申請專利範圍第 36項之輸入物體，其中該 輸入物體的移動造成該可觀賞螢幕上的該符號之移動。 3 8 ·如申請專利範圍第 3 6項之輸入物體，其中該 符號可與該可觀賞螢幕上界定的各物體互動。