TW200812376A - Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system - Google Patents
Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system Download PDFInfo
- Publication number
- TW200812376A TW200812376A TW095131985A TW95131985A TW200812376A TW 200812376 A TW200812376 A TW 200812376A TW 095131985 A TW095131985 A TW 095131985A TW 95131985 A TW95131985 A TW 95131985A TW 200812376 A TW200812376 A TW 200812376A
- Authority
- TW
- Taiwan
- Prior art keywords
- face
- remote control
- eye
- multimedia system
- indication
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 230000009471 action Effects 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 210000001508 eye Anatomy 0.000 claims description 63
- 238000010191 image analysis Methods 0.000 claims description 26
- 210000000887 face Anatomy 0.000 claims description 16
- 230000001815 facial effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 2
- 206010022524 Intentional self-injury Diseases 0.000 description 1
- 208000005560 Self Mutilation Diseases 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
200812376
—'^arwrmj/vu -W3056PA 九、發明說明: 【發明所屬之技術領域】 本發明是有關於—種使用於多媒體系統 及其方法以及具有遙控功能之多媒體系統,且特別f右 關於-種使詩多媒體純之基於臉 2 :其方法以及具有基於臉部侦測的遙控功能之 【先前技術】 機,備多=系統,例如是電視機、_影音播放 大都具備遙控魏’讓使用者在—定距離内 一台搭配多媒體系統的遙控器’以有線或是無線的/ 式’控制多媒體系統的運作,例如是設 或是控制其播放多媒體資訊,如電視廣播節目:t /但是’站在使用者的角度,上述習知的遙控多媒體 切因為需要:台遙控器而造成其他使用上不 二、°靖°首先’ m為遙控n的體積少,若要能讓使 用者正確的控制多媒體系統多樣化的魏,必需且 p按鍵。而且’每台遙控器都具有某些不同的操作^ f,加上許多的按鍵,操作方式往往變得複雜,令不孰 心此多媒體系統的使用者更不容易掌握,並需要花費時 ^習及習慣。此ί,若不小心把遙控11放在不顯眼的 、’使用者需要花費時間尋找。再者,遙控器需要安 ^電池’需要消耗能源。若電池電力不足或電池品質不 6 200812376
二连編航.rW3056PA 佳時,往往會造成不可讀期的問題,例如是操作上的失 敗,更甚者,遙控器因電池内容物的漏出而毀壞掉。 故此,為了使用者輕易的遙控多媒體系統或是解決 上述問通,多媒體糸統需要有一種有別於習知利用遙控 器的遙控方式以滿足使用者對方便性的需求。 【發明内容】 有鐘於此,本發明的目的就是在提供一種使用於多 媒體系統之基於臉部偵測的遙控系統及其方法以及具有 基於臉部偵測的遙控功能之多媒體系統。多媒體系統的 使用者,身體某部分的自然行為,例如臉部及眼睛,會 破偵測並分析並據以產生特性參數,特性參數與條件參 數作比較,比較的結果會用以決定如何遙控多媒體系統 的運作。 根據本發明的目的’提出—種使用於多媒體系統之 2臉部制的遙控方法之—實施例,係使科一多媒 ;=此遙控方法包括:⑷依據此多媒體系統之一 =作=’藉由-制裝置偵測存在之至少人臉之一部 i出一人臉影像信號;(b)依照此人臉影像信 "刀析所偵測到之至少人臉之一部分,★ 參數;(c)比較至少此特性參數 作槿ί 1件參數係與此操 果,產生至少一指示信號給此多軸2)依據此比較結 7 200812376 二连緬航· Πν:30%ΡΑ 1 根據本發明的目的,提出一種使用於多媒體系統之 基於臉部偵測的遙控系統之一實施例,使用於一多媒體 系統中,其中此多媒體系統具有一操作模式,此操作模 式具有至少一控制動作。此遙控系統包括:一偵測裝置 及一影像分析與指示產生單元。偵測裝置依據此操作模 式,用以偵測存在之至少人臉之一部分,並據以輸出一 人臉影像信號。影像分析與指示產生單元,與此偵測裝 置耦接,用以依照此人臉影像信號,分析所偵測到之至 少人臉之一部分,以產生相對應的至少一特性參數,並 比較至少此特性參數與至少一條件參數,並據以產生一 比較結果,並依據此比較結果,產生至少一指示信號給 此多媒體系統,其中此條件參數係與此操作模式之至少 此控制動作相關聯。 根據本發明的目的,提出一具有基於臉部偵測的遙 控功能之多媒體系統之一實施例,其中此多媒體系統具 有一操作模式,此操作模式具有至少一控制動作。此多 媒體系統包括一偵測裝置、一影像分析與指示產生單元 及一播放裝置。偵測裝置,用以依據此操作模式,偵測 存在之至少人臉之一部分,並據以輸出一人臉影像信 號。影像分析與指示產生單元,與此偵測裝置耦接,用 以依照此人臉影像信號,分析所偵測到之至少人臉之一 部分,以產生相對應的至少一特性參數,並比較至少此 特性參數與至少一條件參數,以據以產生一比較結果, 並依據此比較結果,產生至少一指示信號,其中此條件 200812376
一违綱肌. /W3056PA 爹數係與此彳呆作模式之至少此控制動作士 .^ 〜助作知關聯。播放裝 置·,用Μ依據接收主少此指不信號,4朵4夕 ^ 。邊攻多嫖體資訊。 圖式,作詳細說 為讓本發明之上述目的、特徵、^ i , — 又和優點能更明顯易 懂,下文特舉較佳貫施例,並配合所J:付 明如下: 【實施方式】 本發明係依據人類身體某部分的自妙、〜 曰A行為,如人的 頭部,包括臉或人臉任何一部分,如人队 入臉、目艮睛、下巴、 嘴巴、嘴唇、鼻子、耳朵、臉頰、頭髮、謂鬚,或上述 之各種組媒的動以如指示播放 或改變設幻相μ,以作為產生指示信號给多媒體系統 的基礎來源,從而改變多媒體系統之操作行為如此 操作多媒體系統的方式將變得更為容易及直^並了據 此衍生智慧翻控制方式,也就是說,遙”统=依 據實際偵測的結果,不必使用者親自终;一 T夺日不'而自動發 出指示信號以調整多媒體系統的運作。 M下II由不同的 實施例說明本發明的各種貫施方式,复Φ、 眼睛_,_遙_料一=== 或改變設定)相關聯為例子以作說明。 曰y Λ 請參考弟1圖’其為依據本發明之多 實施例的方塊圖,其中此多媒體系統包=媒f系統之一 測的遙控系統之一實施例。多媒體系統10() ~、 '、 裝置11G、-顯示裝置12G以及—遙控系統一播放 9 200812376
二逹編魷.fW3056PA Μ —、統1QG,係具有處理多媒體資料及據以重 現残體育訊功能之系統。多媒體系統100係具有至少 一操作模式,例如是播放槿4 预攻杈式,刼作模式具有至少一控 是播放、暫停或停止動作。多媒體系統1。〇 又例如具有中令選項模式,命令選項模式具有至少一命 令選取動作,命令選取動作制以設定或控制多媒體系 統100。至少有-條件參數係與此至少一控制動作相關 聯。 遙控系統13G用以依據人的自然行為,以臉部或至 ,其中—部分為基礎,產生—指示信號,以改變多媒體 系統1〇〇之操作行為。遙控系統13〇包括一偵測裝置14〇 及一影像分析與指示產生單元15〇。遙控系統13〇係可利 用物件偵測(object detection)、物件追蹤(object tracking)或臉部偵測(human face detection)等技術。 偵測裝置140,係為可偵測人體或是擷取影像之裝 置,例如是電荷耦合元件(CCD)、數位攝影機(camera)、 網路攝影機(webcam)或數位影像擷取器(video capture device),用以依據上述操作模式,藉由一偵測裝置偵測 存在之人臉或至少人臉之一部分,並據以輸出一人臉影 像信號。偵測裝置140例如是具有自動對焦 (auto-zooming)的功能,或是人臉特徵擷取的功能,或 眼球追蹤定位的功能(eyeballs tracking and location) ° 影像分析與指示產生單元150,係與偵測裝置140 200812376
二连緬37t · iW3056PA ^ 耦接,用以依照人臉影像信號,分析所偵測到之至少人 臉之一部分,以產生相對應的至少一特性參數,此外影 像分析與指示產生單元15 0更依據此至少一特性參數及 至少一條件參數,用以判斷是否產生至少一指示信號給 多媒體系統100。在實作時,影像分析與指示產生單元 150比較此至少一特性參數與此操作模式之至少一控制 動作相關聯的條件參數,以產生一比較結果,並依據此 比較結果,產生至少一指示信號。此影像分析與指示產 生單元150,例如是以一數位影像處理器(digital image processor),一微處理器(microprocessor)、或單晶片 系統(system on chip)以實現,此外,此單元150亦可 包含記憶體以儲存資料。 播放裝置110,例如是一 DVD播放機、一數位錄放 影機或一無線網路多媒體播放機。播放裝置110係用以 依據至少此指示信號,並據以處理多媒體資訊,或依據 此指示信號設定播放裝置110。播放裝置110處理及輸出 多媒體信號。播放裝置110是一可以處理多媒體資料的 處理裝置,例如是一電腦系統或影音播放機或錄放影 機。播放裝置110係可以實施以使之能讀取儲存媒體, 如光碟、硬碟或記憶卡,或是以有線或無線方式讀取數 位影像或聲音資料,以作處理及播放。 顯示裝置120,例如是平面顯示器、液晶顯示器、 CRT顯示器、投影顯示器,係用以依據播放裝置110所輸 出的多媒體信號以重現影像及聲音。 11 200812376
三達編號:TW3056PA 此外,播放裝置11 〇與顯示裝置12 0亦可實現為一 整合用以處理多媒體資料以作多媒體重現的單元,例如 是桌上或筆記型電腦系統、數位電視機、類比電視機或 視訊會議系統。 請參考第2圖,其為依據本發明之具有基於臉部偵 測的遙控功能之多媒體系統之另一實施例。此多媒體系 統200與第1圖之實施例係同樣具有播放裝置11〇、顯示 裝置120、彳貞測裝置140及影像分析與指示產生單元15〇。 惟此兩實施例的結構上不同:播放裝1 11 〇係與影像分 析與指示產生單元150存在於一系統主機21〇之中。此 外,依據第2圖,可得多媒體系統之另一實施例,如把 第2圖中的偵測裝置140改為建構在系統主機21〇之中。 第3圖係為一基於臉部偵測的遙控方法的一較佳實 施例之流程圖。遙控方法包括如下步驟:如步驟3 1 〇所 示,首先,設定至少一條件參數。如步驟320所示,依 據此多媒體系統之一操作模式,藉由一偵測裝置,偵測 存在之至少人臉之一部分,並據以輸出一人臉影像信 號。如步驟330所示,依據人臉影像信號,分析所偵測 到之少、人臉之—部分,以產生相對應的複數個特性參 所示,對此些特性參數與此操作模式之 比騰。關聯的一條件參數作比較,以產生- 產生至少—於如步驟350所示’依據此比較結果, —ί曰7Κ信號給多媒體系統。 在第3圖中,步驟310設定至少 條件參數係於步 12 200812376
三達編號·· TW3056PA 1 驟320之前,只是其中一種實施方式。步驟310亦可以 於步驟320執行之同時或之後執行°而在實作上,步驟 310之條件參數係可以為預設的資料,不需要在操作時才 設定。而另一種實作方式中,多媒體系統在操作中依據 操作模式的需要,自行設定或調整條件參數。另外,條 件參數亦可以由使用者設定之。總之,條件參數係與此 多媒體系統之一操作模式之至少一控制動作相關聯。 在本發明以下的實施例中,多媒體系統係可具有一 個至多種操作模式。以下,首先以此操作模式為一播放 模式為例以揭露本發明之遙控方法之一實施方式;接 著,以此操作模式為一命令選項模式以揭露本發明之遙 控方法之另一實施方式。請注意,有關條件參數的設定, 係可以不同的方式實作;故此,以下的實施例所敘述的 設定條件參數之步驟,其執行次序亦可如上述般的以各 種次序或方式實作。 第4A圖係一基於臉部偵測的遙控方法應用於多媒 體系統之播放模式時的一實施例之流程圖。 如步驟410所示,設定條件參數包括:(1)觀眾人數 Na、(2)延遲時間Td及(3)未離席觀眾門檻值p%,並與播 放模式之”播放”、”停止”、”暫停”動作相關聯。 如步驟420所示,依據播放模式,藉由偵測裝置偵測存 在之觀眾的人臉以及至少人臉之眼睛部分,以輸出一人 臉影像信號。如步驟430所示,依照人臉影像信號,分 析所偵測到之人臉以及至少人臉之一部分,以產生相對 13 200812376
二连編航· i‘W3056PA ‘ 應的特性參數包括:(1)人臉數目及(2)開眼數目。如步 驟440所示,比較依照人臉影像信號所產生的特性參數, 與播放模式之至少一控制動作相關的條件參數,以產生 指示信號給多媒體系統。此外,當步驟440執行之後, 此方法之實施例可以從步驟420開始,重覆進行偵測, 繼續產生指示信號給多媒體系統。 本案實施例之步驟430係以特性參數(1)人臉數目 心及(2)開眼數目I為例,而步驟440中可依據此兩特性 參數,實施不同的比較方式,以產生指示信號給多媒體 系統。請參考第4B圖,其為步驟440之一實施例之流程 圖。為方便解釋,以下以觀眾人數Na為5,延遲時間Td 為10分鐘,未離席觀眾門檻值P%為80%,作為例子說明。 在第4B圖中,如步驟441所示,首先比較人臉數目 I是否實質上大於或等於觀眾人數Na之一百分比,例如 是判斷分析所得之人臉數目(例如為4)是否大於或等 於(Na X p%),即(5χ〇· 8)=4人。若是,則執行步驟442 以判斷開眼數目Ne是否實質上大於或等於此觀眾人數Na 之另一百分比,例如是判斷分析所得之開眼數目Ne (如8 隻眼睛)是否大於或等於(2Naxp5〇,即(2x5x0. 8)=8隻眼 睛。若步驟442中比較結果為是,所產生的指示信號代 表”播放”動作,如步驟447及460所示。 在步驟441或442中,若結果為否,則執行步驟443, 以判斷所偵測的人臉數目沁是否為0。若是,則進入步 驟444以判斷是否已開始暫停並且已經過了延遲時間 14 200812376
三達編號:TW3056PA * Td。若步驟443或444之判斷結果為否,則所產生的指示 信號代表”暫停”動作,如步驟449及460所示。 若步驟444的結果為是(例如已暫停了 11分鐘),則 所產生的指示信號代表”停止”動作,如步驟448及460 所示。 在上述第4A圖及第4B圖係依據人的自然行為,以 臉部及其部分基礎,以改變多媒體系統之操作行為。例 如,當觀眾人數及其開眼數目符合要求時,此多媒體系 統就自動開始播放,如步驟441、442、447及460所示。 又例如,當有一部分觀眾因故暫時離席時,而且離席人 數很多,此多媒體系統就自動暫停播放,如步驟443、 444、449及460所示。但若暫停了 一段延遲時間Td,例 如10分鐘以後,觀眾人數N及其開眼數目Ne還是不符合 要求的話,此多媒體系統就停止播放,如步驟444、448 及460所示。 在上述第4A圖及第4B圖所述的實施例中,係使用 3個條件參數及2個特性參數為例,以示如何改變多媒體 系統之操作行為。然而,亦可以採用至少一個條件參數, 以至少臉部之一部分或是人臉為基礎,以改變多媒體系 統之操作行為。例如,彳貞測存在之觀眾的人臉,並判斷 是否有兩位觀眾存在;若是,則產生指示信號給多媒體 系統以開始播放;在此,條件參數即為觀眾人數Na為2 ’ 也就是判斷人臉數目Nf是否大於或等於2。又例如,條 件參數之觀眾人數Na為2,及特性參數為眼睛之開眼數 15 200812376
三達編號:TW3056PA 目Ne,判斷存在之觀幕的開眼數目Ne是否大於或等於條 件參數之觀眾人數Na,以決定是否指示多媒體系統開始 播放。對於其他人臉的部分或人臉部分的各種組合,亦 可採上述的方式,據以作為改變多媒體系統之操作行為 的基礎來源,以達成控制多媒體系統之目的。 如此,上述實施例可稱為智慧型(i nte Π i gent)的控 制方式,也就是說,遙控系統係可依據實際偵測的結果, 不必使用者親自給予指示,而自動發出指示信號以調整 多媒體系統的運作。 接著,以多媒體系統之操作模式為一命令選項模式 以揭露本發明之遙控方法之另一實施方式。請參考第5 圖,其係示意依據本發明的一基於臉部偵測的遙控系统 應用於多媒體系統之命令選項模式時的一實施例。 在多媒體系統於命令選項模式時,顯示裝置520顯 示一個或多個選項,以讓使用者選擇,使用者只要把目艮 睛注視在其中一個代表選項的物件,例如是晝面上的_ 象、方塊、區域或文字之區域,若眼睛所注視的時間符 合相對應的條件的話,例如眼球注視在一遙控選項上翅 過或約3秒時,即可達成選取此選項的目的。 ,弟5圖中,使用者係以眼睛或眼球所表示, 而顯不衣置520顯示的選項,例如是選項521、522。 、明同日t參考第3圖及第5圖,以便於說明本實施例 之遙控方法。如步驟31〇所示,設定一注視時間門檻後 1。作為-條件參數,使之與命令選項模式之命令選取馬 16 200812376
二连編航,fW3056PA ‘ 作相關聯。如步驟320所示,偵測存在之人臉以及人臉 之眼睛部分,並據以輸出人臉影像信號,其中係可利用 針對眼睛的追蹤技術,例如眼球追蹤與定位技術 (eyeballs tracking and location)。士口步,驟 330 戶斤示, 依據人臉影像信號,分析所偵測到之人臉以及人臉之眼 睛部分,產生相對應之複數個特性參數,此些特性參數 包括此眼睛所注視的方向(如以球狀座標示之),以及此 眼睛所注視的方向之注視時間Tf。 接荖,在步驟340中,首先判斷此眼睛所注視的方 向是否指向顯示裝置520之顯示晝面上;若是,則判斷 此眼睛所注視的方向所對應到在顯示畫面的位置並比較 此位置是否對應到一代表遙控之選項,例如是第5圖中 的選項522。若此眼睛所注視的方向係對應到一代表遙控 之選項,則判斷此眼睛所注視的方向之注視時間Tf是否 大於或等於一注視時間門檻值TF。,如約3秒,以產生一 比較結果。 在步驟350中,若步驟340的比較結果為是,也就 是說:此眼睛所注視的方向係對應到一代表遙控之選項 而且眼睛之注視時間Tf (如約3. 7秒)係大於或等於一注 視時間門植值Tf。(如約3秒),則產生一指示信號代表此 遙控選項之被選取。 在本實施例之上述次步驟340中,偵測裝置540及 影像分析與指示產生單元550可求得自偵測裝置540至 人臉或眼睛的方向與距離,如箭頭580所示,以及眼睛 17
200812376 二连緬航.iW3056PA 所注視的方向,如箭頭59〇所示。此外,眼睛所注 方向,S祕在顯示晝面之某—制,係可透過查^的 (table lookup;或空間中的幾何運算等方式以達々、 如,預先建立一對應表(1〇0卜叩table),表達二。例 視的各種方向(如以角度示之)與畫面上各個區域庄 數字不之)之對應關係,以便透過查表方式得到眼_乂、 視的某一方向所對應的晝面區域。 月斤注 依據上述在命令選項模式下執行的遙控方法的每^ 例,可衍生出其他有關選項的多種應用如下: 貝施 例如,當眼球之定位在,,下一,,(11技〇或,,前 一 (Previous)上超過注視時間門檻值Tfq後,指示 即代表開始將目前播放之晝面,或例如是節目或曲目唬 改為下-個段落或是回到前一個段落持續到下一個 選項開始執行為止。當眼球定位的位置已經不在任 控選項上,即停止執行此功能。 、 #追縱眼球之疋位在”快轉”(f〇rward)或,,倒 轉’’(backward),如第5圖中之選項521及522上超過 或等於注視時間門檻值Tfq時間後,即開始快轉或是倒^拳 晝面,並且當功能開始執行時眼球定位仍繼續在此遙控 選項上時,加快快轉或是倒轉的速度,持續此遙控選 的功能直到下一個遙控選項的功能開始執行為止^或是 當眼球定位的位置已經不在任何遙控選項上後即停止執 行此功能。 當追蹤眼球之定位在音量選項,如第5圖中的,,+,, 200812376
三達編號:TW3056PA ‘號之選項上超過或等於注視時間門檻值TPQ時間後,即開 始增加(或是減少,對應於“號之選項、)播放音量,持 續此遙控選項功能直到下-個遙控選項的功能開始執行 為止’或是當眼球定值的位置已經不在任何遙控選項上 後即停止執行此功能。 眼球追蹤技術亦可利用在控制選單(menu)上不同遙 控選項的選擇,例如遙控選項有10個,但是顯示裝置的 晝面一次只能呈現5個遙控選項,則可利用眼球追蹤定 位之技術進行遙控選項換頁的動作,再者若觀賞多媒體 播放時不需要遙控選項的選單出現在顯示晝面上,亦可 利用眼球追蹤定位技術將此選單關閉或隱藏。 另外,在實作時,上述之遙控方法之各實施例中, 如y驟330至350或相對應之步驟係可以用一軟體程式 ^程式函式加以實作,再配合一記錄條件參數與遙控功 月b及/、關知關係的資料庫或資料結構加以實現。此外, 亦可以硬體或韌體,或混合的方式來實作。 本务明上述各個實施例所揭露之使用於多媒體系統 之基於^部侧的遙控线及其方法及多媒體系統,係 依據人颌身體某部分的自然行為,將之與遙控多媒體系 統作相關聯,以作為產生指示信號給多媒體系統的 基夕j源,從而改變多媒體系統之操作行為。如此,操 f夕,體系統的方式將變得更為容易及直接,並可據此 =—曰型的控制方式,也就是說,遙控系統係可依據 只際谓挪的結果,不必使用者親自給予指示,而自動發 19 200812376
三達編號:丁 W3056PA 出指示信號以調整多媒體系統的運作。 綜上所述,雖然本發明已以一較佳實施例揭露如 上,然其並非用以限定本發明。本發明所屬技術領域中 具有通常知識者,在不脫離本發明之精神和範圍内,當 可作各種之更動與潤飾。因此,本發明之保護範圍當視 後附之申請專利範圍所界定者為準。 20 200812376
二g編號:TW3056PA 【圖式簡單說明】 第1圖為依據本發明之多媒體系統之一實施例的方 塊圖,其中此媒體系統包括一基於臉部偵測的遙控系統 的之一實施例。 第2圖繪示依據本發明之具有基於臉部偵測的遙控 功能之多媒體系統之另一實施例。 第3圖係為一基於臉部偵測的遙控方法的一較佳實 施例之流程圖。 第4A圖係一基於臉部偵測的遙控方法應用於多媒 體系統之播放模式時的一實施例之流程圖。 第4B圖係第4A圖中,用以產生指示信號給多媒體 系統之步驟440的一實施例之流程圖。 第5圖係一示意圖,繪示將依據本發明的一基於臉 部偵測的遙控系統應用於多媒體系統之命令選項模式時 的一實施例。 21 200812376
二逹編號:TW3056PA 【主要元件符號說明】 100、200 :多媒體系統 110 :播放裝置 120、520 :顯示裝置 130 :遙控系統 140、540 :偵測裝置 150、550 :影像分析與指示產生單元 210 :糸統主機 5 0 0 :眼睛 521、522 :遙控選項 580、590 :箭頭 22
Claims (1)
- 200812376 三達編號:H3056PA 十、申請專利範圍: 1,一種基於臉部偵測的遙杵 系統,該多媒體系統係用以播放I婵吏用於-多媒‘M 法包括: 綠體貧訊,該遙控方 ⑷於該多媒體系統之—操 置偵測存在之至少人臉之一部八二 ,猎由一偵測裝 像信號; 乃並據以輪出一人臉影 ⑹依據該人臉影像信號 之一部分以產生相對應m 斤相到之至少人臉 (C)比鲈,$ | ^特性參數; 生-比較結輿至少—條件參數,以產 -控制動作相關聯=數係舆該操作模式之至少 (d)依據該比較結果,產生 體系統。 V 一^曰示信號給該多媒 如申请專利範圍第1項 操作模式為一播放槿^ 貞所述之遙控方法,其中該 -播放動作,〜播放模式之該控制動作包括 資訊,並鱼動作係指該多媒體系統播放多媒體 與該條件參數相關聯。 3·如申請專利範圍第2項所诚之搖批古、土 步驟(a)中貞所过之遙拴方法,其中在 信號;以及’、、’、存在之人臉,並據以輸出該人臉影像 又驟(b)中,所產生之該特性參數係與所偵測到之 人臉,應,包括一人臉數目。 如申請專利範圍第2項所述之遙控方法,其中在 23 200812376 三達編號:TW3056PA 步驟(a)中,係偵測存在之人臉之眼睛,並據以輸出該人 臉影像信號;以及 在步驟(b)中,所產生之該特性參數係與所偵測到之 人臉之眼睛相對應,並包括一開眼數目。 5·如申請專利範圍第2項所述之遙控方法,其中在 步驟(a)中’债測存在之人臉以及人臉之眼睛部分,並據 以輸出該人臉影像信號;以及 在步驟(b)中,所產生之複數個特性參數係與所偵測 到之人臉以及人臉之眼睛部分相對應,分別包括一人臉 數目及一開眼數目。 6·如申明專利範圍第5項所述之遙控方法,i中步 驟(c)比較該人臉數目是否大於或等於該條件參數之一 :分比,以及該_數目Μ大於或等於該條件參數之 另一百分比。 牛锕| 祀固弟ϋ項所述之遙控方法,苴中在 ,所—錢代 動作包括一命令選取動:模式之該控制 驟⑷偵測存8項所述之遙控方法,其中步 瞼影像錢;以及臉之眼睛部分,並據以輸出該人 24 200812376 二達編號.丁W3056PA '在步驟(b )中,所產生之複數個特性參數係與所偵測 到之人臉之眼睛部分相對應,係包括該跟睛所注視的方’ 向,以及該眼睛所注視的方向之注視時間。 …一 10·如申請專利範圍第9項所述之遙控方 1 步驟(C)包括: / “ =㈣睛所注視的方向是否指向該多媒體系統之 如旦,上之—遙控選項以及判斷該眼睛所注視的方 〉主視日守間是石士你A^ Μ A 、I叫丄心一逯衩選項以及判斷該眼睛所注視的方 向之注視時間是否A於或科該條件參數,並據以產生 一比較結果’其中,該條件參數係—注視時間門播值。 U.如申請專利範㈣10項所述之遙控方法 步驟⑷中,若步驟(c)之比較結果為S 指示信號代表該遙控選項被選取。 玍的5亥 M = —f基於臉部偵測的遙控系統,使用於—多媒 體糸、、先中,其中該多媒體系統具有 模式具有至少-控制動作,該遙控系統包括;1耗作 小人Π裝置,依據簡作模式,心_存在之至 / j部分,亚據以輸出—人臉影像信號;以及 -影像分析與指示產生單元,與該 用:依照該人臉影像信號,分析所偵測到之至之 一部分,以產生相對應的至少一特性來 、, 該特性參數與至少-條件參數,並據二2比較至少 較結果’產生至少-指示信;::二 二_:該條件參數係與該操作模式之該至少-控 25 200812376 三達編號:TW3056PA 13. 如申請專利範圍第12項所述之遙控系統,其中 該操作模式為一播放模式’該播放模式之控制動作包括 一播放動作,該播放動作係指該多媒體系統播放多媒體 資訊,並與該條件參數相關聯。 14. 如申請專利範圍第13項所述之遙控系統,其中 該偵測裝置偵測存在之人臉,並據以輸出該人臉影像信 號;以及 該影像分析與指示產生單元所產生之該特性參數, 係與所偵測到之人臉相對應,並包括一人臉數目。 15. 如申請專利範圍第14項所述之遙控系統,其中 若該比較結果表示該人臉數目大於或等於該條件參數, 該影像分析與指示產生單元產生該指示信號,以代表指 示進行該播放動作。 16. 如申請專利範圍第13項所述之遙控系統,其中 該偵測裝置偵測存在之至少人臉之眼睛,並據以輸出該 人臉影像信號;以及 該影像分析與指示產生單元所產生之該特性參數, 係與所偵測到之人臉相對應,並包括一開眼數目。 17. 如申請專利範圍第16項所述之遙控系統,其中 若該比較結果表示該開眼數目大於或等於該條件參數, 該影像分析與指示產生單元產生該指示信號,以代表指 示進行該播放動作。 18. 如申請專利範圍第12項所述之遙控系統,其中 該操作模式為一命令選項模式,該命令選項模式之控制 26 200812376 二達痲號.fW3056PA 動作包括一命令選取動作,該命令選取動作係用以設定 或控制該多媒體系統,並與該條件參數相關聯。 19. 如申請專利範圍第18項所述之遙控系統,其中 該偵測裝置偵測存在之至少人臉之眼睛部分,並據以輸 出該人臉影像信號;以及 該影像分析與指示產生單元所產生之複數個特性參 數,係與所偵測到之至少人臉之眼睛部分相對應,並包 括該眼睛所注視的方向,以及該眼睛所注視的方向之注 視時間。 20. 如申請專利範圍第12項所述之遙控系統,其中 該影像分析與指示產生單元,係包括一微處理器。 21. 如申請專利範圍第12項所述之遙控系統,其中 該偵測裝置,係為一數位影像擷取裝置。 22. —種具有基於臉部偵測的遙控功能之多媒體系 統,其中該多媒體系統具有一操作模式,該操作模式具 有至少一控制動作,該多媒體系統包括: 一偵測裝置,用以依據該操作模式,偵測存在之人 臉或至少人臉之一部分,並據以輸出一人臉影像信號; 一影像分析與指示產生單元,與該彳貞測裝置搞接, 用以依照該人臉影像信號,分析所偵測到之人臉以及至 少人臉之一部分,以產生相對應的至少一特性參數,並 比較該至少一特性參數與至少一條件參數,並據以產生 一比較結果,並依據該比較結果,產生至少一指示信號, 其中該條件參數係與該操作模式之該至少一控制動作相 27 200812376 三達編號:TW3056PA -w 關聯;以及 媒體t^放裝置’用以依據至少—示錢,播放多 23,如申請專利範圍第22項所述之多 包括-顯示裝置,該顯示裝置用以顯示至少一二更 ^ ’其中該操作模式為—命令選項模^,該命令選項模 控軸作包括—命令選取動作,該命令選取動作 '、兵該條件參數及至少一該遙控選項相關聯。 如申%專利fe圍-第23項所述之多媒體系統,其 ^貞縣置伯測存在之至少人臉之眼睛部分,並據以 輸出該人臉影像信號;以及 該影像分析與指示產生單元所魅之複數個特性參 姑係與所偵測到之至少人臉之眼睛部分相對應,並包 艮目月所/主視的方向,以及該眼睛所注視的方向之注 現日守間。 25·如申請專利範圍第24項所述之多媒體系統,並 ^影像分析與指示產生單元,判斷該眼睛所注視的方 日:=指向該遙控選項以及該眼睛所注視的方向之注視 ^疋否大於或等於該條件參數,並據以產生該比較結 其中,该條件參數係一注視時間門檻值。 =6·如申請專利範圍第&項所述之多媒體系統,其 =該=較結果為是,該影像分析與指示產生單元產 邊指不信號以代表該遙控選項被選取。 27·如申請專利範圍第22項所述之多媒體系統,其 28 200812376 三達編號:TW3056PA 中該操作模式為一播放模式,該播放模式之控制動作包 括一播放動作3該播放動作係指該多媒體系統播放多媒 體資訊,並與該條件參數相關聯。 28. 如申請專利範圍第27項所述之多媒體系統,其 中該偵測裝置偵測存在之人臉,並據以輸出該人臉影像 信號;以及 該影像分析與指示產生單元所產生之該特性參數, 係與所偵測到之人臉相對應,並包括一人臉數目。 29. 如申請專利範圍第28項所述之多媒體系統,其 中若該比較結果表示該人臉數目大於或等於該條件參 數,則該影像分析與指不產生早元產生該指不信號’以 代表指示該播放裝置進行該播放動作。 30. 如申請專利範圍第27項所述之多媒體系統,其 中該偵測裝置偵測存在之至少人臉之眼睛,並據以輸出 該人臉影像信號;以及 該影像分析與指示產生單元所產生之該特性參數, 係與所偵測到之人臉相對應,並包括一開眼數目。 31. 如申請專利範圍第30項所述之多媒體系統,其 中若該比較結果表示該開眼數目大於或等於該條件參 數,該影像分析與指示產生單元產生該指示信號,以代 表指示該播放裝置進行該播放動作。 29
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW095131985A TWI319680B (en) | 2006-08-30 | 2006-08-30 | Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system |
| US11/646,341 US20080056542A1 (en) | 2006-08-30 | 2006-12-28 | Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW095131985A TWI319680B (en) | 2006-08-30 | 2006-08-30 | Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200812376A true TW200812376A (en) | 2008-03-01 |
| TWI319680B TWI319680B (en) | 2010-01-11 |
Family
ID=39151583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW095131985A TWI319680B (en) | 2006-08-30 | 2006-08-30 | Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20080056542A1 (zh) |
| TW (1) | TWI319680B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4420056B2 (ja) * | 2007-04-20 | 2010-02-24 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム |
| JP4561914B2 (ja) * | 2008-09-22 | 2010-10-13 | ソニー株式会社 | 操作入力装置、操作入力方法、プログラム |
| US8482626B2 (en) | 2009-04-07 | 2013-07-09 | Mediatek Inc. | Digital camera and image capturing method |
| IT1399043B1 (it) | 2010-01-28 | 2013-04-05 | Nori | Dispositivo di interfaccia per un'apparecchiatura di elaborazione di una pluralita' di programmi e funzioni operative multimediali ad alta definizione, integrata con schermo di ricevitore televisivo, per l'impostazione, lo svolgimento di tali programmi e funzioni operative multimediali e la visualizzazione degli stessi su tale schermo |
| US9769512B2 (en) * | 2012-11-08 | 2017-09-19 | Time Warner Cable Enterprises Llc | System and method for delivering media based on viewer behavior |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| US20150193061A1 (en) * | 2013-01-29 | 2015-07-09 | Google Inc. | User's computing experience based on the user's computing activity |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| US9628701B2 (en) * | 2014-04-28 | 2017-04-18 | GM Global Technology Operations LLC | Vehicular social media system |
| CN105137886B (zh) * | 2015-09-21 | 2019-10-11 | Tcl移动通信科技(宁波)有限公司 | 一种人机界面控制装置及控制方法 |
| CN105828144A (zh) * | 2016-03-14 | 2016-08-03 | 乐视网信息技术(北京)股份有限公司 | 终端控制方法及装置 |
| CN105955048A (zh) * | 2016-05-31 | 2016-09-21 | 邓俊生 | 一种智能家庭影院 |
| CN106054625A (zh) * | 2016-05-31 | 2016-10-26 | 邓俊生 | 一种家庭影院 |
| US10084612B2 (en) | 2016-10-05 | 2018-09-25 | International Business Machines Corporation | Remote control with muscle sensor and alerting sensor |
| US10740624B2 (en) * | 2017-03-26 | 2020-08-11 | Amon'Dre Adrian Muhammad | Method for monitoring consumption of content |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4836670A (en) * | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
| US4931865A (en) * | 1988-08-24 | 1990-06-05 | Sebastiano Scarampi | Apparatus and methods for monitoring television viewers |
| JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
| AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
| US6659611B2 (en) * | 2001-12-28 | 2003-12-09 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
| US7733412B2 (en) * | 2004-06-03 | 2010-06-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
| US8228382B2 (en) * | 2005-11-05 | 2012-07-24 | Ram Pattikonda | System and method for counting people |
-
2006
- 2006-08-30 TW TW095131985A patent/TWI319680B/zh not_active IP Right Cessation
- 2006-12-28 US US11/646,341 patent/US20080056542A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| TWI319680B (en) | 2010-01-11 |
| US20080056542A1 (en) | 2008-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW200812376A (en) | Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system | |
| US11323756B2 (en) | Annotating extended reality presentations | |
| JP4620150B2 (ja) | 電子機器および映像処理方法 | |
| US8363058B2 (en) | Producing video and audio-photos from a static digital image | |
| JP5321060B2 (ja) | 表示制御装置、表示システム、およびテレビジョンセット | |
| US20190304506A1 (en) | Masking in video stream | |
| CN102880289A (zh) | 检测眼球注视点可实现视频播放和暂停的控制系统及方法 | |
| CN102710991A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN102547197A (zh) | 信息处理设备、同步方法和程序 | |
| US20110157325A1 (en) | Video display apparatus | |
| JP2009111833A (ja) | 情報提示装置 | |
| JP2004213486A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US8391671B2 (en) | Information processing device and method, recording medium, and program | |
| JP2011211481A (ja) | 動画再生装置 | |
| EP3865000A1 (en) | Systems and methods for event-based playback control during virtual application of makeup effects | |
| WO2017203834A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN101169897A (zh) | 多媒体系统的脸部检测的遥控系统及其方法及多媒体系统 | |
| JP2005250322A (ja) | 表示装置 | |
| KR102333976B1 (ko) | 사용자 인식 기반의 영상 제어 장치 및 그 동작방법 | |
| JP2009048513A (ja) | 電子機器およびプログラム | |
| US20120288251A1 (en) | Systems and methods for utilizing object detection to adaptively adjust controls | |
| US20140152893A1 (en) | Creating presentations by capturing the content of a computer generated virtual secondary display | |
| JP2010263374A (ja) | 記録再生装置及び記録再生方法 | |
| TW201739490A (zh) | 自動剪輯影像方法與電子裝置 | |
| CN115567729A (zh) | 直播视频的生成方法、装置、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |