[go: up one dir, main page]

TWI866797B - 基於動作調整顯示區域的電子裝置和方法 - Google Patents

基於動作調整顯示區域的電子裝置和方法 Download PDF

Info

Publication number
TWI866797B
TWI866797B TW113107047A TW113107047A TWI866797B TW I866797 B TWI866797 B TW I866797B TW 113107047 A TW113107047 A TW 113107047A TW 113107047 A TW113107047 A TW 113107047A TW I866797 B TWI866797 B TW I866797B
Authority
TW
Taiwan
Prior art keywords
node
image
sub
processor
electronic device
Prior art date
Application number
TW113107047A
Other languages
English (en)
Other versions
TW202534507A (zh
Inventor
翁豪箴
程弘廷
余秉澤
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW113107047A priority Critical patent/TWI866797B/zh
Priority to CN202410305018.6A priority patent/CN120568142A/zh
Priority to US18/642,783 priority patent/US20250272843A1/en
Application granted granted Critical
Publication of TWI866797B publication Critical patent/TWI866797B/zh
Publication of TW202534507A publication Critical patent/TW202534507A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)

Abstract

提供一種基於動作調整顯示區域的電子裝置和方法。方法包含：取得包含第一目標物的第一影像；偵測第一影像以取得第一目標物的第一節點；根據第一節點的第一位移計算第一分數；響應於第一分數大於閾值，根據第一節點產生用於調整第一影像的第一顯示區域的調整指令；以及輸出調整指令。

Description

基於動作調整顯示區域的電子裝置和方法
本發明是有關於一種影像處理技術，且特別是有關於一種基於動作調整顯示區域的電子裝置和方法。
目前，有許多健身應用程式為用戶提供示範影片。用戶可利用手機播放示範影片並跟隨示範影片中教練的動作進行鍛鍊。然而，手機的螢幕尺寸較小，用戶往往無法看清楚影片中教練示範的動作。雖然用戶可以通過操作手機來放大局部影像，但頻繁地操作手機會影響用戶的運動體驗。
本發明提供一種基於動作調整顯示區域的電子裝置和方法，可自動地調整被播放的影像的顯示區域。
本發明的一種基於動作調整顯示區域的電子裝置，包含處理器以及收發器。收發器取得包含第一目標物的第一影像。處理器耦接收發器，並且經配置以執行：偵測第一影像以取得第一目標物的第一節點；根據第一節點的第一位移計算第一分數；響應於第一分數大於閾值，根據第一節點產生用於調整第一影像的第一顯示區域的調整指令；以及通過收發器輸出調整指令。
在本發明的一實施例中，上述的處理器更經配置以執行：根據第一目標物的第二節點的第二位移計算第二分數；以及響應於第二分數大於閾值，根據第一節點和第二節點產生調整指令。
在本發明的一實施例中，上述的處理器更經配置以執行：分割第一影像的感興趣區域以取得多個子區域，其中多個子區域包含第一子區域和第二子區域；根據第一影像判斷第一節點位於第一子區域並且第二節點位於第二子區域；以及響應於第二子區域相鄰於第一子區域，根據第一節點和第二節點產生調整指令。
在本發明的一實施例中，上述的多個子區域包含對應於第一目標物的第三節點的第三子區域，其中對應於第三節點的第三分數大於閾值，且處理器更經配置以執行：響應於第一子區域相鄰於第二子區域且第三子區域相鄰於第一子區域和第二子區域的至少其中之一，根據第一節點、第二節點和第三節點產生調整指令。
在本發明的一實施例中，上述的處理器更經配置以執行：根據包含第一子區域的至少一子區域產生第一顯示區域；以及響應於第二子區域與至少一子區域不相鄰，根據第二子區域產生第一影像的第二顯示區域。
在本發明的一實施例中，上述的調整指令指示第一影像的第一顯示區域在第一時段被輸出且第一影像的第二顯示區域在第二時段被輸出。
在本發明的一實施例中，上述的處理器更經配置以執行：響應於第二顯示區域的尺寸與第一顯示區域的尺寸相異，產生包含放大操作或縮小操作的調整指令。
在本發明的一實施例中，上述的處理器更經配置以執行：根據第一子區域與第二子區域的聯集判斷第一顯示區域的邊界。
在本發明的一實施例中，上述的處理器更經配置以執行：通過收發器取得對應於第一影像的第一音訊檔案；判斷第一音訊檔案與第一節點的第一相關性；以及根據第一位移以及第一相關性計算第一分數。
在本發明的一實施例中，上述的處理器更經配置以執行：對第一音訊檔案執行語音轉文本以產生文本；判斷文本中與第一節點相關聯的單詞的數量；以及根據單詞的數量判斷第一相關性。
在本發明的一實施例中，上述的處理器更經配置以執行：根據第一影像的類別判斷第一位移的第一權重以及第一相關性的第二權重；以及根據第一位移、第一權重、第一相關性以及第二權重計算第一分數。
在本發明的一實施例中，上述的處理器更經配置以執行：根據收發器取得包含第二目標物的第二影像；以及根據第二影像產生第一影像的播放控制指令，並且通過收發器輸出播放控制指令。
在本發明的一實施例中，上述的處理器更經配置以執行：偵測第二影像以取得第二目標物的多個肢體節點，其中多個肢體節點包含左手肘節點、右手肘節點、左膝節點以及右膝節點；根據多個肢體節點計算角度，並且判斷角度在預設範圍內；以及響應於角度超出預設範圍，產生用於暫停第一影像的播放控制指令。
在本發明的一實施例中，上述的處理器更經配置以執行：對第二影像中的第二目標物執行臉部辨識以取得多個節點；計算多個節點形成的多邊形的面積變化；以及響應於面積變化的絕對值大於變化閾值，產生用於播放速度控制的播放控制指令。
在本發明的一實施例中，上述的播放控制指令用於降低第一影像的播放速度。
在本發明的一實施例中，上述的處理器更經配置以執行：對第二影像中的第二目標物執行臉部辨識以取得多個節點；計算多個節點形成的多邊形的面積變化；以及根據面積變化產生用於播放速度控制的播放控制指令。
在本發明的一實施例中，上述的處理器更經配置以執行：響應於面積變化大於第一閾值，產生用於降低第一影像的播放速度的播放控制指令；以及響應於面積變化小於或等於第二閾值，產生用於提升第一影像的播放速度的播放控制指令。
在本發明的一實施例中，上述的處理器更經配置以執行：偵測第一影像以取得第一目標物的中心點和身高；以及根據中心點和身高判斷第一影像的感興趣區域。
在本發明的一實施例中，上述的處理器更經配置以執行：通過收發器輸出腳本，其中腳本包含調整指令以及對應於調整指令的第一影像的時間戳。
本發明的一種基於動作調整顯示區域的方法，包含：取得包含第一目標物的第一影像；偵測第一影像以取得第一目標物的第一節點；根據第一節點的第一位移計算第一分數；響應於第一分數大於閾值，根據第一節點產生用於調整第一影像的第一顯示區域的調整指令；以及輸出調整指令。
基於上述，本發明的電子裝置可根據影像中人物的動作來調整影像的顯示區域，使影像的局部細節能更清楚地呈現給用戶。
當用戶在觀看教練的示範影像來進行鍛鍊時，若用戶看不清楚示範影像的局部細節，用戶須通過手動方式操作終端裝置來調整示範影像的顯示區域。用戶的運動體驗將因此受到影響。為了解決上述的問題，本發明提供一種自動地調整影像的顯示區域的方法。
圖1根據本發明的一實施例繪示一種基於動作調整顯示區域的電子裝置100的示意圖。電子裝置100可包含處理器110、儲存媒體120以及收發器130。
處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、影像訊號處理器（image signal processor，ISP）、影像處理單元（image processing unit，IPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。處理器110可耦接至儲存媒體120以及收發器130，並且存取和執行儲存於儲存媒體120中的多個模組和各種應用程式。
儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組或各種應用程式。
收發器130以無線或有線的方式傳送或接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。處理器110可通過收發器130與外部電子裝置通訊連接。
圖2根據本發明的一實施例繪示腳本的產生和應用的示意圖。電子裝置100可通過收發器130通訊連接至雲端伺服器500以及一或多個終端裝置（例如：終端裝置300或終端裝置400）。
用戶可操作終端裝置300播放包含目標物20（如圖3所示）的示範影像，其中所述目標物20例如是教導用戶如何進行鍛鍊的教練。此外，終端裝置300可擷取包含目標物30的用戶影像，其中目標物30例如是進行鍛鍊的用戶（即：終端裝置300的持有者）。終端裝置300可將用戶影像傳送給電子裝置100。
電子裝置100可通過收發器130接收包含目標物20（例如：教練）的示範影像（例如：從網際網路下載示範影像，例如：有氧舞蹈示範影片或瑜珈教學影片等）或接收包含目標物30（例如：用戶）的用戶影像。電子裝置100可根據示範影像來產生調整指令，或可根據用戶影像來產生播放控制指令。電子裝置100可通過收發器130傳送調整指令或播放控制指令給終端裝置300。終端裝置300可根據調整指令來調整示範影像的顯示區域，或可根據播放控制指令來控制示範影像的播放。
在一實施例中，調整指令可包含但不限於放大（zoom in）指令、縮小（zoom out）指令或平移（pan）指令。
在一實施例中，播放控制指令可包含但不限於快轉（fast forward）指令、倒帶（rewind）指令、慢動作（slow motion）指令、暫停（pause）指令或（恢復）播放（（resume）play）指令。
圖3根據本發明的一實施例繪示示範影像的感興趣區域50的示意圖。在接收到包含目標物20（例如：教練）的示範影像後，處理器110可執行物件偵測以偵測示範影像，進而取得目標物20（例如：教練）的中心點C以及身高H。處理器110可根據目標物20（例如：教練）的中心點C以及身高H來判斷示範影像的感興趣區域50。舉例來說，感興趣區域50的上邊界（或下邊界）與目標物20（例如：教練）之間的最短距離可為B*H，其中B可為預設權重。感興趣區域50的左邊界（或右邊界）與中心點C之間的距離可為A*H，其中A可為預設權重。
處理器110可執行物件偵測以偵測示範影像的感興趣區域50，進而取得目標物20（例如：教練）的一或多個節點（joint）。舉例來說，處理器110可取得對應於目標物20（例如：教練）的右手掌的節點21、對應於目標物20（例如：教練）的右手肘的節點22、對應於目標物20（例如：教練）的左手掌的節點23或對應於目標物20（例如：教練）的左腳掌的節點24。須注意的是，目標物20（例如：教練）可具有未在圖3~圖5示出的一或多個節點。
處理器110可根據節點的位移計算對應於節點的分數。在一實施例中，節點的位移可與節點的分數成正比。也就是說，位移較大的節點可具有較高的分數。
在一實施例中，節點的分數可關聯於與示範影像同步的音訊檔案。處理器110可通過收發器130取得與示範影像同步的音訊檔案。處理器110可判斷音訊檔案與節點的相關性，並可根據節點的位移和節點的相關性計算節點的分數。具體來說，處理器110可對音訊檔案執行語音轉文本（speech to text，STT）以產生文本。接著，處理器110可判斷文本中與節點相關聯的單詞的數量，進而根據相關聯的單詞的數量判斷節點與音訊檔案的相關性。舉例來說，若示範影片中的教練持續覆誦「轉動你的右手掌」的指示，則處理器110可基於音訊檔案的文本中出現多次「右手掌」的單詞而判斷音訊檔案與節點21具有高相關性。
在一實施例中，儲存媒體120可預存查找表，其中查找表可包含一或多個單詞與預設單詞之間的映射關係。假設音訊檔案中的文本中出現了與預設單詞具有映射關係的多個單詞。處理器110可根據所述多個單詞的數量判斷節點與音訊檔案的相關性。舉例來說，查找表可記載「屁股」、「尾椎」或「坐骨」等單詞與預設單詞「臀部」之間的映射關係。若音訊檔案中的文本出現一次「尾椎」和兩次「坐骨」，則處理器110可根據數量「3」來判斷音訊檔案與對應於「臀部」的節點之間的相關性。
在根據節點的位移和相關性計算節點的分數時，位移與相關性可分別具有各自的權重。處理器110可根據位移、位移的權重、相關性和相關性的權重來計算節點的分數。在一實施例中，處理器110可根據示範影像的類別判斷位移的權重或相關性的權重。舉例來說，若示範影像的主題為健身指導，代表示範影像中的教練可能經常以聲音向用戶發出指示。據此，處理器110可提高節點的相關性的權重並降低節點的位移的權重，藉以加強音訊檔案對節點的分數計算的影響。
處理器110可根據節點的分數判斷節點是否可用於產生示範影像的顯示區域的調整指令。若節點所對應的分數大於閾值，則處理器110可判斷所述節點可用於產生調整指令。若節點所對應的分數小於或等於閾值，則處理器110可判斷所述節點不可用於產生調整指令。舉例來說，若節點21的分數大於閾值且節點22的分數小於或等於閾值，則處理器110可根據節點21而不根據節點22來產生調整指令。舉另一例來說，若節點21的分數大於閾值且節點22的分數也大於閾值，則處理器110可根據節點21和節點22來產生調整指令。
處理器110可分割示範影像的感興趣區域50以取得多個子區域（例如：網格），並可判斷在當前各個節點所在的子區域。舉例來說，處理器110可判斷節點21位於子區域51、節點22位於子區域52、節點23位於子區域53或節點24位於子區域54。以下將分數大於閾值的節點所在的子區域稱為受選子區域。
圖4根據本發明的一實施例繪示顯示區域的調整的示意圖。處理器110可根據彼此相鄰的受選子區域來產生相對應的顯示區域。若多個受選子區域被用於產生顯示區域的調整指令，則所述多個受選子區域的其中之一須與所述多個受選子區域中的一或多個其他子區域相鄰。舉例來說，假設子區域51、52、53和54均為受選子區域。處理器110可基於子區域52與子區域51相鄰而判斷子區域51和子區域52可用於產生顯示區域510的調整指令，其中顯示區域510對應於時間戳（N-1）。此外，處理器110可基於子區域53與子區域51相鄰而判斷子區域53也可用於產生顯示區域510的調整指令。由於子區域54不與子區域51、52或53的任一者相鄰，故處理器110可判斷子區域54不可用於產生顯示區域510的調整指令。
在一實施例中，若多個受選子區域對應於顯示區域，則處理器110可根據所述多個受選子區域的聯集來判斷所述顯示區域的邊界。舉例來說，處理器110可根據包含子區域51、52和53的多個受選子區域的聯集來判斷顯示區域510的邊界。由於子區域51或子區域52位於聯集的上邊界，故處理器110可根據子區域51或子區域52來判斷顯示區域510的上邊界。
當示範影像的時間戳從（N-1）前進至（N）時，處理器110可為對應於時間戳（N）的示範影像產生新的顯示區域520。對應於顯示區域520的多個受選子區域例如包含子區域51、52、53和54。處理器110可根據對應於時間戳（N-1）的顯示區域510和對應於時間戳（N）的顯示區域520來產生調整指令。舉例來說，處理器110可基於顯示區域520的尺寸大於顯示區域510的尺寸而產生縮小指令，使得終端裝置300的顯示器能夠完整地顯示整個顯示區域520。此外，處理器110可基於顯示區域520的中心點與顯示區域510的中心點相異而產生平移指令。
處理器110可在相同時段內產生示範影像的多個顯示區域，且一顯示區域的受選子區域不與另一顯示區域的受選子區域相鄰。圖5根據本發明的一實施例繪示顯示區域的調整的示意圖。處理器110可基於包含子區域51、52和53的多個受選子區域產生顯示區域530，並可基於包含子區域54的多個受選子區域產生顯示區域540，其中顯示區域540的受選子區域（例如：子區域54）不與顯示區域540的受選子區域（例如：子區域51、52或53）相鄰。
處理器110可根據示範影像的多個顯示區域產生調整指令，其中調整指令可用於指示終端裝置（例如：終端裝置300）在不同的時段輸出不同的顯示區域。舉例來說，調整指令可指示終端裝置300在時段（M-1）時輸出顯示區域530中的影像，並在時段（M）時輸出顯示區域540中的影像。
在一實施例中，處理器110可基於示範影像的多個顯示區域具有相異的中心點而產生平移指令。舉例來說，處理器110可基於顯示區域540的中心點與顯示區域530的中心點相異而產生平移指令。終端裝置300可根據平移指令將輸出的影像從顯示區域530平移到顯示區域540。
在一實施例中，處理器110可基於示範影像的多個顯示區域具有相異的尺寸而產生用於放大操作或縮小操作的調整指令。舉例來說，處理器110可基於顯示區域540的尺寸大於顯示區域530的尺寸而產生縮小指令。終端裝置300可根據縮小指令對輸出的影像執行縮小操作。據此，用戶可在時段（M-1）時觀看到示範影像的較小局部（具有較清楚的細節或較高的解析度）且在時段（M）時觀看到示範影像的較大局部（具有較不清楚的細節或較低的解析度）。
處理器110可根據包含目標物30（即：終端裝置300的用戶）的用戶影像來產生播放控制指令。圖6根據本發明的一實施例繪示目標物30（例如：用戶）的示意圖。在一實施例中，處理器110可根據用戶影像判斷目標物30（例如：用戶）是否仍在觀看終端裝置300或已經遠離了終端裝置300，進而判斷是否指示終端裝置300暫停播放示範影像。具體來說，處理器110可對用戶影像執行物件偵測以取得目標物30（例如：用戶）的多個肢體（limb）節點，其中多個肢體節點可包含代表左手肘的節點31、代表右手肘的節點32、代表左膝的節點33以及代表右膝的節點34。處理器110可根據多個肢體節點計算角度，並判斷角度是否在預設範圍內。若角度在預設範圍內，則處理器110可判斷目標物30（例如：用戶）仍待在終端裝置300前（即：目標物30仍出現在終端裝置300所擷取的用戶影像中）。據此，處理器110可不指示終端裝置300暫停播放示範影像。若角度超出預設範圍，則處理器110可判斷目標物30已經遠離終端裝置300（即：目標物30未出現在終端裝置300所擷取的用戶影像中）。據此，處理器110可產生暫停指令，其中暫停指令可指示終端裝置300暫停播放示範影像。處理器110可根據公式（1）和公式（2）計算角度 和角度 ，並可根據公式（3）判斷角度 或角度 是否超出預設範圍，其中 為節點31的座標， 為節點32的座標， 為節點33的座標，且 為節點34的座標。若公式（3）不成立，則處理器110可產生暫停指令。公式（3）的預設範圍10~180度例如是基於不同人員之肢體節點的多個影像樣本所確定的。 …(1) …(2) …(3)
處理器110可根據目標物30（例如：用戶）的表情判斷是否產生用於播放速度控制（例如：快轉、倒帶或慢動作）的播放控制指令。具體來說，處理器110可對用戶影像中的目標物30（例如：用戶）的臉部35執行臉部辨識以取得多個節點，例如代表左眼的節點41、代表右眼的節點42、代表左嘴角的節點43和代表右嘴角的節點44。處理器110可計算多個節點所形成的多邊形40的面積變化。若面積變化的絕對值大於變化閾值的時間大於時間閾值，則代表目標物30（例如：用戶）可能對示範影像感到驚訝或困惑。據此，處理器110可產生用於降低播放速度的播放控制指令（例如：慢動作指令）。若面積變化的絕對值小於或等於變化閾值，或面積變化的絕對值大於變化閾值的時間小於或等於時間閾值，則處理器110可不產生用於播放速度控制的播放控制指令。處理器110可根據公式（4）計算多邊形40在時間點t的面積 ，並可根據公式（5）計算多邊形40在時段( )期間的面積變化 ，其中 代表節點31的座標， 代表節點32的座標， 代表節點33的座標，且 代表節點34的座標。 …(4) …(5)
在一實施例中，處理器110可根據多邊形40的面積變化 判斷目標物30（例如：用戶）的臉部是否接近或遠離播放示範影像的播放裝置（例如：終端裝置300）。若面積變化 大於閾值，代表目標物30（例如：用戶）可能看不清楚示範影像而導致目標物30（例如：用戶）須將臉部往播放裝置靠近。據此，處理器110可產生用於降低播放速度的播放控制指令（例如：慢動作指令），使用戶更容易看清楚示範影片的細節。若面積變化 小於或等於閾值，代表目標物30（例如：用戶）並未看不清楚示範影像故未將臉部往播放裝置靠近。據此，處理器110可產生用於提升（或恢復）播放速度的播放控制指令。
在一實施例中，處理器110可基於例如機器學習技術對用戶影像中的目標物30（例如：用戶）的臉部35執行表情辨識，並且根據表情辨識的辨識結果產生用於播放速度控制（例如：快轉、倒帶或慢動作）的播放控制指令。例如，若表情辨識的辨識結果指示用戶處於困惑的狀態，則處理器110可產生用於降低播放速度的播放控制指令（例如：慢動作指令），使用戶更容易看清楚示範影片的細節。
參照圖2，在一實施例中，在產生調整指令或播放控制指令後，處理器110可產生對應於示範影像的腳本，其中腳本可包含調整指令或播放控制指令，且可包含對應於調整指令或播放控制指令的時間戳。處理器110可將腳本上傳至雲端伺服器500以供其他用戶下載。舉例來說，終端裝置400可從雲端伺服器500下載腳本。終端裝置400可在播放示範影像時執行腳本以調整示範影像的顯示區域或播放方式。據此，終端裝置400不需要與電子裝置100進行資料傳輸也可自動地調整示範影像的播放。
圖7根據本發明的一實施例繪示一種基於動作調整顯示區域的方法的流程圖，其中所述方法可由如圖1所示的電子裝置100實施。在步驟S701中，取得包含第一目標物的第一影像。在步驟S702中，偵測第一影像以取得第一目標物的第一節點。在步驟S703中，根據第一節點的第一位移計算第一分數。在步驟S704中，響應於第一分數大於閾值，根據第一節點產生用於調整第一影像的第一顯示區域的調整指令。在步驟S705中，輸出調整指令。
綜上所述，本發明的電子裝置可根據被播放的影像中人物的動作來判斷影像中的哪個區域為用戶關注的重要顯示區域。電子裝置還可進一步根據影像的音訊來判斷重要顯示區域。在取得重要顯示區域後，電子裝置可根據重要顯示區域來輸出指令，藉以調整用戶的終端裝置所播放之影像的播放方式。本發明為用戶提供便利的影像播放方法。用戶不需要手動操作終端裝置來改變終端裝置所播放之影像的顯示區域。
100:電子裝置 110:處理器 120:儲存媒體 130:收發器 20,30:目標物 21,22,23,24,31,32,33,34,41,42,43,44:節點 300,400:終端裝置 35:臉部 40:多邊形 50:感興趣區域 500:雲端伺服器 51,52,53,54:子區域 510,520,530,540:顯示區域 A,B:權重 C:中心點 H:身高 S701,S702,S703,S704,S705:步驟
圖1根據本發明的一實施例繪示一種基於動作調整顯示區域的電子裝置的示意圖。 圖2根據本發明的一實施例繪示腳本的產生和應用的示意圖。 圖3根據本發明的一實施例繪示示範影像的感興趣區域的示意圖。 圖4根據本發明的一實施例繪示顯示區域的調整的示意圖。 圖5根據本發明的一實施例繪示顯示區域的調整的示意圖。 圖6根據本發明的一實施例繪示目標物的示意圖。 圖7根據本發明的一實施例繪示一種基於動作調整顯示區域的方法的流程圖。
S701,S702,S703,S704,S705:步驟

Claims (20)

  1. 一種基於動作調整顯示區域的電子裝置，包括： 收發器，取得包括第一目標物的第一影像；以及 處理器，耦接所述收發器，並且經配置以執行： 偵測所述第一影像以取得所述第一目標物的第一節點； 根據所述第一節點的第一位移計算第一分數； 響應於所述第一分數大於閾值，根據所述第一節點產生用於調整所述第一影像的第一顯示區域的調整指令；以及 通過所述收發器輸出所述調整指令。
  2. 如請求項1所述的電子裝置，其中所述處理器更經配置以執行： 根據所述第一目標物的第二節點的第二位移計算第二分數；以及 響應於所述第二分數大於所述閾值，根據所述第一節點和所述第二節點產生所述調整指令。
  3. 如請求項2所述的電子裝置，其中所述處理器更經配置以執行： 分割所述第一影像的感興趣區域以取得多個子區域，其中所述多個子區域包括第一子區域和第二子區域； 根據所述第一影像判斷所述第一節點位於所述第一子區域並且所述第二節點位於所述第二子區域；以及 響應於所述第二子區域相鄰於所述第一子區域，根據所述第一節點和所述第二節點產生所述調整指令。
  4. 如請求項3所述的電子裝置，其中所述多個子區域包括對應於所述第一目標物的第三節點的第三子區域，其中對應於所述第三節點的第三分數大於所述閾值，且所述處理器更經配置以執行： 響應於所述第一子區域相鄰於所述第二子區域且所述第三子區域相鄰於所述第一子區域和所述第二子區域的至少其中之一，根據所述第一節點、所述第二節點和所述第三節點產生所述調整指令。
  5. 如請求項3所述的電子裝置，其中所述處理器更經配置以執行： 根據包括所述第一子區域的至少一子區域產生所述第一顯示區域；以及 響應於所述第二子區域與所述至少一子區域不相鄰，根據所述第二子區域產生所述第一影像的第二顯示區域。
  6. 如請求項5所述的電子裝置，其中所述調整指令指示所述第一影像的所述第一顯示區域在第一時段被輸出且所述第一影像的所述第二顯示區域在第二時段被輸出。
  7. 如請求項6所述的電子裝置，其中所述處理器更經配置以執行： 響應於所述第二顯示區域的尺寸與所述第一顯示區域的尺寸相異，產生包括放大操作或縮小操作的所述調整指令。
  8. 如請求項3所述的電子裝置，其中所述處理器更經配置以執行： 根據所述第一子區域與所述第二子區域的聯集判斷所述第一顯示區域的邊界。
  9. 如請求項1所述的電子裝置，其中所述處理器更經配置以執行： 通過所述收發器取得對應於所述第一影像的第一音訊檔案； 判斷所述第一音訊檔案與所述第一節點的第一相關性；以及 根據所述第一位移以及所述第一相關性計算所述第一分數。
  10. 如請求項9所述的電子裝置，其中所述處理器更經配置以執行： 對所述第一音訊檔案執行語音轉文本以產生文本； 判斷所述文本中與所述第一節點相關聯的單詞的數量；以及 根據所述單詞的所述數量判斷所述第一相關性。
  11. 如請求項9所述的電子裝置，其中所述處理器更經配置以執行： 根據所述第一影像的類別判斷所述第一位移的第一權重以及所述第一相關性的第二權重；以及 根據所述第一位移、所述第一權重、所述第一相關性以及所述第二權重計算所述第一分數。
  12. 如請求項1所述的電子裝置，其中所述處理器更經配置以執行： 根據所述收發器取得包括第二目標物的第二影像；以及 根據所述第二影像產生所述第一影像的播放控制指令，並且通過所述收發器輸出所述播放控制指令。
  13. 如請求項12所述的電子裝置，其中所述處理器更經配置以執行： 偵測所述第二影像以取得所述第二目標物的多個肢體節點，其中所述多個肢體節點包括左手肘節點、右手肘節點、左膝節點以及右膝節點； 根據所述多個肢體節點計算角度，並且判斷所述角度在預設範圍內；以及 響應於所述角度超出所述預設範圍，產生用於暫停所述第一影像的所述播放控制指令。
  14. 如請求項1所述的電子裝置，其中所述處理器更經配置以執行： 對所述第二影像中的所述第二目標物執行臉部辨識以取得多個節點； 計算所述多個節點形成的多邊形的面積變化；以及 響應於所述面積變化的絕對值大於變化閾值，產生用於播放速度控制的所述播放控制指令。
  15. 如請求項14所述的電子裝置，其中所述播放控制指令用於降低所述第一影像的播放速度。
  16. 如請求項1所述的電子裝置，其中所述處理器更經配置以執行： 對所述第二影像中的所述第二目標物執行臉部辨識以取得多個節點； 計算所述多個節點形成的多邊形的面積變化；以及 根據所述面積變化產生用於播放速度控制的所述播放控制指令。
  17. 如請求項16所述的電子裝置，其中所述處理器更經配置以執行： 響應於所述面積變化大於第一閾值，產生用於降低所述第一影像的播放速度的所述播放控制指令；以及 響應於所述面積變化小於或等於第二閾值，產生用於提升所述第一影像的播放速度的所述播放控制指令。
  18. 如請求項1所述的電子裝置，其中所述處理器更經配置以執行： 偵測所述第一影像以取得所述第一目標物的中心點和身高；以及 根據所述中心點和所述身高判斷所述第一影像的感興趣區域。
  19. 如請求項1所述的電子裝置，其中所述處理器更經配置以執行： 通過所述收發器輸出腳本，其中所述腳本包括所述調整指令以及對應於所述調整指令的所述第一影像的時間戳。
  20. 一種基於動作調整顯示區域的方法，包括： 取得包括第一目標物的第一影像； 偵測所述第一影像以取得所述第一目標物的第一節點； 根據所述第一節點的第一位移計算第一分數； 響應於所述第一分數大於閾值，根據所述第一節點產生用於調整所述第一影像的第一顯示區域的調整指令；以及 輸出所述調整指令。
TW113107047A 2024-02-27 2024-02-27 基於動作調整顯示區域的電子裝置和方法 TWI866797B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW113107047A TWI866797B (zh) 2024-02-27 2024-02-27 基於動作調整顯示區域的電子裝置和方法
CN202410305018.6A CN120568142A (zh) 2024-02-27 2024-03-18 基于动作调整显示区域的电子装置和方法
US18/642,783 US20250272843A1 (en) 2024-02-27 2024-04-22 Electronic device and method for adjusting display region based on motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW113107047A TWI866797B (zh) 2024-02-27 2024-02-27 基於動作調整顯示區域的電子裝置和方法

Publications (2)

Publication Number Publication Date
TWI866797B true TWI866797B (zh) 2024-12-11
TW202534507A TW202534507A (zh) 2025-09-01

Family

ID=94769332

Family Applications (1)

Application Number Title Priority Date Filing Date
TW113107047A TWI866797B (zh) 2024-02-27 2024-02-27 基於動作調整顯示區域的電子裝置和方法

Country Status (3)

Country Link
US (1) US20250272843A1 (zh)
CN (1) CN120568142A (zh)
TW (1) TWI866797B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201129948A (en) * 2010-02-25 2011-09-01 Univ Nat Cheng Kung Motion reconstruction and comparison apparatus
CN106648118A (zh) * 2017-01-25 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的虚拟教学方法与终端设备
CN110045823A (zh) * 2019-03-12 2019-07-23 北京邮电大学 一种基于动作捕捉的动作指导方法和装置
TW202201183A (zh) * 2020-06-16 2022-01-01 國立臺北科技大學 動作判斷方法及系統
CN114356100A (zh) * 2022-01-13 2022-04-15 上海健指树智能系统有限公司 健身动作指导方法、装置、电子设备及存储介质
CN115712405A (zh) * 2021-08-18 2023-02-24 广州源动智慧体育科技有限公司 一种画面呈现方法、装置、智能健身显示设备及存储介质
CN116434345A (zh) * 2023-05-09 2023-07-14 北京维艾狄尔信息科技有限公司 基于体感的太极运动匹配方法、系统、终端及存储介质
CN117520577A (zh) * 2022-07-29 2024-02-06 深圳市超级猩猩健身管理有限公司 动作评估方法、电子设备及计算机可读存储装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201129948A (en) * 2010-02-25 2011-09-01 Univ Nat Cheng Kung Motion reconstruction and comparison apparatus
CN106648118A (zh) * 2017-01-25 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的虚拟教学方法与终端设备
CN110045823A (zh) * 2019-03-12 2019-07-23 北京邮电大学 一种基于动作捕捉的动作指导方法和装置
TW202201183A (zh) * 2020-06-16 2022-01-01 國立臺北科技大學 動作判斷方法及系統
CN115712405A (zh) * 2021-08-18 2023-02-24 广州源动智慧体育科技有限公司 一种画面呈现方法、装置、智能健身显示设备及存储介质
CN114356100A (zh) * 2022-01-13 2022-04-15 上海健指树智能系统有限公司 健身动作指导方法、装置、电子设备及存储介质
CN117520577A (zh) * 2022-07-29 2024-02-06 深圳市超级猩猩健身管理有限公司 动作评估方法、电子设备及计算机可读存储装置
CN116434345A (zh) * 2023-05-09 2023-07-14 北京维艾狄尔信息科技有限公司 基于体感的太极运动匹配方法、系统、终端及存储介质

Also Published As

Publication number Publication date
TW202534507A (zh) 2025-09-01
US20250272843A1 (en) 2025-08-28
CN120568142A (zh) 2025-08-29

Similar Documents

Publication Publication Date Title
JP7095722B2 (ja) 情報処理装置およびプログラム
CN110178158B (zh) 信息处理装置、信息处理方法和记录介质
JP6773190B2 (ja) 情報処理システム、制御方法、および記憶媒体
JP7457806B2 (ja) レンズ分割の実現方法、装置および関連製品
WO2020107904A1 (zh) 一种视频特效添加方法、装置、终端设备及存储介质
JP5827445B2 (ja) 拡張現実インタラクションを実現する方法およびシステム
JP2023022090A (ja) 反応型映像生成方法及び生成プログラム
CN108875539B (zh) 表情匹配方法、装置和系统及存储介质
US10049483B2 (en) Apparatus and method for generating animation
EP2840463A1 (en) Haptically enabled viewing of sporting events
TW202016691A (zh) 移動設備和相關視訊編輯方法
KR20200015890A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
BR112016010408B1 (pt) Dispositivo de usuário e meio legível por computador
TWI866797B (zh) 基於動作調整顯示區域的電子裝置和方法
JP2016513991A (ja) ハプティックアクチュエータ制御パラメータを有するオーディオビジュアルコンテンツのアイテムを再生するための方法、および方法を実施するデバイス
JP2021077218A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN207493103U (zh) 交互式复健运动系统
CN115811590A (zh) 行动影音装置及影音播放控制方法
JP7005970B2 (ja) 情報処理装置及びプログラム
JP2022129615A (ja) 運動支援システム及び運動支援方法
US12457404B2 (en) Imaging apparatus, information processing apparatus, information processing method, and program
KR20200076259A (ko) 4d 모델 기반 홈 트레이닝 방법 및 시스템
WO2025215960A1 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
CN112887588B (zh) 生成视频的方法和设备
JP2024071015A (ja) 情報処理装置、情報処理方法およびプログラム