[go: up one dir, main page]

TWI610221B - 螢幕播送方法以及使用該方法的系統與裝置 - Google Patents

螢幕播送方法以及使用該方法的系統與裝置 Download PDF

Info

Publication number
TWI610221B
TWI610221B TW103120980A TW103120980A TWI610221B TW I610221 B TWI610221 B TW I610221B TW 103120980 A TW103120980 A TW 103120980A TW 103120980 A TW103120980 A TW 103120980A TW I610221 B TWI610221 B TW I610221B
Authority
TW
Taiwan
Prior art keywords
screen
input
screen broadcast
image
source
Prior art date
Application number
TW103120980A
Other languages
English (en)
Other versions
TW201601058A (zh
Inventor
廖芳文
陳炳宏
苗本泰
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW103120980A priority Critical patent/TWI610221B/zh
Priority to CN201410312476.9A priority patent/CN105320480B/zh
Priority to US14/574,657 priority patent/US10327027B2/en
Publication of TW201601058A publication Critical patent/TW201601058A/zh
Application granted granted Critical
Publication of TWI610221B publication Critical patent/TWI610221B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明的實施例提出一種螢幕播送方法，由螢幕播送來源中的處理單元執行，包含以下步驟。當螢幕播送來源連接螢幕播送接收端後，擷取顯示於螢幕播送來源的顯示單元上的第一畫面影像。傳送第一畫面影像以及第一畫面影像中之第一輸入元件的位置資訊給螢幕播送接收端，使得螢幕播送接收端能夠依據第一畫面影像以及位置資訊繪製第二畫面影像，其中，第二畫面影像包含擁有輸入字串的第二輸入元件。

Description

螢幕播送方法以及使用該方法的系統與裝置
本發明關連於一種螢幕播送技術，特別是一種螢幕播送方法以及使用該方法的系統與裝置。
螢幕播送(screencasting)技術可利用有線或無線的方式傳送視訊至桌上型電腦、平板電腦、手機等裝置，或從這些裝置接收視訊。例如，螢幕播送技術讓使用者可即時地將手機或平板電腦的畫面複製顯示在電視上，或者即時分享筆記型電腦的畫面至會議室投影機。傳送及接收裝置都必須支援螢幕播送才能致能此技術。傳送裝置又可稱為螢幕播送來源，提供複製的電腦畫面給接收裝置進行播放，接收裝置又可稱為螢幕播送接收端。使用者可透過設置於接收裝置的輸入設備進行訊息輸入，例如鍵盤、按鍵板等。傳統上，輸入的訊息無法直接在接收裝置的顯示單元上更新畫面。接收裝置需要將輸入訊息送給傳送裝置，驅使傳送裝置更新自己的電腦畫面，接著，傳送裝置提供更新後的電腦畫面以供顯示。然而，如上所述的訊息交換會降低接收裝置的畫面更新效率。因此，需要一種螢幕播送方法以及使用該方法的裝置，解決以上所述的缺陷。
本發明的實施例提出一種螢幕播送方法，由螢幕 播送來源中的處理單元執行，包含以下步驟。當螢幕播送來源連接螢幕播送接收端後，擷取顯示於螢幕播送來源的顯示單元上的第一畫面影像。傳送第一畫面影像以及第一畫面影像中之第一輸入元件的位置資訊給螢幕播送接收端，使得螢幕播送接收端能夠依據第一畫面影像以及位置資訊繪製第二畫面影像，其中，第二畫面影像包含擁有輸入字串的第二輸入元件。
本發明的實施例提出一種螢幕播送方法，由螢幕播送接收端中的處理單元執行，包含以下步驟。當螢幕播送來源連接螢幕播送接收端後，從螢幕播送來源接收於螢幕播送來源的第一顯示單元所顯示的第一畫面影像以及第一畫面影像中之第一輸入元件的位置資訊；取得使用者透過螢幕播送接收端的輸入裝置輸入的字串；將字串合併至第二輸入元件；依據位置資訊將第二輸入元件合併至第一畫面影像來產生第二畫面影像；以及將第二畫面影像顯示於螢幕播送接收端的第二顯示單元。
本發明的實施例提出一種螢幕播送系統，包含螢幕播送來源。螢幕播送來源包含顯示單元，用以顯示第一畫面影像，以及處理單元。當螢幕播送來源連接螢幕播送接收端後，處理單元擷取第一畫面影像；傳送第一畫面影像以及第一畫面影像中之第一輸入元件的位置資訊給螢幕播送接收端，使得螢幕播送接收端能夠依據第一畫面影像以及位置資訊繪製第二畫面影像，第二畫面影像包含擁有輸入字串的第二輸入元件。
本發明的實施例提出一種螢幕播送裝置，作為螢 幕播送接收端，包含：第一顯示單元；輸入裝置；以及處理單元。當螢幕播送來源連接螢幕播送接收端後，處理單元從螢幕播送來源接收於螢幕播送來源的第二顯示單元所顯示的第一畫面影像以及第一畫面影像中之第一輸入元件的位置資訊；取得使用者透過輸入裝置輸入的字串；將字串合併至第二輸入元件；依據位置資訊將第二輸入元件合併至第一畫面影像來產生第二畫面影像；以及將第二畫面影像顯示於第一顯示單元。
110‧‧‧手機
130‧‧‧桌上型電腦
131‧‧‧主機
133‧‧‧顯示裝置
135‧‧‧鍵盤
151‧‧‧手機螢幕畫面
153‧‧‧手機螢幕畫面
210‧‧‧處理單元
220‧‧‧顯示單元
230‧‧‧輸入裝置
240‧‧‧儲存裝置
250‧‧‧記憶體
260‧‧‧通訊介面
S311~S315‧‧‧方法步驟
S411~S453‧‧‧瀏覽列
500‧‧‧畫面影像
510‧‧‧輸入框
510p‧‧‧起始座標
510h‧‧‧高度
510w‧‧‧寬度
530‧‧‧提交按鈕
550‧‧‧虛擬鍵盤
S611~S657‧‧‧方法步驟
S711~S753‧‧‧方法步驟
811‧‧‧系統按鍵事件
813‧‧‧畫面繪製器
821‧‧‧螢幕播送接收端應用程式
823‧‧‧輸入按鍵碼接收模組
825‧‧‧輸入元件產生模組
827‧‧‧螢幕畫面接收模組
829‧‧‧合成模組
831‧‧‧核心繪圖驅動程式
841‧‧‧外觀投遞員
851‧‧‧外觀架構
861‧‧‧螢幕播送來源應用程式
863‧‧‧位置資訊傳送模組
865‧‧‧螢幕畫面傳送模組
911、913‧‧‧畫面影像
911a‧‧‧輸入框
921、923‧‧‧輸入框
931‧‧‧輸入字串
第1圖係依據本發明實施例之螢幕播送系統的系統架構圖。
第2圖係依據本發明實施例的電子裝置的系統架構圖。
第3圖係依據本發明實施例之執行於手機中之處理單元的畫面影像的傳送方法流程圖。
第4圖係依據本發明實施例之執行於手機中之處理單元的輸入元件資訊的傳送方法流程圖。
第5圖係依據本發明實施例之畫面影像。
第6圖係依據本發明實施例之執行於桌上型電腦中之處理單元的畫面影像的繪製方法流程圖。
第7圖係依據本發明實施例之執行於桌上型電腦中之處理單元的輸入元件資訊的接收方法流程圖。
第8圖係依據本發明實施例之螢幕播送系統的軟體架構示意圖。
第9圖係依據本發明實施例之畫面影像產生示意圖。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
本發明實施例運行於螢幕播送系統。第1圖係依據本發明實施例之螢幕播送系統的系統架構圖，包含手機110及桌上型電腦130。桌上型電腦可包含主機131、顯示裝置133及鍵盤135。手機110及顯示裝置133具有顯示面板(例如，薄膜液晶顯示面板、有機發光二極體面板或其他具顯示能力的面板)，用以顯示輸入的字元、數字、符號、拖曳鼠標的移動軌跡、繪製的圖案或應用程式所提供的畫面，提供給使用者觀看。手機110可使用無線通訊的方式(例如，無線高保真直連Wi-Fi Connect、藍芽Bluetooth等)連接上桌上型電腦130，並且使用螢幕播送技術(例如無線影像傳輸Miracast等)將畫面151 複製顯示在顯示裝置130的區域153。手機110又可稱為螢幕播送來源，而桌上型電腦130又可稱為螢幕播送接收端。手機110和桌上型電腦130中的應用程式可運行在不同種類的作業系統上，例如，手機110運行於谷歌(Google®)安卓(Android®)作業系統，而桌上型電腦130運行於微軟(Microsoft®)視窗(Windows®)作業系統。雖然本發明實施例的螢幕播送來源以手機110為例，但熟習此技藝人士亦可以實施在平板電腦、筆記型電腦等可攜式裝置。此外，雖然本發明實施例的螢幕播送接收端以桌上型電腦130為例，但熟習此技藝人士亦可以實施在平板電腦、筆記型電腦等相較於螢幕播送來源具有較大顯示面板的電子裝置。螢幕播送來源與螢幕播送接收端間之連結亦不限於使用無線通訊技術，亦可以有線的方式連接，本發明並不以此為限。
第2圖係依據本發明實施例的電子裝置的系統架構圖。此系統架構可實施於手機110、桌上型電腦130或其他具備運算能力的電子裝置。處理單元210可使用多種方式實施，例如以專用硬體電路或通用硬體(例如，單一處理器、具平行處理能力的多處理器、圖形處理器或其他具運算能力的處理器)，並且在執行程式碼或軟體時，提供之後所描述的功能。系統架構另包含記憶體250用以儲存執行過程中需要的資料，例如，變數、資料表(data tables)等，以及儲存單元240，用以儲存各式各樣的電子檔案，例如，網頁、文件、音訊檔、視訊檔等。系統架構另包含通訊介面260，讓處理單元210可藉以跟其他電子裝置進行溝通。輸入裝置230可包含觸控面板，使用 者可在觸控面板上製造手勢來控制執行中的應用程式手勢可包含單擊、雙擊、單指拖曳、多指拖曳等，但不限定於此。輸入裝置230亦可包含鍵盤以及滑鼠等設備。
第3圖係依據本發明實施例之執行於手機110中之處理單元210的畫面影像的傳送方法流程圖。此方法於手機110連結上桌上型電腦130並開啟螢幕播送功能時週期性地執行。此方法實施於螢幕播送來源的主執行緒(main thread)，當螢幕播送功能被開啟時被處理單元210建立並執行。此方法包含一個周期性執行的迴圈，例如，每秒40次，直到螢幕播送功能失效為止。於每一回合中，處理單元210擷取顯示單元220上的畫面影像(步驟S311)，將畫面影像打包(packetize)並傳送至桌上型電腦130(步驟S313)，以及判斷螢幕播送功能是否失效(步驟S315)。當螢幕播送功能尚未失效時(步驟S315中”否”的路徑)，繼續下一回合的處理；否則(步驟S315中”是”的路徑)，結束整個流程。於步驟S311中，畫面影像可為壓縮影像，例如聯合圖像專家小組(JPEG,Joint Photographic Experts Group)影像，或無壓縮影像。於步驟S313中，畫面影像可打包成使用者資料通訊協定(UDP,User Datagram Protocol)封包，並使用有線或無線通訊方式傳送至桌上型電腦130。於步驟S315中，若手機110與桌上型電腦130之間的連接中斷或螢幕播送功能被使用者關閉，則判定螢幕播送功能失效。
第4圖係依據本發明實施例之執行於手機110中之處理單元210的輸入元件資訊的傳送方法流程圖。此方法實施於螢幕播送來源的輸入元件執行緒(input component thread)， 當包含輸入元件的應用程式初始化時被處理單元210建立並執行。輸入元件可以為輸入框(input box)，用以讓使用者輸入網址、搜尋字串、文字訊息等。第5圖係依據本發明實施例之畫面影像。手機110中之顯示單元220顯示畫面影像500，包含輸入框510、提交按鈕530以及虛擬鍵盤550。首先，處理單元210週期性地判斷輸入元件是否關閉(步驟S411)以及判斷使用者是否選擇輸入元件準備進行輸入(步驟S413)。當判定輸入元件關閉時(步驟S411中”是”的路徑)，結束整個流程。當判定使用者選擇輸入元件準備進行輸入時(步驟S411中”是”的路徑)，執行螢幕播送的文字輸入相關處理(步驟S431至S453)；否則(步驟S411中”否”的路徑)，繼續進行下一回合的判斷。於步驟S411中，舉例來說，當包含輸入框510的應用程式被關閉時，判定輸入元件關閉。於步驟S413中，舉例來說，當偵測到輸入框510被點擊時，則判定使用者選擇輸入元件準備進行輸入。
當判定使用者選擇輸入元件準備進行輸入後(步驟S411中”是”的路徑)，傳送輸入警報(input alarm)至桌上型電腦130，用以通知使用者即將進行輸入(步驟S431)，以及傳送輸入元件的顯示區域資訊給桌上型電腦130，用以讓桌上型電腦130推測出輸入元件位於畫面影像中的何處(步驟S433)。例如，輸入元件的顯示區域資訊可包含輸入框510的起始座標510p(亦即是最左上角的座標)、寬度510w以及高度510h。接著，處理單元210週期性地判斷使用者是否結束輸入(步驟S451)。若是(步驟S451中”是”的路徑)，傳送輸入警報結束(end of input alarm)至桌上型電腦130，用以通知使用者已結束輸入 (步驟S453)；否則(步驟S451中”否”的路徑)，繼續進行下一回合的判斷。於步驟S451中，舉例來說，當偵測到提交按鈕530被點擊時，則判定使用者已結束輸入。於此須注意的是，步驟S431中的輸入警報以及步驟S451中的輸入警報結束可乘載於使用者資料通訊協定封包，並使用有線或無線通訊方式傳送至桌上型電腦130。
第6圖係依據本發明實施例之執行於桌上型電腦130中之處理單元210的畫面影像的繪製方法流程圖。此方法於手機110連結上桌上型電腦130並開啟螢幕播送功能時週期性地執行。此方法實施於螢幕播送接收端的主執行緒，當螢幕播送功能被開啟時被處理單元210建立並執行。此方法包含一個周期性執行的迴圈，例如，每秒40次，直到螢幕播送功能失效為止。於每一回合中，處理單元210解開從手機110傳來的封包並取得其中乘載的畫面影像(步驟S611)，接著判斷輸入警報旗標是否為”真”值(步驟S613)。關於手機110傳送畫面影像的細節請參考之前步驟S313的說明。於步驟S613，當輸入警報旗標為”真”值時，代表使用者正於手機110的畫面中的輸入元件輸入文字、數字或特殊符號。輸入警報旗標的設定將於以下段落詳細描述。當判定輸入警報旗標為”偽”值(步驟S613中”否”的路徑)，繪製取得的畫面影像於顯示單元220(亦即是顯示裝置133)(步驟S631)。於步驟S631中，由於使用者並不進行輸入動作，所以處理單元210可直接將取得的畫面影像繪製到顯示單元220，而不需要在取得的畫面影像上進行任何的處理。當判定輸入警報旗標為”真”值(步驟S613中”是”的路徑)，依據接收 到的輸入元件的顯示區域資訊準備不包含輸入元件的初始畫面影像(步驟S651)，依據接收到的輸入元件的顯示區域資訊準備輸入元件影像(步驟S653)，由本地輸入事件中取得輸入按鍵碼(key code)並據以取得包含文字、數字、特殊符號或以上任意組合的字串(步驟S655)，合成初始畫面影像、輸入元件影像以及字串以產生畫面影像(步驟S657)，以及繪製合成的畫面影像於顯示單元220(步驟S631)。於步驟S651至S657，以及S631中，由於使用者使用桌上型電腦130的輸入裝置230進行輸入動作，所以處理單元210可依據輸入元件的顯示區域資訊重新產生並繪製包含即時輸入字串的畫面影像，提升畫面更新效率。於步驟S655中，桌上型電腦130的處理單元210可將輸入按鍵碼透過有線或無線通訊的方式使用既定的控制頻道傳送給手機110，使得手機110能將相應的字串繪製在畫面影像的輸入元件中。控制頻道可以是使用者輸入回饋頻道(UIBC,User Input Back Channel)。繪製畫面影像於桌上型電腦130的顯示單元220後(步驟S631)，處理單元210判斷螢幕播送功能是否失效(步驟S633)。當螢幕播送功能尚未失效時(步驟S633中”否”的路徑)，繼續下一回合的處理(步驟S633)；否則(步驟S633中”是”的路徑)，結束整個流程。於步驟S633中，若手機110與桌上型電腦130之間的連接中斷或螢幕播送功能被使用者關閉，則判定螢幕播送功能失效。
第7圖係依據本發明實施例之執行於桌上型電腦130中之處理單元210的輸入元件資訊的接收方法流程圖。此方法實施於螢幕播送接收端的輸入警報與資料執行緒(input alarm and data thread)，當包含輸入元件的應用程式初始化時被處理單元210建立並執行。首先，處理單元210判斷是否已從螢幕播送來源接收到任何資料(步驟S711)。若是則繼續進行接收到資料之後的處理(步驟S713至S753)；否則結束整個流程。關於手機110傳送資料的細節請參考之前步驟S431、S433及S453的說明。於此須注意的是，桌上型電腦130的處理單元210會將由手機110接收到的輸入警報、輸入警報結束以及輸入元件的顯示區域資訊儲存於桌上型電腦130的記憶體250或儲存裝置240。當處理單元210偵測到記憶體250或儲存裝置240中儲存了任何輸入警報、輸入警報結束以及輸入元件的顯示區域資訊，判定已從螢幕播送來源接收到資料。
接著，處理單元210判斷已接收的資料中是否包含輸入警報(步驟S713)。若是，則將輸入警報旗標設為”真”值(步驟S731)以及傳送輸入元件的顯示區域資訊給主執行緒(步驟S733)。若判定已接收的資料並不包含輸入警報(步驟S713中”否”的路徑)，處理單元210更判斷資料中是否包含輸入警報結束(步驟S715)。若是，則將輸入警報旗標設為”偽”值(步驟S751)以及清除輸入元件的顯示區域資訊(步驟S753)；否則，繼續進行下一回合的判斷(步驟S711)。
第8圖係依據本發明實施例之螢幕播送系統的軟體架構示意圖。手機110中包含螢幕播送來源應用程式861，用以擷取手機110的顯示單元220上的畫面影像，周期性地傳送畫面影像給桌上型電腦130。螢幕播送來源應用程式861在畫面影像中的顯示元件被使用者選擇之後，傳送輸入元件的位置資訊 給桌上型電腦130。手機110的顯示單元220上的畫面影像透過核心繪圖驅動程式(kernel graphics driver)831、外觀投遞員(SurfaceFlinger)841以及外觀架構(surface framework)851層層傳遞至螢幕播送來源應用程式861。螢幕播送來源應用程式861透過螢幕畫面傳送模組865將擷取到的畫面影像傳送到桌上型電腦130的螢幕畫面接收模組827。螢幕畫面傳送模組865透過用以驅動通訊介面260的通訊驅動程式以有線或無線通訊方式傳送畫面影像。螢幕播送來源應用程式861透過位置資訊傳送模組863將畫面影像中之輸入元件的位置資訊傳送到桌上型電腦130的輸入元件產生模組825。位置資訊傳送模組863透過用以驅動通訊介面260的通訊驅動程式以有線或無線通訊方式傳送輸入元件的位置資訊。畫面影像、輸入元件以及輸入元件的位置資訊可參考第5圖的說明。
桌上型電腦130中包含螢幕播送接收端應用程式821，用以協調輸入元件產生模組825以及螢幕畫面接收模組827依據螢幕播送來源所傳來的輸入元件的位置資訊重新產生包含使用者輸入字串的螢幕播送來源的畫面影像，並且繪製在桌上型電腦130的顯示單元220。使用者使用輸入裝置230進行輸入時，觸發系統按鍵事件(system key event)821。輸入按鍵碼接收模組823接著依據系統按鍵事件811中的按鍵碼產生包含文字、數字、特殊符號或以上任意組合的字串，並分別傳送到合成模組(mixing module)829以及螢幕播送接收端應用程式821。螢幕播送接收端應用程式821將字串透過既定的控制頻道傳送給手機110，例如使用者輸入回饋頻道(UIBC)。合成模組 829從輸入元件產生模組825取得輸入元件的位置資訊，從螢幕畫面接收模組827取得手機110上的畫面影像，以及從輸入按鍵碼接收模組823取得輸入字串後，根據以上取得的畫面影像、位置資訊及輸入字串重新產生包含輸入字串的畫面影像，接著，驅動畫面繪製器(screen drawer)813將新的畫面影像繪製在桌上型電腦130的顯示單元220。第9圖係依據本發明實施例之畫面影像產生示意圖。螢幕畫面接收模組827將接收到的手機110上包含輸入框911a上的畫面影像911傳送給合成模組829。輸入元件產生模組825依據從位置資訊傳送模組863傳來的輸入元件的位置資訊產生輸入框921，並且傳送產生的輸入框921以及輸入元件的位置資訊給合成模組829。合成模組829從輸入按鍵碼接收模組823取得輸入字串931後，將輸入字串931貼到輸入框921來產生新的輸入框923，接著，依據輸入元件的位置資訊將新的輸入框923覆蓋在畫面影像911的輸入框911a上，用以產生新的畫面影像913。
雖然第2圖中包含了以上描述的元件，但不排除在不違反發明的精神下，使用更多其他的附加元件，已達成更佳的技術效果。此外，雖然第3、4、6、7圖的方法流程圖採用特定的順序來執行，但是在不違法發明精神的情況下，熟習此技藝人士可以在達到相同效果的前提下，修改這些步驟間的順序，所以，本發明並不侷限於僅使用如上所述的順序。
雖然本發明使用以上實施例進行說明，但需要注意的是，這些描述並非用以限縮本發明。相反地，此發明涵蓋了熟習此技藝人士顯而易見的修改與相似設置。所以，申請權 利要求範圍須以最寬廣的方式解釋來包含所有顯而易見的修改與相似設置。
S411、S413、S431、S433、S451、S453‧‧‧方法步驟

Claims (20)

  1. 一種螢幕播送方法，由一螢幕播送來源中之一處理單元執行，包含：當上述螢幕播送來源連接一螢幕播送接收端後，擷取顯示於上述螢幕播送來源的一顯示單元上的一第一畫面影像；以及傳送上述第一畫面影像以及上述第一畫面影像中之一第一輸入元件的一位置資訊給上述螢幕播送接收端，使得上述螢幕播送接收端能夠依據上述第一畫面影像以及上述位置資訊繪製一第二畫面影像，上述第二畫面影像包含擁有供使用者透過上述螢幕播送接收端輸入一輸入字串的一第二輸入元件。
  2. 如申請專利範圍第1項所述的螢幕播送方法，其中，上述位置資訊包含上述第一輸入元件的一起始座標、一寬度以及一高度。
  3. 如申請專利範圍第2項所述的螢幕播送方法，更包含：當判定使用者選擇上述第一輸入元件準備進行輸入後，傳送一輸入警報至上述螢幕播送接收端，用以通知上述螢幕播送接收端使用者即將進行輸入；以及當判定使用者結束輸入後，傳送一輸入警報結束至上述螢幕播送接收端，用以通知上述螢幕播送接收端使用者已結束輸入。
  4. 一種螢幕播送方法，由一螢幕播送接收端中之一處理單元執行，包含： 當一螢幕播送來源連接上述螢幕播送接收端後，從上述螢幕播送來源接收於上述螢幕播送來源的一第一顯示單元所顯示的一第一畫面影像以及上述第一畫面影像中之一第一輸入元件的一位置資訊；取得使用者透過上述螢幕播送接收端的一輸入裝置輸入的一字串；將上述字串合併至一第二輸入元件；依據上述位置資訊將上述第二輸入元件合併至上述第一畫面影像來產生一第二畫面影像；以及將上述第二畫面影像顯示於上述螢幕播送接收端的一第二顯示單元。
  5. 如申請專利範圍第4項所述的螢幕播送方法，更包含：當上述螢幕播送來源連接上述螢幕播送接收端以及接收到一輸入警報後，執行取得上述字串、產生上述第二輸入元件、產生上述第二畫面影像以及顯示上述第二畫面影像的步驟。
  6. 如申請專利範圍第5項所述的螢幕播送方法，更包含：當上述螢幕播送來源連接上述螢幕播送接收端以及接收到一輸入警報結束後，從上述螢幕播送接收端接收於上述螢幕播送來源的上述第一顯示單元顯示的上述第一畫面影像，以及顯示上述第一畫面影像於上述螢幕播送接收端的上述第二顯示單元。
  7. 如申請專利範圍第4項所述的螢幕播送方法，更包含：傳送上述字串給上述螢幕播送來源，使得上述螢幕播送來 源能夠據以更新上述第一顯示單元的上述第一畫面影像。
  8. 如申請專利範圍第7項所述的螢幕播送方法，其中，上述字串透過一使用者輸入回饋頻道傳送給上述螢幕播送來源。
  9. 一種螢幕播送系統，包含：一螢幕播送來源，包含：一第一顯示單元，顯示一第一畫面影像；以及一第一處理單元，當上述螢幕播送來源連接一螢幕播送接收端後，擷取上述第一畫面影像；傳送上述第一畫面影像以及上述第一畫面影像中之一第一輸入元件的一位置資訊給上述螢幕播送接收端，使得上述螢幕播送接收端能夠依據上述第一畫面影像以及上述位置資訊繪製一第二畫面影像，上述第二畫面影像包含擁有供使用者透過上述螢幕播送接收端輸入一輸入字串的一第二輸入元件。
  10. 如申請專利範圍第9項所述的螢幕播送系統，其中，上述位置資訊包含上述第一輸入元件的一起始座標、一寬度以及一高度。
  11. 如申請專利範圍第10項所述的螢幕播送系統，其中，上述第一處理單元更當判定使用者選擇上述第一輸入元件準備進行輸入後，傳送一輸入警報至上述螢幕播送接收端，用以通知上述螢幕播送接收端使用者即將進行輸入；以及當判定使用者結束輸入後，傳送一輸入警報結束至上述螢幕播送接收端，用以通知上述螢幕播送接收端使用者已結束輸入。
  12. 如申請專利範圍第10項所述的螢幕播送系統，更包含： 上述螢幕播送接收端，包含：一第二顯示單元；一輸入裝置；以及一第二處理單元，當上述螢幕播送來源連接上述螢幕播送接收端後，從上述螢幕播送來源接收於上述第一顯示單元所顯示的上述第一畫面影像以及上述第一畫面影像中之一第一輸入元件的一位置資訊；取得使用者透過上述輸入裝置輸入的一字串；將上述字串合併至一第二輸入元件；依據上述位置資訊將上述第二輸入元件合併至上述第一畫面影像來產生一第二畫面影像；以及將上述第二畫面影像顯示於上述第二顯示單元。
  13. 如申請專利範圍第12項所述的螢幕播送系統，其中，上述第二處理單元更當上述螢幕播送來源連接上述螢幕播送接收端以及接收到一輸入警報後，執行取得上述字串、產生上述第二輸入元件、產生上述第二畫面影像以及顯示上述第二畫面影像的作業。
  14. 如申請專利範圍第13項所述的螢幕播送系統，其中，上述第二處理單元更當上述螢幕播送來源連接上述螢幕播送接收端以及接收到一輸入警報結束後，從上述螢幕播送接收端接收於上述螢幕播送來源的上述第一顯示單元顯示的上述第一畫面影像，以及顯示上述第一畫面影像於上述螢幕播送接收端的上述第二顯示單元。
  15. 如申請專利範圍第14項所述的螢幕播送系統，其中，上述第二處理單元傳送上述字串給上述螢幕播送來源，使得上述 螢幕播送來源能夠據以更新上述第一顯示單元的上述第一畫面影像。
  16. 如申請專利範圍第15項所述的螢幕播送系統，其中，上述字串透過一使用者輸入回饋頻道傳送給上述螢幕播送來源。
  17. 一種螢幕播送裝置，作為一螢幕播送接收端，包含：一第一顯示單元；一輸入裝置；以及一處理單元，當上述螢幕播送來源連接上述螢幕播送接收端後，從上述螢幕播送來源接收於上述螢幕播送來源的一第二顯示單元所顯示的一第一畫面影像以及上述第一畫面影像中之一第一輸入元件的一位置資訊；取得使用者透過上述輸入裝置輸入的一字串；將上述字串合併至一第二輸入元件；依據上述位置資訊將上述第二輸入元件合併至上述第一畫面影像來產生一第二畫面影像；以及將上述第二畫面影像顯示於上述第一顯示單元。
  18. 如申請專利範圍第17項所述的螢幕播送裝置，其中，上述處理單元更當上述螢幕播送來源連接上述螢幕播送接收端以及接收到一輸入警報後，執行取得上述字串、產生上述第二輸入元件、產生上述第二畫面影像以及顯示上述第二畫面影像的作業。
  19. 如申請專利範圍第18項所述的螢幕播送裝置，其中，上述處理單元更當上述螢幕播送來源連接上述螢幕播送接收端以及接收到一輸入警報結束後，從上述螢幕播送接收端接 收於上述螢幕播送來源的上述第二顯示單元顯示的上述第一畫面影像，以及顯示上述第一畫面影像於上述螢幕播送接收端的上述第一顯示單元。
  20. 如申請專利範圍第19項所述的螢幕播送裝置，其中，上述處理單元傳送上述字串給上述螢幕播送來源，使得上述螢幕播送來源能夠據以更新上述第二顯示單元的上述第一畫面影像。
TW103120980A 2014-06-18 2014-06-18 螢幕播送方法以及使用該方法的系統與裝置 TWI610221B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103120980A TWI610221B (zh) 2014-06-18 2014-06-18 螢幕播送方法以及使用該方法的系統與裝置
CN201410312476.9A CN105320480B (zh) 2014-06-18 2014-07-02 屏幕播送方法以及使用该方法的系统与装置
US14/574,657 US10327027B2 (en) 2014-06-18 2014-12-18 Methods for screencasting and systems and apparatuses using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103120980A TWI610221B (zh) 2014-06-18 2014-06-18 螢幕播送方法以及使用該方法的系統與裝置

Publications (2)

Publication Number Publication Date
TW201601058A TW201601058A (zh) 2016-01-01
TWI610221B true TWI610221B (zh) 2018-01-01

Family

ID=54870877

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103120980A TWI610221B (zh) 2014-06-18 2014-06-18 螢幕播送方法以及使用該方法的系統與裝置

Country Status (3)

Country Link
US (1) US10327027B2 (zh)
CN (1) CN105320480B (zh)
TW (1) TWI610221B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10608864B2 (en) * 2011-08-24 2020-03-31 Barco Limited Method of establishing paid connection using screen mirroring application between multi-platforms
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN109739450B (zh) * 2018-04-08 2020-03-27 北京字节跳动网络技术有限公司 一种交互方法及装置
CN109275027A (zh) * 2018-09-26 2019-01-25 Tcl海外电子（惠州）有限公司 视频的语音输出方法、电子播放设备及存储介质
CN112968991B (zh) 2019-06-20 2022-07-29 华为技术有限公司 一种输入方法、电子设备和投屏系统
CN112995727A (zh) 2019-12-17 2021-06-18 华为技术有限公司 一种多屏协同方法、系统及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200415920A (en) * 2003-02-03 2004-08-16 Mvp Inc Synchronization program
TW201317879A (zh) * 2011-10-20 2013-05-01 Magic Control Technology Corp 觸控裝置之同步操作系統及方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649104A (en) * 1993-03-19 1997-07-15 Ncr Corporation System for allowing user of any computer to draw image over that generated by the host computer and replicating the drawn image to other computers
US7701460B2 (en) * 2004-11-15 2010-04-20 Hewlett-Packard Development Company, L.P. Graphics systems and methods
US20080195762A1 (en) * 2007-02-13 2008-08-14 Wood Michael C Multifunction data entry device and method
US20100037151A1 (en) * 2008-08-08 2010-02-11 Ginger Ackerman Multi-media conferencing system
KR101617208B1 (ko) * 2009-12-24 2016-05-02 삼성전자주식회사 텍스트 입력 및 편집 작업을 수행하는 입력 디바이스와 디스플레이장치 및 그 방법들
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US9867032B2 (en) * 2011-01-14 2018-01-09 Samsung Electronics Co., Ltd. Method and apparatus for transmitting user input from a sink device to a source device in a Wi-Fi direct communication system
US9128524B2 (en) * 2011-01-18 2015-09-08 Lg Electronics Inc. Method for delivering user input, and device using same
US9065876B2 (en) * 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
JP5772023B2 (ja) * 2011-02-04 2015-09-02 ソニー株式会社 情報処理システム及び情報処理方法
KR101770206B1 (ko) * 2011-04-06 2017-08-22 엘지전자 주식회사 이동 단말기 및 이를 이용한 사용자 인터페이스 제공 방법
US8990677B2 (en) * 2011-05-06 2015-03-24 David H. Sitrick System and methodology for collaboration utilizing combined display with evolving common shared underlying image
JP5209808B2 (ja) * 2011-06-14 2013-06-12 シャープ株式会社 システム、テレビジョン受像機、情報端末、制御方法、プログラム、及び記録媒体
US10976981B2 (en) * 2011-07-15 2021-04-13 Vmware, Inc. Remote desktop exporting
US9948988B2 (en) * 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
KR101834995B1 (ko) * 2011-10-21 2018-03-07 삼성전자주식회사 디바이스 간 컨텐츠 공유 방법 및 장치
EP2784641B1 (en) * 2011-11-24 2018-11-28 LG Electronics Inc. User interface display method and device using same
US9436650B2 (en) * 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
KR101340780B1 (ko) * 2012-02-29 2013-12-11 주식회사 팬택 데이터 공유 시스템 및 방법
JP6015086B2 (ja) * 2012-04-17 2016-10-26 株式会社リコー 情報共有装置、情報共有システム、描画処理方法及びプログラム
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
KR101899816B1 (ko) * 2012-07-26 2018-09-20 엘지전자 주식회사 단말 장치 및 이의 필기 공유 방법
WO2014129378A1 (ja) * 2013-02-20 2014-08-28 株式会社ソニー・コンピュータエンタテインメント 文字列入力システム
JP2014232426A (ja) * 2013-05-29 2014-12-11 株式会社東芝 文字入力方法、電子機器およびプログラム
KR102088384B1 (ko) * 2013-09-04 2020-05-28 삼성전자주식회사 디스플레이 기기의 제어 방법, 그에 따른 싱크 기기 및 그에 따른 미러링 시스템
JP2015080025A (ja) * 2013-10-15 2015-04-23 株式会社東芝 電子機器および通信制御方法
KR102107404B1 (ko) * 2013-10-30 2020-05-07 삼성전자주식회사 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
CN103702152A (zh) * 2013-11-29 2014-04-02 康佳集团股份有限公司 一种机顶盒与移动终端共享触摸屏的方法和系统
US9257097B2 (en) * 2013-12-23 2016-02-09 Qualcomm Incorporated Remote rendering for efficient use of wireless bandwidth for wireless docking
TWI540864B (zh) * 2014-03-20 2016-07-01 緯創資通股份有限公司 資訊傳輸方法與無線顯示系統

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200415920A (en) * 2003-02-03 2004-08-16 Mvp Inc Synchronization program
TW201317879A (zh) * 2011-10-20 2013-05-01 Magic Control Technology Corp 觸控裝置之同步操作系統及方法

Also Published As

Publication number Publication date
TW201601058A (zh) 2016-01-01
CN105320480A (zh) 2016-02-10
CN105320480B (zh) 2020-03-03
US20150373389A1 (en) 2015-12-24
US10327027B2 (en) 2019-06-18

Similar Documents

Publication Publication Date Title
TWI604375B (zh) 螢幕分享方法以及使用該方法的裝置
TWI610221B (zh) 螢幕播送方法以及使用該方法的系統與裝置
US11042185B2 (en) User terminal device and displaying method thereof
US9864612B2 (en) Techniques to customize a user interface for different displays
TWI511104B (zh) 互動式電子白板操作方法以及使用該方法的裝置
CN105094727B (zh) 扩展屏幕模式下的应用程序运作方法以及平板计算机
US20140361991A1 (en) Method and electronic device for controlling mouse module
CN105446689A (zh) 远程批注同步的方法与系统
CN103955339A (zh) 一种终端操作方法及终端设备
WO2016197590A1 (zh) 用于在终端设备上提供截屏服务的方法、装置、存储介质及设备
CN104035683A (zh) 一种通讯终端分屏多任务交互方法
CN104391581A (zh) 移动终端及其应用程序的操作界面的投影方法
JP1718791S (ja) アイコン用画像
CN106293563B (zh) 一种控制方法和电子设备
WO2024037419A1 (zh) 显示控制方法、装置、电子设备及可读存储介质
CN101251993B (zh) 一种监控多屏幕的方法及装置
TWI604382B (zh) 應用程式分享方法以及使用該方法的系統
CN105786434B (zh) 一种远程显示的控制方法及设备
WO2016095449A1 (zh) 一种虚拟桌面的显示方法、终端和存储介质
CN104936009A (zh) 信息传输方法与无线显示系统
JP2010165220A (ja) リアルタイムレンダリングシステム及びリアルタイムレンダリング方法
CN113840100A (zh) 视频处理方法、装置和电子设备
CN115665458A (zh) 视频播放方法、装置、电子设备及存储介质
TWI596948B (zh) 視訊會議系統及其方法
TW201525767A (zh) 資料顯示系統與其方法及控制裝置