TWI899841B - 穿戴式裝置及虛實畫面整合方法 - Google Patents

Abstract

本發明提供一種穿戴式裝置及虛實畫面整合方法。穿戴式裝置包括影像擷取裝置、投影模組及處理器。處理器經配置用以：辨識擷取影像中的實體顯示區域，實體顯示區域對應於顯示器的顯示畫面的尺寸，且外部裝置包括顯示器；依據實體顯示區域的位置定義一或多個虛擬顯示區域的位置；以及依據外部裝置的一或多個應用程式的相關參數，透過投影模組投影一或多個應用程式的介面至一或多個虛擬顯示區域。投影模組投影的虛擬畫面對應於虛擬顯示區域。藉此，可提升用戶體驗。

Description

穿戴式裝置及虛實畫面整合方法

本發明是有關於一種影像處理技術，且特別是有關於一種穿戴式裝置及虛實畫面整合方法。

若有同時觀看與編輯多個檔案內容的需求，現有裝置的工作模式能提供單一螢幕或多個螢幕的內容呈現。雖然可透過連接多台螢幕來增加觀看內容的數量，但這些螢幕佔據許多實體空間，且在擴充性上也有一定的成本與限制。

本發明提供一種穿戴式裝置及虛實畫面整合方法，透過實體螢幕與虛擬視窗的整合，讓工作中的資料切換能夠更為順暢。

本發明實施例的穿戴式裝置包括(但不僅限於)影像擷取裝置、投影模組及處理器。影像擷取裝置用以取得擷取影像。投影模組用以投影虛擬畫面。處理器耦接影像擷取裝置及投影模組。處理器經配置用以：辨識擷取影像中的實體顯示區域，實體顯示區域 對應於顯示器的顯示畫面的尺寸，且外部裝置包括顯示器；依據實體顯示區域的位置定義一或多個虛擬顯示區域的位置；以及依據外部裝置的一或多個應用程式的相關參數，透過投影模組投影一或多個應用程式的介面至一或多個虛擬顯示區域。虛擬畫面對應於虛擬顯示區域。

本發明實施例的虛實畫面整合方法適用於穿戴式裝置，該穿戴式裝置包括影像擷取裝置、投影模組、及處理器。虛實畫面整合方法包括(但不僅限於)下列步驟：透過處理器辨識擷取影像中的實體顯示區域，實體顯示區域對應於顯示器的顯示畫面的尺寸，且外部裝置包括這顯示器；透過處理器依據實體顯示區域的位置定義一或多個虛擬顯示區域的位置；以及透過處理器依據外部裝置的一或多個應用程式的相關參數，經由投影模組投影一或多個應用程式的介面至一或多個虛擬顯示區域。投影模組投影的虛擬畫面對應於虛擬顯示區域。

基於上述，本發明實施例的穿戴式裝置及虛實畫面整合方法，可依據擷取影像中的實體顯示區域定義虛擬顯示區域，並依據應用程式的參數投影應用程式的介面至虛擬顯示區域。藉此，可依據應用程式的屬性及使用者對於應用程式的使用習慣，自動投影合適的內容並以合適的尺寸比例到虛擬顯示區域。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

1:整合系統

10:穿戴式裝置

11:影像擷取裝置

12:投影模組

13、33:通訊收發器

14、34:儲存器

15、35:處理器

30:外部裝置

121:導光板

E:眼睛

M1、M2:標記點

S410~S430、S810~S830、S910~S920、S1110~S1120、:步驟

DA:顯示區域

C1:擷取影像

VDA1、VDA1’、VDA2、VDA3:虛擬顯示區域

VS:虛擬畫面

PDA:實體顯示區域

MA:主應用程式

SA:次應用程式

SA1~SA3、SA1-1~SA1-6、SA2-1~SA2-6、SA3-1~SA3-6:介面

圖1是依據本發明一實施例的整合系統的元件方塊圖。

圖2A是依據本發明一實施例的穿戴式裝置的示意圖。

圖2B是依據本發明一實施例說明投影成像的示意圖。

圖3A是依據本發明一實施例的整合系統的示意圖。

圖3B是依據本發明一實施例的在應用情境下的整合系統的示意圖。

圖4是依據本發明一實施例的虛實整合方法的流程圖。

圖5是依據本發明一實施例說明實體顯示區域的辨識的示意圖。

圖6A是依據本發明一實施例說明實體顯示區域與虛擬顯示區域的示意圖。

圖6B是依據本發明另一實施例說明實體顯示區域與虛擬顯示區域的示意圖。

圖7A是依據本發明一實施例說明視窗收合的示意圖。

圖7B是依據本發明一實施例說明視窗展開的示意圖。

圖8是依據本發明一實施例說明排序的流程圖。

圖9是依據本發明一實施例的排序決定的流程圖。

圖10是依據本發明一實施例說明依據使用歷程的視窗分配的示意圖。

圖11是依據本發明一實施例的位置分配的流程圖。

圖12是依據本發明一實施例說明依據應用屬性的視窗分配的示意圖。

圖1是依據本發明一實施例的整合系統1的元件方塊圖。請照圖1，整合系統1包括(但不僅限於)穿戴式裝置10及外部裝置30。

穿戴式裝置10可以是頭戴顯示器、智慧型眼鏡、擴增實境(Augmented Reality，AR)或混合實境(Mixed Reality)穿戴裝置、抬頭顯示器、智慧型手機、平板電腦或其他裝置。

穿戴式裝置10包括(但不僅限於)影像擷取裝置11、投影模組12、通訊收發器13、儲存器14及處理器15。

影像擷取裝置11可以是相機、攝影機、監視器或具備影像擷取功能的電路，並據以擷取指定視野(Field of View，FOV)內的影像。例如，圖2A是依據本發明一實施例的穿戴式裝置10的示意圖。請參照圖2A，穿戴式裝置10的外型為眼鏡形式(但不以此為限)。此外，影像擷取裝置11設於穿戴式裝置10的主體前側。當使用者戴上穿戴式裝置10時，影像擷取裝置11用以朝使用者前方拍攝。然而，影像擷取裝置11的設置位置及拍攝視野不以圖2A所示為限。

投影模組12可以是數位光處理(Digital Light Processing，DLP)、液晶顯示(Liquid-Crystal Display，LCD)、發光二極體(Light Emitting Diode，LED)或其他投影顯像技術的視訊播放設備。在一實施例中，投影模組12用以投影一或多張影像。例如，虛擬畫面、擴增實境影像、照片或影片。

圖2B是依據本發明一實施例說明投影成像的示意圖。請照圖2A及圖2B，投影模組12設於穿戴式裝置10的主體前側。導光板121例如是自由曲面光學(Freeform Optic)鏡片。投影模組12發射的光束透過導光板121反射至眼睛E，並據以成像於眼睛E。此外，眼睛E仍可看到真實世界。然而，投影模組12的成像方式不限於圖2B所示的範例，且還可能有其他投影/成像方式。

請參照圖1，通訊收發器13可以支援諸如藍芽、Wi-Fi、行動網路、光纖網路、通用序列匯流排(Universal Serial Bus，USB)、Thunderbolt或其他通訊技術的通訊收發電路/傳輸介面。在一實施例中，通訊收發器13用以接收來自外部裝置的訊號或傳送訊號至外部裝置30。在一些實施例中，通訊收發器13用以與外部裝置30連線，並據以傳送或接收資料。

儲存器14可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，儲存器14用以儲存程式碼、軟體模組、組態配置、資料(例如，影像、使用歷程、或應用屬性)或檔案。

處理器15耦接影像擷取裝置11、投影模組12、通訊收 發器13及儲存器14。處理器15可以是中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)、數據處理單元(Data Processing Unit，DPU)、視覺處理單元(Visual Processing Unit，VPU)、張量處理單元(Tensor Processing Unit，TPU)或神經網路處理單元(Neural-network Processing Unit，NPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在一實施例中，處理器15用以執行穿戴式裝置10的所有或部份作業，且可載入並執行儲存器14所儲存的一個或多個軟體模組、檔案及/或資料。

外部裝置30可以是智慧型手機、平板電腦、穿戴式裝置、筆記型電腦、桌上型電腦、伺服器、智能家電裝置、智能助理裝置、車載系統、會議電話、家用遊戲機、個人電腦、人工智慧個人電腦(AI PC)或其他電子裝置。

外部裝置30包括(但不僅限於)顯示器32、通訊收發器33、儲存器34及處理器35。

顯示器32可以是液晶顯示器(Liquid-Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器、有機發光二極體(Organic Light-Emitting Diode，OLED)、Mini LED顯示器 或其他顯示器。在一實施例中，顯示器32用以透過其面板/螢幕顯示一張或更多張影像。

通訊收發器33、儲存器34及處理器35的實施態樣及功能可分別參照前述針對通訊收發器13、儲存器14及處理器15的說明，於此不再贅述。

處理器35耦接顯示器32、通訊收發器33及儲存器34。在一實施例中，處理器35用以執行外部裝置30的所有或部份作業，且可載入並執行儲存器34所儲存的一個或多個軟體模組、檔案及/或資料。

圖3A是依據本發明一實施例的整合系統1的示意圖。請參照圖3A，穿戴式裝置10與外部裝置30透過傳輸線連接。例如，USB傳輸介面。此外，穿戴式裝置10也能以無線傳輸的方式與外部裝置30連接。

圖3B是依據本發明一實施例的在應用情境下的整合系統的示意圖。請參照圖3B，使用者戴上穿戴式裝置10，且外部裝置30架設於桌面。在這應用情境下，使用者戴著穿戴式裝置10，且一邊使用外部裝置30。然而，圖3B所示應用情境僅是作為範例說明，且還可能有其他應用情境。

圖4是依據本發明一實施例的虛實整合方法的流程圖。請參照圖4，處理器15辨識擷取影像中的實體顯示區域(步驟S410)。具體而言，影像擷取裝置11拍攝，並據以取得擷取影像。以圖3B為例，穿戴式裝置10朝前方拍攝。圖5是依據本發明一實施例說 明實體顯示區域的辨識的示意圖。請參照圖5，擷取影像C1拍攝到顯示器32。

實體顯示區域對應於顯示器32的顯示畫面的區域(下文稱顯示區域DA)。實體顯示區域對應於外部裝置30的顯示器32的顯示畫面的尺寸。顯示器32的面板發光並據以顯示影像。因此，顯示器32的顯示畫面的尺寸大致為或等同於面板的尺寸。如圖5所示，實體顯示區域的位置對應於顯示器32的顯示區域DA。

在一實施例中，處理器15可辨識擷取影像中的兩個或更多個標記點。標記點可以是印上、嵌入或透過其他人工方式加上一個或更多個文字、符號、圖案、形狀和/或顏色所形成的實體物(例如，紙、塑膠板或貼紙)。或者，標記可以是實體物原有的文字、符號、圖案、形狀和/或顏色所組成。

以圖3B為例，假設標記點M1、M2為正方形貼紙，且標記點M1、M2貼在外部裝置30上。請參照圖5，在擷取影像C1中，標記點M1、M2位於顯示器32的左上角及右下角。

標記點的辨識可基於物件偵測技術。例如，外部裝置30可應用基於神經網路的演算法(例如，YOLO(You only look once)、基於區域的卷積神經網路(Region Based Convolutional Neural Networks，R-CNN)、或快速R-CNN(Fast CNN))或是基於特徵匹配的演算法(例如，方向梯度直方圖(Histogram of Oriented Gradient，HOG)、尺度不變特徵轉換(Scale-Invariant Feature Transform，SIFT)、Harr、或加速穩健特徵(Speeded Up Robust Features，SURF)的特徵 比對)實現物件偵測。處理器15可判斷擷取影像中的物件是否為預設的標記點。

處理器15可依據兩個或更多個標記點的位置決定實體顯示區域。這些標記點的假想連線可為構出實體顯示區域的形狀/輪廓。以圖5為例，標記點M1的水平假想線與標記點M2的垂直假想線交會，且標記點M2的水平假想線與標記點M1的垂直假想線交會。上述標記點M1、M2的水平假想線及垂直假想線形成顯示區域DA的形狀/輪廓。顯示區域DA的形狀/輪廓可作為實體顯示區域的形狀/輪廓。

在另一實施例中，還可能設置更多標記點。這些標記點位於實體顯示區域的輪廓。

在一實施例中，處理器15可基於前述物件偵測技術辨識顯示器32的面板，並依據面板的形狀/輪廓決定實體顯示區域。也就是說，將面板的形狀/輪廓作為實體顯示區域的形狀/輪廓。

在一實施例中，處理器15可透過輸入裝置(圖未示，例如手持控制器、滑鼠或鍵盤)接收用戶操作。這用戶操作可定義實體顯示區域的形狀/輪廓。

請參照圖4，處理器15依據實體顯示區域的位置定義虛擬顯示區域的位置(步驟S420)。具體而言，虛擬顯示區域是投影模組12的成像區域。也就是說，當使用者戴上穿戴式裝置10時，投影模組12投影的影像(例如，虛擬畫面)在虛擬顯示區域上呈現。而虛擬顯示區域以外的區域可禁止/停止/不成像，或透過改變透明 度、呈現色塊等方式成像。

在一實施例中，處理器15可定義一或多個虛擬顯示區域位於實體顯示區域的右側、左側、底側及頂側中的至少一者。也就說，一或多個虛擬顯示區域的位置位於實體顯示區域右方、左方、下方或上方。

例如，圖6A是依據本發明一實施例說明實體顯示區域PDA與虛擬顯示區域VDA1~VDA3的示意圖。請參照圖6A，實體顯示區域PDA涵蓋顯示器32的顯示區域DA。虛擬顯示區域VDA1~VDA3的位置分別在實體顯示區域PDA的右側、頂側及左側。虛擬顯示區域VDA1~VDA3都是橫躺的長方形。即，其水平方向的長度大於垂直方向的長度。虛擬顯示區域VDA1~VDA3未與實體顯示區域PDA重疊，以作為輔助顯示用途。然而，在其他實施例中，虛擬顯示區域可能與實體顯示區域部分重疊。

又例如，圖6B是依據本發明另一實施例說明實體顯示區域PDA與虛擬顯示區域VDA1’~VDA3的示意圖。請參照圖6B，虛擬顯示區域VDA1’~VDA3的位置分別在實體顯示區域PDA的右側、頂側及左側。虛擬顯示區域VDA1’是直立的長方形。即，其水平方向的長度小於垂直方向的長度。

然而，圖6A及圖6B所示的虛擬顯示區域的形狀及大小僅是作為範例說明，且使用者可依據實際需求調整。

請參照圖4，處理器15依據外部裝置30的應用程式的相關參數，透過投影模組12投影應用程式的介面至虛擬顯示區域(步 驟S430)。具體而言，外部裝置30執行一或多個應用程式。應用程式可以是文件編輯程式、通訊或會議程式、設計程式、娛樂程式、瀏覽器程式或其他類型的程式。作業系統可提供視窗、全螢幕或小工具(widget)形式呈現應用程式的(使用者)介面。除了透過外部裝置30的顯示器32顯示應用程式的介面，本發明實施例還能透過投影模組12投影包含應用程式的介面的虛擬畫面。當使用者戴上穿戴式裝置10且一邊使用外部裝置30時，虛擬顯示區域可作為顯示器的顯示區域的延伸畫面/螢幕。

例如，圖7A是依據本發明一實施例說明視窗收合的示意圖。請參照圖7A，顯示器32顯示多個視窗化的應用程式。這些應用程式包括主應用程式MA及次應用程式SA。前景執行的應用程式為主應用程式MA。背景執行的應用程式為次應用程式SA。顯示器32顯示主應用程式MA及次應用程式SA的介面。在收合模式下，主應用程式MA的介面堆疊於一或多個次應用程式SA的界面上層。也就是，主應用程式MA及一或多個次應用程式的介面都呈現在實體顯示區域PDA內。

圖7B是依據本發明一實施例說明視窗展開的示意圖。請參照圖7B，在展開模式下，一或多個次應用程式SA的介面經由虛擬畫面VS分別呈現在虛擬顯示區域VDA1’~VDA3內。在一些應用情境中，較無相關於主應用程式MA的應用屬性或使用歷程的次應用程式SA位於實體顯示區域PDA內並被主應用程式MA覆蓋。應用屬性或使用歷程待後續實施例說明。

在一實施例中，處理器15可接收開合操作。例如，透過輸入裝置接收用戶操作，且這用戶執行的開合操作用於執行展開模式或收合模式。處理器15可依據開合操作透過投影模組12投影一或多個應用程式的介面至一或多個虛擬顯示區域。如圖7B所是，開合操作對應於展開模式，因此次應用程式SA的介面分別呈現在虛擬顯示區域VDA1’~VDA3內。另一方面，處理器15可依據開合操作停止透過投影模組12投影一或多個應用程式的介面至一或多個虛擬顯示區域。如圖7A所是，開合操作對應於收合模式，投影模組12停止投影且僅剩顯示器32顯示影像，因此次應用程式SA的介面都呈現在顯示區域DA內。

在一實施例中，在標記式的擴增實境成像中，處理器15可依據顯示區域DA的影像特徵決定穿戴式裝置10的姿態，並將影像放置在虛擬顯示區域內。

在另一實施例中，在無標記式的擴增實境成像中，處理器15可使用時間、加速計、衛星定位及/或指南針資訊，進行自我定位，並使用影像擷取裝置11將影像疊加在虛擬顯示區域。

在一實施例中，處理器15可依據應用程式的介面的顯示屬性決定一或多個虛擬顯示區域的尺寸及形狀。顯示屬性可以是尺寸、比例及模式。例如，應用程式的介面為1280*800像素，且其比例為16：10。虛擬顯示區域的形狀為長寬比為16：10的長方形，且其尺寸可依據1280*800像素縮放調整。以圖7B為例，位於圖面右方的次應用程式SA的介面為800*1280像素，且其比例為 10：16。因此，虛擬顯示區域VDA1’為直立的長方形。然而，虛擬顯示區域VDA2、VDA3為橫躺的長方形，以供呈現位於圖面上方或左方的次應用程式SA。

在一實施例中，應用程式的相關參數包括使用歷程，提供多個應用程式，且提供多個虛擬顯示區域。圖8是依據本發明一實施例說明排序的流程圖。請參照圖8，處理器15可對這些虛擬顯示區域分別賦予優先權(步驟S810)。以圖7B為例，以右側優先原則，虛擬顯示區域VDA1’具有最高優先權，虛擬顯示區域VDA2具有第二優先權，且虛擬顯示區域VDA3具有第三優先權。

請參照圖8，處理器15可依據多個應用程式的使用歷程排序這些應用程式，以產生排序結果(步驟S820)。在一實施例中，使用歷程包括下列至少一者：多個應用程式的切換頻率；多個應用程式的同時顯示時間；及多個應用程式的使用量。

切換頻率是兩個應用程式中的一者切換至前景執行且另一者切換至背景執行/非前景執行的統計次數。例如，在一統計期間(例如，一小時、一天或前次開機運行至關機的期間)中，處理器35統計由應用程式A切換成應用程式B及由應用程式B切換成應用程式A的次數。

同時顯示時間是兩個應用程式同時為前景執行的累計時間值。例如，在一統計期間(例如，三小時、半天或前次開機運行至關機的期間)中，處理器35統計應用程式C、D同時顯示的累計時間值。

使用量是任一個應用程式被使用的時間值。例如，應用程式E的介面(例如，視窗)被開啟後到被關閉之間的時間值。

圖9是依據本發明一實施例的排序決定的流程圖。請參照圖9，處理器15可將切換頻率、同時顯示時間及使用量中的至少一者依據對應權重進行加權運算(步驟S910)。具體而言，處理器15分別對切換頻率、同時顯示時間及使用量賦予對應權重。例如，切換頻率的權重為60%，同時顯示時間的權重為30%，且使用量的權重為10%。應用程式與使用歷程的對應關係為：

網頁瀏覽器的加權運算的數值為20*60%+43.8*30%+13*10%=26.44，郵件程式的加權運算的數值為15*60%+36*30%+11*10%=20.9，且音樂播放程式的加權運算的數值為10*60%+24*30%+24*30%=14.24。然而，這些權重的數值仍可依據實際需求而改變。

請參照圖9，處理器15可依據加權運算的數值決定排序結果(步驟S920)。具體而言，加權運算的數值越大者，排序越前面或越優先；加權運算的數值越小者，排序越後面或越次要/不優先。

請參照圖8，處理器15可依據排序結果投影多個應用程式的介面在對應優先權的虛擬顯示區域(步驟S830)。具體而言，排序越前面或越優先者，其對應優先權越高；排序越後面或越次要者，其對應優先權越低。

圖10是依據本發明一實施例說明依據使用歷程的視窗分配的示意圖。請參照圖10，如表(1)中的網頁瀏覽器的對應優先權最高，郵件程式的對應優先權次高，且音樂播放程式的對應優先權最低。網頁瀏覽器的介面SA1經由虛擬畫面VS投影在具有最高優先權的虛擬顯示區域VDA1’內，郵件程式的介面SA2經由虛擬畫面VS投影在具有第二優先權的虛擬顯示區域VDA2內，且音樂播放程式的介面SA3經由虛擬畫面VS投影在具有第三優先權的虛擬顯示區域VDA3內。而至於其他排序的應用程式的介面可呈現顯示區域DA、或虛擬顯示區域VDA1’~VDA3中的一者並堆疊於主應用程式MA、或介面SA1~SA3的下層。

在一實施例中，應用程式的相關參數包括應用屬性，提供多個應用程式，且提供多個虛擬顯示區域。圖11是依據本發明一實施例的位置分配的流程圖。請參照圖11，處理器15可依據多個應用程式的應用屬性將這些應用程式分配到多個群組(步驟S1110)。具體而言，應用屬性相關於應用程式的功能。例如，應用屬性為編輯、通訊、設計、娛樂或瀏覽器類。每一種類別對應於一個群組。也就說，一個群組內的多個應用程式屬於相同或相似應用屬性。

表(2)~表(6)是多個應用屬性、應用程式及顯示模式的對 應關係：

Word、Excel、Power Point及Note分配到一個群組；Outlook、Line、Messages、Teams及Zoom分配到另一個群組，其依此類推。

請參照圖11，處理器15可透過投影模組12投影一或多個應用程式的介面在對應群組的虛擬顯示區域(步驟S1120)。具體而言，一或多個群組/應用屬性對應於一個虛擬顯示區域。投影模組12將每一應用程式投影到對應的虛擬顯示區域。

例如，圖12是依據本發明一實施例說明依據應用屬性的視窗分配的示意圖。請參照圖12，應用屬性為編輯類及瀏覽器類應用程式對應於虛擬顯示區域VDA1，應用屬性為設計類及娛樂類的應用程式對應於虛擬顯示區域VDA2，且應用屬性為通訊類的應 用程式對應於虛擬顯示區域VDA3。

例如，Excel的介面SA1-1、Word的介面SA1-2、PDF瀏覽器的介面SA1-3、網頁瀏覽器的介面SA1-4、備忘錄的介面SA1-5及Power Point的介面SA1-6經由虛擬畫面VS呈現在虛擬顯示區域VDA1。After Effects的介面SA2-1、Sketch的介面SA2-2、Illustrator的介面SA2-3、Premiere的介面SA2-4、ProtoPie的介面SA2-5及Photoshop的介面SA2-6經由虛擬畫面VS呈現在虛擬顯示區域VDA2。Line的介面SA3-1、Messager的介面SA3-2、Meet的介面SA3-3、Outlook的介面SA3-4、Teams的介面SA3-5及Zoom的介面SA3-6經由虛擬畫面VS呈現在虛擬顯示區域VDA3。此外，這些應用程式的介面SA1-1~SA1-6、SA2-1~SA2-6、SA3-1~SA3-6的顯示模式(例如，直立或橫躺模式)可維持其前次的模式/狀態。

在一實施例中，處理器15可辨識擷取影像中的主應用程式的介面。例如，基於物件偵測技術或外部裝置30所提供的使用紀錄得知外部裝置30前景執行的主應用程式。接著，處理器15依據一或多個次應用程式的相關參數，透過投影模組12投影一或多個次應用程式的介面至一或多個虛擬顯示區域。相關參數以使用歷程為例，請參照圖10，主應用程式MA例如為Figma，則位於虛擬顯示器VDA1’的應用程式是相關於Figma的使用歷程對應排序最高的。例如，經常Chrome與Figma兩者，經常同時使用Chrome與Figma兩者，且/或Chrome的使用量最高。相關參數以應用屬 性為例，請參照圖12，虛擬顯示區域VDA1~VDA3分別顯示一個與主應用程式MA相關的次應用程式SA，且依據所屬應用屬性分配這些次應用程式SA的位置。或者，虛擬顯示區域VDA1~VDA3只顯示與主應用程式MA相同應用屬性的次應用程式SA。

綜上所述，在本發明實施例的穿戴式裝置及虛實畫面整合方法中，依據顯示器的實體顯示區域定義投影模組的虛擬顯示區域的位置，並依據外部裝置所執行的應用程式的使用歷程或應用屬性投影應用程式的介面到虛擬顯示區域。

本發明實施例至少提供以下特點：透過實體螢幕與虛擬視窗的整合，讓工作中的資料切換能夠更為順暢。透過學習主螢幕的內容與其他應用程式的使用習慣，依據參數權重自動切換虛擬視窗所擺放的內容與對應的畫面尺寸比例。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S410~S430:步驟

Claims (16)

1. 一種穿戴式裝置，包括：一影像擷取裝置，用以取得一擷取影像；一投影模組，用以投影一虛擬畫面；以及一處理器，耦接該影像擷取裝置及該投影模組，並經配置用以：辨識該擷取影像中的一實體顯示區域，其中該實體顯示區域對應於一顯示器的顯示畫面的尺寸，且一外部裝置包括該顯示器；依據該實體顯示區域的位置定義至少一虛擬顯示區域的位置，其中該虛擬畫面對應於該虛擬顯示區域；以及依據該外部裝置的至少一應用程式的相關參數，透過該投影模組投影該至少一應用程式的介面至該至少一虛擬顯示區域，其中該至少一應用程式的相關參數包括一使用歷程，該使用歷程包括下列至少一者：該些應用程式的一切換頻率；該些應用程式的一同時顯示時間；以及該些應用程式的一使用量，該至少一應用程式包括多個應用程式，該至少一虛擬顯示區域包括多個虛擬顯示區域，且該處理器更經配置用以：對該些虛擬顯示區域分別賦予一優先權；依據該些應用程式的該使用歷程排序該些應用程式，以 產生一排序結果；以及依據該排序結果透過該投影模組投影該些應用程式的介面在對應優先權的該虛擬顯示區域。
2. 如請求項1所述的穿戴式裝置，其中該處理器更經配置用以：辨識該擷取影像中的至少二標記點；以及依據該至少二標記點的位置決定該實體顯示區域。
3. 如請求項1所述的穿戴式裝置，其中該處理器更經配置用以：定義該至少一虛擬顯示區域位於該實體顯示區域的右側、左側及頂側中的至少一者。
4. 如請求項1所述的穿戴式裝置，其中該處理器更經配置用以：依據該至少一應用程式的介面的顯示屬性決定該至少一虛擬顯示區域的尺寸及形狀。
5. 如請求項1所述的穿戴式裝置，其中該處理器更經配置用以：將該切換頻率、該同時顯示時間及該使用量中的至少一者依據對應權重進行一加權運算；以及依據該加權運算的數值決定該排序結果。
6. 如請求項1所述的穿戴式裝置，其中該至少一應用程式的相關參數包括一應用屬性，該至少一應用程式包括多個應用 程式，該至少一虛擬顯示區域包括多個虛擬顯示區域，且該處理器更經配置用以：依據該些應用程式的該應用屬性將該些應用程式分配到多個群組，其中每一該群組對應於一該虛擬顯示區域；以及透過該投影模組投影該些應用程式的介面在對應群組的一該虛擬顯示區域。
7. 如請求項1所述的穿戴式裝置，其中該至少一應用程式包括一主應用程式及至少一次應用程式，且該處理器更經配置用以：辨識該擷取影像中的該主應用程式的介面；以及依據該至少一次應用程式的相關參數，透過該投影模組投影該至少一次應用程式的介面至該至少一虛擬顯示區域。
8. 如請求項1所述的穿戴式裝置，其中該至少一應用程式包括一主應用程式及至少一次應用程式，該顯示器顯示該主應用程式的介面，且該處理器更經配置用以：接收一開合操作；以及依據該開合操作透過該投影模組投影該至少一應用程式的介面至該至少一虛擬顯示區域；或者依據該開合操作停止透過該投影模組投影該至少一應用程式的介面至該至少一虛擬顯示區域。
9. 一種虛實畫面整合方法，適用於一穿戴式裝置，該穿戴式裝置包括一影像擷取裝置、一投影模組、及一處理器，該虛實畫面整合方法包括：透過該處理器辨識該影像擷取裝置取得的一擷取影像中的一實體顯示區域，其中該實體顯示區域對應於一顯示器的顯示畫面的尺寸，且一外部裝置包括該顯示器；透過該處理器依據該實體顯示區域的位置定義至少一虛擬顯示區域的位置，其中該投影模組投影的一虛擬畫面對應於該虛擬顯示區域；以及透過該處理器依據該外部裝置的至少一應用程式的相關參數，經由該投影模組投影該至少一應用程式的介面至該至少一虛擬顯示區域，其中該至少一應用程式的相關參數包括一使用歷程，該使用歷程包括下列至少一者：該些應用程式的一切換頻率；該些應用程式的一同時顯示時間；以及該些應用程式的一使用量，該至少一應用程式包括多個應用程式，該至少一虛擬顯示區域包括多個虛擬顯示區域，且依據該外部裝置的該至少一應用程式的相關參數投影該至少一應用程式的介面至該至少一虛擬顯示區域的步驟包括：透過該處理器對該些虛擬顯示區域分別賦予一優先權；透過該處理器依據該些應用程式的該使用歷程排序該些 應用程式，以產生一排序結果；以及透過該處理器依據該排序結果透過該投影模組投影該些應用程式的介面在對應優先權的一該虛擬顯示區域。
10. 如請求項9所述的虛實畫面整合方法，其中辨識該擷取影像中的該實體顯示區域的步驟包括：透過該處理器辨識該擷取影像中的至少二標記點；以及透過該處理器依據該至少二標記點的位置決定該實體顯示區域。
11. 如請求項9所述的虛實畫面整合方法，其中依據該實體顯示區域的位置定義該至少一虛擬顯示區域的位置的步驟包括：透過該處理器定義該至少一虛擬顯示區域位於該實體顯示區域的右側、左側及頂側中的至少一者。
12. 如請求項9所述的虛實畫面整合方法，更包括：透過該處理器依據該至少一應用程式的介面的顯示屬性決定該至少一虛擬顯示區域的尺寸及形狀。
13. 如請求項9所述的虛實畫面整合方法，其中依據該排序結果透過該投影模組投影該些應用程式的介面在對應優先權的一該虛擬顯示區域的步驟包括：透過該處理器將該切換頻率、該同時顯示時間及該使用量中的至少一者依據對應權重進行一加權運算；以及透過該處理器依據該加權運算的數值決定該排序結果。
14. 如請求項9所述的虛實畫面整合方法，其中該至少一應用程式的相關參數包括一應用屬性，該至少一應用程式包括多個應用程式，該至少一虛擬顯示區域包括多個虛擬顯示區域，且依據該外部裝置的該至少一應用程式的相關參數投影該至少一應用程式的介面至該至少一虛擬顯示區域的步驟包括：透過該處理器依據該些應用程式的該應用屬性將該些應用程式分配到多個群組，其中每一該群組對應於該虛擬顯示區域；以及透過該投影模組投影該些應用程式的介面在對應群組的一該虛擬顯示區域。
15. 如請求項9所述的虛實畫面整合方法，其中該至少一應用程式包括一主應用程式及至少一次應用程式，且依據該外部裝置的該至少一應用程式的相關參數投影該至少一應用程式的介面至該至少一虛擬顯示區域的步驟包括：透過該處理器辨識該擷取影像中的該主應用程式的介面；以及透過該處理器依據該至少一次應用程式的相關參數，透過該投影模組投影該至少一次應用程式的介面至該至少一虛擬顯示區域。
16. 如請求項9所述的虛實畫面整合方法，其中該至少一應用程式包括一主應用程式及至少一次應用程式，該顯示器顯示該主應用程式的介面，且該虛實畫面整合方法更包括：透過該處理器接收一開合操作；以及 依據該開合操作透過該投影模組投影該至少一應用程式的介面至該至少一虛擬顯示區域；或者依據該開合操作停止透過該投影模組投影該至少一應用程式的介面至該至少一虛擬顯示區域。