[go: up one dir, main page]

TW202409817A - 電腦裝置及擴增實境虛擬鍵盤顯示方法 - Google Patents

電腦裝置及擴增實境虛擬鍵盤顯示方法 Download PDF

Info

Publication number
TW202409817A
TW202409817A TW111132054A TW111132054A TW202409817A TW 202409817 A TW202409817 A TW 202409817A TW 111132054 A TW111132054 A TW 111132054A TW 111132054 A TW111132054 A TW 111132054A TW 202409817 A TW202409817 A TW 202409817A
Authority
TW
Taiwan
Prior art keywords
keyboard
augmented reality
virtual keyboard
virtual
hand
Prior art date
Application number
TW111132054A
Other languages
English (en)
Other versions
TWI840926B (zh
Inventor
林益民
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW111132054A priority Critical patent/TWI840926B/zh
Priority to CN202211092634.5A priority patent/CN117666777A/zh
Priority to US18/053,020 priority patent/US20240070946A1/en
Publication of TW202409817A publication Critical patent/TW202409817A/zh
Application granted granted Critical
Publication of TWI840926B publication Critical patent/TWI840926B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

一種擴增實境虛擬鍵盤顯示方法，用於一電腦裝置，該電腦裝置包括一相機、一鍵盤及一顯示裝置，該方法包括：偵測在該電腦裝置上運作之作業系統的輸入法資訊並取得該鍵盤之按鍵排列方式；利用該相機拍攝該鍵盤之操作影像；以及當從該操作影像辨識出使用者手部時，依據該按鍵排列方式及該輸入法資訊以在該顯示裝置顯示一虛擬鍵盤，並在該虛擬鍵盤上對應於該使用者手部之打字操作的按鍵位置疊合一擴增實境手部物件以顯示該打字操作。

Description

電腦裝置及擴增實境虛擬鍵盤顯示方法
本發明是關於擴增實境，特別是有關於一種電腦裝置及擴增實境虛擬鍵盤顯示方法。
使用者在電腦裝置上打字時，往往會使用到多語言的輸入法、或者需輸入標點符號。然而，使用者往往會因為切換不同語系的輸入法或是需按特別符號而造成輸入錯誤，並造成不必要的時間浪費以導致文字輸入效率不彰。
有鑑於此，本發明係提供一種電腦裝置及擴增實境虛擬鍵盤顯示方法以解決上述問題。
本發明係提供一種電腦裝置，包括：一顯示裝置及一主機。該主機，包括：一鍵盤；一相機；一儲存裝置，用以儲存一擴增實境鍵盤程式；以及一處理器，用以執行該擴增實境鍵盤程式以執行下列步驟：偵測在該主機上運作之作業系統的輸入法資訊並取得該鍵盤之按鍵排列方式；利用該相機拍攝該鍵盤之操作影像；以及當從該操作影像辨識出使用者手部時，依據該按鍵排列方式及該輸入法資訊以在該顯示裝置顯示一虛擬鍵盤，並在該虛擬鍵盤上對應於該使用者手部之打字操作的按鍵位置疊合一擴增實境手部物件以顯示該打字操作。
在一些實施例中，該輸入法資訊包括在該作業系統上正在使用中的輸入法語系及輸入法種類，且該處理器係由該鍵盤所回報的裝置資訊以得到該鍵盤相應的產品型號、尺寸、按鍵數及該按鍵排列方式。該虛擬鍵盤之虛擬鍵盤按鍵上的虛擬文字係對應於該輸入法語系及該輸入法種類。
在一些實施例中，該處理器更依據該顯示裝置之解析度及實際尺寸以調整該虛擬鍵盤及該擴增實境手部物件之尺寸。
在一些實施例中，該擴增實境鍵盤程式包括一影像辨識人工智慧模型以從該操作影像辨識出該使用者手部，並給予辨識出的該使用者手部一邊界，並且依據該邊界以將該擴增實境手部物件疊合至該虛擬鍵盤。
在一些實施例中，該處理器更依據該擴增實境鍵盤程式所設定的目前使用情境以將該虛擬鍵盤改變為相應於該目前使用情境的虛擬物件。
本發明更提供一種擴增實境虛擬鍵盤顯示方法，用於一電腦裝置，該電腦裝置包括一相機、一鍵盤及一顯示裝置，該方法包括：偵測在該電腦裝置上運作之作業系統的輸入法資訊並取得該鍵盤之按鍵排列方式；利用該相機拍攝該鍵盤之操作影像；以及當從該操作影像辨識出使用者手部時，依據該按鍵排列方式及該輸入法資訊以在該顯示裝置顯示一虛擬鍵盤，並在該虛擬鍵盤上對應於該使用者手部之打字操作的按鍵位置疊合一擴增實境手部物件以顯示該打字操作。
在一些實施例中，該輸入法資訊包括在該作業系統上正在使用中的輸入法語系及輸入法種類，且該處理器係由該鍵盤所回報的裝置資訊以得到該鍵盤相應的產品型號、尺寸、按鍵數及該按鍵排列方式。該虛擬鍵盤之虛擬鍵盤按鍵上的虛擬文字係對應於該輸入法語系及該輸入法種類。
在一些實施例中，該方法更包括：依據該顯示裝置之解析度及實際尺寸以調整該虛擬鍵盤及該擴增實境手部物件之尺寸。
在一些實施例中，該方法更包括：利用一影像辨識人工智慧模型以從該操作影像辨識出該使用者手部，並給予辨識出的該使用者手部一邊界；以及依據該邊界以將該擴增實境手部物件疊合至該虛擬鍵盤。
在一些實施例中，該方法更包括：依據該擴增實境鍵盤程式所設定的目前使用情境以將該虛擬鍵盤改變為相應於該目前使用情境的虛擬物件。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的"包含"、"包括"等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於申請專利範圍中使用如"第一"、"第二"、"第三"等詞係用來修飾申請專利範圍中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
第1圖為依據本發明一實施例中之電腦裝置的方塊圖。
電腦裝置10例如可為一個人電腦或筆記型電腦。如第1圖所示，電腦裝置10包括主機100及顯示裝置200。主機100係電性連接至顯示裝置200。主機100例如可產生包含擴增實境虛擬物件的影像信號，並將該影像信號透過傳輸介面150傳送至顯示裝置180進行播放。
主機100包括：處理器110、記憶體單元120、儲存裝置130、傳輸介面140及鍵盤150，其中在主機100中的上述各元件係透過系統匯流排111而互相耦接。處理器110例如為中央處理器(CPU)、一般用途處理器(general-purpose processor)等等，但本發明並不限於此。
記憶體單元120為一隨機存取記憶體，例如是動態隨機存取記憶體(DRAM)或靜態隨機存取記憶體(SRAM)，但本發明並不限於此。記憶體單元120亦可稱為系統記憶體，除了可供可供處理器110暫存資料之外，亦可做為一影像緩衝器(image buffer)。
儲存裝置130為一非揮發性記憶體(non-volatile memory)，例如可為一硬碟機(hard disk drive)、一固態硬碟(solid-state disk)、一快閃記憶體(flash memory)、或一唯讀記憶體(read-only memory)，但本發明並不限於此。舉例來說，儲存裝置130可儲存作業系統131(例如可為Windows、Linux、MacOS等等)及擴增實境鍵盤程式132。處理單元110例如可將作業系統131及擴增實境鍵盤程式132讀取至記憶體單元120並執行。
傳輸介面140例如為有線傳輸介面，包括：高解析度多媒體介面(High Definition Multimedia Interface，HDMI)、顯示埠(DisplayPort，DP)介面、嵌入式顯示埠(embedded DisplayPort，eDP)、低電壓差動訊號傳輸(low voltage differential signaling，LVDS)介面、通用序列匯流排(Universal Serial Bus，USB)介面、USB Type-C介面等等，但本發明並不限於此。顯示裝置200例如可為液晶(liquid-crystal)顯示面板、發光二極體(LED)顯示面板、有機發光二極體(OLED)顯示面板等等，但本發明並不限於此。
電腦裝置10更包括一或多台相機20，用以擷取鍵盤150之操作影像序列(例如包含一或多張操作影像)。相機20例如可用CMOS影像感測器或CCD影像感測器所實現，但本發明並不限於此。
第2A～2D圖為依據本發明不同實施例中之電腦裝置10的使用情境的示意圖。請同時參考第1圖及第2A～2D圖。
在一實施例中，若電腦裝置10為筆記型電腦，相機20例如可設置於電腦裝置10之顯示裝置200的顯示區域上方或下方(如第2B圖所示)、或是設置於鍵盤150的前方靠近顯示裝置200的區域(如第2A圖所示)，且相機20之視野範圍(field of view)可涵蓋整個鍵盤150。
在另一實施例中，若電腦裝置10為個人電腦且主機100及顯示裝置200係分開設置，相機20例如可設置於顯示裝置200之顯示區域上方或下方，且相機20之視野範圍可涵蓋整個鍵盤150，如第2C圖所示。在此實施例中，顯示裝置200例如可透過USB協定以將相機20所拍攝的操作影像傳送至主機100(例如透過USB連線)。在又一實施例中，相機20例如可為單獨設置的相機(例如網路攝影機)，且電性連接至主機100(例如透過USB連線)，且相機20之視野範圍同樣可涵蓋整個鍵盤150。
詳細而言，無論使用那一種配置的相機20，相機20均可拍攝到鍵盤150的整個區域，例如包含使用者正在使用鍵盤150進行打字的操作影像。擴增實境鍵盤程式132例如可包含用於影像辨識的已訓練完成的人工智慧(AI)模型，用以即時判斷在操作影像中是否有一或多個特定物件(例如使用者手部、鍵盤按鍵、按鍵文字、或其他物件)存在。當擴增實境鍵盤程式132判斷在目前的操作影像中有一或多個特定物件存在，擴增實境鍵盤程式132則給予各個特定物件適當邊界。
請再參考第2C圖，舉例來説，擴增實境鍵盤程式132可接收鍵盤150所回報的裝置資訊以得到鍵盤150相應的產品型號、尺寸、按鍵數及按鍵排列方式，並且可偵測作業系統131正在使用的輸入法語系及輸入法種類，例如英文、中文/注音、中文/倉頡等等，但本發明並不限於此。擴增實境鍵盤程式132並可依據鍵盤150的按鍵排列方式在顯示裝置200上顯示對應於輸入法語系及輸入法種類的虛擬鍵盤210、以及各個虛擬鍵盤按鍵的文字或符號。意即，虛擬鍵盤210的各個虛擬鍵盤按鍵上的虛擬文字係對應於輸入法語系及輸入法種類。
此外，使用者亦可能同時開啟目前正在使用的輸入法的螢幕小鍵盤(on-screen keyboard)之功能，並調整螢幕小鍵盤220在顯示裝置200的顯示位置。使用者亦可設定虛擬鍵盤210的顯示位置，例如可與螢幕小鍵盤220完全重疊，意即以虛擬鍵盤210為主、或是將虛擬鍵盤210的顯示位置調整為不與螢幕小鍵盤220重疊。例如當螢幕小鍵盤220顯示在顯示裝置200的右下方，則擴增實境鍵盤程式132可將該虛擬鍵盤210顯示於顯示裝置200的中間下方、或是左下方，如第2C圖所示。
在一些實施例中，使用者亦可調整擴增實境鍵盤程式132所顯示的虛擬鍵盤210的尺寸，例如擴增實境鍵盤程式132可進一步依據顯示裝置200之解析度及實際尺寸以調整虛擬鍵盤210及擴增實境手部物件40的尺寸。當顯示裝置200之解析度及實際尺寸較大時，擴增實境鍵盤程式132所顯示的虛擬鍵盤210及擴增實境手部物件40的尺寸會較大，甚至可跟鍵盤150的尺寸相等，故使用者可清楚地在顯示裝置200上看到虛擬鍵盤210上方的擴增實境手部物件40在各個虛擬鍵盤按鍵上的打字操作。當顯示裝置200之解析度及實際尺寸較小時，擴增實境鍵盤程式132所顯示的虛擬鍵盤210及擴增實境手部物件的尺寸會較小。
當擴增實境鍵盤程式132偵測到相機20所拍攝的操作影像中有使用者手部時，擴增實境鍵盤程式132可進一步偵測使用者手部30及各個鍵盤按鍵的位置、尺寸及其邊界，並進一步依據該邊界以在虛擬鍵盤210上疊合擴增實境手部物件40，例如以擴增實境所繪製的使用者手部物件。當使用者手部30在鍵盤150上進行打字操作時，擴增實境鍵盤程式132則同樣會在該打字操作在虛擬鍵盤210相應的按鍵位置上疊合對應的擴增實境手部物件40，意即使用者可看到在顯示裝置200上顯示的虛擬鍵盤上的擴增實境手部物件40同樣會在對應的位置進行打字操作。
在一些實施例中，使用者可設定擴增實境手部物件40的透明度，以讓使用者可從顯示裝置200清楚看到擴增實境手部物件40在虛擬鍵盤210上所接觸的位置，意即可同時了解使用者手部30在鍵盤150的位置。因此，使用者可直接觀看顯示裝置200上所顯示的虛擬鍵盤210即可知道自己的使用者手部30在打字操作時在鍵盤150上之位置(即觸碰的鍵盤按鍵)，故可降低在盲打時的輸入錯誤，進而增加使用者的打字效率並提昇使用者體驗。
請參考第2D圖，在另一實施例中，使用者可設定擴增實境鍵盤程式132的目前使用情境。擴增實境鍵盤程式132例如可依據設定的目前使用情境(例如演奏模式)將第2C圖中之虛擬鍵盤210改變為虛擬鋼琴按鍵230，且使用者可將鍵盤150當做實體的鋼琴按鍵以進行彈奏，且擴增實境鍵盤程式132同樣可利用相機20所拍攝的操作影像以偵測使用者手部30的彈奏動作並將相應的擴增實境手部物件40疊合於虛擬鋼琴按鍵230上。因此，使用者可在顯示裝置200上的虛擬鋼琴按鍵230看到自己的彈奏動作，進而增加使用者體驗。換言之，處理器110可依據擴增實境鍵盤程式132所設定的目前使用情境以將虛擬鍵210盤改變為相應於該目前使用情境的虛擬物件(例如虛擬鋼琴按鍵230)，但本發明並不限於此。
第3圖為依據本發明一實施例中之擴增實境虛擬鍵盤顯示方法的流程圖。請同時參考第1圖及第3圖。
在步驟S310，偵測在主機100上運作之作業系統的輸入法資訊並取得鍵盤之按鍵排列方式。舉例來説，擴增實境鍵盤程式132可接收鍵盤150所回報的裝置資訊以得到鍵盤150相應的產品型號、尺寸、按鍵數及按鍵排列方式，並且可偵測作業系統131的輸入法資訊，例如：使用中的輸入法語系及輸入法種類(例如英文、中文/注音、中文/倉頡等等)，但本發明並不限於此。
在步驟S320，利用相機20拍攝鍵盤150之操作影像。舉例來説，本發明中之相機可視電腦裝置10之類型以設置在不同區域。若電腦裝置10為筆記型電腦，相機20例如可設置於電腦裝置10之顯示裝置200的顯示區域上方或下方(如第2B圖所示)、或是設置於鍵盤150的前方靠近顯示裝置200的區域(如第2A圖所示)，且相機20之視野範圍(field of view)可涵蓋整個鍵盤150。若電腦裝置10為個人電腦且主機100及顯示裝置200係分開設置，相機20例如可設置於顯示裝置200之顯示區域上方或下方，且相機20之視野範圍可涵蓋整個鍵盤150，如第2C圖所示。相機20亦可為單獨設置的相機(例如網路攝影機)，且電性連接至主機100，且相機20之視野範圍同樣可涵蓋整個鍵盤150。
在步驟S330，當從該操作影像辨識出使用者手部30時，依據該按鍵排列方式及該輸入法資訊以在顯示裝置200顯示一虛擬鍵盤210，並在該虛擬鍵盤210上對應於該使用者手部30之打字操作的按鍵位置疊合一擴增實境手部物件40以顯示該打字操作。
綜上所述，本發明係提供一種電腦裝置及擴增實境虛擬鍵盤顯示方法，其可利用相機拍攝使用者手部在電腦裝置之鍵盤上的操作影像，並且可在顯示裝置上顯示對應於鍵排的按鍵排列方式的虛擬鍵盤。此外，電腦裝置所執行的擴增實境鍵盤程式132可從操作影像辨識出使用者手部的打字操作，並在虛擬鍵盤上疊合擴增實境手部物件以讓使用者可透過顯示裝置即可清楚了解其打字操作正在觸碰的鍵盤按鍵，故可降低在盲打時的輸入錯誤，進而增加使用者的打字效率並提昇使用者體驗。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10:電腦裝置 20:相機 30:使用者手部 40:擴增實境手部物件 100:主機 110:處理器 111:系統匯流排 120:記憶體單元 130:儲存裝置 131:作業系統 132:擴增實境鍵盤程式 140:傳輸介面 150:鍵盤 200:顯示裝置 210:虛擬鍵盤 220:螢幕小鍵盤 230:虛擬鋼琴按鍵 S310-S330:步驟
第1圖為依據本發明一實施例中之電腦裝置的方塊圖。 第2A～2D圖為依據本發明不同實施例中之電腦裝置10的使用情境的示意圖。 第3圖為依據本發明一實施例中之擴增實境虛擬鍵盤顯示方法的流程圖。
S310-S330:步驟

Claims (10)

  1. 一種電腦裝置，包括： 一顯示裝置；以及 一主機，包括： 一鍵盤； 一相機； 一儲存裝置，用以儲存一擴增實境鍵盤程式；以及 一處理器，用以執行該擴增實境鍵盤程式以執行下列步驟： 偵測在該主機上運作之作業系統的輸入法資訊並取得該鍵盤之按鍵排列方式； 利用該相機拍攝該鍵盤之操作影像；以及 當從該操作影像辨識出使用者手部時，依據該按鍵排列方式及該輸入法資訊以在該顯示裝置顯示一虛擬鍵盤，並在該虛擬鍵盤上對應於該使用者手部之打字操作的按鍵位置疊合一擴增實境手部物件以顯示該打字操作。
  2. 如請求項1之電腦裝置，其中該輸入法資訊包括在該作業系統上正在使用中的輸入法語系及輸入法種類，且該處理器係由該鍵盤所回報的裝置資訊以得到該鍵盤相應的產品型號、尺寸、按鍵數及該按鍵排列方式； 其中該虛擬鍵盤之各虛擬鍵盤按鍵上的虛擬文字係對應於該輸入法語系及該輸入法種類。
  3. 如請求項1之電腦裝置，其中該處理器更依據該顯示裝置之解析度及實際尺寸以調整該虛擬鍵盤及該擴增實境手部物件之尺寸。
  4. 如請求項1之電腦裝置，其中該擴增實境鍵盤程式包括一影像辨識人工智慧模型以從該操作影像辨識出該使用者手部，並給予辨識出的該使用者手部一邊界，並且依據該邊界以將該擴增實境手部物件疊合至該虛擬鍵盤。
  5. 如請求項2之電腦裝置，其中該處理器更依據該擴增實境鍵盤程式所設定的目前使用情境以將該虛擬鍵盤改變為相應於該目前使用情境的虛擬物件。
  6. 一種擴增實境虛擬鍵盤顯示方法，用於一電腦裝置，該電腦裝置包括一相機、一鍵盤及一顯示裝置，該方法包括： 偵測在該電腦裝置上運作之作業系統的輸入法資訊並取得該鍵盤之按鍵排列方式； 利用該相機拍攝該鍵盤之操作影像；以及 當從該操作影像辨識出使用者手部時，依據該按鍵排列方式及該輸入法資訊以在該顯示裝置顯示一虛擬鍵盤，並在該虛擬鍵盤上對應於該使用者手部之打字操作的按鍵位置疊合一擴增實境手部物件以顯示該打字操作。
  7. 如請求項6之擴增實境虛擬鍵盤顯示方法，其中該輸入法資訊包括在該作業系統上正在使用中的輸入法語系及輸入法種類，且該處理器係由該鍵盤所回報的裝置資訊以得到該鍵盤相應的產品型號、尺寸、按鍵數及該按鍵排列方式； 其中該虛擬鍵盤之各虛擬鍵盤按鍵上的虛擬文字係對應於該輸入法語系及該輸入法種類。
  8. 如請求項6之擴增實境虛擬鍵盤顯示方法，更包括：依據該顯示裝置之解析度及實際尺寸以調整該虛擬鍵盤及該擴增實境手部物件之尺寸。
  9. 如請求項6之擴增實境虛擬鍵盤顯示方法，更包括： 利用一影像辨識人工智慧模型以從該操作影像辨識出該使用者手部，並給予辨識出的該使用者手部一邊界；以及 依據該邊界以將該擴增實境手部物件疊合至該虛擬鍵盤。
  10. 如請求項7之擴增實境虛擬鍵盤顯示方法，更包括：依據該擴增實境鍵盤程式所設定的目前使用情境以將該虛擬鍵盤改變為相應於該目前使用情境的虛擬物件。
TW111132054A 2022-08-25 2022-08-25 電腦裝置及擴增實境虛擬鍵盤顯示方法 TWI840926B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111132054A TWI840926B (zh) 2022-08-25 2022-08-25 電腦裝置及擴增實境虛擬鍵盤顯示方法
CN202211092634.5A CN117666777A (zh) 2022-08-25 2022-09-08 计算机装置及扩增实境虚拟键盘显示方法
US18/053,020 US20240070946A1 (en) 2022-08-25 2022-11-07 Computer device and method for displaying augmented-reality (ar) virtual keyboard

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111132054A TWI840926B (zh) 2022-08-25 2022-08-25 電腦裝置及擴增實境虛擬鍵盤顯示方法

Publications (2)

Publication Number Publication Date
TW202409817A true TW202409817A (zh) 2024-03-01
TWI840926B TWI840926B (zh) 2024-05-01

Family

ID=89996849

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111132054A TWI840926B (zh) 2022-08-25 2022-08-25 電腦裝置及擴增實境虛擬鍵盤顯示方法

Country Status (3)

Country Link
US (1) US20240070946A1 (zh)
CN (1) CN117666777A (zh)
TW (1) TWI840926B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589425A (zh) * 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算系统的系统和方法
US20140035819A1 (en) * 2012-08-03 2014-02-06 Research In Motion Limited Method and Apparatus Pertaining to an Augmented-Reality Keyboard
CN106406563A (zh) * 2016-08-31 2017-02-15 李文松 一种vr环境下文字输入方法及装置
TW202032329A (zh) * 2019-02-21 2020-09-01 宏碁股份有限公司 電子系統、偵測裝置及電子系統之操作方法
US11270515B2 (en) * 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
CN111813232A (zh) * 2020-06-30 2020-10-23 深圳岱仕科技有限公司 Vr键盘和vr办公装置
CN114546125B (zh) * 2022-04-27 2022-08-09 北京影创信息科技有限公司 键盘跟踪方法及跟踪系统

Also Published As

Publication number Publication date
US20240070946A1 (en) 2024-02-29
TWI840926B (zh) 2024-05-01
CN117666777A (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
US10452155B2 (en) Display method of on-screen keyboard and computer program product and non-transitory computer readable storage medium thereof
US9448620B2 (en) Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys
US9996893B2 (en) Display apparatus constituting multi display system and control method thereof
US20150153952A1 (en) Techniques for interacting with handheld devices
US10185701B2 (en) Unsupported character code detection mechanism
EP3547218A1 (en) File processing device and method, and graphical user interface
US9984335B2 (en) Data processing device
US9454694B2 (en) Displaying and inserting handwriting words over existing typeset
CN103955339A (zh) 一种终端操作方法及终端设备
US20230196036A1 (en) Integrating overlaid textual digital content into displayed data via graphics processing circuitry using a frame buffer
US20160179758A1 (en) Handwriting preview window
US10901528B2 (en) Method and apparatus for adjusting orientation, and electronic device
CN108595134A (zh) 智能交互平板及矢量图处理方法、装置和设备
US20170123514A1 (en) Method and apparatus for adjusting orientation, and electronic device
TWI840926B (zh) 電腦裝置及擴增實境虛擬鍵盤顯示方法
JP2014171121A (ja) 投影システム、投影装置、投影方法、及び投影プログラム
TWI686742B (zh) 控制方法、電子裝置及非暫態電腦可讀記錄媒體裝置
WO2024007819A1 (zh) 黑板板书获取方法、装置、设备、系统及存储介质
US20190235710A1 (en) Page Turning Method and System for Digital Devices
CN103034332B (zh) 一种多层显示书写的方法、装置和系统
CN103853318A (zh) 使用者介面产生装置与相关方法
CN104461435A (zh) 一种显示设备
WO2016095515A1 (zh) 显示方法及显示终端
US12394104B2 (en) Information processing apparatus, non-transitory computer readable medium storing program, and information processing system
JP7746755B2 (ja) 表示制御装置、画像表示システム、表示制御方法およびプログラム