[go: up one dir, main page]

TWI864843B - 觸控筆位置估測方法與觸控筆 - Google Patents

觸控筆位置估測方法與觸控筆 Download PDF

Info

Publication number
TWI864843B
TWI864843B TW112123881A TW112123881A TWI864843B TW I864843 B TWI864843 B TW I864843B TW 112123881 A TW112123881 A TW 112123881A TW 112123881 A TW112123881 A TW 112123881A TW I864843 B TWI864843 B TW I864843B
Authority
TW
Taiwan
Prior art keywords
stylus
display
image
distance
coordinate component
Prior art date
Application number
TW112123881A
Other languages
English (en)
Other versions
TW202501215A (zh
Inventor
林上堯
庭為 阮
黃昭世
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW112123881A priority Critical patent/TWI864843B/zh
Priority to US18/457,375 priority patent/US12105899B1/en
Application granted granted Critical
Publication of TWI864843B publication Critical patent/TWI864843B/zh
Publication of TW202501215A publication Critical patent/TW202501215A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種觸控筆位置估測方法與觸控筆。所述方法包括下列步驟。透過設置於觸控筆上的影像擷取裝置朝顯示器擷取一影像。透過設置於觸控筆上的測距感測器偵測觸控筆與顯示器之間的距離。偵測影像中顯示器的顯示器邊框。根據影像中顯示器邊框與距離，決定觸控筆相對於顯示器的空間位置。

Description

觸控筆位置估測方法與觸控筆
本發明是有關於一種觸控筆系統，且特別是有關於一種觸控筆位置估測方法與觸控筆。
一般來說，手指與觸控筆（Stylus）是最常被使用者用於進行觸控操作的輸入工具。由於觸控筆可產生較為精細且準確的筆觸，因此觸控筆更適合用於繪圖情境或一些特定情境。然而，隨著電子產品的功能越來越多，直接使用觸控筆碰觸螢幕的觸控操作方式已漸漸不能滿足使用者操作上的需求。像是，觸控筆須足夠接近觸控螢幕才能發生效用，此將直接限制使用者與電子產品之間的實際距離。因此，如何讓觸控筆提供更多元的控制方式實為本領域技術人員所關心的議題。
有鑑於此，本發明提出一種觸控筆位置估測方法與觸控筆，其可準確地獲取觸控筆相對於顯示器的空間位置，以根據觸控筆相對於顯示器的空間位置提供更多元的控制方式。
本發明實施例提供一種觸控筆位置估測方法，其包括下列步驟。透過設置於觸控筆上的影像擷取裝置朝顯示器擷取一影像。透過設置於觸控筆上的測距感測器偵測觸控筆與顯示器之間的距離。偵測影像中顯示器的顯示器邊框。根據影像中顯示器邊框與距離，決定觸控筆相對於顯示器的空間位置。
本發明實施例提供一種觸控筆，其包括影像擷取裝置、測距感測器與控制器。控制器耦接影像擷取裝置與測距感測器，經配置以執行下列操作。透過設置於觸控筆上的影像擷取裝置朝顯示器擷取一影像。透過設置於觸控筆上的測距感測器偵測觸控筆與顯示器之間的距離。偵測影像中顯示器的顯示器邊框。根據影像中顯示器邊框與距離，決定觸控筆相對於顯示器的空間位置。
基於上述，於本發明的實施例中，設置於觸控筆上的影像擷取裝置可朝顯示器擷取影像，且測距感測器可偵測觸控筆與顯示器之間的距離。根據影像中顯示器的顯示器邊框與上述距離，可以估測出觸控筆相對於顯示器的空間位置。於是，觸控筆相對於顯示器的空間位置可用來執行控制功能，以增加使觸控筆的使用方式的更加多元化。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與系統的範例。
圖1是依照本發明一實施例的觸控筆位置估測系統的示意圖。請參照圖1，觸控筆位置估測系統10包括觸控筆100與顯示器200。顯示器200例如是智慧型手機、平板電腦、筆記型電腦、電子書、遊戲機、桌上型電腦的觸控螢幕，本發明並不對此限制。顯示器200例如是液晶顯示器（liquid crystal display，LCD）、薄膜電晶體（TFT）-LCD、有機發光二極體（organic light-emitting diode，OLED）、柔性顯示器、三維（3D）顯示器等，但可不限於此。一般而言，使用者可使用觸控筆100對觸控顯示器200施予觸控輸入操作。
須注意的是，於本發明實施例中，根據觸控筆100上各式感測器的感測數據，觸控筆100相對於顯示器200的空間位置可以被定位出來。於一些實施例中，觸控筆100相對於顯示器200的螢幕中心C1的空間位置可以被定位出來。根據觸控筆100上各式感測器的感測數據，觸控筆100的傾斜狀態也可獲取。於是，即便顯示器200的觸控面板未感測到觸控筆100的接觸或接近，使用者還可透過持握觸控筆100的手勢變化來下達使用者操作至包括顯示器200的電子裝置。舉例而言，在顯示器200的觸控面板未感測到觸控筆100的接觸或接近的情況下，使用者可透過持握觸控筆100的手勢變化來改變觸控筆100的空間位置與傾斜狀態，以透過持握觸控筆100的手勢來與顯示器200的顯示物件進行互動操作。
圖2是本發明一實施例的觸控筆的方塊圖。請參照圖2，觸控筆100包括影像擷取裝置110、測距感測器120、慣性感測器130、儲存裝置140、收發器150與控制器160。
影像擷取裝置110用以拍攝影像，其可包括鏡頭、影像感測器以及其他組件。影像感測器用以提供影像感測功能，其可包括感光元件，例如是電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他元件，本發明對此不限制。鏡頭可匯集成像光線在影像感測器上，以達到擷取影像的目的。於一些實施例中，影像擷取裝置110可包括魚眼鏡頭或廣角鏡頭。於一些實施例中，影像擷取裝置110可設置於靠近觸控筆100的筆頭的位置。因此，當觸控筆100的筆頭指向顯示器200的時候，影像擷取裝置110可朝顯示器200擷取影像。
測距感測器120用以偵測觸控筆100與顯示器200之顯示平面之間的距離。測距感測器120可以是超聲波測距感測器、紅外線測距感測器、雷射光測距感測器或其他類型的距離感測器。於一些實施例中，測距感測器120可包括多區域飛時（Time of Flight，TOF）測距感測器，而可提供多個量測區域的量測距離。於一些實施例中，測距感測器120可設置於靠近觸控筆100的筆頭的位置。因此，當觸控筆100的筆頭指向顯示器200的時候，測距感測器120可偵測觸控筆100的筆頭與顯示器200之顯示平面之間的距離。
慣性感測器（Inertial measurement unit sensor，IMU sensor）130用以感測觸控筆100的運動狀態，例如角速度與加速度等等。慣性感測器130可包括陀螺儀（Gyroscope）、加速度計（Accelerometer）、磁力計（Magnetometer）或其組合。
儲存裝置140用以儲存資料或供控制器160存取的軟體模組或指令，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或其組合。
收發器150可以無線或有線的方式傳送及接收訊號。收發器還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。觸控筆100可透過收發器150與包括顯示器100的電子裝置進行通訊，以接收與發送資料。
控制器160耦接影像擷取裝置110、測距感測器120、慣性感測器130、儲存裝置140、收發器150，用以控制觸控筆100的整體操作。控制器160的相關功能可以被實現於一或多個控制器、微控制器、微處理器、特殊應用積體電路（Application-specific integrated circuit，ASIC）、數位訊號處理器（digital signal processor，DSP）、場可程式邏輯閘陣列（Field Programmable Gate Array，FPGA）及/或其他處理單元中的各種邏輯區塊、模組和電路。
然而，除了圖2所繪示的元件之外，觸控筆100還可包括其他元件，像是壓力感測器、電源管理電路、震動元件或按鍵等等，本發明對此不限制。
圖3是本發明一實施例的觸控筆位置估測方法的流程圖。請參照圖3，本實施例的方法適用於圖1與圖2的觸控筆100，以下即搭配觸控筆100中的各項元件說明本發明之觸控筆位置估測方法的詳細步驟。
於步驟S310，控制器160透過設置於觸控筆100上的影像擷取裝置110朝顯示器200擷取一影像。具體來說，當觸控筆100被使用者持握且指向顯示器200的時候，觸控筆100上的影像擷取裝置110可朝顯示器200擷取一影像。於一些實施例中，影像擷取裝置110可包括魚眼鏡頭，魚眼鏡頭的視場角（Field of View，FOV）可超過180度，而使擷取影像不包括顯示器200的機率大幅降低。於一些實施例中，影像擷取裝置110可依據一擷取幀率持續地擷取影像序列。
於步驟S320，控制器160透過設置於觸控筆100上的測距感測器120偵測觸控筆100與顯示器200之間的距離。具體來說，當觸控筆100被使用者持握且指向顯示器200的時候，觸控筆100上的測距感測器120可即時地偵測觸控筆100與顯示器200之顯示平面之間的距離。測距感測器120發出的光線、超聲波或其他電磁訊號可打在顯示器200之顯示平面上，測距感測器120可感測由顯示器200反射的反射光線、反射超聲波或其他反射電磁訊號來獲取觸控筆100與顯示器200之間的距離。
於步驟S330，控制器160偵測影像中顯示器200的顯示器邊框。於一些實施例中，控制器160可根據事先訓練好的物件辨識模型來偵測影像中的顯示器200，以進一步獲取影像中顯示器200的顯示器邊框。上述物件辨識模型為依據機器學習演算法而訓練的機器學習模型，例如是卷積神經網路模型、Yolo模型或圖像分割模型等等。於一些實施例中，控制器160可透過邊緣檢測（edge detection）演算法來偵測影像中的邊緣，並進一步檢測直線邊緣。之後，控制器160可根據顯示器200的尺寸資訊（例如長寬比例）來偵測出影像中的顯示器邊框。此外，於一些實施例中，顯示器200之螢幕邊緣或螢幕角落呈現有識別標記（例如條碼或特定圖案），而控制器160可透過偵測影像中的識別標記來定位影像中顯示器200的顯示邊框。於一些實施例中，識別標記可以實施為貼附於顯示器200上的貼紙，或由顯示器200自行顯示識別標記。
於步驟S340，控制器160根據影像中顯示器邊框與距離，決定觸控筆100相對於顯示器200的空間位置。於一些實施例中，觸控筆100相對於顯示器200的空間位置可由世界座標系的座標位置來表示。於一些實施例中，以顯示器200的中心C1為世界座標系的原點為例。此世界座標系的Z軸向（即第三軸向）為顯示器200的顯示平面的法線方向N1。世界座標系的X軸向（即第一軸向）為顯示器200的顯示平面的X方向，世界座標系的Y軸向（即第二軸向）為顯示器200的顯示平面的Y方向。控制器160可根據測距感測器120所感測的距離決定觸控筆100於世界座標系的Z軸座標分量。並且，控制器160可根據影像中顯示器邊框的成像狀況（例如成像位置、成像尺寸與成像完整與否）來決定觸控筆100於世界座標系的X軸座標分量與Y軸座標分量。
於是，在定位出觸控筆100相對於顯示器200的空間位置之後，控制器160可根據此空間位置執行一功能。於一些實施例中，觸控筆100可根據相對於顯示器200的空間位置而與包括顯示器200的電子裝置執行一互動操作。詳細而言，控制器160可將上述空間位置透過收發器150傳輸至包括顯示器200的電子裝置，以與上述電子裝置進行互動。舉例而言，當顯示器200顯示有3D物件模型時，使用者可透過移動觸控筆100來拖曳或旋轉此3D物件模型。
另外需要說明的是，上述實施例是以觸控筆100為執行主體為例進行說明，但本發明並不限制於此。於其他實施例中，觸控筆100可將測距感測器120所偵測的距離與影像擷取裝置110所擷取的影像提供給包括顯示器200的電子裝置，以由該電子裝置來決定觸控筆100相對於顯示器200的空間位置。
圖4是本發明一實施例的觸控筆位置估測方法的流程圖。請參照圖4，本實施例的方法適用於圖1與圖2的觸控筆100，以下即搭配觸控系統10中的各項元件說明本發明之觸控筆位置估測方法的詳細步驟。
於步驟S410，控制器160透過設置於觸控筆100上的影像擷取裝置110朝顯示器200擷取一影像。於步驟S420，控制器160透過設置於觸控筆100上的測距感測器120偵測觸控筆100與顯示器200之間的距離。步驟S410至步驟S420的詳細實施方式已於圖3的實施例清楚說明，於此不贅述。
於步驟S430，控制器160偵測觸控筆100的傾斜狀態。於一些實施例中，觸控筆100的傾斜狀態包括觸控筆100的指向方向相對於顯示器200的顯示平面的法線方向N1的相對角度θ。亦即，當此相對角度θ為0度，代表觸控筆100的指向垂直於顯示器200的顯示平面。觸控筆100的傾斜狀態取決於使用者持握觸控筆100的手勢。
於一些實施例中，慣性感測器130設置於觸控筆100上，並用以偵測觸控筆100的傾斜狀態。具體來說，控制器160可根據使用陀螺儀的感測數據來計算觸控筆100相對於地平面的角度，以獲取觸控筆100的傾斜狀態。於一些實施例中，在顯示器200的顯示平面與地平面之間的夾角已知的情況下，控制器160可進一步獲取觸控筆100的指向方向相對於顯示器200的顯示平面的法線方向N1的相對角度θ。
於一些實施例中，測距感測器120包括多區域TOF測距感測器，此多區域TOF測距感測器用以偵測觸控筆100的傾斜狀態。具體來說，多區域TOF測距感測器能夠進行多個獨立的距離測量，而獲取多個不同測量區域的測距結果。換言之，多區域TOF測距感測器可包括對應至不同測量區域的感測陣列。
舉例而言，圖5是本發明一實施例的深度感測資料的示意圖。請參照圖5，多區域TOF測距感測器例如是8*8多區域TOF測距感測器。多區域TOF測距感測器輸出的深度感測資料51可包括對應至64個測量區域的深度感測值d00～d77。測距感測器120設置於靠近觸控筆100的筆頭，而可用以量測筆頭與顯示器200之間的距離。
可知的，當觸控筆100的指向接近垂直於顯示器200的顯示平面時，深度感測資料51中關聯於顯示器200的多個深度感測值（例如深度感測值d00～d77）彼此相似而不會有太大差異。相比之下，若觸控筆100的指向方向相對於顯示器200的顯示平面的法線方向N1的相對角度θ明顯時，深度感測資料51中關聯於顯示器200的多個深度感測值會（例如深度感測值d00～d77）出現較明顯的差異，且關聯於顯示器200的多個深度感測值的大小與觸控筆100的指向有關。因此，透過分析深度感測資料51中多個深度感測值，控制器160可獲取觸控筆100的傾斜狀態。此外，根據深度感測資料51中多個深度感測值的比較結果，控制器160還可判斷深度感測資料51中的各個深度感測資料是否是反應於顯示器200而產生。舉例而言，假設第一排深度感測值d00、d10、…、d70與其他深度感測值之間的差距大於臨界值，代表第一排深度感測值d00、d10、…、d70是與顯示器200無關的深度資訊，即第一排深度感測值d00、d10、…、d70並非根據顯示器200所反射的反射光或反射訊號而產生。
於步驟S440，控制器160偵測影像中顯示器200的顯示器邊框。於一些實施例中，影像擷取裝置110包括魚眼鏡頭，影像擷取裝置110擷取的影像包括魚眼影像。步驟S440可實施為步驟S441與步驟S442。
於步驟S441，控制器160根據距離對魚眼影像進行影像校正處理而獲取校正影像。於步驟S442，控制器160偵測校正影像中顯示器200的顯示邊框。具體來說，根據測距感測器120所感測的距離（即深度資訊）和魚眼影像中的特徵點，控制器160可以使用相機標定技術或幾何推理方法來準確地估計魚眼畸變參數。這些魚眼畸變參數可包括畸變中心、視場角和徑向/切向畸變係數等。之後，根據這些魚眼畸變參數，控制器160可對魚眼影像投影到平面上並對畸變進行逆變換，從而獲取校正影像。校正影像中的影像物件可恢復為真實形狀和尺寸。於是，控制器160可透過前述實施例提到的方式來偵測校正影像中顯示器200的顯示邊框。
於本實施例中，觸控筆100相對於顯示器200的空間位置可包括第一軸向上的第一座標分量、第二軸向上的第二座標分量與第三軸向上的第三座標分量。第三軸向為顯示器200的顯示平面的法線方向，且第一軸向、第二軸向與第三軸向彼此垂直。以圖1為範例，第一軸向為X軸向；第二軸向為Y軸向；且第三軸向為Z軸向。
於步驟S450，控制器160根據影像（即校正影像）中顯示器邊框，決定第一軸向上的第一座標分量與第二軸向上的第二座標分量。步驟S450可實施為步驟S451與步驟S453。
於步驟S451，控制器160判斷影像中的顯示器邊框是否完整。換言之，控制器160判斷影像包括部份的顯示器邊框或整個顯示器邊框。於一些實施例中，控制器160可判斷影像中的顯示器邊框是否呈現為封閉四邊形，來判斷顯示器邊框是否完整。
若步驟S451判斷為是，於步驟S453，反應於影像中的顯示器邊框完整，控制器160根據影像中顯示器邊框的位置資訊，決定第一座標分量與第二座標分量。影像中顯示器邊框的位置資可包括顯示器邊框的任一角點的角點位置。或者，影像中顯示器邊框的位置資可包括顯示器邊框的中心點的中心點位置。於一些實施例中，控制器160可透過查表來根據顯示器邊框的位置資訊來決定觸控筆100於世界座標系中的第一座標分量與第二座標分量。於一些實施例中，控制器160可根據顯示器邊框的兩垂直邊框之間比例來決定觸控筆100於世界座標系中的第一座標分量與第二座標分量。或者，於一些實施例中，控制器160可根據顯示器邊框的兩水平邊框之間比例來決定觸控筆100於世界座標系中的第一座標分量與第二座標分量。
圖6A是本發明一實施例的影像中顯示器邊框的示意圖。請參照圖6A，控制器160可判定影像Img11中的顯示器邊框B11完整。於是，根據顯示器邊框B11的中心點於影像Img11中的位置資訊（例如中心點C11的像素座標），控制器160可估算出觸控筆100相對於顯示器200的X座標分量與Y座標分量。
若步驟S451判斷為否，於步驟S452，反應於影像中的顯示器邊框不完整，控制器160根據距離與影像中顯示器邊框所佔據的像素數量，決定第一座標分量與第二座標分量。於一些實施例中，反應於影像中的顯示器邊框不完整，控制器160根據傾斜狀態、距離與像素數量，決定第一座標分量與第二座標分量。於一些實施例中，控制器160可根據傾斜狀態、距離與影像中顯示器邊框所佔據的像素數量進行查表而獲取觸控筆100於世界座標系中的第一座標分量與第二座標分量。
圖6B是本發明一實施例的影像中顯示器邊框的示意圖。請參照圖6B，控制器160可判定影像Img12中的顯示器邊框B12不完整。於是，控制器160根據觸控筆100的傾斜狀態、距離與顯示器邊框B12所佔據的像素數量進行查表，以決定第一座標分量與第二座標分量。
舉例而言，控制器160可根據下列表1來決定觸控筆100於世界座標系中的X座標分量與Y座標分量。表1可根據事前的測試與實驗而建立。
距離 顯示器邊框的像素數量 傾斜狀態 X座標分量 Y座標分量
D1(cm) A θ1 x1 y1
D2(cm) B θ1 x2 y2
D3(cm) C θ1 x3 y3
D4(cm) D θ1 x4 y4
D1(cm) E θ2 x5 y5
D2(cm) F -θ2 x6 y6
D3(cm) G θ3 x7 y7
D4(cm) H -θ4 x8 y8
表1
於步驟S460，控制器160根據距離，決定第三軸向上的第三座標分量。具體來說，根據測距感測器120所提供的深度感測資料，控制器160可決定觸控筆100與顯示器100之間的距離。於是，控制器160可根據此距離決定觸控筆100於世界座標系中的Z座標分量。
於步驟S470，控制器160根據觸控筆100的空間位置與傾斜狀態，將觸控筆的空間位置映射至螢幕座標。於一些實施例中，在獲取觸控筆100於世界座標系中的空間位置與觸控筆100的傾斜狀態之後，控制器160可將觸控筆100的空間位置沿著觸控筆100的指向投影至顯示平面上而獲取一螢幕座標，以使觸控筆100可根據此螢幕座標與包括顯示器200的電子裝置進行互動。例如，根據此螢幕座標拖曳或旋轉顯示器200所顯示的一3D物件模型。
然而，本發明的實現方式不限於上述說明，可以對於實際的需求而酌予變更上述實施例的內容。例如，在本發明一些實施例中，可根據多種感測器的感測資料來決定觸控筆100的空間位置，以進一步提昇估測準確度。
圖7是本發明一實施例的決定觸控筆的空間位置的示意圖。請參照圖7，於一些實施例中，影像擷取裝置100可朝顯示器100擷取影像Img1。控制器160可根據影像中顯示器邊框決定觸控筆100相對於顯示器200的第一參考位置資訊RP1。第一參考位置資訊RP1可包括觸控筆100於世界座標系中的三維座標位置。進一步來說，根據影像Img1中的顯示器邊框的位置資訊與尺寸資訊，控制器160可估算出觸控筆100於世界座標系中的三維座標位置。
另一方面，測距感測器120為多區域TOF測距感測器，其可輸出深度感測資料D_d1。控制器160可根據多區域TOF測距感測器的深度感測資料D_d1決定觸控筆100相對於顯示器200的第二參考位置資訊RP2。第二參考位置資訊RP2可包括觸控筆100與顯示器200之間的距離。此外，第二參考位置資訊RP2可包括觸控筆100的傾斜狀態。此外，由於深度感測資料D_d1可用以判斷測距感測器120是否偵測到顯示器邊框，因此第二參考位置資訊RP2可包括觸控筆100於世界座標系中的X座標分量與Y座標分量。
此外，慣性感測器130可輸出慣性感測資料M_d1。控制器160可根據慣性感測器130的慣性感測資料M_d1決定觸控筆100相對於顯示器200的第三參考位置資訊RP3。第三參考位置資訊RP31包括觸控筆100於世界座標系中的三維座標位置與觸控筆100的傾斜狀態。
基此，控制器160可根據第一參考位置資訊RP1、第二參考位置資訊RP2與第三參考位置資訊RP3，決定觸控筆100相對於顯示器200的空間位置FP。詳細來說，控制器160可根據第一參考位置資訊RP1、第二參考位置資訊RP2與第三參考位置資訊RP3進行資料融合與預測的相關處理，以獲取準確的空間位置FP。舉例而言，控制器160可對第一參考位置資訊RP1、第二參考位置資訊RP2與第三參考位置資訊RP3給予不同權重值，並對第一參考位置資訊RP1、第二參考位置資訊RP2與第三參考位置資訊RP3進行加權和處理來進行資料融合，以獲取觸控筆100相對於顯示器200的空間位置FP。或者，控制器160可利用第二參考位置資訊RP2與第三參考位置資訊RP3來調整第一參考位置資訊RP1，以獲取觸控筆100相對於顯示器200的空間位置FP。又或者，在影像擷取裝置100的幀擷取頻率較低的情況下，可透過慣性感測器130的慣性感測資料M_d1來更新觸控筆100相對於顯示器200的空間位置FP。
綜上所述，於本發明的實施例中，設置於觸控筆上的影像擷取裝置可朝顯示器擷取影像，且測距感測器可偵測觸控筆與顯示器之間的距離。根據影像中顯示器的顯示器邊框與上述距離，可以估測出觸控筆相對於顯示器的空間位置。於是，觸控筆相對於顯示器的空間位置可用來執行控制功能，以增加使觸控筆的使用方式的更加多元化。此外，透過使用觸控筆上多種感測器的感測資料，觸控筆相對於顯示器的空間位置的估測準確度可進一步提昇。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:觸控筆位置估測系統
100:觸控筆
200:顯示器
C1:螢幕中心
N1:法線方向
θ:相對角度
110:影像擷取裝置
120:測距感測器
130:慣性感測器
150:收發器
160:控制器
140:儲存裝置
d00～d77:深度感測值
51,D_d1:深度感測資料
Img11,Img12,Img1:影像
B11,B12:顯示器邊框
C11:中心點
RP1:第一參考位置資訊
RP2:第二參考位置資訊
RP3:第三參考位置資訊
M_d1:慣性感測資料
FP:空間位置
S310～S340, S410～S470, S441～S442, S451～S453:步驟
圖1是本發明一實施例的觸控筆與顯示器的示意圖。 圖2是本發明一實施例的觸控筆的方塊圖。 圖3是本發明一實施例的觸控筆位置估測方法的流程圖。 圖4是本發明一實施例的觸控筆位置估測方法的流程圖。 圖5是本發明一實施例的深度感測資料的示意圖。 圖6A與圖6B是本發明一實施例的影像中顯示器邊框的示意圖。 圖7是本發明一實施例的決定觸控筆的空間位置的示意圖。
S310~S340:步驟

Claims (9)

  1. 一種觸控筆位置估測方法，包括：透過設置於觸控筆上的影像擷取裝置朝顯示器擷取一影像；透過設置於所述觸控筆上的測距感測器偵測所述觸控筆與所述顯示器之間的距離；偵測所述影像中所述顯示器的顯示器邊框；以及根據所述影像中所述顯示器邊框與所述距離，決定所述觸控筆相對於所述顯示器的一空間位置，其中所述空間位置包括第一座標分量、第二座標分量與第三座標分量，而根據所述影像中所述顯示器邊框與所述距離，決定所述觸控筆相對於所述顯示器的所述空間位置的步驟包括：根據所述影像中所述顯示器邊框，決定第一軸向上的所述第一座標分量與第二軸向上的所述第二座標分量；以及根據所述距離，決定第三軸向上的所述第三座標分量，其中所述第三軸向為所述顯示器的顯示平面的法線方向，且所述第一軸向、所述第二軸向與所述第三軸向彼此垂直。
  2. 如請求項1所述的觸控筆位置估測方法，其中根據所述影像中所述顯示器邊框，決定所述第一軸向上的所述第一座標分量與所述第二軸向上的所述第二座標分量的步驟包括：判斷所述影像中的所述顯示器邊框是否完整；以及反應於所述影像中的所述顯示器邊框不完整，根據所述距離與所述影像中所述顯示器邊框所佔據的像素數量，決定第一軸向 上的所述第一座標分量與第二軸向上的所述第二座標分量。
  3. 如請求項2所述的觸控筆位置估測方法，其中根據所述影像中所述顯示器邊框，決定所述第一軸向上的所述第一座標分量與所述第二軸向上的所述第二座標分量的步驟更包括：反應於所述影像中的所述顯示器邊框完整，根據所述影像中所述顯示器邊框的位置資訊，決定第一軸向上的所述第一座標分量與第二軸向上的所述第二座標分量。
  4. 如請求項2所述的觸控筆位置估測方法，還包括：偵測所述觸控筆的傾斜狀態，其中反應於所述影像中的所述顯示器邊框不完整，根據所述距離與所述影像中所述顯示器邊框所佔據的所述像素數量，決定第一軸向上的所述第一座標分量與第二軸向上的所述第二座標分量的步驟包括：反應於所述影像中的所述顯示器邊框不完整，根據所述傾斜狀態、所述距離與所述像素數量，決定所述第一座標分量與所述第二座標分量。
  5. 如請求項4所述的觸控筆位置估測方法，其中慣性感測器設置於所述觸控筆上，並用以偵測所述觸控筆的傾斜狀態。
  6. 如請求項4所述的觸控筆位置估測方法，其中所述測距感測器包括一多區域TOF測距感測器，所述多區域TOF測距感測器用以偵測所述觸控筆的傾斜狀態。
  7. 如請求項1所述的觸控筆位置估測方法，其中所述影像擷取裝置包括魚眼鏡頭，所述影像包括一魚眼影像，而偵測所述影像中所述顯示器的所述顯示器邊框的步驟包括：根據所述距離對所述魚眼影像進行影像校正處理而獲取一校正影像；以及偵測所述校正影像中所述顯示器的所述顯示邊框。
  8. 如請求項1所述的觸控筆位置估測方法，其中所述測距感測器包括一多區域TOF測距感測器，慣性感測器設置於所述觸控筆上，而根據所述影像中所述顯示器邊框與所述距離，決定所述觸控筆相對於所述顯示器的所述空間位置包括：根據所述影像中所述顯示器邊框決定所述觸控筆相對於所述顯示器的第一參考位置資訊；根據所述多區域TOF測距感測器的深度感測資料決定所述觸控筆相對於所述顯示器的第二參考位置資訊；根據所述慣性感測器的慣性感測資料決定所述觸控筆相對於所述顯示器的第三參考位置資訊；以及根據所述第一參考位置資訊、所述第二參考位置資訊與所述第三參考位置資訊，決定所述觸控筆相對於所述顯示器的所述空間位置。
  9. 一種觸控筆，包括：一影像擷取裝置；一測距感測器；以及 一控制器，耦接所述影像擷取裝置與所述測距感測器，經配置以：透過設置於所述觸控筆上的所述影像擷取裝置朝顯示器擷取一影像；透過設置於所述觸控筆上的所述測距感測器偵測所述觸控筆與所述顯示器之間的距離；偵測所述影像中所述顯示器的顯示器邊框；以及根據所述影像中所述顯示器邊框與所述距離，決定所述觸控筆相對於所述顯示器的一空間位置，其中所述空間位置包括第一座標分量、第二座標分量與第三座標分量，而根據所述影像中所述顯示器邊框與所述距離，決定所述觸控筆相對於所述顯示器的所述空間位置的步驟包括：根據所述影像中所述顯示器邊框，決定第一軸向上的所述第一座標分量與第二軸向上的所述第二座標分量；以及根據所述距離，決定第三軸向上的所述第三座標分量，其中所述第三軸向為所述顯示器的顯示平面的法線方向，且所述第一軸向、所述第二軸向與所述第三軸向彼此垂直。
TW112123881A 2023-06-27 2023-06-27 觸控筆位置估測方法與觸控筆 TWI864843B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW112123881A TWI864843B (zh) 2023-06-27 2023-06-27 觸控筆位置估測方法與觸控筆
US18/457,375 US12105899B1 (en) 2023-06-27 2023-08-29 Method for estimating stylus position and stylus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW112123881A TWI864843B (zh) 2023-06-27 2023-06-27 觸控筆位置估測方法與觸控筆

Publications (2)

Publication Number Publication Date
TWI864843B true TWI864843B (zh) 2024-12-01
TW202501215A TW202501215A (zh) 2025-01-01

Family

ID=92899696

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112123881A TWI864843B (zh) 2023-06-27 2023-06-27 觸控筆位置估測方法與觸控筆

Country Status (2)

Country Link
US (1) US12105899B1 (zh)
TW (1) TWI864843B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250278146A1 (en) * 2024-03-04 2025-09-04 Apple Inc. Input device including optical sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724090B2 (en) * 2010-12-22 2014-05-13 Hewlett-Packard Development Company, L.P. Position estimation system
TWI643118B (zh) * 2017-09-25 2018-12-01 冠捷投資有限公司 可感測距離以自動調整顯示資訊量的顯示裝置
CN113608709A (zh) * 2021-07-13 2021-11-05 深圳市艾比森光电股份有限公司 显示屏校正方法、装置、可读存储介质及系统
CN109923513B (zh) * 2016-09-09 2022-06-03 森赛尔股份有限公司 用于检测和表征触摸传感器上的输入的系统
CN113176834B (zh) * 2021-03-15 2023-03-24 华能国际电力股份有限公司上海石洞口第一电厂 屏幕书写系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201101152A (en) * 2009-06-30 2011-01-01 Avisonic Technology Corp Light pointing touch panel display device and related touch panel detecting method
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
JP2017054251A (ja) * 2015-09-08 2017-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019044003A1 (ja) * 2017-09-04 2019-03-07 株式会社ワコム 空間位置指示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724090B2 (en) * 2010-12-22 2014-05-13 Hewlett-Packard Development Company, L.P. Position estimation system
CN109923513B (zh) * 2016-09-09 2022-06-03 森赛尔股份有限公司 用于检测和表征触摸传感器上的输入的系统
TWI643118B (zh) * 2017-09-25 2018-12-01 冠捷投資有限公司 可感測距離以自動調整顯示資訊量的顯示裝置
CN113176834B (zh) * 2021-03-15 2023-03-24 华能国际电力股份有限公司上海石洞口第一电厂 屏幕书写系统
CN113608709A (zh) * 2021-07-13 2021-11-05 深圳市艾比森光电股份有限公司 显示屏校正方法、装置、可读存储介质及系统

Also Published As

Publication number Publication date
TW202501215A (zh) 2025-01-01
US12105899B1 (en) 2024-10-01

Similar Documents

Publication Publication Date Title
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
JP2012002761A (ja) 位置姿勢計測装置、その処理方法及びプログラム
JP5802247B2 (ja) 情報処理装置
CN105653017B (zh) 电子装置及电子装置的重力感测校正方法
TWI854517B (zh) 應用於混合實境的動作運算系統及動作運算方法
EP3343242B1 (en) Tracking system, tracking device and tracking method
US20080154457A1 (en) Position detecting system and method of the same
CN108459596A (zh) 一种移动电子设备以及该移动电子设备中的方法
US10582186B1 (en) Approaches for identifying misaligned cameras
US20230316677A1 (en) Methods, devices, apparatuses, and storage media for virtualization of input devices
TWI864843B (zh) 觸控筆位置估測方法與觸控筆
US10037107B2 (en) Optical touch device and sensing method thereof
WO2018161564A1 (zh) 手势识别系统、方法及显示设备
TWI829563B (zh) 可穿戴追蹤系統和可穿戴追蹤方法
JP2010169521A (ja) 位置検出装置、位置検出方法及びプログラム
TWI506479B (zh) 光學觸控系統
EP3011413B1 (en) Interaction device corrective parameters
TW201516809A (zh) 光學觸控系統、觸控偵測方法及電腦程式產品
CN119271057A (zh) 触控笔位置估测方法与触控笔
US12340615B2 (en) Method of tracking input sign for extended reality and system using the same
TWI522871B (zh) 光學觸控系統之物件影像之處理方法
TWM662766U (zh) 三維物件控制系統
CN110502095B (zh) 具备手势感测功能的三维显示器
TWI566128B (zh) 虛擬觸控裝置
TWI547849B (zh) 光學感測電子裝置及光學感測方法