TWI788651B - 用於觸控裝置的控制系統及其方法 - Google Patents
用於觸控裝置的控制系統及其方法 Download PDFInfo
- Publication number
- TWI788651B TWI788651B TW109111097A TW109111097A TWI788651B TW I788651 B TWI788651 B TW I788651B TW 109111097 A TW109111097 A TW 109111097A TW 109111097 A TW109111097 A TW 109111097A TW I788651 B TWI788651 B TW I788651B
- Authority
- TW
- Taiwan
- Prior art keywords
- neural network
- convolutional neural
- control system
- sensing
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000015654 memory Effects 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 21
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000007667 floating Methods 0.000 claims description 6
- 230000001939 inductive effect Effects 0.000 claims 4
- 238000012549 training Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
- Electrotherapy Devices (AREA)
Abstract
一種用於觸控裝置的控制系統,該觸控裝置包含一觸控感測器,該控制系統包括一感測電路用以感測該觸控感測器以產生多個感應量,一處理器根據該多個感應量產生一感應圖像,以及一卷積神經網路處理該感應圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊供判斷該觸控感測器的狀態。
Description
本發明是有關一種用於觸控裝置的控制系統及其方法,特別是關於一種具有卷積神經網路(Convolutional Neural Network;CNN)的控制系統及其方法。
在觸控裝置中,需要有一判斷機制來辨識觸碰觸控裝置的物件種類或觸控裝置的狀態。圖1至圖4顯示觸控裝置因應不同物件或狀態而產生的感應圖像,該感應圖像包括多個感應量對應該觸控裝置的不同位置。圖1顯示物件為水滴時的感應圖像,圖2顯示物件為一近距離無線通訊(Near-Field Communication;NFC)卡片時的感應圖像,圖3顯示物件為浮接(floating)金屬物體時的感應圖像,圖4顯示物件為手指且觸控裝置處於具有雜訊的異常狀態時的感應圖像。觸控裝置需要根據所感測到的感應圖像來判斷觸碰觸控裝置的物件的種類或觸控裝置的狀態,以進行對應的操作,例如判斷觸控裝置上的物件為非操作物件時,忽略該物件的操作,又或者判斷觸控裝置處於異常的狀態時,重新執行校正程序。
本發明的目的,在於提出一種用於觸控裝置且使用卷積神經網路的控制系統及其方法。
根據本發明,一種用於觸控裝置的控制系統包括:一感測電路,
用以感測該觸控裝置的觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像;以及一卷積神經網路,用以處理該感應圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;其中該處理器根據該識別資訊判斷該觸控感測器的狀態。
根據本發明,一種用於觸控裝置的控制系統包括:一感測電路,用以感測該觸控裝置的觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像,並對該感應圖像進行物件分割處理以決定一子圖像;以及一卷積神經網路,用以處理該子圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;其中該處理器根據該識別資訊判斷一物件種類。
根據本發明,一種用於觸控裝置的控制系統包括:一感測電路,用以感測該觸控裝置的觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像;一卷積神經網路,用以處理該感應圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;以及一主機,連接該處理器以接收該感應圖像,並且根據該識別資訊判斷該觸控感測器的狀態。
根據本發明,一種用於觸控裝置的控制系統包括:一感測電路,用以感測該觸控裝置的觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像;一卷積神經網路,用以處理一子圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;以及一主機,連接該處理器並且根據該識別資訊判斷該物件種類;其中該主機或該處理器對該感應圖像進行物件分割處理後產生該子圖像。
根據本發明,一種用於觸控裝置的方法包括下列步驟:獲得該觸控制裝置的觸控感測器的一感應圖像,該感應圖像包括多個感應量;藉由一卷
積神經網路處理該感應圖像以產生一特徵資訊以及根據該特徵資訊產生一識別資訊;以及根據該識別資訊判斷該觸控感測器的狀態。
根據本發明,一種用於觸控裝置的方法包括下列步驟:獲得該觸控裝置的觸控感測器的一感應圖像,該感應圖像包括多個感應量;對該感應圖像進行物件分割處理以決定一子圖像;藉由一卷積神經網路處理該子圖像以產生一特徵資訊,根據該特徵資訊產生一識別資訊;以及根據該識別資訊判斷一物件種類。
本發明是透過卷積神經網路辨識接觸物件的種類或觸控裝置的狀態,具有效率快速、方便以及正確率高的優點。
20:觸控裝置
22:觸控感測器
222:感應點
24:控制器
24A:控制器
24B:控制器
242:感測電路
243:記憶體
244:處理器
2442:卷積神經網路程式
245:處理器
245B:處理器
246:記憶體
247:卷積神經網路電路
248:記憶體
249:記憶體
26:主機
262:卷積神經網路程式
30:特徵擷取部分
32:分類部分
34:影像
40:記憶體
42:記憶體
44:卷積神經網路電路
圖1顯示物件為水滴時的感應圖像。
圖2顯示物件為NFC卡片時的感應圖像。
圖3顯示物件為浮接金屬物體時的感應圖像。
圖4顯示物件為手指且觸控裝置處於有雜訊的異常狀態時的感應圖像。
圖5顯示本發明的控制系統的第一實施例。
圖6顯示本發明的控制系統的第二實施例。
圖7顯示卷積神經網路的基本架構。
圖8顯示本發明識別觸控感測器狀態的方法。
圖9顯示本發明識別接觸或接近觸控感測器的物件種類。
圖10顯示本發明的控制系統的第三實施例。
圖11顯示本發明的控制系統的第四實施例。
圖5說明本發明的控制系統的第一實施例。在圖5中,觸控裝置20
包括觸控感測器22與控制系統,該控制系統包含控制器24及主機26。在一實施例中,觸控感測器22為電容式觸控感測器,具有多條電極TX1~TX4及RX1~RX4,電極之間的交叉點形成感應點222。圖5中電極TX1~TX4及RX1~RX4的佈局僅為觸控感測器22的一種實施例,但本發明並不限於此。控制器24包含感測電路242、處理器244、記憶體246及記憶體248。感測電路242連接觸控感測器22,用以感測觸控感測器22上多個感應點222的電容值,以產生多個感應量dV。處理器244根據來自感測電路242的多個感應量dV產生一感應圖像SP,例如圖1至圖4。處理器244連接記憶體246與248。處理器244具有以韌體實現卷積神經網路程式2442,卷積神經網路程式2442具有推論的能力。記憶體246儲存該卷積神經網路程式2442的運作所需要的參數Dp,記憶體246可以是ROM(Read-Only Memory),或是預先載入初始值的RAM(Random Access Memory),記憶體246不限於ROM及RAM。參數Dp是經由預先在電腦上,以與卷積神經網路程式2442的架構相同的卷積神經網路訓練程式所產生的。卷積神經網路程式2442在執行不同識別功能時,所需的參數Dp也不相同。記憶體248連接處理器244,用以儲存處理器244的卷積神經網路程式2442在運作過程中所產生的暫存資訊或數據,記憶體248可以是但不限於RAM。在一實施例中,記憶體246及248也可以合併成一個記憶體。主機26可以是電子裝置的中央處理器(CPU),例如筆記型電腦的CPU,或是嵌入式控制器(Embedded Controller;EC),或是鍵盤控制器(KeyBoard Controller;KBC)。
圖6說明本發明的控制系統的第二實施例。圖5的控制器24與圖6的控制器24A的架構大致相同。在圖6的控制器24A中,感測電路242連接觸控感測器22,用以感測觸控感測器22的多個感應點222以產生多個感應量dV。處理器245根據來自感測電路242的多個感應量dV產生一感應圖像SP。卷積神經網路電路247連接處理器245、記憶體243與249。記憶體243儲存卷積神經網路電路247
的運作所需要的參數Dp,記憶體243可以是但不限於ROM或是預先載入初始值的RAM。參數Dp是經由預先在電腦上,以與卷積神經網路電路247的架構相同的卷積神經網路訓練程式所產生的。卷積神經網路電路247在執行不同識別功能時,所需的參數Dp也不相同。記憶體249連接卷積神經網路電路247,用以儲存卷積神經網路電路247在運作過程中所產生的暫存資訊或數據,記憶體247可以是但不限於RAM。在一實施例中,記憶體243及249也可以合併成一個記憶體。
本發明利用卷積神經網路來判斷觸控感測器22的狀態,或者接觸(或接近)觸控感測器22的物件種類。在圖5中的卷積神經網路程式2442是以韌體來實現卷積神經網路。圖6的卷積神經網路電路247則是以硬體電路的形式來實現卷積神經網路。卷積神經網路程式2442與/或卷積神經網路電路247都具有圖7所示的卷積神經網路的基本架構,其可分成特徵擷取部分30及分類部分32。特徵擷取部分30用於進行卷積(convolution)操作及子取樣(subsampling)操作,卷積操作的主要功能是特徵擷取,子取樣操作的主要功能是將圖片資料量減少並保留重要資訊。分類部分32是根據擷取到的特徵資訊進行分類。如圖7所示,當一張包括數字3的影像34輸入卷積神經網路後,特徵擷取部分30會萃取影像34特徵以產生一特徵資訊DF。該特徵資訊DF被提供給分類部分32進行分類以產生一識別資訊DI,該識別資訊DI被用來判斷該影像34中的數字為3。以辨識數字3為例,在訓練卷積神經網路認識數字3的過程中,需要把各種數字3的影像提供到卷積神經網路,卷積神經網路將影像的特徵資訊萃取出來後,將其放到一數字特徵群組中。卷積神經網路根據這些數字特徵群組中的特徵資訊即可辨識影像中的數字3。卷積神經網路已是相當成熟的技術,故不再對其細節再作詳細的說明。本發明所使用的卷積神經網路可以是標準的卷積神經網路架構,也可以是由卷積神經網路延伸變形的架構。至於特徵擷取部份30與分類部份32可以用韌體或硬體電路來實現。
以下搭配圖5的控制系統說明圖8與圖9的方法。
圖8是一種識別觸控感測器狀態的方法。步驟S10與S11是在獲得觸控裝置20之觸控感測器22的感應圖像。在步驟S10,控制器24的感測電路242對觸控感測器22進行感測以產生多個感應量dV。接著處理器244根據感測電路242提供的多個感應量dV產生感應圖像SP,如步驟S11所示。感應圖像SP包含觸控感測器22中各個感應點222的感應量dV。在取得感應圖像SP後,進行步驟S12。
步驟S12是藉由卷積神經網路程式2442根據感應圖像SP識別觸控感測器22的狀態。在步驟S12中,卷積神經網路程式2442處理感應圖像SP以產生一特徵資訊DF1,以及根據該特徵資訊DF1產生一識別資訊DI1。在步驟S14,處理器244根據該識別資訊DI1判斷觸控感測器22的狀態。舉例來說,卷積神經網路程式2442產生的識別資訊DI1的內容包括觸控感測器22有水的機率為10%,觸控感測器22被雜訊干擾的機率為90%。很明顯的,觸控感測器22被雜訊干擾的機率較高,因此,根據該識別資訊DI1,處理器244即可判斷在觸控感測器22的狀態是有出現雜訊。接下來處理器244可進行對應的處理,例如限制單指操作,或者改變施加到觸控感測器22上的驅動信號的頻率。
要進行圖8的實施例需要事先在電腦上提供一與卷積神經網路程式2442相同架構的卷積神經網路訓練程式CT1,卷積神經網路訓練程式CT1也是由程式語言來實現。為了讓卷積神經網路程式2442能夠認識各種觸控感測器的狀態,例如雜訊干擾、浮接、水滴,需要預先訓練卷積神經網路訓練程式CT1,以獲得卷積神經網路程式2442在進行辨識時所需的參數。以訓練卷積神經網路訓練程式CT1認識觸控感測器22被雜訊干擾的狀態為例,訓練的過程包括對觸控感測器22提供多次的雜訊,每次提供雜訊的位置、強度或範圍都不相同。觸控感測器22被多次的雜訊干擾,使得處理器244獲得各種具有不同感應量分佈的感應圖像SP。這些感應圖像SP交由卷積神經網路訓練程式CT1萃取,以產生卷積
神經網路程式2442獲得特徵資訊DF1與識別資訊DI1所需的參數Dp。獲得的參數Dp儲存於記憶體246中,供卷積神經網路程式2442識別觸控感測器22的狀態時使用。如此一來,卷積神經網路程式2442便具有識別觸控感測器22的狀態是否出現雜訊的能力。卷積神經網路訓練程式CT1也可以被訓練去認識觸控感測器22的其他狀態,使卷積神經網路程式2442也有能力去識別觸控感測器22的更多不同的狀態。其中間的過程大致相同,在此就不再贅述。
圖9所示的方法是用來識別接觸或接近觸控感測器22的物件種類。步驟S10與S11與圖8相同。在步驟S16中,處理器244對該感應圖像SP進行物件分割處理以決定至少一子圖像。該物件分割處理是從感應圖像SP決定一個或多個物件區域,然後根據每一個物件區域決定出一子圖像,該子圖像包括該物件區域的圖像。換言之,該子圖像是該感應圖像SP的一部分,其中包括有複數個感應量。舉例來說,因應兩個物件接觸觸控感測器22所產生的感應圖像SP經物件分割處理後,處理器244從感應圖像SP中定義出兩個物件區域,處理器244根據這兩個物件區域分別決定對應的兩個子圖像,每一子圖像包括一個物件區域的圖像。
步驟S17是藉由卷積神經網路程式2442根據步驟S16所決定的子圖像識別接觸或接近觸控感測器22的物件種類。在步驟S17中,卷積神經網路程式2442處理該子圖像以產生一特徵資訊DF2,並且根據該特徵資訊DF2產生一識別資訊DI2。如果有兩個子圖像,則卷積神經網路程式2442便會需要處理這兩個子圖像,以產生兩筆特徵資訊DF2與兩筆識別資訊DI2。在步驟S18,處理器244根據每一識別資訊DI2判斷一物件種類。舉例來說,識別資訊DI2的內容包括物件的種類為水的機率為90%,手指的機率為7%,觸控筆的機率為3%。很明顯的,物件的種類為水的機率特別高,因此,根據該識別資訊DI2,處理器244即可判斷在觸控感測器22上的物件是水。同理,如果有兩筆識別資訊DI2,處理器244
就會根據各筆識別資訊DI2分別判斷物件的種類。接下來處理器244可進行對應的處理,例如接觸物件為水時,處理器244不計算及輸出座標,接觸物件為觸控筆時,調整感測電路242的增益(Gain)。
要進行圖9的實施例需要事先訓練卷積神經網路程式2442認識各種物件種類,例如手指、水滴、觸控筆。以訓練卷積神經網路程式2442認識水為例,訓練的過程包括多次在觸控感測器22上滴各種大小不同的水滴,每次水滴的位置和形狀都不相同。多次在觸控感測器22上滴水使得處理器244獲得各種具有不同感應量分佈的感應圖像SP。這些感應圖像SP交由卷積神經網路訓練程式CT2萃取,以產生卷積神經網路程式2442獲得特徵資訊DF2與識別資訊DI2所需的參數Dp。獲得的參數Dp儲存於記憶體246中,供卷積神經網路程式2442識別物件種頪,使得卷積神經網路程式2442具有識別水的能力。卷積神經網路訓練程式CT2也可以被訓練去認識其他物件種類,使卷積神經網路程式2442也有能力去識別更多不同的物件。其中間的過程大致相同,在此就不再贅述。
圖8與圖9所示的方法亦適用於圖6的架構。步驟S12亦可以藉由處理器245控制卷積神經網路電路247的操作來實現。因此,步驟S12應被理解為藉由一卷積神經網路處理感應圖像SP以產生一特徵資訊DF1以及根據該特徵資訊DF1產生一識別資訊DI1。步驟S17亦可以藉由處理器245控制卷積神經網路電路247的操作來實現。因此,步驟S17應被理解為藉由一卷積神經網路處理一子圖像以產生一特徵資訊DF2,以及根據該特徵資訊DF2產生一識別資訊DI2。
在一實施例中,在步驟S11產生感應圖像SP後,處理器244(或245)先對感應圖像SP進行預處理。該預處理包括但不限於處理雜訊或對異常數值進行補償。然後,再藉由經過預處理後的感應圖像SP,進行步驟S12或S16。
在一實施例中,圖5的控制系統24以及圖6的控制系統24A,可以是一顆積體電路裝置。
根據本發明,只要預先提供充份的感應圖像SP訓練卷積神經網路,並將所需參數預先儲存於記憶體(246或243)中,控制器24(或24A)就可以學會根據感應圖像識別出接觸物件的種類或者觸控感測器的狀態。因此,本發明具有簡便,而且辨識準確率高的優點。
圖10顯示本發明的控制系統的第三實施例。圖10的控制系統包含控制器24B、主機26、記憶體40及記憶體42。控制器24B具有感測電路242與處理器245B。控制器24B可以是一顆積體電路裝置。感測電路242連接觸控感測器22,用以感測觸控感測器22上多個感應點222的電容值,以產生多個感應量dV。處理器245B根據來自感測電路242的多個感應量dV產生一感應圖像SP。主機26連接處理器245B、記憶體40及記憶體42。主機26具有用韌體實現的卷積神經網路程式262。記憶體40連接主機26,用以儲存卷積神經網路程式262的運作所需要的參數Dp,記憶體40可以是但不限於ROM或是預先載入初始值的RAM。參數Dp是經由預先在電腦上,以與卷積神經網路程式262的架構相同的卷積神經網路訓練程式所產生的。卷積神經網路程式262在執行不同識別功能時,所需的參數Dp也不相同。記憶體42連接主機26,用以儲存卷積神經網路程式262在運作過程中所產生的暫存資訊或數據,記憶體42可以是但不限於RAM。在一實施例中,記憶體40及42也可以合併成一個記憶體。在一實施例中,記憶體40可以是主機26中的ROM或快閃(flash)記憶體,記憶體42可以是主機26中的RAM。主機26可以是電子裝置的CPU、EC或KBC。
圖11說明本發明的控制系統的第四實施例。圖11的控制系統與圖10同樣包括控制器24B、主機26、記憶體40及記憶體42,差異在於,圖11的控制系統還包括卷積神經網路電路44。卷積神經網路電路44以硬體電路的形式來實現卷積神經網路。卷積神經網路電路44連接主機26、記憶體40與42。記憶體40儲存卷積神經網路電路44的運作所需要的參數Dp。參數Dp是經由預先在電腦
上,以與卷積神經網路電路44的架構相同的卷積神經網路訓練程式所產生的。卷積神經網路電路44在執行不同識別功能時,所需的參數Dp也不相同。記憶體42連接卷積神經網路電路44,用以儲存卷積神經網路電路44在運作過程中所產生的暫存資訊或數據。在一實施例中,卷積神經網路電路44可以整合至主機26中。
圖10的卷積神經網路程式262及圖11的卷積神經網路電路44分別與圖5的卷積神經網路程式2442及圖6的卷積神經網路電路247類似。卷積神經網路程式262及卷積神經網路電路44的基本架構可參照圖7。
圖8與圖9所示的方法亦適用於圖10的架構。參照圖8及圖10,在步驟S10,控制器24B的感測電路242對觸控感測器22進行感測以產生多個感應量dV。接著處理器245B根據感測電路242提供的多個感應量dV產生感應圖像SP,如步驟S11所示。感應圖像SP包含觸控感測器22中各個感應點222的感應量dV。在取得感應圖像SP後,處理器245B將感應圖像SP傳送至主機26以進行步驟S12。
步驟S12是藉由卷積神經網路程式262根據感應圖像SP識別觸控感測器22的狀態。在步驟S12中,主機26的卷積神經網路程式262處理感應圖像SP以產生一特徵資訊DF1,以及根據該特徵資訊DF1產生一識別資訊DI1。在步驟S14,主機26根據該識別資訊DI1判斷觸控感測器22的狀態。卷積神經網路程式262判斷狀態的方式及訓練方式與圖5的卷積神經網路程式2442相同,故不再贅述。
在步驟S14判斷出觸控感測器22的狀態後,主機26可以將判斷出的狀態通知控制器24B,使得控制器24B可以根據觸控感測器22的狀態進行相應的處理。例如,在判斷出觸控感測器22上有水或雜訊時,控制器24B可以調整用以處理感應圖像SP的參數,或是送出指令至感測電路242以改變對觸控感測器22的掃描方式或掃描頻率。掃描方式包括但不限於自容式掃描及互容式掃描。
參照圖9及圖10,在步驟S10,控制器24B的感測電路242對觸控感測器22進行感測以產生多個感應量dV。接著處理器245B根據感測電路242提供的多個感應量dV產生感應圖像SP,如步驟S11所示。感應圖像SP包含觸控感測器22中各個感應點222的感應量dV。在步驟S16中,處理器245B在取得感應圖像SP後對該感應圖像SP進行物件分割處理以決定至少一子圖像,接著處理器245B再將至少一子圖像傳送至主機26。在一實施例中,步驟S16也可以是,處理器245B將感應圖像SP傳送至主機26後,由主機26對該感應圖像SP進行物件分割處理以決定至少一子圖像。物件分割處理的操作及原理如前所述,在此不再贅述。
步驟S17是藉由卷積神經網路程式262根據步驟S16所決定的子圖像識別接觸或接近觸控感測器22的物件種類。在步驟S17中,卷積神經網路程式262處理該子圖像以產生一特徵資訊DF2,並且根據該特徵資訊DF2產生一識別資訊DI2。如果有兩個子圖像,則卷積神經網路程式262便會需要處理這兩個子圖像,以產生兩筆特徵資訊DF2與兩筆識別資訊DI2。在步驟S18,主機26根據每一識別資訊DI2判斷一物件種類。卷積神經網路程式262判斷物件種類的方式及訓練方式與圖5的卷積神經網路程式2442相同,故不再贅述。
圖8與圖9所示的方法亦適用於圖11的架構。步驟S12亦可以藉由主機26控制卷積神經網路電路44的操作來實現。因此,步驟S12應被理解為藉由一卷積神經網路處理感應圖像SP以產生一特徵資訊DF1以及根據該特徵資訊DF1產生一識別資訊DI1。步驟S17亦可以藉由主機26控制卷積神經網路電路44的操作來實現。因此,步驟S17應被理解為藉由一卷積神經網路處理一子圖像以產生一特徵資訊DF2,以及根據該特徵資訊DF2產生一識別資訊DI2。
在一實施例中,在步驟S11產生感應圖像SP後,處理器245B先對感應圖像SP進行預處理。該預處理包括但不限於處理雜訊或對異常數值進行補償。然後,再藉由經過預處理後的感應圖像SP,進行步驟S12或S16。
根據本發明,只要預先提供充份的感應圖像SP訓練卷積神經網路程式262(或卷積神經網路電路44),主機26就可以學會根據感應圖像識別出接觸物件的種類或者觸控感測器的狀態。因此,本發明具有簡便,而且辨識準確率高的優點。
以上對於本發明之較佳實施例所作的敘述係為闡明之目的,而無意限定本發明精確地為所揭露的形式,基於以上的教導或從本發明的實施例學習而作修改或變化是可能的,實施例係為解說本發明的原理以及讓熟習該項技術者以各種實施例利用本發明在實際應用上而選擇及敘述,本發明的技術思想企圖由之後的申請專利範圍及其均等來決定。
20:觸控裝置
22:觸控感測器
222:感應點
24:控制器
242:感測電路
244:處理器
2442:卷積神經網路程式
246:記憶體
248:記憶體
26:主機
Claims (32)
- 一種用於觸控裝置的控制系統,該觸控裝置包含一觸控感測器,該控制系統包括:一感測電路,用以感測該觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像;以及一卷積神經網路,用以處理該感應圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;其中該處理器根據該識別資訊判斷該觸控感測器的狀態為雜訊干擾、浮接或水滴。
- 如請求項1的控制系統,其中該卷積神經網路係以該處理器的韌體實現。
- 如請求項1的控制系統,其中該卷積神經網路係以硬體電路實現。
- 如請求項2的控制系統,更包括一記憶體連接該處理器,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項3的控制系統,更包括一記憶體連接該卷積神經網路,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項1的控制系統,其中該處理器更包括對該感應圖像進行預處理,該預處理包括處理雜訊或補償異常數值,該處理器提供經過該預處理後的感應圖像給該卷積神經網路,以產生該識別資訊。
- 一種用於觸控裝置的控制系統,該觸控裝置包含一觸控感測器,該控制系統包括:一感測電路,用以感測該觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像, 並且對該感應圖像進行物件分割處理以決定一子圖像;以及一卷積神經網路,用以處理該子圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;其中該處理器根據該識別資訊判斷一物件種類。
- 如請求項7的控制系統,其中該卷積神經網路係以該處理器的韌體實現。
- 如請求項7的控制系統,其中該卷積神經網路係以硬體電路實現。
- 如請求項8的控制系統,更包括一記憶體連接該處理器,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項9的控制系統,更包括一記憶體連接該卷積神經網路,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項7的控制系統,其中該處理器進行該物件分割處理之前,先對該感應圖像進行預處理,該預處理包括處理雜訊或補償異常數值。
- 一種用於觸控裝置的控制系統,該觸控裝置包含一觸控感測器,該控制系統包括:一感測電路,用以感測該觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像;一卷積神經網路,用以處理該感應圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;以及一主機,連接該處理器以接收該感應圖像,並且根據該識別資訊判斷該觸控感測器的狀態為雜訊干擾、浮接或水滴。
- 如請求項13的控制系統,其中該主機是中央處理器、嵌入式控制器或鍵盤控制器。
- 如請求項13的控制系統,其中該卷積神經網路係以該主機的韌體實現。
- 如請求項13的控制系統,其中該卷積神經網路係以硬體電路實現。
- 如請求項16的控制系統,其中該卷積神經網路係整合在該主機中。
- 如請求項15的控制系統,更包括一記憶體連接該主機,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項16的控制系統,更包括一記憶體連接該卷積神經網路,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項13的控制系統,其中該處理器更包括對該感應圖像進行預處理,該預處理包括處理雜訊或補償異常數值,該處理器提供經過該預處理後的感應圖像給該卷積神經網路,以產生該識別資訊。
- 一種用於觸控裝置的控制系統,該觸控裝置包含一觸控感測器,該控制系統包括:一感測電路,用以感測該觸控感測器以產生多個感應量;一處理器,連接該感測電路,根據該多個感應量產生一感應圖像;一卷積神經網路,用以處理一子圖像以產生一特徵資訊,以及根據該特徵資訊產生一識別資訊;以及一主機,連接該處理器並且根據該識別資訊判斷該物件種類;其中該主機或該處理器對該感應圖像進行物件分割處理後產生該子圖像。
- 如請求項21的控制系統,其中該主機是中央處理器、嵌入式控制器或鍵盤控制器。
- 如請求項21的控制系統,其中該卷積神經網路係以該主機的韌體實現。
- 如請求項21的控制系統,其中該卷積神經網路係以硬體電路實現。
- 如請求項24的控制系統,其中該卷積神經網路係整合在該主機中。
- 如請求項23的控制系統,更包括一記憶體連接該主機,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項24的控制系統,更包括一記憶體連接該卷積神經網路,用以儲存該卷積神經網路的運作所需的參數。
- 如請求項21的控制系統,其中在該感應圖像進行該物件分割處理之前,該處理器先對該感應圖像進行預處理,該預處理包括處理雜訊或補償異常數值。
- 一種用於觸控裝置的方法,包括下列步驟:a.獲得該觸控制裝置的觸控感測器的一感應圖像,該感應圖像包括多個感應量;b.藉由一卷積神經網路處理該感應圖像以產生一特徵資訊以及根據該特徵資訊產生一識別資訊;以及c.根據該識別資訊判斷該觸控感測器的狀態為雜訊干擾、浮接或水滴。
- 如請求項29的方法,其中在該步驟b之前,更包括對該感應圖像進行預處理,該預處理包括處理雜訊或補償異常數值。
- 一種用於觸控裝置的方法,包括下列步驟:a.獲得該觸控裝置的觸控感測器的一感應圖像,該感應圖像包括多個 感應量;b.對該感應圖像進行物件分割處理以決定一子圖像;c.藉由一卷積神經網路處理該子圖像以產生一特徵資訊,根據該特徵資訊產生一識別資訊;以及d.根據該識別資訊判斷一物件種類。
- 如請求項31的方法,其中更包括在該步驟b之前,對該感應圖像進行預處理,該預處理包括處理雜訊或補償異常數值。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010333138.9A CN111708448B (zh) | 2019-05-08 | 2020-04-24 | 用于触控装置的控制系统及方法 |
| CN202311286508.8A CN117234356A (zh) | 2019-05-08 | 2020-04-24 | 用于触控装置的控制系统及方法 |
| US16/868,956 US11320927B2 (en) | 2019-05-08 | 2020-05-07 | Control system for a touch device and method thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962844744P | 2019-05-08 | 2019-05-08 | |
| US62/844,744 | 2019-05-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202042039A TW202042039A (zh) | 2020-11-16 |
| TWI788651B true TWI788651B (zh) | 2023-01-01 |
Family
ID=74201218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109111097A TWI788651B (zh) | 2019-05-08 | 2020-04-01 | 用於觸控裝置的控制系統及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI788651B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI871540B (zh) * | 2022-11-10 | 2025-02-01 | 義隆電子股份有限公司 | 觸控板的控制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201626188A (zh) * | 2014-09-30 | 2016-07-16 | 惠普發展公司有限責任合夥企業 | 意外觸摸拒絕之判定技術 |
| CN107656644A (zh) * | 2017-09-26 | 2018-02-02 | 努比亚技术有限公司 | 握持识别方法及对应的移动终端 |
| CN107797751A (zh) * | 2017-10-26 | 2018-03-13 | 努比亚技术有限公司 | 移动终端握持手势识别方法、移动终端及可读存储介质 |
| CN108960405A (zh) * | 2017-05-18 | 2018-12-07 | 电装It研究所 | 识别系统、通用特征值提取单元以及识别系统构成方法 |
| TWI654541B (zh) * | 2018-04-13 | 2019-03-21 | 矽統科技股份有限公司 | 觸控面板上的敲擊事件的識別方法及系統,以及終端觸控產品 |
-
2020
- 2020-04-01 TW TW109111097A patent/TWI788651B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201626188A (zh) * | 2014-09-30 | 2016-07-16 | 惠普發展公司有限責任合夥企業 | 意外觸摸拒絕之判定技術 |
| CN108960405A (zh) * | 2017-05-18 | 2018-12-07 | 电装It研究所 | 识别系统、通用特征值提取单元以及识别系统构成方法 |
| CN107656644A (zh) * | 2017-09-26 | 2018-02-02 | 努比亚技术有限公司 | 握持识别方法及对应的移动终端 |
| CN107797751A (zh) * | 2017-10-26 | 2018-03-13 | 努比亚技术有限公司 | 移动终端握持手势识别方法、移动终端及可读存储介质 |
| TWI654541B (zh) * | 2018-04-13 | 2019-03-21 | 矽統科技股份有限公司 | 觸控面板上的敲擊事件的識別方法及系統,以及終端觸控產品 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202042039A (zh) | 2020-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108710866B (zh) | 汉字模型训练方法、汉字识别方法、装置、设备及介质 | |
| KR102383624B1 (ko) | 중첩된 필기 인식 기술을 위한 시스템 및 방법 | |
| CN108960163B (zh) | 手势识别方法、装置、设备和存储介质 | |
| US9384403B2 (en) | System and method for superimposed handwriting recognition technology | |
| CN110751043A (zh) | 基于人脸可见性的人脸识别方法、装置及存储介质 | |
| CN112464809A (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
| WO2018041250A1 (zh) | 触控操作的识别方法及装置 | |
| US10438083B1 (en) | Method and system for processing candidate strings generated by an optical character recognition process | |
| US11694342B2 (en) | Apparatus and method for tracking multiple objects | |
| US20100104189A1 (en) | Handwriting Identification Method, Program And Electronic Device | |
| KR20210017090A (ko) | 필기 입력을 텍스트로 변환하는 방법 및 전자 장치 | |
| KR101559502B1 (ko) | 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체 | |
| EP2639743A2 (en) | Image processing device, image processing program, and image processing method | |
| KR20170045813A (ko) | 사용자 인증을 위한 생체 영역을 검출하는 방법 및 장치 | |
| CN111708448B (zh) | 用于触控装置的控制系统及方法 | |
| WO2021130888A1 (ja) | 学習装置、推定装置および学習方法 | |
| CN111160173B (zh) | 一种基于机器人的手势识别方法及机器人 | |
| TWI788651B (zh) | 用於觸控裝置的控制系統及其方法 | |
| CN110633027A (zh) | 一种点读实现方法、系统、计算机设备和存储介质 | |
| CN104992154A (zh) | 一种指纹识别方法及终端设备 | |
| US20050089225A1 (en) | Method for aligning gesture features of image | |
| CN107683452B (zh) | 输入装置、物体检测装置及其方法 | |
| EP3295292B1 (en) | System and method for superimposed handwriting recognition technology | |
| JP2020177318A (ja) | 照合装置、学習装置、方法、及びプログラム | |
| KR100800439B1 (ko) | 터치패드 입력 오차 보정 방법 및 그 단말기 |