TW201918866A - 觸控面板上的敲擊事件的分類方法及系統，以及觸控面板產品 - Google Patents

Abstract

一種觸控面板上的敲擊事件的分類方法，包含：收集在觸控面板上進行的敲擊事件並記錄該敲擊事件的類型，作為一個樣本；生成包含複數個樣本的一樣本集；使用此樣本集來訓練一深度神經網路，決定出優化的權重參數組；將該深度神經網路及該優化的權重參數組作為一敲擊分類器，佈建到一觸控面板產品中。本揭示並提供對應該分類方法的系統，以及一種觸控面板產品。

Description

觸控面板上的敲擊事件的分類方法及系統，以及 觸控面板產品

本揭示係關於一種感測技術，特別有關一種觸控面板上的敲擊事件的分類方法及系統，以及觸控面板產品。

習知的大尺寸觸控顯示裝置搭配有標註繪圖軟體，可供使用者在顯示畫面上進行標註，以方便解說畫面上的內容。該標註繪圖軟體通常會在畫面邊緣顯示主選單，使用者可透過該主選單改變畫筆顏色或調整畫筆粗細。然而，由於螢幕尺寸很大，該主選單可能距離使用者很遠，在點選上相當不便，調整畫筆屬性的操作對使用者來說相當麻煩。

有鑑於此，有必要提出一種新的方案，以解決上述問題。

本發明的目的在於提供一種觸控面板上的敲擊事件的分類方法及系統，以及觸控面板產品，以提升敲擊類型之預測的準確度。

為達成上述目的，本發明一方面提供一種觸控面板 上的敲擊事件的分類方法，包含：利用一振動感測器感測在觸控面板上進行的各種敲擊事件，以量測複數個振動訊號；對每一個振動訊號進行取樣，針對每一個振動訊號得出複數個特徵值；將一個振動訊號的該等特徵值及根據該振動訊號對應的敲擊事件的類型記錄的分類標記，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。

本發明另一方面提供一種觸控面板上的敲擊事件的分類系統，包含：一觸控面板；一振動感測器，與該觸控面板設置在一起，用以感測在觸控面板上進行的各種敲擊事件，以量測複數個振動訊號；一處理器，與該振動感測器耦接，該處理器接收該振動感測器傳來的該等振動訊號；以及一記憶體，與該處理器連接，該記憶體包含可由該處理器執行的複數個程式指令，該處理器執行該等程式指令以執行一方法，所述方法包含：對每一個振動訊號進行取樣，針對每一個振動訊號得出複數個特徵值；將一個振動訊號的該等特徵值及根據該振動訊號對應的敲擊事件的類型記錄的分類標記，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權 重參數組作為調整參數，輸入到一深度神經網路中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。

本發明再一方面提供一種觸控面板產品，包含：一觸控面板；一振動感測器，與該觸控面板設置在一起，用以感測對該觸控面板執行的一敲擊操作而產生振動訊號；以及一控制器，與該振動感測器耦接，該控制器中佈建有與上述方法中的深度神經網路對應的深度神經網路，該控制器用以將該對應的深度神經網路及根據上述方法得出的該優化的權重參數組作為一模型，並用以將來自該振動感測器的振動訊號輸入該模型中，以得出一預測的敲擊類型。

本揭示採用深度學習的方式，運用深度神經網路學習在觸控面板上進行的各種敲擊事件的分類，得出一預測模型。將此預測模型佈建在觸控顯示產品上，因此終端產品能夠對用戶作出的敲擊動作進行預測，預測得出敲擊的類型(例如敲擊的次數)，在軟體層面上對這些敲擊類型作不同的應用。本揭示透過深度學習大幅提升了敲擊類型的預測準確度，使得可應用性大大提高。

10‧‧‧觸控裝置

20、20’‧‧‧觸控面板

21‧‧‧訊號傳送層

22‧‧‧訊號接收層

30、30’‧‧‧振動感測器

40‧‧‧計算機裝置

41‧‧‧處理器

42‧‧‧記憶體

60‧‧‧控制器

S21~S29‧‧‧步驟

第1圖顯示根據本揭示實施例實現的一種觸控面板上的敲擊事件的分類系統的示意圖。

第2圖顯示根據本揭示實施例實現的一種觸控面板上的敲擊事件的分類方法的流程圖。

第3圖顯示本揭示實施例中的振動訊號之時間分佈的示意圖。

第4圖顯示本揭示實施例中於頻率空間的振動訊號的示意圖。

第5圖顯示本揭示實施例中的深度神經網路的示意圖。

第6圖顯示根據本揭示實施例實現的一種觸控面板產品的示意圖。

第7圖顯示根據本揭示實施例實現的一種觸控面板上的敲擊事件的分類方法的流程圖。

為使本揭示的目的、技術方案及效果更加清楚、明確，以下參照圖式並舉實施例對本揭示進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本揭示，本揭示說明書所使用的詞語“實施例”意指用作實例、示例或例證，並不用於限定本揭示。此外，本揭示說明書和所附申請專利範圍中所使用的冠詞「一」一般地可以被解釋為意指「一個或多個」，除非另外指定或從上下文可以清楚確定單數形式。

本揭示採用深度學習(deep learning)的方式，對在觸控面板上作出的敲擊事件進行分類學習而得出一分類模型。利用此分類模型，可以將使用者在觸控產品上作出的敲擊動作加以 分類，得出敲擊的類型(例如敲擊的次數)，從而可以執行對應該類型的預定操作。

敲擊事件的類型例如可為筆或手指所進行的一次敲擊、二次敲擊和三次敲擊等。

該預定操作可根據不同的應用情境而有不同的配置。例如在大尺寸觸控面板的應用情境下，舉例來說，一次敲擊可與開啟/關閉主選單的操作關聯，二次敲擊可與變更畫筆顏色的操作關聯，三次敲擊可與變更畫筆粗細的操作關聯。如下文描述的，所屬技術領域具有通常知識者可以理解，也可將本揭示的發明概念運用在其他應用。當然，敲擊次數與執行之操作的關係也可由使用者自行定義。

第1圖顯示根據本揭示實施例實現的一種觸控面板上的敲擊事件的分類系統的示意圖。該系統包括一觸控裝置10及與觸控裝置10耦接的計算機裝置40。觸控裝置10可為具有觸控功能的顯示裝置，其可透過一顯示面板(未圖示)顯示影像，同時可接收使用者的觸控操作。計算機裝置40可為具有一定之運算能力的計算器，例如個人電腦、筆記型電腦等。本揭示中，為了對敲擊事件進行分類，需要先收集敲擊事件，在此，人為地敲擊觸控裝置10，將敲擊事件對應的訊號傳送到計算機裝置40，計算機裝置40採用深度神經網路(deep neural network)進行學習。

觸控裝置10包含一觸控面板20，其包括一訊號傳送(Tx)層21及一訊號接收(Rx)層22，用以感測使用者的觸摸操 作。觸控裝置10還包含至少一振動感測器30，例如加速度計。振動感測器30可配置在觸控裝置10中的任一位置，較佳地，振動感測器30配置在觸控面板20的下表面。振動感測器30用以感測在觸控裝置10上進行的敲擊動作，產生相應的振動訊號。當振動感測器30配置在觸控面板20下表面時，可以針對在觸控面板20上的敲擊生成較好的訊號。

計算機裝置40透過連接埠接收振動感測器30生成的振動訊號，將其饋入深度神經網路進行分類學習。人為產生敲擊事件後，也可將每個敲擊事件的類型輸入到計算機裝置40中，進行監督式學習(supervised learning)。如第1圖所示，計算機裝置40包含一處理器41及一記憶體42，處理器41與振動感測器30耦接，處理器41接收振動感測器30傳來的振動訊號，記憶體42與處理器41連接，記憶體42包含可由處理器41執行的複數個程式指令，處理器41執行該等程式指令以執行該深度神經網路的相關運算。計算機裝置40也可利用GPU或TPU來執行該深度神經網路的相關運算，以提升運算速度。

第2圖顯示根據本揭示實施例實現的一種觸控面板上的敲擊事件的分類方法的流程圖。請配合第1圖參閱第2圖，所述方法包括如下步驟：步驟S21：利用一振動感測器30感測在觸控面板20上進行的各種敲擊事件，以量測複數個振動訊號。在此步驟中，在觸控面板20上人為地產生各種敲擊事件，設置在觸控面板20下表 面上的振動感測器20感測敲擊事件而生成振動訊號。在本揭示中，振動感測器20的數量不限於一個，也可以是複數個，振動感測器20也可以設置在觸控裝置10中的任一位置，振動感測器20也可以感測在觸控裝置10表面的任一位置作出的敲擊動作，而不僅限於在觸控面板10上進行的敲擊動作。

振動感測器30偵測到的加速度是時間函數，有三個方向分量，第3圖所示為某一敲擊事件其對應的加速度大小在時間上的分佈。於一實施例中，可利用傅立葉轉換分別將三個方向分量轉換到頻率空間，如第4圖所示。具體來說，所述方法可進一步包含將每一個振動訊號從時間分佈轉換到頻率空間的步驟。

在轉換到頻率空間後，可進一步濾掉低頻的直流成分(DC component)與高頻雜訊，以避免分類結果受到重力加速度以及雜訊的影響。具體來說，所述方法可進一步包含對每一個振動訊號進行濾波，過濾掉高頻和低頻的部分的步驟。

步驟S22：對每一個振動訊號進行取樣，針對每一個振動訊號得出複數個特徵值(feature values)。在此步驟中，對振動感測器30生成的每一個振動訊號進行取樣，例如在頻率空間中，以一定的頻率間隔進行取樣，得出複數個資料點，這些資料點即為特徵值，進行歸一化(normalization)後，作為深度神經網路的訓練資料。

步驟S23：將一個振動訊號的該等特徵值及根據該振動訊號對應的敲擊事件的類型記錄的分類標記(classification label)，作為一個樣本，生成包含複數個樣本的一樣本集。在此步驟中，振動感測器30量測的振動訊號及對應該振動訊號的敲擊事件的類型作為一筆資料，即一個樣本，複數個樣本構成一樣本集。具體來說，一個樣本包含一個振動訊號的特徵值及對應該振動訊號的分類標記。

該樣本集可分成訓練樣本集及測試樣本集，該訓練樣本集可用來訓練深度神經網路，該測試樣本集用來測試訓練得出的神經網路模型之分類準確度。

步驟S24：將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組(weighting parameters)作為調整參數，輸入到一深度神經網路中，得出一預測的分類標記。步驟S23中的得出的一個樣本中的特徵值自輸入層輸入，通過該深度神經網路輸出預測的分類標記。

第5圖顯示一個深度神經網路的例子，深度神經網路一般可以分為輸入層、輸出層及介於輸入層和輸出層間的學習層，樣本集的每個樣本從輸入層輸入，預測的分類標記從輸出層輸出。一般來說，深度神經網路包含許多學習層，其層數相當多(例如50~100層)，故可實現深度學習。第5圖顯示的深度神經網路僅為示意，本揭示的深度神經網路並不以此為限。

深度神經網路中可包含多個卷積層(convolutional layer)、批次歸一層(batch normalization layer)、池化層(pooling layer)、全連接層(fully connected layer)、線性整流單元(rectified linear unit，ReLu)以及一個Softmax輸出層等等。本揭示可以採用適當數量的層數進行學習，以在預測準確度與運算效率上取得平衡，但需注意的是，層數過多也可能導致準確度下降。深度神經網路可包含多個級聯的子網路，每個子網路與位在其後的各個子網路相連，如DenseNet(Dense Convolutional Network)，以提升預測的準確度。深度神經網路也可包含殘留網路(Residual Network)，用來解決降解(degradation)問題。

步驟S25：根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播(backpropagation)的算法，調整該權重參數組。該深度神經網路的優化目標是使得分類誤差(loss)最小，優化的方法採用向後傳播算法，也就是說，輸出層得出的預測結果與真實的值進行比較，得到一個誤差值，然後這個誤差值逐層往回傳，從而修正每一層的參數。

步驟S26：將該樣本集的樣本分批(mini-batch)讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。每使用一批子樣本集進行訓練時，就會對權重參數組進行一次微調，如此迭代地進行，直到分類誤差趨向於收斂。最後，選取出對於測試集有最高預測準確度的參數組作為優化的模型參數組。

第6圖顯示根據本揭示實施例實現的一種觸控面板產品的示意圖。如第6圖所示，該觸控面板產品包含一觸控面板20’、一或多個振動感測器30’及一控制器60。振動感測器30’可以 設置在觸控面板20’的下表面，或者也可設置在該觸控面板產品中的任一位置。振動感測器30’用以感測對該觸控面板執行的一敲擊操作而產生振動訊號。控制器60與振動感測器30’耦接，接收振動感測器30’產生的振動訊號。

控制器60用以對使用者在觸控面板20’上進行的敲擊事件進行分類預測，以得出一預測的敲擊類型。舉例來說，控制器60中佈建有與上述步驟S24至S26中採用的深度神經網路相同或相應的深度神經網路，且儲存有上述步驟S26得出的優化的權重參數組。該相應的深度神經網路及該優化的權重參數組構成一預測模型。控制器60將來自振動感測器30’的振動訊號輸入該模型中，即可得出相應之敲擊事件的分類標記，即得出預測的敲擊類型。如此，該觸控面板產品實現了敲擊事件的分類預測。

於一實施例中，控制器60可為該觸控面板產品中的任一控制器。於另一實施例中，控制器60結合於一觸控晶片中，也就是說，該觸控面板產品的觸控晶片不僅具有感測使用者的觸摸操作的功能，同時也具有預測使用者的敲擊類型的功能。具體來說，該深度神經網路相應的程式碼以及該優化的權重參數組可寫入觸控晶片的韌體中，在執行驅動程式的階段，觸控晶片可預測出敲擊事件的類型。

請配合第6圖參閱第7圖，所述方法還包括如下步驟：步驟S27：將該深度神經網路及該優化的權重參數組作為一模型，佈建到一終端產品中。該終端產品例如為一觸控面 板產品。在此步驟中，該終端產品具有一預測模型，其包含了與上述步驟S24至S26中採用的深度神經網路相同或相應的神經網路以及上述步驟S26得出的優化的權重參數組。

步驟S28：接收對該終端產品執行的一敲擊操作所產生的振動訊號，並將該敲擊操作所產生的振動訊號輸入該模型中，以得出一預測的敲擊類型。在此步驟中，使用者敲擊該終端產品時，該終端產品中的振動感測器30’量測振動訊號，將該振動訊號輸入該模型中，即可預測得出敲擊的類型。

步驟S30：根據該預測的敲擊類型，執行對應該預測的敲擊類型的一預定操作。在此步驟中，控制器60可將預測得出的敲擊類型傳送給於操作系統中運作的一軟體，該軟體便執行對應預測結果的操作。

在一個例示的應用情境中，大尺寸觸控顯示產品中安裝有一標註軟體。舉例來說，當使用者對此產品表面進行一次敲擊時，該標註軟體對應地開啟/或關閉主選單，進行二次敲擊時，該標註軟體改變畫筆的顏色，進行三次敲擊時，改變筆尖粗細。在另一個例示的應用情境中，當使用者進行一次敲擊時，可開啟/關閉主選單，進行兩次敲擊時可以將選單項目反白，供使用者選取多個項目，或者進行文字選取。在另一個例子中，當播放影片或音樂時，使用者從觸控板側面敲擊一次可使播放暫停，敲擊二次則可繼續播放。

本揭示採用深度學習的方式，運用深度神經網路學 習在觸控面板上進行的各種敲擊事件的分類，得出一預測模型。將此預測模型佈建在觸控顯示產品上，因此終端產品能夠對用戶作出的敲擊動作進行預測，預測得出敲擊的類型(例如敲擊的次數)，在軟體層面上對這些敲擊類型作不同的應用。本揭示透過深度學習能有效提升敲擊類型的預測準確度，使得可應用性大幅提高。

本揭示已用較佳實施例揭露如上，然其並非用以限定本揭示，本揭示所屬技術領域中具有通常知識者，在不脫離本揭示之精神和範圍內，當可作各種之更動與潤飾，因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (16)

1. 一種觸控面板上的敲擊事件的分類方法，包含：利用一振動感測器感測在觸控面板上進行的各種敲擊事件，以量測複數個振動訊號；對每一個振動訊號進行取樣，針對每一個振動訊號得出複數個特徵值(feature values)；將一個振動訊號的該等特徵值及根據該振動訊號對應的敲擊事件的類型記錄的分類標記(classification label)，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路(deep neural network)中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播(backpropagation)的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
2. 如申請專利範圍第1項所述之方法，更包含：將該深度神經網路及該優化的權重參數組作為一模型，佈建到一終端產品中；以及 接收對該終端產品執行的一敲擊操作所產生的振動訊號，並將該敲擊操作所產生的振動訊號輸入該模型中，以得出一預測的敲擊類型。
3. 如申請專利範圍第2項所述之方法，其中在得出該預測的敲擊類型的步驟之後，所述方法更包含：根據該預測的敲擊類型，執行對應該預測的敲擊類型的一預定操作。
4. 如申請專利範圍第3項所述之方法，其中該預定操作係選自由開關選單、變更畫筆顏色及變更畫筆粗細所組成的群組。
5. 如申請專利範圍第1項所述之方法，其中在對每一個振動訊號進行取樣的步驟之前，所述方法更包含：將每一個振動訊號從時間分佈轉換到頻率空間。
6. 如申請專利範圍第5項所述之方法，其中在轉換到該頻率空間的步驟後，所述方法更包含：對每一個振動訊號進行濾波，過濾掉高頻和低頻的部分。
7. 如申請專利範圍第1項所述之方法，其中該深度神經網路包含多個卷積層(convolutional neural layers)。
8. 如申請專利範圍第1項所述之方法，其中該敲擊事件的類型係選自由一次敲擊、二次敲擊及三次敲擊所組成的群組。
9. 一種觸控面板上的敲擊事件的分類系統，包含：一觸控面板； 一振動感測器，與該觸控面板設置在一起，用以感測在觸控面板上進行的各種敲擊事件，以量測複數個振動訊號；一處理器，與該振動感測器耦接，該處理器接收該振動感測器傳來的該等振動訊號；以及一記憶體，與該處理器連接，該記憶體包含可由該處理器執行的複數個程式指令，該處理器執行該等程式指令以執行一方法，所述方法包含：對每一個振動訊號進行取樣，針對每一個振動訊號得出複數個特徵值(feature values)；將一個振動訊號的該等特徵值及根據該振動訊號對應的敲擊事件的類型記錄的分類標記(classification label)，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路(deep neural network)中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播(backpropagation)的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
10. 如申請專利範圍第9項所述之系統，其中在對每一個振動訊號進行取樣的步驟之前，所述方法更包含： 將每一個振動訊號從時間分佈轉換到頻率空間。
11. 如申請專利範圍第10項所述之系統，其中在轉換到該頻率空間的步驟後，所述方法更包含：對每一個振動訊號進行濾波，過濾掉高頻和低頻的部分。
12. 如申請專利範圍第9項所述之系統，其中該深度神經網路包含多個卷積層(convolutional neural layers)。
13. 如申請專利範圍第9項所述之系統，其中該敲擊事件的類型係選自由一次敲擊、二次敲擊及三次敲擊所組成的群組。
14. 一種觸控面板產品，包含：一觸控面板；一振動感測器，與該觸控面板設置在一起，用以感測對該觸控面板執行的一敲擊操作而產生的振動訊號；以及一控制器，與該振動感測器耦接，該控制器中佈建有與申請專利範圍第1項中的深度神經網路對應的深度神經網路，該控制器用以將該對應的深度神經網路及根據申請專利範圍第1項得出的該優化的權重參數組作為一模型，並用以將來自該振動感測器的振動訊號輸入該模型中，以得出一預測的敲擊類型。
15. 如申請專利範圍第14項所述之觸控面板產品，其中該控制器並用以根據該預測的敲擊類型，執行對應該預測的敲擊類型的一預定操作。
16. 如申請專利範圍第14項所述之觸控面板產品，其中該預定操作係選自由開關選單、變更畫筆顏色及變更畫筆粗細所組成的群組。