TWI879573B - 動態調整游標顯示的方法與電子裝置 - Google Patents
動態調整游標顯示的方法與電子裝置 Download PDFInfo
- Publication number
- TWI879573B TWI879573B TW113118649A TW113118649A TWI879573B TW I879573 B TWI879573 B TW I879573B TW 113118649 A TW113118649 A TW 113118649A TW 113118649 A TW113118649 A TW 113118649A TW I879573 B TWI879573 B TW I879573B
- Authority
- TW
- Taiwan
- Prior art keywords
- cursor
- window
- display
- trajectory
- desktop
- Prior art date
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
一種動態調整游標顯示的方法與電子裝置。動態調整游標顯示的方法適用於耦接顯示器以及輸入裝置的電子裝置,所述方法包括下列步驟。收集顯示於顯示器上的游標的移動軌跡。從移動軌跡中篩選出位移量大於閾值的移動軌跡,並且將移動軌跡作為游標軌跡數據。判斷游標軌跡數據是否包括尋找游標軌跡數據。響應於游標軌跡數據包括尋找游標軌跡數據,依據電子裝置的顯示資訊對應地調整游標的顯示設定。
Description
本揭露是有關於依據顯示資訊以及游標軌跡自動調整游標顯示的方法與電子裝置,且特別是有關於一種動態調整游標顯示的方法與電子裝置。
使用者在使用電腦時,經常會一時找不到游標位置,尤其是使用較小尺寸的螢幕且搭配高顯示器解析度的時候。而現有的游標設定必須使用者手動調整而無法即時令使用者得知游標位置,以及根據瀏覽內容進行調整。並且,當桌面顏色與游標的顏色相近時,亦會造成使用者找不到游標位置。因此,如何自動地偵測使用者是否在找尋游標以及自動地根據桌面資訊及視窗資訊調整游標的顯示設定已成為本領域人員亟欲發展的方向。
有鑑於此,本揭露提出一種動態調整游標顯示的方法與電子裝置,其可解決上述技術問題。
本揭露實施例提供一種動態調整游標顯示的方法,適用於耦接顯示器以及輸入裝置的電子裝置,所述方法包括下列步驟。收集顯示於顯示器上的游標的移動軌跡。從移動軌跡中篩選出位移量大於閾值的移動軌跡,並且將移動軌跡作為游標軌跡數據。判斷游標軌跡數據是否包括尋找游標軌跡數據。響應於游標軌跡數據包括尋找游標軌跡數據,依據電子裝置的顯示資訊對應地調整游標的顯示設定。
本揭露實施例提供一種電子裝置,其包括儲存器以及處理器。處理器耦接顯示器以及輸入裝置,並執行儲存器所儲存的多個模組。游標訊號收集模組收集顯示於該顯示器上的游標的移動軌跡。軌跡監控模組從移動軌跡中篩選出位移量大於閾值的移動軌跡,並且將移動軌跡作為游標軌跡數據。軌跡判斷模組判斷游標軌跡數據是否包括尋找游標軌跡數據。響應於游標軌跡數據包括尋找游標軌跡數據,游標顯示調整模組依據電子裝置的顯示資訊對應地調整游標的顯示設定,其中顯示資訊相關於桌面顏色、視窗顏色、視窗資訊、視窗大小、桌面大小以及視窗控制項資訊。
基於上述,本揭露實施例的動態調整游標顯示的方法與電子裝置透過可藉由分析游標的移動軌跡,進而判斷使用者是否在找尋顯示器上的游標位置。並且,基於桌面資訊與視窗資訊,將游標設定調整成適合的大小以及/或適合的顏色。如此一來,動態調整游標顯示的方法與電子裝置可自動判斷出游標當前的移動軌跡為找尋游標位置,進而透過調整游標顯示設定以令使用者可快速找到游標位置以提高使用上的便利性。
為讓本揭露的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本揭露的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本揭露的一部份,並未揭示所有本揭露的可實施方式。更確切的說,這些實施例只是本揭露的專利申請範圍中的方法與裝置的範例。
圖1是依照本揭露一實施例的電子裝置的方塊圖。電子裝置100可包括輸入裝置、以及電子裝置,其中電子裝置可包括顯示器130、處理器110以及儲存器120。在一實施例中,電子裝置100為具有基本輸入輸出系統(BIOS)的一電腦裝置,例如是筆記型電腦或桌上型電腦等等。在一實施例中,電子裝置的處理器110耦接顯示器130以及儲存器120,並且電子裝置耦接輸入裝置。在另一實施例中,電子裝置包括處理器110以及儲存器120,電子裝置耦接輸入裝置以及顯示器130。
電子裝置100的儲存器120可以是系統記憶體,此系統記憶體例如是任意型式的揮發性隨機存取記憶體(random access memory,RAM)。輸入裝置用以接收使用者輸入的使用者命令/指令。輸入裝置130可以是鍵盤、滑鼠、或觸控裝置等等,本揭露對此不限制。在一實施例中,電子裝置100是包括處理器110、儲存器120以及顯示器130的電腦系統。
處理器110例如是中央處理單元(central processing unit,CPU)、應用處理器(application processor,AP),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)或其他類似裝置、積體電路及其組合。處理器110可存取並執行記錄在基本輸入輸出系統裝置110與系統記憶體中的程式碼、代碼或指令,以實現本揭露實施例中的動態調整游標顯示的方法。
顯示器130用以顯示資訊、設定介面與操作介面。於不同實施例中,上述顯示器130可以是液晶顯示器(Liquid Crystal Display,LCD)、發光二極體(Light Emitting Diode,LED)顯示器、有機發光二極體(Organic Light Emitting Diode,OLED)等各類型的顯示器,本揭露對此不限制。
圖2是依照本揭露一實施例的動態調整游標顯示的方法的流程圖,而圖2的方法流程可以由圖1的電子裝置100實現。請參照圖1至圖2,以下即搭配圖1中電子裝置100的各項元件,說明本實施例的動態調整游標顯示的方法的步驟。在本實施例中,儲存器120存儲有多個模組,處理器110進而執行多個模組以執行各類運算。如圖1所示,多個模組包括游標訊號收集模組121、軌跡監控模組122、軌跡判斷模組123、游標顯示調整模組124、桌面偵測模組125以及視窗資訊收集模組126。
於步驟S210,處理器110執行游標訊號收集模組121以收集顯示於顯示器130上的游標的移動軌跡。舉例來說,使用者在操控電子裝置100所通訊連接或電性連接的輸入裝置(例如滑鼠),以令顯示於顯示器130上的游標移動。如此,游標訊號收集模組121收集顯示於顯示器130畫面中的游標的移動軌跡。在一實施例中,游標訊號收集模組121收集游標的至少一游標事件。游標事件是移動事件、按鍵事件、滾輪滾動事件、以及移出視窗事件的至少其中之一,並且游標訊號收集模組121記錄游標事件的位置座標以產生移動軌跡。
於步驟S220,處理器110執行軌跡監控模組122,進而從移動軌跡中篩選出位移量大於一閾值的移動軌跡。對應於位移量的閾值介於1英吋至10英吋,在另一實施例中對應位移量的閾值是介於5像素(pixel)至1000個像素。舉例來說,對應位移量的閾值為2英寸或是為200個像素,本案不應以此為限。如此設置,軌跡監控模組122可篩選出每時間單位(例如2秒、5秒等)的位移量大於閾值的移動軌跡。
在一實施例中,可透過以下公式(1)計算游標移動軌跡的位移量:
V
n= ((X
n- X
n-1)^2 + (Y
n- Y
n-1)^2)^0.5 ……(1)
V
n:游標的位移量,X
n:取樣點n的滑鼠X軸位置,Y
n:取樣點n的滑鼠Y軸位置,X
n-1:取樣點n的前一時間點n-1的滑鼠X軸位置,Y
n-1:取樣點n的前一時間點n-1的滑鼠Y軸位置。
於步驟S230,軌跡監控模組122將位移量大於閾值的移動軌跡作為游標軌跡數據,以令後續處理器110進一步的運算與判斷。於步驟S240,處理器110執行軌跡判斷模組123以判斷游標軌跡數據是否包括尋找游標軌跡數據。在一實施例中,軌跡判斷模組123根據儲存在儲存器120中多個尋找游標軌跡的樣本數據,以比對在步驟S230中獲得的游標軌跡數據,進而判斷這游標軌跡數據是否包括尋找游標軌跡數據。換言之,軌跡判斷模組123透過比對預先儲存的尋找游標軌跡的樣本以及游標的當前移動軌跡,進而判斷當前移動軌跡是否為尋找游標軌跡的數據。
於步驟S250,處理器110執行游標顯示調整模組124以響應於游標軌跡數據包括尋找游標軌跡數據,依據電子裝置100的顯示資訊對應地調整游標的顯示設定。值得注意的是,顯示資訊相關於桌面顏色、視窗顏色、視窗資訊、視窗大小、桌面大小以及視窗控制項資訊的至少其中之一。在一實施例中,游標顯示調整模組124根據螢幕解析度預設值、顯示器寬度、預設的游標尺寸上限值、顯示器高度以及控制項權重以計算出游標適合大小。控制項權重相關於對應游標當前位置的視窗控制項資訊的預設權重值。並且,游標適合大小不大於游標尺寸上限值。如此設置,游標顯示調整模組124根據游標適合大小調整游標的大小以及/或顏色。在一實施例中,游標顯示調整模組124可透過以下公式(2)至公式(4)計算出游標適合大小:
R = (W
a* (W
st* H
st) / A
s+ W
d) / (W
a+ W
d) if the mouse is on a clickable control ……(2)
R = (W
st* H
st) / A
sif the mouse is not on a clickable control ……(3)
S
p= Min (S
pth, R * S) ……(4)
S
p:游標適合大小, W
a:螢幕解析度權重,W
d:可點擊控制項權重,R:調整比例值, W
st:取樣點t時桌面寬度(即顯示器130顯示面板的寬度),H
st:取樣點t時桌面高度(即顯示器130顯示面板的高度),A
s:一般螢幕解析度大小預設值(例如為1920x1080),S
pth:滑鼠指標大小最大值(即上限值),S:預設滑鼠指標大小。在本案中所提及的權重為預先設置的數字,例如為介於0到5之間的正數。舉例來說,W
a為0.3、W
d為0.5,本案不應以此為限。可點擊控制項為當擷取畫面時游標所在的控制項屬於可點擊的控制項,例如按鍵、確定鍵、或是儲存鍵等。
如此設置,動態調整游標顯示的方法以及電子裝置100可藉由分析移動軌跡,進而判斷使用者是否在找尋顯示器130上的游標。當電子裝置100判斷出使用者在尋找游標時,處理器110執行游標顯示調整模組124以調整游標的尺寸以及/或是顏色以令使用者可快速找到游標位置。在另一實施例中,顯示設定包括顯示特效。如此一來,當判斷出使用者在找尋游標時,游標顯示調整模組124啟動預設游標特效(例如指引線、聲音效果或是放大鏡效果等)。
圖3是依照本揭露一實施例的擷取顯示畫面以計算出游標顏色的流程圖。圖4是依照本揭露一實施例的多個模組的流程示意圖。如圖3所示,處理器110更用以執行步驟S310至步驟S350。於步驟S310,處理器110執行桌面偵測模組125以偵測顯示器130是否有顯示切換事件。顯示切換事件為切換視窗事件、開啟新視窗事件以及桌面大範圍變化事件的其中之一。切換視窗事件為當前使用視窗切換至另一個視窗。開啟新視窗事件為使用者透過輸入裝置在顯示器130上開啟新的視窗。桌面大範圍變化事件為桌面有超過一比例值(例如佔整個桌面的10%、20%或30%)的變化,例如使用者拖曳視窗。
在一實施例中,比例值相關於事件視窗的視窗寬度、視窗高度以及視窗顯示高度、視窗顯示寬度以及桌面高度、桌面寬度以及視窗的位置座標。在一實施例中,可以透過以下公式(5)至公式(7)以計算出視窗佔桌面面積的比例值:
W
kmt= Min(W
kt, W
st- X
kt) if X
kt>= 0
W
kmt= Min(W
kt, W
st+ X
kt) if X
kt< 0……(5)
H
kmt= Min(H
kt, H
st- Y
kt) if Y
kt>= 0
H
kmt= Min(H
kt, H
st+ Y
kt) if Y
kt< 0……(6)
A
kt= W
kmt* H
kmt……(7)
A
kt:第k個視窗在t個取樣點時佔桌面面積的比例值,k、t為正整數,W
kmt:取樣點t時視窗k的視窗可視寬度,H
kmt:取樣點t時視窗k的視窗可視高度,W
kt:取樣點t時視窗k的視窗寬度,H
kt:取樣點t時視窗k的視窗高度,W
st:取樣點t時桌面寬度,H
st:取樣點t時桌面高度,X
kt:取樣點t時視窗k的X軸座標,Y
kt:取樣點t時視窗k的Y軸座標。
於步驟S320,桌面偵測模組125響應於偵測到顯示切換事件且比例值大於閾值,桌面偵測模組125擷取當前顯示畫面。換言之,桌面偵測模組125響應於偵測到顯示切換事件,即桌面偵測模組125偵測到顯示器130有顯示切換事件並且桌面面積變化超過一比例值,則擷取顯示器130則擷取當前顯示畫面(即當前桌面畫面)。
於步驟S330,桌面偵測模組125根據當前顯示畫面計算出當前顯示畫面中每個像素的平均顏色值以作為桌面參考顏色。舉例來說,桌面偵測模組125透過讀取儲存器120中緩存資料以獲得顯示器130當前顯示畫面的每一像素或每一面積單位(例如9個像素、每一平方英寸等)的顏色加總後的平均值。
於步驟S340,處理器110執行視窗資訊收集模組126以依據平均顏色值以及對應當前游標位置的視窗畫面計算出視窗平均顏色值,接著視窗資訊收集模組126將視窗平均顏色值作為視窗參考顏色。
於步驟S350,游標顯示調整模組124對桌面參考顏色以及視窗參考顏色執行補色運算以獲得游標顏色,進而根據游標顏色調整游標的該顯示設定。
C
p= Complement((W
d* C
d+ W
w* C
w+ W
c* C
xyw) / (W
d+ W
w+ W
c)) ……(8)
C
p:游標顏色,W
d:桌面參考顏色值的權重,W
w:視窗參考顏色值的權重,W
c:游標當前位置的顏色值的權重,Complement():取補數函式,C
xyd:像素點(x, y)的顏色,C
w:視窗參考顏色,C
d:桌面參考顏色。
如圖4所示,每當桌面偵測模組125偵測到有顯示切換事件時,並且顯示切換事件的桌面切換比例值大於閾值(例如20平方英寸、16平方英寸或示64平方英寸),則視窗資訊收集模組126將桌面參考顏色以及視窗參考顏色值輸入至游標顯示調整模組124。如此設置,軌跡判斷模組123在判斷出游標有尋找游標軌跡之時,游標顯示調整模組124可直接根據桌面參考顏色以及視窗參考顏色計算出游標顏色,進而即時地調整游標的顯示設定(例如顏色)。換言之,透過桌面偵測模組125偵測顯示切換事件的設定,可以避免處理器110在使用者找尋游標時,才一併計算游標適合顏色(即游標顏色)以及游標適合大小而導致短時間內的運算負載過大以及運算效率低的問題。換言之,透過桌面偵測模組125以及軌跡監控模組122分別地偵測/監控是否有顯示切換事件以及尋找游標軌跡,進而達到分散運算負載的效果而提高處理器110的效率以及整體電子裝置100的操作順暢度。
圖5是依照本揭露一實施例的根據視窗資訊獲得加權視窗顏色值的流程圖。請參照圖5,處理器110更用以執行步驟S410至步驟S430。於步驟S410,根據每個像素的平均顏色值以及桌面加權係數獲得加權顏色值。在一實施例中,處理器110取得桌面每個像素的顏色值(Rxy, Gxy, Bxy),並且透過以下公式(9)以及公式(10)計算出桌面的加權顏色值:
……(9)
……(10)
C
d:桌面加權平均顏色值,C
xy:桌面(x, y)像素點的原始顏色值,x、y為顯示器130上每點的座標位置,R
xy、G
xy或B
xy,W
st:取樣點t時桌面寬度,H
st:取樣點t時桌面高度,Z:桌面加權調整係數。當Z值愈大,歸類為邊緣部分的面積越大,通常取Z =< 1,Sigmoid():S函數(sigmoid function)。C
xyd:像素點(x, y)的桌面加權顏色值。加權顏色值相關於平均顏色值透過加權係數提高桌面中央區域的比重的顏色值。如此設置,可根據使用者大機率的游標操作會集中在桌面中央,而非桌面邊緣部分。因此將邊緣部分像素的影響權重降低,進而提高游標的可視性。
於步驟S420,處理器110執行視窗資訊收集模組126根據視窗平均顏色值以及視窗畫面的視窗標題、視窗程序以及視窗控制項資訊獲得加權視窗顏色值。視窗資訊包括視窗標題以及視窗程序。加權視窗顏色值相關於根據視窗控制項資訊以及對應的控制項加權係數所獲得的顏色值。處理器110可透過以下公式(11)至公式(13)計算出加權視窗顏色值,公式(11)用於計算待測座標(x,y)上的視窗無視窗子控制項的加權視窗顏色值,公式(12)用於計算待測座標(x,y)上的為視窗的非支援可點擊功能的子控制項的加權視窗顏色值,公式(13)用於計算待測座標(x,y)上的為視窗的支援可點擊功能的子控制項的加權視窗顏色值,公式(11)至公式(13)如下所示:
C
xyw= W
n* C
xyif there is no sub-control item on (x, y) ……(11)
C
xyw= W
u* C
xyif there is the un-clickable sub-control item on (x, y) ……(12)
C
xyw= W
c* C
xyif there is the clickable sub-control item on (x, y) ……(13)
C
xyw:w視窗像素點(x, y)的加權視窗顏色值,C
xy:桌面(x, y)像素點的原始顏色值,例如R
xy、G
xy或B
xy,W
n:無子控制項顏色權重,W
u:非支援可點擊功能子控制項顏色權重,W
c:支援可點擊功能子控制項顏色權重。補充說明的是,視窗資訊收集模組126透過Windows應用程式介面(API)取得目前活動視窗的標題(Title)以及程序(Process)名稱。如下表1所示,視窗資訊收集模組126可透過對應的應用程式介面取得視窗資訊:
| 功能 | 應用程式介面 |
| 取得視窗標題 | GetForegroundWindow() GetWindowTextLength() GetWindowText() |
| 取得視窗程序名稱。 | GetWindowThreadProcessId() GetModuleBaseName() |
在一實施例中,視窗資訊收集模組126基於多種控制項圖片的歷史數據對當前游標位置所在的控制項進行比對,以判斷當前游標位置所對應的視窗控制項資訊。於步驟S430,視窗資訊收集模組126將加權視窗顏色值作為視窗參考顏色。
在另一實施例中,視窗資訊收集模組126將公式(11)至公式(13)所獲得每一點座標(x, y)的加權視窗顏色值透過以下公式(14)進行加總。
如下所示,使用公式(14)計算視窗加權平均顏色值C
w,並將C
w傳至滑鼠指標樣式調整模組運算。
……(14)
C
w:視窗加權平均顏色值。在本實施例中,視窗資訊收集模組126將視窗加權平均顏色值作為視窗參考顏色。
圖6是依照本揭露一實施例的監控游標移動軌跡的流程示意圖。請參照圖6,軌跡監控模組122更用以執行步驟S510至步驟S595以產生滑鼠指標軌跡資訊(即軌跡紀錄組)。於步驟S510,軌跡監控模組122取得游標位置資訊。具體來說,軌跡監控模組122可透過讀取儲存器120中的緩存數據或是讀取其他模組的數據,進而獲得每一取樣點的游標位置座標。於步驟S520,軌跡監控模組122根據步驟S510中所獲得的游標位置資訊計算游標位移量,可透上述公式(1)計算出游標的位移量。
於步驟S530,軌跡監控模組122計算出位移斜率。在一實施例中,軌跡監控模組122可透過以下公式(15)分別計算出多個移動軌跡中每一時間點的位移斜率:
S
n= (X
n- X
n-1) / (Y
n- Y
n-1) ……(15)
S
n:時間點n的位移斜率,X
n:時間點n的X軸座標,X
n-1:時間點n-1的X軸座標,Y
n:時間點n的Y軸座標,Y
n-1:時間點n-1的Y軸座標。
於步驟S540,軌跡監控模組122紀錄初始位置。於步驟S550,軌跡監控模組122根據初始位置以及位移斜率計算位移斜率正負值變化次數。於步驟S560,軌跡監控模組122評估每一時間點的移動軌跡(即樣本)的位移斜率變化次數,進而將多個移動軌跡中對應的移動軌跡執行步驟S570或是步驟S580中對應的步驟。換言之,軌跡監控模組122根據游標初始位置以及位移斜率的變化獲得移動折返次數,並且當移動折返次數為2時,軌跡監控模組122接著執行步驟S570。當移動折返次數為3時,軌跡監控模組122接著執行步驟S580。
於步驟S570,軌跡監控模組122紀錄轉折位置與累計樣本個數。於步驟S580,軌跡監控模組122紀錄結束位置與累計樣本個數。軌跡監控模組122將具有特定次數的移動折返次數的移動軌跡作為軌跡紀錄組,並且記錄當前樣本數量(即步驟S570以及步驟580中的累計樣本個數)。
執行完步驟S570或是步驟S580後,軌跡監控模組122接著執行步驟S590。於步驟S590,軌跡監控模組122計算待收集樣本數。具體來說,軌跡監控模組122比對累計樣本個數是否達到待收集樣本數。待收集樣本數為預設個數量,例如是3個、6個、10個、或是20個。當累計樣本個數的數量達到待收集樣本數時,軌跡監控模組122接著執行步驟S595,反之則執行步驟S510。在另一實施例中,軌跡監控模組122將步驟S570中所記錄的累計樣本個數、步驟S580中所記錄的累計樣本個數、一次正負值變化的軌跡的個數以及取樣比例進行運算以計算出待收集樣本數。具體來說,待收集樣本數等於取樣比例與平均一次正負值變化所經過樣本(個)數的商,而平均一次正負值變化所經過樣本數可透過以下公式計算 0.5*(0.5*步驟S570中所記錄的累計樣本個數加上步驟S580中所記錄的累計樣本個數)。
當於步驟S595,軌跡監控模組122輸出滑鼠指標軌跡資訊。具體來說,軌跡監控模組122收集到一定數量的軌跡紀錄組時,將軌跡紀錄組(即滑鼠指標軌跡資訊)輸出至軌跡判斷模組123。
圖7是依照本揭露一實施例的判斷游標移動軌跡的流程圖。圖8是依照本揭露一實施例的游標的移動軌跡示意圖。請參照圖7,軌跡判斷模組123更用以執行步驟S610至步驟S680以判斷軌跡紀錄組是否包括尋找游標軌跡數據。於步驟S610,軌跡判斷模組123取得滑鼠指標軌跡資訊(即軌跡紀錄組)。
於步驟S620以及步驟S630,軌跡判斷模組123執行圖形識別,進而取得圖形類別信心分數。在一實施例中,軌跡判斷模組123透過卷積神經網路模型對軌跡紀錄組執行圖形識別以獲得圖形信心分數。如圖8所示為一單位時間(例如3秒、5秒、6秒)內的軌跡紀錄組,經過訊號的卷積神經網路模型基於尋找游標圖形(即預設的訓練樣本)比對軌跡紀錄組的移動軌跡,進而根據圖形相似度獲得圖形信心分數。圖形信心分數相關於卷積神經網路模型輸出結果時的置信度,當比對相似度越高則圖形信心分數越高。
於步驟S640,軌跡判斷模組123正規化滑鼠位移量。具體來說,軌跡判斷模組123對軌跡紀錄組中的位移量執行正規化處理以獲得二維陣列。軌跡判斷模組123可透過以下公式(16)至公式(19)執行正規化:
X
a= (
) / N……(16)
Y
a= (
) / N……(17)
I
n= X
n– X
a……(18)
J
n= Y
n-Y
a……(19)
N:樣本總數,X
a:滑鼠X軸位置平均值,Y
a:滑鼠Y軸位置平均值,I
n:取樣點n的滑鼠X軸位置正規化,J
n:取樣點n的滑鼠Y軸位置正規化,n為正整數。如此,軌跡判斷模組123將軌跡紀錄組的位移斜率從原本的一維陣列進行正規化後可以獲得以(X
n, Y
n)排列的二維陣列。
在一實施例中,卷積神經網路模型以及循環神經網路模型為透過多個尋找游標圖形所訓練的神經網路模型。軌跡判斷模組123進而根據二維陣列以及軌跡紀錄組的位移斜率獲得三維陣列。舉例來說,軌跡判斷模組123基於相同取樣點將步驟S640所獲得的二維陣列再加上對應的位移斜率進而獲得三維陣列(例如(X
n, Y
n, S
n)。
於步驟S650,軌跡判斷模組123執行時間序列分析。也就是說,軌跡判斷模組123透過循環神經網路模型對軌跡紀錄組執行圖形識別以獲得訊號信心分數。具體來說,循環神經網路模型對三維陣列執行時間序列分析以根據三維陣列中每一位置和前一位置之間的時間依賴性和關聯性判斷與多個尋找游標圖形(即預設的比對樣本)中的時間依賴性和關聯性的相似度判斷軌跡紀錄組的訊號信心分數。換言之,軌跡判斷模組123透過循環神經網路模型比對軌跡紀錄組中每一筆數據與前一時間點的時間和斜率關聯性和比對樣本中的時間和斜率關聯性的相似程度,進而獲得訊號流類別信心分數(即訊號信心分數)(步驟S660)。
於步驟S670,軌跡判斷模組123根據訊號信心分數以及圖形信心分數計算總信心分數F。
F = (W
c* C
c+ W
r* C
r) / (W
c+ W
r) ……(16)
W
c:「尋找滑鼠指標」圖形信心分數權重,W
c:「尋找滑鼠指標」訊號信心分數權重,C
r:訊號信心分數,C
c:圖形信心分數。
換言之,軌跡判斷模組123基於圖形權重以及訊號權重對圖形信心分數以及訊號信心分數執行加權運算,進而獲得信心分數(即總信心分數)。
在本裝置中,軌跡判斷模組123基於多張尋找游標圖形對軌跡紀錄組進行圖形識別以獲得信心分數,其中響應於信心分數大於一門檻值(F
th)時,軌跡判斷模組123判定移動軌跡的軌跡紀錄組包括尋找游標軌跡數據,也就是判定使用者正在尋找顯示器130上游標的位置(步驟S680)。
綜上所述,於本揭露的實施例中,動態調整游標顯示的方法與電子裝置透過分別地偵測/監控是否有顯示切換事件以及尋找游標軌跡,進而達到分散運算負載的效果而整體的操作順暢度。並且,動態調整游標顯示的方法與電子裝置基於桌面資訊與視窗資訊,將游標設定調整成適合的大小以及/或適合的顏色。如此一來,動態調整游標顯示的方法與電子裝置可自動判斷出游標當前的移動軌跡為找尋游標位置,進而透過調整游標顯示設定以令使用者可快速找到游標位置以提高使用上的便利性。並且,透過加權顏色值相關於平均顏色值透過加權係數提高桌面中央區域的比重的顏色值,進而將邊緣部分像素的影響權重降低,以提高游標的可視性。
雖然本揭露已以實施例揭露如上,然其並非用以限定本揭露,任何所屬技術領域中具有通常知識者,在不脫離本揭露的精神和範圍內,當可作些許的更動與潤飾,故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置
110:處理器
120:儲存器
130:顯示器
121:游標訊號收集模組
122:軌跡監控模組
123:軌跡判斷模組
124:游標顯示調整模組
125:桌面偵測模組
126:視窗資訊收集模組
S210~S250、S310~350、S410~S430、S510~S595、S610~S680:步驟
圖1是依照本揭露一實施例的電子裝置的方塊圖。
圖2是依照本揭露一實施例的動態調整游標顯示的方法的流程圖。
圖3是依照本揭露一實施例的擷取顯示畫面以計算出游標顏色的流程圖。
圖4是依照本揭露一實施例的多個模組的流程示意圖。
圖5是依照本揭露一實施例的根據視窗資訊獲得加權視窗顏色值的流程圖。
圖6是依照本揭露一實施例的監控游標移動軌跡的流程示意圖。
圖7是依照本揭露一實施例的判斷游標移動軌跡的流程圖。
圖8是依照本揭露一實施例的游標的移動軌跡示意圖。
S210~S250:步驟
Claims (18)
- 一種動態調整游標顯示的方法,適用於耦接一顯示器以及一輸入裝置的電子裝置,所述方法包括:收集顯示於該顯示器上的游標的移動軌跡;從該移動軌跡中篩選出位移量大於一閾值的該移動軌跡,並且將該位移量大於該閾值的該移動軌跡作為游標軌跡數據;判斷該游標軌跡數據是否包括尋找游標軌跡數據;響應於該游標軌跡數據包括該尋找游標軌跡數據,依據該電子裝置的顯示資訊對應地調整該游標的顯示設定,其中該顯示資訊相關於桌面顏色、視窗顏色、視窗資訊、視窗大小、桌面大小以及視窗控制項資訊,其中從該移動軌跡中篩選出該位移量大於該閾值的該移動軌跡,並且將該位移量大於該閾值的該移動軌跡作為該游標軌跡數據的步驟包括:根據該移動軌跡計算該位移量,並且篩選出該位移量大於該閾值的該移動軌跡以根據該位移量計算的位移斜率;根據游標初始位置以及該位移斜率的變化獲得移動折返次數,並且將具有特定次數的移動折返次數的移動軌跡作為軌跡紀錄組,當收集到一收集數量的該軌跡紀錄組時,輸出該軌跡紀錄組。
- 如請求項1所述的動態調整游標顯示的方法,還包括:偵測該顯示器有顯示切換事件,其中響應於偵測到該顯示切換事件,計算出當前顯示畫面中每個像素的平均顏色值以作為桌面參考 顏色;依據該平均顏色值以及對應當前游標位置的視窗畫面計算出視窗平均顏色值,並且將該視窗平均顏色值作為視窗參考顏色;對該桌面參考顏色以及該視窗參考顏色執行補色運算以獲得游標顏色,進而根據該游標顏色調整該游標的該顯示設定。
- 如請求項2所述的動態調整游標顯示的方法,其中對該桌面參考顏色以及該視窗參考顏色執行補色運算以獲得該游標顏色的步驟之前,所述方法還包括:根據所述每個像素的所述平均顏色值以及桌面加權係數獲得加權顏色值,並且將該加權顏色值作為該視窗參考顏色,其中所述加權顏色值相關於所述平均顏色值透過加權係數提高桌面中央區域的比重的顏色值,其中所述方法還包括:根據該視窗平均顏色值以及該視窗畫面的視窗標題、視窗程序以及該視窗控制項資訊獲得加權視窗顏色值,並且將該加權視窗顏色值作為該視窗參考顏色,其中該視窗資訊包括該視窗標題以及該視窗程序,其中該加權視窗顏色值相關於根據該視窗控制項資訊以及對應的控制項加權係數所獲得的顏色值。
- 如請求項2所述的動態調整游標顯示的方法,其中該顯示切換事件為切換視窗事件、開啟新視窗事件以及桌面大範圍變化事件的至少其中之一,其中響應於偵測到該顯示切換事件,計算出該當前顯示畫面中 該每個像素的該平均顏色值的步驟包括:偵測到該顯示器有該顯示切換事件並且桌面面積變化超過一比例值,則擷取該顯示器上的該當前顯示畫面以計算出該平均顏色值,其中該比例值相關於事件視窗的視窗寬度、視窗高度以及視窗顯示高度、視窗顯示寬度以及桌面高度、桌面寬度以及視窗的位置座標。
- 如請求項1所述的動態調整游標顯示的方法,其中收集顯示於該顯示器上的該游標的該移動軌跡的步驟包括:收集該游標的至少一游標事件,並且記錄該游標事件的位置座標以產生該移動軌跡,其中該游標事件為移動事件、按鍵事件、滾輪滾動事件、以及移出視窗事件的至少其中之一。
- 如請求項1所述的動態調整游標顯示的方法,其中判斷該游標軌跡數據是否包括該尋找游標軌跡數據的步驟包括:基於多張尋找游標圖形對該軌跡紀錄組進行圖形識別以獲得信心分數;響應於該信心分數大於一門檻值時,判定該移動軌跡的該軌跡紀錄組包括該尋找游標軌跡數據。
- 如請求項6所述的動態調整游標顯示的方法,其中對該軌跡紀錄組進行該圖形識別以獲得該信心分數的步驟包括:透過卷積神經網路模型對該軌跡紀錄組執行該圖形識別以獲得圖形信心分數;透過循環神經網路模型對該軌跡紀錄組執行該圖形識別以獲得 訊號信心分數;基於圖形權重以及訊號權重對該圖形信心分數以及該訊號信心分數執行加權運算,進而獲得該信心分數,其中該卷積神經網路模型以及該循環神經網路模型為透過該些尋找游標圖形所訓練的神經網路模型,其中該卷積神經網路模型基於該些尋找游標圖形比對該軌跡紀錄組的移動軌跡,進而獲得圖形信心分數。
- 如請求項7所述的動態調整游標顯示的方法,其中透過該循環神經網路模型對該軌跡紀錄組執行該圖形識別以獲得該訊號信心分數的步驟包括:對該軌跡紀錄組中的位移量執行正規化處理以獲得二維陣列,進而根據該二維陣列以及該軌跡紀錄組的位移斜率獲得三維陣列;對該三維陣列執行時間序列分析以根據該三維陣列中每一位置的時間依賴性和前一位置的關聯性判斷該軌跡紀錄組的該訊號信心分數。
- 如請求項8所述的動態調整游標顯示的方法,其中根據螢幕解析度預設值、顯示器寬度、游標尺寸上限值、顯示器高度以及控制項權重以計算出游標適合大小,其中該控制項權重相關於對應游標當前位置的該視窗控制項資訊的預設權重值,以及該游標適合大小不大於該游標尺寸上限值,其中根據該游標適合大小調整該游標的該顯示設定。
- 一種電子裝置,包括: 一儲存器,儲存多個模組;以及一處理器,耦接於一顯示器以及一輸入裝置,並載入且執行該儲存器所儲存的該些模組,該些模組包括:游標訊號收集模組,收集顯示於該顯示器上的游標的移動軌跡;軌跡監控模組,從該移動軌跡中篩選出位移量大於一閾值的該移動軌跡,並且將該位移量大於該閾值的該移動軌跡作為游標軌跡數據;軌跡判斷模組,判斷該游標軌跡數據是否包括尋找游標軌跡數據;游標顯示調整模組,響應於該游標軌跡數據包括該尋找游標軌跡數據,依據該電子裝置的顯示資訊對應地調整該游標的顯示設定,其中該顯示資訊相關於桌面顏色、視窗顏色、視窗資訊、視窗大小、桌面大小以及視窗控制項資訊,其中該軌跡監控模組根據該移動軌跡計算該位移量,並且篩選出該位移量大於該閾值的該移動軌跡以根據該位移量計算的位移斜率,其中該軌跡監控模組根據游標初始位置以及該位移斜率的變化獲得移動折返次數,並且該軌跡監控模組將具有特定次數的移動折返次數的移動軌跡作為軌跡紀錄組,其中當該軌跡監控模組收集到一收集數量的該軌跡紀錄組時,將該軌跡紀錄組輸出至該軌跡判斷模組。
- 如請求項10所述的電子裝置,其中該些模組還包括:桌面偵測模組,偵測該顯示器有顯示切換事件,其中該桌面偵測模組響應於偵測到該顯示切換事件,計算出當前顯示畫面中每個像素的平均顏色值以作為桌面參考顏色;以及視窗資訊收集模組,依據該平均顏色值以及對應當前游標位置的視窗畫面計算出視窗平均顏色值,並且將該視窗平均顏色值作為視窗參考顏色,其中該游標顯示調整模組對該桌面參考顏色以及該視窗參考顏色執行補色運算以獲得游標顏色,進而根據該游標顏色調整該游標的該顯示設定。
- 如請求項11所述的電子裝置,其中該處理器更執行該桌面偵測模組以:根據所述每個像素的所述平均顏色值以及桌面加權係數獲得加權顏色值,並且將該加權顏色值作為該視窗參考顏色,其中所述加權顏色值相關於所述平均顏色值透過加權係數提高桌面中央區域的比重的顏色值,其中該處理器更執行該視窗資訊收集模組用以:根據該視窗平均顏色值以及該視窗畫面的視窗標題、視窗程序以及該視窗控制項資訊獲得加權視窗顏色值,並且將該加權視窗顏色值作為該視窗參考顏色,其中該視窗資訊包括該視窗標題以及該視窗程序,其中該加權視窗顏色值相關於根據該視窗控制項資訊以及對應的控制項加權係數所獲得的顏色值。
- 如請求項11所述的電子裝置,其中該顯示切換事件為切換視窗事件、開啟新視窗事件以及桌面大範圍變化事件的至少其中之一,其中該桌面偵測模組偵測到該顯示器有該顯示切換事件並且桌面面積變化超過一比例值,則擷取該顯示器上的該當前顯示畫面以計算出該平均顏色值,其中該比例值相關於事件視窗的視窗寬度、視窗高度以及視窗顯示高度、視窗顯示寬度以及桌面高度、桌面寬度以及視窗的位置座標。
- 如請求項10所述的電子裝置,其中該游標訊號收集模組收集該游標的至少一游標事件,其中該游標事件為移動事件、按鍵事件、滾輪滾動事件、以及移出視窗事件的至少其中之一,並且該游標訊號收集模組記錄該游標事件的位置座標以產生該移動軌跡。
- 如請求項10所述的電子裝置,其中該軌跡判斷模組基於多張尋找游標圖形對該軌跡紀錄組進行圖形識別以獲得信心分數,其中響應於該信心分數大於一門檻值時,該軌跡判斷模組判定該移動軌跡的該軌跡紀錄組包括該尋找游標軌跡數據。
- 如請求項15所述的電子裝置,其中該軌跡判斷模組透過卷積神經網路模型對該軌跡紀錄組執行該圖形識別以獲得圖形信心分數,其中該軌跡判斷模組透過循環神經網路模型對該軌跡紀錄組執行該圖形識別以獲得訊號信心分數, 其中該軌跡判斷模組基於圖形權重以及訊號權重對該圖形信心分數以及該訊號信心分數執行加權運算,進而獲得該信心分數,其中該卷積神經網路模型以及該循環神經網路模型為透過該些尋找游標圖形所訓練的神經網路模型,其中該卷積神經網路模型基於該些尋找游標圖形比對該軌跡紀錄組的移動軌跡,進而獲得圖形信心分數。
- 如請求項16所述的電子裝置,其中該軌跡判斷模組對該軌跡紀錄組中的位移量執行正規化處理以獲得二維陣列,進而根據該二維陣列以及該軌跡紀錄組的位移斜率獲得三維陣列,其中該循環神經網路模型對該三維陣列執行時間序列分析以根據該三維陣列中每一位置的時間依賴性和前一位置的關聯性判斷該軌跡紀錄組的該訊號信心分數。
- 如請求項10所述的電子裝置,其中該游標顯示調整模組根據螢幕解析度預設值、顯示器寬度、游標尺寸上限值、顯示器高度以及控制項權重以計算出游標適合大小,其中該控制項權重相關於對應游標當前位置的該視窗控制項資訊的預設權重值,以及該游標適合大小不大於該游標尺寸上限值,其中該游標顯示調整模組根據該游標適合大小調整該游標的該顯示設定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW113118649A TWI879573B (zh) | 2024-05-20 | 2024-05-20 | 動態調整游標顯示的方法與電子裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW113118649A TWI879573B (zh) | 2024-05-20 | 2024-05-20 | 動態調整游標顯示的方法與電子裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI879573B true TWI879573B (zh) | 2025-04-01 |
| TW202546616A TW202546616A (zh) | 2025-12-01 |
Family
ID=96142311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW113118649A TWI879573B (zh) | 2024-05-20 | 2024-05-20 | 動態調整游標顯示的方法與電子裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI879573B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108920230A (zh) * | 2018-06-15 | 2018-11-30 | 广州视源电子科技股份有限公司 | 鼠标悬浮操作的响应方法、装置、设备和存储介质 |
| TWI731781B (zh) * | 2020-09-02 | 2021-06-21 | 宏碁股份有限公司 | 鍵盤裝置、電腦系統、鍵盤之背光控制方法及其程式產品 |
| CN114153348A (zh) * | 2020-09-04 | 2022-03-08 | 华为终端有限公司 | 光标提示方法和主机 |
| CN114428576A (zh) * | 2021-12-20 | 2022-05-03 | 北京镁伽科技有限公司 | 光标颜色确定方法、装置、pg设备及存储介质 |
| TWI792712B (zh) * | 2021-11-24 | 2023-02-11 | 宏正自動科技股份有限公司 | 游標標示方法及切換裝置 |
| CN116302261A (zh) * | 2023-02-27 | 2023-06-23 | 深圳华为云计算技术有限公司 | 用户界面显示的方法、装置、终端和服务器 |
| TWI815487B (zh) * | 2022-05-31 | 2023-09-11 | 優派國際股份有限公司 | 控制滑鼠游標的電子裝置和方法 |
-
2024
- 2024-05-20 TW TW113118649A patent/TWI879573B/zh active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108920230A (zh) * | 2018-06-15 | 2018-11-30 | 广州视源电子科技股份有限公司 | 鼠标悬浮操作的响应方法、装置、设备和存储介质 |
| TWI731781B (zh) * | 2020-09-02 | 2021-06-21 | 宏碁股份有限公司 | 鍵盤裝置、電腦系統、鍵盤之背光控制方法及其程式產品 |
| CN114153348A (zh) * | 2020-09-04 | 2022-03-08 | 华为终端有限公司 | 光标提示方法和主机 |
| TWI792712B (zh) * | 2021-11-24 | 2023-02-11 | 宏正自動科技股份有限公司 | 游標標示方法及切換裝置 |
| CN114428576A (zh) * | 2021-12-20 | 2022-05-03 | 北京镁伽科技有限公司 | 光标颜色确定方法、装置、pg设备及存储介质 |
| TWI815487B (zh) * | 2022-05-31 | 2023-09-11 | 優派國際股份有限公司 | 控制滑鼠游標的電子裝置和方法 |
| CN116302261A (zh) * | 2023-02-27 | 2023-06-23 | 深圳华为云计算技术有限公司 | 用户界面显示的方法、装置、终端和服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9384420B2 (en) | Classifying user activities using eye fixation clustering, fixation features, and regions of interest | |
| JP5177075B2 (ja) | 動作認識装置、動作認識方法、プログラム | |
| US9400931B2 (en) | Providing subject information regarding upcoming images on a display | |
| JP5674674B2 (ja) | 表面に載せた手に合わせたジェスチャーの発生 | |
| US20050179657A1 (en) | System and method of emulating mouse operations using finger image sensors | |
| CN112560723B (zh) | 一种基于形态识别与速度估计的跌倒检测方法及系统 | |
| US20100071965A1 (en) | System and method for grab and drop gesture recognition | |
| CN110221699B (zh) | 一种前置摄像头视频源的眼动行为识别方法 | |
| US20130088429A1 (en) | Apparatus and method for recognizing user input | |
| CN108596955B (zh) | 一种图像检测方法、图像检测装置及移动终端 | |
| WO2018090538A1 (zh) | 网球拍动作识别方法及装置 | |
| US11941045B2 (en) | Image searching apparatus, image searching method, and storage medium | |
| CN114299050A (zh) | 一种基于改进Alphapose的红外图像摔倒检测方法 | |
| CN118760420B (zh) | 基于Grid的跨终端响应式设计系统及方法 | |
| EP3379482A1 (en) | Information processing device calculating statistical information | |
| TWI879573B (zh) | 動態調整游標顯示的方法與電子裝置 | |
| CN114067359A (zh) | 融合人体关键点与可见部位注意力特征的行人检测方法 | |
| JP7452095B2 (ja) | データ処理装置、データ処理方法およびプログラム | |
| JPH0720987A (ja) | 注視点推定装置 | |
| TW202546616A (zh) | 動態調整游標顯示的方法與電子裝置 | |
| CN113204305A (zh) | 移动终端的握持模式检测方法、装置、介质及移动终端 | |
| TWI871919B (zh) | 動態調整顯示設定的方法與電子裝置 | |
| CN115966012B (zh) | 三维手势检测装置及三维手势检测方法 | |
| US20200082585A1 (en) | Interface For Receiving Subject Affinity Information | |
| CN117322842A (zh) | 一种基于移动终端的行动障碍评估方法及装置 |