TW201516892A - 監控方法、裝置及系統 - Google Patents
監控方法、裝置及系統 Download PDFInfo
- Publication number
- TW201516892A TW201516892A TW102137367A TW102137367A TW201516892A TW 201516892 A TW201516892 A TW 201516892A TW 102137367 A TW102137367 A TW 102137367A TW 102137367 A TW102137367 A TW 102137367A TW 201516892 A TW201516892 A TW 201516892A
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- image sequence
- module
- state
- monitoring
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 230000009471 action Effects 0.000 claims abstract description 14
- 238000012806 monitoring device Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 206010041349 Somnolence Diseases 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 53
- 238000012937 correction Methods 0.000 description 15
- 210000003128 head Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 2
- 208000005809 status epilepticus Diseases 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一種監控方法、裝置及系統。於顯示單元中顯示使用者介面，其中使用者介面具有對應至多個位置的多個座位區塊。自設置於空間中的各個位置的取像單元獲得影像序列。對影像序列執行人臉辨識演算法，以判斷影像序列是否存在使用者的人像。若影像序列存在人像，對影像序列執行眼動追蹤演算法。並且，基於使用者是否注視於指定方向，而對各座位區塊執行對應的標記動作。
Description
本發明是有關於一種監控機制，且特別是有關於一種基於眼動追蹤的監控方法、裝置及系統。
目前眼動追蹤技術主要可區分為與侵入性(invasive)與非侵入性(non-invasive)兩種。侵入性的眼動追蹤技術主要是在眼睛中設置搜尋線圈法(search Coil)或使用眼動電波圖(electrooculogram)。而非侵入性的眼動追蹤技術則可區分為免頭戴式(free-head)或頭戴式(head-mount)人眼追蹤技術。
而隨著科技的發展，眼動追蹤技術大幅應用於各種領域，例如神經科學、心理學、工業工程、人因工程、行銷廣告、電腦科學等。例如，美國專利號US 2010/0092929提出了利用眼球追蹤技術的認知以及語言評估系統，其利用了眼球追蹤技術，獲得病友的眼球注視位置與持續的時間，藉此用來測試語言理解力、工作記憶力、注意力分配能力，以及語意關連啟動的能力。
本發明提供一種監控方法、裝置及系統，基於眼動追蹤演算法來輔助監控使用者的專注程度。
本發明的監控方法，其用於一監控裝置。在此，於顯示單元中顯示使用者介面，其中使用者介面包括多個座位區塊，而這些座位區塊分別對應至與監控裝置同一空間的多個位置，而每個位置設置有一取像單元。自這些位置各自的取像單元獲得影像序列，對影像序列執行人臉辨識演算法，以判斷影像序列是否存在使用者的人像；若影像序列存在人像，對影像序列執行眼動追蹤演算法；並且，基於使用者是否注視於指定方向，而對各座位區塊執行對應的標記動作。
本發明的監控系統，其包括設置於同一空間的多個取像單元與監控裝置。上述取像單元分別設置於上述空間中的多個位置。監控裝置包括顯示單元、通訊單元、儲存單元以及處理單元。顯示單元用以顯示使用者介面，其中使用者介面包括多個座位區塊，而這些座位區塊分別對應至上述位置。通訊單元用以自各取像單元獲得影像序列。儲存單元用以儲存影像序列。處理單元耦接至顯示單元與通訊單元，且用以驅動監控模組。其中，監控模組對影像序列執行人臉辨識演算法，以判斷影像序列是否存在使用者的人像；若影像序列存在人像，監控模組對影像序列執行眼動追蹤演算法；並且，監控模組基於使用者是否注視於指定方向，而對各座位區塊執行對應的標記動作。
本發明的監控裝置包括，其顯示單元、通訊單元、儲存單元以及處理單元。顯示單元用以顯示使用者介面，其中使用者介面包括多個座位區塊，而這些座位區塊分別對應至與監控裝置處於同一空間的多個位置，而各位置設置有一取像單元。通訊單元用以自各取像單元獲得影像序列。儲存單元用以儲存影像序列。處理單元耦接至顯示單元與通訊單元，且用以驅動監控模組。其中，監控模組對影像序列執行人臉辨識演算法，以判斷影像序列是否存在使用者的人像；若影像序列存在人像，監控模組對影像序列執行眼動追蹤演算法；並且，監控模組基於使用者是否注視於指定方向，而對各座位區塊執行對應的標記動作。
在本發明的一實施例中，上述監控模組更包括：人臉辨識模組，其用以對影像序列執行人臉辨識演算法；眼動追蹤模組，其用以對影像序列執行眼動追蹤演算法；標記模組，其用以對各座位區塊執行對應的標記動作。
在本發明的一實施例中，上述該監控模組更包括：狀態識別模組，其用以依據眼動追蹤模組的結果，判別使用者目前處於專注狀態、瞌睡狀態或不專注狀態；閉眼偵測模組，其用以對影像序列執行閉眼偵測演算法。其中，當眼動追蹤模組判定使用者未注視於指定方向，狀態識別模組判定使用者目前處於專注狀態。當眼動追蹤模組判定使用者未注視於指定方向，透過閉眼偵測模組偵測到使用者為閉眼狀態時，由狀態識別模組判定使用者目前處於瞌睡狀態，並在偵測到使用者為非閉眼狀態時，由狀態
識別模組判定使用者目前處於不專注狀態。
在本發明的一實施例中，上述標記模組在人臉辨識模組判定影像序列不存在人像時，於對應的座位區塊中顯示第四標記。
在本發明的一實施例中，上述監控模組更包括：擺頭偵測模組，其基於鼻孔位置資訊來判斷使用者是否轉頭，藉此獲得臉部擺動資訊，其中在人臉辨識模組獲得人臉區域時，在人臉辨識模組偵測人臉區域的鼻孔區域，而獲得鼻孔位置資訊。其中，當擺頭偵測模組基於臉部擺動資訊而判定使用者面向指定方向時，透過眼動追蹤模組對影像序列執行眼動追蹤演算法。
基於上述，基於眼動追蹤演算法來判斷使用者的專注程度，並在使用者介面中對應的座位區塊呈現出對應的標記，藉此透過監控裝置(例如：教師端裝置)得以更直觀地獲知使用者(例如：聽講者)的出席率以及專注程度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧監控系統
110‧‧‧監控裝置
120‧‧‧顯示單元
130‧‧‧通訊單元
140‧‧‧儲存單元
150‧‧‧處理單元
160‧‧‧監控模組
170‧‧‧取像單元
201‧‧‧人臉辨識模組
203‧‧‧眼動追蹤模組
205‧‧‧標記模組
207‧‧‧狀態識別模組
209‧‧‧閉眼偵測模組
211‧‧‧擺頭偵測模組
400‧‧‧使用者介面
401‧‧‧第一標記
402‧‧‧第二標記
403‧‧‧第三標記
404‧‧‧第四標記
S‧‧‧空間
S305~S325‧‧‧監控方法的各步驟
S505~S550‧‧‧另一監控方法的各步驟
圖1是依照本發明一實施例的監控系統的方塊圖。
圖2是依照本發明一實施例的監控模組的方塊圖。
圖3是依照本發明一實施例的監控方法的流程圖。
圖4是依照本發明一實施例的使用者介面的示意圖。
圖5是依照本發明另一實施例的監控方法的流程圖。
圖1是依照本發明一實施例的監控系統的方塊圖。請參照圖1，監控系統100包括監控裝置110與多台取像單元170。監控系統100例如設置於教室、演講廳、禮堂等空間S中，即，監控裝置110與多台取像單元170是設置於同一空間S中。
取像單元170例如為攝影機或照相機，其具有電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或紅外線鏡頭。在空間S的多個位置中分別設置取像單元170，以擷取在位置上之使用者的影像序列。以空間S為教室而言，教室中包括多個座位，於每一個座位設置一個取像單元170，並將取像單元170的鏡頭朝向可拍攝至當使用者坐在座位上的方向。
監控裝置110包括顯示單元120、通訊單元130、儲存單元140、處理單元150以及監控模組160。其中，處理單元150耦接至顯示單元120、通訊單元130、儲存單元140以及監控模組160。
顯示單元120例如為液晶顯示器(Liquid-Crystal Display，LCD)、電漿顯示器、真空螢光顯示器、發光二極體(Light-Emitting Diode，LED)顯示器、場發射顯示器(Field Emission Display，FED)及/或其他合適種類的顯示器，在此並不限制其種類。
通訊單元130用以自多個取像單元170接收其各自的影像序列。例如，通訊單元130為實體的乙太網路卡、或無線網路卡等，或者為第三代(third Generation，3G)行動通訊模組、通用封包無線服務(General Packet Radio Service，GPRS)模組或Wi-Fi模組。
儲存單元140例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。儲存單元130中包括了多份電子文件，並且暫存由取像單元110所擷取的影像序列。
處理單元150例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。
處理單元150耦接至顯示單元120、通訊單元130與儲存單元140，並且用以驅動監控模組160。監控模組160例如是由電腦程式語言所撰寫的驅動程式、韌體或軟體，其儲存在儲存單元140中。監控模組160基本上是由多數個程式碼片段所組成的(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段)，並且這些程式碼片段在載入監控裝置
110中並執行之後，即可實現監控的功能。或者，監控模組160是由各種邏輯閘所形成的晶片組等。處理單元150驅動監控模組160來執行監控方法。
例如，監控模組160對影像序列執行人臉辨識演算法，以判斷影像序列是否存在使用者的人像，並且監控模組160對影像序列執行眼動追蹤演算法，以獲得使用者所注視的方向。另外，監控模組160基於使用者是否注視於指定方向(例如注視於前方)，而對各座位區塊執行對應的標記動作。例如，在各座位區塊標記上對應的顏色、或者於各座位區塊上顯示對應的標記(例如為圖像)等等。
圖2是依照本發明一實施例的監控模組的方塊圖。請參照圖2，監控模組160主要包括人臉辨識模組201、眼動追蹤模組203及標記模組205。人臉辨識模組201用以對影像序列執行人臉辨識演算法，例如基於Haar-like特徵的AdaBoost演算法，藉此來偵測影像序列中是否存在人臉。透過對影像序列偵測人臉的存在與否來判斷對應的位置上是否存在使用者。眼動追蹤模組203用以對影像序列執行眼動追蹤演算法，以追蹤使用者的眼球的移動軌跡。標記模組205用以對座位區塊執行對應的標記動作。
另外，監控模組160還可進一步包括狀態識別模組207、閉眼偵測模組209以及擺頭偵測模組211。狀態識別模組207用以依據眼動追蹤模組203的結果，判別使用者目前處於專注狀態、瞌睡狀態或不專注狀態。閉眼偵測模組209用以對影像序列執行
閉眼偵測演算法。擺頭偵測模組211基於鼻孔位置資訊來判斷使用者是否轉頭，藉此獲得臉部擺動資訊。例如，在偵測到臉部之後，人臉辨識模組201還可以進一步搜尋鼻孔區域，即，兩個鼻孔的所在位置。而鼻孔位置資訊例如為兩個鼻孔的位置。
另外，在其他實施例中，在空間S的各個位置中，還可相對於各取像單元170配置有一顯示器，以在顯示器上顯示課程內容等資訊。據此，而在進行眼動追蹤演算之前，還可先對取像單元170執行校正程序。倘若各取像單元170的硬體規格相同，則以其中一台來進行校正即可；倘若各取像單元170的硬體規格不同，則逐一對各取像單元來進行校正。舉例來說，在進行眼球位置的偵測之前，依序自取像單元170接收多個校正影像。在此，上述校正影像分別為使用者觀看顯示單元120的多個校正點所獲得。例如，以顯示單元120左上、右上、左下、右下4個點作為校正點。在進行校正程序時，在顯示單元120中提示使用者觀看上述4個校正點，藉此獲得4張校正影像。而校正模組314依據每一張校正影像中的眼部區域的兩個亮點位置，來獲得基準校正參數。上述兩個亮點位置的形成是由於取像單元170中所設置的發光模組在眼球上所造成的反光。藉由每一張校正影像中的兩個亮點位置，來獲得基準校正參數。校正參數例如為基於亮點位置G1、G2的向量。並且，基於校正影像而藉由透視轉換(perspective transformation)法來產生座標轉換矩陣，此座標轉換矩陣是用以將眼部區域的座標位置轉換為顯示器的座標位置。
而眼動追蹤模組203偵測影像序列中的目前影像的眼部區域，以獲得在目前影像中的瞳孔位置及兩個亮點位置(底下稱為亮點位置G1'、G2')。並且，眼動追蹤模組203依據目前影像的亮點位置G1'、G2'，獲得比對校正參數，藉此進一步依據基準校正參數(C1)與比對校正參數(C2)，來獲得動態補正參數(C3)。例如，動態補正參數為基準校正參數與比對校正參數的比率，即，C3=C2/C1。之後，眼動追蹤模組203再依據目前影像中的亮點位置G1'(或亮點位置G2')、瞳孔位置(例如以瞳孔中心的座標來進行計算)以及動態補正參數，計算眼球移動座標。例如，眼球移動座標為(X',Y')。而眼動追蹤模組203利用座標轉換矩陣，轉換眼球移動座標(X',Y')為對應於該顯示單元的視線落點座標(例如，視線落點座標為(Xs,Ys))，之後，記錄視線落點座標(Xs,Ys)。據此，藉由所記錄的多個視線落點座標而可獲得眼球的移動軌跡，並且可依據視線落點座標可獲得使用者目前注視的方向。
底下即舉例來說明監控方法的各步驟。圖3是依照本發明一實施例的監控方法的流程圖。請同時參照圖1~圖3，在步驟S305中，監控裝置110於顯示單元120中顯示使用者介面。在此，使用者介面包括多個座位區塊，而這些座位區塊分別對應至空間S的多個位置，而每一個位置設置有一取像單元170。以空間S為教室而言，在使用者介面中顯示教室的座位表。
接著，在步驟S310中，監控裝置110透過通訊單元130自取像單元170獲得影像序列。之後，便可利用監控模組160來
分析影像序列。
在步驟S315中，監控模組160透過人臉辨識模組201來執行人臉辨識演算法，藉此來判斷影像序列是否存在使用者的人像。也就是偵測對應的位置上是否有使用者，例如，判斷學生是否有出席。
接著，在步驟S320中，監控模組160透過眼動追蹤模組203來執行眼動追蹤演算法。具體而言，在偵測到影像序列存在使用者的人像，監控模組160才會啟用眼動追蹤模組203。
然後，在步驟S325中，監控模組160基於使用者是否注視於指定方向，而對各座位區塊執行對應的標記動作。例如，偵測使用者是否有在觀看其桌上的顯示器(其搭配取像單元170使用)，或是使用者是否有在觀看設置於最前方的顯示器或白板(黑板)等。
在座位表中以顏色或以圖案來表示學生是否缺席、是否專心、或打瞌睡等等。另外，還可透過狀態識別模組207依據眼動追蹤模組203的結果，判別使用者目前處於專注狀態、瞌睡狀態或不專注狀態。
另外，倘若事先已分配好使用各個位置的學生，並事先在監控裝置100的儲存單元140中建立一資料庫，便可進一步針對缺席狀況來採用記名動作。
圖4是依照本發明一實施例的使用者介面的示意圖。請參照圖4，使用者介面400為一座位表，其包括5×4座位區塊
B1~B20。在此僅以5×4為例，然，在其他實施例中可依照實際空間S中設置有取像單元170的位置數量來進行調整。
底下以座位區塊B5、B8、B16、B9而言，其分別顯示有第一標記401、第二標記402、第三標記403及第四標記404。即，在座位區塊B5中顯示有第一標記401，表示其對應的實際位置存在有使用者，且使用者目前為專注狀態。在座位區塊B8中顯示有第二標記402，表示其對應的實際位置存在有使用者，且使用者目前為瞌睡狀態。在座位區塊B16中顯示有第三標記403，表示其對應的實際位置存在有使用者，且使用者目前為不專注狀態。在座位區塊B9中顯示有第四標記404，表示其對應的實際位置並不存在有使用者。據此，應用於教學上，藉由使用者介面400可讓教師快速地得知學生的出席狀況與上課的專注與否。
圖5是依照本發明另一實施例的監控方法的流程圖。請同時參照圖1~2、圖4~5，在步驟S505中，監控模組160透過人臉辨識模組201來執行人臉辨識演算法。在步驟S510中，判斷影像序列是否存在使用者的人像，藉此來判斷實際位置上是否存在使用者。若影像序列中不存在人像，判定傳送此影像序列的取像單元所設置的位置沒有使用者，進而在步驟S515中，由標記模組205在對應的座位區塊顯示第四標記404。
接著，在步驟S520中，監控模組160透過眼動追蹤模組203來執行眼動追蹤演算法。之後，在步驟S525中，眼動追蹤模組203判斷使用者是否注視於指定方向。當眼動追蹤模組203判
定使用者注視於指定方向，由狀態識別模組207判定使用者目前處於專注狀態，進而執行步驟S530，由標記模組205於對應的座位區塊顯示第一標記401。
另外，在判定影像序列中存在有人像時，還可先透過擺頭偵測模組211基於臉部擺動資訊來判斷使用者是否面向於指定方向，以在判定使用者面向指定方向時，再對影像序列執行眼動追蹤演算法。然，可視情況來決定是否使用擺頭偵測模組211。
若使用者未注視於指定方向，執行步驟S535，透過閉眼偵測模組209對影像序列執行閉眼偵測演算法。接著，在步驟S540中，閉眼偵測模組209判斷使用者是否為閉眼狀態。例如，以偵測到眼部物件的尺寸來判斷是否為閉眼狀態。例如，當眼部物件的高度小於高度門檻值(例如，高度門檻值的範圍界於5~7個像素)，且眼部物的寬度大於寬度門檻值(例如，寬度門檻值的範圍界於60~80個像素)時，判定為閉眼狀態。若不符合上述條件，則非閉眼狀態。
在偵測到使用者為閉眼狀態時，由狀態識別模組207判定使用者目前處於瞌睡狀態，進而在步驟S545中，標記模組205於對應的座位區塊顯示第二標記402。而在偵測到使用者為非閉眼狀態時，由狀態識別模組207判定使用者目前處於不專注狀態，進而在步驟S550中，標記模組205於對應的座位區塊顯示第三標記403。
另，上述第一標記~第四標記亦可以為不同顏色的底色，
藉由在座位區塊中顯示不同顏色的底色來表示使用者的專注程度與出缺席狀況。
綜上所述，利用眼動追蹤演算法來判斷使用者的專注程度，並在使用者介面中對應的座位區塊呈現出對應的標記。據此，當應用於教學上時，可讓教師得以更直觀地獲知學生的出席率以及專注程度。另外，還可應用於一般演講，使得講師能夠透過使用者介面上的標記來得知聽講者的專注程度，進而適當地調整演講方式達到吸引聽講者注意力的目的。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S305~S325‧‧‧監控方法的各步驟
Claims (13)
- 一種監控方法，用於一監控裝置，其中該監控裝置位於一空間中，而該方法包括：於一顯示單元中顯示一使用者介面，其中該使用者介面包括多個座位區塊，而該些座位區塊分別對應至該空間的多個位置，而每一該些位置設置有一取像單元；自該些位置各自的該取像單元獲得一影像序列；對該影像序列執行一人臉辨識演算法，以判斷該影像序列是否具有一使用者的人像；若該影像序列存在該人像，對該影像序列執行一眼動追蹤演算法；以及基於該使用者是否注視於一指定方向，而對每一該些座位區塊執行對應的標記動作。
- 如申請專利範圍第1項所述的方法，其中對該影像序列執行該眼動追蹤演算法的步驟之後，更包括：若該使用者注視於該指定方向，判定該使用者目前處於一專注狀態；以及若該使用者未注視於該指定方向，對該影像序列執行一閉眼偵測演算法，以判定該使用者目前處於一瞌睡狀態或一不專注狀態。
- 如申請專利範圍第2項所述的方法，其中對該影像序列執行該閉眼偵測演算法的步驟之後，更包括： 若偵測到該使用者為一閉眼狀態，判定該使用者目前處於該瞌睡狀態；以及若未偵測到該使用者為該閉眼狀態，判定該使用者目前處於該不專注狀態。
- 如申請專利範圍第2項所述的方法，其中基於該使用者是否注視於該指定方向，而對每一該些座位區塊執行對應的標記動作的步驟包括：當該使用者目前處於該專注狀態，於對應的該座位區塊中顯示一第一標記；當該使用者目前處於該瞌睡狀態，於對應的該座位區塊中顯示一第二標記；當該使用者目前處於該不專注狀態，於對應的該座位區塊中顯示一第三標記。
- 如申請專利範圍第1項所述的方法，其中在執行該人臉辨識演算法的步驟之後，更包括：若該影像序列不存在該人像，於對應的該座位區塊中顯示一第四標記。
- 如申請專利範圍第1項所述的方法，其中對該影像序列執行該人臉辨識演算法的步驟之後，更包括：在獲得一人臉區域時，偵測該人臉區域的鼻孔區域，而獲得一鼻孔位置資訊；基於該鼻孔位置資訊來判斷該使用者是否轉頭，藉此獲得一 臉部擺動資訊；以及基於該臉部擺動資訊來判斷該使用者是否面向於該指定方向，以在判定該使用者面向該指定方向時，對該影像序列執行該眼動追蹤演算法。
- 一種監控裝置，包括：一顯示單元，顯示一使用者介面，其中該使用者介面包括多個座位區塊，而該些座位區塊分別對應至與該監控裝置處於同一空間的多個位置，而每一該些位置設置有一取像單元；一通訊單元，自該些位置各自的該取像單元獲得一影像序列；一儲存單元，儲存該影像序列；以及一處理單元，耦接至該顯示單元、該通訊單元與該儲存單元，且驅動一監控模組；其中，該監控模組對該影像序列執行一人臉辨識演算法，以判斷該影像序列是否存在一使用者的人像；若該影像序列存在該人像，該監控模組對該影像序列執行一眼動追蹤演算法；並且，該監控模組基於該使用者是否注視於一指定方向，而對每一該些座位區塊執行對應的標記動作。
- 如申請專利範圍第7項所述的監控裝置，其中該監控模組更包括：一人臉辨識模組，對該影像序列執行該人臉辨識演算法；一眼動追蹤模組，對該影像序列執行該眼動追蹤演算法；以及 一標記模組，對每一該些座位區塊執行對應的標記動作。
- 如申請專利範圍第8項所述的監控裝置，其中該監控模組更包括：一狀態識別模組，依據該眼動追蹤模組的結果，判別該使用者目前處於一專注狀態、一瞌睡狀態或一不專注狀態；以及一閉眼偵測模組，對該影像序列執行一閉眼偵測演算法；其中，當該眼動追蹤模組判定該使用者未注視於該指定方向，該狀態識別模組判定該使用者目前處於該專注狀態；其中，當該眼動追蹤模組判定該使用者未注視於該指定方向，透過該閉眼偵測模組測到該使用者為閉眼狀態時，由該狀態識別模組判定該使用者目前處於該瞌睡狀態，並在偵測到該使用者為非閉眼狀態時，由該狀態識別模組判定該使用者目前處於該不專注狀態。
- 如申請專利範圍第9項所述的監控裝置，其中當該使用者目前處於該專注狀態，該標記模組於對應的該座位區塊中顯示一第一標記；當該使用者目前處於該瞌睡狀態，該標記模組於對應的該座位區塊中顯示一第二標記；當該使用者目前處於該不專注狀態，該標記模組於對應的該座位區塊中顯示一第三標記。
- 如申請專利範圍第8項所述的監控裝置，其中當該人臉辨識模組判定該影像序列不存在該人像時，該標記模組於對應的該座位區塊中顯示一第四標記。
- 如申請專利範圍第8項所述的監控裝置，其中該監控模 組更包括：一擺頭偵測模組，基於一鼻孔位置資訊來判斷該使用者是否轉頭，藉此獲得一臉部擺動資訊，其中在該人臉辨識模組獲得一人臉區域時，在該人臉辨識模組偵測該人臉區域的鼻孔區域，而獲得該鼻孔位置資訊；其中，當該擺頭偵測模組基於該臉部擺動資訊而判定該使用者面向該指定方向時，透過該眼動追蹤模組對該影像序列執行該眼動追蹤演算法。
- 一種監控系統，包括：多個取像單元，分別設置於一空間中的多個位置；一監控裝置，設置於該空間，其中該監控裝置包括：一顯示單元，顯示一使用者介面，其中該使用者介面包括多個座位區塊，而該些座位區塊分別對應至該些位置；一通訊單元，自每一該些取像單元獲得一影像序列；一儲存單元，儲存該影像序列；以及一處理單元，耦接至該顯示單元與該通訊單元，且驅動一監控模組；其中，該監控模組對該影像序列執行一人臉辨識演算法，以判斷該影像序列是否存在一使用者的人像；若該影像序列存在該人像，該監控模組對該影像序列執行一眼動追蹤演算法；並且，該監控模組基於該使用者是否注視於一指定方向，而對每一該些座位區塊執行對應的標記動作。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102137367A TW201516892A (zh) | 2013-10-16 | 2013-10-16 | 監控方法、裝置及系統 |
| CN201410054265.XA CN104571487B (zh) | 2013-10-16 | 2014-02-18 | 监控方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102137367A TW201516892A (zh) | 2013-10-16 | 2013-10-16 | 監控方法、裝置及系統 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201516892A true TW201516892A (zh) | 2015-05-01 |
Family
ID=53087773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW102137367A TW201516892A (zh) | 2013-10-16 | 2013-10-16 | 監控方法、裝置及系統 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN104571487B (zh) |
| TW (1) | TW201516892A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI813329B (zh) * | 2021-06-11 | 2023-08-21 | 見臻科技股份有限公司 | 認知評估系統 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104935884A (zh) * | 2015-06-05 | 2015-09-23 | 重庆智韬信息技术中心 | 一种学生上课秩序智能监控的方法 |
| CN105844253A (zh) * | 2016-04-01 | 2016-08-10 | 乐视控股（北京）有限公司 | 移动终端图像识别的数据比对方法及装置 |
| CN106297213A (zh) * | 2016-08-15 | 2017-01-04 | 欧普照明股份有限公司 | 检测方法、检测装置及照明灯具 |
| CN106372614A (zh) * | 2016-09-13 | 2017-02-01 | 南宁市远才教育咨询有限公司 | 一种上课纪律监控提醒辅助装置 |
| CN106933367A (zh) * | 2017-03-28 | 2017-07-07 | 安徽味唯网络科技有限公司 | 一种提高学生上课注意力的方法 |
| US10643485B2 (en) * | 2017-03-30 | 2020-05-05 | International Business Machines Corporation | Gaze based classroom notes generator |
| US10417502B2 (en) * | 2017-12-15 | 2019-09-17 | Accenture Global Solutions Limited | Capturing series of events in monitoring systems |
| CN108460700B (zh) * | 2017-12-28 | 2021-11-16 | 北京科教科学研究院 | 一种智能化学生教育管理调控系统 |
| CN109448337A (zh) * | 2018-11-21 | 2019-03-08 | 重庆工业职业技术学院 | 多媒体教学上课提醒方法及系统 |
| CN109740498A (zh) * | 2018-12-28 | 2019-05-10 | 广东新源信息技术有限公司 | 一种基于人脸识别技术的智慧教室 |
| CN117137427B (zh) * | 2023-08-31 | 2024-10-01 | 深圳市华弘智谷科技有限公司 | 一种基于vr的视力检测方法及装置、智能眼镜 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101556717A (zh) * | 2009-05-19 | 2009-10-14 | 上海海隆软件股份有限公司 | 一种atm智能安保系统及监测方法 |
| CN102018519B (zh) * | 2009-09-15 | 2012-09-05 | 由田新技股份有限公司 | 人员专注程度监测系统 |
| CN103208212A (zh) * | 2013-03-26 | 2013-07-17 | 陈秀成 | 一种防作弊的远程在线考试的方法与系统 |
-
2013
- 2013-10-16 TW TW102137367A patent/TW201516892A/zh unknown
-
2014
- 2014-02-18 CN CN201410054265.XA patent/CN104571487B/zh active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI813329B (zh) * | 2021-06-11 | 2023-08-21 | 見臻科技股份有限公司 | 認知評估系統 |
| US12458264B2 (en) | 2021-06-11 | 2025-11-04 | Ganzin Technology, Inc. | Cognitive assessment system based on eye movement |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104571487A (zh) | 2015-04-29 |
| CN104571487B (zh) | 2018-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201516892A (zh) | 監控方法、裝置及系統 | |
| US11616906B2 (en) | Electronic system with eye protection in response to user distance | |
| US8243132B2 (en) | Image output apparatus, image output method and image output computer readable medium | |
| US20160054794A1 (en) | Eye-control reminding method, eye-control image display method and display system | |
| US7506979B2 (en) | Image recording apparatus, image recording method and image recording program | |
| CN105892647B (zh) | 一种显示屏调整方法、其装置及显示装置 | |
| CN103513768B (zh) | 一种基于移动终端姿态变化的控制方法及装置、移动终端 | |
| US8150118B2 (en) | Image recording apparatus, image recording method and image recording program stored on a computer readable medium | |
| US10171741B2 (en) | Eye-protection control method of mobile device | |
| US20130190093A1 (en) | System and method for tracking and mapping an object to a target | |
| US9498123B2 (en) | Image recording apparatus, image recording method and image recording program stored on a computer readable medium | |
| CN105279459A (zh) | 一种终端防偷窥方法及移动终端 | |
| KR20100016696A (ko) | 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법 | |
| US10861423B2 (en) | Display apparatus and display method thereof | |
| US20170156585A1 (en) | Eye condition determination system | |
| CN105719439A (zh) | 护眼系统及方法 | |
| JP2016035365A (ja) | 環境制御装置、プログラム | |
| CN109948435A (zh) | 坐姿提醒方法及装置 | |
| US20110279665A1 (en) | Image recording apparatus, image recording method and image recording program | |
| Chukoskie et al. | Quantifying gaze behavior during real-world interactions using automated object, face, and fixation detection | |
| CN108154450A (zh) | 数字学习智能监控系统 | |
| WO2020116181A1 (ja) | 集中度計測装置及び集中度計測方法 | |
| CN118430049A (zh) | 一种基于计算机数据采集监控系统 | |
| CN110148092A (zh) | 基于机器视觉的青少年坐姿及情绪状态的分析方法 | |
| CN113570916A (zh) | 一种多媒体远程教学辅助方法、设备及其系统 |