TWI745995B

TWI745995B - 教學輔助系統

Info

Publication number: TWI745995B
Application number: TW109119201A
Authority: TW
Inventors: 蔡柏祥
Original assignee: 國立虎尾科技大學
Priority date: 2020-06-08
Filing date: 2020-06-08
Publication date: 2021-11-11
Also published as: TW202147152A

Abstract

一種教學輔助系統，一智慧型眼鏡連續地拍攝一影像，並根據該影像產生一人臉影像資料，且連續地擷取一教學者之一當前語音片段，再將該人臉影像資料及該當前語音片段經由一智慧裝置傳送至該雲端伺服器。該雲端伺服器儲存該當前語音片段，並根據該人臉影像資料及一人臉辨識模型，獲得一目標識別碼，且產生並傳送一資料請求至該教學資料庫伺服器。該教學資料庫伺服器根據該資料請求傳送一目標基本資料至該雲端伺服器，該雲端伺服器傳送該目標基本資料及一對應該目標識別碼的目標學習狀況資料至該智慧裝置，使其顯示該目標基本資料及該目標學習狀況資料。

Description

教學輔助系統

本發明是有關於一種輔助系統，特別是指一種能提昇教學品質之教學輔助系統。

老師通常會同時教導多個班級，而接觸到眾多學生，在點名或是教學互動時，時常會叫到學生的姓名。

然而，老師無法一一記住學生的名字，因此在點名時，僅是依據此堂課之點名條以唱名方式逐一點名，非常的耗時，且有時學生會有代點名的情形發生；而在教學時，老師僅能叫出幾個有印象的學生名字，以至於只能跟特定的學生進行互動，雖然中華民國公開號第201312478號揭示了攜帶型人臉辨識裝置，讓使用者見到某人時，顯示單元可以同時顯示姓名資料，但僅有姓名資料雖可讓老師上課時可更容易辨識學生身分，但是老師仍難以掌握各學生的上課狀況。

因此，本發明的目的，即在提供一種能讓老師掌握各學生的上課狀況的教學輔助系統。

於是，本發明教學輔助系統，適用於輔助一教學者，包含一智慧型眼鏡、一智慧裝置、一雲端伺服器，及一教學資料庫伺服器。

該智慧型眼鏡包括一影像拍攝單元、一語音擷取單元、一眼鏡通訊單元，及一眼鏡處理單元。

該影像拍攝單元用以連續地拍攝一影像。

該語音擷取單元用以連續地擷取該教學者之一當前語音片段。

該眼鏡通訊單元連接一第一通訊網路。

該眼鏡處理單元電連接該影像拍攝單元、該語音擷取單元，及該眼鏡通訊單元，用以判定該影像拍攝單元所拍攝的該影像是否具有人臉，當判定出該影像具有人臉時，根據該影像產生一人臉影像資料。

該智慧裝置包括一顯示單元、一裝置通訊單元，及一裝置處理單元。

該裝置通訊單元連接該第一通訊網路及一第二通訊網路，並經由該第一通訊網路與該眼鏡通訊單元連接。

該裝置處理單元電連接該顯示單元及裝置通訊單元。

該雲端伺服器連接該第二通訊網路，經由該第二通訊網路連接該裝置通訊單元，並儲存有一相關於多位學生之人臉及多個分別對應該等學生的識別碼的人臉辨識模型，及多筆分別對應該等識別碼的學習狀況資料。

該教學資料庫伺服器經由該第二通訊網路連接該雲端伺服器，並儲存多筆分別對應該等識別碼的基本資料。

其中，該眼鏡處理單元經由該眼鏡通訊單元將該人臉影像資料及該當前語音片段傳送至該裝置通訊單元，該裝置處理單元經由該裝置通訊單元將該人臉影像資料及該當前語音片段傳送至該雲端伺服器，該雲端伺服器儲存該當前語音片段，並根據該人臉影像資料及該人臉辨識模型，獲得一對應該人臉影像資料的目標識別碼，該雲端伺服器產生並經由該第二通訊網路傳送一包括該目標識別碼的資料請求至該教學資料庫伺服器，該教學資料庫伺服器根據該資料請求經由該第二通訊網路傳送一對應該資料請求的該目標識別碼的目標基本資料至該雲端伺服器，該雲端伺服器經由該第二通訊網路傳送該目標基本資料及一對應該目標識別碼的目標學習狀況資料至該裝置通訊單元，該裝置處理單元控制該顯示單元顯示該目標基本資料及該目標學習狀況資料。

本發明的功效在於：該智慧裝置能即時的顯示智慧型眼鏡對應所拍攝的學生的基本資料及學習狀況資料，使該教學者能隨時掌握每位學生的上課狀況。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，本發明教學輔助系統的一第一實施例，包含一智慧型眼鏡1、一智慧裝置2、一雲端伺服器3，及一教學資料庫伺服器4。

該智慧型眼鏡1包括一影像拍攝單元11、一語音擷取單元12、一眼鏡通訊單元13，及一眼鏡處理單元14。

該影像拍攝單元11用以連續地拍攝一影像。

該語音擷取單元12用以連續地擷取該教學者之一當前語音片段。在本實施例中，該語音擷取單元12例如為麥克風，但不以此為限。

該眼鏡通訊單元13連接一第一通訊網路91。在本實施例中，該第一通訊網路91為短距離無線通訊網路，例如藍牙(bluetooth)或wifi，但不以此為限。

該眼鏡處理單元14電連接該影像拍攝單元11、該語音擷取單元12，及該眼鏡通訊單元13，用以判定該影像拍攝單元11所拍攝的該影像是否具有人臉，當判定出該影像具有人臉時，根據該影像產生一人臉影像資料。值得注意的是，在本實施例中，當判定出該影像具有人臉時，該眼鏡處理單元14將該影像進行前處理(Preprocessing)，以產生該人臉影像資料，但不以此為限。

該智慧裝置2包括一輸入單元21、一顯示單元22、一裝置通訊單元23，及一裝置處理單元24。

在本實施例中，該輸入單元21及該顯示單元22構成一觸控螢幕，但不以此為限。

該裝置通訊單元23連接該第一通訊網路91及一第二通訊網路92，並經由該第一通訊網路91與該眼鏡通訊單元13連接。在本實施例中，該第二通訊網路92為網際網路(internet)，但不以此為限。

該裝置處理單元24電連接該輸入單元21、該顯示單元22及裝置通訊單元23。

雲端伺服器3連接該第二通訊網路92，並經由該第二通訊網路92連接該裝置通訊單元23，及多個分別相關於多位學生的行動裝置93，且儲存有一相關於該等學生之人臉及多個分別對應該等學生的識別碼的人臉辨識模型，及多筆分別對應該等識別碼的學習狀況資料。要特別注意的是，在本實施例中，該等識別碼例如為該等學生的學號，該人臉辨識模型係根據多張相關於該等學生之人臉的人臉訓練影像資料及該等識別碼，利用一機器學習演算法進行學習所建立，該機器學習演算法例如為卷積神經網路(Convolutional Neural Network, CNN)，每一學習狀況資料包括一出席率、一考試成績、一作業成績，及一印象分數，該等行動裝置93例如為智慧型手機，但不以此為限。

該教學資料庫伺服器4經由該第二通訊網路92連接該雲端伺服器3，並儲存多筆分別對應該等識別碼的基本資料。值得注意的是，在本實施例中，每一基本資料包括一姓名、一就讀年級、一所屬科系，及一學生類型，該學生類型包括一般學生或特殊學生(如自閉症生、聽障生，或者學習障礙生)，但不以此為限。

以下說明本發明教學輔助系統的該第一實施例之運作流程。

該眼鏡處理單元14經由該眼鏡通訊單元13將該人臉影像資料及該當前語音片段傳送至該裝置通訊單元23。

該裝置處理單元24經由該裝置通訊單元23將該人臉影像資料及該當前語音片段傳送至該雲端伺服器3。

該雲端伺服器3儲存該當前語音片段，且將該當前語音片段進行語音文字轉換以獲得一對應該當前語音片段的文字資料，再根據多筆分別來自該等行動裝置的翻譯請求，翻譯該文字資料，以產生多筆分別對應該等翻譯請求的翻譯文字資料，其中每一翻譯請求包括一所欲翻譯語言，並經由該第二通訊網路92將該等翻譯文字資料分別傳送至該等行動裝置93。要特別注意的是，在其他實施例中，該雲端伺服器可根據該等翻譯請求，直接將該當前語音片段進行翻譯，以產生多個分別對應該等翻譯請求的翻譯語音片段，並經由該第二通訊網路92將該等翻譯語音片段分別傳送至該等行動裝置93，但不以此為限。

該雲端伺服器3根據該人臉影像資料及該人臉辨識模型，獲得一對應該人臉影像資料的目標識別碼，該雲端伺服器3產生並經由該第二通訊網路92傳送一包括該目標識別碼的資料請求至該教學資料庫伺服器4。該教學資料庫伺服器4根據該資料請求經由該第二通訊網路92傳送一對應該資料請求的該目標識別碼的目標基本資料至該雲端伺服器3。該雲端伺服器3經由該第二通訊網路92傳送該目標基本資料及一對應該目標識別碼的目標學習狀況資料至該裝置通訊單元23，該裝置處理單元24控制該顯示單元22顯示該目標基本資料及該目標學習狀況資料。

該輸入單元21根據該教學者的一輸入操作更新該目標學習狀況資料的印象分數，該裝置處理單元24經由該裝置通訊單元23將更新後的該目標學習狀況資料傳送至該雲端伺服器3，該雲端伺服器3更新所儲存的該目標學習狀況資料。

在本實施例中，該雲端伺服器3儲存該當前語音片段，以記錄上課過程，該雲端伺服器3將該當前語音片段轉換成該文字資料，再根據多筆分別來自該等行動裝置的翻譯請求，翻譯該文字資料，以產生該等翻譯文字資料，再將該等翻譯文字資料分別傳送至該等行動裝置93，以供學生能以自己的母語進行學習，使教學內容不受語言的限制，且該智慧裝置2能即時的顯示對應該智慧型眼鏡1所拍攝的學生的基本資料及學習狀況資料，使該教學者能隨時掌握每位學生的上課狀況，並掌握學生的出席狀況，且該教學者能根據學生的上課態度(例如:睡覺、玩手機、發呆、聊天，及聽音樂等等)利用該智慧裝置2加減學生的印象分數，且標記加減分原因。

參閱圖2，本發明教學輔助系統的一第二實施例是類似於該第一實施例，其不同之處僅在於：該第二實施例還包含一影像播放裝置5。

該影像播放裝置5包括一影像播放通訊單元51、一影像播放顯示單元52，及一影像播放處理單元53。

該影像播放通訊單元51連接該第二通訊網路92，並經由該第二通訊網路92與連接該雲端伺服器3。

該影像播放處理單元53電連接該影像播放通訊單元51及該影像播放顯示單元52。

該雲端伺服器3經由該第二通訊網路92將該文字資料傳送至該影像播放通訊單元51，該影像播放處理單元53控制該影像播放顯示單元52顯示該文字資料。

在本實施例中，該影像播放裝置5能即時顯示該文字資料，以輔助學生學習。

要特別注意的是，在其他實施例中，該雲端伺服器3亦可先將該文字資料翻譯成預設的語言，並經由該第二通訊網路92將翻譯後的該文字資料傳送至該影像播放通訊單元51，該影像播放處理單元53控制該影像播放顯示單元52顯示翻譯後的該文字資料，但不以此為限。

參閱圖2，本發明教學輔助系統的一第三實施例是類似於該第一實施例，其不同之處僅在於：該第三實施例還包含一語音播放裝置6。

該語音播放裝置6包括一語音播放通訊單元61、一喇叭62，及一語音播放處理單元63。

該語音播放通訊單元61連接該第一通訊網路91，並經由該第一通訊網路91與該眼鏡通訊單元13連接。

該語音播放處理單元63電連接該語音播放通訊單元61及該喇叭62。

該眼鏡處理單元14經由該眼鏡通訊單元13將該當前語音片段傳送至該語音播放通訊單元61，該語音播放處理單元63控制該喇叭62播放該當前語音片段。

在本實施例中，該語音播放裝置6能即時播放該當前語音片段，以輔助學生學習。

綜上所述，本發明教學輔助系統，該雲端伺服器3儲存該當前語音片段，以記錄上課過程，該雲端伺服器3將該當前語音片段轉換成該文字資料，再根據該等翻譯請求，翻譯該文字資料，以產生該等翻譯文字資料，再將該等翻譯文字資料分別傳送至該等行動裝置93，以供學生能以自己的母語進行學習，使教學內容不受語言的限制，且該智慧裝置2能即時的顯示對應該智慧型眼鏡1所拍攝的學生的基本資料及學習狀況資料，使該教學者能隨時掌握每位學生的上課狀況，並掌握學生的出席狀況，且該教學者能根據學生的上課態度(例如:睡覺，玩手機，聽音樂等等)利用該智慧裝置2加減學生的印象分數，此外，該影像播放裝置5能即時顯示該文字資料，且該語音播放裝置6能即時播放該當前語音片段，以輔助學生學習，故確實能達成本發明的目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

1:智慧型眼鏡 11:影像拍攝單元 12:語音擷取單元 13:眼鏡通訊單元 14:眼鏡處理單元 2:智慧裝置 21:輸入單元 22:顯示單元 23:裝置通訊單元 24:裝置處理單元 3:雲端伺服器 4:教學資料庫伺服器 5:影像播放裝置 51:影像播放通訊單元 52:影像播放顯示單元 53:影像播放處理單元 6:語音播放裝置 61:語音播放通訊單元 62:喇叭 63:語音播放處理單元 91:第一通訊網路 92:第二通訊網路 93:行動裝置

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本發明教學輔助系統的一第一實施例；圖2是一方塊圖，說明本發明教學輔助系統的一第二實施例；及圖3是一方塊圖，說明本發明教學輔助系統的一第三實施例。

1:智慧型眼鏡

11:影像拍攝單元

12:語音擷取單元

13:眼鏡通訊單元

14:眼鏡處理單元

2:智慧裝置

21:輸入單元

22:顯示單元

23:裝置通訊單元

24:裝置處理單元

3:雲端伺服器

4:教學資料庫伺服器

91:第一通訊網路

92:第二通訊網路

Claims

一種教學輔助系統，適用於輔助一教學者，包含：一智慧型眼鏡，包括一影像拍攝單元，連續地拍攝一影像，一語音擷取單元，連續地擷取該教學者之一當前語音片段，一眼鏡通訊單元，連接一第一通訊網路，及一眼鏡處理單元，電連接該影像拍攝單元、該語音擷取單元，及該眼鏡通訊單元，判定該影像拍攝單元所拍攝的該影像是否具有人臉，當判定出該影像具有人臉時，根據該影像產生一人臉影像資料；一智慧裝置，包括一顯示單元，一裝置通訊單元，連接該第一通訊網路及一第二通訊網路，並經由該第一通訊網路與該眼鏡通訊單元連接，及一裝置處理單元，電連接該顯示單元及裝置通訊單元；一雲端伺服器，連接該第二通訊網路，經由該第二通訊網路連接該裝置通訊單元，並儲存有一相關於多位學生之人臉及多個分別對應該等學生的識別碼的人臉辨識模型，及多筆分別對應該等識別碼的學習狀況資料；及一教學資料庫伺服器，經由該第二通訊網路連接該雲端伺服器，並儲存多筆分別對應該等識別碼的基本資料；其中，該眼鏡處理單元經由該眼鏡通訊單元將該人臉影像資料及該當前語音片段傳送至該裝置通訊單元，該裝置處理單元經由該裝置通訊單元將該人臉影像資料及該當前語音片段傳送至該雲端伺服器，該雲端伺服器儲存該當前語音片段，並根據該人臉影像資料及該人臉辨識模型，獲得一對應該人臉影像資料的目標識別碼，該雲端伺服器產生並經由該第二通訊網路傳送一包括該目標識別碼的資料請求至該教學資料庫伺服器，該教學資料庫伺服器根據該資料請求經由該第二通訊網路傳送一對應該資料請求的該目標識別碼的目標基本資料至該雲端伺服器，該雲端伺服器經由該第二通訊網路傳送該目標基本資料及一對應該目標識別碼的目標學習狀況資料至該裝置通訊單元，該裝置處理單元控制該顯示單元顯示該目標基本資料及該目標學習狀況資料。
如請求項1所述的教學輔助系統，其中，該雲端伺服器經由該第二通訊網路連接多個分別相關於該等學生的行動裝置，該雲端伺服器還將該當前語音片段進行語音文字轉換以獲得一對應該當前語音片段的文字資料，再根據多筆分別來自該等行動裝置的翻譯請求，翻譯該文字資料，以產生多筆分別對應該等翻譯請求的翻譯文字資料，每一翻譯請求包括一所欲翻譯語言，並經由該第二通訊網路將該等翻譯文字資料分別傳送至該等行動裝置。
如請求項2所述的教學輔助系統，還包含一影像播放裝置，該影像播放裝置包括一影像播放通訊單元，連接該第二通訊網路，並經由該第二通訊網路與連接該雲端伺服器；一影像播放顯示單元；及一影像播放處理單元，電連接該影像播放通訊單元及該影像播放顯示單元；其中，該雲端伺服器還經由該第二通訊網路將該文字資料傳送至該影像播放通訊單元，該影像播放處理單元控制該影像播放顯示單元顯示該文字資料。
如請求項2所述的教學輔助系統，還包含一影像播放裝置，該影像播放裝置包括一影像播放通訊單元，連接該第二通訊網路，並經由該第二通訊網路與連接該雲端伺服器；一影像播放顯示單元；及一影像播放處理單元，電連接該影像播放通訊單元及該影像播放顯示單元；其中，該雲端伺服器將該文字資料進行翻譯，並經由該第二通訊網路將翻譯後的該文字資料傳送至該影像播放通訊單元，該影像播放處理單元控制該影像播放顯示單元顯示翻譯後的該文字資料。
如請求項1所述的教學輔助系統，其中，該智慧裝置還包括一電連接該裝置處理單元的輸入單元，該輸入單元根據該教學者的一輸入操作更新該目標學習狀況資料，該裝置處理單元經由該裝置通訊單元將更新後的該目標學習狀況資料傳送至該雲端伺服器，該雲端伺服器更新所儲存的該目標學習狀況資料。
如請求項5所述的教學輔助系統，其中，每一學習狀況資料包括一出席率、一考試成績、一作業成績，及一印象分數，該輸入單元根據該輸入操作更新該目標學習狀況資料的印象分數。
如請求項1所述的教學輔助系統，其中，當判定出該影像具有人臉時，該眼鏡處理單元將該影像進行前處理，以產生該人臉影像資料。
如請求項1所述的教學輔助系統，其中，該雲端伺服器所儲存的該人臉辨識模型係根據多張相關於該等學生之人臉的人臉訓練影像資料及該等識別碼，利用一機器學習演算法所建立。
如請求項1所述的教學輔助系統，還包含一語音播放裝置，該語音播放裝置包括一語音播放通訊單元，連接該第一通訊網路，並經由該第一通訊網路與該眼鏡通訊單元連接；一喇叭；及一語音播放處理單元，電連接該語音播放通訊單元及該喇叭；其中，該眼鏡處理單元經由該眼鏡通訊單元將該當前語音片段傳送至該語音播放通訊單元，該語音播放處理單元控制該喇叭播放該當前語音片段。
如請求項1所述的教學輔助系統，其中，該雲端伺服器經由該第二通訊網路連接多個分別相關於該等學生的行動裝置，該雲端伺服器根據多筆分別來自該等行動裝置的翻譯請求，將該當前語音片段進行翻譯，以產生多個分別對應該等翻譯請求的翻譯語音片段，並經由該第二通訊網路將該等翻譯語音片段分別傳送至該等行動裝置。