TW201947606A - 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統 - Google Patents
隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統 Download PDFInfo
- Publication number
- TW201947606A TW201947606A TW107116820A TW107116820A TW201947606A TW 201947606 A TW201947606 A TW 201947606A TW 107116820 A TW107116820 A TW 107116820A TW 107116820 A TW107116820 A TW 107116820A TW 201947606 A TW201947606 A TW 201947606A
- Authority
- TW
- Taiwan
- Prior art keywords
- virtual reality
- medical
- perspective
- operator
- module
- Prior art date
Links
- 238000004590 computer program Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title abstract description 14
- 238000011156 evaluation Methods 0.000 title abstract 6
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 230000009471 action Effects 0.000 claims description 40
- 230000002452 interceptive effect Effects 0.000 claims description 38
- 238000013077 scoring method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 3
- 238000001647 drug administration Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000010253 intravenous injection Methods 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 208000013016 Hypoglycemia Diseases 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002218 hypoglycaemic effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 208000010496 Heart Arrest Diseases 0.000 description 1
- 208000004078 Snake Bites Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002297 emergency surgery Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 239000003978 infusion fluid Substances 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011548 physical evaluation Methods 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000007096 poisonous effect Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000037152 sensory function Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
一種隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統，其系統包含：一處理單元、及連接該處理單元之一資料庫、一虛擬實境模組、一視角調整模組、一記錄模組及一評分模組。虛擬實境模組用以將對應醫護場景之虛擬實境以一操作者視角顯示於一操作端顯示器，並將該虛擬實境以該操作者視角或一第三人視角顯示於一監看端顯示器。該記錄模組用於紀錄一互動裝置與該虛擬實境互動之一醫護處置資訊。該評分模組用以依據該醫護處置資訊及預設之一評分規則產生一評分結果。
Description
本發明係關於虛擬實境技術，尤指隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統。
傳統醫護人員的訓練、評分方式大多是利用擬真病人搭配相關附屬設備，但這樣的訓練方式除了需要昂貴的設備成本、維護成本之外，也需要許多教學人力配合，以致於訓練、評分內容往往受限於經費、人力、空間等資源，而難以提供有效的訓練效果，評分結果也難以貼近實際情況。
為提高醫護教學的效果，目前有教學單位研發如中華民國新型專利公告第M472924號之「3D護理情境模擬數位學習系統」，主要包括有一虛擬實境場景資料庫、一物件資料庫、一護理事件資料庫，以及一顯示事件任務對應之場景背景地圖與物件之互動介面平台。此學習系統可藉由互動介面平台呈現從住院到出院期間之事件任務，包括問診、身體評估、醫療處置與護理照護、生命徵象測量、血氧濃度測量、點滴滴數之調控等。惟，此前案僅適合供醫護人員自我訓練之用，難以滿足應用於評分之需求。
爰此，本發明人為較佳地對醫護處置進行評分，而提出一種隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法，包含：一環境建置步驟、一視角調整步驟、一醫護處置記錄步驟及一評分步驟。該環境建置步驟：以一虛擬實境模組顯示對應一醫護場景之一虛擬實境的影像，該虛擬實境的影像以一操作者視角顯示於一操作端顯示器，並將該虛擬實境的影像以該操作者視角或一第三人視角顯示於一監看端顯示器，其中該操作端顯示器為虛擬實境顯示器。該視角調整步驟：該虛擬實境模組接收一視角調整模組之一視角調整指令，使該監看端顯示器顯示之前述虛擬實境在該操作者視角及該第三人視角之間切換。該醫護處置記錄步驟：以一記錄模組記錄一互動裝置與該虛擬實境互動之一醫護處置資訊，該醫護處置資訊包含至少下列任二訊息：一醫護動作軌跡、一醫護動作時間、一醫護動作順序、一問診資訊、一指示訊息。該評分步驟：以一評分模組依據該醫護處置資訊及預設之一評分規則產生一評分結果，該評分規則包含至少下列之任二：該醫護動作軌跡與一預設軌跡的相符程度、該醫護動作時間與一預設時間的相符程度、該醫護動作順序與一預設順序的相符程度、該問診資訊與一預設問診資訊的相符程度、該指示訊息與一預設指示訊息的相符程度。
進一步，該醫療處置記錄步驟中，該醫護處置資訊更包含一醫護互動影片，該記錄模組接收對應該醫護互動影片任一時間點之一時間標記指令，使一時間標記模組於該醫護互動影片產生前述時間標記。
進一步，更包括一時間標記統計步驟：藉由一時間標記統計模組統計每一醫護互動影片之前述時間標記，以擷取出前述醫護互動影片中前述時間標記最多或相對較多的一影像片段。
進一步，該視角調整指令包含一自由調整指令、一預設位置切換指令之任一或組合。
本發明亦為一種電腦可讀取紀錄媒體或電腦程式產品，該電腦可讀取紀錄媒體及該電腦程式產品皆內儲一程式，當電腦載入該程式並執行後，可完成前所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法。
本發明並且為一種隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統，用於連結一監看端顯示器及一操作端顯示器，該隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統包含：一處理單元、及連接該處理單元之一資料庫、一虛擬實境模組、一視角調整模組、一記錄模組及一評分模組。該資料庫儲存對應一醫護場景之一虛擬實境的資料。該虛擬實境模組用以將該虛擬實境的影像以一操作者視角顯示於該操作端顯示器，並將該虛擬實境的影像以該操作者視角或一第三人視角顯示於該監看端顯示器，其中該操作端顯示器為虛擬實境顯示器。該記錄模組用於紀錄一互動裝置與該虛擬實境互動之一醫護處置資訊，該醫護處置資訊包含至少下列任二訊息：一醫護動作軌跡、一醫護動作時間、一醫護動作順序、一問診資訊、一指示訊息。該評分模組用以依據該醫護處置資訊及預設之一評分規則產生一評分結果，該評分規則包含至少下列之任二：該醫護動作軌跡與一預設軌跡的相符程度、該醫護動作時間與一預設時間的相符程度、該醫護動作順序與一預設順序的相符程度、該問診資訊與一預設問診資訊的相符程度、該指示訊息與一預設指示訊息的相符程度。
進一步，該醫護處置資訊更包含一醫護互動影片，該記錄模組接收對應該醫護互動影片任一時間點之一時間標記指令，使一時間標記模組於該醫護互動影片產生前述時間標記。
進一步，更包括一時間標記統計模組，連接該處理單元，該時間標記統計模組用以統計每一醫護互動影片之前述時間標記，以擷取出前述醫護互動影片中前述時間標記最多或相對較多的一影像片段。
進一步，該視角調整指令包含一自由調整指令、一預設位置切換指令之任一或組合，其中該監看端顯示器非虛擬實境顯示器，讓使用該監看端顯示器之一監看者位於該虛擬實境的影像外。
根據上述技術特徵可達成以下功效：
1.操作端顯示器為虛擬實境顯示器，以營造身歷其境的醫護場景，讓評分結果可更為貼近實際情況。
2.評分模組可自動依據醫護動作軌跡、醫護動作時間、醫護動作順序、問診資訊、指示訊息的相符程度自動進行評分，以快速提供客觀的評分結果。
3.記錄模組可記錄互動裝置與虛擬實境互動之醫護動作軌跡、醫護動作時間、醫護動作順序、問診資訊、醫護互動影片、指示訊息，以便事後反覆詳細觀看。
4.記錄模組也可使醫護互動影片於特定時間點產生時間標記，方便回溯醫護互動影片的特定片段。
5.可利用時間標記統計模組統計所有醫護互動影片的時間標記，以統計特別容易出錯等值得注意的特定片段。
6.監看者可利用視角調整模組，使監看端顯示器顯示之虛擬實境在操作者視角及第三人視角之間切換，讓監看者盡可能在無觀看死角的情況下，客觀評分。
7.視角調整方式可為自由調整或預設位置切換，以便依據監看者實際所需自行調整或快速切換，使用便利。
8.監看端顯示器非虛擬實境顯示器，以便於讓監看者更為客觀地觀看醫護處置的過程。
綜合上述技術特徵，本發明隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統的主要功效將可於下述實施例清楚呈現。
請先參閱第一圖，係揭示本發明實施例隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統(100)，用於連結一監看端顯示器(10)及一操作端顯示器(20)，該監看端顯示器(10)及該操作端顯示器(20)分別供一監看者(P1)及一操作者(P2)觀看。該操作端顯示器(20)為虛擬實境顯示器，以營造醫護場景的虛擬實境(A)，而該監看端顯示器(10)則可同步或不同步地顯示該操作端顯示器(20)的影像內容，以作為人工評分之用。該監看端顯示器(10)於本實施例中為一般電腦螢幕，而非前述虛擬實境顯示器，以便於讓監看者(P1)獨立於醫護場景之外，較容易客觀地觀看醫護處置的過程。但實施上並不以此限，視監看者(P1)的觀看需求而定，該監看端顯示器(10)也可採用前述虛擬實境顯示器。
續請參閱第二圖搭配第一圖，該隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統(100)包含：一處理單元(1)、及連接該處理單元(1)之一資料庫(2)、一虛擬實境模組(3)、一視角調整模組(4)、一記錄模組(5)及一評分模組(6)：
該資料庫(2)儲存對應一醫護場景之一虛擬實境(A)的資料。舉例來說，該醫護場景可為急救手術場景，故該虛擬實境(A)可包含手術室(A1)、手術器材(A2)、生理訊號監測設備(A3)、病患(A4)、手術台(A5)等相關常見環境元件的影像，這些環境元件皆可預先儲存3D圖檔及位置座標資訊於該資料庫(2)。但該醫護場景於實施上並不以此為限，例如該醫護場景也可為一般門診場景，故該虛擬實境(A)可包含門診室、辦公桌椅、病患、護理師等相關常見環境元件的影像。實施上也不限於醫院內部，也可於室外，例如戶外需要急救措施的情況(如毒蛇咬傷、骨折、心搏驟停、呼吸道異物阻塞等)，只要需要醫護處置的場景皆可屬於上述醫護場景。
復請參閱第二圖搭配第一圖，該虛擬實境模組(3)用以將該虛擬實境(A)以操作者視角顯示於該操作端顯示器(20)(或可稱為第一人視角)，並將該虛擬實境(A)以該操作者視角或一第三人視角顯示於該監看端顯示器(10)，其中該操作端顯示器(20)為虛擬實境顯示器，虛擬實境顯示器通常是用眼罩或頭盔的形式，把顯示螢幕貼近用戶的眼睛，通過光路調整焦距以在近距離中對眼睛投射廣視角的畫面。
復請參閱第二圖，該視角調整模組(4)用以產生一視角調整指令至該虛擬實境模組(3)，使該監看端顯示器(10)顯示之前述虛擬實境(A)在該操作者視角及該第三人視角之間切換。如第一圖所示，該監看端顯示器(10)係呈現第三人視角，而可觀察到包含操作者虛擬影像(B)在內的虛擬實境(A)。詳細來說，該視角調整指令可包含一自由調整指令、一預設位置切換指令之任一或組合。該自由調整指令例如可讓監看端利用輸入設備(如鍵盤的方向鍵)隨意調整觀看的方向。該預設位置切換指令具體而言，是除了該操作者於該虛擬實境(A)所在的位置座標之外，還預設有多個位置座標，這些位置座標的觀看方向皆朝向操作者虛擬影像(B)，例如位在操作者虛擬影像(B)所在的位置座標上方、前方、兩側等各種位置皆可。如第三圖所示，可切換為不同預設位置的該第三人視角，同樣可觀察到包含操作者虛擬影像(B)在內的虛擬實境(A)。藉此，當監看者利用輸入設備(例如滑鼠、鍵盤等)輸入該預設位置切換指令時，即可在這些位置座標之間進行切換，以盡可能減少觀看死角。復如第一圖所示，該監看端顯示器(10)的顯示介面上可額外提供一視角提示區域(11)，該視角提示區域(11)可以有複數個標示(11A)(11B)(11C)(11D)，來提示當前所在的視角。前述標示(11A)可為人物圖像，用於代表操作者視角；標示(11B)(11C)(11D)可為數字，用於代表各個第三人視角。當切換不同視角時，前述標示(11A)(11B)(11C)(11D)可產生對應的變化(例如放大、加粗、顏色改變等)，來提示當前所在的視角。
續請參閱第二圖搭配第一圖，該記錄模組(5)用於紀錄一互動裝置(51)與該虛擬實境(A)互動之一醫護處置資訊。該互動裝置(51)例如包含體感操作把手(511)等各式體感操作設備、收音單元等。該醫護處置資訊包含至少下列任二訊息：一醫護動作軌跡、一醫護動作時間、一醫護動作順序、一問診資訊、一指示訊息。續請參閱第四圖，舉例來說：該醫護動作軌跡、該醫護動作時間、及該醫護動作順序，例如可為操作者操控棉棒(T)塗抹藥劑的動作軌跡、塗抹藥劑的時間、塗抹藥劑的順序；續請參閱第五圖，於醫護處置過程中，也可顯示病患的生理資訊頁面(101)，以供操作者作為醫護處置的思考依據。續請參閱第六圖，該醫護動作軌跡、該醫護動作時間、及該醫護動作順序，例如也可為操作者操控鑷子(J)清除傷口的動作軌跡、時間、清除傷口的順序等。續請參閱第七圖，該指示訊息則例如是操作者因應系統提示的提問頁面所選擇的選項。如提問頁面(102)可詢問操作者是否插胸管，而操作者則可輸入「需要」、「不需要」等選項來輸入指示訊息。
復請參閱第一圖及第二圖，該醫護動作軌跡、該醫護動作時間、及該醫護動作順序等資訊的取得，例如可來自該體感操作把手(511)之陀螺儀、加速度計、按鍵等元件所產生的動作軌跡、角度、移動速度、按壓訊號等偵測資訊。再由該記錄模組(5)儲存醫護動作軌跡、該醫護動作時間及該醫護動作順序的資訊。該收音單元可接收操作者於問診過程的音訊，該記錄模組(5)可再藉由語音辨識軟體將音訊轉為文字資訊加以記錄。於本實施例中，該醫護處置資訊可更包含一醫護互動影片，該醫護互動影片具體而言是操作者在該虛擬實境(A)中進行互動的影像資料，而該記錄模組(5)也可接收對應該醫護互動影片任一時間點之一時間標記指令，使一時間標記模組(52)於該醫護互動影片產生前述時間標記，以便於事後回溯特定時間點的影像資料。
要補充說明的是，本實施例的硬體部分可採用HTC Vive產品，HTC Vive產品中的VIVE頭戴式顯示器可作為前述操作端顯示器，該VIVE頭戴式顯示器所搭載的感應器、HTC Vive產品中的VIVE控制器及VIVE基地台可形成前述互動裝置，而得以偵測操作者的位置變化、手勢、手部移動軌跡、虛擬物件取放指令等相關資訊，詳細原理例如可參閱台灣發明專利公告第I602083號之「虛擬實境系統、控制方法及非暫態電腦可讀取媒體」，虛擬實境顯像原理、體感追蹤技術並非本案重點，為求簡明，於此不再詳加說明。
續請參閱第二圖，該評分模組(6)用以依據該醫護處置資訊及預設之一評分規則產生一評分結果(例如分數表、等級表或評語等方式呈現)。該評分規則包含至少下列之任二：該醫護動作軌跡與一預設軌跡的相符程度、該醫護動作時間與一預設時間的相符程度、該醫護動作順序與一預設順序的相符程度、該問診資訊與一預設問診資訊的相符程度、該指示訊息與一預設指示訊息的相符程度。舉例來說，針對高處墜落的傷者之緊急救護技術而言，可以評分的項目主要有：保護頸椎、肩部頸椎保護、檢查意識、初步評估、詢問病史、病情嚴重度判斷、給予氧氣、骨折固定、上頸圍階段、上長背板階段、上擔架床階段、上救護車階段等，這些各個項目皆有各自需要正確進行的醫護處置。
以前述詢問病史及前述骨折固定作為代表，將詳細檢核項目列於表一、表二。
表一：
表二：
關於上述詢問病史的項目，該評分規則可包含是否完整詢問全部內容、詢問順序是否正確等。而比對方式可利用語音辨識搭配語意分析技術等方式進行比對。
關於上述骨折固定的項目，該評分規則可包含正確的固定器材種類、評估患肢遠端脈搏、感覺和運動的時機與時限、安裝固定器材的時限、是否安裝護墊、固定器材的固定範圍是否超過骨折近端與遠端關節、是否再度評估患肢的遠端脈搏、感覺和運動的功能等。
以下進一步以低血糖之病患的緊急救護技術作為例示，低血糖之病患的緊急救護技術可以評分的項目依序有：檢查意識、初步評估、輔助檢查、詢問病史、再次輔助檢查、靜脈注射及給藥、病情嚴重度判斷、上擔架床階段、送醫照護階段等。
以前述靜脈注射及給藥作為代表，列於表三：
關於上述靜脈注射及給藥的項目，該評分規可包含是否依步驟執行、是否選擇正確的靜脈輸注溶液、點滴管及針頭、是否消毒、注射針注入角度是否正確、輸注流速是否適當調整等。
使用之情況，續請參閱第八圖搭配第一圖，本實施例之隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法搭配上述隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統來執行。該隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法於實施上可編程為一程式並儲存於電腦程式產品或電腦可讀取紀錄媒體。當電腦載入該程式並執行後，可完成前述隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法。本實施例隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法，主要包括下列步驟：環境建置步驟(S1)、視角調整步驟(S2)、醫護處置記錄步驟(S3)及評分步驟(S4)：
該環境建置步驟(S1)：先使前述虛擬實境模組(3)將前述虛擬實境(A)顯示於前述操作端顯示器(20)，並使該虛擬實境(A)顯示於該監看端顯示器(10)。接著，該操作者可進行前述醫護處置(例如手術過程、問診過程、檢查過程等)，而前述醫護處置的進行過程中，前述記錄模組(5)將執行前述醫護處置記錄步驟(S3)，前述醫護處置記錄步驟(S3)的過程中，前述記錄模組(5)也可接收操作者或監看者觸發之時間標記指令，來使該時間標記模組(52)於該醫護互動影片的特定時間點產生前述時間標記，以方便回溯特定時間點的片段。在前述記錄模組(5)執行前述醫護處置記錄步驟(S3)的過程中或過程後，監看者皆可視自身所需來觸發視角調整指令，以執行視角調整步驟(S2)，以便藉由前述視角調整模組(4)調整所需的觀看角度、位置(如第九圖及第十圖所示，監看者可隨時依照需求來切換該虛擬實境(A)所顯示的視角，來減少觀察的死角)。另一方面，前述評分模組(6)可執行前述評分步驟(S4)，使前述評分模組(6)依據該醫護處置資訊及預設之評分規則產生前述評分結果〔如第九圖及第十圖所示，評分結果可藉由分數表(103)方式來呈現〕，此評分結果可作為人工評分的參考依據，或者與人工評分之結果進行平均或加權等統計方式來得出最終評分結果。
續請參閱第八圖搭配第二圖，較佳的是，前述環境建置步驟(S1)、前述視角調整步驟(S2)、前述醫護處置記錄步驟(S3)及前述評分步驟(S4)經多次執行後，可更藉由一時間標記統計模組(53)來執行一時間標記統計步驟(S5)，來統計每一醫護互動影片之前述時間標記，以擷取出前述醫護互動影片中前述時間標記最多或相對較多的一影像片段，以統計特別容易出錯等值得注意的特定片段，例如常錯的醫護動作順序、常錯的醫護動作等。
綜合上述實施例之說明，當可充分瞭解本發明之操作、使用及本發明產生之功效，惟以上所述實施例僅係為本發明之較佳實施例，當不能以此限定本發明實施之範圍，即依本發明申請專利範圍及發明說明內容所作簡單的等效變化與修飾，皆屬本發明涵蓋之範圍內。
(100)‧‧‧虛擬實境醫護處置評分系統
(1)‧‧‧處理單元
(2)‧‧‧資料庫
(3)‧‧‧虛擬實境模組
(4)‧‧‧視角調整模組
(5)‧‧‧記錄模組
(51)‧‧‧互動裝置
(511)‧‧‧體感操作把手
(52)‧‧‧時間標記模組
(53)‧‧‧時間標記統計模組
(6)‧‧‧評分模組
(10)‧‧‧監看端顯示器
(11)‧‧‧視角提示區域
(11A)(11B)(11C)(11D)‧‧‧標示
(20)‧‧‧操作端顯示器
(A)‧‧‧虛擬實境
(A1)‧‧‧手術室
(A2)‧‧‧手術器材
(A3)‧‧‧生理訊號監測設備
(A4)‧‧‧病患
(A5)‧‧‧手術台
(B)‧‧‧操作者虛擬影像
(S1)‧‧‧環境建置步驟
(S2)‧‧‧視角調整步驟
(S3)‧‧‧醫護處置記錄步驟
(S4)‧‧‧評分步驟
(S5)‧‧‧時間標記統計步驟
(P1)‧‧‧監看者
(P2)‧‧‧操作者
[第一圖]係本發明實施例之系統架構示意圖。 [第二圖]係本發明實施例之系統方塊示意圖。 [第三圖]係本發明實施例之使用介面示意圖一，顯示包含操作者虛擬影像之虛擬實境。 [第四圖]係本發明實施例之使用介面示意圖二，顯示操作者視角且進行醫護處置之虛擬實境。 [第五圖]係本發明實施例之使用介面示意圖三，顯示操作者視角且提供生理資訊頁面之虛擬實境。 [第六圖]係本發明實施例之使用介面示意圖四，顯示操作者虛擬影像進行醫護處置之第三人視角之虛擬實境。 [第七圖]係本發明實施例之使用介面示意圖五，顯示操作者視角且提供提問頁面之虛擬實境。 [第八圖]係本發明實施例之主要步驟流程示意圖。 [第九圖]係本發明實施例之使用介面示意圖六，顯示第三人視角且於一醫護處置步驟中提供評分結果。 [第十圖]係本發明實施例之使用介面示意圖七，顯示第三人視角且於另一醫護處置步驟中提供評分結果。
Claims (10)
- 一種隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法，包含： 一環境建置步驟：以一虛擬實境模組顯示對應一醫護場景之一虛擬實境的影像，該虛擬實境的影像以一操作者視角顯示於一操作端顯示器，並將該虛擬實境的影像以該操作者視角或一第三人視角顯示於一監看端顯示器，其中該操作端顯示器為虛擬實境顯示器； 一視角調整步驟：該虛擬實境模組接收一視角調整模組之一視角調整指令，使該監看端顯示器顯示之前述虛擬實境在該操作者視角及該第三人視角之間切換； 一醫護處置記錄步驟：以一記錄模組記錄一互動裝置與該虛擬實境互動之一醫護處置資訊，該醫護處置資訊包含至少下列任二訊息：一醫護動作軌跡、一醫護動作時間、一醫護動作順序、一問診資訊、一指示訊息； 一評分步驟：以一評分模組依據該醫護處置資訊及預設之一評分規則產生一評分結果，該評分規則包含至少下列之任二：該醫護動作軌跡與一預設軌跡的相符程度、該醫護動作時間與一預設時間的相符程度、該醫護動作順序與一預設順序的相符程度、該問診資訊與一預設問診資訊的相符程度、該指示訊息與一預設指示訊息的相符程度。
- 如申請專利範圍第1項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法，其中，該醫療處置記錄步驟中，該醫護處置資訊更包含一醫護互動影片，該記錄模組接收對應該醫護互動影片任一時間點之一時間標記指令，使一時間標記模組於該醫護互動影片產生前述時間標記。
- 如申請專利範圍第2項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法，更包括一時間標記統計步驟：藉由一時間標記統計模組統計每一醫護互動影片之前述時間標記，以擷取出前述醫護互動影片中前述時間標記最多或相對較多的一影像片段。
- 如申請專利範圍第1項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法，其中，該視角調整指令包含一自由調整指令、一預設位置切換指令之任一或組合。
- 一種電腦可讀取紀錄媒體，內儲一程式，當電腦載入該程式並執行後，可完成如請求項第1項至第4項中任一項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法。
- 一種電腦程式產品，內儲一程式，當電腦載入該程式並執行後，可完成如請求項第1項至第4項中任一項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法。
- 一種隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統，用於連結一監看端顯示器及一操作端顯示器，該隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統包含： 一處理單元； 一資料庫，連接該處理單元，儲存對應一醫護場景之一虛擬實境的資料； 一虛擬實境模組，連接該處理單元，該虛擬實境模組用以將該虛擬實境以一操作者視角顯示於該操作端顯示器，並將該虛擬實境以該操作者視角或一第三人視角顯示於該監看端顯示器，其中該操作端顯示器為虛擬實境顯示器； 一視角調整模組，連接該處理單元，該視角調整模組用以產生一視角調整指令至該虛擬實境模組，使該監看端顯示器顯示之前述虛擬實境在該操作者視角及該第三人視角之間切換； 一記錄模組，連接該處理單元，用於紀錄一互動裝置與該虛擬實境互動之一醫護處置資訊，該醫護處置資訊包含至少下列任二訊息：一醫護動作軌跡、一醫護動作時間、一醫護動作順序、一問診資訊、一指示訊息；及 一評分模組，連接該處理單元，該評分模組依據該醫護處置資訊及預設之一評分規則產生一評分結果，該評分規則包含至少下列之任二：該醫護動作軌跡與一預設軌跡的相符程度、該醫護動作時間與一預設時間的相符程度、該醫護動作順序與一預設順序的相符程度、該問診資訊與一預設問診資訊的相符程度、該指示訊息與一預設指示訊息的相符程度。
- 如申請專利範圍第7項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統，其中，該醫護處置資訊更包含一醫護互動影片，該記錄模組接收對應該醫護互動影片任一時間點之一時間標記指令，使一時間標記模組於該醫護互動影片產生前述時間標記。
- 如申請專利範圍第8項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統，更包括一時間標記統計模組，連接該處理單元，該時間標記統計模組用以統計每一醫護互動影片之前述時間標記，以擷取出前述醫護互動影片中前述時間標記最多或相對較多的一影像片段。
- 如申請專利範圍第7項所述之隨選第三人視角或操作者視角的虛擬實境醫護處置評分系統，其中，該視角調整指令包含一自由調整指令、一預設位置切換指令之任一或組合，其中該監看端顯示器非虛擬實境顯示器，讓使用該監看端顯示器之一監看者位於該虛擬實境的影像外。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107116820A TWI671762B (zh) | 2018-05-17 | 2018-05-17 | 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107116820A TWI671762B (zh) | 2018-05-17 | 2018-05-17 | 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI671762B TWI671762B (zh) | 2019-09-11 |
| TW201947606A true TW201947606A (zh) | 2019-12-16 |
Family
ID=68618942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107116820A TWI671762B (zh) | 2018-05-17 | 2018-05-17 | 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI671762B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI770948B (zh) * | 2021-04-20 | 2022-07-11 | 國立雲林科技大學 | 立體視圖虛擬教具學習系統 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201211954A (en) * | 2010-09-09 | 2012-03-16 | Univ Ishou | Virtual situation system for nursing and caring education training |
| TW201619754A (zh) * | 2014-11-25 | 2016-06-01 | Univ Kaohsiung Medical | 醫用影像物件化介面輔助解說控制系統及其方法 |
| CA2997965C (en) * | 2015-10-14 | 2021-04-27 | Surgical Theater LLC | Augmented reality surgical navigation |
| TWI636768B (zh) * | 2016-05-31 | 2018-10-01 | 長庚醫療財團法人林口長庚紀念醫院 | Surgical assist system |
| TWI597699B (zh) * | 2016-06-21 | 2017-09-01 | 聯新亞洲醫學教育有限公司 | 醫學診療教育系統及方法 |
-
2018
- 2018-05-17 TW TW107116820A patent/TWI671762B/zh active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI770948B (zh) * | 2021-04-20 | 2022-07-11 | 國立雲林科技大學 | 立體視圖虛擬教具學習系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI671762B (zh) | 2019-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11195340B2 (en) | Systems and methods for rendering immersive environments | |
| US11819369B2 (en) | Augmented reality device for providing feedback to an acute care provider | |
| CN107480462B (zh) | 智慧临床交互系统 | |
| CN103732297B (zh) | 增强现实活动范围的治疗系统及其操作方法 | |
| Veras et al. | Scoping review of outcome measures used in telerehabilitation and virtual reality for post-stroke rehabilitation | |
| US10152150B2 (en) | Facilitating user input via arm-mounted peripheral device interfacing with head-mounted display device | |
| US10241738B2 (en) | Method and system of communication for use in hospitals | |
| KR102111531B1 (ko) | Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 | |
| CN110335516B (zh) | 一种采用vr心脏手术模拟系统进行vr心脏手术模拟的方法 | |
| Lin et al. | A first-person mentee second-person mentor AR interface for surgical telementoring | |
| CN107249497A (zh) | 手术室和手术部位感知 | |
| US20200234813A1 (en) | Multi-disciplinary clinical evaluation in virtual or augmented reality | |
| US20250118224A1 (en) | Simulated reality technologies for enhanced medical protocol training | |
| US12067324B2 (en) | Virtual and augmented reality telecommunication platforms | |
| US20190164448A1 (en) | Virtual Reality Training Application for Surgical Scrubbing-in Procedure | |
| Behringer et al. | Some usability issues of augmented and mixed reality for e-health applications in the medical domain | |
| TWI671762B (zh) | 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統 | |
| Ružický et al. | Use of Virtual Reality for Stress Reduction in Nanoarthroscopy | |
| Wei et al. | Optometry training simulation with augmented reality and haptics | |
| US12544179B2 (en) | Augmented reality device for providing feedback to an acute care provider | |
| JP7701774B2 (ja) | 教育ｖｒ用コンテンツ提供プログラム及び医療教育ｖｒ用コンテンツ提供システム | |
| TWI686817B (zh) | 藥物傳遞系統及方法 | |
| KR20230025270A (ko) | 확장현실(xr) 기반의 환자 처치 훈련 평가 방법 및 그 장치 | |
| Kogkas | A Gaze-contingent Framework for Perceptually-enabled Applications in Healthcare | |
| Eom | Extended Reality in Medical Applications: From Surgical Guidance to Patient Rehabilitation |