[go: up one dir, main page]

TW201835878A - 用於在虛擬環境中進行訓練和協作的系統和方法 - Google Patents

用於在虛擬環境中進行訓練和協作的系統和方法 Download PDF

Info

Publication number
TW201835878A
TW201835878A TW107110037A TW107110037A TW201835878A TW 201835878 A TW201835878 A TW 201835878A TW 107110037 A TW107110037 A TW 107110037A TW 107110037 A TW107110037 A TW 107110037A TW 201835878 A TW201835878 A TW 201835878A
Authority
TW
Taiwan
Prior art keywords
head
user
mounted displays
virtual
leading
Prior art date
Application number
TW107110037A
Other languages
English (en)
Inventor
阿隆 Y. 蓋里
摩爾德凱 艾維薩
Original Assignee
美商外科劇院有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商外科劇院有限責任公司 filed Critical 美商外科劇院有限責任公司
Publication of TW201835878A publication Critical patent/TW201835878A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

用於促進協作之系統包括用於儲存內容之資料庫。該系統進一步包括複數個頭戴式顯示器。該系統進一步包括電腦伺服器，該電腦伺服器包含一或多個處理器、一或多個電腦可讀有形儲存裝置以及儲存在一或多個儲存裝置中之至少一者上的程式模組，其用於由一或多個處理器中之至少一者執行。程式模組包括第一程式模組，其用於從資料庫檢索內容。程式模組進一步包括第二程式模組，其用於將內容同步地傳送至複數個頭戴式顯示器。程式模組進一步包括第三程式模組，其用於接收表示與內容之交互的資料。程式模組進一步包括第四程式模組，其用於基於所接收到的交互來將更新的內容同步地傳送至複數個頭戴式顯示器。

Description

用於在虛擬環境中進行訓練和協作的系統和方法
相關申請案之交互參照 本申請案要求於2017年3月24日提交的美國臨時專利申請案第62/476259號的優先權，其全部內容以引用方式併入本文。
本揭示案係關於訓練和協作領域，並且更具體地係關於用於在虛擬環境中進行訓練和協作的系統和方法。
某些外科程序可能很複雜，因此可能需要特殊的訓練和大量的計劃和準備。在高風險手術例如大腦動脈瘤修復手術之過程中，當外科醫生推動並切割組織以接近動脈瘤區域時，腦組織之絕對定向被顯著改變。此外，諸如動脈瘤修復之手術由於包括動脈瘤區域臨時性血管夾持之各種程序而係非常時間敏感的。因此，程序之準確性及效率係非常關鍵的，並且基於患者特定局部幾何形狀及動脈瘤之物理性質的詳細計劃係基本的。
已經開發了先前以引用方式併入本申請案之美國專利申請案第8,311,791號中描述之手術演練及準備工具，以將靜態CT及MRI醫學影像轉換為動態及交互式多維全球虛擬實境，六(6)個自由度模型(「 MD6DM」)，其可由醫生用於即時模擬醫療程序。MD6DM提供了圖形模擬環境，使醫生能夠在全球虛擬實境環境中體驗、計劃、執行並導航介入。具體而言，MD6DM給予外科醫生使用從傳統2維患者醫療掃描來建立之獨特多維模型來進行導航的能力，該模型給出全體積球形虛擬實境模型中之球形虛擬實境6個自由度(即線性；x、y、z及角度、橫擺、俯仰、滾動)。
MD6DM由患者自己醫學影像資料集構成，包括CT、MRI、DTI等，並且係患者特定的。若外科醫生需要，可以整合代表性大腦模型，例如Atlas資料，以建置部分患者特定模型。該模型給出了從MD6DM上之任何點的360°球形視圖。使用MD6DM，觀察者虛擬地位於解剖結構內部，並且可以查看並觀察解剖結構及病理結構，如同他站在患者體內一般。觀察者可以向上、向下、越過肩膀等來查看，並且將在彼此相關之關係中來觀察原始結構，恰好如同在患者體內所發現者。內部結構之間之空間關係被保存，並且可以使用MD6DM來理解。
MD6DM之演算法獲取醫學影像資訊並將其構建成球形模型，該球形模型係可以在解剖結構內「飛行」時從任何角度檢視之完整、連續即時模型。具體而言，在CT、MRI等獲取真實生物體並將其解構為從數千個點構建之數百個切片之後，MD6DM藉由從內部及外部來表示彼等點中之每個點的360°視圖而將該生物體還原為3D模型。
可能需要多個醫療專業人員、學生和其他參與者以協作的方式參與此類手術訓練和實施。諸如所描述的手術演練和準備工具的工具可能無法有效地並且高效地促進多個參與者的此類協作。
用於促進協作的系統包括用於儲存內容的資料庫。該系統進一步包括複數個頭戴式顯示器。該系統進一步包括電腦伺服器，該電腦伺服器包含一或多個處理器、一或多個電腦可讀有形儲存裝置以及儲存在一或多個儲存裝置中之至少一者上的程式模組，其用於由一或多個處理器中之至少一者執行。程式模組包括用於從資料庫檢索內容的第一程式模組。程式模組進一步包括第二程式模組，用於將內容同步地傳送到複數個頭戴式顯示器。程式模組進一步包括用於接收表示與內容的交互的資料的第三程式模組。程式模組進一步包括第四程式模組，用於基於接收到的交互來同步地向複數個頭戴式顯示器傳送更新的內容。
促進協作的方法包括電腦從資料庫中檢索內容。該方法進一步包括電腦將內容同步傳送到複數個頭戴式顯示器。該方法進一步包括電腦接收表示與內容的交互的資料。該方法進一步包括電腦基於接收到的交互同步地向複數個頭戴式顯示器傳送更新的內容。
用於促進協作的系統包括複數個頭戴式顯示器。該系統進一步包括電腦伺服器，該電腦伺服器包含一或多個處理器、一或多個電腦可讀有形儲存裝置以及儲存在一或多個儲存裝置中之至少一者上的程式模組，其用於由一或多個處理器中之至少一者執行，該等程式模組。程式模組包括用於接收表示虛擬環境的資料內容的第一程式模組。程式模組進一步包括第二程式模組，用於將內容同步地傳送到複數個頭戴式顯示器。程式模組包括用於接收表示虛擬環境中的移動的資料的第三程式模組。程式模組包括第四程式模組，用於基於與移動相關聯的虛擬環境的更新的視角來同步地向複數個頭戴式顯示器傳送更新的內容。
以下縮略詞及定義將有助於理解詳細描述：
AR-強化實境-物理、真實環境之實況視圖，其要素已藉由電腦產生之感官要素(例如聲音、視訊或圖形)來強化。
VR -虛擬實境-電腦產生之三維環境，其可被人不同程度地探索及交互。
HMD-頭戴式顯示器係指可以在AR或VR環境中使用之頭戴式裝置。它可為有線或無線的。它亦可包括一或多個附加物，例如耳機、麥克風、HD攝影機、紅外攝影機、手持追蹤器、位置追蹤器等。
控制器 -包括按鈕及方向控制器之裝置。它可為有線或無線的。此裝置之實例包括Xbox遊戲台、PlayStation遊戲台、Oculus觸摸等。
SNAP 病例 -SNAP病例係指以DICOM檔案格式藉由使用一或多個患者掃描(CT、MR、fMR、DTI等)來建置之3D紋理或3D對象。它亦包括不同的分割預設，用於過濾3D紋理中的特定範圍並且將其他範圍著色。它亦可包括放置在場景中之3D對象，包括用於標記所關注之特定點或解剖結構的3D形狀、3D標籤、3D量測標記、用於引導之3D箭頭及3D外科工具。外科工具及裝置已經被模型化用於教育及患者特定演練，尤其用於將動脈瘤夾具適當地設定尺寸。
化身 - 化身代表虛擬環境中的用戶。
MD6DM -多維全球虛擬實境，6自由度模型。它提供了圖形模擬環境，使醫生能夠在全球虛擬實境環境中體驗、計劃、執行及導航介入。
在本文中描述的是用於促進虛擬環境中的訓練和協作的系統和方法。該系統使包括指導者和參與者的多個用戶能夠即時地與虛擬環境中的各種類型的內容進行交互。內容可以包括例如整個患者的3D模型、器官的3D模型、虛擬手術室以及虛擬圖書館。指導者可以例如圍繞3D患者模型移動，進入患者的3D身體內，拾取3D模型器官以進行更仔細的檢查，在虛擬手術室內四處移動，在虛擬手術室內進行虛擬手術，或者處理虛擬圖書館中的內容。隨著指導者導覽內容，與指導者同步地向參與者展示相同的內容，以便參與者可以跟隨學習和協作。可以給予參與者圍繞內容以及在內容內部移動的一定的自主性，如藉由個人化身來呈現，使得每個參與者可以能夠具有獨特的個人視角和體驗，同時仍然跟隨指導者和其他參與者。指導者可以在訓練和協作會話期間製作注釋、添加繪圖、提供音訊評論等，參與者可以即時看到該等注釋、繪圖、評論。
圖 1 中示出了用於實現用於訓練和協作的虛擬環境(在下文中稱為「虛擬體育場」或「VR體育場」)114 的虛擬體育場系統100 。虛擬體育場114 使得多個人能夠在虛擬體育場114 中交互，以便向指導者學習和彼此學習，並且還為了解決具體問題而一起協作。例如，醫生或其他指導者可以與虛擬體育場100 中的學生進行交互，以便針對特定醫療程序來訓練用戶。醫生也可以與虛擬體育場100 中的其他醫生或其他專家交互，以便協作治療患者。
VR體育場系統100 包括VR體育場伺服器102 ，該VR體育場伺服器102 包括硬體和專用軟體，該專用軟體可以在硬體上執行以便產生和促進VR體育場114 。具體而言，VR體育場伺服器102 與一個或多個頭戴式顯示器104a-104g (在下文中稱為「HMD」104 )進行通信以便經由HMD104 向一個或多個用戶106a-106g (以下稱為用戶106 )傳送內容以及從其接收資料。VR體育場伺服器102 從VR體育場資料庫108 檢索內容，以便傳送給HMD104 。
應該理解，從VR體育場資料庫108 檢索的內容可以包括用於針對各種類型的醫療狀況和程序來進行訓練和協作的任何合適類型的內容。該內容可以包括經由醫學成像程序從一個或多個特定患者獲得的器官或其他組織的影像和醫學參數，該等醫學成像程序諸如在2010年10月19日提交並且以引用方式併入本文的美國專利第8,311,791號中論述，其中論述了將特定患者的醫學影像(例如，CT掃描、MRI、x射線等)轉換成具有周圍組織和任何缺陷的該特定患者之實際器官的逼真影像。該內容還可以包括與醫生用於在患者中執行實際醫療程序的真實手術或其他醫療工具相關的影像和參數。具體而言，一旦將內容傳送到HDM104 ，則當所有人都沉浸在相同的虛擬體育場114 中時，用戶組106 可以彼此目視、討論、提供輸入、接收反饋和學習。
在一個實例中，可以給予首位或前導用戶(例如指導者106g )與所傳送內容進行交互以及在該內容中導覽的控制權，以便引導討論或訓練會話。在此實例中，其他用戶106 都經由他們各自的HDM104 從與指導者106g 相同的視角看到相同的內容。指導者106g 具有指導者106g 用於在虛擬內容中導覽的手持式控制器110 。應該理解的是，指導者106g 還可以使用手勢或者使用用於導覽和操縱虛擬內容和物件的任何其他合適手段來導覽虛擬內容。其餘的用戶106 ，其中的一些或全部可以位於遠離指導者106g的位置，如另一個房間，或甚至另一個地理位置，或在不同的位置，跟隨並查看指導者106g 正在導覽的內容。指導者還可以使用手持控制器110 來製作注釋、標記、繪圖等，其他用戶106 也將經由他們各自的HDM104 看到該等注釋、標記、繪圖。VR體育場伺服器102 使傳送給每個HDM104 的內容同步化，以確保每個用戶106 在指導者106g 正在觀看的同時看到相同的內容，包括任何注釋、標記等。
在一個實例中，每個用戶106 可以具有他或她自己的控制器(未示出)。在此實例中，用戶106 可以自主地在虛擬體育場114 中四處自由移動。在一個實例中，用戶106 可以在虛擬體育場114 中四處移動，但是可以基於指導者106g 施加的限制而被限制於某些功能或內容。例如，指導者106g 可以允許用戶導覽到虛擬體育場114 中的特定虛擬內容，僅在指導者106g 已經首先導覽到相同的虛擬內容之後。
在另一個實例中，用戶106 可以建置可能包括文本和/或繪圖和/或圖形影像的注釋以與其他用戶106 共享，從而可以進一步促進協作和學習。在一個實例中，指導者106g 可以限制用戶106 可以共享的注釋和輸入的類型，並且還可以限制可以共享此等注釋和輸入的時間。例如，指導者可以將用戶106 經由他們自己的控制器(未示出)來建置諸如注釋的輸入僅限制在指導者106g 停止講話並要求輸入或提問題時。指導者106g 還可以選擇允許來自特定用戶106 的輸入立即與所有其他用戶106 的內容同步並被傳送給所有HDM104 ，或者指導者106g 可以選擇僅將此輸入傳送給他自己的HDM104g 。VR體育場伺服器102 負責實施任何適當的規則和限制，並相應地使傳送給每個HDM104 的內容同步化。
應該理解的是，虛擬體育場系統100 可以包括用於實現在虛擬體育場114 中的導覽並且用於提供輸入和反饋的其他特徵。例如，雖然已經描述了用於在虛擬體育場114 中導覽的控制器110 ，但是一個示例性虛擬體育場系統100 可以包括用於跟蹤用戶106 的移動的感測器(未示出)。例如，位於HDM104 上的一個或多個感測器可以跟蹤用戶106 的頭部移動並將此移動傳達給VR體育場伺服器102 。VR體育場伺服器102 然後可以使用此感測器資訊來確定將要被傳送到相應HDM104 的虛擬內容。在另一個實例中，放置在實際房間內的感測器可以跟蹤用戶106 的實際移動並將此資訊傳達給VR體育場伺服器102 ，該VR體育場伺服器102 然後可以相應地向用戶106 的HDM104 傳送虛擬內容。
在一個實例中，VR體育場系統100 可以進一步包括麥克風(未示出)以使得用戶106 能夠向體育場伺服器102 提供可聽反饋，該反饋然後可以與其他用戶106 共享並且與所分配的虛擬內容同步化。此等音訊記錄可以電子錄製以供將來回放。
VR體育場100 進一步包括顯示器112b ，用於顯示藉由指導者106g 經由HDM104g 來體驗的內容。因此，可能無法利用HDM104 的另外的用戶仍然可以經由一個或多個顯示器112b看到該內容並且跟隨並參與到其中。應該理解，顯示器112 可以實體上在指導者106g 附近定位或位於遠程位置。
應該理解，VR體育場伺服器102 可以與HDM104 、控制器110 、顯示器112 以及其他合適的部件無線地(例如藉由WiFi或藍芽)或經由有線連接(例如以太網)進行通信。
應該意識到，雖然示例性VR體育場系統100 可以具體參考醫療領域中的訓練和協作來描述，但VR體育場系統100 可以類似地用於其他領域，以便使各種類型的專業人員能夠訓練和協作。
在一個實例中，VR體育場伺服器102 可以在VR體育場114 內呈現虛擬電腦(未示出)，指導者106g 可以導覽到該虛擬電腦並且瀏覽可能由資料庫或者本地或遠程的其他電腦系統提供的虛擬圖書館(未示出)。該圖書館可以包括各種類型的儲存內容，例如預先構建的SNAP病例，其出於訓練目的可以從VR體育場資料庫108 中檢索得到。例如，指導者106g 可以導覽到虛擬電腦，打開虛擬圖書館並且選擇特定的SNAP病例用於與其他用戶106 一起檢視並討論。例如，指導者116g 可以在SNAP病例內製作注釋，或者根據需要編輯SNAP病例，以便為特定的教學會話作準備。圖 2 示出了示例性虛擬SNAP電腦200 ，其用於加載示例性SNAP病例以在虛擬體育場114 內的虛擬顯示器202 上顯示。
在一個實例中，訓練會話可以由VR體育場伺服器102 記錄並儲存在VR體育場資料庫108 中以供稍後檢索。例如，指導者106g 可能希望在不同的時間甚至在不同的位置與兩個獨立的用戶組106 來複審相同的SNAP病例，並且可能希望在第二次呈現期間重複使用與在第一次呈現時建置的相同的注釋、標記、音訊記錄等，同時如果需要，可能在另外的呈現中製作另外的注釋和/或音訊記錄，該另外的呈現也可以被記錄。根據需要，此等呈現可以重複任意次數。因此，指導者106g 可以導覽到虛擬電腦200 並檢索所記錄的會話，然後開始使用同一會話來訓練第二、第三或其他組。
在一個實例中，如圖 3 所示，VR體育場系統100 包括一個或多個工具302 ，指導者106g 可以使用該或該等工具來模擬程序。工具302 與VR體育場伺服器102 通信以便將由指導者106g 使用物理世界中的工具302 執行的移動或動作轉化為VR體育場114 中的相同或類似的移動或動作。此等工具302可以是真實的醫療工具，例如手術工具，可以將其加以改造以便與系統100通信。在一個實例中，可以給予所有用戶106 相同的工具，或者用戶106 可以輪流使用相同的工具106 ，以便學習和練習執行相同的移動或動作。在一個實例中，VR體育場伺服器102 將工具302 的移動和動作轉換為基於SNAP病例由VR體育場伺服器102 生成的MD6DM模型內的虛擬移動和動作。在另一個實例中，VR體育場伺服器102 產生虛擬手術室400 ，如圖 4 所示，可以在VR體育場114 內導覽到該虛擬手術室，並且與其交互以便進行訓練和協作。例如，一旦在虛擬體育場114 內，指導者106g 可以將用戶106 引導到虛擬手術室400 中的虛擬病床402 ，其中指導者106g 可以即時地在虛擬患者(未示出)上演示醫療程序。更具體地講，指導者可以利用工具302 做出某些移動或動作，VR體育場伺服器102 可以將該等移動或動作轉換成虛擬手術室400 內的對應虛擬移動或動作。用戶106 然後可以經由HDM104 觀察指導者106g 並向指導者106g 學習，並且在一些情況下參與虛擬醫療程序。可以在系統100的顯示器上提供工具106的虛擬表示。
在一個實例中，用戶106 可以被限制於虛擬手術室的某些視圖和視角，並且僅沿著與指導者106g 所檢視的視角相同的視角來導覽。在另一個實例中，用戶106 可以自由地改變他們檢視虛擬手術室和躺在虛擬病床402 上的虛擬患者的視角。例如，經由控制器110 或經由移動感測器，VR體育場伺服器102 可偵測移動，然後將該移動轉換成虛擬手術室400 內的對應移動。因此，當指導者正在執行虛擬醫療程序時，如果例如用戶106 相信來自另一角度的視圖是有益的並且是有教育意義的，則用戶106 可以走到患者的相對側並且從不同角度檢視正在執行的程序。
在一個實例中，用戶106 可以由VR體育場114 內的化身來代表，使得用戶106 可以目視其他用戶106 的移動，從而可以實現進一步的交互和協作。
應該理解的是，為了參加虛擬體育場114 ，用戶106 可以或可以不全部位於相同的房間或物理位置。例如，如圖 5 所示，一個或多個用戶506 可以實體地位於遠程位置502 中，並且仍然使用遠程HDM504 參與虛擬體育場114 內的訓練或協作會話。例如，遠程HDM504 可以經由網際網路508 與VR體育場伺服器102 進行通信，以便獲得內容並且與其他HDM104 同步。因此，遠程用戶506 可以與其他用戶106 一樣看見相同的內容並參與訓練或協作會話。在一個實例中，遠程HDM506 可以與本地計算裝置或伺服器510 通信，該本地計算裝置或伺服器510 又與VR體育場伺服器102 通信。在一個實例中，所有用戶可以位於與指導者106g 不同的物理位置。
在一個實例中，如圖 6 所示，VR體育場系統100 包括經由網際網路508 到遠程醫院602 的連接。特別地，VR體育場伺服器102 接收來自遠程醫院602 內的實體手術室的實況即時饋送。實況即時饋送然後由虛擬體育場伺服器102 經由虛擬體育場114 內的HDM104 呈現給用戶106 。因此，出於教育目的，指導者106g 可即時地與用戶106 一起檢視並討論正在執行的程序的細節，而不佔用手術室內的寶貴空間。另外，位於不同房間、不同建築物或甚至不同地理位置(諸如不同州以及甚至不同國家)中的一個或多個遠程用戶506 也可利用虛擬體育場系統100 來為實體上存在於醫院602 中並執行醫療程序的醫生提供指導和支援。因此，促進處於不同物理位置的幾位醫療專業人員之間的即時協作，從而實現了可能在實體上位於許多不同位置的專家之間的協作。
例如，來自醫院602 的實況資料饋送可以是從位於患者處的內窺鏡捕獲的即時視訊饋送。實況資料饋送還可以包括來自位於遠程醫院602 的醫生的視角的VR或AR饋送，該醫生戴著HDM104 並且經由位於遠程醫院602 處的SNAP電腦(未示出)來導覽虛擬MD6DM模型。
在一個實例中，用戶106 可能能夠與各種3D模型進行交互。例如，如圖 7 所示，VR體育場114 可以包括虛擬3D模型顯示器700 ，其中用戶106 可以導覽到或走到該顯示器處，並且拾取、旋轉、從不同角度檢查各種3D模型並且從其中進行學習。在一個實例中，3D模型可以從SNAP病例中導出並且是患者特異性的，其可以包括使用可能較早發生的醫療成像程序獲得的器官或其他組織的影像。在另一個實例中，3D模型可以是通用模型，不適用於任何特定患者。示例性3D模型顯示器700 包括頭部702 、動脈瘤704 、腫瘤706 、皮質708 和DTI束710 和712 。應該意識到，儘管所示的示例性3D模型顯示器700 包括特定的一組3D模型，但是3D模型顯示器700 可以包括可以基於特定患者的任何合適數量和類型的3D模型或基於特定患者的通用模型。
當涉及特定患者時，從對於該特定患者執行的醫學影像來生成該患者器官和組織的3D模型，以使所得到的3D模型反映該特定患者的實際組織和器官結構，從而允許執行醫療程序的模擬，就好像正在對於該特定患者執行彼等程序一樣。
可以參考具體示例性場景來進一步理解以上描述，在該場景中多個用戶從遠程位置登錄並作為化身進入VR體育場114 。一旦進入，用戶可以導覽到3D模型顯示器700 並選擇與其交互的模型。用戶還可以選擇一個或多個虛擬工具來與模型進行交互，此等工具可能基於真實醫療工具，該等真實醫療工具與系統進行通信並且以該等工具的虛擬表示來顯示。例如，如圖 8 所示，用戶可以選擇腫瘤模型706 以使用虛擬工具802 或虛擬手來進行交互。虛擬手802 可以由真實世界的人類手勢來控制，例如使用感測器或用於跟蹤移動的其他類似裝置。在另一個實例中，虛擬手802 可以由控制器804 控制。應該理解，雖然示例性場景可以參照特定模型進行描述，但是用戶可以類似地在VR體育場114 中與各種類型的模型進行交互，以便為各種類型的外科程序作準備。例如，VR體育場114 可以與為了執行與大腦例如動脈瘤或腦腫瘤、身體其他部位的腫瘤、脊髓、心臟等相關的外科程序而作準備和進行訓練相關聯來使用。
一旦選擇了3D模型，用戶可以藉由在VR體育場114 內圍繞它來移動、將它旋轉等來與模型進行交互。當其中一個用戶(例如指導者)正在與模型進行交互時，其餘用戶可以觀察交互並圍繞模型來移動。在一個實例中，遠程用戶可以輪流與模型交互，同時其餘的用戶觀察交互，從而促進虛擬協作環境。與模型交互可以包括例如向其他用戶解釋模型，詢問和回答問題，進行測量，向模型添加注釋以及執行手術演示，其中任何一個可以被記錄用於將來回放。應該理解的是，藉由使用其他可用的輸入工具來將真實世界手勢或動作轉換成VR體育場114 內的虛擬動作，可以促進交互。
在一個實例中，如圖 9 所示，用戶可以藉由與化身902 一起進入模型902 內部並探索模型902 的內部來進一步與所選擇的模型進行交互。因此，指導者可能能夠放大模型902 的非常具體的內部區域並對其進行更加密切地觀測，同時給予用戶利用他們各自的化身902 在內部導覽並從他們自己所選擇的視角來進行觀察的機會。
在另一個實例中，用戶可以藉由使用從儲存在資料庫中的工具庫中選擇的一個或多個虛擬工具與所選擇的模型進行交互，該或該等虛擬工具用於與患者的器官或其他組織進行交互。此等虛擬工具可以是與系統通信的真實醫療工具的表示，並且用戶在真實空間中操縱該等虛擬工具以使它們在虛擬空間中的虛擬表示類似地作出反應。如'791專利中所述，工具與組織模型的交互以逼真的方式進行，使得動態地展示與組織的逼真動態影像進行交互的用戶工具(例如手術工具、探針、可植入醫療裝置等)的工具模型，使得使用輸入介面的用戶輸入來動態地操縱逼真的用戶工具影像，動態地展示該等逼真的用戶工具影像與組織和器官的逼真影像進行交互以逼真地模擬實際醫療程序，例如在反映實際特定患者的組織和器官的所模擬組織和器官上進行的醫療程序。以此方式，例如，出於練習、準備或教育目的，可以對於針對特定患者來執行或將要執行的醫療程序的模擬進行模擬。
為了對於與虛擬3D模型的交互進行補充，用戶還可以獲取針對特定病例(例如腫瘤)的圖書館資源1002 ，如圖 10 所示。圖書館資源可以包括視訊、書籍、期刊、音訊記錄等，其可以在檢查和研究3D模型的同時或並行地在用戶組中虛擬地得以複查和研究。在一個實例中，用戶還可以從圖書館中檢索預先構建的SNAP病例並將其加載到虛擬電腦1102 上以在VR體育場114 內的虛擬顯示器1104 上顯示。
在使用3D模型和圖書館資源完成準備之後，用戶可以藉由他們各自的化身導覽到虛擬體育場114 內的虛擬手術室1202 ，以進行另外的教育和實施手術。具體而言，一旦在虛擬手術室1302 內，用戶或用戶組就可以在虛擬患者上執行使用3D模型和圖書館資源來作準備的虛擬手術程序。另外的用戶可以觀察虛擬手術室1302 內的虛擬手術程序。用戶可以360度地觀察並接近虛擬患者，因此可以在患者周圍導覽以便執行或觀察手術程序。用戶可以經由例如單獨的麥克風來虛擬地彼此交談，並且在虛擬手術室1302 內協作，就好像用戶全部位於同一個實體手術室中一樣，即使用戶可能都分散在不同的遠程位置中亦是如此。應該進一步理解的是，虛擬手術室1302 可以包括用戶可能在虛擬手術程序期間與其進行交互的各種虛擬設備，用戶可能習慣於在物理世界手術室中看到和使用該設備，包括用於顯示預先構建的SNAP案例的SNAP電腦和顯示器。
一旦完成了手術程序的準備，遠程用戶仍然可以利用虛擬體育場114 ，以便在實際手術程序期間虛擬地存在，即使用戶可能位於不同的遠程位置中亦是如此。用戶遠程登錄VR體育場114 並藉由他們各自的化身來獲取即時360度視訊和音訊饋送，該等即時360度視訊和音訊饋送從正在執行手術程序的實體手術室內部的多個位置串流輸送。因此，遠程用戶能夠觀察存在於實體手術室中的外科醫生和其他醫療專業人員，甚至與他們進行協作和協助，就好像他們本身實體上位於手術室中一樣。
應該理解的是，在VR體育場系統100 內並且與外部醫院602 進行通信的所有資料可以被加密並且可以賦予例如HIPPA合規性以防止未經授權的獲取並且符合各個國家的適用的政府法規。
圖 14 係用於實現圖 1 、 3 、 5 及 6 之示例性AVR體育場伺服器102 之示例性電腦的示意圖。示例電腦1400 意欲表示各種形式之數位電腦，包括膝上型電腦、桌上型電腦、手持式電腦、平板電腦、智慧型電話、伺服器及其他類似類型之計算裝置。電腦1400 包括經由匯流排1412 藉由介面1410 可操作地連接之處理器1402 、記憶體1404 、儲存裝置1406 及通訊埠1408 。處理器1402 經由記憶體1404 處理用於在電腦800 內執行之指令。在示例性實施例中，可以使用多個處理器以及多個記憶體。
記憶體1404 可為依電性記憶體或非依電性記憶體。記憶體1404 可為電腦可讀媒體，諸如磁碟或光碟。儲存裝置1406 可為電腦可讀媒體，諸如軟磁碟裝置、硬碟裝置、光碟裝置、磁帶裝置、快閃記憶體、相變記憶體或其他類似固態記憶體裝置或者裝置之陣列，包括其他配置之儲存區域網路中的裝置。電腦程式產品可以有形地體現在諸如記憶體1404 或儲存裝置1406 之電腦可讀媒體中。電腦1400 可以耦合到一或多個輸入及輸出裝置，諸如顯示器1414 、印表機1416 、掃描器1418 及滑鼠1420 。
如熟習此項技術者將理解的，示例性實施例可實現為或可一般地利用方法、系統、電腦程式產品或前述組合。因此，任何實施例可以採取專用軟體的形式，包括儲存在儲存裝置中以供在電腦硬體上執行的可執行指令，其中軟體可以儲存在電腦可用儲存媒體上，其具有體現在媒體中的電腦可用程式代碼。
資料庫可以使用商用電腦應用程式(例如MySQL等開源解決方案)或可以在所揭示的伺服器或另外電腦伺服器上運行的封閉解決方案(如Microsoft SQL)來實現。資料庫可以利用關係或物件導向的範例來儲存用於上面揭示的示例性實施例的資料、模型和模型參數。此等資料庫可以針對如本文所揭示的專門適用性使用已知的資料庫程式設計技術來定製。
任何合適的電腦可用(電腦可讀)媒體都可以用於儲存包含可執行指令的軟體。電腦可用或電腦可讀媒體可為，例如但不限於，電子、磁性、光學、電磁、紅外或半導體系統、設備、裝置，或傳播媒體。電腦可讀媒體之更特定實例(非詳盡清單)將包括以下各者：具有一或多個電線的電氣連接；有形媒體諸如可攜式電腦磁片、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光碟唯讀記憶體(CDROM)、或其他有形光學或磁性儲存裝置；或傳輸媒體諸如支援網際網路或內部網路之彼等。
在本檔案之上下文中，電腦可用或電腦可讀媒體可為可包含、儲存、傳送、傳播或傳輸程序指令以供指令執行系統、平台、設備或裝置使用或與其相關來使用的任何媒體，其可包括包含一或多個可程式化或專用處理器/控制器的任何合適電腦(或電腦系統)。電腦可用媒體可以包括在基帶中或作為載波之一部分的具有在其中體現之電腦可用程式代碼的傳播資料信號。電腦可用程式代碼可以使用任何適當媒體傳輸，包括但不限於網際網路、有線、光纖電纜、區域通訊匯流排、射頻(RF)或其他手段。
具有用於執行示例性實施例之操作的可執行指令的電腦程式代碼可以藉由使用任何電腦語言之常規手段來編寫，電腦語言包括但不限於諸如BASIC、Lisp、VBA或VBScript之解譯或事件驅動語言，或GUI實施例諸如visual basic，諸如FORTRAN、COBOL或Pascal的編譯程式設計語言，諸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等的面向對象、腳本或非腳本程式設計語言，諸如Prolog之人工智慧型語言，諸如Ada之即時嵌入式語言，或者甚至使用梯形邏輯之更直接或簡化程式設計，匯編語言或使用適當機器語言直接程式設計。
在術語「包括(include)」或「包括(including)」用於本說明書或申請專利範圍中之情況下，意欲以類似於術語「包含」之方式如在用作申請專利範圍中之過渡詞時理解該術語一樣係包括性的。此外，在採用術語「或」之情況下(例如，A或B)，意欲意指「A或B或兩者」。當申請人意欲指示「僅有A或B而非兩者」時，那麼將採用「僅有A或B而非兩者」。因此，本文中的術語「或」之使用係包括性的使用，而非排他性使用。參見Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (2d. Ed. 1995)。此外，在術語「在...中(in)」或「至...中(into)」用於本說明書或申請專利範圍中之情況下，意欲另外意指「在...上(on)」或「至...上(onto)」。此外，在說明書或申請專利範圍中使用術語「連接」的情況下，其意欲不僅表示「直接連接到」，而且表示「間接連接到」，例如藉由另一個部件或多個部件連接。
如上所述，雖然本申請案已經藉由描述其實施例來進行說明，且雖然已經相當詳細地描述實施例，但是申請人之意圖不係將所附申請專利範圍之範圍局限或以任何方式限制至此類細節。對於熟習此項技術者而言，其他優點和修改將是顯而易知的。因此，本申請案在其更廣泛的態樣中不限於所示出和描述的具體細節、代表性設備和方法以及說明性實例。因此，在不脫離申請人的總體發明構思的精神或範圍的情況下，可以做出從此等細節的偏離。
100‧‧‧虛擬體育場系統
102‧‧‧VR體育場伺服器
104a-104g‧‧‧頭戴式顯示器
106a-106g‧‧‧用戶
108‧‧‧VR體育場資料庫
110‧‧‧手持式控制器
112b‧‧‧顯示器
114‧‧‧虛擬環境
200‧‧‧虛擬SNAP電腦
202‧‧‧虛擬顯示器
302‧‧‧工具
400‧‧‧虛擬手術室
402‧‧‧虛擬病床
502‧‧‧遠程位置
504‧‧‧遠程HDM
506‧‧‧用戶
508‧‧‧網際網路
510‧‧‧本地計算裝置或伺服器
602‧‧‧遠程醫院
700‧‧‧虛擬3D模型顯示器
702‧‧‧頭部
704‧‧‧動脈瘤
706‧‧‧腫瘤
708‧‧‧皮質
710‧‧‧DTI束
712‧‧‧DTI束
802‧‧‧虛擬工具
804‧‧‧控制器
902‧‧‧化身
1002‧‧‧圖書館資源
1102‧‧‧虛擬電腦
1104‧‧‧虛擬顯示器
1202‧‧‧虛擬手術室
1302‧‧‧虛擬手術室
1400‧‧‧示例電腦
1402‧‧‧處理器
1404‧‧‧記憶體
1406‧‧‧儲存裝置
1408‧‧‧通訊埠
1410‧‧‧介面
1412‧‧‧匯流排
1414‧‧‧顯示器
1416‧‧‧印表機
1418‧‧‧掃描器
1420‧‧‧滑鼠
在附圖中，示出與下面提供之實施方式一起描述所要求保護之發明之示例性實施例的結構。相同元件用相同元件符號表示。應當理解，示出為單個部件之元件可以用多個部件替換，並且示出為多個部件之元件可以用單個部件替換。附圖不是按比例的，並且為了說明之目的，某些元件之比例可能被誇大。
圖 1 示出了示例性虛擬體育場系統。
圖 2 示出了示例性虛擬SNAP電腦。
圖 3 示出了示例性虛擬體育場系統。
圖 4 示出了示例性虛擬體育場中的示例性虛擬手術室。
圖 5 示出了示例性虛擬體育場系統。
圖 6 示出了示例性虛擬體育場系統。
圖 7 示出了示例性虛擬3D模型顯示。

Claims (49)

  1. 一種用於促進協作的系統，該系統包括： 資料庫，其用於儲存內容，該內容表示對應於複數個患者的複數個虛擬三維解剖模型； 複數個頭戴式顯示器，其包括前導頭戴式顯示器及複數個參與者頭戴式顯示器； 電腦伺服器，該電腦伺服器包含一或多個處理器、一或多個電腦可讀有形儲存裝置以及儲存在該一或多個儲存裝置中之至少一者上的程式模組，其用於由該一或多個處理器中之至少一者執行，該等程式模組包含： 第一程式模組，其用於響應於關於該等複數個患者中之一者開始進行協作的請求，從該資料庫中選擇該等複數個虛擬三維解剖模型中之一相應模型； 第二程式模組，其用於將表示所選定虛擬三維解剖模型之內容同步傳送至該等複數個頭戴式顯示器； 第三程式模組，其用於接收表示與該虛擬三維解剖模型之交互的資料，該交互與該前導頭戴式顯示器相關聯；及 第四程式模組，其用於基於所接收到的交互來將更新內容同步地傳送至該等複數個參與者頭戴式顯示器。
  2. 如申請專利範圍第1項之系統，其中該內容進一步包括虛擬醫學圖書館及虛擬手術室中之至少一者，並且其中該第三程式模組進一步接收表示與該虛擬醫學圖書館及該虛擬手術室中之至少一者之交互的資料。
  3. 如前述申請專利範圍中任一項之系統，其中該等頭戴式顯示器中之至少一者包括遠程定位之頭戴式顯示器。
  4. 如前述申請專利範圍中任一項之系統，其中該第三程式模組進一步被配置為接收來自控制器的表示與該前導頭戴式顯示器相關聯之交互的資料，該交互表示相對於該虛擬三維解剖模型的移動，從而基於與該移動相關聯的該虛擬三維解剖模型之更新視圖來將更新的內容傳送至該前導頭戴式顯示器，並且該第四程式模組進一步被配置為將與該移動相關聯的該虛擬三維解剖模型之相同更新視圖同步地傳送至所有該等複數個參與者頭戴式顯示器。
  5. 如前述申請專利範圍中任一項之系統，其中該第三程式模組進一步被配置為接收來自與該等複數個參與者頭戴式顯示器相關聯的複數個控制器中之一者的資料，該資料表示在該虛擬三維解剖模型內部的移動，並且該第四程式模組進一步被配置為基於由該等複數個控制器中之一相關聯控制器所表示的移動來將該虛擬三維解剖模型之內部的更新視圖傳送至該等複數個參與者頭戴式顯示器中之一者。
  6. 如前述申請專利範圍中任一項之系統，其中該等複數個頭戴式顯示器各自包括用於跟蹤移動之感測器，其中該第三程式模組進一步被配置為接收來自該等複數個頭戴式顯示器中之一者之感測器的資料，該資料表示該等複數個頭戴式顯示器中之一者之移動，並且其中該第四程式模組進一步被配置為基於由該等複數個頭戴式顯示器中之一相關聯顯示器所表示的移動來將該虛擬三維解剖模型之更新視圖傳送至該等複數個頭戴式顯示器中之一者。
  7. 如申請專利範圍第6項之系統，其中該程式模組進一步包括第五程式模組，其用於在該虛擬三維解剖模型內部產生表示該等相應複數個頭戴式顯示器的複數個化身，並且其中用於同步傳送更新內容的該第四程式模組進一步被配置為傳送化身之更新表示，其表示該等複數個頭戴式顯示器中之一者之移動。
  8. 如前述申請專利範圍中任一項之系統，其中該第三程式模組進一步被配置為接收用戶產生之注釋、標記及繪圖中之至少一者，並且其中該第四程式模組進一步被配置為將該用戶產生之注釋、標記及繪圖中之至少一者同步地傳送至該等複數個頭戴式顯示器。
  9. 如前述申請專利範圍中任一項之系統，其進一步包括至少一個麥克風，其中該第三程式模組進一步被配置為接收與該內容相關聯的音訊輸入，並且其中該第四程式模組進一步被配置為將與該內容相關聯的音訊輸入同步地傳送至該等複數個頭戴式顯示器。
  10. 如前述申請專利範圍中任一項之系統，其中該程式模組進一步包括第六程式模組，其用於記錄該協作並將該協作儲存在該資料庫中。
  11. 如前述申請專利範圍中任一項之系統，其進一步包括被配置為執行實體動作的工具，其中該第三模組進一步被配置為解釋由該工具執行的實體動作並且將該實體動作轉換成對應的與該內容之交互，並且其中該第四程式模組進一步被配置為將對應於所解釋實體動作的該交互同步地傳送至該等複數個頭戴式顯示器。
  12. 一種用於促進協作的方法，該方法包括： 電腦響應於關於該等複數個患者中之一者開始進行協作的請求，從資料庫中選擇對應於複數個患者的該等複數個虛擬三維解剖模型中之一相應模型； 該電腦將表示所選定虛擬三維解剖模型之內容同步傳送至複數個頭戴式顯示器； 該電腦接收表示與該虛擬三維解剖模型之交互的資料，該交互與該等複數個頭戴式顯示器中之前導頭戴式顯示器相關聯；及 該電腦基於所接收到的交互，將更新的內容同步地傳送至該等複數個頭戴式顯示器中之複數個參與者頭戴式顯示器。
  13. 如申請專利範圍第12項之方法，其中該電腦將更新的內容同步地傳送至該等複數個參與者頭戴式顯示器包括該電腦將更新的內容同步地傳送至至少一個遠程定位的參與者頭戴式顯示器。
  14. 如申請專利範圍第12項之方法，其中該電腦接收表示交互的資料包括該電腦接收來自控制器的與該前導頭戴式顯示器相關聯的資料，該資料表示相對於該虛擬三維解剖模型的移動，從而基於與該移動相關聯的該虛擬三維解剖模型之更新視圖來將更新的內容傳送至該前導頭戴式顯示器，並且其中該電腦將更新的內容同步地傳送至該等複數個參與者頭戴式顯示器包括該電腦將與該移動相關聯的該虛擬三維解剖模型之相同更新視圖同步地傳送至所有該等複數個參與者頭戴式顯示器。
  15. 如申請專利範圍第12項之方法，其中該電腦接收表示交互的資料包括該電腦接收用戶產生之注釋、標記及繪圖中之至少一者，並且其中該電腦將更新的內容同步地傳送至該等複數個參與者頭戴式顯示器包括該電腦將該用戶產生之注釋、標記及繪圖中之至少一者同步地傳送至該等複數個參與者頭戴式顯示器。
  16. 如申請專利範圍第12項之方法，其中該電腦接收表示交互的資料包括該電腦接收與該內容相關聯的音訊輸入，並且其中該電腦將更新的內容同步地傳送至該等複數個參與者頭戴式顯示器包括該電腦將與該內容相關聯的音訊輸入同步地傳送至該等複數個參與者頭戴式顯示器。
  17. 如申請專利範圍第12項之方法，其中該電腦接收表示交互的資料包括該電腦解釋藉由工具來執行之實體動作並且將該實體動作轉換成對應的與該虛擬三維解剖模型之交互，並且其中該電腦將更新的內容同步地傳送至該等複數個參與者頭戴式顯示器包括該電腦將對應於所解釋實體動作的交互同步地傳送至該等複數個參與者頭戴式顯示器。
  18. 如申請專利範圍第12項之方法，其中該電腦接收表示交互的資料包括該電腦接收來自該等複數個頭戴式顯示器中之一者之感測器的資料，該資料表示該等複數個頭戴式顯示器中之一者之移動，並且基於由該等複數個頭戴式顯示器中之一相關聯顯示器所表示的移動來將該虛擬三維解剖模型之更新視圖傳送至該等複數個頭戴式顯示器中之一者。
  19. 一種用於促進協作的方法，該方法包括以下步驟： 提供電腦伺服器，該電腦伺服器包含一或多個處理器、一或多個電腦可讀有形儲存裝置、至少一個資料庫以及儲存在該一或多個儲存裝置中之至少一者上的至少一個程式模組，其用於由該一或多個處理器中之至少一者執行； 提供複數個頭戴式顯示器，其各自包括三維顯示器及與該等頭戴式顯示器中之每一者相關聯的至少一個輸入裝置； 藉由該伺服器執行該至少一個程式模組中的軟體指令，將該等頭戴式顯示器中之一者配置為前導頭戴式顯示器； 藉由該伺服器執行該至少一個程式模組中的軟體指令，將該等複數個頭戴式顯示器中之複數個其他頭戴式顯示器配置為用戶頭戴式顯示器； 該伺服器執行該至少一個程式模組中的軟體指令，以接收來自前導用戶的該前導頭戴式顯示器之相關輸入裝置的用戶輸入，以便將該等用戶頭戴式顯示器中之每一者配置為具有有限範圍之功能，對於該等用戶頭戴式顯示器中之一些顯示器而言，該功能可能是不同的或可能是相同的； 該伺服器執行該至少一個程式模組中的軟體指令以執行由該前導頭戴式顯示器之用戶引導的三維模擬過程，以在該等複數個頭戴式顯示器中之每一者中顯示，該模擬過程包括以下步驟： 提供真實工具之逼真三維工具模型，該模型從作為資料儲存在該至少一個資料庫中的關於該真實工具之物理性質的資訊來產生，該等影像模型由該前導用戶使用該前導頭戴式顯示器之相關輸入裝置來控制， 提供複數個真實物件中之每一者的逼真三維物件模型，該物件模型從作為資料儲存在該至少一個資料庫中的關於該等真實物件中之每一者之物理性質的資訊來產生，以及 基於來自該前導用戶使用該前導頭戴式顯示器之輸入裝置的輸入，產生該工具模型與該等物件模型的逼真視覺交互，其中該等逼真視覺交互指示在真實世界中該真實工具與該等真實物件之實際交互； 其中基於相應頭戴式顯示器的有限範圍之功能，使用各自相關聯輸入裝置的其他該等頭戴式顯示器之用戶在參與該模擬時受到限制。
  20. 如申請專利範圍第19項之方法，其中該真實工具是手術工具。
  21. 如申請專利範圍第19或20項之方法，其中該等真實物件是人類的器官及/或組織。
  22. 如申請專利範圍第19至21項中任一項之方法，其中基於所拍攝的特定患者之醫學影像，該等真實物件是該特定患者之器官及/或組織。
  23. 如申請專利範圍第19至22項中任一項之方法，其中該模擬是對患者之手術程序的模擬。
  24. 如申請專利範圍第23項之方法，其中該手術程序是對於患者即時進行的實際手術程序。
  25. 如申請專利範圍第24項之方法，其中該前導頭戴式顯示器之用戶是對該患者執行該實際手術程序之至少一部分的外科醫生。
  26. 如申請專利範圍第19至25項中任一項之方法，其中該系統被配置為接收來自該前導頭戴式顯示器之用戶的輸入，該等輸入用於向其他該等頭戴式顯示器之一或多個用戶授予與該模擬進行交互的特定權限。
  27. 如申請專利範圍第19至26項中任一項之方法，其中該系統被配置為接收來自該前導頭戴式顯示器之用戶的輸入，該等輸入導致其他該等頭戴式顯示器之一或多個用戶從該前導頭戴式顯示器之用戶之視角來檢視該模擬。
  28. 如申請專利範圍第19至27項中任一項之方法，其中與該等頭戴式顯示器相關聯的該輸入裝置包括與該等頭戴式顯示器分開的控制器。
  29. 如申請專利範圍第19至28項中任一項之方法，其中與該等頭戴式顯示器相關聯的該輸入裝置包括整合在該等頭戴式顯示器中之輸入裝置。
  30. 如申請專利範圍第19至29項中任一項之方法，其中與該等頭戴式顯示器相關聯的該輸入裝置包括輸入裝置，該輸入裝置被配置為跟蹤相應用戶的手及/或由該用戶握持的工具之移動。
  31. 如申請專利範圍第19至30項中任一項之方法，其中該前導用戶的輸入裝置包括移動偵測輸入裝置，該移動偵測輸入裝置被配置為偵測該前導用戶的一隻或兩隻手的移動及/或由該前導用戶所握持的工具的移動，以控制該等交互。
  32. 如申請專利範圍第19至31項中任一項之方法，其中該前導用戶之輸入裝置包括輸入裝置，該輸入裝置被配置為偵測由該前導用戶所握持的手術工具的移動，以控制該等交互。
  33. 如申請專利範圍第19至32項中任一項之方法，其中該模擬包括提供該前導用戶執行以下動作的能力：圍繞該等物件模型移動，拾取該等物件模型以進行更仔細的檢查，在房間內四處移動，對該房間內的該等物件模型執行程序，及/或處理由該伺服器提供的虛擬圖書館中之內容。
  34. 如申請專利範圍第19至33項中任一項之方法，其中其他該等頭戴式顯示器中之至少一些頭戴式顯示器的用戶位於遠離該前導頭戴式顯示器之用戶的位置。
  35. 一種用於促進協作的方法，該方法包括以下步驟： 將特定患者的醫學影像轉換為表示該特定患者之器官及組織的逼真三維模型的資料； 提供電腦伺服器，該電腦伺服器包含一或多個處理器、一或多個電腦可讀有形儲存裝置、至少一個資料庫以及儲存在該一或多個儲存裝置中之至少一者上的至少一個程式模組，其用於由該一或多個處理器中之至少一者執行； 將表示該特定患者之器官及組織的逼真三維模型的該資料儲存在該至少一個資料庫中，該資料包括該等器官及組織的物理性質； 將表示真實手術工具之逼真三維模型的該資料儲存在該至少一個資料庫中，該資料包括該真實手術工具的物理性質； 提供複數個頭戴式顯示器，其各自包括三維顯示器及與該等頭戴式顯示器中之每一者相關聯的至少一個輸入裝置； 藉由該伺服器執行該至少一個程式模組中的軟體指令，將該等頭戴式顯示器中之一者配置為前導頭戴式顯示器； 藉由該伺服器執行該至少一個程式模組中的軟體指令，將該等複數個頭戴式顯示器中之複數個其他頭戴式顯示器配置為用戶頭戴式顯示器； 該伺服器執行該至少一個程式模組中的軟體指令，以接收來自前導用戶的該前導頭戴式顯示器之相關輸入裝置的用戶輸入，以便將該等用戶頭戴式顯示器中之每一者配置為具有有限範圍之功能，對於該等用戶頭戴式顯示器中之一些顯示器而言，該功能可能是不同的或可能是相同的； 該伺服器執行該至少一個程式模組中的軟體指令以執行由該前導頭戴式顯示器之用戶引導的三維手術模擬過程，以在該等複數個頭戴式顯示器中之每一者中顯示，該模擬過程包括以下步驟： 提供該真實手術工具之逼真三維手術工具模型，該模型從在該資料庫中檢索得到的表示真實手術工具之逼真三維模型的該資料來產生，該等影像模型由該前導用戶使用該前導頭戴式顯示器之相關輸入裝置來控制， 提供該特定患者之器官及組織的逼真三維器官及組織模型，該等器官及組織模型從在該資料庫中檢索得到的表示該特定患者之器官及組織的逼真三維模型的資料來產生，以及 基於來自該前導用戶使用該前導頭戴式顯示器之輸入裝置的輸入，產生該手術工具模型與該等器官及組織模型的逼真視覺交互，其中該等逼真視覺交互指示該真實手術工具與該患者之真實器官及組織的實際交互； 其中其他該等頭戴式顯示器之用戶使用各自相關聯輸入裝置來參與該手術模擬。
  36. 如申請專利範圍第35項之方法，其中該手術程序是對於特定患者即時進行的實際手術程序。
  37. 如申請專利範圍第36項之方法，其中該前導頭戴式顯示器之用戶是對該特定患者執行該實際手術程序之至少一部分的外科醫生。
  38. 如申請專利範圍第35至37項中任一項之方法，其中該系統被配置為接收來自該前導頭戴式顯示器之用戶的輸入，該等輸入用於向其他該等頭戴式顯示器之一或多個用戶授予與該模擬進行交互的特定權限。
  39. 如申請專利範圍第35至38項中任一項之方法，其中該系統被配置為接收來自該前導頭戴式顯示器之用戶的輸入，該等輸入導致其他該等頭戴式顯示器之一或多個用戶從該前導頭戴式顯示器之用戶之視角來檢視該模擬。
  40. 如申請專利範圍第35至39項中任一項之方法，其中與該等頭戴式顯示器相關聯的該輸入裝置包括輸入裝置，該輸入裝置被配置為跟蹤相應用戶的手及/或由該用戶握持的工具之移動。
  41. 如申請專利範圍第35至40項中任一項之方法，其中該前導用戶的輸入裝置包括移動偵測輸入裝置，該移動偵測輸入裝置被配置為偵測該前導用戶的一隻或兩隻手的移動及/或由該前導用戶所握持的工具的移動，以控制該等交互。
  42. 如申請專利範圍第35至41項中任一項之方法，其中該前導用戶之輸入裝置包括輸入裝置，該輸入裝置被配置為偵測由該前導用戶所握持的手術工具的移動，以控制該等交互。
  43. 如申請專利範圍第35至42項中任一項之方法，其中其他該等頭戴式顯示器中之至少一些頭戴式顯示器的用戶位於遠離該前導頭戴式顯示器之用戶的位置。
  44. 如申請專利範圍第35至43項中任一項之方法，其中其他該等頭戴式顯示器中之至少一些頭戴式顯示器的用戶使用相應頭戴式顯示器的相關輸入裝置來參與該手術模擬。
  45. 如申請專利範圍第35至44項中任一項之方法，其中該模擬包括提供該前導用戶執行以下動作的能力：圍繞包括該等患者器官及組織的3D患者模型來移動，進入該患者的3D身體內部，拾取3D模型器官以進行更仔細的檢查，在虛擬手術室內四處移動，在該虛擬手術室內執行虛擬手術程序，及/或處理由該伺服器提供的虛擬圖書館中之內容。
  46. 一種用於促進協作的方法，該方法包括以下步驟： 將特定患者的醫學影像轉換為表示該特定患者之器官及組織的逼真三維模型的資料； 提供電腦伺服器，該電腦伺服器包含一或多個處理器、一或多個電腦可讀有形儲存裝置、至少一個資料庫以及儲存在該一或多個儲存裝置中之至少一者上的至少一個程式模組，其用於由該一或多個處理器中之至少一者執行； 將表示該特定患者之器官及組織的逼真三維模型的該資料儲存在該至少一個資料庫中，該資料包括該等器官及組織的物理性質； 將表示真實手術工具之逼真三維模型的該資料儲存在該至少一個資料庫中，該資料包括該真實手術工具的物理性質； 提供複數個頭戴式顯示器，其各自包括三維顯示器及與該等頭戴式顯示器中之每一者相關聯的至少一個輸入裝置； 藉由該伺服器執行該至少一個程式模組中的軟體指令，將該等頭戴式顯示器中之一者配置為前導頭戴式顯示器； 藉由該伺服器執行該至少一個程式模組中的軟體指令，將該等複數個頭戴式顯示器中之複數個其他頭戴式顯示器配置為用戶頭戴式顯示器； 該伺服器執行該至少一個程式模組中的軟體指令，以接收來自使用真實手術工具的外科醫生的用戶輸入，該真實手術工具被配置為該前導頭戴式顯示器之相關輸入裝置，以便將該等用戶頭戴式顯示器中之每一者配置為具有有限範圍之功能，對於該等用戶頭戴式顯示器中之一些顯示器而言，該功能可能是不同的或可能是相同的； 該伺服器執行該至少一個程式模組中的軟體指令以顯示由該前導頭戴式顯示器之外科醫生引導的三維手術過程，以捕獲至少部分地由該外科醫生執行的即時執行的實際手術程序，以在該等複數個頭戴式顯示器中之每一者中顯示，該過程包括以下步驟： 提供該真實手術工具之逼真三維手術工具模型，該模型從在該資料庫中檢索得到的表示真實手術工具之逼真三維模型的該資料來產生，該工具模型由該外科醫生使用該手術程序中之真實手術工具來控制， 提供該特定患者之器官及組織的逼真三維器官及組織模型，該等器官及組織模型從在該資料庫中檢索得到的表示該特定患者之器官及組織的逼真三維模型的資料來產生，以及 基於來自該前導用戶使用該前導頭戴式顯示器之輸入裝置的輸入，產生該手術工具模型與該等器官及組織模型的逼真視覺交互，其中該等逼真視覺交互指示在該手術程序期間的該真實手術工具與該患者之真實器官及組織的實際交互； 其中其他該等頭戴式顯示器之用戶能夠使用該頭戴式顯示器來檢視該手術過程。
  47. 如申請專利範圍第46項之方法，其中其他該等頭戴式顯示器中之至少一些頭戴式顯示器的用戶使用該用戶之相應頭戴式顯示器的相關輸入裝置來參與對於該特定患者之實際手術程序。
  48. 如申請專利範圍第46至47項中任一項之方法，其中其他該等頭戴式顯示器中之至少一些頭戴式顯示器的用戶位於遠離該外科醫生的位置。
  49. 如申請專利範圍第46至48項中任一項之方法，其中該模擬包括提供該外科醫生執行以下動作的能力：圍繞包括該等患者器官及組織的3D患者模型來移動，進入該患者的3D身體內部，拾取3D模型器官以進行更仔細的檢查，在虛擬手術室內四處移動，在該虛擬手術室內執行虛擬手術程序，及/或處理由該伺服器提供的虛擬圖書館中之內容。
TW107110037A 2017-03-24 2018-03-23 用於在虛擬環境中進行訓練和協作的系統和方法 TW201835878A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762476259P 2017-03-24 2017-03-24
US62/476,259 2017-03-24

Publications (1)

Publication Number Publication Date
TW201835878A true TW201835878A (zh) 2018-10-01

Family

ID=63585797

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110037A TW201835878A (zh) 2017-03-24 2018-03-23 用於在虛擬環境中進行訓練和協作的系統和方法

Country Status (7)

Country Link
US (1) US20200038119A1 (zh)
EP (1) EP3593344A4 (zh)
JP (1) JP2020515891A (zh)
CN (1) CN109643530A (zh)
IL (1) IL269521A (zh)
TW (1) TW201835878A (zh)
WO (1) WO2018175971A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI696085B (zh) * 2019-06-06 2020-06-11 崑山科技大學 虛擬實境輔助室內設計系統及其互動方法
TWI714235B (zh) * 2019-03-25 2020-12-21 必揚實境科技股份有限公司 虛擬實境教學系統

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588469A1 (en) * 2018-06-26 2020-01-01 Siemens Aktiengesellschaft Method and system for sharing automatically procedural knowledge
US10898151B2 (en) * 2018-10-31 2021-01-26 Medtronic Inc. Real-time rendering and referencing for medical procedures
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
CN110572633A (zh) * 2019-09-16 2019-12-13 上海市刑事科学技术研究院 刑侦物证展示方法、装置、电子设备与存储介质
CN111450511A (zh) * 2020-04-01 2020-07-28 福建医科大学附属第一医院 一种脑卒中的肢体功能评估和康复训练系统及方法
TW202202211A (zh) * 2020-06-30 2022-01-16 美商外科劇院股份有限公司 擴增實境共用錨定系統及方法
JP7530754B2 (ja) * 2020-06-30 2024-08-08 東芝システムテクノロジー株式会社 教育支援システム、方法およびプログラム
US20230293236A1 (en) * 2020-07-14 2023-09-21 Sony Group Corporation Device, method and computer program product for validating surgical simulation
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US12236536B2 (en) 2020-08-17 2025-02-25 Russell Todd Nevins System and method for location determination using a mixed reality device and a 3D spatial mapping camera
WO2022097271A1 (ja) * 2020-11-06 2022-05-12 株式会社Abal 仮想空間体感システム
CN112509410A (zh) * 2020-12-08 2021-03-16 中日友好医院(中日友好临床医学研究所) 一种基于虚拟现实的髋关节镜手术辅助教学系统
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
CN113223342B (zh) * 2021-05-11 2023-06-16 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
US20240261057A1 (en) * 2021-06-03 2024-08-08 Case Western Reserve University Systems, methods, and media for presenting biophysical simulations in an interactive mixed reality environment
CN113593347B (zh) * 2021-08-10 2023-01-06 中国人民解放军63919部队 一种基于虚拟现实的多人协同训练系统
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US12106678B2 (en) * 2021-10-23 2024-10-01 Simulated Inanimate Models, LLC Procedure guidance and training apparatus, methods and systems
CN114081624B (zh) * 2021-11-10 2023-06-27 武汉联影智融医疗科技有限公司 一种手术机器人虚拟仿真系统
CN114333482B (zh) * 2022-01-07 2024-05-24 众阳健康科技集团有限公司 一种基于混合现实技术的虚拟解剖教学系统
US11747954B1 (en) * 2022-03-10 2023-09-05 Samsung Electronics Company, Ltd. Systems and methods for organizing contents in XR environments
WO2023173162A1 (en) * 2022-03-14 2023-09-21 Bairamian, Daniel An augmented reality point of view synchronisation system
KR102458491B1 (ko) * 2022-03-17 2022-10-26 주식회사 메디씽큐 실시간 수술영상 태깅이 가능한 원격협진지원시스템
US20240355217A1 (en) * 2023-04-24 2024-10-24 Deven Drane Computer implemented software and method for a virtual reality educational platform
CN116884286B (zh) * 2023-05-29 2024-03-19 华中科技大学同济医学院附属同济医院 一种基于vr的多人在线配合创伤急救护理规范化培训系统
US20250157164A1 (en) * 2023-11-10 2025-05-15 Autodesk, Inc. Shared 3d perspective viewing of an asset in an extended reality system
WO2025189405A1 (zh) * 2024-03-13 2025-09-18 中国科学院深圳先进技术研究院 一种基于医学模型内容库的三维模型使用方法
US12417713B1 (en) * 2024-12-18 2025-09-16 Mammen Thomas Use of real-time and storable image data stream for generation of an immersive virtual universe in metaverse or a 3-D hologram or image, for teaching and training students

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
EP1966767A2 (en) * 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
JP2009521985A (ja) * 2005-12-31 2009-06-11 ブラッコ イメージング エス．ピー．エー． ３Ｄデータセットのネットワーク（”ＤｅｘｔｒｏＮｅｔ”）上での、協同的でインタラクティブな可視化のためシステムおよび方法
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
WO2012033739A2 (en) * 2010-09-08 2012-03-15 Disruptive Navigational Technologies, Llc Surgical and medical instrument tracking using a depth-sensing device
US9063566B2 (en) * 2011-11-30 2015-06-23 Microsoft Technology Licensing, Llc Shared collaboration using display device
US20140176661A1 (en) * 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
RU2642941C2 (ru) * 2013-07-16 2018-01-29 Сейко Эпсон Корпорейшн Устройство обработки информации, способ обработки информации и система обработки информации
JP6659547B2 (ja) * 2013-12-20 2020-03-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療処置トレーニングのためのシミュレータシステム
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US10691398B2 (en) * 2014-09-30 2020-06-23 Accenture Global Services Limited Connected classroom
EP3234825A1 (en) * 2014-12-18 2017-10-25 Koninklijke Philips N.V. Head-mountable computing device, method and computer program product
CN105892686B (zh) * 2016-05-05 2018-10-09 刘昊 一种3d虚拟现实广播交互方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI714235B (zh) * 2019-03-25 2020-12-21 必揚實境科技股份有限公司 虛擬實境教學系統
TWI696085B (zh) * 2019-06-06 2020-06-11 崑山科技大學 虛擬實境輔助室內設計系統及其互動方法

Also Published As

Publication number Publication date
US20200038119A1 (en) 2020-02-06
WO2018175971A1 (en) 2018-09-27
EP3593344A1 (en) 2020-01-15
EP3593344A4 (en) 2021-01-06
CN109643530A (zh) 2019-04-16
IL269521A (en) 2019-11-28
JP2020515891A (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
TW201835878A (zh) 用於在虛擬環境中進行訓練和協作的系統和方法
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
US20250177062A1 (en) Surgical Navigation Inside A Body
US20210241534A1 (en) System and method for augmenting and synchronizing a virtual model with a physical model
US20190236840A1 (en) System and method for patient engagement
TW201912125A (zh) 雙模式增強現實外科手術系統和方法
TW202105406A (zh) 用於推薦手術程序之參數的系統及方法
Preim et al. Virtual and augmented reality for educational anatomy
US11925418B2 (en) Methods for multi-modal bioimaging data integration and visualization
US20210358218A1 (en) 360 vr volumetric media editor
Garg et al. Applications of augmented reality in medical training
Bhatti et al. AUGMENTED AND VIRTUAL REALITY IN RADIOLOGY: A COMPARATIVE ANALYSIS OF CLINICAL APPLICATIONS AND OUTCOMES
Coles Investigating augmented reality visio-haptic techniques for medical training
JP2022506708A (ja) 光学追跡のためのシステムおよび方法
Streuber et al. Training of patient handover in virtual reality
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
James A New Perspective on Minimally Invasive Procedures: Exploring the Utility of a Novel Virtual Reality Endovascular Navigation System
HK40009991A (zh) 用於患者参与的系统和方法
Obeid Development and Validation of a Hybrid Virtual/Physical Nuss Procedure Surgical Trainer
TW202206030A (zh) 用於四維血管造影之系統及方法
Blum Human-Computer Interaction for Medical Education and Training
Weiß A Mobile Augmented Reality Application to Improve Patient Education in Urology