[go: up one dir, main page]

TW201912125A - 雙模式增強現實外科手術系統和方法 - Google Patents

雙模式增強現實外科手術系統和方法 Download PDF

Info

Publication number
TW201912125A
TW201912125A TW107115781A TW107115781A TW201912125A TW 201912125 A TW201912125 A TW 201912125A TW 107115781 A TW107115781 A TW 107115781A TW 107115781 A TW107115781 A TW 107115781A TW 201912125 A TW201912125 A TW 201912125A
Authority
TW
Taiwan
Prior art keywords
patient
data
augmented reality
view
program instructions
Prior art date
Application number
TW107115781A
Other languages
English (en)
Inventor
阿隆 Y. 蓋里
摩爾德凱 艾維薩
Original Assignee
美商外科劇院有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商外科劇院有限責任公司 filed Critical 美商外科劇院有限責任公司
Publication of TW201912125A publication Critical patent/TW201912125A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

一種被配置來在跟蹤模式和非跟蹤模式兩者下操作的雙模式增強現實外科手術系統，其包括：頭戴式顯示器，該頭戴式顯示器被配置來提供患者的光學視圖並且將接收的資料內容引入該光學視圖，以形成該患者的增強現實視圖；並且包括內在跟蹤構件，該內在跟蹤構件被配置來確定外科醫生相對於該患者的位置以及視圖的角度和方向。該系統還包括增強現實計算系統，該增強現實計算系統包括一個或多個處理器；一個或多個電腦可讀有形儲存裝置；以及程式指令，該程式指令儲存在該一個或多個儲存裝置中之至少一者上以便由該一個或多個處理器中之至少一者執行。

Description

雙模式增強現實外科手術系統和方法
本發明係有關於雙模式增強現實外科手術系統和方法
外科手術流程往往可能複雜多變，對時間要求高，並且在範圍方面隨患者而變。例如，在動脈瘤修復術之情況下，針對修復點之費用或流程要求可能會取決於精確方位、尺寸等而變化。因此，流程之效率至關重要，並且基於患者專有的外科手術執行方位之區域幾何和物理性質之詳細規劃是首要的。為了實現新水平之手術前準備，3D CT及MRI影像目前越來越多地得到利用。然而，單單此等影像為外科手術預演帶來的益處並不顯著。此外，用於在外科手術之前或期間研究患者特定的解剖體的現有技術對患者可能具有侵入性。
以引用方式併入本文之美國專利第8,311,791號中已有描述的一種外科手術預演和準備工具，已被研發以將靜態醫學影像轉化成醫師可用以即時模擬醫學流程的動態、交互的多維全球面虛擬現實，六(6)個自由度模型(「MD6DM」)。
MD6DM提供之圖形模擬環境能夠使醫師體驗、規劃、執行及導航對全球面虛擬現實環境的干預。具體而言，MD6DM使外科醫生能夠使用由傳統的2維患者醫學掃描圖建立的唯一多維模型進行導航，從而在整個體積球面虛擬現實模型中給出6個自由度(即，線性的x、y、z和成角的偏航、俯仰、滾動)的球面虛擬現實。
MD6DM由患者自己的包括CT、MRI、DTI等的醫學影像的資料集合建立，並且患者專有。若外科醫生要求，則還可整合代表性腦部模型(諸如圖譜資料)來創建部分患者專有模型。模型從MD6DM上的任何點給出360°球面視圖。經由使用MD6DM，觀察者虛擬地定位在解剖體內部，並且可像站在患者身體內部一樣觀看和觀測解剖結構和病理結構兩者。觀察者可越過肩膀等上下觀看，並且將看到彼此相關的天然結構，就像它們在患者體內的存在方式一樣。內在結構之間的空間關係得以保留，並且可使用MD6DM來理解。
MD6DM的演算法採用醫學影像資訊，並且將它構建成球面模型、當「飛翔」在解剖結構內部時可從任意角度觀察之完全連續的即時模型。具體而言，在CT、MRI等採用真實之生物體並且將該真實之生物體解構成由數千個點建立的數百個薄片之後，MD6DM經由表示每一個內部和外部點之360°視圖來將該真實之生物體還原成3D模型。
在一個實例中，醫師可能想要利用MD6DM中之可用資訊，並且在手術室(OR)內部在實際之外科手術流程期間使用該資訊。然而，外科醫生可能在手術室中在流程期間已經使用顯微鏡或內窺鏡。因此，對於外科醫生而言，將眼睛移離顯微鏡或內窺鏡以觀看MD6DM或其他類型之患者掃描圖或資料，有可能降低效率、分散注意力及耗時。此外，在已經擁擠之手術室中添加用於觀察患者掃描圖和模型之其他設備和系統(諸如MD6DM)可能不切實際或不可行。
以引用方式併入本文之PCT專利申請案第PCT/US2016/056727號中已有描述的一種增強現實外科手術導航系統，已被研發以使醫師能夠在增強現實視圖中在實際之患者軀體頂部上方即時觀察用於跟蹤患者軀體的虛擬患者模型。然而，在增強現實視圖中跟蹤患者視圖並且對準虛擬模型可能會依賴於病房中可能並不總是可用於系統之外在跟蹤機構。具體而言，此類外在跟蹤機構可能價格昂貴、耗時並且實現起來不切實際。此外，醫師可能希望在可具有有限空間和可操控性之房間內工作時具有在外科手術流程期間利用來自其他系統之額外可用資訊的額外靈活性和能力。
此外，醫師可能在外科手術期間需要依賴於來自若干來源之資訊以便達到效果。然而，對於外科醫生而言，在外科手術期間對患者全神貫注可能至關重要，並且在外科手術期間目光移離患者以關注此類其他資訊可能並不方便、有困難或不切實際。
增強現實外科手術系統包括頭戴式顯示器，該頭戴式顯示器被配置來提供患者之光學視圖並且將接收之資料內容引入光學視圖，以形成患者之增強現實視圖。系統還包括增強現實計算系統，該增強現實計算系統包括一個或多個處理器；一個或多個電腦可讀有形儲存裝置；以及程式指令，該等程式指令儲存在該一個或多個儲存裝置中之至少一者上，以便由該一個或多個處理器中之至少一者執行。程式指令包括：第一程式指令，該等第一程式指令用於從複數個資料源接收複數個資料內容；第二程式指令，該等第二程式指令用於根據定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至該頭戴式顯示器以形成該患者之增強現實視圖；第三程式指令，該等第三程式指令用於接收指示有關與該複數個資料內容交互之請求的交互控制資料；以及第四程式指令，該等第四程式指令用於基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來即時操控該患者之增強現實視圖。
電腦程式產品包括一個或多個電腦可讀有形儲存裝置和儲存在該一個或多個儲存裝置中之至少一者上的程式指令。程式指令包括：第一程式指令，該等第一程式指令用於從複數個資料源接收複數個資料內容；第二程式指令，該等第二程式指令用於根據定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至頭戴式顯示器以形成該患者之增強現實視圖；第三程式指令，該等第三程式指令用於接收指示有關與該複數個資料內容交互之請求的交互控制資料；以及第四程式指令，該等第四程式指令用於基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來即時操控該患者之增強現實視圖。
增強現實外科手術方法包括如下步驟：從複數個資料源接收複數個資料內容；根據定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至頭戴式顯示器以形成該患者之增強現實視圖；接收指示有關與該複數個資料內容交互之請求的交互控制資料；以及基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來即時操控該患者之增強現實視圖。
一種被配置來在跟蹤模式和非跟蹤模式兩者下操作的雙模式增強現實外科手術系統，其包括：頭戴式顯示器，該頭戴式顯示器被配置來提供患者之光學視圖並且將接收之資料內容引入該光學視圖，以形成該患者之增強現實視圖；並且包括內在跟蹤構件，該內在跟蹤構件被配置來確定外科醫生相對於該患者之位置以及視圖之角度和方向。系統還包括增強現實計算系統，該增強現實計算系統包括一個或多個處理器；一個或多個電腦可讀有形儲存裝置；以及程式指令，該等程式指令儲存在該一個或多個儲存裝置中之至少一者上，以便由該一個或多個處理器中之至少一者執行。程式指令包括：第一程式指令，該等第一程式指令用於從複數個資料源接收複數個資料內容；第二程式指令，該等第二程式指令用於根據定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至該頭戴式顯示器以形成該患者之增強現實視圖；第三程式指令，該等第三程式指令用於接收指示有關與該複數個資料內容交互之請求的交互控制資料；第四程式指令，該等第四程式指令用於基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容傳送至該頭戴式顯示器來即時操控該患者之增強現實視圖；以及第五程式指令，該等第五程式指令用於當該增強現實外科手術系統在跟蹤模式下操作時，從該跟蹤構件接收跟蹤資訊，並且用於基於該接收之跟蹤資訊經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來自動地即時操控該患者之該增強現實視圖。
本發明還提供其他示例性實施方案，下文更詳細地描述此等其他實施方案中之一些但不是全部實施方案。
以下首字母縮略詞和定義將幫助理解詳細描述：
AR -增強現實-真實物理世界環境之直播視圖，該環境之元素由電腦生成之感測元素(諸如聲音、視訊或圖形)加強。
VR -虛擬現實-3維電腦生成環境，該環境可不同程度地由人探索並且與人交互。
HMD -頭戴式顯示器(圖 9 )是指可在AR或VR環境中使用之頭戴裝置。它可為有線或無線的。它還可包括一個或多個附件，諸如耳機、麥克風、HD攝像頭、紅外線攝像頭、手跟蹤器、位置跟蹤器等。
光學視圖 –在引入任何資料內容之前經由AR HMD觀察之穿通視圖，相當於在不具有AR HMD之情況下原本將觀察到的相同視圖。
控制器 -可包括按鈕及方向控制器的裝置。它可為有線或無線的。此裝置之實例是Xbox遊戲手柄、PlayStation遊戲手柄、Oculus touch等。
分割 -將數位影像劃分成多個片段(像素集合)的過程。分割子目的在於將影像之表示簡化和/或改變成更加有意義且更容易分析的內容。
裁剪 -垂直於視圖之角度將建模之解剖體的層(在某個時刻之一個預設厚度)移除以便使內在結構「逐切片」露出的過程。在橫向於/遠離中間的/近端之方向上將層移除。
SNAP 病例 -SNAP病例是指使用患者之一個或多個掃描圖(CT、MR、fMR、DTI等)以DICOM文件格式創建的3D紋理或3D物件。它還包括用於在3D紋理中過濾特定範圍並且為其他著色的分割之不同預設。還可包括放置在包括用來標記感興趣之特定點或解剖體的3D形狀、3D標籤、3D量測標記、用於指引之3D箭頭及3D外科手術工具的場景中之3D物件。外科手術工具和裝置已經被建模以用於教學和患者專有的預演，尤其是用於對動脈瘤夾子適當地設定尺寸。
場景 -是指3D虛擬空間，該3D虛擬空間包括其中的3D紋理和3D物件。
附加感測器 -允許從真實環境接收更多資訊以便加強虛擬體驗的裝置。例如，微軟Kinect、Leap Motion。
MD6DM -多維全球面虛擬現實，6個自由度模型。它提供的圖形模擬環境能夠使醫師體驗、規劃、執行及導航對全球面虛擬現實環境的干預。
所揭示之系統在建模系統(諸如示例性外科手術圖形工具(SNAP))上實現，該建模系統與手術室技術整合成一體來提供先進之3D功能和增強現實，從而允許外科醫生預先加強他們的外科手術表現和準備。SNAP工具向神經外科學提供唯一的虛擬-現實指引以確定最安全且最有效的路徑，以便例如除其他用途之外移除腦腫瘤並且治療血管異常。
SNAP工具輸入穿顱術之3D規劃、頭部位置、病理學之路徑方法，例如用於鎖孔技術和其他微創技術。SNAP允許外科醫生預先觀看期望之外科醫生眼睛視圖。
藉助SNAP工具，外科醫生可在手術室中利用特定患者之實際CT/MRI(以及其他)掃描圖時執行外科手術規劃，從而增強準確性及有效性。SNAP還提供如下新穎特徵：允許外科醫生以可旋轉之3D格式觀看動脈和其他重要結構的後面，該可旋轉之3D格式可被修改以使影像對外科醫生更加有用。例如，SNAP提供使影像旋轉並且使該影像半透明的能力，以幫助外科醫生視覺化手術。SNAP利用允許外科醫生執行「患者專有」之外科手術的真實「穿梭飛行」的先進成像技術。此工具在手術室外部提供準備支持，並且還可被用來將預規劃之路徑用到手術室本身中，以便在流程期間由外科醫生(及其工作人員)使用。
SNAP經由連接到OR手術中跟蹤導航系統來獲得外科手術工具、導航探針、顯微鏡焦點等的跟蹤坐標。SNAP提供使加強之態勢感知變慢的3D導航模型。SNAP可從被配置來收集影像或跟蹤/導航資訊的此等外科手術工具中之任一者接收此類資訊，並且此類資訊可由SNAP系統使用來致使顯示給外科醫生之高解析度影像對應於接收之資訊。例如，SNAP影像可跟蹤工具在所顯示影像中之方位，或例如基於由工具提供之視覺資訊來更新影像。
SNAP接近度警告系統以類似於如下各項的方式操作：指示和警告空勤人員以免達到可致使接近於地面和其他障礙物的接近度/駕駛操作的近地警告系統(GPWS)和機載防撞系統(ACAS)、地面防撞系統(TCAS)以及飛機上之其他類似系統。SNAP接近度警告系統操作包括下列主要階段：
SNAP接近度警告系統可自動地標記外科醫生需要避免的解剖結構。此類解剖結構包括纖維跟蹤、神經、脈管、動脈等。SNAP接近度警告系統允許將標記物(Markets)手動放置在3D或2D導航場景內。彼等標記物可標記障礙物及解剖結構以避免或標記外科醫生的導航目標。被放置之每個標記物可被標注，具有特定顏色、特定形狀等。SNAP接近度警告系統之警告的指示可為可視的(例如，顏色之改變)、有聲的(聲音)及其他。
SNAP可允許創建軌跡(Trajectory)。通過標記進入(Entry)點，然後使此進入點與上述標記/目標相關聯，SNAP創建允許從進入點導航至目標的軌跡。SNAP路徑規劃器允許外科醫生連接若干標記物、目標及進入點並且創建路徑。可創建多個路徑。路徑可為要遵循的所要路線或要避免的路徑。
SNAP給外科醫生提供視覺圖形指引。只要外科醫生將動作維持在指引之標記物內，他將從點A準確地到達點B(從進入點到目標)。該工具為公共機構(例如，醫院)及其相應之外科醫生提供機會，來減少外科手術錯誤，降低外科手術的浪費量和相關成本，縮短手術室時間，並且最小化流程的高風險本質。該工具提供了在神經外科訓練時維持高品質的機會，還實現了在手術室外面進行教學：用於外科手術技能之Halstedian訓練取決於多種多樣的大量病例，以及在醫院裡幾乎無止境的駐留時間。最新研發已經迫使重新看待Halstedian系統。Halstedian系統面臨之最新壓力群集包括受限之工作時間、增加之公共安全以及手術體驗之減少。
使用工具進行預演可減少對後續流程和調整的需要。例如，該工具在用於動脈瘤外科手術時，使用該工具可減少對調整或替換動脈瘤夾子的需要。夾子的調整和替換通常可能會導致暫時的阻塞延長和總的流程時間延長。此舉可能會提高總的流程風險。
如熟習此項技術者將理解，本文揭示之示例性實施方案可被實行為或可通常利用方法、系統、電腦程式產品或上述組合。因此，實施方案中之任一者可採用以下形式：完全硬體實施方案、用於在硬體上執行的完全軟體實施方案(包括韌體、駐留軟體、微代碼等)或將軟體方面與硬體方面組合的實施方案，上述實施方案在本文中通常都可以稱為「系統」。此外，實施方案中之任一者可採取電腦可用之儲存媒體上之電腦程式產品的形式，該電腦可用之儲存媒體具有在媒體中實施的電腦可用程式代碼。
例如，本文揭示之特徵可使用醫院環境中(諸如手術室中)所提供的聯網電腦系統1 實現，如圖 1 所示。此系統可在外科手術環境中提供，在該外科手術環境中外科醫生20 對由多個外科工作人員22 支持的患者5 進行手術。此類系統1 使用電腦網路12 將從聯網的一個或多個資料庫15A-15n 訪問資料的一個或多個伺服器(例如，PC)10A-10n 整合在一起。系統將執行專有軟體，該專有軟體被提供以實現本文描述之功能和其他特徵。一個或多個電腦20 可用以與使用一個或多個電腦匯流排或網路30 作為電腦18 與工具之間的介面連接到電腦20 的諸如外科手術探針/攝像頭32 的各種外科手術工具、其他外科手術工具34 和/或其他設備36 對接。應注意，在一些情況下，電腦18 、伺服器10 和資料庫15 中之全部可容納在單一伺服器平台中。
系統連接到高解析度3D顯示器40 ，在該3D顯示器40 上外科醫生可監測手術以及各種工具32 、34 和 36 的活動。在一些情況下，顯示器可能不具有3D性能。此外，下文描述之示例性頭戴式顯示器(HMD)可用以向外科醫生和/或他的/她的助手提供真實影像。一個或多個此類顯示器可諸如經由藉助於通訊網路(諸如網際網路)的連接從手術位置遠端地提供。
系統配置有患者專有參數7 ，該等患者專有參數7 包括患者之成像細節，該等成像細節包括自先前獲得之患者的可用CT和MRI影像製作的影像；以及其他資訊，該其他資訊涉及模擬的模型，諸如患者年齡、性別等等(其中之一些或全部可例如從醫學資料庫、實驗室或其他源等外在實體獲得)。系統利用從系統資料庫獲得的描述組織及器官特徵的組織資訊參數。系統可被配置來在希望的情況下藉助於通訊網路50 (諸如網際網路)與一個或多個外在實體60 交互。
任何合適的電腦可用(電腦可讀)媒體可用於儲存用於在電腦中的一個或多個上執行的軟體，以便實現所揭示之過程以及用於儲存所揭示之資料和資訊。電腦可用或電腦可讀媒體可為(例如但不局限於)電、磁、光學、電磁、紅外或半導體系統、裝備、裝置或傳播媒體。電腦可讀媒體的更具體實例(非詳盡列表)將包括以下各項：具有一個或多個導線的電連接；有形媒體諸如便攜式電腦軟盤、硬盤、隨機存取記憶體(RAM)、只讀記憶體(ROM)、可擦除可程式化只讀記憶體(EPROM或閃存)、光盤只讀記憶體(CDROM)，或其他有形光學或磁性儲存裝置；或傳輸媒體，諸如支持網際網路或內聯網的媒體。應注意，電腦可用或電腦可讀媒體可甚至包括另一種媒體，例如，程式可例如藉助於光學或磁性掃描從另一種媒體捕獲，然後若需要，以合適的方式編譯、解譯或以其他方式處理，然後儲存在任何可接受類型的電腦記憶體中。
在本文獻之上下文中，電腦可用或電腦可讀媒體可為可包含、儲存、通訊、傳播或輸送程式以便由指令執行系統、平台、裝備或裝置使用或與其連接的任何媒體，該指令執行系統、平台、裝備或裝置可包括任何合適的電腦(或電腦系統)，該任何合適的電腦(或電腦系統)包括一個或多個可程式化或專用處理器/控制器。電腦可用媒體可以包括處於基帶中或作為載波一部分的傳播資料訊號，其中實施有電腦可用程式代碼。電腦可用程式代碼可使用任何適當媒體(包括但不限於網際網路、有線線路、光纖電纜、射頻或其他方式)傳輸。
用於執行示例性實施方案的操作的電腦程式代碼可經由習知方式使用任何電腦語言寫入，該任何電腦語言包括但不限於解譯的或事件驅動的語言(諸如BASIC、Lisp、VBA或VBScript)，或GUI實施方案(諸如visual basic)，編譯的程式語言(諸如FORTRAN、COBOL或Pascal)，面向物件、有指令碼或無指令碼的程式語言(諸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等)，人工智慧語言(諸如Prolog)，即時嵌入式語言(諸如Ada)，或使用梯形邏輯的甚至更加直接或簡化的程式，匯編語言或使用適當機器語言的直接程式化。
可以將電腦程式指令儲存在可以指引(諸如由圖 1 之示例性系統1 描述的)計算裝置或系統或其他可程式化資料處理裝備以特定方式起作用的電腦可讀記憶體中，使得儲存在電腦可讀記憶體中的指令生成一種製品，該製品包括實現本文中指定之功能/動作的指令構件。
軟體包括專有電腦程式指令，該等專有電腦程式指令由提供給執行裝置或部件(其可包括本文定製和描述的通用電腦、專用電腦或控制器的處理器，或其他可程式化資料處理裝備或部件)來執行，使得專用電腦程式之指令在被執行時創建用於實現本文所指定之功能/動作的構件。因此，定製軟體之電腦程式指令用來致使一系列操作在執行裝置或部件或其他可程式化裝備上執行以便產生電腦實現的過程，使得該等指令在電腦或其他可程式化裝備上執行用於實現本揭示案中指定的功能/動作的步驟。此等步驟或動作可與操作員或人實現的步驟或動作和由其他部件或裝備提供的步驟或動作組合在一起，以便執行本發明之任意數目個示例性實施方案。定製軟體還可根據需要利用各種可商購軟體，諸如電腦作業系統、資料庫平台(例如，MySQL)或其他COTS軟體。
對於被稱為「外科手術導航先進平台」(SNAP)之示例性系統而言，實際患者之醫學影像被轉化成動態的交互式3D場景。此動態的交互式影像/模型為醫學成像創建嶄新的新穎和原始標準，並且具有許多應用。
SNAP提供給外科醫生(神經外科醫生等)、醫生以及他們的助手唯一的虛擬-現實指引，以確定最安全和最有效之路徑來移除腫瘤，並且例如當血管異常時治療異常。「外科手術導航先進平台」(SNAP)可用作獨立系統、或外科手術導航系統的應用程式，或可與用於使用第3方導航系統的流程類型之第3方導航系統一起使用。此等流程包括但不限於大腦、脊柱和耳鼻喉(ENT)。
SNAP允許外科醫生在進行外科手術之前分析並規劃特定患者的病例，然後將該規劃帶進手術室(OR)中，並且在進行外科手術期間結合導航系統使用該規劃。然後SNAP將導航資料呈現到具有多個觀察點之先進的活動間高品質3D影像中。
SNAP實際上是影像指引的外科手術系統，包括呈現外科手術流程之多個即時和動態的視線視圖(從不同/多個視角)的醫學成像裝置。影像包括掃描的醫學影像(基於掃描圖，諸如CT、MRI、超聲和X射線等)及外科手術儀器。還可包括即時視訊和基於視訊形式之顯微鏡或其他源的模型。SNAP提供給外科醫生即時3D交互式指引影像。解剖結構(即，頭、腦、膝、肩等)之取向可在軀體/患者之影像和掃描之醫學影像(CT、MRI、超聲、X射線等)兩者中被標記和預配準；因此，掃描之醫學影像的取向和患者在外科手術時真實解剖結構的取向被同步並且對準。
此外，上述預配準之標記提供球面參考，以便跟蹤外科手術儀器及OR顯微鏡(和/或外科醫生的頭)，因此允許在與掃描之醫學影像相關的空間中呈現外科手術儀器影像/模型。
患者在2D或3D中之解剖結構以及外科手術儀器的位置和取向可被即時同步，並且將處於與解剖結構相關之空間中的儀器的即時方位和取向以及標記呈現給外科醫生。
SNAP系統能夠為具有多個掃描資料集的病例做準備。內置的「融合」模式允許使用者選擇一個資料集來充當主資料集，並且添加將與主掃描資料集對準(「融合」)的次級資料集。
SNAP系統具有唯一的裁剪特徵。任何平面IG立體裁剪的特徵在於使用者可從任何希望的角度裁剪3D模型，從而本質上裁剪成模型並且移除某個區段以暴露模型的內在部分。裁剪平面是「裁剪」3D模型的平面，該平面由2個變數定義，平面法向(矢量)和平面位置(空間中平面穿過的點)。
此外，SNAP系統已知使任何平面IG立體裁剪從屬於場景中的3D移動元件。由於立體裁剪平面由法線和位置定義，因而我們可使用場景中的移動元件來定義用於使用者之該立體裁剪平面。元件如下：導航探針、3D控制器(全方位)、通道、IG觀察點(雙目攝像頭)等。
另一個特徵是傳遞函數。SNAP系統具有顯示「組織特異性強度」的特殊能力。原始之資料集切片被收集和堆疊以重建像素立方或所謂之體素立方。3D模型是立方體積的體素。傳遞函數用來將每個體素強度值映射給顏色及透明度。以此方式，我們可控制組織強度並且使外科醫生能夠觀看他通常看不到的東西。此新穎特徵允許外科醫生觀看動脈和其他重要結構的後面，其中一些直到現在還無法實現。
SNAP可在同一屏幕上或多個屏幕上的一個或多個窗口上呈現模型。SNAP之特徵和應用程式的實例、多個特徵可在屏幕上並列激活。
典型SNAP系統配置由下列主要部件組成：(1)針對移動性之安裝有手推車的系統；(2)醫學級隔離變壓器；(3)運行Windows 7作業系統之個人電腦(或伺服器)；(4)用於高品質圖形之高端nVIDIA圖形適配器；(5)27”或32”全HD觸摸屏顯示器；(6)醫學級鍵盤和滑鼠；以及(7)用於實現本文描述之特徵的SNAP軟體應用程式。此類系統由圖 2 的方塊圖展示，在圖 2 中安裝有移動手推車之示例性SNAP系統70 包括觸摸屏監測器71 ，該觸摸屏監測器71 被配置有PC72 及功率系統73 ，其中之全部可提供在手術室中。示例性系統70 連接到設置在手術室中之導航系統75 (諸如示例性影像指引的外科手術(IGS)系統)，該SNAP系統70 可從導航系統75 接收資料，使得SNAP系統70 可顯示跟隨導航系統之操作的高解析度真實3D影像，從而基於正在進行手術之專有患者的影像有效地加強導航系統的操作和顯示性能以及SNAP高解析度成像性能。
外科手術導航先進平台(SNAP)意欲用作軟體介面和影像分割系統，以便將成像資訊從CT或MR醫學掃描器傳遞至輸出文件。組織分割窗口被提供來編輯和更新組織分割，以便為病例做準備。組織分割之改變反映在3D影像中，並且結果可作為案例文件的一部分進行保存。它還意欲作為手術前和手術中軟體，用於模擬/評估外科手術治療選項。外科手術導航先進平台(SNAP)是一種用於模擬/評估外科手術治療選項的手術前和手術中工具。
系統通常將提供可適於手術室的EMC抗擾性，並且將利用觸摸屏操作來導航、分類和影像操控。系統還可使用根據需要載入系統中之病例文件來儲存單個患者病例。外科醫生可使用掃描之資訊(例如，MR或CT DIACOM影像資料文件)和特定患者之患者資料從頭開始創建病例。此等病例可根據需要進行編輯及更新。編輯窗口可用以編輯且操控影像和文件。
可提供各種器官和組織之通用模型，該等通用模型可基於患者成像或其他診斷工具或實驗室輸入與患者專有的模型疊加。因此，對於不是特別關注之器官或其他特徵，系統可使用通用模型(例如，眼睛或其他器官)，在該等通用模型下患者專有之資訊對意欲的治療並不需要。
外科手術導航先進平台(SNAP)利用即時導航資料顯示患者專有之動態和交互式3D模型。當執行導航會話時，工具可用來經由指向及觸摸患者上之可見結構(即，鼻尖、耳垂)並驗證處於SNAP屏幕上之指向3D模型中的相同方位的指針來驗證(提供在SNAP高解析度顯示器上的)SNAP導航指針方位。
圖 3 展示由軟體模塊驅動之主處理例行程式的實例，該主處理例行程式生成由SNAP工具提供的影像。影像生成器110 使用儲存在資料庫115 上的資訊(諸如通用組織影像、患者專有影像等)生成即時組織影像，以供顯示在顯示器160 上。影像生成器110 指派每個片段(陰影紋理等)和機械性質的視覺表示，並且其他建模特征將提供真實影像。
類似地，使用者工具生成器將生成外科手術工具的真實影像，該等真實影像動態地顯示成與由影像生成器生成的組織影像交互。在外科手術環境中，顯示在顯示器160 上之工具影像可表示實際的外科手術工具介面140 ，該外科手術工具介面140 的表示可由例如影像生成器110 或使用者工具生成器120 生成用於顯示器。外科手術工具介面可與由影像生成器110 生成之組織影像動態地交互。同樣，關於工具影像之說明及細節可儲存在資料庫115 中。應注意，因為顯示器160 可為觸摸屏顯示器，所以顯示器160 可充當使用者介面130 以及其他裝置，諸如鍵盤、滑鼠或其他輸入裝置。而且，顯示器160 可包括頭戴式顯示器作為顯示器160 之一部分，以提供給外科醫生和/或其他參與者真實的視覺影像。
SNAP工具還提供給外在系統允許系統與向外科醫生提供導航或其他功能之其他外在系統對接的介面150 ，使得SNAP工具可生成與外在系統之輸出一致的影像，例如，基於外在系統之操作反映導航或更新成像。然後，SNAP工具可適當地更新其顯示器影像，以便在與圖形工具交互的高解析度3D影像中向外科醫生提供整合的視圖。
一旦外科醫生選擇了外科手術工具和其他物件，它們就被整合到由顯示器160 顯示之虛擬外科手術場景中並且成為模擬情景的整合元件，該整合元件包括應用於彼等所選擇項目中之每一個的真實視覺特徵和機械性質以及操作性質特徵，例如，顯示之剪刀具有真實機械特性並且將像真實剪刀所做的一般進行切割，並且動脈瘤夾子在放置在脈管處時會阻塞血流。以此方式，顯示之工具以真實方式但以外科醫生可操控的方式，諸如經由使各種特徵透明，使影像旋轉，使流程反向等與組織模型交互，以便提供在真實世界中不可能實現的視點。
顯示給外科醫生之交互式影像/場景由各種元件構成，該等元件為體積再現元件和表面再現元件兩者。此外，每個元件，體積元件或表面元件，與一個或多個體積元件交互。元件之間的交互包括但不限於物理交互，諸如碰撞模型，該碰撞模型被實現來表示由元件之移動和/或再成形所引起之元件之間的交互作用，該交互作用根據諸如壓力、元件材料(彈性、黏性等)的物理條件和諸如碰撞角度和元件取向的碰撞條件來複製元件之實際物理移動。
再現過程方程可考慮所有的照明陰影和陰影效果現象，並且產生併入有所有視覺元件的最終輸出串流。
使用組織繪製或魔術組織棒演算法創建並且與掃描之影像整合成一體的解剖結構是影像的整體部分。例如，最初是部分的並且在應用魔術組織繪製和組織棒演算法後是完整的脈管解剖結構將變成完整的解剖結構，此完整的解剖結構具有由原始掃描影像和新創建之結構組合而成的結構。此外，控件(複選框)允許選擇新創建的結構，並且在開啟(展示新創建的結構)或關閉(隱藏新創建的結構)之間切換。另外，提供選項，以便選擇以體積和或網路/多邊形再現/重建來再現新創建的結構。
所研發之演算法和軟體工具為使用者提供介面來以2維或3維方式(例如，線、圓、臨床、球等)繪製任何幾何形狀或徒手繪製形狀。包括/封閉/捕獲在該幾何形狀(2維或3維)內之區域被定義為「標記區域」。然後，使用者能夠界定任何視覺特性和任何機械性質，並且將其指派給該「標記區域」，例如，包括繪製影像的各部分，使它們透明或給它們繪製陰影。虛擬光源可配備有包括如下各項的特性：空間中之球形方位、光之顏色、光之強度、縱橫比、虛擬源之幾何形狀等。
利用組織繪製、魔術組織棒演算法或標記區域創建的結構可被指派所要之機械性質特性。任何解剖結構之機械性質係數(剛度、彈性等)可由使用者調節以創建量身定做之機械行為。
系統提供即時跟蹤和反饋，以在外科手術期間跟蹤真實外科手術儀器。跟蹤系統傳遞外科手術儀器相對於真實解剖結構(例如，患者頭上之特定點)的取向和方位的空間方位和坐標。隨後，將儀器的方位和取向發送到外科手術模擬系統。基於患者特定模擬和儀器的方位和取向，向外科醫生提供反饋。此類反饋的一個實例可為，系統向外科醫生生成針對他正在剖開之組織類型的反饋，並且萬一他剖開了健康的腦組織而不是腫瘤，則警告外科醫生。其他實例為在外科醫生將器具應用於真實解剖結構上(例如，應用於真實患者身上之動脈瘤上的動脈瘤夾子)後，系統允許外科醫生旋轉模擬影像/模型，該模擬影像/模型基於跟蹤按真實解剖結構來精確取向，並且觀察和評估所放置植入物的方位和效力。
真實儀器的此種跟蹤和反饋可以多種方式完成，諸如經由使用視訊系統來跟蹤儀器和患者特徵的方位和移動。或者(或除視訊跟蹤外)，可修改外科手術儀器以實現跟蹤，諸如經由使用GPS、加速度計、磁性偵測或其他位置和運動偵測裝置和方法。此類修改的儀器可例如使用WiFi、藍芽、MICS、有線USB、RF通訊或其他通訊方法(例如，藉助於圖 3 之外科手術工具介面140 )與SNAP工具通訊。
SNAP系統被加強和修改，以便使用MD6DM特徵來併入本文描述的增強現實外科手術系統。MD6DM提供圖形模擬環境，該圖形模擬環境能夠使醫師在添加了大幅擴展上文描述之SNAP系統的功能和有用性的增強現實特徵的情況下，在全球面虛擬現實環境中體驗、規劃、執行和導航外科手術干預。
此修改導致產生本文描述和圖 4 中示出之雙模式增強現實外科手術系統(「ARS」)400 ，該雙模式增強現實外科手術系統(「ARS」)400 給予外科醫生402 或另一個使用者(諸如助手、護士或其他醫生)從外在源引入之資料內容結合相同頭戴式顯示器(「HMD」)408 上患者404 的光學視圖的整合視圖。此整合視圖提供給外科醫生402 患者402 的「超人」類型的視圖。換言之，例如經由佩戴HMD408 並且連接到360 MD6DM模型，外科醫生402 能夠看患者404 並且觀看身體「內部」。這是因為基於患者404 之CT及MRI影像之360 模型藉助於HMD408 視圖與患者對齊並且投影到患者上。因此，當外科醫生402 看患者404 時，就好像他可以觀看患者404 之內在結構(諸如腫瘤或血管)似的，好像患者404 之身體是透明的一般。然後，外科醫生402 可在患者404 周圍走動，如將進一步所描述，並且透明視圖根據外科醫生402 相對於患者404 之視角自動與新視角/角度對齊。因此，外科醫生402 可對患者404 執行流程，同時具有關於患者404 之「超人」或「x射線」資訊並且精確地知道在流程期間將面對何種結構或障礙物。例如，若外科醫生402 鑽孔到頭骨中，則他可使用HMD408 來預期並識別在鑽孔之軌跡點處何物位於頭骨下方，因此根據需要調整流程和鑽孔路徑以便有效地到達希望的區進行治療。應理解，其他流程(例如像涉及心臟、肝等的流程)也可從使用HMD408 受益，儘管本文之實例可能是明確指代腦。
應理解，資料內容可包括從各種資料源引入並且在ARS計算系統412 處接收，以便與患者404 之光學視圖整合在一起之各種類型的資料。例如，資料饋入可包括來自內窺鏡406 (或任意類型之視訊攝像頭410 )的直播視訊饋入、從圖 2 中描述之SNAP系統70 接收的SNAP模型、諸如特定於該患者404 之從醫學技術資料系統414 引入的醫學記錄的資料或外科醫生402 可發現在不看患者404 的情況下在外科手術流程期間對視圖有益之任何其他合適的資料內容。
應理解，HMD408 是穿透或透明的。因此，外科醫生402 在忙於患者404 時仍可以看見他自己的手或工具。並且同時觀看引入之內容(諸如360模型)。在一個實例中，HMD408 可為混合式或合併式現實顯示器，其中外在攝像頭捕獲所使用之外科醫生402 的手或工具的即時直播視訊，並且藉助於HMD408 將直播視訊反饋引入和自動融合到增強現實視圖中。因此，外科醫生402 能夠藉助於他的手或工具維持他自己的動作的視圖，同時具有患者內部的「超人」視圖以及視情況任何其他增強內容。應理解，對工具之引用可包括由外科醫生402 操作的徒手工具或由電腦或機器人自發地或藉助於人的控制操作的任何種類的機器人工具。
應理解，儘管ARS計算系統412 被描述為與SNAP系統70 不同的電腦系統，但是在一個實例中，SNAP系統70 可併入有本文描述的ARS計算系統412 的功能以提供單一流線型ARS計算系統412 。
如將更加詳細描述，ARS計算系統412 可在由外科醫生402 選擇之兩種模式中之一種下操作。具體而言，ARS計算系統412 可在跟蹤模式或非跟蹤模式下操作。在非跟蹤模式下，ARS計算系統412 將內容引入HMD408 中而不考慮HMD408 或外科醫生402 的位置或方位。換言之，引入的內容可與HMD408 所觀察到的一樣保持靜態，即使當外科醫生移動他的頭並且從不同角度和視角觀察患者404 時。在跟蹤模式下，HMD408 包括用於跟蹤相對於患者404 之方位和位置的機構。因此，ARS計算系統412 可基於HMD408 的跟蹤位置，因此基於外科醫生402 之位置來將內容引入HMD408 中。例如，外科醫生402 可同時檢查預建立模型中以及患者404 中存活的特定患者404 解剖體。系統400 給予進入MD6DM模型並且物理地移動使用者身體並且在特定結構處環顧的能力。使用者可360°環顧目標解剖體或病變，並且探索病變後面來觀看它如何更改患者解剖體。
應理解，儘管跟蹤機構被描述為併入HMD408 中，但是跟蹤機構可定位在外科醫生402 上、處於HMD408 處或接近於其的單獨裝置(未示出)。在一個實例中，使用整合到HMD408 中或靠近HMD408 的攝像頭完成跟蹤。攝像頭被配置來識別患者404 上的相關標記並且確定外科醫生402 相對於患者的位置以及視圖的角度和方向。
應理解，與外在跟蹤技術相反，利用此類內在跟蹤技術能夠實現可用於例如在急診室或重症監護病房中之輕便且靈活的解決方案，在該急診室或重症監護病房中空間和資源可能會比外在跟蹤機構可用的手術室中更加有限。
應理解，因為資料內容和真實光學影像疊加在頭戴式顯示器(HMD)408 上，所以利用ARS系統400 ，外科醫生402 的眼睛無需離開患者404 就可看來自顯微鏡或內窺鏡406 之饋入、患者掃描圖、規劃軟體或MD6DM模型。
應進一步理解，被修改以併入MD6DM之特徵的如上文所描述和在圖 2 中所示之SNAP系統70 的全部或部分能夠經由獲得患者DICOM 2D影像和建立即時的虛擬模型或獲得預建立模型來實現ARS系統400 。例如，資料從資料庫416 獲得。ARS計算系統412 利用虛擬模型以及其他資料輸入，包括在跟蹤模式下進行手術時跟蹤資料，以形成患者104 之增強現實視圖。
ARS系統400 還包括控制構件(例如控制器418 )，以便與引入之不同資料內容交互並且操控該引入之不同資料內容。應理解，可替代控制器418 而使用各種合適類型之控制構件。在一個實例中，腳踏板或介面可用來與引入之資料內容交互並且操控該引入之資料內容。在一個實例中，語音識別技術可併入HMD408 中，以便從外科醫生402 接收控制命令、解釋和處理控制命令。用於與資料內容交互並且操控資料內容的控制命令可例如包括指令以在外科手術流程期間在不同之資料內容源之間循環。例如，藉助於HMD408 之視場可被限制，因此ARS計算系統412 被配置來顯示對應於有限數目個資料源的有限數目個窗口或視圖。然而，外科醫生402 可希望在外科手術流程期間觀察來自一個以上源的資料內容，與該資料內容交互並且操控該資料內容。因此，控制器418 可能能夠使外科醫生402 在適當之時間根據需要選擇對應於不同資料源的資料。應理解，包括腳踏板或語音識別技術的控制構件即使在外科手術流程期間外科醫生402 的手被佔用時也能夠使外科醫生402 執行此類交互，而無需分散注意力並且暫停最短。
在一個實例中，用於與資料內容交互並且操控資料內容的控制構件可利用ARS系統400 的運動跟蹤功能。例如，外科醫生402 可能希望觀察從第一資料源接收之第一資料內容，同時觀察處於第一位置處之患者404 ，但是，隨後可能希望觀察從第二資料源接收之第二資料內容，同時觀察處於第二位置處之患者404 。因此，ARS計算系統412 可被配置來當外科醫生402 處於第一位置中時引入第一資料內容，但是，隨後當外科醫生處於第二位置中時切換至第二資料內容。在一個實例中，資料內容可取決於外科醫生402 之視角而顯現或消失。例如，外科醫生402 可能不希望觀察患者404 之醫學記錄直接與觀察患者404 一起完成，但是可能希望經由簡略地掃視特定方向來觀看醫學記錄。
應理解，除了選擇被引入以供顯示的內容源之外，外科醫生402 還可使用控制器418 或所描述之其他控制構件，以與所選擇之資料內容交互並且導航所選擇之資料內容。例如，控制器418 可用來在患者404 之醫學記錄之間滾動或導航，以便導航SNAP模型等。
應理解，在一個實例中，還可將本文描述之可被引入HMD408 中並且被整合以形成增強現實視圖的各種類型之內容類似地饋入監測器或顯示屏中，以便使房間或環境內部之許多人藉助於單一顯示器觀察到資訊和內容。
應理解，多種類型之視圖可由ARS計算系統412 生成以便藉助於HMD408 觀察。例如，如圖 5A 中所示，藉助於HMD408 之增強視圖502 可包括3D模型504 、直播視訊饋入506 及患者記錄508 。應理解，儘管示例性增強視圖502 示出從3個不同資料源引入的資料內容，但是可將來自任意合適數目之資料源的資料內容引入增強視圖502 中。還應理解，儘管在示出之實例中，引入之資料內容以特定方式佈置，包括鄰近於直播視訊饋入506 之3D模型504 定位在視圖502 右上方，並且患者記錄508 定位在視圖502 左上方，但是不同的資料內容可以任何合適方式佈置。例如，如圖 5B 中所示，增強視圖512 包括從定位在增強視圖512 內之相對端部處的2個不同資料源引入的資料內容。圖 5C 示出其他實例，其中增強視圖524 包括從單一資料源引入的資料內容。
圖 6 示出包括位於患者之光學視圖頂部的3D模型的增強視圖602 。應理解，為了使3D模型與患者之光學視圖準確地對齊，ARS計算系統412 應在跟蹤模式下操作。應進一步理解，增強視圖之任意組合(包括不需要跟蹤之引入資料(諸如患者記錄)以及可從跟蹤受益之資料(諸如3D模型))可藉助於HMD408 呈現。例如，示例性增強視圖(未示出)可呈現跟蹤模式下患者之光學視圖頂部的3D模型以及偏到一側的不要求跟蹤之患者記錄。
ARS計算系統412 引入增強視圖中之增強視圖的佈局、資料內容之源以及資料內容之源的數目可由系統管理員預定義。在一個實例中，ARS計算系統412 可被配置來使外科醫生402 能夠藉助於所描述之控制器構件即時調整增強視圖的定位和佈局。
圖 7 示出ARS系統700 的示例性方塊圖。ARS計算系統412 被配置來作為第一輸入接收SNAP 3D模型702 。ARS計算系統412 進一步被配置來作為第二輸入接收直播視訊饋入704 。當在跟蹤模式下操作時，ARS計算系統412 進一步被配置來作為第三輸入接收導航系統跟蹤資料706 。在一個實例中，跟蹤資料706 指示外科醫生102 相對於患者104 的位置和取向。應理解，基於此類導航系統跟蹤資料706 ，ARS計算系統412 不但能夠確定外科醫生102 在房間中位於何處而且能夠確定外科醫生102 正在看哪裡。例如，外科醫生102 可位於患者104 身體的右側。然而，例如，外科醫生102 可從該位置觀察患者104 的頭頂或患者104 的頭的側面。應理解，除位置之外，ARS計算系統412 能夠計算視角並且精確標點視角，因此在手術室中為外科醫生提供更加唯一和不同的體驗。ARS計算系統412 進一步被配置來從控制構件(諸如控制器418 )接收指引或控制輸入710 。
ARS計算系統412 基於跟蹤輸入706 和指引/控制輸入710 處理輸入702 和704 ，並且將它們引入HMD408 中以形成患者404 的增強現實視圖。應理解，ARS計算系統412 可被配置來從多個合適的輸入源接收任何合適數目個輸入，以便向外科醫生402 提供可能有助於執行特定外科手術的更完整資訊。例如，ARS計算系統412 可被配置來接收患者醫學記錄、其他直播視訊饋入或指示手術室內外科醫生的方位的其他跟蹤和感測器資訊。
在ARS計算系統412 在跟蹤模式下操作的實例中，ARS計算系統412 被配置來藉助於HMD408 將SNAP 3D虛擬模型呈現給外科醫生402 ，使得虛擬模型與外科醫生402 之患者404 的實際視圖疊加，以便向外科醫生提供患者404 之增強現實視圖。ARS計算系統412 依賴於導航系統跟蹤資料706 ，以使呈現之虛擬模型與外科醫生402 之患者404 的實際視圖同步。然而，當在非跟蹤模式下操作時，仍可將SNAP 3D虛擬模型藉助於HMD408 引入增強視圖中，並且呈現給外科醫生402 ，儘管應理解，在沒有啟用跟蹤功能的情況下，SNAP 3D虛擬模型將不會自動地與患者404 之實際視圖對準並且與該實際視圖疊加，而是將需要一些形式之指引或控制輸入710 來導航。
應理解，在跟蹤模式下，當外科醫生402 之位置、取向或視角改變時，增強現實視圖可被連續地即時更新。因此，當外科醫生402 在患者周圍移動並且調整他對患者404 不同位置之焦點時，虛擬模型被調整成使得增強視圖與此類移動同步並且在外科醫生402 之視角來看是真的。
此外，該系統可容納任意數目個其他使用者，諸如其他外科醫生、護士、助手或可位於本端或遠端地定位並且藉助於通訊網路(諸如網際網路)連接到系統之其他人。系統可利用來自此等其他使用者中之任一個或全部，以進一步使用來自此類其他使用者之資訊(諸如支持醫學流程之第二外科醫生的動作)增強視圖。此外，無論使用HMD顯示器還是一些其他類型之顯示器，系統可向此等其他使用者中之任一者提供外科醫生觀看的增強影像。因此，在一些實施方案中，助手之動作，諸如進行護理來協助流程之動作，還可作為增強視圖之一部分或其他增強視圖來顯示。
再次返回參考圖 4 ，應理解，外科醫生402 可與ARS系統400 ，具體而言與不同資料內容(諸如SNAP 3D模型)以例如包括如下各項之若干方式交互： 頭移動–在跟蹤模式中，使用HMD408 之可旋轉感測器，ARS系統400 可跟蹤外科手術402 之頭移動和角度。此舉允許使用者基於他們的移動和角度調整來與資料內容交互。 控制器-經由使用控制器418 ，外科醫生402 可利用箭頭鍵或使用其他按鈕在希望的方向上移動，能夠激活與資料內容相關聯的特定功能。 語音-由感測器(諸如麥克風)接收之語言關鍵詞或短語激活特定功能。例如，「跳至標記1」將使使用者移動至預定義標記1位置。當協作可用時，「移動至玩家2視圖」使主要使用者移動到第2「玩家」的位置並且在那時使主要使用者之視圖取向成第2「玩家」的取向。 位置感測器-在跟蹤模式下，使用位置跟蹤感測器來跟蹤移動，外科醫生402 之移動將轉換成資料內容內之虛擬移動或其他相關聯的功能。
在跟蹤模式下，除觀看真實世界之外，外科醫生402 與SNAP 3D模型交互。在真實之世界環境中，SNAP 3D模型虛擬地定位在外科醫生指定的地方。應理解，除上述患者之外，位置可包括在房間中桌子上方、患者的3D印刷部分上方、與具有特殊標記之工具對齊及房間中任何其他合適的地方。
應理解，配準過程可需要將從資料庫416 接收之SNAP 3D模型與患者404 之解剖部分對準。對準基於從患者自己之手術前掃描圖(上面已建立SNAP 3D模型)檢索的資訊和對準/配準過程資訊。在一個實例中，經由從併入HMD408 中之跟蹤構件或獨立的跟蹤裝置(未示出)接收關於外科醫生404 在HMD408 處或靠近HMD408 的配準資訊並且基於所接收之資訊對準病例來實現對準。在另一個實例中，經由允許使用者將它與解剖結構手動地對準來實現對準。例如，這可使用控制器418 來完成。
應理解，儘管在整個描述中可參考結合外科手術流程(具體而言，腦腫瘤)使用系統400 ，但是系統400 可類似地在多種外科手術應用上在患者404 之各種解剖部位上使用。
為了實現跟蹤模式同時提供不依賴於病房中外在硬體的輕便解決方案，HMD408 包括內在跟蹤機構，而不是依賴於外在跟蹤機構。經由將SNAP 3D模型以及其他適當之資料內容併入單一增強視圖中，HMD408 顯示外科醫生將在外科手術期間需要的全部資訊。具體而言，例如，外科醫生可(藉助於內窺鏡、顯微鏡等)可在眼睛完全無需離開患者404 的情況下從他的視角感受直播視訊，觀看患者之掃描圖並且觀察醫學記錄。
在一個實例中，解剖結構(即，頭、腦、膝、肩等)之取向被標記並且使患者軀體和掃描之醫學影像(CT、MRI、超聲、X射線等)兩者預配準。因此，掃描之醫學影像的取向和在外科手術中評估之患者的真實解剖結構被同步和對準。在一個實例中，HMD408 可具有將與全部掃描之影像和SNAP 3D模型同步和對準的內置HD光學系統(顯微鏡、攝像頭等)。此舉允許消除傳統外科手術顯微鏡及彼等系統之當前限制。在不改變透鏡和迴路的情況下，更大數目個外科醫生可在「顯微鏡」條件下在真實患者上方使用單個HMD408 和頭對接站協作。頭對接站用來使非常複雜之場景在重要的微外科環境中對於直接手術者而言保持穩定，同時允許外在觀察者看到完全相同之AR加強的「範圍內」場景。
ARS系統400 將進一步參考圖 8 中所示之使用方法800 來理解。在步驟802 處，資料內容在ARS計算系統412 處從一個或多個源接收。在一個實例中，接收資料內容可包括被上傳到ARS計算系統412 中並且被處理來創建SNAP 3D模型之患者專有的DICOM (CT、MRI等)資料。接收資料還可包括接收記錄、接收直播視訊饋入和/或接收控制/指引資訊。在一個實例中，在跟蹤模式下，接收資料內容之步驟還可包括從內在跟蹤機構接收跟蹤資訊。
在804 處，ARS計算系統412 根據定義的佈局整合從資料源接收之不同資料內容並且將資料內容引入HMD408 之視圖中以形成增強現實視圖，諸如圖 5A-5C 和圖 6 中所示之視圖。在一個實例中，在跟蹤模式下，整合資料內容之步驟還可包括基於接收之跟蹤資訊將SNAP 3D模型與光學患者視圖對準。
在步驟806 處，ARS計算系統412 使用接收之控制/指引資訊來調整引入之資料以便更改增強現實視圖。例如，ARS計算系統412 可響應於外科醫生402 藉助於控制構件作出此類選擇而在引入到增強現實視圖中之不同資料內容之間循環。在一個實例中，ARS計算系統412 可響應於從控制構件接收之輸入而操控資料內容。在一個實例中，在跟蹤模式中，調整引入之資料以更改增強現實視圖的步驟包括基於響應於外科醫生402 移動並且因此致使更新之跟蹤資訊被通訊至ARS計算系統412 來更新SNAP 3D模型與光學患者視圖對齊。
在示例性應用中，ARS系統400 被配置來協助外科醫生402 執行穿顱術。例如，可接收指示在頭骨上應啟動流程之所要目標的穿顱術內容資料。經由使用跟蹤資料，可將穿顱術內容資料引入患者404 的光學視圖中，並且與該光學視圖對準以形成將在流程期間指引外科醫生402 之增強現實視圖。應理解，ARS系統400 可經由向外科醫生402 提供此類增強現實視圖來幫助顯著地消除穿顱術錯誤。具體而言，此類增強現實視圖可幫助提高流程準確性，該流程準確性通常僅為75%。在另一個示例性應用中，ARS系統400 可類似地用來幫助外科醫生402 將導管更準確地插入患者404 中。
應理解，手術室中存在外科手術期間跟蹤使用者狀態並且可向外科醫生提供本文尚未論述之相關資訊的許多系統。因此，應理解，ARS系統400 使HMD408 能夠將可包括此類相關資訊的任何合適組合之增強現實視圖呈現給外科醫生402 。此舉允許外科醫生402 保持聚焦於外科手術，同時在眼睛無需離開患者的情況下仍能夠處理外科手術期間需要的資訊。
在一個實例中，本文描述之ARS系統400 和方法800 可用於協作模式。在此模式中，外科醫生402 可在需要時選取允許其他遠端使用者加入和觀測或幫助流程。使用者可按如下各項與遠端使用者通訊：1)麥克風/揚聲器用來收聽所有其他遠端使用者；2)麥克風用來跟所有遠端使用者對話；以及3)遠端使用者之視訊串流可包括為引入到HMD408 之增強現實視圖中之資料內容中之一種。
應理解，任何合適類型之頭戴式顯示器(HMD)408 可與ARS系統400 一起使用。圖 9 示出HMD900 之實例。例如，HMD900 包括無線天線(未示出)。因此，HMD900 可無線地操作，因此在手術室中不再需要額外電繩。
HMD900 還包括處理器和記憶體(未示出)。因此，在一個實例中，HMD900 可被配置來接收、儲存和處理資料內容而無需依賴於ARS計算系統412 。例如，HMD900 可在進入手術室執行外科手術流程之前預載入有與特定患者和流程相關的適當資料內容。此舉大幅提高了病房內之靈活性和移動性，而無需將額外設備再帶入已經擁擠之房間中。
在一個實例中，HMD900 可能不具有足夠之記憶體或處理性能來儲存和處理全部資料內容。因此，在一個實例中，ARS計算系統412 可被配置來生成縮減版本或簡化版本資料內容，並且在外科醫生402 將HMD900 帶入病房中以執行外科手術流程之前將縮減版本傳遞給HMD900 。
應理解，本文描述之示例性系統和方法可以若干方法進行縮放。例如，儘管示例性系統和方法可能已經參考單一HMD描述，但是應理解，系統可包括在外科手術期間在手術室內具有多個HMD的多個外科醫生或使用者，基於他們在房間內之方位和取向，全部外科醫生或使用者相對同時地接收他們自己的定製增強現實體驗。此外，在外科手術期間未在OR之遠端使用者或者甚至在OR之使用者可從OR中之其他使用者中之一者的視角體驗增強現實體驗。
應理解，任意數目個合適輸入源可整合到在跟蹤模式下或非跟蹤模式下可適於提供給外科醫生可能有助於在外科手術期間加以參考之適當資訊的增強現實體驗中。
圖 10 是用於實現圖 4 之示例性AR計算系統412 之示例性電腦1000 的示意圖。示例性電腦1000 意欲表示各種形式之數位電腦，包括膝上電腦、台式電腦、手持電腦、平板電腦、智慧電話、伺服器和其他類似類型之計算裝置。電腦1000 包括藉助於匯流排1012 可操作地由介面1010 連接的處理器1002 、記憶體1004 、儲存裝置1006 以及通訊埠3008 。
處理器1002 藉助於記憶體1004 處理指令以便在電腦1000 內執行。在示例性實施方案中，可使用多個處理器以及多個記憶體。
記憶體1004 可為揮發性記憶體或非揮發性記憶體。記憶體1004 可為電腦可讀媒體，諸如磁盤或光盤。儲存裝置1006 可為電腦可讀媒體，諸如軟盤裝置、硬盤裝置、光盤裝置、磁帶裝置、快閃記憶體、相變記憶體或其他類似的固態儲存裝置或者裝置陣列，包括其他配置的儲存區域網路中的裝置。電腦程式產品可有形地實施在電腦可讀媒體(諸如記憶體1004 或儲存裝置1006 )中。
電腦1000 可耦接到一個或多個輸入和輸出裝置(諸如顯示器1014 、印表機1016 、掃描器1018 以及滑鼠1020 )。
雖然示例性系統、方法等等已經經由描述實例來示出，並且雖然實例已經相當詳細地描述，但是這並非意在將所附申請專利範圍的範疇限定或以任何方式限制於此類細節。當然，出於描述本文所描述之系統、方法等之目的來描述部件或方法的每個可設想之組合是不可能的。熟習此項技術者將很容易想到其他優勢和修改。因此，本發明不限於所展示或描述之特定細節和說明性實例。因此，本申請案意欲涵蓋落在所附申請專利範圍的範疇內的替代物、修改和變化。此外，前面的描述並非意在限制本發明。相反，本發明的範疇由所附申請專利範圍及其等效物確定。
就術語「包括(includes)」或「包括(including)」在本說明書或申請專利範圍中的使用範疇而言，其意在以與術語「包括(comprising)」在申請專利範圍中用作過渡詞時被解釋類似之方式具有包括性。此外，對於所採用之術語「或(or)」(例如，A或B)而言，其意在表示「A或B或兩者」。當申請者意在指示「僅A或B而不是兩者」時，則將使用術語「僅A或B而不是兩者」。因此，在本文中術語「或」的使用是包括性的，而不是排他性的使用。參見Bryan A. Garner所著的A Dictionary of Modern Legal Usage 624 (第2版，1995年)。另外，就術語「在...中(in)」或「到...中(into)」在本說明書或申請專利範圍中的使用範疇而言，其意在另外表示「在...上(on)」或「到...上(onto)」。另外，就術語「連接」在本說明書或申請專利範圍中的使用範疇而言，它不僅旨在說明「直接連接至」，而旨在說明「間接連接至」，諸如經由另一個部件或多個部件連接。
本發明之許多其它示例實施方案可以經由上述特徵的各種組合來提供。雖然已在上文中使用特定實施例和實施方案來描述本發明，但是熟習此項技術者應當瞭解，可以使用各種替代方案，並且等同物可以替代本文所述的元件和/或步驟，而未必會背離本發明的意圖範疇。為使本發明適於特定情形或者適於特定需要，可能需要修改，而不會背離本發明的意圖範疇。本發明不意圖限制於本文所述之特定實現方式和實施方案，但是應當對申請專利範圍進行最廣泛的合理解釋以涵蓋所有新穎和不明顯的實施方案，無論是字面的還是等同的實施方案、揭示的還是未揭示的實施方案均被申請專利範圍涵蓋。
5、404‧‧‧患者
7‧‧‧患者專有參數
10A~10n‧‧‧伺服器
12‧‧‧電腦網路
15、15A~15n、115、416‧‧‧資料庫
18‧‧‧電腦
20‧‧‧外科醫生、電腦
22‧‧‧外科工作人員
30‧‧‧電腦匯流排或網路
32‧‧‧外科手術探針/攝像頭
34‧‧‧其他外科手術工具
36‧‧‧其他設備
40‧‧‧3D顯示器
50‧‧‧通訊網路
60‧‧‧外在實體
70‧‧‧示例性SNAP系統
71‧‧‧觸摸屏監測器
72‧‧‧PC
73‧‧‧功率系統
75‧‧‧導航系統
110‧‧‧影像生成器
120‧‧‧使用者工具生成器
130‧‧‧使用者介面
140‧‧‧外科手術工具介面
150、1010‧‧‧介面
160‧‧‧顯示器
400‧‧‧雙模式增強現實外科手術系統(「ARS」)
402‧‧‧外科醫生
406‧‧‧內窺鏡
408‧‧‧頭戴式顯示器(「HMD」)
410‧‧‧視訊攝像頭
412‧‧‧ARS計算系統
414‧‧‧醫學技術資料系統
418‧‧‧控制器
502、512、602‧‧‧增強視圖
504‧‧‧3D模型
506‧‧‧直播視訊饋入
508‧‧‧患者記錄
700‧‧‧ARS系統
702、704‧‧‧輸入
706‧‧‧導航系統跟蹤資料、跟蹤輸入
710‧‧‧指引/控制輸入
800‧‧‧方法
802、804、806‧‧‧步驟
900‧‧‧HMD
1000‧‧‧示例性電腦
1002‧‧‧處理器
1004‧‧‧記憶體
1006‧‧‧儲存裝置
1014‧‧‧顯示器
1016‧‧‧印表機
1018‧‧‧掃描器
1020‧‧‧滑鼠
專利或申請案文件含有至少一張黑白照片。在請求並支付必要費用後，本事務所將提供帶有黑白照片附圖之本專利或專利申請案的副本。附圖中示出了結構，其與以下提供之詳細說明一起描述所主張保護的發明的示例性實施方案。相似元件以相同元件符號標識。應理解，作為單一部件展示的元件可用多個部件替換，並且作為多個部件展示的元件可用單一部件替換。附圖並未按比例，出於說明的目的，某些元件可能被放大。
圖 1 示出展示用於利用可與本文中揭示之改進一起使用的示例性SNAP系統之示例性系統結構和介面的方塊圖。
圖 2 示出展示用於示例性SNAP系統之示例性SNAP工具部件的方塊圖。
圖 3 示出展示用於示例性SNAP系統之示例性軟體介面的方塊圖。
圖 4 示出示例性增強現實外科手術系統。
圖 5A-5C 示出經由HMD之示例性增強現實視圖。
圖 6 示出示例性增強現實視圖。
圖 7 示出示例性增強現實外科手術系統的方塊圖。
圖 8 示出示例性增強現實外科手術方法。
圖 9 示出示例性頭戴式顯示器(HMD)。
圖 10 是用於實現圖 4 之示例性ARS計算系統之示例性電腦的示意圖。

Claims (20)

  1. 一種增強現實外科手術系統，其包括： 一頭戴式顯示器，該頭戴式顯示器被配置來提供一患者之一光學視圖並且將接收之資料內容引入該光學視圖，以形成該患者之一增強現實視圖；以及 一增強現實計算系統，該增強現實計算系統包括一個或多個處理器；一個或多個電腦可讀有形儲存裝置；以及程式指令，該等程式指令儲存在該一個或多個儲存裝置中的至少一個上，以便由該一個或多個處理器中的至少一個執行，該等程式指令包括： 第一程式指令，該等第一程式指令用於從複數個資料源接收複數個資料內容； 第二程式指令，該等第二程式指令用於根據一定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至該頭戴式顯示器以形成該患者之一增強現實視圖； 第三程式指令，該等第三程式指令用於接收指示有關與該複數個資料內容交互之請求的交互控制資料；以及 第四程式指令，該等第四程式指令用於基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來即時操控該患者之該增強現實視圖。
  2. 如申請專利範圍第1項之系統，其中該複數個資料內容包括一直播視訊串流、一SNAP 3D患者模型及一患者健康記錄中之至少一者。
  3. 如申請專利範圍第1項之系統，其中該交互控制資料包括表示有關在該複數個資料內容之間循環並且選擇該複數個資料內容中之至少一者以供在該患者之該增強現實視圖中觀察的一請求的資料。
  4. 如申請專利範圍第1項之系統，其中該交互控制資料包括有關導航該複數個資料內容的該內容的一請求。
  5. 如申請專利範圍第1項之系統，其中： 該增強現實外科手術系統被配置來在一跟蹤模式或一非跟蹤模式中之一者中操作； 該頭戴式顯示器包括內在跟蹤構件，該內在跟蹤構件被配置來確定一外科醫生相對於該患者之位置以及視圖的角度和方向；並且 該等程式指令還包括第五程式指令，該等第五程式指令用於當該增強現實外科手術系統在一跟蹤模式下操作時，從該跟蹤構件接收跟蹤資訊，並且用於基於該接收之跟蹤資訊經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來自動地即時操控該患者之該增強現實視圖。
  6. 如申請專利範圍第5項之系統，其中該等第五程式指令進一步被配置來自動地並且即時地對準包括具有該患者的一SNAP 3D模型的資料內容與該患者之該光學視圖，並且形成該患者之該增強現實視圖。
  7. 如申請專利範圍第5項之系統，其中該跟蹤構件包括一攝像頭，該攝像頭被配置來識別該患者上之相關標記，並且使用該等相關標記來確定一外科醫生相對於該患者之位置以及視圖的角度和方向。
  8. 如申請專利範圍第1項之系統，其還包括用於生成該交互控制資料的交互控制構件，其中該交互控制構件包括併入該HMD中的一控制器、一腳踏板和語音識別技術。
  9. 如申請專利範圍第1項之系統，其中該複數個資料內容包括對該患者執行一流程的一外科醫生的手或一工具中之至少一者或其組合的直播視訊饋入，並且其中該等第四程式指令進一步被配置來將該直播視訊饋入與該患者之該光學視圖自動融合並且形成該患者之該增強現實視圖。
  10. 一種電腦程式產品，該等電腦程式產品包括一個或多個電腦可讀有形儲存裝置和儲存在該一個或多個儲存裝置中之至少一個上的程式指令，該等程式指令包括： 第一程式指令，該等第一程式指令用於從複數個資料源接收複數個資料內容； 第二程式指令，該等第二程式指令用於根據一定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至頭戴式顯示器以形成該患者之一增強現實視圖； 第三程式指令，該等第三程式指令用於接收指示有關與該複數個資料內容交互之一請求的交互控制資料；以及 第四程式指令，該等第四程式指令用於基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來即時操控該患者之該增強現實視圖。
  11. 如申請專利範圍第9項之電腦程式產品，其中該複數個資料內容包括一直播視訊串流、一SNAP 3D患者模型及一患者健康記錄中之至少一者。
  12. 如申請專利範圍第9項之電腦程式產品，其中該交互控制資料包括表示有關在該複數個資料內容之間循環並且選擇該複數個資料內容中之至少一者以供在該患者之該增強現實視圖中觀察之一請求的資料。
  13. 如申請專利範圍第9項之電腦程式產品，其中該交互控制資料包括有關導航該複數個資料內容之該內容的一請求。
  14. 如申請專利範圍第9項之電腦程式產品，其中： 該電腦程式產品被配置來在一跟蹤模式或一非跟蹤模式中之一者中操作；並且 該等程式指令還包括第五程式指令，該等第五程式指令用於當在一跟蹤模式下操作時，從併入該頭戴式顯示器中之該跟蹤構件接收跟蹤資訊，並且用於基於該接收之跟蹤資訊經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來自動地即時操控該患者之該增強現實視圖。
  15. 如申請專利範圍第13項之電腦程式產品，其中該跟蹤構件包括一攝像頭，該攝像頭被配置來識別該患者上之相關標記並且使用該等相關標記來確定一外科醫生相對於該患者之位置以及視圖之角度和方向。
  16. 一種增強現實外科手術方法，包括如下步驟： 從複數個資料源接收複數個資料內容； 根據一定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至頭戴式顯示器以形成該患者之增強現實視圖； 接收指示有關與該複數個資料內容交互之一請求的交互控制資料；以及 基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來即時操控該患者之該增強現實視圖。
  17. 如申請專利範圍第15項之方法，其中基於該接收之交互控制資料即時操控該患者之該增強現實視圖的該步驟包括在該複數個資料內容之間循環並且選擇該複數個資料內容中之至少一者以供在該患者之該增強現實視圖中觀察。
  18. 如申請專利範圍第15項之方法，其中基於該接收之交互控制資料即時操控該患者之該增強現實視圖的該步驟包括導航該複數個資料內容之該內容。
  19. 如申請專利範圍第15項之方法，還包括以下步驟： 接收一指令來切換至跟蹤模式； 確定一外科醫生相對於該患者之位置以及視圖之角度和方向； 接收跟蹤資訊； 基於該接收之跟蹤資訊經由更新該整合之複數個資料內容自動地即時操控該患者之該增強現實視圖；以及 將該更新的整合之複數個資料內容通訊至該頭戴式顯示器。
  20. 一種被配置來在一跟蹤模式和一非跟蹤模式兩者下操作的雙模式增強現實外科手術系統，該系統包括： 一頭戴式顯示器，該頭戴式顯示器被配置來提供一患者之一光學視圖並且將接收之資料內容引入該光學視圖，以形成該患者之一增強現實視圖；並且包括內在跟蹤構件，該內在跟蹤構件被配置來確定一外科醫生相對於該患者之位置以及視圖之角度和方向； 一增強現實計算系統，該增強現實計算系統包括一個或多個處理器；一個或多個電腦可讀有形儲存裝置；以及程式指令，該等程式指令儲存在該一個或多個儲存裝置中之至少一者上，以便由該一個或多個處理器中之至少一者執行，該等程式指令包括： 第一程式指令，該等第一程式指令用於從複數個資料源接收複數個資料內容； 第二程式指令，該等第二程式指令用於根據一定義之佈局整合該複數個資料內容並且將該整合之複數個資料內容通訊至該頭戴式顯示器以形成該患者之一增強現實視圖； 第三程式指令，該等第三程式指令用於接收指示有關與該複數個資料內容交互之一請求的交互控制資料； 第四程式指令，該等第四程式指令用於基於該接收之交互控制資料經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來即時操控該患者之該增強現實視圖；以及 第五程式指令，該等第五程式指令用於當該雙模式增強現實外科手術系統在一跟蹤模式下操作時，從該跟蹤構件接收跟蹤資訊，並且用於基於該接收之跟蹤資訊經由更新該整合之複數個資料內容和將該更新的整合之複數個資料內容通訊至該頭戴式顯示器來自動地即時操控該患者之該增強現實視圖。
TW107115781A 2017-09-08 2018-05-09 雙模式增強現實外科手術系統和方法 TW201912125A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/699,686 2017-09-08
US15/699,686 US10861236B2 (en) 2017-09-08 2017-09-08 Dual mode augmented reality surgical system and method

Publications (1)

Publication Number Publication Date
TW201912125A true TW201912125A (zh) 2019-04-01

Family

ID=65631410

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107115781A TW201912125A (zh) 2017-09-08 2018-05-09 雙模式增強現實外科手術系統和方法

Country Status (7)

Country Link
US (2) US10861236B2 (zh)
EP (1) EP3662452A4 (zh)
JP (1) JP2020533681A (zh)
CN (1) CN109464195B (zh)
IL (1) IL273103A (zh)
TW (1) TW201912125A (zh)
WO (1) WO2019051080A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764220B (zh) * 2020-07-17 2022-05-11 丹麥商藍色海洋機器人設備公司 從一個或多個遠端使用者裝置控制移動機器人裝置的方法
TWI821721B (zh) * 2021-02-05 2023-11-11 中強光電股份有限公司 醫療用影像輔助系統及醫療用影像輔助方法

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
WO2015052586A2 (en) 2013-10-10 2015-04-16 Imascap Methods, systems and devices for pre-operatively planned shoulder surgery guides and implants
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US10470645B2 (en) 2017-05-22 2019-11-12 Gustav Lo Imaging system and method
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019245854A2 (en) 2018-06-19 2019-12-26 Tornier, Inc. Extended reality visualization of range of motion
JP7213899B2 (ja) * 2018-06-27 2023-01-27 センティエーアール インコーポレイテッド 視線に基づく拡張現実環境のためのインターフェース
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
EP3968886A1 (en) 2019-05-14 2022-03-23 Howmedica Osteonics Corporation Bone wall tracking and guidance for orthopedic implant placement
DE102019116269A1 (de) * 2019-06-14 2020-12-17 apoQlar GmbH Videobild-Übertragungseinrichtung, Verfahren zur Live-Übertragung und Computerprogramm
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
US11288802B2 (en) 2019-07-17 2022-03-29 Gustav Lo Systems and methods for displaying augmented anatomical features
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
AU2020369596B2 (en) 2019-10-25 2024-03-21 SentiAR, Inc. Electrogram annotation system
CN114667538A (zh) * 2019-11-15 2022-06-24 奇跃公司 用于在外科手术环境中使用的观看系统
US12472013B2 (en) 2019-11-26 2025-11-18 Howmedica Osteonics Corp. Virtual guidance for correcting surgical pin installation
WO2021113370A1 (en) * 2019-12-02 2021-06-10 The General Hospital Corporation Systems and methods for multi-modal bioimaging data integration and visualization
US12133772B2 (en) * 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12220176B2 (en) 2019-12-10 2025-02-11 Globus Medical, Inc. Extended reality instrument interaction zone for navigated robotic
EP4076257A1 (en) 2019-12-18 2022-10-26 Howmedica Osteonics Corporation Surgical guidance for surgical tools
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11983824B2 (en) * 2020-01-31 2024-05-14 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
WO2021221749A1 (en) 2020-04-29 2021-11-04 Howmedica Osteonics Corp. Mixed-reality humeral-head sizing and placement
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
DE102020205976A1 (de) * 2020-05-12 2021-11-18 Siemens Healthcare Gmbh Anpassen einer erweiterten und/oder künstlichen Realität
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN111728697B (zh) * 2020-07-21 2024-11-05 中国科学技术大学 一种基于头戴式三维增强现实设备的手术训练和导航装置
US12236536B2 (en) 2020-08-17 2025-02-25 Russell Todd Nevins System and method for location determination using a mixed reality device and a 3D spatial mapping camera
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
WO2022113085A1 (en) * 2020-11-29 2022-06-02 Xact Robotics Ltd. Virtual simulator for planning and executing robotic steering of a medical instrument
US12340479B2 (en) * 2020-12-15 2025-06-24 Surgical Theater, Inc. System and method for automatic transfer function
WO2022130395A1 (en) * 2020-12-15 2022-06-23 Point 2 Point Production Ltd. A remote medical proctoring system and method thereof
US12033746B2 (en) 2021-01-08 2024-07-09 Expanded Existence, Inc. System and method for medical procedure room information exchange
US12308109B2 (en) 2021-01-08 2025-05-20 Expanded Existence Inc. System and method for medical procedure optimization
US12094599B2 (en) 2021-01-08 2024-09-17 Expanded Existence, Inc. System and method for medical procedure room set up optimization
US12324708B2 (en) * 2021-02-17 2025-06-10 Derek Duong Augmented reality dental surgery
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
DE102021111146A1 (de) * 2021-04-29 2022-11-03 Medicad Hectec Gmbh Augmented Reality Intra-OP
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
DE102021207950A1 (de) 2021-07-23 2023-01-26 Carl Zeiss Meditec Ag Verfahren und System zur Bestimmung einer Lage zumindest eines Objekts in einem Operationssaal
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
WO2023021451A1 (en) 2021-08-18 2023-02-23 Augmedics Ltd. Augmented reality assistance for osteotomy and discectomy
WO2023052566A1 (en) * 2021-09-30 2023-04-06 Leica Instruments (Singapore) Pte. Ltd. Devices and systems for use in imaging during surgery
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
WO2023064429A1 (en) * 2021-10-13 2023-04-20 Smith & Nephew, Inc. Dual mode structured light camera
CA3236128A1 (en) 2021-10-23 2023-04-27 Nelson STONE Procedure guidance and training apparatus, methods and systems
US12482192B2 (en) * 2021-11-03 2025-11-25 The Regents Of The University California Collaborative mixed-reality system for immersive surgical telementoring
CN114745523A (zh) * 2022-02-22 2022-07-12 清华大学 基于增强现实的手术麻醉患者辅助监控系统及方法
US12422921B2 (en) * 2022-03-14 2025-09-23 Daniel BAIRAMIAN Augmented reality point of view synchronisation system
EP4511809A1 (en) 2022-04-21 2025-02-26 Augmedics Ltd. Systems and methods for medical image visualization
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention
EP4531058A1 (en) * 2023-09-28 2025-04-02 Koninklijke Philips N.V. Visualization for medical interventions
EP4625429A1 (en) * 2024-03-27 2025-10-01 OLYMPUS Winter & Ibe GmbH Surgical information system and method of operating the same, method of providing a sequence of views on a 3d model
CN119811686B (zh) * 2025-01-24 2025-08-19 云南师范大学 基于ar技术的外科微创手术数据处理方法及系统
CN120897178B (zh) * 2025-10-09 2025-12-16 南通康盛医疗器械有限公司 一种手术台数据传输方法及系统

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1008128A3 (nl) 1994-03-10 1996-01-23 Materialise Nv Werkwijze voor het ondersteunen van een voorwerp vervaardigd door stereolithografie of een andere snelle prototypevervaardigingswerkwijze en voor het vervaardigen van de daarbij gebruikte steunkonstruktie.
BE1008372A3 (nl) 1994-04-19 1996-04-02 Materialise Nv Werkwijze voor het vervaardigen van een geperfektioneerd medisch model uitgaande van digitale beeldinformatie van een lichaamsdeel.
US5623582A (en) 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
US5765561A (en) 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5826206A (en) 1996-03-12 1998-10-20 Training Inovations Group, Llc Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
IL123073A0 (en) 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US6113395A (en) 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP3559495B2 (ja) 2000-03-28 2004-09-02 京セラ株式会社 誘電体磁器組成物およびそれを用いた誘電体共振器並びに非放射性誘電体線路
US6939138B2 (en) 2000-04-12 2005-09-06 Simbionix Ltd. Endoscopic tutorial system for urology
AU2001260559A1 (en) 2000-05-19 2001-11-26 Simbionics Ltd. Endoscopic tutorial system for the pancreatic system
US20020059284A1 (en) 2000-10-20 2002-05-16 Ran Bronstein Method for rapid transfer of data with a multi-spline model
IL143255A (en) 2001-05-20 2015-09-24 Simbionix Ltd Endoscopic ultrasonography simulation
US7493153B2 (en) 2001-06-13 2009-02-17 Volume Interactions Pte., Ltd. Augmented reality system controlled by probe position
FR2836372B1 (fr) 2002-02-28 2004-06-04 Obl Procede et dispositif pour la mise en place d'implants dentaires
SE0202863D0 (sv) 2002-09-30 2002-09-30 Goeteborgs University Surgical Improved computer-based minimal-invasive surgery simulation system
SE525157C2 (sv) 2002-12-03 2004-12-14 Mentice Ab Simuleringssystem för invasiv kirurgi
US7505809B2 (en) * 2003-01-13 2009-03-17 Mediguide Ltd. Method and system for registering a first image with a second image relative to the body of a patient
US7850456B2 (en) 2003-07-15 2010-12-14 Simbionix Ltd. Surgical simulation device, system and method
US7101383B1 (en) 2003-11-26 2006-09-05 Van Ess Lester J Laparoscopic instrument and method for its use
AT413709B (de) 2004-06-28 2006-05-15 Andritz Ag Maschf Vorrichtung zum kontinuierlichen trocknen einer faserstoffbahn
US20060036167A1 (en) 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US8702580B2 (en) 2004-10-06 2014-04-22 Brainlab Ag Method and device for assisting in a tissue treatment
US8480404B2 (en) 2004-11-30 2013-07-09 Eric A. Savitsky Multimodal ultrasound training system
JP2006223374A (ja) 2005-02-15 2006-08-31 Olympus Corp 手術支援装置、手術支援システム及び手術支援方法
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070129626A1 (en) 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
US20070134637A1 (en) 2005-12-08 2007-06-14 Simbionix Ltd. Medical simulation device with motion detector
WO2007108776A2 (en) 2005-12-31 2007-09-27 Bracco Imaging S.P.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ('dextronet')
GB0609988D0 (en) 2006-05-19 2006-06-28 Materialise Nv Method for creating a personalized digital planning file for simulation of dental implant placement
US20120150243A9 (en) 2006-08-31 2012-06-14 Catholic Healthcare West (Chw) Computerized Planning Tool For Spine Surgery and Method and Device for Creating a Customized Guide for Implantations
DE102006056884A1 (de) 2006-12-01 2008-06-05 Siemens Ag Verfahren und CT-System zur Durchführung einer Cardio-CT-Untersuchung eines Patienten
WO2008076079A1 (en) 2006-12-19 2008-06-26 Bracco Imaging S.P.A. Methods and apparatuses for cursor control in image guided surgery
US8543338B2 (en) 2007-01-16 2013-09-24 Simbionix Ltd. System and method for performing computerized simulations for image-guided procedures using a patient specific model
US8500451B2 (en) 2007-01-16 2013-08-06 Simbionix Ltd. Preoperative surgical simulation
GB0703141D0 (en) 2007-02-19 2007-03-28 Materialise Dental Nv Dual transfer device for guided direct bonding
DE102007053008A1 (de) 2007-11-05 2009-05-14 Repetzki, Sebastian, Dr.-Ing. Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage
US8956165B2 (en) 2008-01-25 2015-02-17 University Of Florida Research Foundation, Inc. Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment
US9396669B2 (en) 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US9679499B2 (en) 2008-09-15 2017-06-13 Immersion Medical, Inc. Systems and methods for sensing hand motion by measuring remote displacement
JP5215828B2 (ja) 2008-12-02 2013-06-19 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
GB0822590D0 (en) 2008-12-11 2009-01-21 Materialise Nv Orthotic prosthetic cushioned device and method of making the same
WO2010083272A1 (en) 2009-01-15 2010-07-22 Simquest Llc Interactive simulation of biological tissue
US8685093B2 (en) 2009-01-23 2014-04-01 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
US9024972B1 (en) * 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
WO2010132606A1 (en) 2009-05-12 2010-11-18 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment
US9104791B2 (en) 2009-05-28 2015-08-11 Immersion Corporation Systems and methods for editing a model of a physical system for a simulation
US8504136B1 (en) * 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US10580325B2 (en) 2010-03-24 2020-03-03 Simbionix Ltd. System and method for performing a computerized simulation of a medical procedure
EP2542296A4 (en) * 2010-03-31 2014-11-26 St Jude Medical Atrial Fibrill INTUITIVE USER INTERFACE CONTROL FOR REMOTE NAVIGATION OF A CATHETER AND 3D MAPPING AND VISUALIZATION SYSTEMS
WO2012033739A2 (en) 2010-09-08 2012-03-15 Disruptive Navigational Technologies, Llc Surgical and medical instrument tracking using a depth-sensing device
US9788905B2 (en) 2011-03-30 2017-10-17 Surgical Theater LLC Method and system for simulating surgical procedures
JP6072017B2 (ja) 2011-06-10 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学形状センシングに伴う動的な制約
CN102354345A (zh) 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
CN107822690B (zh) 2012-05-25 2020-10-02 外科手术室公司 具有不用手的控制的混合图像/场景再现器
JP5929645B2 (ja) 2012-09-06 2016-06-08 株式会社デンソー 物理量センサ
US9681982B2 (en) * 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
CA2902550A1 (en) 2013-02-26 2014-09-04 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
EP2981205A4 (en) * 2013-04-04 2017-02-15 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
TW201505603A (zh) 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統
US9990771B2 (en) 2013-08-28 2018-06-05 Aurelian Viorel DRAGNEA Method and system of displaying information during a medical procedure
CN104700384B (zh) * 2013-12-04 2017-12-15 中国科学院深圳先进技术研究院 基于增强现实技术的展示系统及展示方法
CN103735312B (zh) * 2013-12-11 2016-01-27 中国科学院深圳先进技术研究院 多模影像超声引导手术导航系统
WO2015154069A1 (en) 2014-04-04 2015-10-08 Surgical Theater LLC Dynamic and interactive navigation in a surgical environment
WO2015179446A1 (en) 2014-05-20 2015-11-26 BROWND, Samuel, R. Systems and methods for mediated-reality surgical visualization
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3280344B1 (en) 2015-04-07 2025-01-29 King Abdullah University Of Science And Technology System for utilizing augmented reality to improve surgery
CA2997965C (en) * 2015-10-14 2021-04-27 Surgical Theater LLC Augmented reality surgical navigation
WO2017144934A1 (en) * 2016-02-26 2017-08-31 Trophy Guided surgery apparatus and method
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106296805B (zh) * 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
CN106901834A (zh) * 2016-12-29 2017-06-30 陕西联邦义齿有限公司 微创心脏外科手术的术前规划及手术虚拟现实模拟方法
CN106859767A (zh) * 2017-03-29 2017-06-20 上海霖晏网络科技有限公司 一种手术导航方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764220B (zh) * 2020-07-17 2022-05-11 丹麥商藍色海洋機器人設備公司 從一個或多個遠端使用者裝置控制移動機器人裝置的方法
US11619935B2 (en) 2020-07-17 2023-04-04 Blue Ocean Robotics Aps Methods of controlling a mobile robot device from one or more remote user devices
TWI821721B (zh) * 2021-02-05 2023-11-11 中強光電股份有限公司 醫療用影像輔助系統及醫療用影像輔助方法
US12003892B2 (en) 2021-02-05 2024-06-04 Coretronic Corporation Medical image assistance system and medical image assistance method

Also Published As

Publication number Publication date
US20210090344A1 (en) 2021-03-25
JP2020533681A (ja) 2020-11-19
CN109464195A (zh) 2019-03-15
WO2019051080A1 (en) 2019-03-14
IL273103A (en) 2020-04-30
CN109464195B (zh) 2021-12-17
US10861236B2 (en) 2020-12-08
US20190080515A1 (en) 2019-03-14
EP3662452A1 (en) 2020-06-10
EP3662452A4 (en) 2021-09-15
US11532135B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
CN109464195B (zh) 双模式增强现实外科手术系统和方法
US12232817B2 (en) Surgical navigation inside a body
CN105992996B (zh) 外科手术环境中的动态和交互式导航
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
JP2022540898A (ja) 外科手術を遠隔監督するための拡張現実システムおよび方法
JP7763168B2 (ja) 外科手術環境において使用するための視認システム
US20210353371A1 (en) Surgical planning, surgical navigation and imaging system
HK1262572A1 (zh) 双模式增强现实外科手术系统和方法
JP2022506708A (ja) 光学追跡のためのシステムおよび方法
James A New Perspective on Minimally Invasive Procedures: Exploring the Utility of a Novel Virtual Reality Endovascular Navigation System
HK1227126B (zh) 外科手术环境中的动态和交互式导航
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
HK1227126A1 (zh) 外科手术环境中的动态和交互式导航