TWI879521B - 物件追蹤方法、物件追蹤系統及非暫態電腦可讀取儲存媒體 - Google Patents
物件追蹤方法、物件追蹤系統及非暫態電腦可讀取儲存媒體 Download PDFInfo
- Publication number
- TWI879521B TWI879521B TW113113039A TW113113039A TWI879521B TW I879521 B TWI879521 B TW I879521B TW 113113039 A TW113113039 A TW 113113039A TW 113113039 A TW113113039 A TW 113113039A TW I879521 B TWI879521 B TW I879521B
- Authority
- TW
- Taiwan
- Prior art keywords
- tracking
- trackable
- electronic device
- spatial relationship
- anchor
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本揭示內容提供物件追蹤方法、物件追蹤系統及非暫態電腦可讀取儲存媒體。物件追蹤方法適用於用以追蹤目標物件的物件追蹤系統,且包含:藉由第一追蹤設備,取得電子裝置與錨點物件之間的第一空間關係資訊;藉由第二追蹤設備,取得錨點物件與目標物件之間的第二空間關係資訊;以及藉由資訊處理器,依據第一空間關係資訊及第二空間關係資訊,計算目標物件相對於電子裝置的空間資訊。
Description
本揭示內容係有關於一種方法及系統,特別是指一種物件追蹤方法及系統。
在物件追蹤的領域中,一些相關技術可能使用一些追蹤技術,例如追蹤器、紅外線發光二極體、光學碼(例如:快速響應矩陣碼(QR code))等。然而,這些相關技術在追蹤微小物件(例如:手術刀)時可能面對一些問題。舉例來說,大多數的追蹤器因為物理上的限制(例如:重量、尺寸等)而不適用於微小物件。紅外線發光二極體與光學碼則容易被遮擋或弄髒,從而失去效用。一些相關技術則為了追蹤設計及創造一個特定環境,此可能無法廣泛適用於各種不同的場地,並可能花費大量資金。因此,有必要提供新的方法來解決上述問題。
本揭示內容的一態樣為一種物件追蹤方法。該物件追蹤方法適用於用以追蹤一目標物件的一物件追蹤系統,且包含:藉由一第一追蹤設備,取得一電子裝置與一錨點物件之間的一第一空間關係資訊;藉由一第二追蹤設備,取得該錨點物件與該目標物件之間的一第二空間關係資訊;以及藉由一資訊處理器,依據該第一空間關係資訊及該第二空間關係資訊,計算該目標物件相對於該電子裝置的一空間資訊。
本揭示內容的另一態樣為一種物件追蹤系統。該物件追蹤系統用以追蹤一目標物件,並包含一電子裝置、一第一追蹤設備、一第二追蹤設備以及一資訊處理器。該第一追蹤設備用以取得該電子裝置與一錨點物件之間的一第一空間關係資訊。該第二追蹤設備用以取得該錨點物件與該目標物件之間的一第二空間關係資訊。該資訊處理器用以依據該第一空間關係資訊及該第二空間關係資訊,計算該目標物件相對於該電子裝置的一空間資訊。
本揭示內容的另一態樣為一種非暫態電腦可讀取儲存媒體,具有一電腦程式用以執行一物件追蹤方法,其中該物件追蹤方法適用於用以追蹤一目標物件的一物件追蹤系統,且包含:藉由一第一追蹤設備,取得一電子裝置與一錨點物件之間的一第一空間關係資訊;藉由一第二追蹤設備,取得該錨點物件與該目標物件之間的一第二空間關係資訊;以及藉由一資訊處理器,依據該第一空間關係資訊及該第二空間關係資訊,計算該目標物件相對於該電子裝置的一空間資訊。
綜上,藉由取得電子裝置與錨點物件之間的第一空間關係資訊及錨點物件與目標物件之間的第二空間關係資訊,即使目標物件被遮擋,本揭示內容的物件追蹤系統及方法也可即時計算目標物件相對於電子裝置的空間資訊。換句話說,本揭示內容的物件追蹤系統及方法具有追蹤視野更廣等優勢。
下文係舉實施例配合所附圖式作詳細說明,但所描述的具體實施例僅用以解釋本案,並不用來限定本案,而結構操作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本揭示內容所涵蓋的範圍。
關於本文中所使用之「耦接」或「連接」,均可指二或多個元件相互直接作實體或電性接觸,或是相互間接作實體或電性接觸,亦可指二或多個元件相互操作或動作。
請參閱第1圖,第1圖為根據本揭示內容的一些實施例所繪示的一物件追蹤系統100的方塊圖。於一些實施例中,物件追蹤系統100包含一第一追蹤設備20、一第二追蹤設備30以及一資訊處理器40。物件追蹤系統100用以在一真實世界環境(未示於第1圖中)中追蹤一目標物件11。
於一些實務應用中,至少一電子裝置10與物件追蹤系統100的第一追蹤設備20及第二追蹤設備30均和目標物件11在真實世界環境中。資訊處理器40可通訊地耦接於電子裝置10、第一追蹤設備20及第二追蹤設備30。因此,資訊處理器40可設置於真實世界環境或其他地方。值得注意的是,基於在真實世界環境中決定的一錨點物件13,可藉由第一追蹤設備20、第二追蹤設備30及資訊處理器40的操作來取得目標物件11相對於電子裝置10的一空間資訊。
第一追蹤設備20、第二追蹤設備30及資訊處理器40的操作將搭配一物件追蹤方法200在下方詳細說明。第2圖為根據本揭示內容的一些實施例所繪示的物件追蹤方法200的流程圖。物件追蹤方法200適用於第1圖的物件追蹤系統100。於一些實施例中,如第2圖所示,物件追蹤方法200包含多個操作S201~S203。
於操作S201,第一追蹤設備20取得電子裝置10與錨點物件13之間的一第一空間關係資訊。於一些實施例中,如第1圖所示,第一追蹤設備20包含一第一追蹤裝置201以及一第一可追蹤裝置203。具體而言,第一追蹤裝置201設置於電子裝置10,而第一可追蹤裝置203設置於錨點物件13。如此設置的話,第一追蹤設備20將能夠取得電子裝置10與錨點物件13之間的第一空間關係資訊。
承接第1圖的實施例,電子裝置10上的第一追蹤裝置201可與錨點物件13上的第一可追蹤裝置203進行互動,從而計算出第一可追蹤裝置203相對於第一追蹤裝置201的一第一姿態資料POS1作為第一空間關係資訊。舉例來說,第一追蹤裝置201及第一可追蹤裝置203可分別藉由一紅外線攝影機及一紅外線發光二極體來實現。第一可追蹤裝置203可發射紅外線光,而第一追蹤裝置201可感測由第一可追蹤裝置203發射的紅外線光,從而藉由例如透視n點演算法來推導出第一姿態資料POS1。值得注意的是,由電子裝置10上的第一追蹤裝置201計算出的第一姿態資料POS1可指示錨點物件13相對於電子裝置10的六自由度。
應當理解,第一追蹤裝置201及第一可追蹤裝置203的設置並不以第1圖實施例中的設置為限制。於一些實施例中,第一追蹤裝置201設置於錨點物件13,而第一可追蹤裝置203設置於電子裝置10。如此設置的話,第一可追蹤裝置203相對於第一追蹤裝置201的第一姿態資料POS1也可被計算出來作為第一空間關係資訊。進一步說明,由錨點物件13上的第一追蹤裝置201計算出的第一姿態資料POS1可指示電子裝置10相對於錨點物件13的六自由度。
由上述實施例的說明可知,於一些實施例中,第一追蹤裝置201及第一可追蹤裝置203中的一者設置於錨點物件13,而第一追蹤裝置201及第一可追蹤裝置203中的另一者設置於電子裝置10。
於操作S202,第二追蹤設備30取得錨點物件13與目標物件11之間的一第二空間關係資訊。於一些實施例中,如第1圖所示,第二追蹤設備30包含一第二追蹤裝置301以及一第二可追蹤裝置303。具體而言,第二追蹤裝置301設置於錨點物件13,而第二可追蹤裝置303設置於目標物件11。如此設置的話,第二追蹤設備30將能夠取得錨點物件13與目標物件11之間的第二空間關係資訊。
承接第1圖的實施例,錨點物件13上的第二追蹤裝置301可與目標物件11上的第二可追蹤裝置303進行互動,從而計算出第二可追蹤裝置303相對於第二追蹤裝置301的一第二姿態資料POS2作為第二空間關係資訊。舉例來說,第二追蹤裝置301及第二可追蹤裝置303可分別藉由一或多個超音波接收器及一超音波發射器來實現。第二可追蹤裝置303可發射超音波,而第二追蹤裝置301可感測由第二可追蹤裝置303發射的超音波,從而藉由例如3點法(three-point method)來推導出第二姿態資料POS2。值得注意的是,由錨點物件13上的第二追蹤裝置301計算出的第二姿態資料POS2可指示目標物件11相對於錨點物件13的六自由度。
應當理解,第二追蹤裝置301及第二可追蹤裝置303的設置並不以第1圖實施例中的設置為限制。於一些實施例中,第二追蹤裝置301設置於目標物件11,而第二可追蹤裝置303設置於錨點物件13。如此設置的話,第二可追蹤裝置303相對於第二追蹤裝置301的第二姿態資料POS2也可被計算出來作為第二空間關係資訊。進一步說明,由目標物件11上的第二追蹤裝置301計算出的第二姿態資料POS2可指示錨點物件13相對於目標物件11的六自由度。
由上述實施例的說明可知,於一些實施例中,第二追蹤裝置301及第二可追蹤裝置303中的一者設置於錨點物件13,而第二追蹤裝置301及第二可追蹤裝置303中的另一者設置於目標物件11。
於操作S203,資訊處理器40依據第一空間關係資訊及第二空間關係資訊,計算目標物件11相對於電子裝置10的空間資訊。於一些實施例中,資訊處理器40分別從第一追蹤設備20及第二追蹤設備30接收第一空間關係資訊及第二空間關係資訊,從而計算目標物件11相對於電子裝置10的空間資訊。
承接操作S203的實施例,於一些進一步實施例中,如第1圖所示,資訊處理器40通訊地耦接於第一追蹤裝置201及第二追蹤裝置301,並分別從第一追蹤裝置201及第二追蹤裝置301接收第一姿態資料POS1(亦即,第一空間關係資訊)及第二姿態資料POS2(亦即,第二空間關係資訊)。進一步說明,資訊處理器40可預先儲存或從一儲存裝置(圖中未示)存取一固定姿態資料POSF,其中儲存裝置可藉由易失性記憶體、非易失性記憶體或兩者來實現。值得注意的是,此固定姿態資料POSF指示第二追蹤裝置301相對於第一可追蹤裝置203的固定六自由度。據此,資訊處理器40可使用第一姿態資料POS1、第二姿態資料POS2及固定姿態資料POSF來計算出目標物件11相對於電子裝置10的一第三姿態資料POS3作為目標物件11相對於電子裝置10的空間資訊。第三姿態資料POS3可指示目標物件11相對於電子裝置10的六自由度。
由上述實施例的說明可知,物件追蹤方法200不應該被限制為包含多個操作S201~S203。舉例來說,於一些實施例中,在操作S201之前,物件追蹤方法200還包含將第一追蹤裝置201及第一可追蹤裝置203分別設置在錨點物件13及電子裝置10的操作或者將第一追蹤裝置201及第一可追蹤裝置203分別設置在電子裝置10及錨點物件13的操作。
於一些實施例中,在操作S201之前,物件追蹤方法200還包含將第二追蹤裝置301及第二可追蹤裝置303分別設置在錨點物件13及目標物件11的操作或者將第二追蹤裝置301及第二可追蹤裝置303分別設置在目標物件11及錨點物件13的操作。
於一些實施例中,在操作S201之前,物件追蹤方法200還包含將設置在錨點物件13的第一追蹤裝置201及第二追蹤裝置301設定為具有一固定空間關係資訊、將設置在錨點物件13的第一追蹤裝置201及第二可追蹤裝置303設定為具有固定空間關係資訊、將設置在錨點物件13的第一可追蹤裝置203及第二追蹤裝置301設定為具有固定空間關係資訊、或者將設置在錨點物件13的第一可追蹤裝置203及第二可追蹤裝置303設定為具有固定空間關係資訊。舉例來說,於第1圖的實施例中,第二追蹤裝置301經設定為相對於第一可追蹤裝置203具有固定六自由度(亦即,固定姿態資料POSF),其中第二追蹤裝置301相對於第一可追蹤裝置203的固定六自由度可被稱為固定空間關係資訊。應當理解,於一些實施例中,第一可追蹤裝置203可經設定為相對於第二追蹤裝置301具有固定六自由度,如此第一可追蹤裝置203相對於第二追蹤裝置301的固定六自由度可被稱為固定空間關係資訊。
於一些實施例中,在操作S201之前,物件追蹤方法200還包含在電子裝置10及目標物件11所在的真實世界環境中決定錨點物件13的操作。於一些進一步實施例中,錨點物件13在真實世界環境中具有固定位置,此將於後述段落中搭配第3圖進一步說明。
請參閱第3圖,第3圖為根據本揭示內容的一些實施例所繪示的物件追蹤系統100應用於一醫學系統300的一種場景的示意圖。於一些實施例中,醫學系統300包含一手術刀31、一手術燈33以及一手術室35。醫學系統300通常會由至少一醫護人員(例如:醫生U1等)使用來進行醫學處理治療。舉例來說,在手術室35中,醫生U1在手術燈33所提供的照明下,使用手術刀31對病患U2進行手術。
當物件追蹤系統100將被應用於醫學系統300時,應決定物件追蹤系統100要追蹤的目標物件11。又,也應決定錨點物件13,以強化物件追蹤系統100追蹤目標物件11的能力。舉例來說,於第3圖的實施例中,手術刀31被決定為目標物件11,且固定在手術室35中(亦即,在真實世界環境中具有固定位置)的手術燈33的一柱狀部分331被決定為錨點物件13。進一步說明,於第3圖的實施例中,電子裝置10為一種頭戴式裝置,並安裝於醫生U1的頭部,以向醫生U1通知手術刀31(亦即,目標物件11)相對於電子裝置10的空間資訊。
於第3圖的實施例中,第一追蹤設備20及第二追蹤設備30的設置與第1圖實施例的設置相同。也就是說,第一追蹤裝置201設置於電子裝置10,第一可追蹤裝置203及第二追蹤裝置301設置於柱狀部分331(亦即,錨點物件13),且第二可追蹤裝置303設置於手術刀31(亦即,目標物件11)。此外,資訊處理器40設置於電子裝置10,並可傳輸計算結果(例如:空間資訊)至電子裝置10。計算手術刀31相對於電子裝置10的空間資訊類似於第1及2圖實施例的說明,故在此不贅述。
於一些進一步實施例中,如第1圖所示,電子裝置10包含一顯示器101。電子裝置10可經由電子裝置10中的至少一通訊器(圖中未示)通訊地耦接於資訊處理器40,使得電子裝置10中的至少一控制器/處理器(圖中未示)接收目標物件11相對於電子裝置10的空間資訊(例如:第三姿態資料POS3)。接著,電子裝置10中的控制器/處理器可利用顯示器101向例如第3圖中的醫生U1提供顯示了手術刀31(亦即,目標物件11)相對於電子裝置10的空間資訊的一沉浸式內容CI。
承接電子裝置10經由顯示器101向醫生U1提供沉浸式內容CI的上述實施例,沉浸式內容CI可為增強實境(Augmented Reality,AR)環境。具體而言,增強實境環境能夠以虛擬實境物件(其無法由醫生U1在真實世界環境中直接看到)強化由醫生U1直接看到的真實世界環境(亦即,手術室35),此將於後述段落中搭配第4圖進一步說明。
請參閱第4圖,第4圖為根據本揭示內容的一些實施例所繪示的沉浸式內容CI的示意圖。於第4圖的實施例中,由醫生U1穿戴的電子裝置10所提供的沉浸式內容CI顯示了手術刀31、在病患U2身上的一病灶R1(或傷口、切口等)及一個虛擬實境內容V1(亦即,虛擬實境物件)。應當理解,醫生U1對於手術刀31的直接可視性在手術過程中可能被例如體液(例如:血液)、器官等遮擋住。值得注意的是,虛擬實境內容V1可以已知方式指示手術刀31相對於電子裝置10的空間資訊。如此一來,即使醫生U1對於手術刀31的直接可視性被遮擋住,醫生U1透過沉浸式內容CI中的虛擬實境內容V1可清楚知道手術刀31的位置。
於第3及4圖的實施例中,電子裝置10所提供的沉浸式內容CI為增強實境環境,但本揭示內容並不限於此。於一些實施例中,沉浸式內容CI可為虛擬實境(virtual reality,VR)環境或混合實境(mixed reality,MR)環境。具體而言,混合實境環境模擬了真實世界環境,並使虛擬實境物件能和模擬的環境進行互動。此外,承接電子裝置10為頭戴式裝置的實施例,穿戴電子裝置10的醫生U1可藉由操作至少一控制器(圖中未示)或藉由做出手部或眼部動作來控制沉浸式內容CI中的虛擬實境物件(例如:虛擬實境內容V1)。具體而言,至少一控制器可無線連接至電子裝置10,而手部或眼部動作將會被電子裝置10經由至少一相機(圖中未示)感測及辨識。
承接第一追蹤裝置201藉由紅外線攝影機來實現的實施例,於一些進一步實施例中,設置在電子裝置10上的第一追蹤裝置201具有與設置在錨點物件13上的第一可追蹤裝置203對準的視野(field of view,FOV)。如此設置的話,將能夠確保第一追蹤裝置201可以追蹤到第一可追蹤裝置203。
於上述實施例中,如第3圖所示,在真實世界環境中的一剛性物件(亦即,手術燈33的柱狀部分331)被決定為錨點物件13,但本揭示內容並不限於此。舉例來說,於一些實施例中,在真實世界環境中的一可移動物件被決定為錨點物件13,此將於後述段落中搭配第5圖進一步說明。
請參閱第5圖,第5圖為根據本揭示內容的一些實施例所繪示的物件追蹤系統100應用於醫學系統300的另一種場景的示意圖。如第5圖所示,安裝於另一醫生U3頭部的另一電子裝置50(例如:另一頭戴式裝置)被決定為錨點物件13,且第一可追蹤裝置203及第二追蹤裝置301均設置於電子裝置50。因此,在此些實施例中的錨點物件13在真實世界環境(例如:手術室35)中是可移動的。
此外,電子裝置10及電子裝置50各自能夠藉由一些基於視覺的定位技術(例如:同步定位與地圖構建技術等)在真實世界環境中定位自身,此有助於物件追蹤系統100追蹤目標物件11。舉例來說,電子裝置10藉由基於視覺的定位技術可取得其在真實世界環境的一地圖中的姿態,且電子裝置50藉由基於視覺的定位技術可取得其在真實世界環境的另一地圖中的姿態。又,電子裝置10及電子裝置50可與資訊處理器40分享資料(例如:由電子裝置10建立的地圖、由電子裝置50建立的地圖、電子裝置10的姿態、電子裝置50的姿態等)。藉由電子裝置10及電子裝置50分享的資料,資訊處理器40可取得或計算出電子裝置10及電子裝置50之間的另一空間關係資訊(例如:電子裝置50相對於電子裝置10的姿態資料、電子裝置10相對於電子裝置50的姿態資料等)。當第一追蹤設備20意外地無法取得電子裝置10及錨點物件13(亦即,電子裝置50)之間的第一空間關係資訊時,資訊處理器40可使用電子裝置10及電子裝置50之間的另一空間關係資訊(此是依據藉由基於視覺的定位技術產生的資料取得的)及錨點物件13與目標物件11之間的第二空間關係資訊,來計算目標物件11相對於電子裝置10的空間資訊。
應當理解,本揭示內容的物件追蹤系統並不限於只追蹤目標物件11。舉例來說,請參閱第6圖,第6圖為根據本揭示內容的一些實施例所繪示的另一種物件追蹤系統600的方塊圖。於第6圖的實施例中,物件追蹤系統600用於追蹤目標物件11及另一目標物件15。舉例來說,目標物件15可為醫學系統300中由第5圖的醫生U3手持的一鉗子37。為了要追蹤目標物件11及目標物件15兩者,物件追蹤系統600包含電子裝置10、第一追蹤設備20、第二追蹤設備30、資訊處理器40以及一第三追蹤設備60。
於一些實施例中,第三追蹤設備60用以取得錨點物件13與目標物件15之間的一第三空間關係資訊。具體而言,第三追蹤設備60包含一第三追蹤裝置601以及一第三可追蹤裝置603,第三追蹤裝置601設置於錨點物件13,且第三可追蹤裝置603設置於目標物件15。在錨點物件13上的第三追蹤裝置601可與在目標物件15上的第三可追蹤裝置603進行互動,從而計算出第三可追蹤裝置603相對於第三追蹤裝置601的姿態資料(圖中未示)作為第三空間關係資訊。舉例來說,第三追蹤裝置601及第三可追蹤裝置603可分別藉由一電磁場產生器及一電磁感測器來實現。值得注意的是,由在錨點物件13上的第三追蹤裝置601計算出來的姿態資料可指示目標物件15相對於錨點物件13的六自由度。
進一步說明,第6圖的資訊處理器40可依據第一追蹤設備20取得的第一空間關係資訊及第三追蹤設備60取得的第三空間關係資訊,計算目標物件15相對於電子裝置10的空間資訊。具體而言,於第6圖的實施例中,第三追蹤裝置601經設定為相對於第一可追蹤裝置203具有固定六自由度。資訊處理器40依據第一姿態資料POS1、在錨點物件13上的第三追蹤裝置601所計算的姿態資料及指示第三追蹤裝置601相對於第一可追蹤裝置203的固定六自由度的固定姿態資料,計算目標物件15相對於電子裝置10的姿態資料(圖中未示)作為目標物件15相對於電子裝置10的空間資訊。第6圖中的第一追蹤設備20及第二追蹤設備30的操作與第1圖實施例的操作相同,故不在此贅述。
應當理解,目標物件15相對於電子裝置10的空間資訊可與目標物件11相對於電子裝置10的空間資訊一起被顯示在沉浸式內容CI中。
也應當理解,第三追蹤裝置601及第三可追蹤裝置603的設置並不以第6圖實施例中的設置為限制。於一些實施例中,第三追蹤裝置601設置於目標物件15,而第三可追蹤裝置603設置於錨點物件13。如此設置的話,指示錨點物件13相對於目標物件15的六自由度的姿態資料也可被計算出來作為第三空間關係資訊。
由第一追蹤設備20、第二追蹤設備30及第三追蹤設備60的說明可知,第一追蹤設備20、第二追蹤設備30及第三追蹤設備60可分別藉由三種不同的追蹤技術來實現。然而,本揭示內容並不限於此。於一些實施例中,第一追蹤設備20、第二追蹤設備30及第三追蹤設備60可分別藉由相同的追蹤技術來實現,或可分別藉由部分相同且部分不相同的三種追蹤技術來實現。於上述實施例中,追蹤技術包含紅外線、電磁場、影片/影像、超音波、光達、聲納、結構光源、飛時測距系統等。因為物件追蹤系統100對於在電子裝置10、錨點物件13及目標物件11之間的追蹤技術提供了很大程度的彈性,可以方便將物件追蹤系統100應用於各種情況下。舉例來說,物件追蹤系統100的使用者可選擇適合目標物件11(例如:手術刀31)類型的一種追蹤技術,並可為電子裝置10選擇不同於在錨點物件13與目標物件11之間使用的所述一種追蹤技術的另一種追蹤技術。若所述另一種追蹤技術具有低成本的優勢,則可降低應用物件追蹤系統100的成本。
應當理解,本揭示內容的物件追蹤系統並不限於僅基於錨點物件13來追蹤目標物件11。舉例來說,於一些實施例中,錨點物件13的數量可大於1。
於上述實施例中,資訊處理器40可以藉由中央處理單元(central processing unit)、特殊應用積體電路(application specific integrated circuit)、微處理器、系統單晶片(system on a chip)或其他合適的處理電路來實現。進一步說明,資訊處理器40可以是獨立的裝置,或可以整合至電子裝置10及/或錨點物件13。
於一些進一步實施例中,本揭示內容的物件追蹤系統中的每個追蹤設備(例如:第一追蹤設備20、第二追蹤設備30及第三追蹤設備60)可與至少一慣性量測單元配對,以增加在電子裝置10、至少一錨點物件13及至少一目標物件11中的任兩者之間的空間關係資訊的精密度。
又,於一些進一步實施例中,醫學系統300可以各式各樣的已知醫學技術(例如:顯影劑、X光等)對病灶R1進行標示及追蹤。病灶R1相對於由醫學系統300定義的一原點(圖中未示)的六自由度可被提供至資訊處理器40。如此設置的話,資訊處理器40以已知方式將病灶R1的六自由度轉換為病灶R1相對於電子裝置10的空間資訊。此外,由電子裝置10提供的沉浸式內容CI可指示至少一目標物件11的空間資訊及病灶R1的空間資訊。如此一來,穿戴電子裝置10的醫生U1在手術過程中將不需要去觀看在手術室35中的其他監視器,因而可提高手術效率以減少醫生U1的疲勞。
由本揭示內容的上述實施例可知,藉由取得電子裝置10與錨點物件13之間的第一空間關係資訊及錨點物件13與目標物件11之間的第二空間關係資訊,即使目標物件11被遮擋,本揭示內容的物件追蹤系統及方法也可即時計算目標物件11相對於電子裝置10的空間資訊。換句話說,本揭示內容的物件追蹤系統及方法具有追蹤視野更廣等優勢。
進一步說明,於一些實務應用中,藉由使用超音波追蹤技術(例如:第二追蹤設備30)來取得錨點物件13與目標物件11之間的第二空間關係資訊,本揭示內容的物件追蹤系統及方法可避免光學追蹤器(例如:紅外線發光二極體、光學碼等)被遮擋或弄髒的問題。
本揭示內容之方法可以以程式碼的型態存在。程式碼可以包含於實體媒體,例如軟碟、光碟片、硬碟、或是其他任何暫態或非暫態電腦可讀取儲存媒體,其中,當程式碼被電腦載入且執行時,此電腦變成用以實現所述方法之裝置。程式碼也可以透過一些傳送媒體,如電線或電纜、透過光纖、或是透過其他任何傳輸型態進行傳送,其中,當程式碼被電腦接收、載入且執行時,此電腦變成用以實現所述方法之裝置。當在一般用途的處理器實現時,程式碼結合處理器來提供操作類似於應用特定邏輯電路之一獨特裝置。
雖然本揭示內容已以實施方式揭露如上,然其並非用以限定本揭示內容,所屬技術領域具有通常知識者在不脫離本揭示內容之精神和範圍內,當可作各種更動與潤飾,因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
10,50:電子裝置
11,15:目標物件
13:錨點物件
20:第一追蹤設備
30:第二追蹤設備
31:手術刀
33:手術燈
35:手術室
37:鉗子
40:資訊處理器
60:第三追蹤設備
100,600:物件追蹤系統
101:顯示器
200:物件追蹤方法
201:第一追蹤裝置
203:第一可追蹤裝置
300:醫學系統
301:第二追蹤裝置
303:第二可追蹤裝置
331:柱狀部分
601:第三追蹤裝置
603:第三可追蹤裝置
CI:沉浸式內容
POS1:第一姿態資料
POS2:第二姿態資料
POS3:第三姿態資料
POSF:固定姿態資料
R1:病灶
S201~S203:操作
U1,U3:醫生
U2:病患
V1:虛擬實境內容
第1圖為根據本揭示內容的一些實施例所繪示的一種物件追蹤系統的方塊圖。
第2圖為根據本揭示內容的一些實施例所繪示的一種物件追蹤方法的流程圖。
第3圖為根據本揭示內容的一些實施例所繪示的物件追蹤系統應用於醫學系統的一種場景的示意圖。
第4圖為根據本揭示內容的一些實施例所繪示的一種沉浸式內容的示意圖。
第5圖為根據本揭示內容的一些實施例所繪示的物件追蹤系統應用於醫學系統的另一種場景的示意圖。
第6圖為根據本揭示內容的一些實施例所繪示的另一種物件追蹤系統的方塊圖。
200:物件追蹤方法
S201~S203:操作
Claims (12)
- 一種物件追蹤方法,適用於用以追蹤一目標物件的一物件追蹤系統,且包含: 藉由一第一追蹤設備,取得一電子裝置與一錨點物件之間的一第一空間關係資訊,其中該第一追蹤設備包含用以與彼此進行互動的一第一追蹤裝置以及一第一可追蹤裝置,該第一追蹤裝置及該第一可追蹤裝置中之一者設置於該電子裝置,且該第一追蹤裝置及該第一可追蹤裝置中之另一者設置於該錨點物件,其中該電子裝置、該錨點物件與該目標物件位於同一空間; 藉由一第二追蹤設備,取得該錨點物件與該目標物件之間的一第二空間關係資訊,其中該第二追蹤設備包含用以與彼此進行互動的一第二追蹤裝置以及一第二可追蹤裝置,該第二追蹤裝置及該第二可追蹤裝置中之一者設置於該錨點物件,且該第二追蹤裝置及該第二可追蹤裝置中之另一者設置於該目標物件;以及 藉由一資訊處理器,依據該第一空間關係資訊及該第二空間關係資訊,計算該目標物件相對於該電子裝置的一空間資訊。
- 如請求項1所述之物件追蹤方法,其中該物件追蹤方法還包含: 將該第一追蹤裝置及該第一可追蹤裝置分別設置在該錨點物件及該電子裝置;或者 將該第一追蹤裝置及該第一可追蹤裝置分別設置在該電子裝置及該錨點物件。
- 如請求項2所述之物件追蹤方法,其中藉由該第一追蹤設備,取得該電子裝置與該錨點物件之間的該第一空間關係資訊包含: 藉由該第一追蹤裝置,與該第一可追蹤裝置進行互動,來計算該第一可追蹤裝置相對於該第一追蹤裝置的一第一姿態資料,其中該第一空間關係資訊包含該第一姿態資料。
- 如請求項2所述之物件追蹤方法,其中該物件追蹤方法還包含: 將該第二追蹤裝置及該第二可追蹤裝置分別設置在該錨點物件及該目標物件;或者 將該第二追蹤裝置及該第二可追蹤裝置分別設置在該目標物件及該錨點物件。
- 如請求項4所述之物件追蹤方法,其中藉由該第二追蹤設備,取得該錨點物件與該目標物件之間的該第二空間關係資訊包含: 藉由該第二追蹤裝置,與該第二可追蹤裝置進行互動,來計算該第二可追蹤裝置相對於該第二追蹤裝置的一第二姿態資料,其中該第二空間關係資訊包含該第二姿態資料。
- 如請求項4所述之物件追蹤方法,還包含: 將設置在該錨點物件的該第一追蹤裝置及該第二追蹤裝置設定為具有一固定空間關係資訊; 將設置在該錨點物件的該第一追蹤裝置及該第二可追蹤裝置設定為具有該固定空間關係資訊; 將設置在該錨點物件的該第一可追蹤裝置及該第二追蹤裝置設定為具有該固定空間關係資訊;或者 將設置在該錨點物件的該第一可追蹤裝置及該第二可追蹤裝置設定為具有該固定空間關係資訊。
- 如請求項4所述之物件追蹤方法,其中藉由該資訊處理器,依據該第一空間關係資訊及該第二空間關係資訊,計算該目標物件相對於該電子裝置的該空間資訊包含: 依據該第一可追蹤裝置相對於該第一追蹤裝置的一第一姿態資料、該第二可追蹤裝置相對於該第二追蹤裝置的一第二姿態資料及一固定姿態資料,計算該目標物件相對於該電子裝置的一第三姿態資料,其中該第二追蹤裝置經設定為相對於該第一追蹤裝置或該第一可追蹤裝置具有該固定姿態資料,或者該第二可追蹤裝置經設定為相對於該第一追蹤裝置或該第一可追蹤裝置具有該固定姿態資料。
- 如請求項1所述之物件追蹤方法,還包含: 在該電子裝置及該目標物件所在的一真實世界環境中決定該錨點物件,其中該錨點物件在該真實世界環境中具有固定位置。
- 如請求項1所述之物件追蹤方法,還包含: 決定在該電子裝置及該目標物件所在的一真實世界環境中的另一電子裝置為該錨點物件,其中該另一電子裝置在該真實世界環境中是可移動的,並用以在該真實世界環境中定位自身。
- 如請求項1所述之物件追蹤方法,其中該電子裝置包含一顯示器,且該物件追蹤方法還包含: 藉由該電子裝置,經由該顯示器提供包含指示該空間資訊的一虛擬實境內容的一沉浸式內容。
- 一種物件追蹤系統,用以追蹤一目標物件,並包含: 一電子裝置; 一第一追蹤設備,用以取得該電子裝置與一錨點物件之間的一第一空間關係資訊,並包含用以與彼此進行互動的一第一追蹤裝置以及一第一可追蹤裝置,其中該第一追蹤裝置及該第一可追蹤裝置中之一者設置於該電子裝置,且該第一追蹤裝置及該第一可追蹤裝置中之另一者設置於該錨點物件,其中該電子裝置、該錨點物件與該目標物件位於同一空間; 一第二追蹤設備,用以取得該錨點物件與該目標物件之間的一第二空間關係資訊,並包含用以與彼此進行互動的一第二追蹤裝置以及一第二可追蹤裝置,其中該第二追蹤裝置及該第二可追蹤裝置中之一者設置於該錨點物件,且該第二追蹤裝置及該第二可追蹤裝置中之另一者設置於該目標物件;以及 一資訊處理器,用以依據該第一空間關係資訊及該第二空間關係資訊,計算該目標物件相對於該電子裝置的一空間資訊。
- 一種非暫態電腦可讀取儲存媒體,具有一電腦程式用以執行一物件追蹤方法,其中該物件追蹤方法適用於用以追蹤一目標物件的一物件追蹤系統,且包含: 藉由一第一追蹤設備,取得一電子裝置與一錨點物件之間的一第一空間關係資訊,其中該第一追蹤設備包含用以與彼此進行互動的一第一追蹤裝置以及一第一可追蹤裝置,該第一追蹤裝置及該第一可追蹤裝置中之一者設置於該電子裝置,且該第一追蹤裝置及該第一可追蹤裝置中之另一者設置於該錨點物件,其中該電子裝置、該錨點物件與該目標物件位於同一空間; 藉由一第二追蹤設備,取得該錨點物件與該目標物件之間的一第二空間關係資訊,其中該第二追蹤設備包含用以與彼此進行互動的一第二追蹤裝置以及一第二可追蹤裝置,該第二追蹤裝置及該第二可追蹤裝置中之一者設置於該錨點物件,且該第二追蹤裝置及該第二可追蹤裝置中之另一者設置於該目標物件;以及 藉由一資訊處理器,依據該第一空間關係資訊及該第二空間關係資訊,計算該目標物件相對於該電子裝置的一空間資訊。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/536,170 | 2023-12-11 | ||
| US18/536,170 US12484976B2 (en) | 2023-12-11 | 2023-12-11 | Object tracking method, object tracking system and non-transitory computer readable storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI879521B true TWI879521B (zh) | 2025-04-01 |
| TW202524270A TW202524270A (zh) | 2025-06-16 |
Family
ID=91247958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW113113039A TWI879521B (zh) | 2023-12-11 | 2024-04-08 | 物件追蹤方法、物件追蹤系統及非暫態電腦可讀取儲存媒體 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12484976B2 (zh) |
| EP (1) | EP4571467A1 (zh) |
| CN (1) | CN120143962A (zh) |
| TW (1) | TWI879521B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201818277A (zh) * | 2016-11-10 | 2018-05-16 | 美商高通公司 | 自然語言物件追蹤 |
| TW201919541A (zh) * | 2016-11-21 | 2019-06-01 | 日商東芝股份有限公司 | 醫學影像處理裝置,醫學影像處理方法,電腦可讀醫學影像處理程式,移動物件追蹤裝置及輻射治療系統 |
| TW202147255A (zh) * | 2020-04-03 | 2021-12-16 | 美商高通公司 | 用於活動深度感測技術的多種光學路徑成像技術和共享發射器 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2217170A1 (en) * | 2007-11-30 | 2010-08-18 | Orthosoft, Inc. | Optical tracking cas system |
| EP2252230A1 (en) * | 2008-03-13 | 2010-11-24 | Orthosoft, Inc. | Tracking cas system |
| US12514678B2 (en) * | 2013-03-18 | 2026-01-06 | Navigate Surgical Technologies, Inc. | System and method for determining the three-dimensional location and orientation of identification markers |
| US10996742B2 (en) | 2017-10-17 | 2021-05-04 | Logitech Europe S.A. | Input device for AR/VR applications |
| US10825563B2 (en) | 2018-05-14 | 2020-11-03 | Novarad Corporation | Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient |
| US20210287382A1 (en) | 2020-03-13 | 2021-09-16 | Magic Leap, Inc. | Systems and methods for multi-user virtual and augmented reality |
| US11042028B1 (en) | 2021-01-12 | 2021-06-22 | University Of Central Florida Research Foundation, Inc. | Relative pose data augmentation of tracked devices in virtual environments |
| US20220317771A1 (en) | 2021-04-01 | 2022-10-06 | Htc Corporation | Method for tracking trackers and host |
| CN114129262B (zh) * | 2021-11-11 | 2023-12-22 | 北京歌锐科技有限公司 | 一种患者手术位置的跟踪方法、设备及装置 |
| WO2023234824A1 (en) | 2022-05-31 | 2023-12-07 | Flatfrog Laboratories Ab | A virtual-reality interaction system |
| US12484973B2 (en) * | 2022-07-21 | 2025-12-02 | Intellijoint Surgical Inc. | Method and apparatus for resecting bone using a planer and optionally using a robot to assist with placement and/or installation of guide pins |
-
2023
- 2023-12-11 US US18/536,170 patent/US12484976B2/en active Active
-
2024
- 2024-04-08 TW TW113113039A patent/TWI879521B/zh active
- 2024-04-08 CN CN202410411486.1A patent/CN120143962A/zh active Pending
- 2024-05-23 EP EP24177789.5A patent/EP4571467A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201818277A (zh) * | 2016-11-10 | 2018-05-16 | 美商高通公司 | 自然語言物件追蹤 |
| TW201919541A (zh) * | 2016-11-21 | 2019-06-01 | 日商東芝股份有限公司 | 醫學影像處理裝置,醫學影像處理方法,電腦可讀醫學影像處理程式,移動物件追蹤裝置及輻射治療系統 |
| TW202147255A (zh) * | 2020-04-03 | 2021-12-16 | 美商高通公司 | 用於活動深度感測技術的多種光學路徑成像技術和共享發射器 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20250186138A1 (en) | 2025-06-12 |
| EP4571467A1 (en) | 2025-06-18 |
| CN120143962A (zh) | 2025-06-13 |
| TW202524270A (zh) | 2025-06-16 |
| US12484976B2 (en) | 2025-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12026897B2 (en) | Augmented reality system, an augmented reality HMD, an augmented reality method and a computer program | |
| US20250380992A1 (en) | Systems and methods for assisted surgical navigation | |
| CN110169822B (zh) | 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法 | |
| JP7267209B2 (ja) | 滅菌野及び他の作業環境のためのユーザインターフェースシステム | |
| JP7322182B2 (ja) | 整形外科インプラント埋植のための骨壁追跡及びガイダンス | |
| US20230404680A1 (en) | Method for determining the spatial position of objects | |
| EP3664737B1 (en) | Video based patient registration and tracking | |
| US20240065774A1 (en) | Computer-assisted lower-extremity surgical guidance | |
| AU2021288756A1 (en) | Spatially-aware displays for computer-assisted interventions | |
| US20220365342A1 (en) | Eyeball Tracking System and Method based on Light Field Sensing | |
| WO2019037605A1 (zh) | Ar眼镜及其追踪系统 | |
| TWI879521B (zh) | 物件追蹤方法、物件追蹤系統及非暫態電腦可讀取儲存媒體 | |
| US12165760B2 (en) | Interactive flying frustums visualization in augmented reality | |
| US20260013970A1 (en) | 2d tracking marker | |
| EP4196035B1 (en) | Determining an avoidance region for a reference device | |
| Paul | The Holographic Recognition of the Spine Surgical Model: Where the Present Meets the Future of the Surgery | |
| WO2023034147A1 (en) | Using mixed-reality hardware for range of motion estimation during robot-assisted orthopedic surgery |