[go: up one dir, main page]

KR20000069171A - 3차원 이미징 시스템에 대한 향상된 이미지 처리 - Google Patents

3차원 이미징 시스템에 대한 향상된 이미지 처리 Download PDF

Info

Publication number
KR20000069171A
KR20000069171A KR1019997004718A KR19997004718A KR20000069171A KR 20000069171 A KR20000069171 A KR 20000069171A KR 1019997004718 A KR1019997004718 A KR 1019997004718A KR 19997004718 A KR19997004718 A KR 19997004718A KR 20000069171 A KR20000069171 A KR 20000069171A
Authority
KR
South Korea
Prior art keywords
image
dimensional
dimensional image
plane
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1019997004718A
Other languages
English (en)
Inventor
펜스터아론
듄쉐인
Original Assignee
라이프 이미징 시스템즈 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이프 이미징 시스템즈 인코퍼레이티드 filed Critical 라이프 이미징 시스템즈 인코퍼레이티드
Publication of KR20000069171A publication Critical patent/KR20000069171A/ko
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4209Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/916Ultrasound 3-D imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 3차원 초음파 진단 시스템과 연결시켜 사용되는 깊이 제한의 이미지 처리 수단을 제공하고, 3차원 체적 어레이의 적어도 한 부분을 나타내는 모델로부터, 이용자는 관심의 "두꺼운 평면" 영역을 형성하는 모델의 적어도 한 면으로부터 광선 깊이를 선택한다. "두꺼운 평면"내의 모든 복셀은 광선 깊이에 따른 이용자 선택 이미징 기술에 따라서 연속적으로 처리된다. 처리 결과는 고화질의 3차원 이미지를 생성하기 위해 대응하는 스크린 화소상에 투영된다. 다른 실시예에서, 적합한 깊이 제한의 이미지 처리 수단이 사용되고, 복셀은 이용자 선택 조건에 대하여 먼저 체크된다. 이러한 조건을 만족하는 복셀은 고화질의 3차원 이미지를 생성하는 것과 같이 처리된다. 이용자 선택 이미징 기술은 제한되어 있지 않지만, 텍스처 매핑, 최대 강도 투영법(MIP), 조건의 MIP(CMIP), 및/또는 광선 합산법(Raysum)을 포함할 수 있다.

Description

3차원 이미징 시스템용 고화질 이미지 처리방법{ENHANCED IMAGE PROCESSING FOR A THREE-DIMENSIONAL IMAGING SYSTEM}
의학 분야에서, 피검자의 내부 기관을 관찰하기 위해 초음파 진단 장비를 이용하는 것이 일반적이다. 예를 들어, 전립선 암을 진단할 때, 진단자는 병변이 존재하는지를 확인하기 위해, 또한, 존재하면, 병변의 위치, 크기, 및 범위를 결정하기 위해 직장 투과 초음파(transrectal ultrasound:TRUS)를 이용한다. 종래의 초음파 진단 장비는 일반적으로 초음파 신호를 피검자에게 전송하고, 반사 초음파 신호를 수신하는 초음파 프로브를 포함하고 있다. 초음파 프로브에 의해 수신된 반사 초음파 신호가 처리되어, 진찰중인 타깃의 2차원 이미지가 형성된다.
불행하게도, 종래의 장비는 진찰중인 타깃이 3차원일지라도 2차원 이미지를 생성한다. 또한, 2차원 이미지는 타깃의 이미지 평면을 국한하는 것을 매우 어렵게 만들고, 추후에 특정 위치에 이미지를 재생성하는 것을 어렵게 만드는 타깃의 임의의 각도에서 취해진 하나의 얇은 평면을 나타낸다. 더욱이, 이미지 평면은 일반적으로 명백히 세분된 이미지가 아니라, 해석하는데 상당한 수준의 기술을 필요로 하는 일련의 음영 형상이다.
본 출원인에게 양도된 미국 특허 출원 제 08/419,049 호와 미국 특허 제 5,454,371 호에서, 그 내용은 여기에 참조 사항으로 포함되어 있고, 3차원 초음파 이미징 시스템이 설명되어 있다. 이러한 시스템은 종래의 단점을 극복하고 있지만, 3차원 이미지가 2 차원 이미지로부터 생성될 수 있는 속도를 높이고 이미징을 높이는 개량점이 계속하여 추구되고 있다.
그러므로, 본 발명의 목적은 연속의 2 차원 이미지로부터 3차원 이미지를 생성하는 새로운 시스템과 방법, 이용자가 볼 수 있는 3차원 이미지를 높이는 새로운 이미지 처리 수단, 및 새로운 초음파 이미징 시스템을 제공하는 것이다.
본 발명은 의료 진단 이미징에 관한 것이고, 더 상세하게는 3차원 이미지를 높이는 방법과 시스템에 관한 것이다.
본 발명의 실시예는 첨부한 도면을 참조하여 보다 상세히 설명될 것이다.
도 1은 3차원 초음파 이미징 시스템의 사시도;
도 2는 도 1에 예시된 시스템의 초음파 프로브 작동 어셈블리 형성부의 사시도;
도 3은 초음파 프로브를 지원하는 도 2에 예시된 프로브 작동 어셈브리의 측면도;
도 3a는 초음파 프로브 작동 어셈블리에 의해 구동될 때의 초음파 프로브 운동의 기하학적 사시도;
도 3b는 다수의 경사진 2 차원 이미지의 예시도;
도 3c는 전단 변형의 예시도;
도 4는 도 1에 예시된 시스템의 컴퓨터 형성부의 여러 하드웨어 및 소프트웨어 모듈을 나타내는 블록도;
도 5a는 도 1에 예시된 시스템의 작동 단계를 나타내는 흐름도;
도 5b는 도 1에 예시된 시스템의 추가 작동 단계를 나타내는 흐름도;
도 6은 초기화동안에 디스플레이 모듈에 의해 수행되는 단계의 흐름도;
도 7a-7d는 디스플레이된 3차원 이미지를 조작할 때 이용자 인터면와 디스플레이 모듈에 의해 수행되는 단계의 흐름도;
도 8a-8c는 수직축 주변을 회전하는 3차원 이미지와 모델을 도시하는 도면;
도 9a-9c는 수평, 경사, 및 우측으로 대략 30。각도진 축 주변을 상부 좌측에서 하부 우측 방향으로 회전하는 3 차원 이미지 및 모델을 도시하는 도면;
도 10a-10c는 모델의 평면이 모델의 기하학적 중심을 향해 병진되는 3 차원 이미지 및 모델을 도시하는 도면;
도 11a-11c는 모델의 평면이 수평, 경사 및 우측으로 대략 30。각도진 축 주변을 회전하는 3차원 이미지 및 모델을 도시하는 도면;
도 12a-12d는 모델의 평면이 소실될 때까지 모델의 기하학적 중심에서 벗어나 병진되는 3차원 이미지 및 모델을 도시하는 도면;
도 13은 메인 디스플레이 윈도우 및 제어 디스플레이 윈도우를 포함한 전형적인 풀 스크린 디스플레이를 도시하는 도면;
도 14는 측정 제어 윈도우 및 애니메이션 제어 윈도우를 더 포함한 또 다른 풀 스크린 디스플레이를 도시하는 도면;
도 15a-15c는 오리엔테이션 뷰 윈도우를 더 포함한 풀 스크린 디스플레이를 도시하는 도면;
도 16은 체적 이미지 어레이를 이용하여 생성되고, 종래의 최대 강도 사출(MIP)을 사용하고, 모델 테두리가 디스플레이로부터 삭제된 3 차원 이미지를 도시하는 도면;
도 17은 유혈을 나타내는 색채의 복셀과 정지 조직을 나타내는 농도 복셀의 혼합을 포함하는 체적 이미지 어레이(건강한 수혈자의 경동맥의 컬러 도플러 초음파)로부터 텍스처 매핑에 의해 생성된 3차원 이미지 및 모델을 도시하는 도면;
도 18은 컬러 정보만을 투영하기 위해 조건 MIP를 이용하는 것이 아니라, 도 17의 체적 이미지 어레이를 이용하여 생성된 3차원 이미지를 도시하고, 모델의 전면은 전체 혈관 구조를 드러내기 위해 외부로 병진되어 있는 도면;
도 19는 종래의 Raysum 알고니즘을 사용하고, 도 16의 체적 이미지 어레이와 모델을 이용하여 생성된 3차원 이미지를 도시하는 도면;
도 20a는 건강한 수혈자의 비장의 혈관의 파워 도플러 초음파를 이용하는 체적 이미지 어레이로부터 텍스처 매핑에 의해 생성된 3차원 이미지 및 모델을 도시하는 도면;
도 20b는 몇 밀리미터만큼 내부로 모델 전면을 병진한 후의 도 20a의 이미지를 도시하는 도면;
도 20c는 몇 밀리미터만큼 더 내부로 모델 전면을 이동한 후의 도 20b의 이미지를 도시하는 도면;
도 21a는 대략 2 밀리미터의 깊이로 깊이 제한의 최대 강도 투영(DL-MIP)을 이용하는 도 16의 모델 및 체적 이미지 어레이를 이용하여 생성된 3차원 이미지를 도시하는 도면;
도 21b는 DL-MIP 동작의 깊이를 대략 4 밀리미터에 두배로 하는 도 21a의 이미지를 도시하는 도면;
도 21c는 DL-MIP 동작의 깊이를 대략 6 밀리미터에 3배로 하는 도 21a의 이미지를 도시하는 도면;
도 22a는 모델의 전면이 몇 밀리미터마큼 내부로 이동되고, 더 큰 깊이로 구조를 드러내는 도 21c의 이미지를 도시하는 도면;
도 22b는 모델의 전면이 보다 내부로 이동된 도 22a의 이미지를 도시하는 도면;
도 23은 DL-MIP 이미지를 볼 수 있는 두 개의 외부면을 가지도록 조정된 모델과 함께, 도 20a-20b의 체적 이미지 어레이로부터 생성된 3차원 이미지를 도시하는 도면;
도 24는 깊이 제한의 Raysum(DL-Raysum) 알고리즘을 이용하여 생성된 이미지를 가진 도 23의 이미지를 도시하는 도면;
도 25는 적합한 깊이 제한의 MIP(ADL-MIP) 알고리즘을 이용하여 생성된 도 16의 이미지를 도시하는 도면;
도 26은 적합한 깊이 제한의 MIP(ADL-Raysum) 알고리즘을 이용하여 생성된 도 24의 이미지를 도시하는 도면;
도 27은 추가 음영 단계가 3차원 이미지내의 깊이 인식율을 높이기 위해 수행되는 도 26의 이미지를 도시하는 도면;
도 28은 추가 음영 단계가 3차원 이미지내의 깊이 인식율을 높이기 위해 수행되는 도 25의 이미지를 도시하는 도면; 및
도 29은 본 발명의 일실시예에 따른 레이캐스팅 기술의 개략도.
본 발명의 일측면에 따라서, 화소 I(x,y,z)의 어레이로 표현되는 타깃 체적의 연속의 2 차원 이미지를 체적의 이미지 어레이 V(x,y,z)로 표현되는 3차원 이미지로 입수하는 3차원 이미징 시스템은:
소정의 기하학적 스캐닝 경로를 따라 상기 타깃 체적을 스캔하고, 상기 스캐닝 경로를 따라 공간화된 복수의 평면위에 상기 타깃 체적의 단면을 나타내는 연속의 디지털 2 차원 이미지를 생성하는 스캐닝 수단;
상기 연속의 디지털 2 차원 이미지를, 메모리의 상기 2 차원 이미지의 위치를 정의하고 상기 2 차원 이미지내의 픽셀의 상대적인 위치와 상기 타깃 체적내의 2 차원 이미지에 인접한 상대적인 위치에 관련된 해석 정보를 정의하는 다른 관련 이미지 데이터와 함께 저장하는 메모리;
상기 디지털 2 차원 이미지와 상기 다른 관련 이미지 데이터를 수신하여, 상기 2 차원 이미지와 상기 다른 관련 이미지 데이터를 체적 이미지 어레이로 변환하는 변환 수단;
상기 체적 이미지 어레이로부터 상기 타깃 체적의 3차원 이미지를 생성하는 디스플레이 수단; 및
고화질의 3차원 이미지를 렌더링하기 위해, 상기 타깃 체적의 상기 3차원 이미지를 처리하는 이미지 처리 수단;을 포함한다.
바람직하게, 이미지 처리 수단은 이용자 변화가능 이미지 처리 파라미터를 포함한다.
바람직하게, 이미지 처리 수단은 이용자 선택가능 이미지 처리 파라미터를 포함한다.
바람직하게, 변화가능 이미지 처리 파라미터는 광선 깊이를 수정하는 것을 포함한다.
바람직하게, 선택가능 이미지 처리 파라미터는 복수의 이미지 처리 기술로부터 선택하는 것을 포함한다.
바람직하게, 이미지 처리 기술은 제한이 없지만, 텍스처 매핑, 최대 강도 조영(MIP), 조건의 MIP(CMIP) 및/또는 광선 합산법(Raysum)을 포함한다.
바람직하게, 이용자 선택가능 및 이용자 변화가능 이미지 처리 파라미터는 이용자 인터면를 통해 선택되고 변화된다.
바람직하게, 이용자 인터면는 그래픽 이용자 인터면이다.
일실시예에서, 깊이 제한의 이미지 처리 수단이 사용되고, 3차원 체적 어레이의 적어도 일부를 표현하는 모델로부터, 이용자는 모델의 적어도 한 면으로부터 광선 깊이를 선택하여, 관심의 "두꺼운 평면" 영역을 형성한다. "두꺼운 평면"내의 모든 복셀(voxel)은 이용자가 선택한 이미징 기술에 따라서 광선의 깊이를 따라 연속적으로 처리되고, 그 결과는 고화질의 3차원 이미지를 생성하기 위해 대응하는 스크린 화소상에 투영된다.
다른 실시예에서, 적합한 깊이 제한의 이미지 처리 수단이 사용되고, 3차원 체적 어레이의 적어도 한 부분을 표현하는 모델로부터, 이용자는 모델의 적어도 한 부분으로부터 광선 깊이를 선택한다. 광선 깊이와 관련하여, 복셀이 조사되는 이용자 설정 조건이 선택된다. 모델 내부의 복셀은 이용자 설정 조건에 따라 먼저 처리된다. 이용자 설정 조건에 맞는 복셀은 이용자 선택 이미징 기술에 의해 처리되고, 그 결과는 향상된 3차원 이미지를 생성하기 위해 대응 스크린 화소위에 투영된다. 다른 모든 복셀은 무시되어 처리 속도는 증가된다.
광선 깊이는 체적 어레이내의 처리 깊이를 제한하고, 그것에 의해 향상된 3차원 이미지를 생성하도록 처리되는 복셀의 수를 제한한다. 감소된 복셀의 수를 처리하면, 고화질의 3차원 이미지를 실시간 근처에서 갱신할 수 있는 처리 속도를 빠르게 한다. 따라서, 이것에 의해 사용자는 모델이 이용자 입력 디바이스와 그래픽 이용자 인터면를 통해 조정(회전, 병진 등)될 때 고화질의 3차원 이미지를 볼 수 있다.
이용자 선택 이미징 기술은 제한되어 있지 않지만, 텍스처 매핑, 최대 강도 사출(MIP), 조건의 MIP(CMIP) 및/또는 광선 합산(Raysum)법을 포함할 수 있다.
본 출원인의 공동 계류중인 미국특허출원 제 08/419,049 호와 제 08/562,590호와 출원인의 미국특허 제 5,454,371호에, 3차원 초음파 이미징 시스템이 설명되어 있다. 이러한 시스템에서, 연속의 2차원 이미지가 캡처되어 디지털화될 때, 2차원 이미지는 이미지 데이터 어레이를 형성하기 위해 스택으로서 저장된다. 스캔 타깃 체적의 3차원 이미지가 형성되기 전에, 이미지 데이터 어레이는 체적 이미지 어레이를 형성하기 위해 재구성되어야 한다. 이미지 데이터 어레이를 체적 이미지 데이터 어레이로 재구성하는 과정은 입수된 2차원 이미지가 3차원 이미지를 생성하는데 사용되기 전에 상당한 지연이 일어나는 시간 소모형 과정이다. 본 발명은 재구성하기 위해 이미지 데이터 어레이를 필요로 하지 않고 3차원 이미지가 2차원 이미지 데이터 어레이를 이용하여 생성되게 함으로써 이러한 문제점을 극복하는 3차원 초음파 이미징 시스템에 관한 것이다.
여기서 도 1을 참조하면, 본 발명에 따른 3차원 초음파 이미징 시스템이 도시되어 있고, 참조 부호(20)로 일반적으로 표시되어 있다. 본 시스템(20)은 타깃 체적의 연속의 2차원 초음파 이미지로부터 피검자의 타깃 체적의 3차원 초음파 이미지를 생성할 수 있고, 생성된 3차원 이미지를 조정할 수 있다. 피검자는 생물 또는 무생물일 수 있다. 나중에, 시스템(20)은 의학과 수의학 분야 모두에서 사용될 수 있고, 진단 기구로서 사용될 수 있고, 수술동안에 수술되는 피검자의 타깃 체적의 갱신된 이미지를 제공하는데 사용될 수 있다.
본 시스템(20)은 초음파 프로브(24)를 탈착가능한 초음파 프로브 작동 어셈블리(22)를 포함하고 있다. 본 실시예에서, 프로브 작동 어셈블리(22)는 선형 스캐닝 경로(Z)를 따라 초음파 프로브를 이동시키도록 설계되어 있어서, 타깃 체적의 연속의 2차원 이미지를 얻을 수 있다.
초음파 프로브(24)는 통신선(30)을 통해 임상 초음파 머신(28)에 연결되어 있다. 초음파 머신(28)는 통신선(34)을 통해 컴퓨터(32)에 차례로 연결되어 있다. 컴퓨터(32)는 키보드(도시생략), 디스플레이 스크린(36a)을 가진 모니터(36), 및 단일 버튼 마우스와 같은 그래픽 입력 디바이스(38)를 포함하고 있다. 그러나, 사용자가 컴퓨터에 명령을 입력할 수 있도록 다른 여러 디바이스가 사용될 수 있다는 것을 알 수 있다. 컴퓨터(32)는, 초음파 프로브(24)의 스캐닝 모션을 제어하기 위해 통신선(44)을 통해 프로브 작동 어셈블리(22)에 제어 신호를 차례로 제공하는 통신선(42)을 통해 출력 신호를 제어기(40)에 제공한다.
도 2와 도 3를 참조하면, 초음파 프로브(24)와 프로브 작동 어셈블리(22)가 더 설명되어 있다. 도시된 바와 같이, 프로브 작동 어셈블리(22)는 한 쌍의 감속 휠(22d, 22e)과 벨트(22f)에 의해 나사형 출력 샤프트(22c)에 결합된 모터(22b)를 수용하고 있는 하우징(22a)을 포함하고 있다. I형 블록(22g)이 내부 나사 홀을 통해 나사형 샤프트(22c)에 장착되어 있어서, I형 블록(22g)은 나사형 샤프트(22c)가 모터(22b)를 통해 회전할 때, 화살표(B)로 표시된 방향중 선형 스캐닝 경로(Z)를 따라 이동한다. 프로브 홀더(22h)는 스크루(22i,22j)에 의해 I형 블록(22g)에 체결되어 초음파 프로브(24)를 지지한다. 프로브 홀더(22h)는 나사형 샤프트(22c)에 비례하여 위치되고, 초음파 프로브(24)의 수평축은 나사형 샤프트(22c)의 수평축에 법선인 축과 각을 형성한다. 프로브 홀더(22h)의 경사각은 스크루(22i,22j)를 느슨하게 하여, 원하는 위치에 프로브 홀더(22h)를 회전시켜, 스크루를 조임으로써 조정될 수 있다.
프로브 작동 어셈블리(22)는 피검자(P) 몸통내의 유방 종양과 같은 병변 또는 피검자의 내부 기관의 초음파 이미지가 취해지는 애플리케이션에 특히 적합하다. 이러한 경우에, 커플링 젤(22k) 층은 피검자와 초음파 프로브(24)사이의 피검자(P)위에 일반적으로 위치한다.
정상적인 동작동안에, 모터(22b)는 일정한 속도로 회전하도록 동작된다. 따라서, 나사형 샤프트(22c)는 일정한 속도로 회전되어, 프로브 홀더(22h)는 초음파 프로브(24)를 선형 스캐닝 경로(Z)를 따라 일정한 속도로 이동하게 한다. 초음파 프로브(24)가 선형 스캐닝 경로(Z)를 따라 이동함에 따라, 타깃 체적에 충돌하는 초음파 신호를 소정 간격으로 전송한다. 타깃 체적으로부터의 반사 초음파 신호는 초음파 프로브(24)에 의해 또한 수신되고, 초음파 프로브(24)내의 크리스탈(도시 생략)에 의해 아날로그 신호로 변환된다. 이러한 아날로그 신호는 타깃 체적의 연속 2차원 아날로그 이미지가 생성되는 임상 초음파 머신(28)으로 전송된다. 각각의 2차원 이미지는 x 및 y 치수(도 3a 참조)를 가진 타깃 체적의 단면을 나타내고 있다. 초음파 프로브(24)와 임상 초음파 머신(28)의 동작은 공지되어 있어서, 여기서 추가로 설명하지 않을 것이다.
선형 스캐닝 경로(Z)를 따라 이동하는 초음파 프로브(24)의 속도와 초음파 프로브(24)의 초음파 신호 전송 간격은 알고 있고, z축에 따른 타깃 체적의 2차원 아날로그 이미지의 상대적인 위치는 쉽게 결정될 수 있다.
초음파 머신(28)에 의해 생성된 2차원 아날로그 이미지는 통신선(34)을 통해 컴퓨터(32)에 전송된다. 컴퓨터(32)는 2차원 이미지를 차례로 디지털화하고, 타깃 체적의 3차원 이미지를 설명된 바와 같이 지연하지 않고 가상적으로 디스플레이하는 방식으로 그 디지털화된 이미지를 다른 관련 이미지 데이터와 함께 기억한다. 디스플레이되면, 설명되는 바와 같이 컴퓨터(32)에 의해 이미지는 조정될 수 있다.
여기서 도 4를 참조하면, 컴퓨터(32)의 블록도는 일부 하드웨어와 소프트웨어를 예시하여 도시하고 있다. 도시된 바와 같이, 컴퓨터(32)는 예를 들어, 통신선(34)을 통해 임상 초음파 머신(28)으로부터 수신된 2차원 아날로그 이미지를 처리하는, 워싱턴 레드몬드 소재의 프리시전 디지털 이미지 코퍼레이션에 의해 제조된 IMAXX 비디오 캡처 보드와 같은 프레임 그래버 모듈(80)을 포함하고 있다. 특히, 프레임 그래버 모듈(80)은 연속의 2차원 아날로그 이미지를 캡처하고 디지털화한다. 디지털화되면, 연속의 2차원 이미지는 로컬의 물리적 메모리(82)에 저장된다.
컴퓨터(32)는 그래픽 입력 디바이스(38)를 통해 수신된 입력 명령을 해석하는 이용자 인터면 모듈(84)을 또한 포함하고 있다. 알고 있는 바와 같이, 이용자 인터면 모듈(84)은, 이용자가 원하는 대로 시스템을 제어할 수 있는 그래픽 입력 디바이스(38)로부터의 입력에 응답하여 시스템(20)의 다른 모듈의 동작을 제어하고 좌표화한다.
타깃 체적의 연속의 2차원 이미지가 프레임 그래버 모듈(80)에 의해 캡처되고 디지털화되어, 물리적 메모리(82)에 저장되면, 디지털화된 정보는 그래픽 입력 디바이스(38)로부터 이용자 인터면 모듈(84)에 의해 수신된 입력 명령에 의존하는 다수의 방법으로 처리될 수 있다. 특히, 디지털화된 정보는 외부 파일 기억 메모리(88)에 전송될 수 있다. 디지털화된 정보는, 로컬의 물리적 메모리(82)에 저장되거나 외부 파일 기억 메모리(88)에 저장되어 있든지, 타깃 체적의 3차원 이미지가 모니터(36)의 스크린(36a)위에 디스플레이되고, 여기서 추가로 설명되는 바와 같이 조정되도록, 그래픽 입력 디바이스(38)로부터 수신된 입력에 응답하여 디스플레이 모듈(92)에 의해 처리될 수 있다.
컴퓨터(32)는, 프로브 작동 어셈블리(22)를 작동시키기 위해 그리고, 선형 스캐닝 경로(Z)를 따라 원하는 대로 초음파 프로브(24)를 소인하기 위해, 출력 신호를 제어기(40)에 제공하는 프로브 스캐닝 제어 모듈(98)을 또한 포함하고 있다. 프로브 스캐닝 제어 모듈(98)은 이용자 인터면 모듈(84)로부터 입력을 또한 수신한다.
3차원 이미징
초음파 프로브(24)는 선형 경로(Z)를 따라 소인되기 때문에, 그리고 초음파 프로브(24)는 선형 스캐닝 경로(Z)의 수평축에 법선인 축에 상대적인 각도(∝)에 있기 때문에, 초음파 머신에 의해 취해진 초음파 이미지는 각도(∝)만큼 경사진 평행 평면상의 타깃 체적의 단면(또는 이미지 슬라이스)이다(도 3b 참조). 따라서, 초음파 이미지의 수신성에 의해, 전단 변형(도 3c를 참조)에 의해 수학적으로 표현될 수 있는 y와 z 좌표사이에 상관 관계가 있다. 컴퓨터 그래픽분야의 당업자에게 잘 알려진 전단 변형은 선형이다. 스캐닝 경로(Z)와 전단 변형 모두의 선형성으로 인해, 디스플레이 모듈(92)은 화소 공동 좌표를 대응 복셀 좌표로 변환하는 뷰 변형의 성분으로서 전단 변형을 이용할 수 있다. 이와 같이, 디스플레이 모듈(92)은 입수된 2차원 디지털 초음파 이미지 데이터상에 바로 작용할 수 있고, 미국 특허 제 5,454,371호와 미국특허출원 제 08/419,049호에 설명된 재구성 프로세스를 경험하기 위해 입수된 초음파 이미지 데이터를 입수하지 않고 3차원 이미지를 생성할 수 있다. 이것은 3차원 이미지가 디스플레이될 수 있는 속도를 상당히 증가시킨다.
디스플레이 모듈(92)이 입수된 디지털 초음파 이미지 데이터상에 바로 작용할 수 있도록, 디스플레이 모듈(92)은 다음을 포함하는 다른 관련 데이터를 입수한다:
1. 입수된 초음파 이미지 데이터가 작동하는 물리적 메모리(82)에서 위치 어드레스를 정의하는 어드레스 포인터;
2. z축 방향에서 취해진 3차원 이미지의 수뿐만 아니라, 각각의 2차원 이미지의 x축과 y축에 따른 화소의 수를 포함하는 입수된 2차원 이미지 데이터의 범위;
3. 인접한 2차원 이미지내의 대응하는 화소간의 물리적인 거리(z 거리)뿐만 아니라, 각각의 2차원 이미지내의 x와 y 양 방향으로의 인접한 화소의 중심간의 물리적인 거리; 및
4. 경사각(∝).
1, 2에 언급한 다른 관련 이미지 데이터는 메모리내의 입수된 디지털 초음파 이미지 데이터의 위치를 정의한다. 이러한 정보에 의해 디스플레이 모듈(92)은 입수된 초음파 이미지 데이터를 위치시키고, 타깃 체적의 적당한 이미지 슬라이스와 이미지 데이터의 섹션을 연관시킨다. 3, 4에 언급한 다른 관련 이미지 데이터는, 입수된 초음파 이미지 데이터를 디스플레이 모듈(92)이 올바르게 해석할 수 있는 이미지 데이터 해석 정보를 정의한다.
시스템(20)을 이용하여 타깃 체적의 2차원 이미지를 입수하기 전에, 다른 관련 이미지 데이터가 정의되어야 한다. 특히, 프레임 그래버 모듈(80)은 입수된 디지털 초음파 이미지 데이터를 물리적 메모리(82)의 적당한 위치에 기록하도록, 그리고 물리적 메모리(82)내의 교정 파일내에 차례로 저장되는 어드레스 포인터를 생성하도록 프로그램된다. 단계 2에서 다른 관련 이미지 데이터를 생성하기 위해, 시스템(20)은 교정된다. 특히, 교정동안에, 선형 스캐닝 경로(Z)에 따른 초음파 프로브(24)의 속도와 초음파 신호 전송 간격이 결정되어, 취해진 타깃 체적의 2차원 이미지 슬라이스의 수를 알게 된다. 또한, 2차원 이미지의 x와 y축에 따른 화소의 수가 측정된다. x와 y 방향의 화소의 수는 각각의 2차원 초음파 이미지의 에지를 정의한다. 따라서, 이러한 수는 스캔된 타깃 체적내에서 초음파 이미지 데이터를 위치시키는데 사용된다. 수가 결정되면, 교정 파일에 또한 저장된다.
시스템 교정동안에, 단계 3에서 다른 관련 이미지 데이터를 생성하기 위해, 초음파 이미지의 동일 라인(즉, x 방향)에서의 두 개의 화소간의 중심간 거리가 결정되고, 초음파 이미지의 두 개의 상이한 라인에서의 인접한 화소간의 중심간 거리가 결정되고(즉, y 방향), 두 개의 인접한 초음파 이미지에서의 대응하는 화소간의 중심간 거리가 결정된다. 상기 화소간의 거리를 결정하는 동안에, 초음파 이미지의 x 방향에서의 두 개의 화소간의 몇몇 측정치, 동일 초음파 이미지의 방향에서의 두 개의 화소가 취해지고, 평균 거리가 결정된다. 선형 스캐닝 경로(Z)에 따른 초음파 프로브(24)의 속도가 일정하고, 초음파 신호 전송 간격을 알고 있기 때문에, 인접한 2차원 초음파 이미지에서의 대응하는 화소간의 거리는 쉽게 계산된다. 이러한 거리가 결정되면, 거리 값은 교정 파일에 저장된다. 초음파 프로브(24)의 경사각(∝)은 또한 측정되어 교정 파일에 저장된다. 상기 다른 관련 이미지 데이터가 물리적 메모리(82)내의 교정 파일에 저장되면, 교정 파일은 외부 파일 기억 메모리(88)에 저장된다. 이러한 단계에서, 시스템(20)은 설명될 타깃 체적의 2차원 이미지 슬라이스를 입수할 준비를 한다.
이미지 캡처
여기서 도 5a와 도 5b를 참조하면, 타깃 체적의 2차원 이미지를 입수하기 위해 3차원 초음파 이미징 시스템(20)을 동작시키고자 할 때, 시스템(20)이 교정되었고, 상기 다른 관련 이미지 데이터가 외부 파일 기억 메모리(88)에 저장되었다고 가정하면, 초음파 프로브(24)와 프로브 작동 어셈블리(22)는 피검자에 대하여 적당히 위치되어야 하고, 그 결과 초음파 프로브(24)에 의해 전송된 초음파는 타깃 체적으로 진행된다(블록 102 참조).
초기에, 초음파 프로브는 타깃 체적의 단면을 스캔하기 위해 초음파 신호를 전송한다. 타깃 체적으로부터 수신된 반사 초음파 신호는 임상 초음파 머신(28)에 전송되고, 여기서 초음파 신호가 충돌하는 타깃 체적의 2차원 아날로그 이미지 슬라이스가 생성된다. 다음에, 2차원 아날로그 신호는 통신선(34)을 통해 컴퓨터(32)에 전송되고, 여기서 프레임 그래버 모듈(80)을 통해 캡처되고 디지털화된다. 그 다음, 디지털화된 2차원 이미지는 메모리(82)에 저장된다.
디지털화된 2차원 이미지의 카피는 이용자 인터면 모듈(84)에 전송되고, 프레임은 모니터(36)의 스크린(36a)상에 도시된다(블록 104). 초음파 신호를 전송하는 동안에, 이용자는 선형 스캐닝 경로(Z)를 따라 프로브(24)를 수동으로 이동시켜서, 그 결과 임상 초음파 머신(28)에 의해 생성된 2차원 아날로그 이미지는 프레임 그래버 모듈(80)에 의해 캡처되고 디지털화된다. 이러한 2차원 이미지는 이용자 인터면 모듈(84)을 통해 모니터(36)의 스크린(36a)상에 도시된다(블록 106). 그 다음에, 이용자는 초음파 신호가 모니터의 스크린(36a)상에 도시된 프레임을 도시한 후 타깃 체적으로 적당히 진행되었음을 신속하게 확인한다(블록 108). 타깃 체적이 도시된 프레임의 외부에 있으면, 동작은 블록(104)으로 되돌아간다. 그렇지 않으면, 이용자는 타깃 체적이 도시된 프레임내에 있음을 확인하기 위해 그래픽 입력 디바이스(38)를 이용하여 이용자 인터면 모듈(84)에 입력한다.
적소에 프로브 작동 어셈블리(22)로 행해지면, 시스템(20)은 적당한 동작을 준비한다. 이용자가 예를 들어, 외부의 풋 스위치 또는 핸드 스위치를 이용함으로써, 그래픽 입력 디바이스(38)를 이용하여 스크린(36a)에 디스플레이된 적당한 아이콘을 선택함으로써, 또는 음성 명령을 이용함으로써 시작 명령을 입력할 때, 이용자 인터면 모듈(84)은 프로브 스캐닝 모듈(98)에 신호를 보낸다. 본 발명의 배경내에서, 아이콘은 그래픽 입력 디바이스(38)를 이용하여 선택될 수 있는 스크린(36a)상에 디스플레이된 그래픽 요소이다.
이 때, 프로브 스캐닝 모듈(98)은 제어기(40)를 통해 제어 신호를 프로브 작동 어셈블리(22)에 전송하고, 초음파 프로브(24)는 일정한 속도로 선형 스캐닝 경로(Z)를 따라 이동된다. 이렇게행해지는 동안에, 초음파 프로브(24)는 소정 간격으로 초음파 신호를 전송하는 조건이 있고, 그 결과 전체 타깃 체적이 스캔된다. 초음파 프로브가 반사 초음파 신호를 수신함에 따라, 아날로그 정보를 임상 초음파 머신(28)에 전송하고, 2차원 아날로그 이미지를 생성한다. 이러한 방식으로, 체적 이미지를 나타내는 타깃 체적의 연속의 2차원 아날로그 이미지는 초음파 프로브(24)의 출력에 응답하여 임상 초음파 머신(28)에 의해 생성된다(블록 112). 임상 초음파 머신(28)에 의해 생성된 연속의 2차원 아날로그 이미지는 프레임 그래버 모듈(80)에 의해 캡처되고 디지털화된다. 디지털화된 2차원 이미지는 물리적 메모리(82)에 전송되고, 2차원 이미지 I(x,y,z)의 어레이를 디지털화된 2차원 이미지의 화소를 나타내는 어레이 I(x,y,z)내의 화소로 형성하기 위해 스택으로서 저장된다. 컴퓨터(32)는 프로브 작동 어셈블리(22)의 이동과 초음파 프로브(24)의 동작을 제어하기 때문에, 타깃 체적에 대한 개별의 2차원 이미지의 분할 방향 설정을 알게된다.
본 실시예에서, 2차원 이미지는 농도가 되는 것을 알게 된다. 그러나, 본 발명은 적당히 기능하기 위해 2차원 이미지의 "컬러"에 의존하지 않는다. 농도 화소는 포괄적으로 0에서 (2n-1)사이의 값을 가진 농도와 관련되어 있고, n은 농도를 저장하는데 필요한 비트수이다. 농도 0은 일반적으로 "배경 컬러"로서 사용되고, 검정색이다.
2차원 이미지가 어레이 I(x,y,z)를 형성하기 위해 입수되고, 물리적 메모리 (82)에 저장되면, 이용자 인터면 모듈(84)은 이러한 단계의 이미지 캡처가 완료되었음을 표시하는 프롬프트를 생성한다. 이 때, 이용자는 입수된 프레임을 앞서 설명한 방식으로 개별적으로 다시 볼 것이다(블록 114). 2차원 이미지가 부적절하게 입수되었다면(블록 116), 이용자는 블록(102)으로 되돌아 가도록 시스템(20)을 조건지정할 수 있다. 2차원 이미지가 적절하게 입수되었다면, 이용자 인터면 모듈(84)은 입수된 2차원 이미지가 교정 파일내의 다른 관련 이미지 데이터와 함께 전단 체적 이미지 어레이 V(x,y,z)로서 함께 외부 파일 기억 메모리(88)(블록 120)에 저장되어 있는지를 결정하는 프롬프트를 생성한다. 이용자가 프롬프트를 선택하면, 입수된 2차원 이미지는 다른 관련 이미지 데이터와 함께 전단 체적 어레이로서 외부 파일 기억 메모리(88)(블록 124)에 저장된다.
이 다음에, 또는 이용자가 2차원 이미지 데이터를 외부 메모리(88)에 저장하는 것을 결정하지 않으면, 이용자는 3차원 이미지가 모니터(36)(블록 126)의 스크린(36a)상에 디스플레이되는지를 즉시 결정한다. 이용자가 3차원 이미지를 보기를 원하면, 이미지 데이터는 전단 체적 이미지 어레이의 형태로 외부 파일 기억 메모리(88)에 저장되고, 디스플레이 모듈(92)은 외부 파일 기억 메모리로부터 전단 체적 이미지 어레이를 검색한다. 이미지 데이터가 외부 파일 기억 메모리(88)에 저장되어 있지 않으면, 디스플레이 모듈(92)은 메모리(82)에 저장된 데이터를 검색하고, 외부 파일 기억 메모리(88)로부터 교정 파일을 검색한다. 어느 하나의 경우에, 디스플레이 모듈(92)이 이미지 데이터와 다른 관련 이미지 데이터를 수신하면, 실질적으로 지연없이 타깃 체적의 3차원 이미지를 스크린(36a)(블록 128)상에 디스플레이하기 위해, 전단 변형과 연결시켜 데이터를 이용한다. 디스플레이된 이미지는 설명되는 바와 같이 이용자에 의해 조정될 수 있다. 이미지 조정동안에, 이용자는 디스플레이된 뷰를 메모리(82) 또는 외부 파일 기억 메모리(88)에 저장할 수 있고, 그 결과 이러한 뷰는 추후에 검색되고 재조사될 수 있다. 이미지 조작이 완료되면, 이용자는 다른 3차원 이미지가 생성되는지를 즉시 결정한다(블록 130). 이용자가 다른 3차원 이미지를 생성하기를 원하면, 시스템(20)은 블록(102)으로 되돌아간다. 그렇지 않으면, 3차원 이미징 과정은 완료된 것으로 간주된다. 블록(126)에서, 이용자가 3차원 이미지를 보는 것을 선택하지 않으면, 시스템은 블록(130)으로 바로 진행한다.
3차원 이미지 디스플레이
타깃 체적의 2차원 이미지가 입수되어 전단 체적 이미지 어레이로서 교정 파일과 함께 외부 파일 기억 메모리(88)에 또는 물리적 메모리(82)에 저장되었다면, 이용자는 3차원 이미지가 그래픽 입력 디바이스(38)를 이용하여 모니터(36)의 스크린상에 디스플레이되는지를 결정할 수 있다(블록 126). 3차원 이미지가 그래픽 입력 디바이스(38)를 통해 이용자에 의해 표시되는 바와 같이 디스플레이될 때, 디스플레이 모듈(92)은 초기화 루틴으로 들어간다(도 6 참조). 초기화 루틴으로 들어가자마자, 디스플레이 모듈(92)은 다수의 파라미터를 설명되는 디폴트 값에 설정하고, 이미지가 스크린(36a)상에 디스플레이될 때 이러한 정보를 이용한다(블록 302-306). 디폴트 값에 설정되는 파라미터는 마우스 드래그 민감도, 연속적인 정밀 시퀀스 및 의사 컬러 매핑이다.
상기 일이 행해진 후에, 디스플레이 모듈(92)은 이미지 데이터가 전단 체적 이미지 어레이로서 교정 파일과 함께 저장되어 있는지 또는 물리적 메모리(82)내에 존재하는지를 결정한다. 이미지 데이터가 전단 체적 이미지 어레이로서 저장되어 있다면, 디스플레이 모듈(92)은 외부 파일 기억 메모리(88)로부터 전단 체적 이미지 어레이의 카피를 검색한다(블록 308). 이미지 데이터가 물리적 메모리(82)에 존재하면, 디스플레이 모듈은 메모리(82)로부터 이미지 데이터를 검색하고, 교정 파일내의 다른 관련 이미지 데이터를 메모리(88)로부터 검색한다.
디스플레이 모듈(92)이 이미지 데이터와 다른 관련 이미지 데이터를 검색하였다면, 디스플레이 모듈(92)은 이미지 데이터가 모델을 할당하였는지를 조사하기 위해 체크한다(블록 310). 모델은 디스플레이되는 3차원 이미지와 동일한 공간으로 정의된 복수의 평면을 가진 볼록 다면체의 형태이다. 다면체는 여기서 설명되는 바와 같이 다양한 형태를 취할 것이다.
이미지 데이터가 모델을 할당하지 않았다면, 이미지 데이터의 치수가 조사되고, 이미지 데이터 어레이의 모든 화소를 실질적으로 둘러싸는 평행파이프 형태의 모델이 생성되고 이미지 데이터에 자동적으로 할당된다(블록 312). 평행파이프 형태는 직각인 두 개의 내부 각을 가지고 있고, 제 3 각은 각(∝)과 동일하다. 할당된 모델은 이미지 데이터 어레이와 함께 메모리에 저장된다. 이 다음에, 이미지 데이터 어레이는 바람직한 뷰(A-C)중 하나 또는 모두가 이미지 데이터 어레이에 할당되었는지를 결정하기 위해 조사된다(블록 314). 바람직한 뷰의 일부 또는 모두가 할당되지 않았다면, 바람직한 뷰는 자동적으로 생성되고, 이미지 어레이와 함께 메모리(82)에 저장된다(블록 315).
모델은 직각 투영을 통해 풀 스크린 디스플레이(이하, "메인 디스플레이 윈도우")의 역삼각형 서브 영역내에서 모니터(36)의 스크린상에 투영된다(블록 316). 도 13은 모델과 3차원 이미지가 메인 디스플레이 윈도우(MDW)에 디스플레이되는 모니터(36)의 스크린(36a)을 예시하고 있다. 사시 투영법과 같은 다른 투영 변환법이 모델을 스크린상에 투영하는데 사용될 수 있다는 것을 알 수 있다. 모델의 가시면만이 스크린(36a)상에 디스플레이되고, 즉, 숨겨진 면을 제거하여, 그 결과 디스플레이된 모델은 불투명한 형상을 가진다. 모델 면의 둘레는 스크린상에서 백색으로 표시되어 있다. 각각의 가시 모델 면은 다각형 영역내에서 스크린상에 투영된다. 각각의 가시면의 다각형 영역은 외부 영역과 내부 영역으로 나누어지고, 외부 영역은 디스플레이된 면의 경계에 바로 인접한 총 영역의 일부이고, 총 영역의 작은 부분을 나타낸다.
각각의 가시 모델면이 다음과 같이 디스플레이된다. 디스플레이된 면의 다각형 영역내의 각각의 스크린 화소는 연관된 2차원 데카르트 좌표계(x',y')를 가지고 있다. 모델면의 상세한 표시로, 이것은 3차원 좌표계(x',y', z')로 확대될 수 있다.
전단 변형에 의해, 화소 좌표계(x',y',z')는 체적 이미지 어레이 V(x,y,z)내의 복셀을 선택하기 위해, 대응하는 복셀 좌표계(x,y,z)로 변환될 수 있다. 도출된 복셀 값은 농도 또는 컬러를 만드는 의사 컬러 매핑표에 표시된다. 농도 또는 컬러은 스크린 화소를 설명하는데 사용된다. 이러한 과정은 이미지를 렌더링하기 위해, 디스플레이된 모델 면내에 위치한 모든 스크린 화소에 대하여 반복된다(블록 318). 디스플레이의 이러한 기술은 "텍스처 매핑"으로 불리우고, 당업자에게 공지되어 있다.
텍스처 매핑에 추가로, 본 발명의 바람직한 실시예는 최대 강도 투영(MIP) 및 광선 합산(이하, Raysum, 당분야에서는 투시 재투영법 또는 합성 라디오그래프)을 포함하여, 다양한 종래의 3차원 체적 이미지 처리 수단을 지원한다. 그러나, 아래에 보다 상세히 설명되는 바와 같이, 본 발명은 MIP 및 Raysum 렌더링 기술보다 우수한 몇몇 새로운 이미지 처리 수단을 개발하였다. 특히, 이러한 새로운 이미지 처리 기술은 이미징을 높이기 위해 MIP와 Raysum 방법에 모두 적용될 수 있는 깊이 제한형(DL)과 적합한 깊이 제한형(ADL) 렌더링이다. 더욱이, 최종 이미지의 3차원 구조를 이용자가 이해하는 것을 돕기 위해, 깊이 음영과 표면 음영을 포함한 음영 기술이 DL 및 ADL 기술의 결과에 적용될 수 있다. 이러한 방법이 여기에 설명될 것이다.
상기의 여러 렌더링 기술이 3차원 이미징 처리분야에서 당업자가 알고 있는 "광선 캐스팅"의 패더다임 용어로 가장 쉽게 설명될 수 있다. 본 발명의 바람직한 실시예에서, DL 및 ADL 기술의 실제 구현은 광선 캐스팅 패러다임을 수반하지만, 실질적으로 등가인 출력을 제공하는 다른 구현 기술이 대체될 수 있다는 것을 알 수 있다. 예를 들어, 고속 텍스처 매핑 하드웨어가 이용가능할 때, U Cullip and U Neumann, "Accelerating Volume Reconstruction with 3D Texture Hardware" UNC Tech Report, 1993," 및 P.A.Sabella, "Rendering Algorithm for Visualizing 3D Scalar Fields", Computer Graphics, 22(4):51-58에 설명된 전후 슬라이스 구성법을 기초로 한 구현이 더 효율적일 수 있지만, DL 및/또는 ADL이 적용된 후의 결과는 실질적으로 상이한 결과를 만든다.
도 29를 참조하면, 광선 캐스팅 패러다임은 모델, 스크린 평면, 이용자의 관점, 및 스크린 평면에 일반적으로 수직인 뷰 방향(뷰 벡터(V) 형태로 표현)사이의 기하학적인 관계를 이해하는 것에 근거를 두고 있다. 모델의 투영의 모든 스크린 화소에 대하여, 화소를 관통하는 V에 평행한 "광선"(라인)에 따른 복셀을 고려한다. 모델이 볼록 다면체의 형태를 취하는 본 발명의 바람직한 실시예에서, 광선이 모델에 들어가는 좌표(x',y',z')에서의 "입구 포인트"와 광선이 모델을 나오는 출구 포인트(x',y',z")는 스크린 좌표(x',y')에서의 이러한 모든 화소와 관련되어 있다.
광선 캐스팅 방법은 전(즉, 입구 포인트)에서 후(즉, 출구 포인트)까지 각각의 광선에 따른 복셀을 연속적으로 처리하는 것을 기초로 한 연속적인 알고리즘으로서 일반적으로 정의된다. 복셀이 포함되어 있는지를 결정하는데 사용되는 정밀 수단은 간단하고, 3차원 이미지 처리분야에서 당업자에게 알려져 있다.
상기 텍스처 매핑 기술은, 각각의 광선에 대하여 출구 포인트에서의 복셀 값은 스크린 화소상에 투영되고, 광선에 따른 다른 모든 복셀이 무시되는 방법으로서 광선 캐스팅 패러다임내에서 설명될 수 있다.
최대 강도 투영(MIP)에서, 광선에 따른 최대 복셀 값은 스크린 회소상에 투영된다. MIP의 예는 혈관의 3차원 도플러 초음파 진단장치의 이미지의 경우에 대하여 도 16에 설명되어 있다. MIP는 3차원 구조에 대해 일부를 이해할 수 있는 간단한 기술이지만, 폐색(두 개의 겹친 구조가 앞에 있고, 뒤에 있다고 말할 수 있는)을 결정하기가 상당히 어렵다는 단점이 있다.
여러 유용한 MIP는 조건적인 MIP이고, 일부 소정 조건을 충족하는 광선에 따른 복셀의 최대 값이 스크린 화소상에 투영된다. 본 발명의 바람직한 실시예에서, 농도와 컬러 정보의 혼합을 특징으로 하는 도플러 초음파 진단 장치의 이미지는 컬러 복셀(유혈을 표시)이 특정 제한값내에 해당하도록 인코딩된다. 3차원 이미지와 모델이 텍스처 매핑에 의해 생성되는 도 17에 대표적으로 설명되어 있다. 이것은 유혈을 나타내는 컬러 복셀과 정지 조직을 나타내는 농도 복셀의 혼합을 포함하는 체적 이미지 어레이(건강한 수혈자의 관상 동맥의 컬러 도플러 초음파)로부터의 이미지이다. 그러나, CMIP가 컬러 범위내의 하나의 복셀 값이 투영되는 조건으로 도 17의 이미지에서 수행될 때, 혈관의 3차원 구조의 향상된 가시도가 도 18에 도시된 바와 같이 얻게 된다. 본 도면에 도시된 바와 같이, 3차원 이미지는 도 17의 체적 이미지 어레이를 이용하지만, 컬러 정보만을 투영하는 조건 MIP를 이용하여 생성된다. 도면에 도시된 바와 같이, 모델의 전면은 전체 혈관 구조를 드러내기 위해 외부로 이동된다.
Raysum에서, 광선에 따른 모든 복셀 값은 합산되고, 소정의 정상적인 상수에 의해 수용가능한 화소값으로 정상적으로 크기 조정된 최종 값이 스크린 화소상에 투영된다. Raysum 기술의 예가 3차원 이미지가 도 16의 모델과 체적 이미지 어레이를 이용하여 생성된다. 일반적으로, Raysum은 MIP보다 더 자연스럽게 보이는 결과를 만들지만, 폐색이 여전히 도시되어 있지 않다.
DL 이미지 처리 수단이 MIP, CMIP, 및/또는 Raysum 기술에 적용되는 본 발명의 바람직한 실시예에서, "광선 깊이"라 불리우는 고정된 거리가 선택되고, 선택된 방법(MIP, CMIP, Raysum 또는 다른 기술)은 광선 깊이를 넘은 복셀을 무시한다. 이로써, 광선 깊이는 관련 영역으로서 "두꺼운 평면"을 정의한다. 광선 패러다임에 따라서, 모델의 투영에서의 모든 스크린 화소는 V에 평행한 "광선" 라인을 따라 처리된 복셀을 가지지만, 광선 깊이에 의해 결정된 만큼 모델에서 깊다. 이것은 전체 모델 내부를 디스플레이하고자 하는 MIP 및 Raysum과, 표면만을 상세히 디스플레이하는 텍스처 매핑과 같은 방법사이에서 중간 기저부를 제공한다. 따라서, DL 기술은 혈관구조를 조사할 때 특히 유용하다.
동작중에, 이용자는 단일 버튼 마우스와 같은 입력 디바이스와 그래픽 이용자 인터면를 통해서 광선 깊이와 방법(MIP, CMIP, 또는 Raysum)을 선택한다. 광선 깊이는 사시도를 원할 때 한 면이상에서 선택될 수 있다. 도 23와 도 24은 두 개의 면으로부터의 DL-MIP 및 DL-Raysum 이미지 처리의 예시적인 예를 보여주고 있다. 일반적으로, 이용자는 고화질 뷰를 원하는 모델에서 하나의 면을 선택한다. 이러한 면은 광선 깊이가 측정되는 입구 포인트 또는 시작 포인트로서 간주된다. 그 다음, 이용자는 선택된 모델 면에 수직인 V를 따라 전형적으로 측정될 수 있는 디폴트 광선 깊이를 제공하거나 수용한다. 깊이는 더 깊은 복셀이 처리에서 제외되는 체적 어레이내의 출구 포인트를 결정한다. 이러한 방식으로 처리하는 것으로부터 복셀을 제한하는 것은 처리 시간을 상당히 증가시킨다. 더욱이, 관련 영역의 "두꺼운 평면"내의 처리된 복셀은 폐색을 보이는 고화질 이미징 결과를 만든다.
도 20a-20c는 도 16과 도 19에 예시된 동일 도플러 초음파 진단장치의 데이터에 텍스처 매핑을 적용한 결과를 도시하고 있다. 그러나, 3개의 도면간의 차이점은 최전방 모델 평면이 상이한 위치에 있다는 것이다. 도면에서 알 수 있는 바와 같이, 혈관의 혼합 3차원 구조는 단지 평단면이 보일 때 분명하지 않다.
도 21a, 21b, 21c는 도 20a와 동일한 데이터와 모델에서 도 16(DL-MIP)의 MIP 이미지에 DL 이미지 처리 수단을 적용하지만, 광선 깊이가 2 밀리미터, 4 밀리미터, 6 밀리미터 각각으로 변화하는 결과를 도시하고 있다. 도 21c,21a,22b는 광선 깊이가 6 밀리미터에서 유지되고, 상이한 깊이에서 혈관 구조를 드러내기 위해 최전방 모델 평면이 3차원 체적 어레이를 통해 내부로 이동될 때의 효과를 예시하고 있다.
도 23은 혈관 체적 이미지 데이터내의 밝은 구조의 광선 깊이내에서 두 개의 모델 면이 닫히게 위치된 DL_MIP의 응용을 도시하고 있다. 도 24은 일치하는 체적 이미지 데이터와 모델이 도 23에 도시된 Raysum 기술(DL_Raysum)에 DL 이미지 처리 기술이 적용될 때의 결과를 도시한다.
본 발명의 바람직한 실시예에서, DL_MIP 와 DL_Raysum 처리가 거의 실시간 속도에서 수행될 수 있고, 오퍼레이터가 스크린(36a)상에서 모델 평면을 이동시키는 동안에 이미지를 갱신하는 것이 가능하다는 것을 아는 것이 중요하다. 모델 평면의 이동은 아래에 보다 상세히 설명될 것이다. 이러한 상호작용에 의해 이미지에서의 깊이와 시간사이의 오퍼레이터 제어형 관계를 도입함으로써 3차원 구조를 보다 이해할 수 있다.
상기 다른 새로운 이미징 처리 수단은 MIP와 Raysum 처리 이미지(ADL-MIP 와 ADL-Raysum) 모두에 적용될 수 있는 적합한 깊이 제한 기술이다. ADL은 이용자 선택 조건을 복셀 값에 적용하고, 이것은 체적 이미지 어레이에서의 "배경" 구조 및 관련 구조를 판별한다. ADL 처리는 두 개의 위상으로 진행한다. 제 1 위상에서, 입구 포인트에서 시작하면, 조건에 맞지 않은 광선에 따른 복셀이 무시된다. 제 2 위상에서, 복셀은 조건을 만족하는 제 1 복셀에서 시작하는 광선 깊이에 따라 조사되고, DL_MIP 또는 DL_Raysum 방법에 실질적으로 일치하는 방식으로 진행한다. 광선에 따른 복셀이 조건을 만족하지 못하면, 스크린 화소는 소정의 컬러, 일반적으로 검정으로 설정된다.
적합한 방법은, 계산상 모든 복셀을 포함할 필요가 없을 때 보다 고속으로 수행될 수 있는 종래의 MIP와 Raysum 기술보다 더 바람직하다. 더욱이, ADL 이미지 처리 수단은 폐색을 선명하게 나타낸다. ADL_MIP와 ADL_Raysum을 각각 설명하는 도 25 및 26을, 동일 혈관 체적 이미지 데이터에 대한 종래의 MIP와 Raysum를 각각 설명하는 도 16 및 19와 비교할 때의 예로서, ADL 처리 이미지는 폐색을 선명하게 나타낸다.
본 발명의 바람직한 실시예에서, ADL_MIP와 ADL_Raysum 방법이 상호작용 속도에서 수행될 수 있다는 것을 아는 것이 중요하다. 이용자가 패럴랙스 깊이 큐의 이해를 지원하는 속도와 평탄성과 함께, 이미지를 스크린에서의 원하는 뷰 각도로 자유롭게 회전시킬수 있기 때문에, 3차원 구조를 보다 이해할 수 있다.
깊이 제한 MIP 기술은 STS-MIP에서 설명된 소위 Shiding Thick-Slab MIP 또는 STS-MIP 기술의 일부 특징을 공유한다: 샌디 네펠, 지오프리 디.루빈, 및 알. 브루크 제프리,쥬니어 발명의 흉부 CT용의 새로운 재구성 기술, Journal of Computer Assisted Tomography 17(5):832-838. 그러나, 다음의 중요한 차이점이 언급된다. STS-MIP 기술은 단방향으로만 MIP를 수행하고, DL-MIP은 이용자에 의해 상호 선택된 뷰 방향으로 작용한다. STS-MIP 방법은 쌍방향이 아니고, 2차원 이미지의 과거 시네(cine) 시퀀스의 형태로 보통 표현되어 있고, 본 발명의 바람직한 실시예에서, DL-MIP은 완전히 쌍방향이고, 실시간 속도근처에서 3차원 이미지를 처리한 이미지를 제공한다. 최종적으로, STS-MIP은 흉부의 X-레이 CT 혈관 조영법에 초기에 적용하고, 본 발명에서는, DL-MIP가 3차원 초음파 진단 이미징과 다른 형태의 3차원 체적 이미지 데이터에 적용된다.
DL-MIP와 DL-Raysum의 적합한 변화는 각각의 화소에 대해서, 선택된 적합한 조건을 만족하는 제 1 복셀의 깊이 값을 확인한다. 이러한 깊이 값은 당업자에게 잘 알려진 일부 음영 방법에 따라서 콘트라스트를 깊게함으로써 최종 이미지를 고화질화하는데 사용될 수 있다. 현재 바람직한 두 가지의 유용한 음영 방법은 깊이 음영법과 표면 음영법이다.
깊이 음영법이 적용될 때, 화소 명암도는 깊이에 역비례하는 배수 인자만큼 감소된다. 표면 음영법에서, 모델 투영에서의 모든 화소에 대한 깊이 값의 총합은 3차원 표면으로서 취급되고, 그 표면에서 관찰자의 눈 위치를 향해 반사하는 하나이상의 광원으로부터의 빛의 효과는 3차원 컴퓨터 그래픽분야의 당업자에게 알려진 방법(예, 람베르틴 반사 모델링)에 따라 모델링된다.
따라서, 도 28은 음영없이 ADL-MIP를 도시하는 도 25와 비교될 수 있는 ADL-MIP 투영의 결과에 표면 음영법을 적용한 결과를 도시하고 있다. 유사하게, 도 27은 음영없이 ADL-Raysum을 도시하는 도 26과 비교될 수 있는 ADL-Raysum 이미지 처리의 결과에 표면 음영법을 적용한 결과를 도시하고 있다.
여기서 도 7를 참조하면, 3차원 이미지와 모델이 모니터(36)의 스크린(36a)에 디스플레이된 후, 초기 뷰는 이미지 데이터 어레이와 함께 메모리(82)에 저장되고, "리셋" 뷰로서 인덱스된다. 그러므로, 초기화후, 이미지 데이터 어레이의 4개의 저장된 뷰가 존재하고, 메모리로부터 검색될 수 있고, 관련 아이콘이 설명되는 바와 같이 선택될 때 디스플레이될 수 있다. 저장된 뷰의 수는 임의적이고, 다소의 저장된 뷰가 생성되고 저장될 수 있다. 초기화가 완료할 때, 디스플레이 모듈(92)은 디스플레이된 이미지(도 7a-7d 참조)에서 수행되는 원하는 조정을 나타내는 입력 명령을 검출하기 위해 그래픽 입력 디바이스(38)을 연속적으로 감시하기 시작한다. 입력 명령이 디스플레이 모듈(92)에 의해 검출될 때, 디스플레이 모듈은 수신된 입력 명령에 따라서 디스플레이 이미지를 조정한다.
전체 타깃 체적이 스캔된 후에 디스플레이 모듈(92)이 물리적 메모리(82)로부터 2차원 초음파 이미지 데이터를 그리고, 메모리(88)로부터 다른 관련 이미지 데이터를 검색하는 것으로서 설명되었지만, 당업자는 2차원 초음파 이미지 데이터를 입수하기 전에 교정 파일이 디스플레이 모듈(92)에 의해 검색될 수 있다는 것을 알 것이다. 이러한 경우에, 교정 파일에서의 다른 관련 이미지 데이터는 초당 입수된 2차원 초음파 이미지 데이터를 설명하고 있지 않고, 2차원 초음파 이미지가 캡처될 수 있는 물리적 메모리(82)의 구조 특성과 메모리 위치를 설명하고 있다. 시스템이 이러한 방식으로 동작될 때, 디스플레이 모듈(92)은 타깃 체적이 스캔되고 있을 때 타깃 체적의 3차원 이미지를 가상적으로 동시에 나타낼 수 있다.
시스템(20)은 선형 스캐닝 경로(Z)를 따라 초음파 프로브(24)를 이동하는 것으로서 설명되었지만, 당업자는 다른 초음파 스캐닝 기하학적 형태가 사용될 수 있다는 것을 알 것이다. 이러한 경우에, 교정 파일내의 다른 관련 이미지 데이터는 2차원 이미지 데이터를 체적 이미지 데이터로 전환하기 위해 상대적으로 간단한 변형이 사용될 수 있도록 스캐닝 기하학적 형태를 고려하는 것을 바꿔야 한다.
3차원 이미지 조정
디스플레이된 이미지의 모든 조정은 그래픽 입력 디바이스(38)를 이용하여 3번의 동작을 통해 실행될 수 있다. 이러한 동작은 "포인트", "클릭", 및 "드래그"이다. "포인트"하는 것은 버튼을 누르지 않고 커서가 원하는 영역에서 스크린(36a)에 위치되도록 그래픽 입력 디바이스(38)를 이동시키는 것이다. "클릭"하는 것은 그래픽 입력 디바이스의 버턴을 누르는 것이고, "드래그"하는 것은 버튼을 누른 상태에서 그래픽 입력 디바이스를 이동하는 것이다. "포인트-클릭-드래그 시퀀스"용어는 그래픽 입력 디바이스를 통해 스크린상의 원하는 영역으로 커서를 이동하고, 그래픽 입력 디바이스상의 버튼을 누르고, 버튼을 누른 상태에서 다른 원하는 영역으로 그래픽 입력 디바이스를 이동시키고, 그 다음 버튼 누름을 해제하는 완전한 동작을 표시하는데 사용된다. 포인트-클릭-드래그 시퀀스중 클릭이 이루어지는 영역에 따라서 이미지를 특별히 조정한다.
초기화 루틴이 완료되고, 모델과 3차원 이미지가 스크린상에 디스플레이되면, 그래픽 입력 디바이스는 이용자가 디스플레이된 이미지를 조정하기를 원하는지를 결정하도록 모니터링된다. 디스플레이 모듈(92)에 의해 지원되는 조정은 임의 축 주변의 전체 모델과 3차원 이미지의 회전, 모델의 선택된 평면의 이동, 및 임의 축 주변의 모델의 선택된 평면의 회전이다. 디스플레이 모듈(92)이 그래픽 입력 디바이스(38)의 이동을 해석하고, 그래픽 입력 디바이스(38)에 응답하여 디스플레이 모델과 이미지를 조정하는 방식이 설명될 것이다.
디스플레이 모듈(92)은 스크린상의 커서 위치를 결정하기 위해 그리고 클릭이 행해졌는지를 결정하기 위해 그래픽 입력 디바이스(38)를 연속적으로 모니터링한다. 특히, 디스플레이 모듈(92)은 커서가 가시 모델 면의 외부 영역내에 위치되는지를 결정한다(블록 324). 커서가 이러한 외부 영역내에 위치되면, 디스플레이 모듈(92)은 모델 면의 둘레선의 컬러를 청색으로 한다(블록 326). 그렇지 않으면, 디스플레이 모듈(92)은 청색일 수 있는 둘레선의 컬러를 이전의 컬러로 변경한다(블록 328). 디스플레이 모듈(92)은 클릭했는지를 결정한다(블록 328). 클릭하지 않았다면, 그래픽 입력 디바이스(38)의 이동이 추적된다. 디스플레이 모듈 (92)은 그래픽 입력 디바이스의 이동을 수반하기 위해 스크린(36a)에서 커서를 이동킨다(블록 332,334). 커서가 이동될 때, 디스플레이 모듈(92)은 가시면의 둘레선의 컬러가 바로 설명되는 커서의 위치에 따라 변화하도록 블록(324)으로 되돌아간다.
마우스 클릭이 검출될 때, 스크린(36a)상의 커서의 위치는 커서가 메인 디스플레이 윈도우내에 위치되는지를 결정하기 위해 조사된다(블록 336). 커서가 메인 디스플레이 윈도우 외부에 있으면, 디스플레이 모듈(92)은 커서가 옵션 아이콘위에 위치하는지를 결정한다(블록 338). 커서가 옵션 아이콘위에 없으면, 클릭은 무시되고, 그래픽 입력 디바이스(38)은 버튼이 누름 해제될 때까지 모니터링된다(블록 399). 이때, 디스플레이 모듈(92)은 블록(324)로 되돌아간다. 그러나, 커서가 옵션 아이콘위에 있으면, 디스플레이 모듈(92)은 설명되는 선택된 옵션 아이콘과 관련된 루틴을 실행한다.
그래픽 입력 디바이스의 클릭이 행해지고, 커서가 블록(336)에서 검출된 바와 같이 메인 디스플레이 윈도우내에 위치할 때, 디스플레이 모듈(92)은 커서가 디스플레이된 모델 면의 내부 영역 또는 외부 영역내에 또는 배경에 위치하는지를 결정한다(블록 340). 커서가 배경에 위치되면, 디스플레이 모듈(92)은 이용자가 전체 모델과 3차원 이미지를 회전시키고자 한다고 결정한다. 이러한 경우에, 버튼을 누른후, 그래픽 입력 디바이스(38)의 드래그 방향과 거리가 모니터링된다(블록 342). 그래픽 입력 디바이스(38)이 드래그되고 있을 때, 드래그 방향과 거리는 디스플레이 모듈(92)로 반복적으로 전송된다(블록 344). 드래그 거리와 드래그 방향은 3차원 모델과 이미지를 회전시키기 위해, 그리고 스크린상에서 회전을 도시하는 디스플레이를 갱신하기 위해 디스플레이 모듈(92)에 의해 사용된다(블록 345). 그래픽 입력 디바이스(38)의 누름이 해제되면, 조작이 완료되었다고 간주하고, 디스플레이 모듈(92)은 블록(324)로 되돌아간다(블록 346).
마우스 드래그 거리와 방향을 3차원 회전축과 각도 파라미터로 전환하는 여러 기술은 공지되어 있다. 본 발명의 바람직한 실시예는 미국 컴퓨터 학회(ACM)에 의해 발행된 그래픽 인터면(92)의 처리법에 설명된 슈마크의 "아크볼" 기술을 이용한다. 3차원 이미지에 대한 회전의 고정점은 초기 모델의 기하학적 중심이 된다. 따라서, 조정에서, 디스플레이된 이미지의 중심을 통해서 스크린(36a)상에 수직으로 그래픽 입력 디바이스가 이동하면, 디스플레이된 이미지는 수직축 주변을 회전할 수 있고, 이미지의 중심(34)을 통해 수평으로 그래픽 입력 디바이스가 이동하면, 디스플레이된 이미지는 수직축 주변을 회전할 수 있다.
도 8a-8c는 그래픽 입력 디바이스(38)이 중앙우측에서 중앙좌측으로 메인 디스플레이 윈도우를 걸쳐 커서를 드래그하도록 이동됨에 따라 수직축 주변의 회전에 영향을 받은 메인 윈도우 디스플레이내의 모델과 3차원 이미지를 도시한다. 도 9a-9c는 그래픽 입력 디바이스(38)가 상부좌측에서 상부우측으로 메인 디스플레이 윈도우를 걸쳐서 커서를 드래그하도록 이동될 때, 대략 30°의 각도인 축 주변을 수평과 경사로 그리고 우측으로 회전하는 것에 영향을 받은 모델과 3차원 이미지를 도시하고 있다. 도시되어 있는 바와 같이, 이러한 동작은 이용자에게 디스플레이된 이미지를 유지하고 주위에 끌어내는 감각을 부여한다. 이러한 이미지 조정이 상기 공보에 상세히 설명되어 있다.
전체 모델의 단순 회전외의 모델의 조정을 용이하게 이해하기 위해, 다면체 모델을 보다 상세하게 설명할 필요가 있다. 수학적으로, 볼록 다면체는 최소한 4개의 평면, 이하 경계면에 의해 정의된 반공간 세트의 교차점으로서 특징지을 수 있다. 다면체의 각각의 면은 대응하는 경계 평면에 삽입된 볼록 다면체이다. 경계 평면의 파라미터(즉, 평면 방정식 Ax + By + Cz = D에서, 메모리(88A,B,C,D)로부터의 변형 체적 이미지 어레이의 카피를 검색하기 위한 디스플레이 모듈(92)의 계수)를 변경함으로써, 모델 다면체의 형상은 수정될 수 있다. 경계면의 수가 또한 변경될 수 있다. 특히, 새로운 경계면이 추가될 수 있고, 현재의 평면이 모델의 수학적인 열거로부터 제거된다. 결과는 모델 다면체가 면을 얻거나 잃어버리는 것이다.
디스플레이 모듈(92)은 경계면 계수의 두 번의 제 1 조정, 즉 병진(평면에서 좌표원점까지의 수직 거리를 표시하는 계수 D의 변경)과 회전(좌표축에 대한 평면의 방향 설정을 총괄적으로 표시하는 계수 A,B,C의 변경)을 지원한다. 아래에 설명되는 바와 같이, 어떤 경계면(및 어떤 대응 모델 면)이 영향을 받는지, 병진 또는 회전을 수행하는지의 선택은 디스플레이된 모델에 대한 포인트-클릭-드래그 시퀀스의 상황 해석에 의해 결정된다. 디스플레이 모듈(92)은 아래에 또한 설명되는 바와 같이, 모델 명세로부터 경계면을 추가하고 삭제하는 수단을 제공한다.
먼저 메모리에 로드되고(도 6의 블록 310,312) 이용자 입력에 응답하여 평면이 추가될 때, 체적 이미지 어레이 V(x,y,z)에 할당된 모델의 형상인 원 경계면을 구분한다. 원경계면에 대응하는 모델 면은 백선으로 디스플레이된 둘레선을 가지고 있고, 추가 평면에 대응하는 면은 다른 컬러, 전형적으로 황색 또는 녹색을 이용하여 표시된다. 추가된 평면은 병진되거나, 회전하거나, 삭제될 수 있다. 원 평면은 체적 이미지의 경계를 나타내고, 새로운 평면의 추가를 지원하는 수단을 제공한다.
블록(340)에서, 클릭이 검출되고, 커서가 디스플레이된 모델 면의 둘레내에 있다고 결정되면, 커서가 위치하는 모델의 면이 결정되고, 면내의 커서의 위치는 디스플레이 모듈(92)에 의해 조사된다(도 7c의 블록 350). 커서가 면의 내부 영역내에 위치하면, 디스플레이 모듈(92)은 대응하는 경계면을 병진시키고자 한다고 결정한다. 그 다음, 디스플레이 모듈(92)은 평면이 원 평면 즉, 백선으로 표시된 평면인지를 결정하기 위해 대응하는 평면을 조사한다(블록 354). 평면이 원 평면이면, 새로운 평면이 모델에 생성되고 추가된다(블록 356). 초기에, 추가된 평면은 원 경계 평면과 일치된다. 추가된 평면이 생성되거나, 블록(354)에서, 평면이 원 평면이 아니면, 평면을 표시하는 둘레선(즉, 대응하는 디스플레이된 모델 면의 둘레)은 황색으로 표시되고, 다른 추가된 평면의 둘레선은 녹색으로 표시된다(블록 357).
그래픽 입력 디바이스의 드래그 거리와 방향이 모니더링된다(블록 358). 디스플레이 모듈(92)은 추가된 평면의 병진 방향을 결정한다. 이렇게 하기 위해, 디스플레이 모듈(92)은 평면이 캡처되는 법선 벡터의 스크린(36a)상에 드래그 벡터와 투영체의 내적을 계산한다. 내적이 양의 값이면, 평면은 법선 벡터 방향으로 병진된다; 음의 값이면, 반대 방향으로 병진된다. 바람직한 실시예에서, 모델 명세는 모든 경계면의 법선 벡터가 모델 다면체의 내부로부터 벗어나도록 되어 있다. 이러한 이유로, 결과가 양의 내적인 그래픽 입력 디바이스(38)의 이동은 모델의 중심에서 외부로 평면을 당기고, 결과가 음의 값인 그래픽 입력 디바이스(38)의 이동은 을 내부로 민다(블록 360).
평면의 병진 방향이 내부인 것으로 결정되면, 디스플레이 모듈(92)은 병진이 모델의 붕괴를 초래하지 않게 하도록 체크한다(블록 362). 그러하다면, 디스플레이 모듈(92)은 디스플레이된 모델과 3차원 이미지를 갱신하지 않고 블록(358)으로 되돌아간다. 그렇지 않으면, 추가 평면의 병진이 일어나고, 이미지는 변경된 다면체 모듈을 반영하도록, 즉 텍스처 매핑 기술로 갱신된다. 병진된 평면상의 점과 대응하는 체적 이미지 어레이 V(x,y,z)내의 점이 평면상에서 텍스처 매핑된다(블록 364).
블록(360)에서, 병진 방향이 외부라고 결정되면, 디스플레이 모듈(92)은 병진이 평면 소실을 초래할 수 있는지를 체크한다(블록 366). 그렇지 않으면, 디스플레이 모듈(92)은 블록(364)으로 진행하고, 디스플레이된 모델과 3차원 이미지를 갱신한다. 그렇지 않으면, 디스플레이 모듈(92)은 블록(364)로 진행하기 전에 병진이 평면의 소실을 초래할 수 있다는 것을 알고 있다(블록 368). 알 수 있는 바와 같이, 평면이 병진되면, 이미지의 여러 단면이 체적 이미지 어레이 V(x,y,z)를 통해 병진된 평면 슬라이스로서 보여질 수 있다. 평면이 병진되면, 디스플레이 모듈은 평면이 삭제되었는지를 알기 위해 체크한다(블록 370). 그렇지 않으면, 병진된 평면의 둘레선은 황색으로 표시되고, 다른 모든 둘레선은 녹색으로 표시된다(블록 372). 다른 방법으로, 가장 최근에 수정된 평면의 둘레선은 황색으로 표시되고, 다른 모든 둘레선은 녹색으로 표시된다(블록 374). 버튼의 누름이 해제될 때, 디스플레이 모듈(92)은 병진 조정이 완료된 것으로 간주하고, 블록(324)로 되돌아간다(블록 376).
병진되는 추가 평면이 스크린(36a)의 평면에 거의 평행할 때, 상기 내적은 0이다. 이러한 경우에, 디스플레이 모듈(92)은 병진 방향과 거리를 결정하기 위해 그래픽 입력 디바이스 이동의 수직 성분을 고려한다. 이러한 경우에, 그래픽 입력 디바이스(38)의 위방향 이동에 의해 디스플레이 모듈(92)은 모델(36a)로 추가 평면을 밀어낼 수 있고, 그래픽 입력 디바이스의 아래방향 이동에 의해 디스플레이 모듈은 모델로부터 평면을 끌어당길 수 있다. 도 10a-10c는 디스플레이 윈도우내의 모델과 이미지를 도시하고, 여기서 모델의 평면은 모델의 기하학적 중심을 향해 병진된다.
클릭이 검출되고 커서가 블록(350)에서 결정된 모델 면의 외부 영역내에 위치되어 있으면, 디스플레이 모듈(92)은 대응하는 경계면이 회전되고 있다고 결정한다. 디스플레이 모듈은 평면이 원 평면인지를 결정하기 위해 평면을 조사한다(블록 380). 평면이 원 평면이면, 원 평면과 일치하는 새로운 평면이 모델에 생성되고 추가된다(블록 382). 추가된 평면의 둘레선은 황색으로 표시된다. 이러한 것이 행해지거나 블록(380)에서, 평면이 원 평면이 아니면, 다른 모든 추가된 평면의 둘레선은 녹색으로 표시된다(블록 384).
이 다음에, 그래픽 입력 디바이스(38)의 드래그 거리와 방향이 모니터링되고, 그래픽 입력 디바이스의 회전축과 방향은 상기 슈마크의 기술을 이용하여 디스플레이 모듈(92)에 의해 계산된다. 이후, 디스플레이 모듈(92)은 회전에 의해 평면이 소실할 수 있는지를 결정한다(블록 388). 그러하다면, 디스플레이 모듈(92)은 디스플레이된 모델과 3차원 이미지를 갱신하지 않고 블록(386)으로 되돌아간다. 그 반대면, 디스플레이 모듈(92)은 추가된 평면을 계산된 양만큼 초기 모델의 기하학적 중심 주변을 회전한다. 회전이 일어나고 있을 때, 디스플레이 모듈(92)은 스크린상의 이미지를 갱신한다(블록 390). 이것에 의해 이미지의 상이한 단면은 체적 이미지 어레이 V(x,y,z)를 통해 회전된 평면으로서 보일 수 있다. 도 11a-11c는 메인 디스플레이 윈도우내의 모델과 3차원 이미지를 도시하고, 모델의 평면은 수평과 경사로 그리고 우측으로 대략 30°의 각도인 축 주변을 회전한다. 이러한 조정을 통해 새로운 빗각 평면이 모델에 추가될 수 있다. 그래픽 입력 디바이스(38)상의 버튼의 누름이 해제되어 평면 회전이 완료되었음을 나타내면, 디스플레이 모듈(92)은 블록(324)으로 되돌아간다(블록 392).
상기 설명으로 알수 있는 바와 같이, 모델의 원 평면이 이용자에 의해 병진되는 것과 회전하는 것중 하나를 선택할 때마다, 추가된 평면이 생성되고, 추가된 평면은 이동된다. 디스플레이 스크린상에 도시되지 않은 원 평면은 메모리(82)에 저장되고, 원상태로 디스플레이를 리셋하기 위해 언제나 리콜될 수 있다. 백선은 원 평면을 표시하고, 녹색선은 황색으로 표시되는 나중에 이동된 평면을 제외한 추가 평면을 표시하고, 청색선은 평면이 마우스 드래그 시퀀스가 일어나면 회전한다는 것을 표시한다는 것을 알 수 있다.
추가된 평면이 회전될 때, 추가된 평면은 비스듬하게 되지만, 원 평면에 의해 한정된 경계를 초과할 수 없다(도 11a-11c 참조). 추가된 평면은 대응 모델 면이 소실하는 모델로부터 충분히 멀리 병진될 수 있다. 이용자가 면이 소실된 후 그래픽 입력 디바이스 버튼을 해제하면, 평면은 모델로부터 제거된다. 이것에 의해 이용자는 원하지 않은 추가 평면을 삭제할 수 있다. 그래픽 입력 디바이스 버튼이 해제되지 않으면, 이용자는 추가된 평면을 모델로 역으로 밀어낼 수 있고, 그 결과 평면은 다시 가시화되고, 삭제가 일어나지 않는다. 도 12a-12d는 메인 윈도우 디스플레이내의 모델과 3차원 이미지를 도시하고, 여기서, 모델의 빗각 평면은 소실할 때까지 모델의 기하학적 중심으로부터 떨어져 병진된다. 추가된 모델로 충분하게 병진되면 전체 모델이 붕괴할 수 있다는 것을 알 수 있지만, 디스플레이 모듈(92)은 모델을 붕괴할 정도로 멀리 병진되는 것을 허용하지 않는다(블록 362 참조).
그래픽 입력 디바이스(38)가 디스플레이된 뷰의 변화에 영향을 주도록 이동되고, 디스플레이가 중간 위치, 영향을 받은 평면 또는 평면의 방향 설정을 보이면서 갱신되는 동안에, 디스플레이 모듈(92)은 체적 이미지 어레이 V(x,y,z)를 재샘플링하여야 하고, 렌더링 과정, 이산 근접의 방법을 완료하여야 한다. 이러한 실시예에서, 다수의 재샘플링 방법이 이용가능하고, 각각은 계산 속도와 이미지 화질사이에 상이한 결과를 제공한다.
제한된 컴퓨터 전원으로 부드럽게 동작하기 위해, 디스플레이는 모니터 스크린의 전체 해상도보다 적게 계산(렌더링)될 수 있고, 또는 더 간단한 보간 기술이 재샘플링 과정에서 사용될 수 있다. 이러한 실시예에서, 디스플레이는 3개의 렌더링 패스만큼 많이 계산되고, 제 1 및 제 3 의 렌더링 패스는 이용자가 원하면, 그래픽 입력 디바이스(38)를 통해 옵션 아이콘을 선택함으로써, 디스에이블될 수 있다. 각각의 패스의 인에이블 상태/디스에이블 상태는 초기화 동안에 블록(324)에서 디폴트 상태로 실질적으로 설정된다. 시퀀스의 제 1 인에이블 패스는 중단불가능하고, 즉 그래픽 입력 디바이스가 이동하고 있는 동안에, 제 1 인에이블 패스는 스크린상에 완전한 연속의 뷰를 만들어, 전체적으로 수행된다. 연속의 인에이블 패스가 그래픽 입력 디바이스 이동에 의해 자동적으로 중단되고, 그 결과 그래픽 입력 디바이스 이동이 충분히 중지할 때 디스플레이 뷰가 고화질의 뷰(중단가능한 렌더링 패스에 의해 계산)에 의해 대체된다. 본 실시예에 의해 지원된 3개의 렌더링 패스는 다음과 같다:
1. 감소된 이미지 감소, 가장 이웃한 재샘플링
2. 전체 이미지 해상도, 가장 이웃한 재샘플링
3. 전체 이미지 해상도, 3선 보간 재샘플링.
상기된 바와 같이, 블록(388)에서, 클릭이 검출되고 커서가 메인 디스플레이 윈도우내에 위치하지 않으면, 디스플레이 모듈(92)은 옵션 아이콘이 선택되었는지를 결정한다. 이용가능한 옵션 아이콘에 의해 이용자는 이미지 디스플레이를 높이기 위해 그리고 특정 루틴을 실행하기 위해, 디폴트 값과 다른 파라미터를 선택할 수 있다. 이러한 옵션 아이콘은 "리셋(Reset)", "뷰 A-C","리멤버(Remember)","스냅샷(Snapshot)","애니메이션(Animation)","표시기(Indicator)","방향설정(Orientation)","고속(Fast)","스무트(Smooth)","윈(Win)","UV", "확대(Magnify)", 및 "측정(Measure)"을 포함한다. 도 13은 메인 디스플레이 윈도우의 안쪽에 위치한 제어 디스플레이 윈도우로 이러한 옵션 아이콘의 대부분을 예시하고 있다. 이러한 예에서, 바람직한 뷰 A-C는 "화살표(Sagittal)","코로나 형상(Coronal)", 및 "굴대 형상(Axial)"로서 이용자에 의해 라벨된다. 옵션 아이콘을 통해 선택될 수 있는 이용가능한 옵션이 설명될 것이다.
리셋 아이콘이 선택되면, 체적 이미지 어레이 V(x,y,z)에 저장된 이미지와 모델의 원 뷰는 재계산되고, 스크린 상에 디스플레이된다. 유사하게, 뷰 A-C 아이콘중 하나가 선택되면, 대응하는 바람직한 뷰는 재계산되고 디스플레이된다. 이용자가 현재의 섹션을 위해 뷰 A-C중 하나이상을 변경하고자 하면, 이용자는 디스플레이된 뷰를 저장된 뷰로 대체할 수 있다. 본 실시예로 이용자느 뷰 아이콘 라벨(예, 도 13의 화살표, 코로나 형상, 굴대 형상 등)이 디스플레이된 구분된 윈도우를 작동시킬 수 있고 그리고, 원하는 대로 라벨을 편집할 수 있다. 이용자가 그 목적을 위해 제공된 옵션 아이콘을 이용하여 메모리(88)에 변화를 저장하는 것을 선택하지 않으면, 라벨 변화는 현재의 섹션에 대하여만 유지하고, 이러한 경우에 데이터 파일에 관련된 바람직한 뷰가 덮어쓰기된다. 리멤버 아이콘이 선택되면, 스크린상의 현재의 뷰는 현재의 섹션에 대한 "리셋" 뷰를 덮어쓰고 메모리(82)에 저장된다. 메모리(88)내의 현재의 데이터 파일에 관련된 "리셋" 뷰은 변화되지 않고, 메모리(82)의 카피만이 변화한다. 이러한 뷰는 리멤버 아이콘의 연속사용에 의해 덮어쓰기되지 않거나 그 때까지 리셋 아이콘을 선택하여 언제든지 스크린에 리콜될 수 있다.
유사한 두 개의 아이콘 기술이 바람직한 뷰 A-C용으로 사용될 수 있다는 것을 알 수 있다. 그러나, 본 실시예에 의해, 이용자는 대응하는 뷰 아이콘을 선택하는 동안에 키보드상의 특정 키를 누름으로써 메모리(82)에 이러한 뷰를 덮어쓰기할 수 있다.
스냅샷 아이콘이 모델 및 이미지의 조정동안에 언제든지 선택되면, 메인 디스플레이 윈도우에 현재 디스플레이된 이미지는 다른 소프트웨어에 연속적으로 사용될 수 있도록, 업계 표준 이미지 파일 형태로 파일로서 메모리(88)에 저장된다. 다른 파일 형태로 추가로 지원하는 것은 다음의 공개된 포맷 명세에 의한 간단한 방식으로 얻을 수 있다는 것을 알게 된다.
애니메이션 아이콘이 선택되면, 디스플레이된 뷰의 애니메이션 시퀀스가 생성될 수 있고, 바로 설명되는 업계 표준 이미지 형태로 메모리(82)에 저장된다. 애미메이션 아이콘이 선택될 때, 디스플레이 모듈(92)은 이미지의 뷰가 리멤버 아이콘을 이용하여 저장되었는지를 결정하고 그것을 검색한다. 뷰가 리멤버 아이콘을 이용하여 저장되지 않았다면, 원 뷰가 검색된다. 이러한 것이 행해지고 있는 동안에, 애니메이션 디스플레이 윈도우는 스크린(36a)상에 나타난다. 디스플레이 윈도우에 의해 이용자는 계산되고 디스플레이된 디스플레이 이미지의 중간 뷰의 수를 선택할 수 있다(도 14 참조). 애니메이션 디스플레이 윈도우에 의해 또한, 이용자는 이미지 크기를 조정하고, 애니메이션 시퀀스에 식별자를 할당하고, 선택된 파라미터를 충족하도록 애니메이션을 미리볼 수 있다. 이후, 디스플레이 모듈(92)은 뷰 방향, 위치, 및 저장된 뷰와 현재의 뷰사이의 동시의 보간에 의해 중간 뷰의 각각의 평면의 방향을 계산한다.
동시 보간법을 이용하여, 이용자는 특징의 이용을 더 간단하게 하는 두 개의 뷰에 들어갈 필요가 있다. 둘째로, 수동으로 생성될 수 없는 복잡한 뷰 시퀀스가 생성되게 한다. 이미지를 수동으로 바꿀때, 평면은 회전하거나 병진하지만, 동시에 병진하고 회전하지 않는다. 평면 위치와 방향설정의 동시 보간은 평면이 동시에 회전하고 병진하는 애니메이션 뷰 시퀀스를 생성하는 것을 가능하게 한다. 알고 있는 바와 같이, 설명된 이러한 특징은 현재의 뷰와 저장된 뷰가 동일 수의 평면을 가지고 있을 때 구현될 수 있다.
표시 아이콘이 선택되면, 모델은 앞(F), 뒤(B), 좌(L) 등과 같은 이미지의 표준 방향을 나타내는 축 표시기로 디스플레이된다. 이러한 기호는 애플리케이션을 적합하게 하기 위해 이용자가 변경할 수 있다. 예를 들어, 안과 이미징에서, 기호는 표준 접안 렌즈 축, 즉 상부(S), 하부(I), 코(N), 및 측두(T)를 나타낼 수 있다. 이러한 표시기는 디스플레이 이미지 변화의 뷰로서 플로트한다. 클러터를 피하기 위해, 축 표시기가 현재의 뷰 방향 설정이 디스플레이 모델의 뒤쪽에 위치할 때 소실하는 것이 바람직하다.
의학 이미징과 같은 응용예에서, 모델의 현재의 분할 관계를 이미징된 구조의 대표도로 도시하고자 한다. 방향 설정 아이콘이 선택될 때 이것을 얻을 수 있다. 이러한 아이콘이 선택될 때, 이미징된 구조의 대표도는 저장된 구조의 리스트에서 선택된다. 구조는 종래의 3차원 컴퓨터 그래픽 기술을 이용하여 모델링된다. 그 구조는 메인 디스플레이 윈도우 또는 모니터 스크린상의 제 2 디스플레이 윈도우중 하나에서 모델 다면체를 교차하는 반투명 고체로서 디스플레이된다. 이것은 구조와 모델 다면체가 교차하는 방법을 알 수 있는 렌더링 방법을 사용하게 한다. 4×4 변환 행렬로서 표현될 수 있는 모델 다면체에 대한 구조의 위치, 크기, 및 분할 방향이 결정되어야 한다. 이러한 아이콘이 선택될 때, 구조 디스플레이 윈도우는 두 개의 디스플레이가 동일 방식으로 항상 방향 설정되도록, 이용자가 디스플레이 뷰를 조정할 때 갱신된다. 컴퓨터 전원이 제한될 때, 메인 디스플레이 윈도우보다 적게 구조 디스플레이를 갱신하는 것은, 예를 들어, 이용자 입력으로 중지할 때까지 구조 디스플레이를 갱신하는 것을 억제하는 것이 가능하다. 구조가 메인 윈도우와 다른 윈도우에 디스플레이될 때 최대로 작용하는 접근법이 본 실시예에 사용될 수 있다. 도 15a-15c는 메인 윈도우 디스플레이 안쪽의 제 2 디스플레이 윈도우의 눈 구조뿐만 아니라 메인 윈도우 디스플레이내의 모델과 3차원 이미지를 도시하고 있다. 도시된 바와 같이, 도 15a와 도 15b에서, 제 2 디스플레이 윈도우는 작고, 제어 디스플레이 윈도우아래에 위치되어 있고, 도 15c에서, 제 2 디스플레이 윈도우는 크기가 증가하였다.
고속 및 스무트 아이콘은 상기 제 1 및 제 3 렌더링 패스를 인에이블 또는 디스에이블하기 위해 개별적으로 선택되거나 선택해제될 수 있다(제 2 패스는 항상 인에이블된다). 이러한 아이콘의 초기 상태는 블록(324)에서 초기화동안에 설정된다. 일반적인 방법이 예를 들어, 대응하는 옵션 아이콘으로 제 4 패스를 추가하여 원하면 인에이블하거나 디스에이블하여 약간 바꿀 수 있다.
이미지 어레이 V(x,y,z)의 각각의 디스플레이된 점은 의사 컬러 매핑에 의해 화소 밝기 또는 컬러로 전환된다. 의사 컬러 매핑의 영역은 체적 이미지 어레이 V(x,y,z)내의 값 범위이다. 의사 컬러 매핑은 디스플레이의 콘트라스트, 밝기등이 향상될 수 있도록 윈도우 및 레벨 슬라이드 제어(도 13-15에서 "Win" 및 "Lev"로 표시)를 통해 이용자가 조정할 수 있다. "윈도우" 및 "레벨" 용어와 해석은 의학 이미징 분야에서 표준화되어 가고 있다. 본 실시예는 이러한 사항에서 설정된 의학 이미징 실행과 일치한다.
확대 아이콘이 선택되면, 확대 윈도우는 메인 디스플레이 윈도우상에 겹치게 보이고, 디스플레이된 뷰위에서 이동될 수 있다. 십자선은 윈도우의 중심에 위치되고, 디스플레이된 뷰의 특정 영역위에 위치될 수 있다. 십자선이 적당한 위치에 있을 때, 이용자는 십자선이 위치하는 영역의 확대를 조정하기 위해 그래픽 입력 디바이스를 이용할 수 있다.
측정 아이콘이 선택되면, 측정 디스플레이 윈도우가 스크린상에 나타난다(도 14 참조). 이용자는 가장 최근에 이동한 평면(즉, 황색선으로 표시)내의 3차원 이미지의 거리와 영역을 측정하기 위해 그래픽 입력 디바이스를 이용할 수 있다. 이용자가 거리를 측정하고자 하면, 이용자는 거리가 측정되는 두 개의 끝점을 표시하기 위해 단순히 그래픽 입력 디바이스(38)를 이용할 필요가 있다. 영역이 측정되면, 이용자는 최소한 3개의 점을 확인하여야 한다. 커서가 가장 최근에 이동한 평면위에 이동될 때, 이미지상의 점의 변위를 용이하게 하기 위해 십자선을 변경한다. 이 모드에서의 디스플레이 모듈(92)은 직선 세그먼트만큼 인접한 점을 연결하고, 적절한 스케일을 이용하여 점을 연결하는 선에 의해 구분된 영역과 전체 선 길이를 모두 계산한다.
드래그 민감도를 변경하고자 하면, 이용자는 키보드상의 표시된 키를 누르고, 키를 누르고 있는 한 스케일링 인자를 조정할 수 있다. 이것에 의해 디스플레이 이미지내의 주어진 변화에 대하여 마우스 이동을 보다 크게 또는 보다 작게 할 수 있다. 물론, 이것은 메인 디스플레이 윈도우의 크기를 크게 하거나 줄임으로써 얻을 수 있다.
병진 및/또는 회전 이미지의 시퀀스를 애니메이션하기 위해 애니메이션 기능이 설명되었지만, 시네 루프 기술은 4차원 이미지 어레이를 가시화하는데 적용될 수 있다. 이 경우에, 4차원 이미지 어레이는 상이한 시간에 입수된 동일 타깃 체적의 일련의 3차원 이미지이다. 예를 들어, 과식도 심장 초음파 이미징에서, 각각이 박동 사이클의 상이한 점(m)에 대응하는 박동 심장의 복수의 이미지를 캡처하고 재구성할 수 있다. 3차원 이미지는 동일 분할 해석을 가질 수 있어서, 단일 경계 모델을 동시에 부가할 수 있다. 각각의 체적 이미지와 모델 다면체의 교차점은 2차원 이미지를 만든다. 이미지는 계산될 수 있고, 시네 루프와 같이 시간순서로 디스플레이될 수 있다.
본 시스템은 이용자가 입력 명령할 수 있는 단일 버튼 마우스를 포함하는 것으로서 설명되었지만, 당업자는 멀티 버튼 마우스, 디지타이저, 라이트 펜, 트랙볼, 키보드 또는 상기의 조합과 같은 다른 입력/출력 디바이스가 사용될 수 있다는 것을 알 수 있다. 다른 입력/출력 디바이스가 사용될 때, 상이한 명령을 나타내거나 여러 옵션 아이콘을 선택하기 위해 상이한 입력이 선택될 수 있다.
단일 버튼 마우스외의 그래픽 입력 디바이스가 사용될 때, 모델의 평면의 회전에 의한 이미지 조정은 향상될 수 있다. 예를 들어, 마우스가 키보드와 결합되어 사용되고, 키보드 입력이 평면을 회전하고자 하는 것을 확인하는데 사용되면, 평면의 회전의 고정점은 클릭될 때와 평면의 회전을 확인하는 키보드가 선택될 때 마우스의 위치에 의해 결정될 수 있다. 이것에 의해 평면은 초기 모델의 기하학적 중심과 다른 점 주변을 회전할 수 있다. 2 버튼 마우스가 입력/출력 디바이스로서 사용되면, 버튼중 하나는 평면의 병진을 확인하는데 할당될 수 있고, 다른 버튼은 평면의 회전을 확인하는데 사용될 수 있다. 선택된 모델 면의 내부 또는 외부 영역내에 있는지를 결정하기 위해 커서의 위치를 조사할 필요가 없다.
3차원 이미지 디스플레이 기술은 초음파 3차원 이미징 시스템에서 설명되었지만, 이미지 디스플레이 기술은 이미지의 상이한 뷰가 가시화될 수 있도록 3차원 이미지가 조정될 필요가 있는 상이한 환경에 사용될 수 있다. 특히, 본 디스플레이 기술은 3차원 공간을 넘어서 정의된 이산 샘플 기능을 나타내는 체적 이미지 어레이 V(x,y,z)를 디스플레이하는데 사용될 수 있다. 이것에 의해, 디스플레이 기술은 예를 들어, 자기 공명 이미징(MRI) 및 x선 컴퓨터 단층 촬영(CT)과 같은 환경에 사용될 수 있다.
본 시스템(20)은 임상 초음파 머신(28)과 컴퓨터(32)를 포함하는 것으로서 설명되었지만, 단일 장치가 이러한 구성 요소 모두의 기능을 수행하는데 사용될 수 있다는 것을 알게 된다.
종속항에 의해 정의된 바와 같이 본 발명의 범위를 벗어나지 않고 본 발명의 수정과 변경이 가능하다는 것을 당업자는 알 것이다.

Claims (11)

  1. 화소 I(x,y,z)에 의해 표현되는 타깃 체적의 연속의 2차원 이미지를 체적 이미지 어레이 V(x,y,z)에 의해 표현되는 3차원 이미지로 입수하는 3차원 이미징 시스템에 있어서,
    소정의 기하학적 스캐닝 경로를 따라 상기 타깃 체적을 스캔하고, 상기 스캐닝 경로를 따라 공간화된 복수의 평면상에 상기 타깃 체적의 단면을 표현하는 연속의 디지털 2차원 이미지를 생성하는 스캐닝 수단;
    상기 메모리내의 상기 2차원 이미지를 정의하고, 상기 2차원 이미지내의 화소의 상대적인 위치와 상기 타깃 체적내의 인접한 2차원 이미지내의 화소의 상대적인 위치에 관련된 해석 정보를 정의하는 다른 관련 데이터와 함께, 상기 연속의 디지털 2차원 이미지를 저장하는 메모리;
    상기 디지털 2차원 이미지와 상기 다른 관련 이미지 데이터를 수신하고, 상기 2차원 이미지와 상기 다른 관련 이미지 데이터를 체적 이미지 어레이로 변환하는 변환 수단;
    상기 체적 이미지 어레이로부터 상기 타깃 체적의 3차원 이미지를 생성하는 디스플레이 수단; 및
    고화질의 3차원 이미지를 렌더링하기 위해 상기 타깃 체적의 상기 3차원 이미지를 처리하는 이미지 처리 수단;을 포함하는 것을 특징으로 하는 3차원 이미징 시스템.
  2. 제 1 항에 있어서, 상기 기하학적 스캐닝 경로는 선형인 것을 특징으로 하는 3차원 이미징 시스템.
  3. 제 2 항에 있어서, 상기 단면은 선형 스캐닝 경로에 법선이 축에 대하여 경사져 있고, 상기 선형 변환 수단은 전단 변형법을 이용하여 상기 2차원 이미지와 상기 다른 관련 이미지 데이터를 상기 체적 이미지 어레이로 변환하는 것을 특징으로 하는 3차원 이미징 시스템.
  4. 제 3 항에 있어서, 상기 다른 관련 이미지 데이터는, 2차원 이미지 데이터가 각각의 2차원 이미지의 x축과 y축에 따른 화소의 수를 나타내는 데이터와 함께 시작하는 상기 메모리의 위치를 표시하는 어드레스 포인터를 포함하는 것을 특징으로 하는 3차원 이미징 시스템.
  5. 제 4 항에 있어서, 상기 다른 관련 이미지 데이터는 x와 y 방향에서 2차원 이미지의 인접한 화소의 중심간의 물리적인 거리값과, 상기 경사각뿐만 아니라 인접한 2차원 이미지내의 대응하는 화소간의 물리적인 거리를 더 포함하는 것을 특징으로 하는 3차원 이미징 시스템.
  6. 제 1 항에 있어서, 이미지 처리 수단은, 복셀이 처리되고 상기 체적 어레이내에 있는 모델의 적어도 한 면으로부터 관심의 "두꺼운 평면" 영역을 정의하는 소정의 광선 깊이를 사용하는 것을 특징으로 하는 3차원 이미징 시스템.
  7. 제 6 항에 있어서, 관심의 두꺼운 평면 영역내의 복셀은 이용자 선택 처리 기술에 의해 처리되는 것을 특징으로 하는 3차원 이미징 시스템.
  8. 제 7 항에 있어서, 이용자 선택 처리 기술은 최대 강도 투영법인 것을 특징으로 하는 3차원 이미징 시스템.
  9. 제 7 항에 있어서, 이용자 선택 처리 기술은 조건의 최대 강도 투영법인 것을 특징으로 하는 3차원 이미징 시스템.
  10. 제 7 항에 있어서, 이용자 선택 처리 기술은 광선 합산법인 것을 특징으로 하는 3차원 이미징 시스템.
  11. 제 7 항에 있어서, 이용자는 타깃 체적을 향한 모델 면으로부터 결정된 광선 깊이를 입력 수단을 통해 나타내는 것을 특징으로 하는 3차원 이미징 시스템.
KR1019997004718A 1996-11-29 1997-11-28 3차원 이미징 시스템에 대한 향상된 이미지 처리 Ceased KR20000069171A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US3205796P 1996-11-29 1996-11-29
US60/032,057 1996-11-29

Publications (1)

Publication Number Publication Date
KR20000069171A true KR20000069171A (ko) 2000-11-25

Family

ID=21862868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997004718A Ceased KR20000069171A (ko) 1996-11-29 1997-11-28 3차원 이미징 시스템에 대한 향상된 이미지 처리

Country Status (9)

Country Link
US (1) US6334847B1 (ko)
EP (1) EP0941521B1 (ko)
KR (1) KR20000069171A (ko)
AT (1) ATE362149T1 (ko)
AU (1) AU5112998A (ko)
CA (1) CA2267981C (ko)
DE (1) DE69737720T2 (ko)
IL (1) IL129494A0 (ko)
WO (1) WO1998024058A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061380A (ko) * 2011-08-09 2014-05-21 이모픽스 리미티드 이미지 처리 방법

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396266B1 (en) 1998-11-25 2002-05-28 General Electric Company MR imaging system with interactive MR geometry prescription control
IL132266A0 (en) * 1999-10-07 2001-03-19 Elgems Ltd Image navigation
KR100387203B1 (ko) * 2000-02-09 2003-06-18 주식회사 삼경기술용역단 댐 및 저수지용 수질정화장치
US8256430B2 (en) 2001-06-15 2012-09-04 Monteris Medical, Inc. Hyperthermia treatment and probe therefor
US7615008B2 (en) * 2000-11-24 2009-11-10 U-Systems, Inc. Processing and displaying breast ultrasound information
US7940966B2 (en) * 2000-11-24 2011-05-10 U-Systems, Inc. Full-field breast image data processing and archiving
US7597663B2 (en) 2000-11-24 2009-10-06 U-Systems, Inc. Adjunctive ultrasound processing and display for breast cancer screening
US7556602B2 (en) * 2000-11-24 2009-07-07 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
US6971991B2 (en) * 2002-03-08 2005-12-06 Imperium, Inc. Apparatus for multimodal plane wave ultrasound imaging
ES2406697T3 (es) * 2002-03-12 2013-06-07 Beth Israel Deaconess Medical Center Sistema de obtención de imágenes médicas
US8620410B2 (en) * 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
KR100490564B1 (ko) * 2002-07-23 2005-05-19 주식회사 메디슨 초음파 영상 신호로부터 장기를 인식하는 장치 및 방법
US7149566B2 (en) * 2002-10-31 2006-12-12 Manoa Medical, Inc. Soft tissue orientation and imaging guide systems and methods
JP3905470B2 (ja) * 2002-12-26 2007-04-18 アロカ株式会社 超音波診断装置
WO2004109603A1 (en) * 2003-06-11 2004-12-16 Koninklijke Philips Electronics, N.V. User control of 3d volume plane crop
US7774040B1 (en) * 2003-06-19 2010-08-10 General Electric Company Method and apparatus of multi-phase cardiac imaging
AU2003272531A1 (en) * 2003-09-15 2005-04-27 Beth Israel Deaconess Medical Center Medical imaging systems
DE102004030876A1 (de) * 2004-06-25 2006-02-02 Grüntjens, Norbert Verfahren zum Erzeugen einer realistischen Darstellung
EP1774312B1 (en) * 2004-07-20 2017-04-12 Elekta Ltd. Calibrating ultrasound imaging devices
US8170640B2 (en) * 2004-08-02 2012-05-01 Siemens Medical Solutions Usa, Inc. System and method for tree projection for detection of pulmonary embolism
US8064670B2 (en) * 2004-09-29 2011-11-22 Northrop Grumman Systems Corporation Analysis of multidimensional data
CN101102721B (zh) * 2005-02-09 2010-04-14 株式会社日立医药 超声波诊断装置以及超声波摄像方法
EP1876956A2 (en) * 2005-04-25 2008-01-16 Xoran Technologies, Inc. Ct system with synthetic view generation
US20060253024A1 (en) * 2005-04-26 2006-11-09 Altmann Andres C Software product for three-dimensional cardiac imaging using ultrasound contour reconstruction
US20060241445A1 (en) * 2005-04-26 2006-10-26 Altmann Andres C Three-dimensional cardial imaging using ultrasound contour reconstruction
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US8425418B2 (en) * 2006-05-18 2013-04-23 Eigen, Llc Method of ultrasonic imaging and biopsy of the prostate
KR100947826B1 (ko) * 2006-05-24 2010-03-18 주식회사 메디슨 초음파 영상을 디스플레이 하는 장치 및 방법
US7903113B2 (en) * 2006-07-14 2011-03-08 Siemens Medical Solutions Usa, Inc. Systems and methods of image rendering from datasets
US8064664B2 (en) * 2006-10-18 2011-11-22 Eigen, Inc. Alignment method for registering medical images
US7804989B2 (en) * 2006-10-30 2010-09-28 Eigen, Inc. Object recognition system for medical imaging
US20080161687A1 (en) * 2006-12-29 2008-07-03 Suri Jasjit S Repeat biopsy system
US8175350B2 (en) * 2007-01-15 2012-05-08 Eigen, Inc. Method for tissue culture extraction
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US20080186378A1 (en) * 2007-02-06 2008-08-07 Feimo Shen Method and apparatus for guiding towards targets during motion
DE102007008767B3 (de) * 2007-02-22 2008-07-24 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Darstellung von 3D Bilddatensätzen auf 2D Bildern
US7856130B2 (en) * 2007-03-28 2010-12-21 Eigen, Inc. Object recognition system for medical imaging
KR101055588B1 (ko) * 2007-09-04 2011-08-23 삼성메디슨 주식회사 초음파 영상을 형성하는 초음파 시스템 및 방법
JP5226978B2 (ja) * 2007-07-17 2013-07-03 日立アロカメディカル株式会社 超音波診断装置及び画像処理プログラム
JP5160825B2 (ja) * 2007-07-17 2013-03-13 日立アロカメディカル株式会社 超音波診断装置及び画像処理プログラム
US20090048515A1 (en) * 2007-08-14 2009-02-19 Suri Jasjit S Biopsy planning system
JP5122650B2 (ja) * 2007-09-13 2013-01-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 経路近傍レンダリング
US8571277B2 (en) * 2007-10-18 2013-10-29 Eigen, Llc Image interpolation for medical imaging
US7942829B2 (en) * 2007-11-06 2011-05-17 Eigen, Inc. Biopsy planning and display apparatus
US20090324041A1 (en) * 2008-01-23 2009-12-31 Eigen, Llc Apparatus for real-time 3d biopsy
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US20100001996A1 (en) * 2008-02-28 2010-01-07 Eigen, Llc Apparatus for guiding towards targets during motion using gpu processing
US8494250B2 (en) * 2008-06-06 2013-07-23 Siemens Medical Solutions Usa, Inc. Animation for conveying spatial relationships in three-dimensional medical imaging
JP5271615B2 (ja) * 2008-06-30 2013-08-21 パナソニック株式会社 超音波診断装置
KR101717695B1 (ko) * 2008-09-25 2017-03-17 씨에이이 헬스케어 캐나다 인코포레이티드 의료 영상의 시뮬레이션
KR101121301B1 (ko) * 2009-09-16 2012-03-22 삼성메디슨 주식회사 3차원 측정을 수행하는 초음파 시스템 및 방법
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US9498182B2 (en) 2012-05-22 2016-11-22 Covidien Lp Systems and methods for planning and navigation
US9439622B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical navigation system
US8750568B2 (en) 2012-05-22 2014-06-10 Covidien Lp System and method for conformal ablation planning
US9439623B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical planning system and navigation system
US9439627B2 (en) 2012-05-22 2016-09-13 Covidien Lp Planning system and navigation system for an ablation procedure
HK1209309A1 (zh) 2012-06-27 2016-04-01 曼特瑞斯医药有限责任公司 組織的圖像引導治療
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US10675113B2 (en) 2014-03-18 2020-06-09 Monteris Medical Corporation Automated therapy of a three-dimensional tissue region
US9433383B2 (en) 2014-03-18 2016-09-06 Monteris Medical Corporation Image-guided therapy of a tissue
US20150265353A1 (en) 2014-03-18 2015-09-24 Monteris Medical Corporation Image-guided therapy of a tissue
US10327830B2 (en) 2015-04-01 2019-06-25 Monteris Medical Corporation Cryotherapy, thermal therapy, temperature modulation therapy, and probe apparatus therefor
US10716544B2 (en) 2015-10-08 2020-07-21 Zmk Medical Technologies Inc. System for 3D multi-parametric ultrasound imaging
KR102655299B1 (ko) * 2016-11-15 2024-04-08 삼성메디슨 주식회사 초음파 영상장치 및 그 제어방법
EP3378405A1 (en) 2017-03-20 2018-09-26 Koninklijke Philips N.V. Volume rendered ultrasound imaging
US11707329B2 (en) 2018-08-10 2023-07-25 Covidien Lp Systems and methods for ablation visualization
US12204521B2 (en) * 2020-06-18 2025-01-21 Netflix, Inc. Techniques for generating a consistent view of an eventually consistent database
CN115530876B (zh) * 2022-09-27 2025-10-28 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备
CN115546075B (zh) * 2022-12-02 2023-05-02 成都智元汇信息技术股份有限公司 一种基于列数据标注区动态增强展示的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2785636B2 (ja) 1993-02-25 1998-08-13 株式会社エス.エス.ビー 生体組織多次元可視装置
US5842473A (en) * 1993-11-29 1998-12-01 Life Imaging Systems Three-dimensional imaging system
US5454371A (en) 1993-11-29 1995-10-03 London Health Association Method and system for constructing and displaying three-dimensional images
JP3407169B2 (ja) 1995-10-12 2003-05-19 富士写真光機株式会社 超音波画像立体表示装置及び超音波画像立体表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061380A (ko) * 2011-08-09 2014-05-21 이모픽스 리미티드 이미지 처리 방법

Also Published As

Publication number Publication date
WO1998024058A1 (en) 1998-06-04
ATE362149T1 (de) 2007-06-15
DE69737720D1 (de) 2007-06-21
AU5112998A (en) 1998-06-22
CA2267981A1 (en) 1998-06-04
EP0941521A1 (en) 1999-09-15
DE69737720T2 (de) 2008-01-10
US6334847B1 (en) 2002-01-01
CA2267981C (en) 2004-10-19
IL129494A0 (en) 2000-02-29
EP0941521B1 (en) 2007-05-09

Similar Documents

Publication Publication Date Title
KR20000069171A (ko) 3차원 이미징 시스템에 대한 향상된 이미지 처리
US6461298B1 (en) Three-dimensional imaging system
WO1998024058A9 (en) Enhanced image processing for a three-dimensional imaging system
US5454371A (en) Method and system for constructing and displaying three-dimensional images
JP5495357B2 (ja) 画像表示方法及び医用画像診断システム
CA2386050C (en) Method and system for storing a selected view of a three dimensional image
JP7197368B2 (ja) 3d超音波データからbモード画像を生成するシステム及び方法
US20100195878A1 (en) Systems and methods for labeling 3-d volume images on a 2-d display of an ultrasonic imaging system
US20040109032A1 (en) 3 dimensional slab rendering system method and computer-readable medium
JP6887449B2 (ja) レンダリングされた画像を照明するシステム及び方法
US20130328874A1 (en) Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging
WO2018222471A1 (en) Systems and methods for displaying intersections on ultrasound images
CN107209924A (zh) 利用经渲染的体积成像中的平面投影的测量工具
EP4160543A1 (en) Method for analysing 3d medical image data, computer program and 3d medical image data evaluation device
CN115153621B (zh) 用于超声图像的基于模型的自动导航系统和方法
CA2277723C (en) Method and system for constructing and displaying three-dimensional images

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000