[go: up one dir, main page]

KR101226903B1 - 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치 - Google Patents

움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치 Download PDF

Info

Publication number
KR101226903B1
KR101226903B1 KR1020110008399A KR20110008399A KR101226903B1 KR 101226903 B1 KR101226903 B1 KR 101226903B1 KR 1020110008399 A KR1020110008399 A KR 1020110008399A KR 20110008399 A KR20110008399 A KR 20110008399A KR 101226903 B1 KR101226903 B1 KR 101226903B1
Authority
KR
South Korea
Prior art keywords
composite
degree
motion
beams
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110008399A
Other languages
English (en)
Other versions
KR20120086992A (ko
Inventor
유양모
송태경
장진호
조정
박종호
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020110008399A priority Critical patent/KR101226903B1/ko
Priority to PCT/KR2012/000340 priority patent/WO2012102503A2/ko
Priority to US13/981,690 priority patent/US9299174B2/en
Publication of KR20120086992A publication Critical patent/KR20120086992A/ko
Application granted granted Critical
Publication of KR101226903B1 publication Critical patent/KR101226903B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58Testing, adjusting or calibrating the diagnostic device
    • A61B8/585Automatic set-up of the device
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T11/26
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8997Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using synthetic aperture techniques
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/5205Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52073Production of cursor lines, markers or indicia by electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 합성빔 수를 결정하는 장치에 관한 것으로서 출력된 빔포밍 영상에서 움직임 정도를 측정하는 움직임 측정부, 합성구경 기법을 적용할 경우에 측정된 움직임 정도에 기초하여 안정적인 합성빔의 갯수를 결정하는 합성빔 수 결정부, 및 합성빔 수 결정부에서 결정된 합성빔의 갯수를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하며, 합성구경 빔집속기법을 사용하는 시스템에 있어 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하여 줌으로써 사용자로 하여금 합성 빔의 수를 줄이거나 늘이는 등 능동적으로 대응하거나 사전에 저장된 데이터를 참조하여 시스템이 즉각적으로 합성 빔수를 변경하도록 한다.

Description

움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치{Synthetic aperture beamforming method of determining the number of synthesized beams referring to degree of motion and apparatus using it}
본 발명은 합성구경 빔집속 장치에 관한 것으로서, 더욱 상세하게는 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하고, 미리 저장해 놓은 파라미터 값을 참조하여 합성빔의 수를 시스템이 자동적으로 줄이거나 늘이는 방법으로 움직임에 대해 능동적으로 대응하거나, 사용자가 화면에 표시된 움직임 정도를 참조하여 합성빔의 수를 직접 결정할 수 있도록 하는 합성구경 빔집속 장치에 관한 것이다.
한 번의 송수신 과정으로 하나의 주사선을 구성하는 일반적인 동적 집속 기법(CDF : conventional dynamic focusing)은 수신되는 빔에 대해서는 주사선 상의 모든 영역에 대하여 집속된 신호를 얻을 수 있지만, 송신시에 고정된 집속점을 갖기 때문에 그 외의 영역에서 해상도가 떨어지게 된다.
반면, 합성구경(SA : Synthetic aperture) 기법은 송수신 전 영역에서 집속된 신호를 얻을 수 있기 때문에 CDF에 비하여 고해상도의 영상을 얻을 수 있다.
합성구경 기법에서는 일정한 수의 변환소자로 구성된 부구경(subaperture)들을 이용하여 차례대로 송수신한 후 얻어진 수신신호들에 적당한 지연시간을 인가하여 결합함으로써, 각 주사선을 구성한다. 따라서 각 주사선을 구성하기 위하여 사용한 부구경들의 전체 크기에 해당하는 합성구경을 이용하여 초음파를 집속한 효과를 얻기 때문에 효과적으로 해상도를 개선할 수 있다. 그런데 합성구경 기법에서는 하나의 주사선을 구성하기 위하여 인접한 여러 개의 부구경을 사용하여 송수신된 신호들을 이용하여야 하므로 일반적인 동적집속 기법과 달리 초음파 변환기의 흔들림, 피검사체의 움직임, 또는 인체 내부 조직의 움직임 등에 상당히 민감할 수 밖에 없다. 이러한 움직임은 인체 조직에서의 음향 특성의 불균일성과 더불어 수신된 에코 신호에 위상 왜곡을 초래하여 초음파 집속 성능을 저하시키는 원인이 된다. 따라서 합성구경 기법을 이용하여 빠르게 움직이는 대상체의 영상을 관찰하기 위해서는 이러한 움직임 결함을 극복하여야 할 필요성이 있다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하여 줌으로써 합성구경 기법을 사용할 경우 대상체의 움직임에 따라 집속에 오류가 생기고 있음을 사용자가 인지하고 이에 대응하여 합성빔의 수를 늘이거나 줄이고, 환자의 움직임을 제한하는 등 능동적으로 대응할 수 있도록 하기 위하여 합성구경 기법에서 움직임 정도에 따른 적합한 합성빔 수를 결정하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하고, 사용자의 선택 여부에 따라 시스템이 적절한 합성빔수를 자동으로 결정하여 이를 반영한 영상을 생성하는 합성구경 빔집속 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 세 번째 과제는 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하여 줌으로써 사용자로 하여금 합성빔의 수를 줄이거나 늘이는 등 능동적으로 대응할 수 있도록 하기 위하여 합성구경 기법에서 움직임 정도에 따른 적합한 합성빔 수를 결정하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 네 번째 과제는 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하여 줌으로써 사용자로 하여금 합성빔의 수를 줄이거나 늘이는 등 능동적으로 대응할 수 있도록 하고, 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법을 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 출력된 빔포밍 영상에서 움직임 정도를 측정하는 움직임 측정부; 합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 안정적인 합성빔의 갯수를 결정하는 합성빔 수 결정부; 및 상기 합성빔 수 결정부에서 결정된 합성빔의 갯수를 디스플레이하는 디스플레이부를 포함하는 움직임 정도에 따라 합성빔 수를 결정하는 장치를 제공한다.
본 발명의 일 실시예에 의하면, 상기 합성빔 수 결정부는 상기 측정된 움직임 정도에 기초하여 안정적인 합성빔의 갯수를 자동으로 결정할 수 있다.
또한, 상기 디스플레이부는 상기 합성빔의 갯수별로 안정도를 표시하고, 상기 합성빔의 갯수별 안정도를 참조하여 사용자에 의해 선택된 합성빔의 갯수가 상기 합성빔 수를 결정하는 장치로 입력되도록 할 수 있다.
또한, 상기 디스플레이부는 상기 빔포밍 영상에 움직임의 정도에 따라 화살표의 갯수를 가감하여 디스플레이하고, 상기 화살표의 갯수를 참조하여 사용자에 의해 선택된 합성빔의 갯수가 상기 합성빔 수를 결정하는 장치로 입력되도록 할 수 있다.
또한, 상기 디스플레이부는 상기 움직임 정도를 파라메터 바로 표시하고, 상기 파라메터 바를 참조하여, 사용자에 의해 선택된 합성빔의 갯수가 상기 합성빔 수를 결정하는 장치로 입력되도록 할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 움직임 측정부는 상기 빔포밍 영상의 이전 프레임의 영상과 현재 프레임의 영상을 블록 매칭 알고리즘을 이용하여 비교한 후, 비교 결과를 이용하여 움직임 정도를 측정할 수 있다.
또한, 상기 움직임 측정부는 상기 빔포밍 영상의 각 주사선이나 영상점에 대하여 여러 부구경을 이용하여 집속한 신호들 사이의 상관관계 또는 영상에서 이전 프레임과 현재 프레임 간의 상관관계를 이용하여 상기 움직임 정도를 측정할 수 있다.
또한, 상기 움직임 측정부는 관심영역 내의 대표적인 움직임을 측정하되, 상기 대표적인 움직임은 상기 관심영역 내에서 집속된 신호의 에너지가 최대가 되는 점에서의 움직임인 것이 바람직하다.
또한, 상기 움직임 측정부는 자기상관 기반의 도플러 평균 주파수 추정 기법을 이용하여 관심영역 내의 대표적인 움직임 또는 평균 움직임 속도를 측정할 수 있다.
또한, 상기 움직임 측정부는 이전 프레임의 영상과 현재 프레임의 영상을 블록 매칭 알고리즘을 이용하여 비교한 후에 픽셀 단위의 움직임을 추정할 수 있으며 이러한 픽셀 단위의 움직임을 시스템의 파라미터를 참조하여 변환하면 계산된 블록에서의 속도를 추정할 수 있다.
본 발명의 또 다른 실시 예에 의하면, 상기 측정된 움직임 정도와 상기 안정적인 합성빔의 갯수 사이의 관계는 사전에 결정되어 테이블로 저장될 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 출력된 빔포밍 영상에서 움직임 정도를 측정하는 움직임 측정부; 합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 안정적인 합성빔의 갯수를 결정하는 합성빔 수 결정부; 상기 합성빔 수 결정부에서 결정된 합성빔의 갯수를 디스플레이하는 디스플레이부; 및 상기 합성빔 수 결정부에서 결정된 합성빔의 갯수에 따라 합성빔을 생성하여 빔집속하는 합성구경 빔집속부를 제공한다.
본 발명의 일 실시 예에 의하면, 상기 측정된 움직임 정도와 상기 안정적인 합성빔의 갯수 사이의 관계는 사전에 결정되어 테이블로 저장될 수 있다.
또한, 결정된 합성 빔의 개수는 합성 빔집속부에 파라미터로 즉각적으로 반영되어 합성 빔 집속을 수행 할 수 있다.
본 발명의 또 다른 실시 예에 의하면, 상기 결정된 합성 빔 수는 사용자의 선택 여부에 따라 합성 빔집속부에 자동으로 반영되거나 직접적으로 반영되지는 않되 디스플레이부를 통해 사용자에게 알려 줌으로써 사용자로 하여금 합성 빔의 수를 선택할 수 있도록 할 수 있다.
본 발명은 상기 세 번째 과제를 달성하기 위하여, 출력된 빔포밍 영상에서 움직임 정도를 측정하는 단계; 합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 안정적인 합성빔의 갯수를 결정하는 단계; 및 상기 결정된 합성빔의 갯수를 디스플레이하는 단계를 포함하는 합성구경 기법에서 움직임 정도에 따라 합성빔 수를 결정하는 방법을 제공한다.
본 발명은 상기 네 번째 과제를 달성하기 위하여, 출력된 빔포밍 영상에서 움직임 정도를 측정하는 단계; 합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 안정적인 합성빔의 갯수를 결정하는 단계; 상기 결정된 합성빔의 갯수를 디스플레이하는 단계; 및 상기 결정된 합성빔의 갯수에 따라 합성빔을 생성하여 빔집속하는 단계를 포함하는 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법을 제공한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 합성구경 기법에서 움직임 정도에 따라 합성빔 수를 결정하는 방법과 합성구경 빔집속 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 합성구경 빔집속기법을 사용하는 시스템이 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하고, 사용자가 합성 빔의 수를 줄이거나 늘이는 등 능동적으로 대응하거나, 시스템이 사전에 기록된 정보를 참조하여 적절한 합성 빔의 수를 선택한 후에 이를 반영하여 움직임에 따른 오차를 줄일 수 있도록 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 장치의 구성도이다.
도 2는 일반적인 빔집속 영상에서 움직임 정도를 측정하여 현재의 위치에서 합성구경 기법을 적용할 경우의 영상의 안정도를 디스플레이하는 방법의 예를 도시한 것이다.
도 3은 합성구경 빔집속 기법을 적용한 영상에서 실제 영상의 각 위치의 움직임을 화면에 표시하는 방법의 예를 도시한 것이다.
도 4는 합성구경 빔집속 기법을 적용한 영상에서 움직임의 정도를 측정하여 파라메터 바를 통해 알려주는 방법의 예를 도시한 것이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법의 흐름도이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 합성구경 기법에서 움직임 정도에 따라 합성빔 수를 결정하는 장치는 출력된 빔포밍 영상에서 움직임 정도를 측정하는 움직임 측정부; 합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 안정적인 합성빔의 갯수를 결정하는 합성빔 수 결정부; 및 상기 합성빔 수 결정부에서 결정된 합성빔의 갯수를 디스플레이하는 디스플레이부를 포함한다.
이하, 바람직한 실시예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. 본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하기로 한다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
초음파 영상장치에 합성구경 빔집속기법(SA : synthetic aperture beamforming)을 적용할 경우에 합성하는 빔의 수가 많아질수록 기존의 일반적인 빔집속(conventional beamforming)을 사용한 영상에 비해 해상도가 좋아진다.
기존의 일반적인 빔집속의 경우 한번 송신한 데이터를 사용하여 하나의 또는 그 이상의 주사선을 생성한다. 하지만 합성구경 빔집속기법의 경우 합성빔의 수만큼 송수신을 한 후에 이를 합성하여 하나의 주사선을 생성하기 때문에 그 송수신 시간 동안 타겟에서 움직임이 발생할 경우나 초음파 프로브가 움직이게 될 경우 이로 인해 잘못된 빔집속이 이루어지고 움직임의 정도에 따라 기존의 일반적인 빔집속 기법을 사용한 영상보다도 오히려 영상의 질이 떨어지게 된다.
따라서, 본 발명의 실시예에 따르면, 합성구경 빔집속기법을 사용하는 시스템에 있어 영상 내의 움직임을 감지하여 이를 다양한 방법으로 화면에 표시하여 줌으로써 사용자로 하여금 합성 빔의 수를 줄이거나 늘이는 등 능동적으로 대응할 수 있도록 한다. 즉, 측정된 움직임을 기초로 합성구경 빔집속에 사용되는 합성빔의 수를 조정하도록 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 장치의 구성도이다.
도 1을 참조하면, 본 실시예에 따른 합성구경 빔집속 장치는 움직임 측정부(100), 합성빔 수 결정부(110), 디스플레이부(120), 및 합성구경 빔집속부(130)로 구성된다.
움직임 측정부(100)는 출력된 빔포밍 영상에서 움직임 정도를 측정한다.
합성구경 기법을 이용하여 빠르게 움직이는 대상체의 영상을 관찰하기 위해서는 대상체의 움직임 정도에 따라 합성빔의 갯수를 조절하여야 한다.
움직임 정도를 측정하기 위한 하나의 방법은 이전 프레임과 현재 프레임의 영상을 비교하는 방법으로 이를 위해 블록 매칭 알고리즘을 사용할 수 있다. 영상을 일정한 픽셀 단위의 블록으로 구분하고 이전 영상과 현재 영상에서 각각의 블록이 어떻게 이동하였는가를 Sum of Squares Differences, Minimum Absolute Difference, Maximum Matching Pixel Count, Cross Correlation, Normalized Correlation, Mutual Correlation 등 다양한 판단 지표를 이용하여 픽셀단위로 움직임을 추정할 수 있다. 이렇게 얻어진 픽셀 단위의 움직임은 시스템 파라미터와 연동하여 속도로 변환될 수 있다.
움직임 정도를 측정하기 위한 또 다른 방법은 각 주사선이나 영상점에 대하여 여러 부구경을 이용하여 집속한 신호들 사이의 상관관계로부터 움직임을 측정하는 것이다. 이를 위해서 먼저 일정한 관심영역(ROI : region of interest)을 정한 후 이 영역 내에서 대상체의 대표적인 움직임을 측정한다. 이때 대표 움직임은 관심영역 내에서 집속된 신호의 에너지가 최대가 되는 점에서의 움직임을 상호상관(crosscorrelation)을 이용하여 계산할 수 있다.
움직임 정도를 측정하기 위한 또 다른 방법은 자기상관(autocorrelation) 기반의 도플러 평균 주파수 추정 기법을 이용하여 관심 영역 내의 대표적인 축방향 움직임(또는 평균 움직임 속도)을 추정하는 방법이다. 이 자기상관 기반의 움직임 추정방법은 상호상관 방식에 비하여 성능은 거의 같은 반면 계산량이 획기적으로 감소되어 실시간 영상에 유리하다.
움직임 정도를 측정하기 위한 또 다른 방법은 점 확산 함수(point spread fucntion, PSF)와 모션 블러 영상을 컨벌루션하여 모션 블러가 없는 원 영상이 생성된다고 할 때, 이러한 점 확산 함수를 추정하여, 추정된 점 확산 함수로부터 움직임 정도를 추정할 수도 있을 것이다.
합성빔 수 결정부(110)는 측정된 움직임 정도로부터 합성구경 기법을 적용할 경우에 안정적인 합성빔의 갯수를 결정한다.
측정된 대상체의 움직임 정도와 안정적인 합성빔의 갯수 사이의 관계는 사전에 결정되어 테이블로 저장될 수 있다. 한편, 측정된 움직임 정도로부터 테이블을 참조하여 자동으로 합성빔의 갯수를 결정할 수 있으나, 디스플레이부(120)를 참조하여 사용자가 적정한 합성빔의 갯수를 선택하면, 선택된 합성빔의 갯수가 합성빔 수 결정부(110)가 결정한 합성빔의 갯수가 될 수도 있다.
디스플레이부(120)는 합성빔 수 결정부(110)에서 결정된 합성빔의 갯수를 디스플레이한다.
합성구경 빔집속부(130)는 합성빔 수 결정부(110)에서 결정된 합성빔의 갯수에 따라 합성빔을 생성하여 빔집속한다.
도 2는 일반적인 빔집속 영상에서 움직임 정도를 측정하여 현재의 위치에서 합성구경 기법을 적용할 경우의 영상의 안정도를 디스플레이하는 방법의 예를 도시한 것이다.
도 2의 왼쪽 그림과 같이 현재의 위치에서 안정적으로 빔포밍 가능한 합성빔의 수를 알려줄 수도 있고, 도 2의 오른쪽 그림과 같이 각 합성빔 수에 해당하는 위치에 빨강색, 노랑색, 녹색으로 안정도를 표현할 수도 있다.
움직임 측정부로부터 측정된 속도를 이용하면, 움직임 정도로부터 안정적으로 빔포밍 가능한 합성빔의 수를 도출할 수 있을 것이다. 움직임 정도와 안정적으로 빔포밍 가능한 합성빔의 수는 미리 대응시켜 테이블로 저장할 수 있다.
도 3은 합성구경 빔집속 기법을 적용한 영상에서 실제 영상의 각 위치의 움직임을 화면에 표시하는 방법의 예를 도시한 것이다.
도 3을 참조하면, 화살표와 같은 형태로 영상에 움직임을 표현할 수 있으며, 사용자는 화살표가 너무 많은 경우 합성빔의 수를 스스로 조정할 수 있다.
도 4는 합성구경 빔집속 기법을 적용한 영상에서 움직임의 정도를 측정하여 파라메터 바를 통해 알려주는 방법의 예를 도시한 것이다.
도 4를 참조하면, 도 2와 같이 안정적인 합성빔의 갯수를 영상에 표시하거나, 도 3과 같이 영상에 움직임의 정도를 직접 표시하지 않고 움직임의 정도를 파라메터 바로 표현한 상태를 나타낸다.
도 5는 본 발명의 바람직한 일 실시예에 따른 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법의 흐름도이다.
도 5를 참조하면, 본 실시예에 따른 합성구경 빔집속 방법은 도 1에 도시된 합성구경 빔집속 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 합성구경 빔집속 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 합성구경 빔집속 방법에도 적용된다.
500 단계에서 합성구경 빔집속 장치는 출력된 빔포밍 영상으로부터 움직임 정도를 측정한다.
빔포밍 영상의 이전 프레임과 현재 프레임의 영상을 블록 매칭 알고리즘을 사용하여 비교한 후, 픽셀단위로 움직임을 추정할 수 있다. 이렇게 얻어진 픽셀 단위의 움직임은 시스템 파라미터와 연동하여 대상 물체의 움직이는 속도로 변환될 수 있을 것이다.
510 단계에서 합성구경 빔집속 장치는 측정된 움직임 정도로부터 합성구경 기법을 적용할 경우에 안정적인 합성빔의 갯수를 결정한다. 측정된 대상체의 움직임 정도와 안정적인 합성빔의 갯수 사이의 관계는 사전에 결정되어 테이블로 저장될 수 있다.
520 단계에서 합성구경 빔집속 장치는 510 단계에서 결정된 합성빔의 갯수를 디스플레이한다.
합성빔의 갯수를 디스플레이하는 방법은 도 2 내지 도 4에 도시된 바와 같이 여러가지 형태가 가능하다. 도 2와 같이 움직임에 대응하는 적정 합성빔의 갯수를 직접 알려줄 수도 있고, 도 3과 같이 화살표로 움직임의 정도를 특정 위치에 표현할 수도 있으며, 도 4와 같이 움직임의 정도를 파라메터 바로 표현할 수도 있다.
530 단계에서 합성구경 빔집속 장치는 510 단계에서 결정된 합성빔의 갯수에 따라 합성빔을 생성하여 빔집속한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 출력된 빔포밍 영상에서 움직임 정도를 측정하는 움직임 측정부;
    합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 합성빔의 개수를 결정하는 합성빔 수 결정부; 및
    상기 합성빔 수 결정부에서 결정된 합성빔의 개수를 이용하여 합성빔을 생성하는 합성구경 빔 집속부를 포함하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  2. 제 1 항에 있어서,
    상기 합성빔 수 결정부는 상기 측정된 움직임 정도에 기초하여 합성빔의 개수를 자동으로 결정하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  3. 제 1 항에 있어서,
    상기 합성빔의 개수별로 안정도를 표시하는 디스플레이부를 더 포함하고,
    상기 합성빔의 개수별 안정도를 참조하여 사용자에 의해 선택된 합성빔의 개수가 상기 합성빔 수 결정부로 입력되고,
    상기 합성빔 수 결정부가 결정한 상기 사용자에 의해 선택된 합성빔의 개수 또는 상기 측정된 움직임 정도에 기초하여 결정된 합성빔의 개수 중 어느 하나를 이용하여 상기 합성구경 빔 집속부가 합성빔을 생성하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  4. 제 1 항에 있어서,
    상기 빔포밍 영상에 움직임의 정도에 따라 화살표의 개수를 가감하여 디스플레이하는 디스플레이부를 더 포함하고,
    상기 화살표의 개수를 참조하여 사용자에 의해 선택된 합성빔의 개수가 상기 합성빔 수 결정부로 입력되고,
    상기 합성빔 수 결정부가 결정한 상기 사용자에 의해 선택된 합성빔의 개수 또는 상기 측정된 움직임 정도에 기초하여 결정된 합성빔의 개수 중 어느 하나를 이용하여 상기 합성구경 빔 집속부가 합성빔을 생성하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  5. 제 1 항에 있어서,
    상기 움직임 정도를 파라메터 바로 표시하는 디스플레이부를 더 포함하고,
    상기 파라메터 바를 참조하여, 사용자에 의해 선택된 합성빔의 개수가 상기 합성빔 수 결정부로 입력되고,
    상기 합성빔 수 결정부가 결정한 상기 사용자에 의해 선택된 합성빔의 개수 또는 상기 측정된 움직임 정도에 기초하여 결정된 합성빔의 개수 중 어느 하나를 이용하여 상기 합성구경 빔 집속부가 합성빔을 생성하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  6. 제 1 항에 있어서,
    상기 움직임 측정부는 상기 빔포밍 영상의 이전 프레임의 영상과 현재 프레임의 영상을 블록 매칭 알고리즘을 이용하여 비교한 후, 비교 결과를 이용하여 움직임 정도를 측정하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따라른 합성빔 집속 장치.
  7. 제 1 항에 있어서,
    상기 움직임 측정부는 상기 빔포밍 영상의 각 주사선이나 영상점에 대하여 복수의 부구경을 이용하여 집속한 신호들 사이의 상관관계를 이용하여 상기 움직임 정도를 측정하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  8. 제 1 항에 있어서,
    상기 움직임 측정부는 관심영역 내의 대표적인 움직임을 측정하되, 상기 대표적인 움직임은 상기 관심영역 내에서 집속된 신호의 에너지가 최대가 되는 점에서의 움직임인 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  9. 제 1 항에 있어서,
    상기 움직임 측정부는 자기상관 기반의 도플러 평균 주파수 추정 기법을 이용하여 관심영역 내의 대표적인 움직임 또는 평균 움직임 속도를 측정하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  10. 제 1 항에 있어서,
    상기 측정된 움직임 정도와 상기 합성빔의 개수 사이의 관계는 사전에 결정되어 테이블로 저장되는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따른 합성빔 집속 장치.
  11. 출력된 빔포밍 영상에서 움직임 정도를 측정하는 움직임 측정부;
    합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 합성빔의 개수를 결정하는 합성빔 수 결정부;
    상기 합성빔 수 결정부에서 결정된 합성빔의 개수를 디스플레이하는 디스플레이부; 및
    상기 합성빔 수 결정부에서 결정된 합성빔의 개수에 따라 합성빔을 생성하여 빔집속하는 합성구경 빔집속부를 포함하는 것을 특징으로 하는 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 장치.
  12. 출력된 빔포밍 영상에서 움직임 정도를 측정하는 단계;
    합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 합성빔의 개수를 결정하는 단계; 및
    상기 결정된 합성빔의 개수를 이용하여 합성빔을 생성하는 단계를 포함하는 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따라 합성빔을 생성하는 방법.
  13. 제 12 항에 있어서,
    상기 합성빔의 개수별로 안정도를 표시하는 단계를 더 포함하고,
    상기 합성빔을 생성하는 단계는,
    상기 합성빔의 개수별 안정도를 참조하여 사용자에 의해 선택된 합성빔의 개수 또는 상기 측정된 움직임 정도에 기초하여 결정된 합성빔의 개수 중 어느 하나를 이용하여 합성빔을 생성하는 단계인 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따라 합성빔을 생성하는 방법.
  14. 제 12 항에 있어서,
    상기 빔포밍 영상에 움직임의 정도에 따라 화살표의 개수를 가감하여 디스플레이하는 단계를 더 포함하고,
    상기 합성빔을 생성하는 단계는,
    상기 화살표의 개수를 참조하여 사용자에 의해 선택된 합성빔의 개수 또는 상기 측정된 움직임 정도에 기초하여 결정된 합성빔의 개수 중 어느 하나를 이용하여 합성빔을 생성하는 단계인 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따라 합성빔을 생성하는 방법.
  15. 제 12 항에 있어서,
    상기 움직임 정도를 파라메터 바로 표시하는 단계를 더 포함하고,
    상기 합성빔을 생성하는 단계는,
    상기 파라메터 바를 참조하여, 사용자에 의해 선택된 합성빔의 개수 또는 상기 측정된 움직임 정도에 기초하여 결정된 합성빔의 개수 중 어느 하나를 이용하여 합성빔을 생성하는 단계인 것을 특징으로 하는 합성구경 기법에서 움직임 정도에 따라 합성빔을 생성하는 방법.
  16. 출력된 빔포밍 영상에서 움직임 정도를 측정하는 단계;
    합성구경 기법을 적용할 경우에 상기 측정된 움직임 정도에 기초하여 합성빔의 개수를 결정하는 단계; 및
    상기 결정된 합성빔의 개수를 디스플레이하는 단계; 및
    상기 결정된 합성빔의 개수에 따라 합성빔을 생성하여 빔집속하는 단계를 포함하는 것을 특징으로 하는 움직임 정도에 따른 합성구경 빔집속 방법.
  17. 제 12 항 내지 제 16 항 중에 어느 한 항의 방법을, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110008399A 2011-01-27 2011-01-27 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치 Expired - Fee Related KR101226903B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110008399A KR101226903B1 (ko) 2011-01-27 2011-01-27 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치
PCT/KR2012/000340 WO2012102503A2 (ko) 2011-01-27 2012-01-13 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치
US13/981,690 US9299174B2 (en) 2011-01-27 2012-01-13 Synthetic aperture beam forming method and apparatus of determining number of synthetic beams according to degree of motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110008399A KR101226903B1 (ko) 2011-01-27 2011-01-27 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120086992A KR20120086992A (ko) 2012-08-06
KR101226903B1 true KR101226903B1 (ko) 2013-01-28

Family

ID=46581249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110008399A Expired - Fee Related KR101226903B1 (ko) 2011-01-27 2011-01-27 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치

Country Status (3)

Country Link
US (1) US9299174B2 (ko)
KR (1) KR101226903B1 (ko)
WO (1) WO2012102503A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022080735A (ja) * 2020-11-18 2022-05-30 キヤノンメディカルシステムズ株式会社 超音波診断装置およびプログラム
CN112734665B (zh) * 2020-12-31 2023-07-14 飞依诺科技股份有限公司 用于减弱运动模糊的超声图像时域滤波方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090042184A (ko) * 2007-10-25 2009-04-29 주식회사 메디슨 영상 움직임 추정 및 보상 장치와 그 방법
JP2009101165A (ja) 2007-10-25 2009-05-14 Medison Co Ltd 映像動き推定及び補償装置とその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100419806B1 (ko) * 2001-12-31 2004-02-21 주식회사 메디슨 평면파를 이용하는 초음파 영상의 합성 구경 집속 방법
US7645236B2 (en) * 2005-06-28 2010-01-12 Siemens Medical Solutions Usa, Inc. Ultrasound imaging system having motion adaptive gain
KR100911879B1 (ko) 2007-12-03 2009-08-11 서강대학교기술지주 주식회사 초음파 합성 구경 빔포머 및 이를 이용한 초음파 영상 장치
US20120179044A1 (en) * 2009-09-30 2012-07-12 Alice Chiang Ultrasound 3d imaging system
US8355554B2 (en) * 2009-04-14 2013-01-15 Sonosite, Inc. Systems and methods for adaptive volume imaging
KR101253608B1 (ko) * 2010-12-27 2013-04-11 서강대학교산학협력단 합성영상을 생성하는 방법 및 이를 이용한 초음파 영상 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090042184A (ko) * 2007-10-25 2009-04-29 주식회사 메디슨 영상 움직임 추정 및 보상 장치와 그 방법
JP2009101165A (ja) 2007-10-25 2009-05-14 Medison Co Ltd 映像動き推定及び補償装置とその方法

Also Published As

Publication number Publication date
KR20120086992A (ko) 2012-08-06
WO2012102503A2 (ko) 2012-08-02
US20130335423A1 (en) 2013-12-19
WO2012102503A3 (ko) 2012-12-13
US9299174B2 (en) 2016-03-29

Similar Documents

Publication Publication Date Title
JP4795675B2 (ja) 医療用超音波システム
US7828731B2 (en) Ultrasonographic apparatus, ultrasonographic data processing method, and ultrasonographic data processing program
CN109414245B (zh) 超声血流运动谱的显示方法及其超声成像系统
US11439368B2 (en) Acoustic wave processing device, signal processing method for acoustic wave processing device, and program
US12268557B2 (en) Ultrasound image processing
CN102727255A (zh) 一种超声图像空间复合成像的方法及装置
CN113412087A (zh) 用于瓣膜反流评估的方法和系统
CN108209966B (zh) 一种超声成像设备的参数调整方法及装置
CN112702956A (zh) 一种超声成像系统及血流成像方法
JP6998477B2 (ja) カラードップラー超音波イメージングを行うための方法及びシステム
KR101226903B1 (ko) 움직임 정도에 따라 합성빔 수를 결정하는 합성구경 빔집속 방법 및 장치
CN112351742B (zh) 用于执行跨瓣压量化的方法和系统
JP7648005B2 (ja) 心臓超音波撮像の改善
JP5854929B2 (ja) 超音波診断装置、設定音速の信頼性判定方法およびプログラム
KR20140132821A (ko) 영상 처리 유닛, 초음파 영상 장치 및 영상 생성 방법
KR101124084B1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
KR20080060625A (ko) 대상체의 움직임에 기초하여 초음파 영상 획득하는 초음파진단 시스템 및 방법
KR101124153B1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
US12471879B2 (en) Methods and systems for obtaining a 3D vector flow field
KR102091536B1 (ko) 영상 처리 모듈, 상기 영상 처리 모듈을 이용한 초음파 영상 장치 및 상기 초음파 영상 장치를 이용한 초음파 영상 생성 방법
JP2013244221A (ja) 超音波診断装置、音速導出方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20170110

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20190311

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20230123

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230123

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000