[go: up one dir, main page]

KR100897077B1 - 표면 모델로부터 추출된 프리미티브 특징의 조합에 의한 빔 이미지의 스캐닝 시뮬레이션을 위한 방법, 제품, 및 시스템 - Google Patents

표면 모델로부터 추출된 프리미티브 특징의 조합에 의한 빔 이미지의 스캐닝 시뮬레이션을 위한 방법, 제품, 및 시스템 Download PDF

Info

Publication number
KR100897077B1
KR100897077B1 KR1020077000306A KR20077000306A KR100897077B1 KR 100897077 B1 KR100897077 B1 KR 100897077B1 KR 1020077000306 A KR1020077000306 A KR 1020077000306A KR 20077000306 A KR20077000306 A KR 20077000306A KR 100897077 B1 KR100897077 B1 KR 100897077B1
Authority
KR
South Korea
Prior art keywords
image
scanning
filter
processor
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020077000306A
Other languages
English (en)
Other versions
KR20070026785A (ko
Inventor
아담 시저
호스트 하우세커
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20070026785A publication Critical patent/KR20070026785A/ko
Application granted granted Critical
Publication of KR100897077B1 publication Critical patent/KR100897077B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

기술은, 복수의 중간 이미지를 생성하기 위해 복수의 필터로 스캐닝 빔 이미지에서 관찰될 수도 있는 객체의 샘플링된 표현을 필터링하는 단계를 포함한다. 중간 이미지를 조합하여, 스캐닝 빔에서 관찰되는 것을 예측하는 시뮬레이션된 이미지를 생성한다.
이미지, 중간 이미지, 필터, 스캐닝, 빔, 시뮬레이션

Description

표면 모델로부터 추출된 프리미티브 특징의 조합에 의한 빔 이미지의 스캐닝 시뮬레이션을 위한 방법, 제품, 및 시스템{SIMULATION OF SCANNING BEAM IMAGES BY COMBINATION OF PRIMITIVE FEATURES EXTRACTED FROM A SURFACE MODEL}
배경
본 발명은, 일반적으로, 예를 들어, 표면 모델로부터 추출되는 프리미티브 특징과 같은, 프리미티브 특징의 조합에 의한 빔 이미지의 스캐닝 시뮬레이션에 관한 것이다.
통상, SEM(scannig electron microscope), FIB(focused ion beam) 도구, 또는 광 스캐너와 같은, 스캐닝 빔 이미징 도구는, 마이크로-스케일 또는 나노-스케일 표면의 이미지를 생성하는데 이용된다. 일 예로서, 표면은 반도체 구조의 층을 형성하는데 이용되는 리소그래피 마스크의 표면 또는 실리콘 반도체 구조의 표면일 수도 있다.
스캐닝 빔 이미징 도구는 표면의 2-D(two-dimensional) 이미지를 제공할 수도 있다. 도구로부터의 2-D 이미지가 표면 특징을 식별하는 강도를 포함하더라도, 인간이 이미지로부터 표면의 3-D(three-dimensional) 구조를 추론하는 것은 어렵다. 2-D 이미지의 해석을 돕기 위해, 표면을 물리적으로 자를 수도 있고, 도구를 이용하여 상기 표면의 단면을 나타낸 추가 2-D 이미지를 생성할 수도 있다.
또한, 시뮬레이션된 이미지를 이용하여 스캐닝 빔 이미징 도구로부터 2-D 이 미지를 해석할 수도 있다. 스캐닝 빔 이미지 도구에 의해 얻은 이미지는, 가상 표면과 도구의 스캐닝 빔 간의 물리적 상호 작용을 모델링하는 컴퓨터-보조 시뮬레이션에 의해 시뮬레이션될 수 있다. 이와 같은 시뮬레이션은 몬테 카를로 시뮬레이션으로 지칭되고, 도구에 의해 생성되는 이미지를 넘어 물리적 현상을 시뮬레이션하기 위한 표준 접근법이다. 몬테 카를로 모델은 전자나 이온 산란의 물리적 시뮬레이션에 기초한다. 산란 시뮬레이션이 무작위화되고, 비교적 낮은 잡음을 갖는 시뮬레이션된 이미지를 생성하기 위해 다수의 입자를 시뮬레이션해야 하므로, 몬테 카를로 시뮬레이션은 수행하는데 상당한 시간 양을 필요로 할 수도 있다. 또한, 몬테 카를로 시뮬레이션은 다음 처리 단계에 이용될 수 있는 해석적 함수의 항으로 시뮬레이션 출력을 표현하지 않는다. 시뮬레이션에 대한 다른 접근법은 셰이딩 모델로 지칭되는 모델을 이용하는 것으로, 스캐닝 빔 이미지에서 강도는 로컬 표면 배향의 함수로서 모델링된다. 상기 방법은 나노미터 스케일 정도로 정확하지 않지만, 해석적 함수의 항으로 시뮬레이션을 표현한다.
이와 같이, 스캐닝 빔 이미지 도구로부터 이미지를 시뮬레이션하는 더 빠르고 더 정확한 방법에 대한 요구가 계속되고 있다. 또한, 해석적 함수를 이용하여 스캐닝 빔 이미지 강도와 나노미터 스케일에서 표면 형상 간의 관계를 표현할 수 있어야 한다.
도면의 간단한 설명
도 1은 본 발명의 일 실시예에 따른 스캐닝 빔 도구 이미지를 시뮬레이션하는 기술을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 필터 뱅크를 트레인하는 기술을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 시뮬레이션된 이미지를 얻는 트레이닝 및 시뮬레이션 기술을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 컴퓨터 시스템의 개략도이다.
상세한 설명
도 1을 참조하면, 본 발명에 따른 시스템(30)의 일 실시예는, 스캐닝 빔 도구(일 예로서, SEM(scanning electron microscope) 또는 FIB(focused ion beam) 도구)에 의해 생성될 수 있는, 표면의 이미지를 시뮬레이션한다. 표면은 "현미경적 표면"으로서, 시뮬레이션 기술이 100 미크론보다 작은 (또한, 본 발명의 일부 실시예에서는, 크기가 10 나노미터보다 작은) 표면상의 특징을 갖는 빔 상호 작용을 모델링할 수 있는 것을 의미한다. 일 예로서, 표면은 반도체 구조의 표면 또는 리소그래피 마스크의 표면일 수도 있다.
시스템(30)은 표면의 특성을 나타내는 입력 이미지(36; 아래에 더 설명함)를 수신하고, 입력 이미지(36)에 기초하여, 시스템(30)은 출력 이미지(46), 즉, 시뮬레이션된 표면의 스캐닝 빔 이미지를 생성한다. 출력 이미지(46)는, 예를 들어, 스캐닝 빔 이미징 도구로부터 얻은 표면의 실제 2-D 이미지를 해석하는 것과 같은, 여러 목적에 이용될 수도 있다.
본 발명의 일부 실시예에서, 입력 이미지(36)는 높이 필드 이미지로서, 이미지(36)의 각 픽셀의 강도가 표면의 결합한 현미경적 특징의 높이를 나타내는 것을 의미한다. 이와 같이, 예를 들어, z-축은 표면에 수직인 일반적인 표면을 따라 연장하는 것으로서 정의될 수도 있고, 각 픽셀의 강도는 표면의 특정 위치에서 표면의 z 좌표(즉, 높이)를 식별한다. 측정하에 있는 표본이 언더커트 또는 공간을 갖더라도, 일부 언더커팅은 언더커트의 구조가 제1 표면 높이에서 예측할 수 있으면상기 접근법에 의해 처리될 수도 있다. 예를 들어, 언더커드의 형상이 스텝 에지의 높이의 함수이면, 여기서 설명된 접근법을 이용하여 언더커트 표면과의 빔 상호 작용으로부터 발생하는 강도를 모델링할 수도 있다.
높이는 여러 반도체 층을 형성하는데 이용된 제조 설계 명세로부터 생성될 수도 있으므로, 관찰된 표면을 형성할 수도 있다. 본 발명의 다른 실시예에서는, 다른 변형도 가능하다.
시스템(30)은 입력 이미지(36)를 수신하는 필터 뱅크(38)를 포함한다. 필터 뱅크(38)는 N개의 필터를 포함하고, 그 각각은 대응하는 중간 이미지(40)를 생성한다. 필터 뱅크(38)의 필터는 관찰된 표면상에 나타날 수도 있는 특정 로컬 특징을 식별하도록 설계된다. 조합 함수(44)는 중간 이미지(40)를 조합하여, 최종 출력 이미지(46)를 생성한다.
아래에서 더 설명하는 바와 같이, 본 발명의 일부 실시예에서, 필터 뱅크(38)의 각 필터는 입력 이미지에 대한 로컬 다항식 근사로부터 얻을 수도 있다. 또한, 다항식 근사는 (본 발명의 일부 실시예에서) 픽셀에서 3개의 로컬 특징 중 하나에 대한 근사를 제공한다: 픽셀에서 표면 기울기와 픽셀에서 표면에 대한 최소 및 최대 주요 곡률.
각 필터는 표면상의 서로 다른 특징 크기를 설명하는, 픽셀 주위의 특정 영역을 정의한다. 예를 들어, 특정 필터는, 다항식 함수를 대략 픽셀 주위의 3 픽셀 × 3 픽셀 영역 상에서 픽셀 강도로 맞추고 다항식의 계수로부터 출력 값을 계산함으로써, 결합한 중간 이미지(40)를 형성할 수도 있다. 다른 필터는 10 픽셀 × 10 픽셀 영역, 30 픽셀 × 30 픽셀 영역 등과 같은, 서로 다른 스케일과 결합할 수도 있다. 이와 같이, 상술한 각각의 3개의 기본 특징(기울기, 최소 곡률 및 최대 곡률)은 서로 다른 스케일과 결합할 수도 있다. 예를 들어, 10개의 필터는 10개의 서로 다른 픽셀 스케일에 대해 각 픽셀을 둘러싸는 로컬 기울기를 근사화할 수도 있다; 10개 이상의 필터는 서로 다른 픽셀 스케일에 대해 각 픽셀을 둘러싸는 최소 주요 곡률을 근사화할 수도 있다; 및 10개의 추가 필터는 10개의 서로 다른 픽셀 스케일에 대해 각 픽셀을 둘러싸는 최대 주요 곡률을 근사화할 수도 있다. 여기서 설명된 숫자는 단지 일 예일 뿐이므로, 필터 뱅크(38)의 필터 수는 본 발명의 특정 실시예에 따라 변한다.
본 발명의 일부 실시예에서, 여기서 설명된 기술은 이미지 형성 모델을 예시적인 실제 표면 쌍과 대응하는 스캐닝 도구 이미지에 맞추는 알고리즘을 포함한다. 또한, 아래에서 설명하는 바와 같이, 기술은 표면 형상을 제어하는 파라미터에 대하여 시뮬레이션된 이미지의 미분을 계산하는 단계를 포함한다. 상기 기술의 주요 특징은 입력 표면에서 일련의 로컬 기하학적 이미지 특징의 함수로서 시뮬레이션된 이미지를 표현하는 것이다.
여기서 설명된 기술은, 이미지 강도와 표면의 기하학적 특성 간의 관계를 알 고 있는 트레이닝 알고리즘을 이용한다. 로컬 특징은, 표본과 스캐닝 빔의 물리적 상호 작용의 서로 다른 스케일에 의해 유도되는 다수의 스케일에 대해 계산된다. 또한, 러닝 알고리즘은 적당한 일련의 로컬 특징과 공간 스케일을 결정하여 정확도의 손실 없이 차원을 줄인다. 시스템을 트레이닝한 후, 입력 표면은, 이를 알고 있는 일련의 로컬 기하학적 특징으로 분해하고 이를 알고 있는 이미지 생성 기능으로 조합함으로써 시뮬레이션될 수도 있다.
더 특정 예로서, 도 2는 기술(50)을 이용하여 필터 뱅크(38)의 필터에 대한 계수를 얻는 것을 나타낸다. 기술(50)은, 필터 뱅크(38)의 각 필터에 의해 입력 이미지(36)를 필터링하여(블록(52)), 중간 이미지(40)의 트레이닝을 생성하는 단계를 포함한다. 다음으로, 주요 컴포넌트 분석을 수행하여(블록(54)), 중복 필터, 즉, 소정의 입력 이미지(36)에 대해 거의 같은 중간 이미지(40)를 생성하는 필터를 제거한다. 끝으로, 기술(50)에 따라, 최소 제곱 문제를 해결하여(블록(58)), 필터 뱅크(38)의 필터의 계수를 결정한다.
이하, 더 특정 상세를 참조하면, 본 발명의 일부 실시예에서, 조합 함수는 다음과 같이 설명될 수도 있다:
Figure 112007001191609-pct00001
(식 1)
여기서, "H"는 높이 필드 이미지를 표현하고; "x"는 특정 픽셀 위치를 표현하고; "i"는 필터에 대한 인덱스로서, 1 내지 N의 범위이고; "Fi"는 필터 뱅크의 제i 필터를 표현하고; "ai"는 제i 필터에 대한 곱셈 인수 계수를 표현하고, "d"는 상 수 오프셋을 표현한다. 이는, 단지 하나의 가능성일 뿐이다. 비선형 조합 함수도 가능하다. 또한, 트레이닝 절차는 필터 뱅크 출력의 다항식 함수인 임의의 조합 함수에 적용 가능하다.
ai 계수는 최종 출력 이미지(46)를 계산하는데 어느 필터가 중요한지를 결정하는 트레이닝 절차를 이용하여 얻어진다. 예를 들어, 간단하게 하기 위해, 입력 이미지(36)를 "Htrain"으로 지칭하고 결과로서 생기는 출력 이미지(46)를 "Itrain"으로 지칭하는 것으로 가정하자. 트레이닝 동안, Htrain 이미지를 필터 뱅크(38)의 각 필터에 의해 필터링하여, 일련의 중간 트레이닝 이미지를 생성한다. 다음으로, 출력 이미지의 주요 컴포넌트 분석을 수행하여 필터 기초로 중복 차원을 제거한다.
본 발명의 일부 실시예에서, 주요 컴포넌트는 중간 트레이닝 이미지의 N × N 상관 행렬의 고유 벡터로서 계산된다. 상관 행렬의 고유 벡터는 중간 트레이닝 이미지에서 변화량을 측정한다. 본 발명의 일부 실시예에서, 고유 벡터가 1.0보다 적은 주요 컴포넌트를 무시할 수도 있다. 본 발명의 다른 실시예에서, 고유 벡터가 0.1보다 작지 않으면 주요 컴포넌트를 무시하지 않는다. 본 발명의 다른 실시예에서는, 다른 한계값을 이용할 수도 있다.
주요 컴포넌트를 결정한 후, 아래에 설명된, 다음 선형 최소 제곱 문제를 해결한다:
Figure 112007001191609-pct00002
(식 2)
여기서, "PCi[j]"는 제i 주요 컴포넌트의 제j 요소를 표현하고(i는 주요 컴포넌트를 최대 고유 벡터에서 최소 고유 벡터 순서로 표시한다); "M"은 0.1보다 큰 고유 벡터를 갖는 주요 컴포넌트의 수를 표현하고(M ≤ N); d는 상수 오프셋을 표현하고; 및 "bi"는 내적에 의해 계산되는 주요 컴포넌트 필터 출력 이미지의 계수를 표현한다.
끝으로, ai 컴포넌트는 다음과 같이 얻어진다:
Figure 112007001191609-pct00003
(식 3)
본 발명의 일부 실시예에서, 중간 트레이닝 이미지 중 하나가 전체 출력에 비교적 작은 기여를 하면, 대응하는 필터를 필터 뱅크(38)로부터 제거할 수도 있고, 피팅(fitting) 프로세스를 반복하여, 더 효율적인 모델을 만든다. 일단 파라미터를 상술한 트레이닝 기술로부터 결정하면, 필터 뱅크(38)를 이용하여, 임의의 가상 3-D 표면 모델로부터의 높이를 샘플링함으로써 제공된 새로운 입력 이미지(36)로부터 이미지를 합성할 수도 있다.
이와 같이, 도 3을 참조하면, 본 발명에 따른 기술(80)은, 필터 계수를 이용하여 출력 이미지(36)를 생성하는 시뮬레이션 기술(120)로 필터 계수를 얻는 트레이닝 기술(82)과 겹친다. 트레이닝 기술(82)에 관하여, 트레이닝 입력 이미지(88)는 필터 뱅크(90)에 제공된다. 또한, 필터 뱅크(90)는 N개의 출력(92)을 생성한다. 필터 계수 솔버(86; 즉, 상술한 바와 같이, 주요 컴포넌트와 최소 제곱을 계산하는 솔버)는 출력(92)을 이용하여 필터 계수(94)를 얻는다. 필터 뱅크(90)와 필터 계수(94)는 트레이닝 기술(82)과 시뮬레이션 기술(120) 간에 오버랩을 제공한다. 이 방법으로, 시뮬레이션 기술(120)의 경우, 필터 뱅크(90)는 스캐닝 빔 도구(32)로부터 새로운 입력 이미지(124)를 수신하고, 출력(82)을 계산하고 이들 출력을, 또한 시뮬레이션된 이미지(123)를 생성하는 조합 함수(122)에 제공한다.
본 발명의 일부 실시예에서, 이용되는 필터 뱅크는, 입력 표면에 대한 로컬 입방 근사로부터의 주요 곡률과 높이 경사도 크기의 계산에 기초한다. 그러나, 제안된 알고리즘은 이들 필터에 한정되지 않는다. 임의의 다른 일련의 필터는, 로컬 표면 구조와 이미지 강도 간의 관계를 표현하는데 적당한 경우, 로컬 기하학적 특징을 계산하는데 이용될 수 있다. 비선형 특징의 이용은, 상당히 비선형 현상학적 관계의 표현을 가능케 한다. 필터 뱅크 내의 개개의 필터의 출력은 입력 높이 이미지의 각 픽셀에서 곡률 값과 경사도 크기에 대응한다. 본 발명의 일부 실시예에서, 가우스 가중 피트를 갖는 로컬 입방 근사를 계산하는 필터 커널을 이용한다. 가우스 가중 피트의 이용은 예리한 에지 근방의 바람직하지 않은 링잉 효과를 줄이는 것을 돕는다.
본 발명의 일부 실시예에서, 패싯 모델을 이용하여 기울기와 곡률을 추정한다. 패싯 모델은 각 픽섹의 로컬 근방에서 강도에 대한 다항식 피트로서 이미지를 표현한다. 이와 같이, 이미지는 각 픽셀에 대해 서로 다른 다항식을 갖는 구분적 다항식 함수로서 표현된다(픽셀당 하나의 패싯). 입방 패싯 모델의 경우, 이미지의 로컬 근방, f(r,c)는, 아래에 설명하는 바와 같이, 2-차원 입방 다항식에 의해 근사화된다.
Figure 112007001191609-pct00004
(식 4)
여기서, r ∈ R 및 c ∈ C는 (0,0)에 중심을 갖는 직사각형-형상 근방에 대한 로우 및 컬럼 인덱스를 표현하고, 모든 10개의 K 계수는 특정 픽셀 근방에 중심을 갖는 근방에 특정인 상수이다. 예를 들어, 5 × 5 근방의 경우, R = C = {-2, 1, 0, 1, 2}.
입방 패싯 모델이 주어지면, 각 픽셀에 대한 기울기(경사도 크기)와 곡률(2개의 주요 곡률)은 아래에 설명하는 바와 같이 계산된다:
Figure 112007001191609-pct00005
(식 5)
Figure 112007001191609-pct00006
(식 6)
Figure 112007001191609-pct00007
(식 7)
여기서, "G"는 경사도 크기이고, K+와 K_는 주요 곡률이다. 그 다음에, 여러 근방 크기에 대한 이들 3개의 연산자를 필터 기초로서 이용한다. 이들 필터의 회로 대칭은, 몬테 카를로 모델이 검출기 기하학에서 회로 대칭을 가정하므로, 적당하다. 이들 식에서 알 수 있는 바와 같이, 단지 K2, K3, K4, K5 및 K6만을 필요로 한다. 다행히, 다항식 계수는, 아래에 설명되는, 컨볼루션 연산을 이용하여 효율적으로 각각 계산될 수 있다.
다른 방법으로는, 더 높은 차수의 다항식 피트에 대한 계수를 이용할 수도 있다. 또한, 가보 필터는 강도에 대한 주기적 구조의 효과를 캡처하는데 유용할 수도 있다. SEM 이미지에서, 통상, 아주 근접한 반복된 구조는 격리시 같은 구조와 다른 콘트라스트를 갖는다. 검출기 기하학이 원 대칭이 아닌 SEM의 경우, 입방 다항식의 계수는, 경사도 크기와 주요 곡률로 조합하는 대신, 필터로서 별개로 이용될 수도 있다.
본 발명의 일부 실시예에서, 가우스 가중 함수를 이용한다. 지원 근방 크기는 계속 홀수의 정수이지만, 가우스 함수에 대한 추가 폭 파라미터는 효과적인 근방 크기에 대한 연속적인 제어를 제공한다. 가우스 가중 함수는 분리성을 보존하는 이점을 갖고 다음과 같이 정의된다:
Figure 112007001191609-pct00008
(식 8)
여기서,
Figure 112007001191609-pct00009
이고, k는 정규화 인자이므로, ∑rcw(r,c) = 1 이다.
가중 함수를 이용하여 다항식을 맞추기 위해, 가중된 제곱 에러를 아래에 설명하는 바와 같이 최소화한다.
Figure 112007001191609-pct00010
(식 9)
가우스-가중된 패싯 모델의 계수에 대한 컨벌루션 커널은 부록에서 설명된다.
본 발명의 일부 실시예에서, 컨벌루션 커널은, 이미지로 컨벌루션될 때 다음 식을 최소화하는 그 이미지의 패싯 모델 표현을 주는 것으로 계산되고, K 계수에 대한 일반적인 솔루션은 다음과 같이 설명될 수도 있다:
Figure 112007001191609-pct00011
(식 10)
Figure 112007001191609-pct00012
(식 11)
Figure 112007001191609-pct00013
(식 12)
Figure 112007001191609-pct00014
(식 13)
Figure 112007001191609-pct00015
(식 14)
Figure 112007001191609-pct00016
(식 15)
Figure 112007001191609-pct00017
(식 16)
Figure 112007001191609-pct00018
(식 17)
Figure 112007001191609-pct00019
(식 18)
Figure 112007001191609-pct00020
(식 19)
Figure 112007001191609-pct00021
(식 20)
이들 정의의 항에서, 솔루션은 다음과 같다:
Figure 112007001191609-pct00022
(식 21)
Figure 112007001191609-pct00023
(식 22)
Figure 112007001191609-pct00024
(식 23)
Figure 112007001191609-pct00025
(식 24)
Figure 112007001191609-pct00026
(식 25)
Figure 112007001191609-pct00027
(식 26)
Figure 112007001191609-pct00028
(식 27)
Figure 112007001191609-pct00029
(식 28)
Figure 112007001191609-pct00030
(식 29)
Figure 112007001191609-pct00031
(식 30)
각각의 K 계수는, 각 픽셀이 입력 이미지에서 대응하는 픽셀에 중심을 갖는 근방에 대한 피트를 표현하는 2-D 이미지에 대응한다. K 계수에 대한 이미지는 근방의 크기를 컨벌루선 커널을 갖는 컨벌루션에 의해 효율적으로 계산될 수 있다.
가우스-가중된 패싯 모델을 이용하여 K 계수를 계산하기 위해, 식 12 내지 식 20으로부터의 변수(G, A, B, Q, T, U, V, W 및 Z)는, 다음과 같이 정의되는 변수(Rn 및 Cn)을 이용하는 것을 제외하고는 같은 식에 의해 계산된다:
Figure 112007001191609-pct00032
(식 31)
그 다음에, 계수는 다음과 같이 계산된다:
Figure 112007001191609-pct00033
(식 32)
Figure 112007001191609-pct00034
(식 33)
Figure 112007001191609-pct00035
(식 34)
Figure 112007001191609-pct00036
(식 35)
Figure 112007001191609-pct00037
(식 36)
Figure 112007001191609-pct00038
(식 37)
Figure 112007001191609-pct00039
(식 38)
Figure 112007001191609-pct00040
(식 39)
Figure 112007001191609-pct00041
(식 40)
Figure 112007001191609-pct00042
(식 41)
도 4를 참조하면, 본 발명의 일 실시예에 따르면, 상술한 기술은 컴퓨터 시스템(200)과 접속하여 이용될 수도 있다. 더욱 상세하게는, 컴퓨터 시스템(200)은, 프로세서(202)가 상술한 시뮬레이션 및 트레이닝 기술을 수행하도록 하는 명령(212)을 기억하는 메모리(210)를 포함할 수도 있다. 또한, 메모리(210)는, 예를 들어, 높이 필드 이미지와 같은, 입력 이미지(36)를 표현하는 데이터(214)를 기억할 수도 있다. 또한, 메모리(210)는, 시뮬레이션 기술의 결과, 즉, 출력 이미지(46)를 표현하는 데이터(216)를 기억할 수도 있다.
컴퓨터 시스템(200)의 다른 특징 중에서, 컴퓨터 시스템(200)은 메모리(210)를 메모리 허브(206)에 연결하는 메모리 버스(208)를 포함할 수도 있다. 메모리 허브(206)는 프로세서(202)를 따라 로컬 버스(204)에 연결된다. 메모리 허브(206)는, 예를 들어, NIC(270; network interface card)와 (디스플레이(264)를 구동하는) 디스플레이 드라이버(262)에 연결될 수도 있다. 또한, 메모리 허브(206)는, 예를 들어, I/O(input/output) 허브(222)에 (허브 링크(220)를 통하여) 연결될 수도 있다. 또한, I/O 허브(222)는 본 발명의 특정 실시예에 따라 CD ROM 드라이브(260) 및/또는 하드 디스크 드라이브(250)를 위한 인터페이스를 제공할 수도 있다. 또한, I/O 제어기(230)는 키보드(246), 마우스(242) 및 플로피 디스크 드라이브(240)를 위한 인터페이스를 제공하기 위해 I/O 허브(222)에 연결될 수도 있다.
도 4는 프로그램 명령(212), 입력 이미지 데이터(214) 및 출력 이미지 데이터(216)를 메모리(210)에 기억된 것으로서 도시하지만, 이들 명령 및/또는 데이터 중 하나 이상은, CD-ROM 드라이브(260)에 삽입되는 CD ROM과 같은, 탈착식 매체에 또는 하드 디스크 드라이브(250)에서와 같은, 다른 메모리에 기억될 수도 있다. 본 발명의 일부 실시예에서, 시스템(200)은 NIC(270)를 통하여 시스템(200)에 연결되는 스캐닝 빔 이미징 도구(271; 일 예로서, SEM(scanning electron microscope) 또는 FIB(focused ion beam) 도구)를 나타낸다. 도구(271)는 관찰하에 있는 표면의 스캐닝된 이미지(예를 들어, 2-D)를 나타내는 데이터를 제공한다. 시스템(200)은, 디스플레이(264) 상에, 여기서 설명된 기술에 의해 생성된 시뮬레이션된 이미지뿐만 아니라 스캐닝된 이미지도 표시할 수도 있다. 이와 같이, 본 발명의 다수의 실시예는 첨부된 청구항에 의해 정의되는 범위를 고려한다.
이상, 제한된 수의 실시예를 참조하여 본 발명을 개시하였지만, 본 개시 내용의 이점을 갖는, 당해 기술분야의 당업자는, 여러 수정 및 변형을 알 수 있다. 첨부된 청구항은 본 발명의 진정한 사상 및 범위와 부합하는 모든 상기 수정 및 변형을 포함한다.

Claims (23)

  1. 빔 이미지의 스캐닝 시뮬레이션을 위한 방법으로서,
    복수의 중간 이미지들을 생성하기 위해 복수의 필터들로 스캐닝 빔 이미지에서 관찰되는 객체의 샘플링된 표현을 필터링하는 단계; 및
    상기 스캐닝 빔 이미지에서 관찰되는 것을 예측하는 시뮬레이션된 이미지를 생성하기 위해 상기 중간 이미지들을 조합하는 단계
    를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  2. 제1항에 있어서,
    상기 샘플링된 객체 표현은 제조 명세로부터 얻은 높이 필드 이미지를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  3. 제1항에 있어서,
    상기 필터링하는 단계는 필터를 서로 다른 기하학적 특징과 결합(associate)하는 단계를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  4. 제3항에 있어서,
    상기 특징은 적어도 하나의 기울기, 최소 곡률 및 최대 곡률을 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  5. 제1항에 있어서,
    상기 표현은 픽셀을 포함하고,
    상기 필터링하는 단계는, 각 필터에 대해, 각 픽셀 표현과 상기 각 픽셀을 둘러싸는 영역으로 정의된 주위 픽셀에 함수를 적용하는 단계를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  6. 제5항에 있어서,
    서로 다른 필터에 대한 영역 크기를 변경하는 단계를 더 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  7. 제1항에 있어서,
    상기 표현과 대응하는 출력 이미지는 트레이닝 입력/출력 세트를 포함하고,
    상기 방법은 필터의 계수를 결정하기 위해 트레이닝 세트를 이용하는 단계를 더 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  8. 제1항에 있어서,
    상기 표현은 트레이닝 입력으로서 간주되고,
    상기 방법은 필터 중 적어도 하나를 제거하기 위해 트레이닝 입력을 이용하는 단계를 더 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  9. 제8항에 있어서,
    상기 트레이닝 입력을 이용하는 단계는,
    상기 중간 이미지의 상관 행렬을 결정하는 단계; 및
    상기 상관 행렬의 고유값을 결정하는 단계를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 방법.
  10. 빔 이미지의 스캐닝 시뮬레이션을 위한 제품으로서,
    프로세서-기반 시스템으로 하여금,
    복수의 중간 이미지들을 생성하기 위해 복수의 필터들로 객체의 샘플링된 표현을 필터링하고;
    상기 객체의 시뮬레이션된 이미지를 생성하기 위해 상기 중간 이미지들을 조합하도록 하는 명령을 기억하는 컴퓨터 판독 가능 기억 매체를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 제품.
  11. 제10항에 있어서,
    상기 표현은 제조 명세로부터 얻은 높이 필드 이미지를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 제품.
  12. 제10항에 있어서,
    상기 기억 매체는, 프로세서-기반 시스템으로 하여금 필터를 서로 다른 기하학적 특징과 결합하도록 하는 명령을 기억하는 빔 이미지의 스캐닝 시뮬레이션을 위한 제품.
  13. 제10항에 있어서,
    상기 표현과 원하는 대응하는 출력 이미지는 트레이닝 입력/출력 세트를 포함하고,
    상기 명령을 기억하는 기억 매체는, 프로세서-기반 시스템으로 하여금, 원하는 출력 이미지를 이용하여 필터의 계수를 결정하도록 하는 빔 이미지의 스캐닝 시뮬레이션을 위한 제품.
  14. 제10항에 있어서,
    상기 표현은 트레이닝 입력을 포함하고,
    상기 명령을 기억하는 기억 매체는, 프로세서-기반 시스템으로 하여금, 트레이닝 입력을 이용하여 필터 중 적어도 하나를 제거하도록 하는 빔 이미지의 스캐닝 시뮬레이션을 위한 제품.
  15. 제10항에 있어서,
    상기 명령을 기억하는 기억 매체는, 프로세서-기반 시스템으로 하여금, 중간 이미지의 상관 행렬을 결정하고, 상관 행렬의 고유값을 결정하고, 상기 결정 결과를 이용하여 필터 중 적어도 하나를 제거하도록 하는 빔 이미지의 스캐닝 시뮬레이션을 위한 제품.
  16. 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템으로서,
    프로세서;
    상기 프로세서로 하여금, 복수의 중간 이미지들을 생성하기 위해 복수의 필터들로 객체의 샘플링된 표현을 필터링하고, 상기 객체의 시뮬레이션된 이미지를 생성하기 위해 상기 중간 이미지들을 조합하도록 하는 명령을 기억하는 메모리
    를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
  17. 제16항에 있어서,
    상기 표현은 제조 명세로부터 얻은 높이 필드 이미지를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
  18. 제16항에 있어서,
    상기 메모리는, 프로세서로 하여금, 합성 객체 표현으로부터 스캐닝 빔 이미징 도구를 시뮬레이션하고, 필터의 계수를 결정하는데 이용된 트레이닝 입력/출력 세트를 구성하는 원하는 출력 이미지를 생성하도록 하는 명령을 기억하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
  19. 제16항에 있어서,
    상기 프로세서는 필터를 서로 다른 기하학적 특징과 결합하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
  20. 제16항에 있어서,
    상기 표현은 트레이닝 입력을 포함하고,
    상기 프로세서는 원하는 대응하는 출력 이미지를 이용하여 필터의 계수를 결정하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
  21. 제16항에 있어서,
    상기 표현은 트레이닝 입력을 포함하고,
    상기 프로세서는 트레이닝 입력을 이용하여 필터 중 적어도 하나를 제거하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
  22. 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템으로서,
    스캐닝 빔 이미징 도구;
    프로세서;
    상기 프로세서로 하여금, 복수의 중간 이미지들을 생성하기 위해 복수의 필터들로 객체의 샘플링된 표현을 필터링하고, 상기 객체의 시뮬레이션된 이미지를 생성하기 위해 상기 중간 이미지들을 조합하도록 하는 명령을 기억하는 메모리
    를 포함하고,
    상기 시뮬레이션된 이미지를 이용하여 상기 스캐닝 빔 이미징 도구에 의해 생성된 다른 이미지를 해석하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
  23. 제22항에 있어서,
    상기 표현은 제조 명세에서 얻은 높이 필드 이미지를 포함하는 빔 이미지의 스캐닝 시뮬레이션을 위한 시스템.
KR1020077000306A 2004-07-08 2005-07-08 표면 모델로부터 추출된 프리미티브 특징의 조합에 의한 빔 이미지의 스캐닝 시뮬레이션을 위한 방법, 제품, 및 시스템 Expired - Fee Related KR100897077B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/886,910 US20060008178A1 (en) 2004-07-08 2004-07-08 Simulation of scanning beam images by combination of primitive features extracted from a surface model
US10/886,910 2004-07-08

Publications (2)

Publication Number Publication Date
KR20070026785A KR20070026785A (ko) 2007-03-08
KR100897077B1 true KR100897077B1 (ko) 2009-05-14

Family

ID=35345387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077000306A Expired - Fee Related KR100897077B1 (ko) 2004-07-08 2005-07-08 표면 모델로부터 추출된 프리미티브 특징의 조합에 의한 빔 이미지의 스캐닝 시뮬레이션을 위한 방법, 제품, 및 시스템

Country Status (7)

Country Link
US (1) US20060008178A1 (ko)
JP (1) JP2008506199A (ko)
KR (1) KR100897077B1 (ko)
CN (1) CN101014976A (ko)
DE (1) DE112005001600T5 (ko)
TW (1) TWI312486B (ko)
WO (1) WO2006010105A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009511163A (ja) 2005-10-14 2009-03-19 アプライド リサーチ アソシエイツ エヌゼット リミテッド 表面特徴を観察する方法とその装置
US7835586B2 (en) * 2007-08-01 2010-11-16 Mitsubishi Electric Research Laboratories, Inc. Method for filtering images with bilateral filters
US8264614B2 (en) 2008-01-17 2012-09-11 Sharp Laboratories Of America, Inc. Systems and methods for video processing based on motion-aligned spatio-temporal steering kernel regression
NL2003716A (en) * 2008-11-24 2010-05-26 Brion Tech Inc Harmonic resist model for use in a lithographic apparatus and a device manufacturing method.
US8437575B2 (en) * 2009-03-18 2013-05-07 Shutterfly, Inc. Proactive creation of image-based products
JP5764380B2 (ja) * 2010-04-29 2015-08-19 エフ イー アイ カンパニFei Company Sem画像化法
US9179844B2 (en) 2011-11-28 2015-11-10 Aranz Healthcare Limited Handheld skin measuring or monitoring device
DE102012004569A1 (de) * 2012-03-09 2013-09-12 Hauk & Sasko Ingenieurgesellschaft Mbh System und Verfahren zum Betrieb einer Halde
JP6121704B2 (ja) * 2012-12-10 2017-04-26 株式会社日立ハイテクノロジーズ 荷電粒子線装置
US10013527B2 (en) 2016-05-02 2018-07-03 Aranz Healthcare Limited Automatically assessing an anatomical surface feature and securely managing information related to the same
US11116407B2 (en) 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
US9905394B1 (en) * 2017-02-16 2018-02-27 Carl Zeiss Microscopy Gmbh Method for analyzing an object and a charged particle beam device for carrying out this method
US11903723B2 (en) 2017-04-04 2024-02-20 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
US12039726B2 (en) 2019-05-20 2024-07-16 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems
EP4123683A1 (en) * 2021-07-20 2023-01-25 ASML Netherlands B.V. Data processing device and method, charged particle assessment system and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6223139B1 (en) * 1998-09-15 2001-04-24 International Business Machines Corporation Kernel-based fast aerial image computation for a large scale design of integrated circuit patterns

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4603430A (en) * 1984-09-21 1986-07-29 Hughes Aircraft Company Target discrimination utilizing median filters
JPS63225300A (ja) * 1987-03-16 1988-09-20 株式会社東芝 パタ−ン認識装置
JPH06105605B2 (ja) * 1987-09-11 1994-12-21 株式会社日立製作所 電子顕微鏡の像観察装置
JP2870299B2 (ja) * 1992-06-08 1999-03-17 日本電気株式会社 画像信号の処理装置
AU5839694A (en) * 1993-01-16 1994-08-15 James Andrew Bangham Signal processing system
JP3301031B2 (ja) * 1994-09-02 2002-07-15 日本電信電話株式会社 物体の自動認識方法および自動認識装置
JP2996127B2 (ja) * 1995-02-17 1999-12-27 日本電気株式会社 パターン形成方法
JPH08272945A (ja) * 1995-03-31 1996-10-18 Shimadzu Corp 画像処理装置
US6081612A (en) * 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US7107571B2 (en) * 1997-09-17 2006-09-12 Synopsys, Inc. Visual analysis and verification system using advanced tools
JPH11196296A (ja) * 1997-12-26 1999-07-21 Canon Inc 画像処理装置および方法、非線形フィルタ、記録媒体
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
WO2000007146A1 (en) * 1998-07-28 2000-02-10 General Electric Company Method and apparatus for calibrating a non-contact range sensor
US6700623B1 (en) * 1998-12-10 2004-03-02 Snell & Wilcox Limited Video signal processing using triplets of pixels
US7009640B1 (en) * 1999-05-31 2006-03-07 Olympus Corporation Color reproduction system for carrying out color correction by changing over color correction parameters according to images of photographed subjects
JP3945115B2 (ja) * 2000-03-07 2007-07-18 コニカミノルタフォトイメージング株式会社 デジタルカメラ、カメラボディ、撮像レンズおよび記録媒体
EP1148332B1 (en) * 2000-04-18 2005-11-30 The University of Hong Kong Method of inspecting images to detect defects
GB2363306B (en) * 2000-05-05 2002-11-13 Acoustical Tech Sg Pte Ltd Acoustic microscope
AU2002211881A1 (en) * 2000-10-13 2002-04-22 Science Applications International Corporation System and method for linear prediction
US6714892B2 (en) * 2001-03-12 2004-03-30 Agere Systems, Inc. Three dimensional reconstruction metrology
US6956975B2 (en) * 2001-04-02 2005-10-18 Eastman Kodak Company Method for improving breast cancer diagnosis using mountain-view and contrast-enhancement presentation of mammography
US6909930B2 (en) * 2001-07-19 2005-06-21 Hitachi, Ltd. Method and system for monitoring a semiconductor device manufacturing process
US7218418B2 (en) * 2002-07-01 2007-05-15 Xerox Corporation Digital de-screening of documents
JP3968421B2 (ja) * 2002-07-01 2007-08-29 独立行政法人産業技術総合研究所 電子顕微鏡観察像の画像処理方法および画像処理プログラム並びに記録媒体
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
US20040156554A1 (en) * 2002-10-15 2004-08-12 Mcintyre David J. System and method for simulating visual defects
JP4225039B2 (ja) * 2002-11-21 2009-02-18 ソニー株式会社 データ処理装置および方法、記録媒体、並びにプログラム
US7194709B2 (en) * 2004-03-05 2007-03-20 Keith John Brankner Automatic alignment of integrated circuit and design layout of integrated circuit to more accurately assess the impact of anomalies
US7038204B2 (en) * 2004-05-26 2006-05-02 International Business Machines Corporation Method for reducing proximity effects in electron beam lithography

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6223139B1 (en) * 1998-09-15 2001-04-24 International Business Machines Corporation Kernel-based fast aerial image computation for a large scale design of integrated circuit patterns

Also Published As

Publication number Publication date
WO2006010105A2 (en) 2006-01-26
TW200612354A (en) 2006-04-16
US20060008178A1 (en) 2006-01-12
DE112005001600T5 (de) 2007-05-24
TWI312486B (en) 2009-07-21
WO2006010105A3 (en) 2006-07-06
CN101014976A (zh) 2007-08-08
JP2008506199A (ja) 2008-02-28
KR20070026785A (ko) 2007-03-08

Similar Documents

Publication Publication Date Title
KR100897077B1 (ko) 표면 모델로부터 추출된 프리미티브 특징의 조합에 의한 빔 이미지의 스캐닝 시뮬레이션을 위한 방법, 제품, 및 시스템
US8384716B2 (en) Image processing method
Bhandari et al. 3D polycrystalline microstructure reconstruction from FIB generated serial sections for FE analysis
Min et al. Fast global image smoothing based on weighted least squares
Stoyanova et al. An enhanced computational method for age‐at‐death estimation based on the pubic symphysis using 3 D laser scans and thin plate splines
Ruprecht et al. Spatial free-form deformation with scattered data interpolation methods
WO2002001503A2 (en) Depth map creation through hypothesis blending in a bayesian framework
JP4170096B2 (ja) 対象の3次元表面上にマップされた3次元メッシュモデルの適合性評価のための画像処理装置
Clarenz et al. Processing textured surfaces via anisotropic geometric diffusion
JP4469284B2 (ja) ユーザによる修正を可能にした3次元データセットの抽出方法
Zacharopoulos et al. 3D shape reconstruction in optical tomography using spherical harmonics and BEM
Klaas et al. Construction of models and meshes of heterogeneous material microstructures from image data
JP3390975B2 (ja) 画像流速推定方法、装置および画像流速推定プログラムを記録した記録媒体
Kumari et al. in Mesh Smoothing Techniques
Kamencay et al. Innovative 3D reconstruction method based on patch based technique using neural network
Nesme et al. Accurate interactive animation of deformable models at arbitrary resolution
Javaheri Advancing Graph-Theoretic Techniques for Microstructure Reconstructions, Evolutions, and Property Evaluations
Toda 3D Image Processing and 3D Image Analysis
Chand Component‐based hybrid mesh generation
Park et al. Multiscale surface representation and rendering for point clouds
Shen et al. A freeform shape optimization of complex structures represented by arbitrary polygonal or polyhedral meshes
Manson et al. Contouring discrete indicator functions
Tucker Synthetic Microstructure-Based Lifing of Nickel-Based Superalloys
Choi et al. Adaptive mass-spring simulation using surface wavelet
De Koster et al. Towards a material point method with C1-continuous Powell–Sabin spline basis functions on unstructured triangulations

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20130503

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20140502

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20160505

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20160505

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000