KR101200009B1 - 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 - Google Patents
사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR101200009B1 KR101200009B1 KR1020110007551A KR20110007551A KR101200009B1 KR 101200009 B1 KR101200009 B1 KR 101200009B1 KR 1020110007551 A KR1020110007551 A KR 1020110007551A KR 20110007551 A KR20110007551 A KR 20110007551A KR 101200009 B1 KR101200009 B1 KR 101200009B1
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- shadow
- image
- region
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명에 따른 제어 기능을 제공하기 위한 프리젠테이션 시스템은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 촬영하는 카메라; 및 상기 카메라에 의해 촬영된 영상을 입력받으면, 입력받은 상기 영상으로부터 손 그림자 영역를 검출하고, 검출한 상기 손 그림자 영역에 상응하는 사용자의 손 동작을 인식하여 그 인식한 상기 사용자의 손 동작에 따라 제어 기능을 수행하는 사용자 단말기를 포함하는 것을 특징으로 한다.
이를 통해, 본 발명은 사용자의 편리성을 향상시킬 수 있고, 불필요한 조작 시간을 줄일 수 있다.
Description
도 2는 본 발명의 실시예에 따른 제어 기능을 제공하기 위한 방법을 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 카메라를 통해 촬영된 영상을 나타내는 예시도이다.
도 4는 도 2에 도시된 코너 정보를 검출하는 상세한 방법을 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 코너 정보를 검출하는 원리를 설명하기 위한 예시도이다.
도 6은 도 2에 도시된 손 그림자 영역을 검출하는 상세한 방법을 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제1 예시도이다.
도 8은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제2 예시도이다.
도 9는 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제3 예시도이다.
도 10은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제1 예시도이다.
도 11은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제2 예시도이다.
도 12는 본 발명의 실시예에 따른 그림자 후보 영상을 나타내는 예시도이다.
도 13은 본 발명의 실시예에 따른 투영 변환하여 얻은 영상을 나타내는 예시도이다.
도 14는 도 2에 도시된 손 영역을 추출하는 상세한 방법을 나타내는 예시도이다.
도 15는 본 발명의 실시예에 따른 손 영역을 추출하는 원리를 설명하기 위한 예시도이다.
도 16은 도 2에 도시된 손 동작을 인식하는 상세한 방법을 나타내는 예시도이다.
도 17는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제1 예시도이다.
도 18는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제2 예시도이다.
도 19은 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제3 예시도이다.
도 20은 본 발명의 실시예에 따른 제어 기능을 수행하는 원리를 설명하기 위한 예시도이다.
도 21은 도 1에 도시된 사용자 단말기(140)의 상세한 구성을 나타내는 예시도이다.
120: 프로젝터
130: 카메라
140: 사용자 단말기
141: 송수신부
142: 처리부
143: 코너 검출부
144: 그림자 검출부
145: 투영 변환부
146: 추출부
147: 인식부
148: 메모리
Claims (19)
- 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 촬영하는 카메라; 및
상기 카메라에 의해 촬영된 영상을 입력받으면, 입력받은 상기 영상으로부터 손 그림자 영역을 검출하고, 검출한 상기 손 그림자 영역에 상응하는 사용자의 손 동작을 인식하여 그 인식한 상기 사용자의 손 동작에 따라 제어 기능을 수행하는 사용자 단말기
를 포함하고, 상기 사용자 단말기는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하되,
상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들의 픽셀값의 평균으로 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 제1 항에 있어서,
상기 사용자 단말기는,
손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하고,
손 그림자가 있는 영상에서 손 그림자 영역을 검출하며,
상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 상기 사용자의 손 동작을 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 제2 항에 있어서,
상기 사용자 단말기는,
상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 삭제
- 제1 항에 있어서,
상기 분할한 R, G, B 영상 각각의 픽셀값은,
각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들에 가중치를 부여하여 계산된 픽셀값의 평균으로 계산되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 제2 항에 있어서,
상기 사용자 단말기는,
상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하고, 추출된 상기 손 영역에 상응하는 사용자의 손 동작을 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 제6 항에 있어서,
상기 사용자 단말기는,
PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 코너 검출부;
손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 그림자 검출부;
상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 추출부;
추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 인식부; 및
인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 처리부
를 포함하고, 상기 그림자 검출부는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하되,
상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들의 픽셀값의 평균으로 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 제8 항에 있어서,
상기 코너 검출부는,
상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 삭제
- 제8 항에 있어서,
상기 분할한 R, G, B 영상 각각의 픽셀값은,
각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들에 가중치를 부여하여 계산된 픽셀값의 평균으로 계산되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 제8 항에 있어서,
상기 추출부는,
상기 손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - 제8 항에 있어서,
상기 인식부는,
PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템. - (a)프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 단계;
(b)손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 단계;
(c)상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 단계;
(d)추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 단계; 및
(e)인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 단계
를 포함하고, 상기 검출하는 단계는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하되,
상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들의 픽셀값의 평균으로 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법. - 제14 항에 있어서,
상기 (a) 단계는,
상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법. - 삭제
- 제14 항에 있어서,
상기 분할한 R, G, B 영상 각각의 픽셀값은,
각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들에 가중치를 부여하여 계산된 픽셀값의 평균으로 계산되는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법. - 제14 항에 있어서,
상기 (c) 단계는,
손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법. - 제18 항에 있어서,
상기 (c) 단계는,
PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110007551A KR101200009B1 (ko) | 2011-01-25 | 2011-01-25 | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110007551A KR101200009B1 (ko) | 2011-01-25 | 2011-01-25 | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120086223A KR20120086223A (ko) | 2012-08-02 |
| KR101200009B1 true KR101200009B1 (ko) | 2012-11-12 |
Family
ID=46872130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110007551A Expired - Fee Related KR101200009B1 (ko) | 2011-01-25 | 2011-01-25 | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101200009B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025164906A1 (ko) * | 2024-01-31 | 2025-08-07 | 주식회사 에이치디엠 | 콘텐츠와 사용자 간의 인터랙션을 위한 인터랙션 시스템 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101327052B1 (ko) * | 2012-10-16 | 2013-11-08 | 이화여자대학교 산학협력단 | 그림자 영상 비교 방법 및 상기 방법을 수행하는 단말기 |
| KR20140118398A (ko) * | 2013-03-29 | 2014-10-08 | 삼성전자주식회사 | 이미지에서 손 인식 방법 및 장치 |
| CN104683720B (zh) * | 2013-11-28 | 2019-12-03 | 联想(北京)有限公司 | 一种电子设备及控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008527541A (ja) * | 2005-01-07 | 2008-07-24 | ジェスチャー テック,インコーポレイテッド | 画像中の物体の検出及び追跡 |
| JP2010117917A (ja) * | 2008-11-13 | 2010-05-27 | Toyota Infotechnology Center Co Ltd | 動作検出装置および操作システム |
-
2011
- 2011-01-25 KR KR1020110007551A patent/KR101200009B1/ko not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008527541A (ja) * | 2005-01-07 | 2008-07-24 | ジェスチャー テック,インコーポレイテッド | 画像中の物体の検出及び追跡 |
| JP2010117917A (ja) * | 2008-11-13 | 2010-05-27 | Toyota Infotechnology Center Co Ltd | 動作検出装置および操作システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025164906A1 (ko) * | 2024-01-31 | 2025-08-07 | 주식회사 에이치디엠 | 콘텐츠와 사용자 간의 인터랙션을 위한 인터랙션 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120086223A (ko) | 2012-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8442269B2 (en) | Method and apparatus for tracking target object | |
| US9710109B2 (en) | Image processing device and image processing method | |
| US9405182B2 (en) | Image processing device and image processing method | |
| JP5297530B2 (ja) | 画像処理装置、及びインターフェース装置 | |
| US9734392B2 (en) | Image processing device and image processing method | |
| US20160154469A1 (en) | Mid-air gesture input method and apparatus | |
| JP6221505B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| WO2019023921A1 (zh) | 一种手势识别方法、装置及设备 | |
| US9430039B2 (en) | Apparatus for controlling virtual mouse based on hand motion and method thereof | |
| US9836130B2 (en) | Operation input device, operation input method, and program | |
| US9064178B2 (en) | Edge detection apparatus, program and method for edge detection | |
| JP2015153120A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2014186505A (ja) | 視線検出装置及び撮像装置 | |
| KR101200009B1 (ko) | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 | |
| JP5887264B2 (ja) | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 | |
| JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN108255298B (zh) | 一种投影交互系统中的红外手势识别方法及设备 | |
| KR101517538B1 (ko) | 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체 | |
| JP2011175347A (ja) | 情報処理装置および情報処理方法 | |
| US10013602B2 (en) | Feature vector extraction device based on cell positioning | |
| KR101909326B1 (ko) | 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템 | |
| US10796435B2 (en) | Image processing method and image processing apparatus | |
| JP6273686B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US20240070889A1 (en) | Detecting method, detecting device, and recording medium | |
| KR101212316B1 (ko) | 공간 변환과 움직임 추정을 이용한 프레임 중앙점의 이동 경로 추출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-3-3-R10-R13-asn-PN2301 St.27 status event code: A-3-3-R10-R11-asn-PN2301 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20160105 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20171023 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20181106 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20181106 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |