KR100313913B1 - Method for cancelling The Echo Signal by The Adaptive Acoustic Echo Canceller - Google Patents
Method for cancelling The Echo Signal by The Adaptive Acoustic Echo Canceller Download PDFInfo
- Publication number
- KR100313913B1 KR100313913B1 KR1019980038323A KR19980038323A KR100313913B1 KR 100313913 B1 KR100313913 B1 KR 100313913B1 KR 1019980038323 A KR1019980038323 A KR 1019980038323A KR 19980038323 A KR19980038323 A KR 19980038323A KR 100313913 B1 KR100313913 B1 KR 100313913B1
- Authority
- KR
- South Korea
- Prior art keywords
- echo
- signal
- adaptive
- component
- call
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
- H03H21/00—Adaptive networks
- H03H21/0012—Digital adaptive filters
- H03H21/0043—Adaptive algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
적응 음향 반향 제거기(Adaptive Acoustic Echo Canceller)에 있어서, 사용자 신호가 존재하는 동시 통화 기간에 반향 성분을 효과적으로 제거할 수 있으며, 특히 호 설정 직후 발생되는 반향 성분까지 제거할 수 있도록 호 시도이후 호가 설정되는 동안에 반향 경로의 변화를 미리 추정하는 음향 적응 반향 제거기의 반향 신호 제거 방법에 관한 것으로, 제1 단말기로부터 제2 단말기에 호 시도가 발생됨 에 따라, 제2 단말기는 임의의 시험 신호를 사용하여 미리 적응 필터 계수를 모델링하는 단계와, 상기 모델링된 적응 필터 계수를 이용하여 반향 경로의 변화를 추정하는 단계와, 상기 추정된 반향 경로의 변화에 따라, 반향 경로를 통한 성분을 제거하는 단계로 이루어지며, 통화 기간 초기의 반향 성분을 완전히 제거할 수 있으며, 상대방 음성 신호와 구별되지 않는 상당히 큰 반향 성분 또한 제거가 가능한 적응 음향 반향 제거기의 반향 신호 제거 방법에 관한 것이다.In Adaptive Acoustic Echo Canceller, the echo component can be effectively removed during the simultaneous call period in which the user's signal exists, and the call is set up after the call attempt to remove the echo component that occurs immediately after call setup. A method of canceling an echo signal of an acoustic adaptive echo canceller that estimates a change in an echo path in advance, wherein, as a call attempt is generated from a first terminal to a second terminal, the second terminal is previously adapted using an arbitrary test signal. Modeling filter coefficients, estimating a change in the echo path using the modeled adaptive filter coefficients, and removing components through the echo path according to the estimated change in the echo path, The echo component at the beginning of the call period can be completely removed and indistinguishable from the other party's voice signal. The present invention relates to a method of canceling an echo signal of an adaptive acoustic echo canceller that can also remove a fairly large echo component.
Description
본 발명은 적응 음향 반향 제거기에 관한 것으로, 사용자 신호가 존재하는 동시 통화 기간에 반향 성분을 효과적으로 제거할 수 있으며, 특히 호 설정 직후 발생되는 반향 성분까지 제거할 수 있도록 호 시도이후 호가 설정되는 동안에 반향경로의 변화를 미리 추정하는 음향 적응 반향 제거기의 반향 신호 제거 방법에 관한 것이다.The present invention relates to an adaptive acoustic echo canceller, which can effectively remove echo components during a concurrent call period in which a user signal is present, and especially during a call setup after a call attempt to remove echo components that occur immediately after call setup. The present invention relates to a method of canceling echo signals of an acoustic adaptive echo canceller that estimates a change in a path in advance.
고도의 산업화 사회로 빠른 변화를 보이고 있는 요즘에는 다양한 고속 정보통신 서비스들에 대한 요구가 급증하고 있으며, 그 중 대표적인 서비스가 음성을이용한 인간과 기계와의 대화라고 할 수 있다.Recently, the demand for various high-speed information and communication services is increasing rapidly, and the representative service is the dialogue between human and machine using voice.
이러한 인간과 기계와의 대화가 가능한 음성 입출력 장치에서는 입력되는 음성 신호에 대한 출력 신호의 반향 성분에 의해 음성 품질이 저하되는 경우가 발생되므로, 음질 저하의 원인이 되는 반향 성분을 효과적으로 제거할 수 있도록 적응 필터링 개념을 적용한 반향 제거 방법을 사용하고 있다.In such a voice input / output device that can communicate with a human and a machine, voice quality may be degraded by an echo component of an output signal with respect to an input voice signal, so that the echo component that causes the sound quality may be effectively removed. The echo cancellation method using the adaptive filtering concept is used.
도 1 은 종래 기술에 따른 적응 음향 반향 제거기의 구성을 나타낸 도면이 다.1 is a view showing the configuration of an adaptive acoustic echo canceller according to the prior art.
도 1에서 X(n)은 시스템의 출력 신호이자 적응 필터(10)의 기준 입력이 되 는 신호이며, R(n)은 시스템 출력 신호 X(n)의 반향 성분이다. 또한, Y(n)은 적응 필터(10)의 출력 신호이자 X(n)을 이용하여 R(n)신호를 모델링한 신호이며, E(n)은 반향 성분이 제거된 반향 제거 잔여 신호이다.In FIG. 1, X (n) is an output signal of the system and a signal which is a reference input of the adaptive filter 10, and R (n) is an echo component of the system output signal X (n). In addition, Y (n) is an output signal of the adaptive filter 10 and a signal obtained by modeling an R (n) signal using X (n), and E (n) is an echo cancellation residual signal from which echo components have been removed.
도 1 에 도시된 바와 같이 적응 음향 반향 제거기는 적응 필터(10)를 사용하여 시스템의 출력 신호 X(n)를 반향 성분과 동일한 신호로 만들어 중첩되는 반향 성분의 영향을 자동적으로 제거시키게 된다. 따라서 적응 필터(10)는 반향 경로의 성분을 정확히 모델링해야 하는데, 만약 반향 성분을 제거한 후 잔여 신호 E(n)이 남아 있다면, 적응 필터(10)는 잔여 신호 E(n)과 시스템의 출력 신호 X(n)을 입력으로 하여 필터 계수를 조절하게 된다.As shown in FIG. 1, the adaptive acoustic echo canceller uses an adaptive filter 10 to make the output signal X (n) of the system the same as the echo component to automatically eliminate the effects of overlapping echo components. Therefore, the adaptive filter 10 must accurately model the components of the echo path. If the residual signal E (n) remains after removing the echo components, the adaptive filter 10 may determine the residual signal E (n) and the output signal of the system. The filter coefficient is adjusted by inputting X (n).
여기에 사용되는 적응 필터(10)는 다수의 탭(tap)을 구비하고 있어서 입력 신호 X(n)의 크기에 따라 수렴 속도를 변화시키게 되며, 수렴 속도를 좌우하는 스템 크기를 입력 신호의 전력으로 정규화하는 정규화 최소평균 제곱오차(Normalinzed Least Mean Square ; 이하, NLMS라 약칭함) 알고리즘을 가장 기본으로 사용하고 있다.The adaptive filter 10 used here has a plurality of taps to change the convergence speed according to the magnitude of the input signal X (n), and the stem size that influences the convergence speed is the power of the input signal. Normalizing Normalized Least Mean Square Error (hereinafter, abbreviated as NLMS) algorithm is used as the basic.
여기서, NLMS 알고리즘은 원하는 신호와 적응 필터(10)의 출력간에 평균 제곱 오차가 최소가 되는 방향으로 필터 계수를 계속 조절하는 알고리즘이며, 계산량 이 적어 실시간 처리가 용이하며 수치적 특성이 좋다.Here, the NLMS algorithm is an algorithm that continuously adjusts the filter coefficients in a direction in which the mean square error is minimized between the desired signal and the output of the adaptive filter 10, and has a small amount of calculation for easy real-time processing and good numerical characteristics.
그러나, 상기 설명된 적응 음향 반향 제거기를 적용한 통신 시스템에서는, 호가 설정 완료되어 직접 음성 신호가 송수신되기 시작하는 시점부터 적응 음향 반향 제거기가 동작하게 되어, 이에 따른 적응 필터의 반향 성분에 대한 수렴이 늦어지게 된다. 따라서 통화 시간 초기에 적응 필터가 수렴되어 반향 성분을 완전히 제거할 수 있을 때까지는 저하된 음질을 유지하게 되는 문제점이 있다.However, in the communication system to which the adaptive acoustic echo canceller described above is applied, the adaptive acoustic echo canceller operates from a time when a call is set up and a voice signal is directly transmitted and received, thus converging on the echo component of the adaptive filter. You lose. Therefore, there is a problem in that the sound quality is maintained until the adaptive filter converges early in the talk time to completely remove the echo component.
또한, 적응 음향 반향 제거기는 상대방 사용자 신호와 반향 신호를 구분하기 위하여 일반적으로 입력되는 신호의 크기를 비교하게 되는데, 만약 반향 신호가 상당히 클 경우에는 이 반향 신호를 상대방 사용자 신호로 오인하여 제거하지 못하게 되는 문제점이 있게 된다.In addition, the adaptive acoustic echo canceller compares the magnitude of a generally input signal in order to distinguish the echo signal from the counterpart user signal. If the echo signal is quite large, the echo signal may be mistaken for the counterpart user signal and cannot be removed. There is a problem.
본 발명은 이와 같은 문제점을 해결하기 위해 안출한 것으로, 적응 음향 반향 제거기를 적용한 통신 시스템에서 호 시도가 발생될 때, 호가 설정되는 동안에 적응 필터가 시험 신호를 이용하여 반향 경로 변화를 미리 추정함으로써, 호 설정완료 직후 음질 저하의 원인이 되는 반향 성분이 제거될 뿐만 아니라, 상당히 큰 반향 신호에 대해서도 제거가 가능한 적응 음향 반향 제거기의 반향 신호 제거 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve such a problem, and when a call attempt occurs in a communication system employing an adaptive acoustic echo canceller, the adaptive filter estimates the echo path change by using a test signal in advance while the call is established. It is an object of the present invention to provide a method of canceling echo signals of an adaptive acoustic echo canceller that can remove not only an echo component that causes a deterioration of sound quality immediately after call setup is completed, but also a very large echo signal.
상기 목적을 달성하기 위한 본 발명에 따른 적응 음향 반향 제거기의 반향 신호 제거 방법의 특징은, 제1 단말기로부터 제2 단말기에 호 시도가 발생됨에 따라, 제2 단말기는 임의의 시험 신호를 사용하여 미리 적응 필터 계수를 모델링하는 단계와, 상기 모델링된 적응 필터 계수를 이용하여 반향 경로의 변화를 추정하는 단계와, 상기 추정된 반향 경로의 변화에 따라, 반향 경로를 통한 성분을 제거하는 단계로 이루어지는 것을 특징으로 한다.A feature of the echo signal cancellation method of the adaptive acoustic echo canceller according to the present invention for achieving the above object is that, as a call attempt is generated from the first terminal to the second terminal, the second terminal uses a predetermined test signal in advance. Modeling the adaptive filter coefficients, estimating a change in the echo path using the modeled adaptive filter coefficients, and removing components through the echo path according to the estimated change in the echo path. It features.
바람직하게는, 상기 반향 성분을 제거하는 단계 이후에 상기 반향 성분에 대한 잔여 성분이 존재함에 따라, 상기 모델링된 적응 필터의 계수를 갱신하여 반향 경로의 변화를 다시 추정함으로써 해당 반향 성분을 제거하는 단계를 추가적으로 포함하게 된다.Preferably, after the step of removing the echo component, as there is a residual component for the echo component, removing the echo component by updating the coefficient of the modeled adaptive filter and re-estimating the change in the echo path. It will additionally include.
도 1 은 종래 기술에 따른 적응 음향 반향 제거기의 구성을 나타낸 도면.1 is a diagram showing the configuration of an adaptive acoustic echo canceller according to the prior art.
도 2 는 본 발명에 따른 적응 음향 반향 제거기의 반향 신호 제거 방법을 나타낸 플로우챠트.2 is a flowchart illustrating a method of canceling echo signals of an adaptive acoustic echo canceller according to the present invention;
도면의 주요부분에 대한 부호의 설명Explanation of symbols for main parts of the drawings
10 : 적응 필터(Adaptive Filter)10: Adaptive Filter
이하, 본 발명에 따른 적응 음향 반향 제거기의 반향 신호 제거 방법에 대한 바람직한 일 실시예를 첨부된 도면을 참조하여 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a method for canceling an echo signal of an adaptive acoustic echo canceller according to the present invention will be described with reference to the accompanying drawings.
도 2 는 본 발명에 따른 적응 음향 반향 제거기의 반향 신호 제거 방법을 나타낸 플로우챠트이다.2 is a flowchart illustrating a method of canceling an echo signal of the adaptive acoustic echo canceller according to the present invention.
도 2 를 참조하면, 제1 단말기로부터 제2 단말기에 호 시도가 있을 경우 (S10), 제2 단말기의 적응 음향 반향 제거기는 호 설정이 완료되기 전에 시험 신호 (Training Signal)를 사용하여 미리 필터 계수를 모델링한다(S20). 이때, 제1 단말기와 제2 단말기는 고정 또는 이동 단말기를 모두 포함한다. 또한, 상기 호 시도는제1 단말기로부터 발호 메시지(Origination Message)가 제2 단말기에 전송됨으로써 이루어진다. 이후에 제1 단말기와 제2 단말기간에는 통화를 위한 자원이 할당됨과 동시에 소정의 절차를 거쳐 호 설정이 이루어진다.Referring to FIG. 2, when there is a call attempt from the first terminal to the second terminal (S10), the adaptive acoustic echo canceller of the second terminal uses the training signal before the call setup is completed to filter coefficients in advance. Modeling (S20). At this time, the first terminal and the second terminal includes both a fixed or a mobile terminal. In addition, the call attempt is made by sending an Origination Message from the first terminal to the second terminal. Thereafter, a call is allocated between the first terminal and the second terminal and a call is established through a predetermined procedure at the same time.
적응 음향 반향 제거기는 모델링된 필터 계수를 사용하여 반향 경로의 변화를 추정하게 되는데(S30), 이에 따라 시도된 호에 대한 설정이 완료된 직후 사용자의 음성 신호가 송수신되는 통화 기간 초기에 발생되는 해당 반향 성분을 제거하게 된다(S40)The adaptive acoustic echo canceller estimates the change in the echo path using the modeled filter coefficients (S30). Accordingly, the corresponding echo generated early in the call period in which the user's voice signal is transmitted and received immediately after setting up the attempted call is completed. Remove the component (S40)
이 때, 반향 성분 제거후 잔여 성분이 있는가에 따라(S50), 반향 성분이 완전히 제거되지 않으면 잔여 성분을 이용하여 적응 필터의 계수를 갱신한 수 반향 경로의 변화를 다시 추정함으로써 반향 성분을 제거하게 된다(S70).In this case, depending on whether there is a residual component after removing the echo component (S50), if the echo component is not completely removed, the echo component may be removed by re-estimating the change in the number of echo paths by updating the coefficient of the adaptive filter using the residual component. It becomes (S70).
그러나, 반향 성분이 완전히 제거되었다고 판단되면 현재 적응 필터 계수에 의해 추정된 반향 경로의 성분들을 계속 제거하게 된다(S60).However, if it is determined that the echo component is completely removed, the components of the echo path estimated by the current adaptive filter coefficient are continuously removed (S60).
이 때, 적응 필터가 발산하는 것을 방지하기 위해 본 발명에서는 호가 설정 완료되기 전에 어느 정도 적응 필터가 수렴한 상태이면, 적응 필터의 계수를 갱신할 필요가 없으므로 적을 필터의 계수를 고정시켜 사용할 수 있다.In this case, in order to prevent the adaptive filter from diverging, in the present invention, if the adaptive filter converges to some extent before the call is set up, the coefficient of the adaptive filter does not need to be updated, so the enemy can be fixed by using the coefficient of the filter. .
또한, 본 발명에 따른 반향 신호 제거 방법은 호 시도가 발생된 이후 상대방이 착신하기 전에 적응 필터의 계수를 수렴시키게 되므로, 상대방 음성 신호가 없는 상태에서 반향 성분 제거를 수행하게 되어 상당히 큰 반향 성분 또한 제거하게 된다.In addition, since the echo signal cancellation method according to the present invention converges the coefficients of the adaptive filter after the call attempt is made before the other party is called, the echo component removal is performed in the absence of the other party's voice signal. Will be removed.
이상에서 설명한 바와 같이 본 발명에 따른 적응 음향 반향 제거기의 반향 신호 제거 방법에 따르면, 호 설정이 완료되기 전에 시험 신호를 사용하여 미리 적응 필터의 계수를 수렴시키므로, 통화 기간 초기의 반향 성분을 완전히 제거할 수 있으며, 상대방 음성 신호와 구별되지 않는 상당히 큰 반향 성분 또한 제거가 가능하다는 효과가 있다.As described above, according to the echo signal canceling method of the adaptive acoustic echo canceller according to the present invention, since the coefficients of the adaptive filter are converged in advance using a test signal before the call setup is completed, the echo component at the beginning of the call period is completely removed. In addition, it is possible to remove a considerable echo component that is indistinguishable from the other party's voice signal.
또한, 본 발명에 따른 반향 신호 제거 방법에서는 미리 수렴된 적응 필터 계수를 고정시켜 사용할 수도 있으므로, 적응 필터가 발산되는 것을 방지할 수 있다. 이에 따라 매우 안정적으로 반향 성분을 제거할 수 있다는 효과가 있다.In addition, in the echo signal removing method according to the present invention, since the adaptive filter coefficients converged in advance may be fixed, the adaptive filter may be prevented from being diverged. Accordingly, there is an effect that the echo component can be removed very stably.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980038323A KR100313913B1 (en) | 1998-09-16 | 1998-09-16 | Method for cancelling The Echo Signal by The Adaptive Acoustic Echo Canceller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980038323A KR100313913B1 (en) | 1998-09-16 | 1998-09-16 | Method for cancelling The Echo Signal by The Adaptive Acoustic Echo Canceller |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000019960A KR20000019960A (en) | 2000-04-15 |
| KR100313913B1 true KR100313913B1 (en) | 2001-12-12 |
Family
ID=19550854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980038323A Expired - Fee Related KR100313913B1 (en) | 1998-09-16 | 1998-09-16 | Method for cancelling The Echo Signal by The Adaptive Acoustic Echo Canceller |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100313913B1 (en) |
-
1998
- 1998-09-16 KR KR1019980038323A patent/KR100313913B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000019960A (en) | 2000-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3652705B2 (en) | System and method for avoiding misfocusing due to the presence of tones in time domain echo cancellation processing | |
| US4757527A (en) | Echo canceller | |
| CN101346897B (en) | Echo canceller | |
| CN101026392A (en) | Method of controlling an adaptation of a filter | |
| WO2005002183A2 (en) | Statistical adaptive-filter controller | |
| US20050220043A1 (en) | Echo cancellation | |
| US6243462B1 (en) | Echo canceller and method of controlling the same | |
| US6256384B1 (en) | Method and apparatus for cancelling echo originating from a mobile terminal | |
| KR100313913B1 (en) | Method for cancelling The Echo Signal by The Adaptive Acoustic Echo Canceller | |
| GB2427332A (en) | Echo canceller background filter detects sparse impulse response peaks, filters around them and updates foreground filter when it performs better | |
| JPH09116469A (en) | Echo noise cancellor and echo noise canceling method | |
| JPH07226697A (en) | Echo canceller, echo canceller, and handset having echo canceller | |
| US6912281B2 (en) | Route delay sensitive echo cancellation | |
| US6931101B1 (en) | Method and apparatus for inband testing of an echo canceller | |
| JP3303524B2 (en) | Echo canceller learning method | |
| JP5293342B2 (en) | Voice communication apparatus, method and program | |
| JP2020155793A (en) | Echo canceller and IP phone | |
| JP3862548B2 (en) | Echo canceller | |
| JPS6340377B2 (en) | ||
| JP2005244538A (en) | Echo canceler control unit and voice communication device | |
| JP2006148330A (en) | Echo canceller, circuit switching system, and echo canceling method | |
| KR100420581B1 (en) | Apparatus and method for removing stereo echo signal using pre-processing algorithm | |
| JPH01256821A (en) | Adaptive type echo canceller | |
| KR20020041556A (en) | Method for cancelling echo in mobile communication system | |
| JPH04185023A (en) | Echo canceller device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R14-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R14-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R14-asn-PN2301 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 10 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20120914 Year of fee payment: 12 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20130913 Year of fee payment: 13 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 13 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20141026 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20141026 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |