[go: up one dir, main page]

KR100248374B1 - Error correction method between camera and tracker in augmented reality system - Google Patents

Error correction method between camera and tracker in augmented reality system Download PDF

Info

Publication number
KR100248374B1
KR100248374B1 KR1019970062775A KR19970062775A KR100248374B1 KR 100248374 B1 KR100248374 B1 KR 100248374B1 KR 1019970062775 A KR1019970062775 A KR 1019970062775A KR 19970062775 A KR19970062775 A KR 19970062775A KR 100248374 B1 KR100248374 B1 KR 100248374B1
Authority
KR
South Korea
Prior art keywords
camera
tracker
augmented reality
error
real world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019970062775A
Other languages
Korean (ko)
Other versions
KR19990042072A (en
Inventor
김주완
김동현
김해동
장병태
Original Assignee
정선종
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정선종, 한국전자통신연구원 filed Critical 정선종
Priority to KR1019970062775A priority Critical patent/KR100248374B1/en
Publication of KR19990042072A publication Critical patent/KR19990042072A/en
Application granted granted Critical
Publication of KR100248374B1 publication Critical patent/KR100248374B1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 시스템에서 카메라와 트래커간의 불일치에 의해 발생되는 중첩 오차를 보정하는 방법에 관한 것으로, 사용자가 모니터를 보면서 실세계와 가상객체간의 대응하는 임의의 특징점들을 선정하고, 선정된 특징점들을 이용하여 카메라 위치와 자세를 구하기 위하여 최적화알고리즘인 유전자 알고리즘을 적용한다. 유전자알고리즘에서 구해진 카메라 위치 및 자세 데이터와 이미 알고 있는 트래커의 위치 및 자세 데이타간의 차이를 나타내는 보정행렬을 구하고, 실제 동적환경에서 운용시 트래커에서 구해진 위치와 자세를 상기 보정행렬을 이용하여 보정하여 실세계와 가상객체를 정확히 중첩할 수 있다. 또한 카메라와 트래커를 대충 부착하여도 카메라와 트랙커간의 차이를 구할 수 있어, 증강현실 응용시스템에서 카메라와 트래커간의 정적오차를 줄이는데 필수적인 방법이다.The present invention relates to a method for correcting an overlapping error caused by a mismatch between a camera and a tracker in an augmented reality system, wherein a user selects arbitrary feature points corresponding to a real world and a virtual object while looking at a monitor, and uses the selected feature points. We apply genetic algorithm which is an optimization algorithm to find camera position and posture. Obtain a correction matrix representing the difference between the camera position and posture data obtained from the genetic algorithm and the known tracker position and posture data, and correct the position and posture obtained by the tracker when operating in a real dynamic environment using the correction matrix. And virtual objects can be nested exactly. In addition, the difference between the camera and the tracker can be obtained even if the camera and the tracker are roughly attached, which is an essential method for reducing the static error between the camera and the tracker in the augmented reality application system.

Description

증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법Error correction method between camera and tracker in augmented reality system

본 발명은 카메라에 의해 보이는 실세계와 카메라가 보는 시점에서 동일한 가상객체(그래픽)를 렌더링하는 증강현실 시스템에서 카메라와 트래커간의 오차로 발생되는 중첩 오차를 보정하기 위한 기술로써, 중첩오차는 카메라 위치와 자세를 추적하기 위하여 부착된 트래커에서 얻어진 위치와 자세 정보가 실제 카메라 위치 및 자세와의 차이에서 발생한다. 본 발명은 카메라의 정확한 위치를 알지 못하는 경우라도, 트래커의 위치 및 자세 정보를 카메라의 위치와 자세 정보로 보정할 수 있도록 해 준다.The present invention is a technique for correcting the overlapping error caused by the error between the camera and the tracker in the augmented reality system that renders the same virtual object (graphic) in the real world seen by the camera and the view point of the camera, the overlapping error is Position and posture information obtained from the tracker attached to track the posture occurs in the difference between the actual camera position and the posture. According to the present invention, even if the exact position of the camera is not known, the position and the position information of the tracker can be corrected by the position and the position information of the camera.

현재 증강현실 응용시스템에서 실세계와 가상세계를 중첩하기 위해서는 카메라의 정확한 위치와 자세를 알아야 하는 데, 카메라 위치와 자세를 알기 위한 장비인 트래커를 카메라와 중첩하여 설치할 수 없으므로 카메라와 트랙커간의 거리 정보와 자세 오차 만큼의 중첩 오차가 발생한다. 카메라의 위치를 측정하기 위해서는 카메라의 촬상소자의 위치를 정확히 알아야 하지만 카메라의 촬상소자의 정확한 위치를 알 수 없으며, 또한 촬상소자의 자세에 대한 정확한 정보도 알 수 없다.In the current augmented reality application system, in order to overlap the real world and the virtual world, it is necessary to know the exact position and posture of the camera. Since the tracker, a device for knowing the camera position and posture, cannot be installed with the camera, the distance information between the camera and the tracker Overlapping error occurs as much as the posture error. In order to measure the position of the camera, the position of the image pickup device of the camera must be accurately known, but the exact position of the image pickup device of the camera cannot be known, and also the exact information about the posture of the image pickup device cannot be known.

이러한 문제는 트래커에도 적용되여 트래커의 정확한 원점을 측정하기 어렵다. 종래는 카메라와 트래커간의 거리를 사람이 직접 측정하여 보정하였으나, 앞에서 언급한 원인과 측정방법에 따라 오차를 가지고 있기 때문에 증강현실 시스템을 운용시 중첩에러의 원인이 된다.This problem also applies to trackers, making it difficult to measure the tracker's exact origin. In the related art, the distance between the camera and the tracker is measured and corrected by a person directly. However, since there is an error according to the aforementioned causes and measurement methods, it is a cause of overlapping error when operating an augmented reality system.

따라서, 본 발명에서는 상기와 같은 문제점을 해결하기 위해 카메라의 대략적인 위치 및 자세를 측정한 상태에서, 계산에 의하여 카메라 위치와 자세를 정밀하게 구하여 카메라와 트래커간의 오차를 보정하는 보정행렬을 만들어 실제 운용시 트래커에 의해 구해진 오차와 자세 데이타를 보정하기 위한 것이다.Accordingly, in the present invention, in order to solve the problems described above, in the state of measuring the approximate position and attitude of the camera, a correction matrix for correcting the error between the camera and the tracker is obtained by accurately calculating the camera position and attitude by calculation. This is to correct the error and posture data obtained by the tracker during operation.

본 발명에는 실세계 영상을 획득하는 카메라와, 카메라의 위치와 자세를 구하기 위한 트래커, 실세계를 3차원으로 모델링한 데이터, 3차원 모델링 데이터를 렌더링하기 위한 컴퓨터 그리고 실세계 영상과 그래픽영상을 합성하는 비디오 믹서 장치로 구성된다.The present invention provides a camera for acquiring real-world images, a tracker for obtaining the position and attitude of the camera, data for modeling the real world in three dimensions, a computer for rendering three-dimensional modeling data, and a video mixer for synthesizing real-world and graphic images. It consists of a device.

본 발명의 방법은 실세계를 똑같이 모델링한 3차원 데이터를 트래커에서 얻어진 위치와 방향정보를 이용하여 렌더링한 이미지와 카메라를 이용하여 얻어진 실세계 영상을 모니터로 중첩하여 표시하는 1단계와, 1단계에서 모니터에 표시된 이미지에서 카메라의 정확한 위치와 자세를 찾기 위한 기준 데이터로 사용하기 위한 임의의 특정점을 사용자가 선택하는 2단계 와, 상기의 정보를 이용하여 카메라에 의해 보이는 실세계와 최소의 중첩오차를 가지도록 유전자 알고리즘을 이용하여 트래커 위치 및 자세를 찾는 3단계, 그리고 3단계에서 구한 카메라의 위치와 자세를 이용하여 보정행렬을 구하여 실제 동적 환경에서 운용시 적용하는 4단계로 구성된다.According to the method of the present invention, a three-dimensional model of the same model of the real world is superimposed and displayed on the monitor by using the position and direction information obtained from the tracker and the real world image obtained by the camera. Step 2 in which the user selects an arbitrary point to use as reference data for finding the exact position and posture of the camera in the image displayed on the screen, and has the minimum overlap error with the real world seen by the camera using the above information. It consists of 3 steps to find tracker position and posture using genetic algorithm, and 4 steps to apply correction matrix using the position and posture of camera obtained in 3 steps.

즉 본 발명은 카메라와 트래커간의 오차를 보정하기 위하여 시스템 셋업시 카메라에 의해 얻어진 실사와 트래커에 의해 렌더링된 그래픽이미지의 오차를 최소로하는 카메라 좌표와 자세를 구하여 실제 AR시스템의 운영시 보정값으로 사용하는 방법에 관한 것이다.In other words, the present invention obtains the camera coordinates and postures that minimize the error between the real image obtained by the camera and the graphic image rendered by the tracker in order to correct the error between the camera and the tracker. It is about how to use.

도 1은 본 발명을 적용하기 위한 증강현실 시스템의 구성도.1 is a block diagram of an augmented reality system for applying the present invention.

도 2는 본 발명을 설명하기 위한 카메라와 트래커와의 관계도.2 is a relationship diagram between a camera and a tracker for explaining the present invention.

도 3은 본 발명에 의한 카메라와 트래커간의 오차 보정 행렬 계산 및 시스템 운용시 오차 보정 흐름도.3 is a flowchart illustrating an error correction matrix calculation and system operation between a camera and a tracker according to the present invention.

〈도면의 주요부분에 대한 부호의 설명〉<Explanation of symbols for main parts of drawing>

10 : 카메라 20 : 트래커10 camera 20 tracker

30 : 컴퓨터 40 : 가상객체30: computer 40: virtual object

50 : 비디오 믹서 60 : 모니터50: video mixer 60: monitor

70 : 특징점70 feature

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1은 모니터 기반 증강현실 시스템의 구성도이며, 실세계를 촬영하기 위한 카메라(10)와, 그 카메라(10)의 위치와 자세정보를 검출하기 위한 트래커(20)와, 실사에 대해 미리 가상객체(40)로 3차원 모델링하여 두고 상기 트랙커(20)에서 구해진 카메라의 위치정보와 자세정보에 의거하여 가상카메라를 이용하여 상기 3차원 모델링한 가상객체(40)를 렌더링하는 컴퓨터(30)와, 그 컴퓨터(30)에서 렌더링한 가상객체(40)와 상기 카메라(10)에서 촬영한 실사를 합성하는 비디오 믹서(50)와, 그 비디오 믹서(50)에서 합성된 실사와 가상객체를 중첩시켜 화면에 표시하는 모니터(60)로 구성된다.1 is a configuration diagram of a monitor-based augmented reality system, a camera 10 for capturing the real world, a tracker 20 for detecting the position and attitude information of the camera 10, and a virtual object in advance with respect to the real world. A computer 30 that renders the three-dimensional modeled virtual object 40 by using a virtual camera based on the positional information and attitude information of the camera obtained by the tracker 20 after three-dimensional modeling by 40; The video mixer 50 for synthesizing the virtual object 40 rendered by the computer 30 and the real shot photographed by the camera 10, and the real object and virtual object synthesized by the video mixer 50 are superimposed. It consists of the monitor 60 to display on.

이와같이 구성된 모니터 기반 증강현실 시스템은, 카메라(10)를 이용하여 실세계의 영상정보(실사)를 획득하고, 카메라(10)가 보는 것과 똑같이 가상객체(40)를 구하기 위하여 카메라의 위치와 자세를 트래커(20)를 이용하여 구한다. 그 트래커(20)에서 구해진 위치와 자세값을 이용하여 컴퓨터(30)에서 미리 실세계를 3차원으로 모델링한 가상객체(40)를 컴퓨터(30) 내의 가상카메라로 렌더링한다. 그 결과를 비디오 믹서(50)에서 카메라(10)에 의해 얻어진 실사와 가상객체(40)를 합성하여 모니터(60)로 출력한다. 즉, 카메라(10)와 트래커(20)를 임의의 위치에 부착한 후에, 카메라(10)에 의해 얻어진 실사와 트래커(20)에서 얻어진 위치와 자세 정보를 이용하여 컴퓨터(30)에서 가상객체(40)를 렌더링한 후, 비디오 믹서(40)를 통하여 실사와 가상객체를 중첩한다.The monitor-based augmented reality system configured as described above tracks the position and posture of the camera in order to obtain image information (real-life) of the real world using the camera 10 and to obtain the virtual object 40 as the camera 10 sees. Obtain it using (20). The virtual object 40 modeling the real world in three dimensions in advance in the computer 30 is rendered by the virtual camera in the computer 30 by using the position and attitude values obtained by the tracker 20. The result is synthesized by the video mixer 50 and the virtual object 40 obtained by the camera 10 and output to the monitor 60. That is, after attaching the camera 10 and the tracker 20 to an arbitrary position, the virtual object (or the virtual object) may be obtained from the computer 30 by using the photorealistic obtained by the camera 10 and the position and posture information obtained by the tracker 20. After rendering 40, the video mixer 40 superimposes the real and virtual objects.

그런데, 트래커(20)와 카메라(10)간의 위치와 자세 데이터의 오차로 인하여 실사와 렌더링된 가상 객체(40)는 서로 어긋나게 중첩되어 모니터(60)에 나타난다. 그러므로, 본 발명에서는 트래커(20)와 카메라(10)간의 위치와 자세 데이터간의 오차에 의해 발생된 실사와 가상객체의 어긋남을 보정하는 방법을 제안한다.However, due to an error in the position and attitude data between the tracker 20 and the camera 10, the real object and the rendered virtual object 40 overlap each other and appear on the monitor 60. Therefore, the present invention proposes a method for correcting the misalignment between the real object and the virtual object caused by the error between the position and the posture data between the tracker 20 and the camera 10.

도 2는 카메라(10)와 트래커(20)의 오차로 인하여 모니터(60) 상에 같은 점이 서로 다른 위치에 표시되는 것을 설명한 도면으로서, 이에 도시된 바와같이, 실사 P(x, y, z)에 대하여 스크린에 나타나는 카메라 좌표는 S(Sx, Sy, Sz)이고, 카메라(10)와 트래커(20)간의 위치와 자세 데이터의 오차로 인하여 스크린에 나타나는 트래커 좌표는 S'(S'x, S'y, S'z) 이다. 따라서 카메라 좌표 S(Sx, Sy, Sz)와 트래커 좌표 S'(S'x, S'y, S'z)가 서로 어긋난 상태로 스크린에 표시되므로 본 발명에서는 트래커 좌표를 보정하여 카메라 좌표에 일치시키도록 한다.FIG. 2 is a view for explaining that the same point is displayed at different positions on the monitor 60 due to an error between the camera 10 and the tracker 20. As shown therein, due diligence P (x, y, z) The camera coordinates appearing on the screen are S (S x , S y , S z ), and the tracker coordinates appearing on the screen are S '(S') due to the error of the position and attitude data between the camera 10 and the tracker 20. x , S ' y , S' z ). Therefore, the camera coordinates S (S x , S y , S z ) and the tracker coordinates S '(S' x , S ' y , S' z ) are displayed on the screen in a state where they are offset from each other. Match the coordinates.

도 3은 본 발명에서 제시하는 오차 보정방법의 전체 과정을 나타낸 도면으로, 크게 오차 보정 행렬을 구하는 과정과, 실제 운용시 오차를 보정하는 과정을 나타내고 있다.3 is a diagram showing the entire process of the error correction method proposed in the present invention, which shows a process of largely obtaining an error correction matrix and a process of correcting errors in actual operation.

먼저, 오차 보정행렬을 구하는 과정은, 렌더링된 가상객체와 카메라에서 입력된 실사를 비디오 믹싱하여 출력된 화면에서 서로 어긋나있는 특징점을 선택한다. 이는 사용자가 모니터(60)에 나타난 중첩된 영상을 보면서 꼭지점과 같은 비교의 특징이 되는 여러 점들을 마우스를 이용하여 선택하여 실세계의 매핑될 위치의 좌표값을 획득한다. 이러한 특징점(70)들의 개수는 최소 3개 이상의 점들이 선택되어야 한다.First, in the process of obtaining the error correction matrix, video points are mixed between the rendered virtual object and the real image input from the camera to select feature points that deviate from each other on the output screen. This allows the user to view the superimposed images displayed on the monitor 60 to select various points that are characteristics of the comparison, such as vertices, using a mouse to obtain coordinate values of the locations to be mapped in the real world. The number of these feature points 70 should be at least three points selected.

이와같이 사용자에 의해 선택된 특징점(70)들의 좌표가 획득되면, 가상객체(40) 중에서 선택된 특징점(70)과 실세계로 매핑되었을 때의 모니터 좌표, 그리고 트래커에서 구해진 좌표와 자세정보를 이용하여 카메라(10)의 위치 및 자세를 구하기 위한 최적화 알고리즘인 유전자 알고리즘(Genetic Algorithm)을 적용한다. 유전자 알고리즘을 적용할 때 구해지는 카메라의 정보는 카메라의 위치 및 자세 정보가 되며, 그 정보의 정확도를 위하여 유전자 알고리즘으로 구한 카메라 위치 및 자세정보를 이용하여 모니터에 가상점들을 출력하였을 경우의 모니터 좌표값과, 카메라에 의해 획득한 실세계 영상 중 사용가 선택한 특징점의 좌표값과의 절대 거리의 합으로 측정한다.When the coordinates of the feature points 70 selected by the user are obtained as described above, the camera 10 may be configured by using the coordinates of the selected feature point 70 selected from the virtual object 40 and the monitor coordinates mapped to the real world, and the coordinates and attitude information obtained from the tracker. We apply Genetic Algorithm, an optimization algorithm to find the position and posture. The camera information obtained when the genetic algorithm is applied becomes the position and attitude information of the camera, and the monitor coordinates when the virtual points are output to the monitor using the camera position and attitude information obtained by the genetic algorithm for the accuracy of the information. The value is measured by the sum of the absolute distance between the value and the coordinate value of the feature point selected by the user in the real-world image acquired by the camera.

이때, 유전자 알고리즘에서 사용되는 인구(population)의 범위는 3차원 공간을 모두 포함하게 되어 해를 구하는 데 많은 시간이 걸린다. 그러므로, 카메라(10)에서 트래커(20)까지의 거리와 카메라(10)의 방향을 대충 측정하여 인구의 범위는 트래커(20)의 위치를 기준으로 카메라와 트래커간의 거리 보다 크게, 카메라의 방향은 대충 측정한 카메라의 방향을 기준으로 측정오차를 고려하여 인구의 범위를 제한하여 해를 구하는 데 걸리는 시간을 줄인다.At this time, the range of population used in the genetic algorithm includes all three-dimensional spaces, and it takes a long time to find a solution. Therefore, the distance from the camera 10 to the tracker 20 and the direction of the camera 10 are roughly measured so that the range of the population is larger than the distance between the camera and the tracker based on the position of the tracker 20, and the direction of the camera is Reducing the time it takes to solve the solution by limiting the range of the population, taking into account the measurement error based on the roughly measured camera direction.

이와같이 유전자알고리즘을 이용하면 오차가 최저로 되는 쪽으로 값이 수렴하게 되며, 오차가 최저가 되는 값은 3차원 공간에서 1점뿐이므로 이점의 주변으로 인구가 모이게 되며, 유전자 알고리즘상에서는 결과가 어떤값으로 수렴하는 형태가 된다. 구해진 해를 이용하여 모니터에 나타낸 좌표값과 실사에서 해당 점이 모니터에 나타나는 점과의 거리차가 사용자가 설정한 정도에 이르면 수행이 종료되며, 이 때 구해진 해를 카메라의 위치와 자세값으로 이용한다. 이값을 이용하여 카메라(10)와 트래커(20)의 실세계와 가상객체를 중첩하여 놓았을 때, 최소의 중첩오차를 가지게 된다.In this way, if the algorithm is used, the value converges toward the lowest error, and the minimum value of the error converges only around one point in three-dimensional space, and the result converges to a value in the genetic algorithm. Form. When the distance difference between the coordinate value displayed on the monitor and the point displayed on the monitor reaches the degree set by the user by using the obtained solution, the execution is terminated, and the obtained solution is used as the position and attitude of the camera. When the real world and the virtual object of the camera 10 and the tracker 20 are superimposed using this value, there is a minimum overlap error.

상기에서 구한 최적의 좌표값과 자세값을 이용하여 트래커 자체의 위치와 방향값에 대한 차이를 보정해주는 보정행렬을 구한다. 이 보정행렬은 트래커(20)의 위치와 방향값을 카메라(10)의 위치와 방향으로 변환하는 이동과 회전 행렬로 구성된다.A correction matrix for correcting the difference between the position and the direction value of the tracker itself is obtained using the optimal coordinate values and attitude values obtained above. This correction matrix consists of a movement and rotation matrix for converting the position and direction values of the tracker 20 into the position and direction of the camera 10.

그리고, 실제 운용시 오차를 보정하는 방법은, 트래커(20)에서 측정한 위치와 자세값을 카메라(10)의 위치와 자세값으로 이동시키기 위하여 앞에서 구한 보정행렬을 곱하여 가상객체(40)를 렌더링하면, 카메라(10)와 트래커(20)간의 위치와 자세 차이로 발생되는 오차는 제거되게 된다.In addition, the method of correcting the error in actual operation, the virtual object 40 is rendered by multiplying the correction matrix obtained in order to move the position and attitude value measured by the tracker 20 to the position and attitude value of the camera 10. In this case, the error caused by the position and posture difference between the camera 10 and the tracker 20 is eliminated.

이상에서 상세히 설명한 바와같이, 본 발명은 증강현실 시스템에서의 촬영된 영상과 렌더링한 가상객체를 중첩시킬때에 카메라와 트래커의 불일치에 의한 중첩오차를 간단한 방법으로 보정할 수 있게 된다. 이에따라 카메라와 트래커를 일치시키지 않고서도 설치공간을 편하게 선택하여 설치하고, 이때 발생되는 중첩오차를 간단한 방법으로 보정하여 실세계와 가사히 중첩시킬 수 있는 효과가 있다.As described above in detail, the present invention can correct the overlapping error due to the mismatch between the camera and the tracker when the captured image and the rendered virtual object in the augmented reality system overlap. Accordingly, the installation space can be conveniently selected and installed without having to match the camera and the tracker, and the overlapping error generated at this time can be corrected by a simple method to overlap the real world.

Claims (4)

렌더링된 가상객체와 카메라에서 촬영된 실세계 영상을 중첩하여 출력하는 증강현실 시스템에 있어서,In the augmented reality system to superimpose the rendered virtual object and the real-world image taken by the camera, 실세계를 똑같이 모델링한 3차원 데이터를 트래커에서 얻어진 카메라의 위치와 방향정보를 이용하여 렌더링한 이미지와 카메라를 이용하여 얻어진 실세계 영상을 모니터로 중첩하여 표시하는 1단계와,A first step of superimposing three-dimensional data modeled on the real world using the position and orientation information of the camera obtained from the tracker and superimposing the real world image obtained using the camera on a monitor; 1단계에서 모니터에 이미지에서 카메라의 정확한 위치와 자세를 찾기 위한 기준 데이터로 사용하기 위한 임의의 특정점을 사용자가 선택하는 2단계와,In step 1, the user selects an arbitrary point on the monitor to use as reference data to find the exact position and pose of the camera in the image; 상기의 특징점들의 죄표정보를 이용하여 카메라에 의해 보이는 실세계와 최소의 중첩오차를 가지도록 유전자알고리즘을 이용하여 트래커 위치 및 자세에 대한 보정값을 찾는 3단계와,3 steps of finding a correction value for the tracker position and posture by using the genetic algorithm to have a minimum overlapping error with the real world seen by the camera using the information on the criminal mark of the feature points, 3단계에서 구한 카메라의 위치와 자세의 보정값을 보정행렬로 구하고, 실제 동적 환경에서 운용시 상기 보정행렬을 이용하여 트래커에서 구해진 카메라의 위치와 자세정보를 보정하여 렌더링하는 4단계로 이루어진 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.It is characterized by consisting of four steps of obtaining the correction values of the position and attitude of the camera obtained in step 3 as a correction matrix, and correcting and rendering the position and attitude information of the camera obtained from the tracker when operating in a real dynamic environment. Overlap error correction method due to inconsistency of camera and tracker in augmented reality system. 제 1 항에 있어서,The method of claim 1, 상기 2단계는, 모니터에 중첩되어 나타나는 이미지에서 임의의 특징점으로서 가상객체와 카메라에 의한 실세계영상의 서로 대응되는 꼭지점을 쌍으로 선택하고, 적어도 3쌍 이상의 꼭지점을 선택하여 3차원 공간에서의 중첩 오차를 검출할 수 있도록 하는 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.In the second step, the overlapping error in the three-dimensional space is selected by selecting a pair of vertices corresponding to each other of the real world image by the virtual object and the camera as an arbitrary feature point in the image overlapped on the monitor, and selecting at least three pairs of vertices. Method for correcting the overlapping error due to the mismatch of the camera and the tracker in the augmented reality system, characterized in that to detect the. 제 1 항에 있어서, 상기 3단계는,The method of claim 1, wherein the third step, 특징점들에 대해 유전자 알고리즘을 적용하여 가상객체의 특징점들과 그에 대응되는 카메라의 실세계 영상의 특징점들과의 최소의 차이를 갖는 카메라의 좌표와 자세를 구하여 원래 트래커에 구해진 카메라의 좌표와 자세와의 차이값을 보정값으로 구하는 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.Genetic algorithms are applied to the feature points to obtain the coordinates and postures of the camera with the minimum difference between the feature points of the virtual object and the corresponding real world image points of the camera. Method for correcting overlapping error due to inconsistency of camera and tracker in augmented reality system, characterized in that the difference value is obtained as a correction value. 제 3 항에 있어서, 상기 3단계는,The method of claim 3, wherein the third step, 카메라에서 트래커까지의 거리와 카메라의 방향을 대충 측정하여 오차를 포함하는 거리 및 방향을 상기 유전자 알고리즘의 인구(population)의 범위로 제한하는 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.The distance between the camera and the tracker and the direction of the camera are roughly measured to limit the distance and direction including the error to the range of the population of the genetic algorithm. Overlap error correction method
KR1019970062775A 1997-11-25 1997-11-25 Error correction method between camera and tracker in augmented reality system Expired - Fee Related KR100248374B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970062775A KR100248374B1 (en) 1997-11-25 1997-11-25 Error correction method between camera and tracker in augmented reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970062775A KR100248374B1 (en) 1997-11-25 1997-11-25 Error correction method between camera and tracker in augmented reality system

Publications (2)

Publication Number Publication Date
KR19990042072A KR19990042072A (en) 1999-06-15
KR100248374B1 true KR100248374B1 (en) 2000-03-15

Family

ID=19525565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970062775A Expired - Fee Related KR100248374B1 (en) 1997-11-25 1997-11-25 Error correction method between camera and tracker in augmented reality system

Country Status (1)

Country Link
KR (1) KR100248374B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100964951B1 (en) 2008-10-29 2010-06-21 에이알비전 (주) Augmented Reality Device and Virtual Image Synthesis Method for Simulation
US8077906B2 (en) 2006-09-27 2011-12-13 Electronics And Telecommunications Research Institute Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
US8457401B2 (en) 2001-03-23 2013-06-04 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9020261B2 (en) 2001-03-23 2015-04-28 Avigilon Fortress Corporation Video segmentation using statistical pixel modeling
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327120B1 (en) * 1999-12-13 2002-03-13 오길록 Image Registration Method Using 3D Tracker And Computer Vision For Augmented Reality
JP4726194B2 (en) 2005-04-01 2011-07-20 キヤノン株式会社 Calibration method and apparatus
KR100900806B1 (en) * 2007-11-01 2009-06-04 광주과학기술원 System and method for providing context aware augmented reality
KR100941749B1 (en) * 2008-08-25 2010-02-11 에이알비전 (주) Augmented reality apparatus and virtual image composition method
KR101669119B1 (en) 2010-12-14 2016-10-25 삼성전자주식회사 System and method for multi-layered augmented reality
CN117372548B (en) * 2023-12-06 2024-03-22 北京水木东方医用机器人技术创新中心有限公司 Tracking system and camera alignment method, device, equipment and storage medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9378632B2 (en) 2000-10-24 2016-06-28 Avigilon Fortress Corporation Video surveillance system employing video primitives
US10026285B2 (en) 2000-10-24 2018-07-17 Avigilon Fortress Corporation Video surveillance system employing video primitives
US10347101B2 (en) 2000-10-24 2019-07-09 Avigilon Fortress Corporation Video surveillance system employing video primitives
US10645350B2 (en) 2000-10-24 2020-05-05 Avigilon Fortress Corporation Video analytic rule detection system and method
US8457401B2 (en) 2001-03-23 2013-06-04 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US9020261B2 (en) 2001-03-23 2015-04-28 Avigilon Fortress Corporation Video segmentation using statistical pixel modeling
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8077906B2 (en) 2006-09-27 2011-12-13 Electronics And Telecommunications Research Institute Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
KR100964951B1 (en) 2008-10-29 2010-06-21 에이알비전 (주) Augmented Reality Device and Virtual Image Synthesis Method for Simulation
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Also Published As

Publication number Publication date
KR19990042072A (en) 1999-06-15

Similar Documents

Publication Publication Date Title
EP1596330B1 (en) Estimating position and orientation of markers in digital images
US8335400B2 (en) Information processing method and information processing apparatus
JP4195382B2 (en) Tracking system expandable with automatic line calibration
US7657065B2 (en) Marker placement information estimating method and information processing device
US7092109B2 (en) Position/orientation measurement method, and position/orientation measurement apparatus
KR100248374B1 (en) Error correction method between camera and tracker in augmented reality system
US6438507B1 (en) Data processing method and processing device
JP4245963B2 (en) Method and system for calibrating multiple cameras using a calibration object
US6529626B1 (en) 3D model conversion apparatus and method
US10930008B2 (en) Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image
JP6503906B2 (en) Image processing apparatus, image processing method and image processing program
JP2002228442A (en) Positioning attitude determining method and device, and recording media
JP2002259992A (en) Image processor and its method as well as program code and storage medium
JP2003222509A (en) Position and orientation determination method and apparatus, and storage medium
KR20110068469A (en) 3D object information extraction method from single image without meta information
JP7657308B2 (en) Method, apparatus and system for generating a three-dimensional model of a scene - Patents.com
JP2002071315A (en) Projection planar measuring system
US20230101893A1 (en) Estimation device, learning device, teaching data creation device, estimation method, learning method, teaching data creation method, and recording medium
JP4250620B2 (en) Information processing method and apparatus
JP2011155412A (en) Projection system and distortion correction method in the same
JP3282516B2 (en) 3D image measurement method
WO2019155903A1 (en) Information processing device and method
Son et al. Multiple projector camera calibration by fiducial marker detection
JP3452188B2 (en) Tracking method of feature points in 2D video
JP4810403B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20071115

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20081218

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20081218

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000