[go: up one dir, main page]

KR101619956B1 - Apparatus for image processing of surveilance camera by using auto multi-tracing - Google Patents

Apparatus for image processing of surveilance camera by using auto multi-tracing Download PDF

Info

Publication number
KR101619956B1
KR101619956B1 KR1020150109696A KR20150109696A KR101619956B1 KR 101619956 B1 KR101619956 B1 KR 101619956B1 KR 1020150109696 A KR1020150109696 A KR 1020150109696A KR 20150109696 A KR20150109696 A KR 20150109696A KR 101619956 B1 KR101619956 B1 KR 101619956B1
Authority
KR
South Korea
Prior art keywords
image
unit
image processing
camera
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150109696A
Other languages
Korean (ko)
Inventor
김배훈
Original Assignee
주식회사 영국전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 영국전자 filed Critical 주식회사 영국전자
Priority to KR1020150109696A priority Critical patent/KR101619956B1/en
Application granted granted Critical
Publication of KR101619956B1 publication Critical patent/KR101619956B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 감시카메라용 자동 다중 추적 영상처리장치에 관한 것이다. 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치는 영상을 촬영하는 카메라부; 상기 촬영된 영상에서 이동하는 관찰대상물을 인식하고 상기 관찰대상물의 이동에 따른 좌표정보를 생성하는 영상추적부; 상기 영상을 복수의 영상으로 분할하여 복수의 분할된 영상을 생성하는 영상분할부; 상기 영상분할부로부터 전송받은 분할된 복수의 영상 중 적어도 하나의 영상을 배치하고 상기 영상의 이동 또는 대체, 상기 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 영상을 처리하는 영상처리부; 및 상기 영상처리부에서 처리된 영상을 디스플레이하는 디스플레이부를 포함한다. The present invention relates to an automatic multi-tracking image processing apparatus for a surveillance camera. An automatic multi-tracking image processing apparatus for a surveillance camera according to an exemplary embodiment of the present invention includes a camera unit for capturing an image; A video tracking unit for recognizing an observer moving in the photographed image and generating coordinate information according to movement of the observer; An image dividing unit dividing the image into a plurality of images to generate a plurality of divided images; Wherein at least one of the plurality of divided images transmitted from the image dividing unit is arranged and the virtual pan-tilt and zoom-in / zoom-out functions are performed by processing the moving or replacing of the image, An image processing unit for processing the image; And a display unit for displaying an image processed by the image processing unit.

Description

감시카메라용 자동 다중 추적 영상처리장치 {APPARATUS FOR IMAGE PROCESSING OF SURVEILANCE CAMERA BY USING AUTO MULTI-TRACING}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an automatic multi-tracking image processing apparatus for a surveillance camera,

본 발명은 감시카메라용 자동 다중 추적 영상처리장치 에 관한 것으로, 보다 상세하게는 감시를 카메라로 촬영을 실시하는 촬영대상지역에 촬영된 영상을 처리하는 장치를 개선하여 촬영된 영상에서 복수의 감시대상물의 위치와 이동경로를 동시에 추적할 수 있고, 복수의 위치로 화상을 분할하여 각 위치별로 팬, 틸트, 및 줌을 실시할 수 있음에 따라 여타의 팬, 틸트, 및 줌을 위한 장치가 없는 카메라에서도 동일한 기능을 수행할 수 있고, 자동으로 추적하여 감시 효율이 향상될 수 있는 감시카메라용 자동 다중 추적 영상처리장치에 관한 것이다.The present invention relates to an automatic multi-tracking image processing apparatus for a surveillance camera, and more particularly, to an apparatus for processing an image photographed in a photographing target area where a surveillance is photographed by a camera, It is possible to simultaneously track the position and the movement path of the image and to divide the image into a plurality of positions and to perform pan, tilt, and zoom for each position, so that the camera having no device for pan, tilt, And more particularly, to an automatic multi-tracking image processing apparatus for a surveillance camera capable of performing the same function and automatically tracking and improving the monitoring efficiency.

일반적으로, 감시카메라는 감시가 필요한 감시 대상 지역에 설치되어 촬영에 의해 감시를 실시하는 장치이다. 이런, 감시카메라는 가정, 주요시설, 각종 건축물의 감시가 필요한 지역에 설치되는 것으로, 설치된 지역에서 침입자의 침입이나, 화재 발생, 범죄의 발생 또는 범인의 추적을 위해서 촬영을 실시하도록 설치된다.Generally, a surveillance camera is installed in a surveillance area requiring surveillance, and is a device for surveillance by photographing. Such a surveillance camera is installed in an area where surveillance of homes, major facilities, and various buildings is required, and is installed so as to shoot intruders in the installed area, fire occurrence, crime occurrence or tracking of the criminal.

감시카메라는 영상출력장치에 연결되어 출력되는 영상을 감시자가 모니터링하면서 감시를 실시하는 것으로, 감시지역이 증대되면 영상출력장치의 수량도 증대되어 감시자가 모니터링하여야 하는 수량도 증대됨으로써, 감시자의 피로도가 증대되고, 부주의나 집중도가 저하되면서 감시자가 영상출력장치에 출력되는 영상에서 화재 발생이나 침입자의 침입 상황을 누락시킬 수 있어 모니터링의 효율이 저하될 수 있다.The surveillance camera monitors surveillance while the surveillant monitors the image connected to the video output device. If the surveillance area is increased, the number of the video output device is increased and the quantity to be monitored by the surveillant is increased so that the observer's fatigue The monitor may be ineffectively deteriorated due to an increase in the degree of negligence or concentration, and the monitor may miss fire or intruder intrusion from the image output to the video output device.

또한, 통상적인 감시카메라는 단순히 감시대상지역에서 촬영된 영상만을 제공함에 따라 영상 내에서 침입자를 식별하거나, 화재를 인식하기 어려웠다. 따라서, 감시카메라에 팬, 틸트, 줌 기능을 추가하여 카메라가 감시대상물에 위치에 따라 이동 및 확대하면서 감시를 실시할 수 있어 감시 효율이 향상될 수 있다. In addition, since a typical surveillance camera simply provides images photographed in a surveillance area, it is difficult to identify an intruder or recognize a fire in the image. Therefore, by adding a pan, tilt, and zoom function to the surveillance camera, the surveillance efficiency can be improved since the surveillance can be performed while the camera moves and expands according to the position of the surveillance target.

상술한 바와 같이, 감시카메라에 팬, 틸트, 및 줌 기능을 추가하기 위해서는 각 기능을 수행할 수 있는 장치들이 부가되어야 함에 따라 통상적인 카메라와 비교하여 많은 비용이 소요될 수 있다.As described above, in order to add the pan, tilt, and zoom functions to the surveillance camera, it is necessary to add devices capable of performing each function, so that the surveillance camera can be more expensive than a conventional camera.

또한, 팬, 틸트, 및 줌 기능을 가지는 카메라를 설치하기 위해서는 기존의 카메라와 교체하거나 기존의 카메라와 함께 사용하여야 함에 따라 비용이 증대하고, 상호 호환되지 않아 운용에 어려운 점이 있었다.In addition, in order to install a camera having a pan, tilt, and zoom function, it is necessary to replace the existing camera or to use it with the existing camera, which increases the cost and is incompatible with each other.

이에, 감시카메라에서 촬영된 영상을 처리하여 여타의 팬, 틸트, 및 줌과 관련된 장치의 추가 없이 화상에서 팬, 틸트, 및 줌이 가능하면서 감시대상물의 이동을 추적할 수 있고, 열감지나 어안렌즈를 사용하는 다양한 기능의 카메라에 적용할 수 있는 영상처리장치에 필요성이 대두되고 있다.Accordingly, it is possible to process the image photographed by the surveillance camera and to track the movement of the monitored object while being able to pan, tilt, and zoom in the image without adding any other devices related to pan, tilt, and zoom, There is a need for an image processing apparatus that can be applied to a camera having various functions using a camera.

본 발명은 상기한 문제점을 개선하기 위해 발명된 것으로, 본 발명이 해결하고자 하는 과제는, 촬영대상지역을 카메라로 촬영한 영상에서 감시대상물의 위치와 이동 경로를 자동으로 추적하면서 영상을 복수의 구역으로 구획하여 구획된 위치마다 이동하면서 팬, 틸트 기능을 수행하고, 각 위치를 확대하여 줌 기능을 수행할 수 있어 감시 효율이 향상될 수 있는 감시카메라용 자동 다중 추적 영상처리장치를 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the problems described above, and it is an object of the present invention to provide an image capturing apparatus, an image capturing apparatus, The present invention also provides an automatic multi-tracking image processing apparatus for a surveillance camera, which can enhance the monitoring efficiency by performing a pan and tilt function while moving for each divided position and enlarging each position to perform a zoom function.

본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to those mentioned above, and another technical problem which is not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치는 영상을 촬영하는 카메라부; 상기 촬영된 영상에서 이동하는 관찰대상물을 인식하고 상기 관찰대상물의 이동에 따른 좌표정보를 생성하는 영상추적부; 상기 영상을 복수의 영상으로 분할하여 복수의 분할된 영상을 생성하는 영상분할부; 상기 영상분할부로부터 전송받은 분할된 복수의 영상 중 적어도 하나의 영상을 배치하고 상기 영상의 이동 또는 대체, 상기 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 영상을 처리하는 영상처리부; 및 상기 영상처리부에서 처리된 영상을 디스플레이하는 디스플레이부;를 포함한다.According to an aspect of the present invention, there is provided an automatic multi-tracking image processing apparatus for a surveillance camera, including: a camera section for capturing an image; A video tracking unit for recognizing an observer moving in the photographed image and generating coordinate information according to movement of the observer; An image dividing unit dividing the image into a plurality of images to generate a plurality of divided images; Wherein at least one of the plurality of divided images transmitted from the image dividing unit is arranged and the virtual pan-tilt and zoom-in / zoom-out functions are performed by processing the moving or replacing of the image, An image processing unit for processing the image; And a display unit for displaying an image processed by the image processing unit.

또한, 상기 영상처리부는 상기 좌표정보에 기초하여 상기 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processor may process the virtual pan-tilt function by changing the arrangement position of the at least one image based on the coordinate information.

그리고, 상기 영상처리부는 상기 좌표정보에 기초하여 상기 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.The image processing unit may process the virtual pan-tilt function by replacing the arranged at least one image with another image based on the coordinate information.

아울러, 상기 영상처리부는 사용자 인터페이스부를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit may process a virtual pan-tilt function by changing the arrangement position of the at least one image based on the input value input through the user interface unit.

더불어, 상기 영상처리부는 사용자 인터페이스부를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processor may process the virtual pan-tilt function by replacing the at least one image with another image based on the input value input through the user interface unit.

또한, 상기 영상처리부는 상기 좌표정보에 기초하여 상기 관찰대상물의 이동을 표시하여 영상을 처리할 수 있다.The image processing unit may display the movement of the observation object based on the coordinate information to process the image.

그리고, 상기 관찰대상물의 이동의 표시는, 상기 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object may give the observation object a predetermined identification display.

아울러, 상기 소정의 식별표시는 상기 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.In addition, the predetermined identification display may be configured so that a predetermined figure is displayed on the observation object.

더불어, 상기 카메라부는 어안렌즈를 포함하며, 화각이 넓은 어안카메라로 구비하여 촬영된 어안영상을 상기 영상추적부와 상기 영상분할부로 전송할 수 있다.In addition, the camera unit may include a fish eye lens, and may include a fisheye camera having a wide angle of view to transmit the captured fisheye image to the image tracking unit and the image segmentation unit.

또한, 상기 카메라부는 열변화를 감지하는 열감지카메라로 구비하여 촬영된 열감지영상을 상기 영상추적부와 상기 영상분할부로 전송할 수 있다. The camera unit may include a thermal sensing camera for sensing a thermal change, and may transmit the sensed thermal sensed image to the image tracking unit and the image dividing unit.

그리고, 상기 카메라부는 어안렌즈로 화각을 넓히면서 열변화를 감지하는 어안열감지카메라로 구비하여 촬영된 열감지되는 어안영상을 상기 영상추적부와 상기 영상분할부로 전송할 수 있다.The camera unit may include a fisheye sensor for sensing a thermal change while widening an angle of view with a fisheye lens, and may transmit the sensed heat sensed fisheye image to the image tracking unit and the image divider.

아울러, 상기 카메라부는, 감시되는 촬영대상지역의 가시광선 영역의 영상을 촬영하는 촬영카메라, 및 상기 촬영대상지역의 열변화를 감지하는 열감지영상을 촬영하는 열감지카메라를 포함할 수 있다.In addition, the camera unit may include a photographing camera for photographing an image of a visible light region of a region to be photographed, and a heat sensing camera for photographing a heat sensed image for sensing a thermal change of the photographing target region.

더불어, 상기 카메라부는, 감시되는 촬영대상지역의 서로 반대되는 방향으로 한쌍으로 구비되어 각 방향에서 180도 방위각과 고도각을 가지는 어안렌즈가 설치되어 하나의 영상으로 합성되면 360도 전방위각과 전고도각의 어안영상을 촬영하는 한쌍의 어안카메라일 수 있다. In addition, the camera unit is provided with a pair of focal lengths in opposite directions of the monitored area, and a fisheye lens having an azimuth angle of 180 degrees and an altitude angle of 180 degrees in each direction is installed and synthesized into a single image, A pair of fisheye cameras for photographing a fisheye image of the fisheye.

또한, 상기 카메라부는, 감시되는 촬영대상지역의 서로 반대되는 방향으로 한쌍으로 구비되어 각 방향에서 180도 방위각을 가지는 파노라마렌즈가 설치되어 하나의 영상으로 합성되면 360도 전방위각의 파노라마영상을 촬영하는 한쌍의 파노라마카메라일 수 있다.In addition, the camera unit is provided with a pair of panoramic lenses having azimuths of 180 degrees in each direction provided in a pair in opposite directions to each other, and when the panoramic lens is synthesized into one image, the panoramic image of 360 degree angle is taken It can be a pair of panoramic cameras.

그리고, 상기 영상처리부는 상기 영상추적부와 상기 영상분할부로부터 복수의 영상이 수신되면 좌표위치와 분할된 위치에 유지하면서 하나의 영상으로 합성할 수 있다.When the plurality of images are received from the image tracking unit and the image dividing unit, the image processing unit may combine the images into one image while maintaining the positions of the images at the divided positions.

아울러, 상기 디스플레이부는 중앙에 촬영된 상기 영상을 나타내고, 촬영된 상기 영상의 바깥 둘레에 상기 영상분할부로 복수로 분할된 분할 영상이 각각 위치하여 각각 분할된 위치에서 상기 영상처리부에서 팬, 틸트, 및 줌 중 적어도 하나의 기능을 수행하도록 처리한 상기 영상을 각각 출력할 수 있다.The display unit may display the image photographed in the center, and the divided images divided into a plurality of images by the image dividing unit may be positioned on the outer circumference of the captured image, and the pan, tilt, And zooming, respectively, based on the input image data.

더불어, 상기 영상처리부는 분할되는 영상의 분할 위치 정보, 촬영된 날짜 정보, 및 촬영되는 위치정보 중 적어도 하나를 상기 디스플레이에서 출력되도록 상기 디스플레이이부로 전송할 수 있다.In addition, the image processing unit may transmit to the display unit at least one of divided position information of a divided image, photographed date information, and photographed position information.

또한, 상기 카메라부에 연결되어 상기 카메라부로부터 영상 신호의 존재 여부를 점검하여 영상 신호가 존재하지 않으면, 상기 카메라부에 리셋신호를 전송하는 영상점검부를 더 포함할 수 있다.The apparatus may further include an image checking unit connected to the camera unit to check whether a video signal is present from the camera unit and transmit a reset signal to the camera unit if the video signal does not exist.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치에 따르면, 촬영대상지역을 카메라로 촬영한 영상에서 감시대상물의 위치와 이동 경로를 자동으로 추적하면서 영상을 복수의 구역으로 구획하여 구획된 위치마다 이동하면서 팬, 틸트 기능을 수행하고, 각 위치를 확대하여 줌 기능을 수행할 수 있어 감시 효율을 향상시킬 수 있다.According to the automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention, the image is divided into a plurality of zones while automatically tracking the position and movement path of the monitored object in the image taken by the camera It is possible to perform a pan and tilt function while moving for each divided position, and to enlarge each position to perform a zoom function, thereby improving the monitoring efficiency.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명에 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 순서도이다.
도 2는 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제1 구성도이다.
도 3은 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제2 구성도이다.
도 4는 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 어안영상화면의 제1 예이다.
도 5는 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 화면의 제2 예이다.
도 6은 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 화면의 제3 예이다.
도 7은 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 화면의 제4 예이다.
도 8은 도 7의 화면에서 확대비율을 높인 경우의 화면이다.
도 9는 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제3 구성도이다.
도 10은 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제4 구성도이다.
도 11은 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제5 구성도이다.
도 12는 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제6 구성도이다.
도 13은 도 12의 감시카메라용 자동 다중 추적 영상처리장치의 카메라부에서 출력되는 어안영상들의 화면의 예이다.
도 14는 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제7 구성도이다.
도 15는 도 14의 감시카메라용 자동 다중 추적 영상처리장치의 카메라부에서 출력되는 파노라마영상들의 화면의 제1 예이다.
도 16은 도 14의 감시카메라용 자동 다중 추적 영상처리장치의 카메라부에서 출력되는 파노라마영상들의 화면의 제2 예이다.1 is a flowchart of an automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention.
2 is a first configuration diagram of an automatic multiple tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention.
3 is a second configuration diagram of an automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention.
4 is a first example of a fisheye image screen output from the display unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG.
5 is a second example of a screen displayed on the display unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG.
FIG. 6 is a third example of a screen displayed on the display unit of the automatic multi-tracking image processing apparatus for surveillance cameras of FIG.
7 is a fourth example of a screen displayed on the display unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG.
Fig. 8 is a screen when the enlargement ratio is increased in the screen of Fig.
FIG. 9 is a third configuration diagram of an automatic multi-tracking image processing apparatus for surveillance cameras according to an embodiment of the present invention.
10 is a fourth block diagram of an automatic multiple tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention.
11 is a fifth configuration diagram of an automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention.
12 is a sixth configuration diagram of an automatic multi-tracking image processing apparatus for surveillance cameras according to an embodiment of the present invention.
FIG. 13 is an example of a screen of a fish-eye image output from the camera unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG.
14 is a seventh configuration diagram of an automatic multi-tracking image processing apparatus for surveillance cameras according to an embodiment of the present invention.
15 is a first example of a screen of panorama images output from the camera unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG.
FIG. 16 is a second example of a screen of panorama images output from the camera unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In the following description of the embodiments of the present invention, descriptions of techniques which are well known in the technical field of the present invention and are not directly related to the present invention will be omitted. This is for the sake of clarity of the present invention without omitting the unnecessary explanation.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.For the same reason, some of the components in the drawings are exaggerated, omitted, or schematically illustrated. Also, the size of each component does not entirely reflect the actual size. In the drawings, the same or corresponding components are denoted by the same reference numerals.

이하, 본 발명의 실시예들에 의하여 감시카메라용 자동 다중 추적 영상처리장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for explaining an automatic multi-tracking image processing apparatus for a surveillance camera according to embodiments of the present invention.

도 1은 본 발명에 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 순서도이고, 도 2는 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제1 구성도이다. .FIG. 1 is a flowchart of an automatic multiple tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention, and FIG. 2 is a first configuration diagram of an automatic multiple tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention. .

도 1 및 도 2를 참고하면, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 카메라부(10), 영상점검부(20), 영상추적부(30), 영상분할부(40), 영상처리부(50), 인터페이스부(60), 자막처리부(70), 및 디스플레이부(80)를 포함한다.1 and 2, an automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes a camera unit 10, an image checking unit 20, a video tracking unit 30, An image processing unit 50, an interface unit 60, a caption processing unit 70, and a display unit 80. The display unit 80 includes a display unit 80,

카메라부(10)는 촬영대상지역을 촬영한 영상에 의해 감시를 실시하는 것으로, 가시광선 영역의 영상을 촬영하는 촬영카메라(11)로 구비된다. 촬영카메라(11)는 촬영대상지역을 촬영한 영상을 영상추적부(30)와 영상분할부(40)로 전송하도록 구비된다.The camera unit 10 is provided with a photographing camera 11 for photographing an image of a visible light region by monitoring the image of the region to be photographed. The photographing camera 11 is provided to transmit an image of the photographing target area to the image tracking unit 30 and the image dividing unit 40.

영상점검부(20)는 카메라부(10)에 전기적으로 연결되어 촬영된 영상을 전송받아 영상신호가 존재하는 여부를 점검하여 영상신호가 존재하지 않으면 카메라부(10)에 리셋신호를 전송하여 카메라부(10)가 재시동되도록 작동시킬 수 있다. The image checking unit 20 is electrically connected to the camera unit 10 and receives a photographed image to check whether a video signal is present. If there is no video signal, the video checking unit 20 transmits a reset signal to the camera unit 10, The part 10 can be operated to be restarted.

영상추적부(30)는 촬영된 영상에서 이동하는 관찰대상물을 인식하고 관찰대상물의 이동에 따른 좌표정보를 생성하도록 구비된다. 영상추적부(30)는 카메라부(10)에서 촬영된 영상을 전송받아 영상 내에서 이동하는 관찰대상물의 이동되는 좌표정보를 생성하여 영상처리부(50)로 전송하도록 구비된다.The image tracking unit 30 is configured to recognize the moving object to be moved in the photographed image and generate coordinate information according to the movement of the object to be observed. The image tracking unit 30 receives the image photographed by the camera unit 10, generates coordinate information of the moving object to be moved in the image, and transmits the coordinate information to the image processing unit 50.

즉, 영상추적부(30)는 카메라부(10)로부터 촬영된 영상을 전송받으면, 전송된 촬영영상 중 지정된 배경을 제외하고, 이동되는 대상을 관찰대상물로 지정하여 좌표를 추출한다. 추출된 관찰대상물이 이동하게 되면 이동되는 궤적을 따라서 지속적으로 이동 좌표를 추출하여 자동으로 추출되는 좌표 정보를 영상처리부(50)로 전송할 수 있다.That is, the image tracking unit 30 extracts coordinates by designating an object to be moved as an observation object, except a designated background, when the image taken from the camera unit 10 is received. When the extracted observation object moves, it is possible to continuously extract the movement coordinates along the trajectory to be moved and to transmit the coordinate information automatically extracted to the image processing unit 50.

영상추적부(30)는 촬영된 영상에서 프레임별로 지정된 배경에서 이동되는 관찰대상물의 좌표를 추출하고, 관찰대상물이 이동시의 좌표를 추적하여 해당 좌표정보를 영상처리부(50)로 전송할 수 있다. The image tracking unit 30 extracts the coordinates of the observation object moving in the background specified by the frame in the photographed image, tracks the coordinates of the moving object when the observation object moves, and transmits the coordinate information to the image processing unit 50.

따라서, 영상추적부(30)는 이동되는 관찰대상물의 좌표를 특정한 후에 이동되는 궤적의 좌표를 지속적으로 추출하여 이후 영상 처리에 의해 관찰대상물이 식별되도록 소정의 도형 형태로 사각형으로 표시하도록 좌표를 추출함에 따라 관찰자가 사각형의 이동으로 특정된 관찰대상물의 궤적으로 자동 추적할 수 있다.Accordingly, the image tracking unit 30 continuously extracts the coordinates of the trajectory to be moved after specifying the coordinates of the moving object to be observed, and then extracts the coordinates so as to display the object in a predetermined shape so as to be identified by the image processing The observer can automatically follow the trajectory of the observed object specified by the movement of the rectangle.

여기서, 사각형은 관찰대상물을 표시하기 위한 하나의 예에 불과한 것으로, 관찰대상물의 바깥둘레를 감싸고 있는 모든 형태의 도형이 사용될 수 있다. Here, the quadrangle is only one example for displaying the observation object, and all types of figures surrounding the outer periphery of the observation object can be used.

그리고, 영상추적부(30)에서 관찰대상물의 도형 형태의 좌표 추출 시 복수의 관찰대상물이 표시되면, 복수의 관찰대상물을 하나의 도형 형태로 각각으로 복수의 좌표를 동시에 특정하고, 복수의 관찰대상물이 개별적으로 이동되는 궤적을 자동으로 추적하도록 다중의 좌표로 추출하여 영상처리부(50)로 전송할 수 있다. When a plurality of objects to be observed are displayed at the time of extracting the coordinates of the figure shape of the object to be observed by the image tracking unit 30, a plurality of coordinates are simultaneously specified for each of the plurality of objects in a single graphic form, Can be extracted to multiple coordinates so as to automatically track the individually moved locus and transmitted to the image processing unit 50.

즉, 영상추적부(30)는 복수의 관찰대상물이 표시될 경우에는 각각의 관찰대상물의 위치를 좌표로 사각형으로 특정한 후 복수의 관찰대상물의 이동에 따라 영상 내에서 복수의 관찰대상물의 외곽에 각각 사각형상으로 표시하고, 표시된 사각형상이 복수의 관찰대상물에 이동에 따라 동시에 다중 위치에서 각각 자동으로 추적하면서 이동하는 궤적을 사각형상으로 표시하도록 각각의 이동 좌표를 영상처리부(50)로 전송한다. 따라서, 영상추적부(30)는 관찰대상물이 수량과 상관 없이 사각형상으로 이동되는 궤적으로 자동으로 추적할 수 있어 감시 효율을 향상시킬 수 있다. That is, when a plurality of objects to be observed are displayed, the image tracking unit 30 specifies the positions of the objects to be observed as rectangles in the form of a rectangle, and then, in accordance with the movement of the plurality of objects to be observed, And transmits each of the moving coordinates to the image processing unit 50 so as to display the trajectory moving in a rectangular shape while the plurality of objects to be observed are automatically traced at multiple positions simultaneously in accordance with the movement. Therefore, the image tracking unit 30 can automatically track the object to be traced in a rectangular shape without regard to the quantity, thereby improving the monitoring efficiency.

영상분할부(40)는 영상을 복수의 영상으로 분할하여 복수의 분할된 영상을 생성하도록 구비된다. 영상분할부(40)는 카메라부(10)에서 전송된 영상을 복수의 구획으로 분할하고, 분할된 영상을 영상처리부(50)로 전송하도록 구비된다.The image divider 40 divides the image into a plurality of images to generate a plurality of divided images. The image dividing unit 40 divides the image transmitted from the camera unit 10 into a plurality of sections and transmits the divided images to the image processing unit 50.

영상처리부(50)는 영상분할부(40)로부터 전송받은 분할된 복수의 영상 중 적어도 하나의 영상을 배치하고 영상의 이동 또는 대체, 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 영상을 처리하도록 구비된다. The image processing unit 50 arranges at least one image among the plurality of divided images transmitted from the image dividing unit 40 and processes the movement or replacement of the image, enlargement and reduction of the image, and generates a virtual pan-tilt, - The zoom-out function is applied to process the image.

이런, 영상처리부(50)는 영상추적부(30)에서 생성된 좌표정보에 기초하여 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.The image processing unit 50 may process the virtual pan-tilt function by changing the arrangement position of at least one image arranged on the basis of the coordinate information generated by the image tracking unit 30. [

또한, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.Also, the image processing unit 50 may process the virtual pan-tilt function by replacing at least one image arranged based on the coordinate information with another image.

그리고, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다. 이런, 인터페이스부(60)는 사용자가 조작에 의해 영상 내에 팬, 틸트, 및 줌 기능을 수행할 수 있고, 영상추적부(30)에서 추출된 좌표에 의해 관찰대상물을 따라서 자동으로 이동을 추적하도록 입력값을 설정할 수 있다.The image processing unit 50 may process the virtual pan-tilt function by changing the arrangement position of the at least one image based on the input value input through the user interface unit 60. [ In this way, the interface unit 60 can perform a pan, tilt, and zoom function in the image by the user's operation, and can automatically track the movement along the observation object according to the coordinates extracted by the image tracking unit 30 The input value can be set.

아울러, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 may process the virtual pan-tilt function by replacing the at least one image with another image based on the input value input through the user interface unit 60. [

또한, 영상처리부(50)에서 좌표정보에 기초하여 관찰대상물의 이동을 표시하여 영상을 처리할 수 있다.In addition, the image processing unit 50 can display the movement of the observation object based on the coordinate information, and process the image.

그리고, 관찰대상물의 이동의 표시는, 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object can give a predetermined identification mark to the observation object.

상술된, 소정의 식별표시는 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.The predetermined identification display described above can be configured so that a predetermined figure is displayed on the observation object.

즉, 식별표시는 영상추적부(30)에서 추적된 사각형의 좌표에 따라 관찰대상물이 영상에서 이동되는 위치를 나타내도록 처리할 수 있다.That is, the identification mark can be processed so as to indicate the position where the observation object is moved in the image according to the coordinates of the quadrangle tracked by the image tracking unit 30. [

자막처리부(70)는 영상처리부(50)에 전기적으로 연결되어 있으며, 영상처리부(50)에서 분할되는 영상의 분할 위치 정보, 촬영된 날짜 정보, 및 촬영되는 위치 정보 중 적어도 하나를 자막 형태로 디스플레이부(80)에 출력하기 위해서 문자 또는 기호등의 자막정보를 생성하도록 구비된다.The caption processing unit 70 is electrically connected to the image processing unit 50 and displays at least one of divided position information of the image divided by the image processing unit 50, photographed date information, and photographed position information in a caption form To generate subtitle information such as a character or a symbol for output to the subtitle section (80).

즉, 자막처리부(70)는 영상처리부(50)의 일측에 연결되어 영상처리되는 영상의 분할되는 위치, 카메라부(10)에서 촬영된 날짜, 및 촬영되는 위치와 같은 정보를 사용자가 원하는 위치와 글자의 크기, 폰트에 따라 영상에 자막 형태로 표시하도록 설치된다. 이런, 자막처리부(70)는 감시되는 영상의 위치와 날짜 등의 정보를 감시자가 감시영상에 표시되는 자막에 의해 인지할 수 있어 감시 효율이 향상될 수 있다. That is, the caption processing unit 70 is connected to one side of the image processing unit 50, and transmits information such as a position at which the video image is divided, a date taken by the camera unit 10, And is displayed in the form of a caption on the image according to the font size and font. In this way, the caption processing unit 70 can recognize the position and the date of the video to be monitored by the caption displayed on the surveillance video, thereby improving the monitoring efficiency.

디스플레이부(80)는 영상처리부(50)로부터 전송받은 영상을 출력하도록 구비된다. 디스플레이부(80)는 인터페이스부(60)의 제어신호에 따라 영상처리부(50)에서 처리된 영상을 감시자가 관찰할 수 있도록 출력하는 장치이다. 여기서, 디스플레이부(80)는 통상적인 영상을 출력할 수 있는 모든 수단이 포함될 수 있는 것으로, 영상을 출력하는 모니터가 사용될 수 있다.The display unit 80 is provided to output the image transmitted from the image processing unit 50. The display unit 80 is a device for outputting an image processed by the image processing unit 50 according to a control signal of the interface unit 60 so that a surveillant can observe the processed image. Here, the display unit 80 may include any means capable of outputting a normal image, and a monitor for outputting an image may be used.

상술된, 디스플레이부(80)는 중앙에 촬영된 영상을 나타내고, 촬영된 영상의 바깥 둘레에 영상분할부(40)로 복수로 분할된 분할 영상이 각각 위치하여 각각 분할된 위치에서 영상처리부(50)에서 팬, 틸트, 및 줌의 기능을 수행하도록 처리한 영상을 각각 출력할 수 있다. 예를 들어, 촬영된 영상을 영상분할부(40)에서 8개의 영상으로 분할하게 되면 디스플레이부(80)의 중앙으로 전체 영상을 출력하고, 바깥 둘레를 따라 분할된 위치의 외곽 부분으로 분할된 영상을 각각 출력할 수 있다.The display unit 80 displays the images photographed in the center. The divided images divided into a plurality of images by the image dividing unit 40 are positioned on the outer circumference of the photographed image, ), It is possible to output images processed to perform the functions of pan, tilt, and zoom respectively. For example, if the photographed image is divided into eight images by the image dividing unit 40, the entire image is output to the center of the display unit 80, and the divided images are divided into the outer portions of the divided positions along the outer circumference Respectively.

즉, 디스플레이부(80)는 전체 영상과 분할된 영상을 각각 출력할 수 있는 것으로, 하나의 디스플레이부(80)에서 전체 영상과 분할 영상을 함께 출력할 수도 있고, 복수의 디스플레이부(80)에서 각각 전체 영상과 분할 영상을 출력할 수도 있다.That is, the display unit 80 can output the entire image and the divided image, and can output the entire image and the divided image together on one display unit 80, And output the entire image and the divided image, respectively.

이렇게, 분할된 위치에 각각의 분할된 영상이 출력되는 상태에서 영상처리부(50)가 분할되는 영상을 이동하도록 영상처리부(50)에서 영상을 처리하면 각각의 이동 위치에 따라 팬 및 틸트 되는 영상을 출력할 수 있다. 또한, 분할된 영상에 위치와 전체 영상에 각각 자막처리부(70)에서 생성된 자막을 표시할 수 있다. 그리고, 각각의 분할된 영상을 영상처리부(50)에서 확대 또는 축소하는 줌 기능을 수행할 수 있다. When the image processing unit 50 processes the divided images so that the divided images are output, the image processing unit 50 processes the images to be divided, Can be output. In addition, the subtitles generated in the subtitle processor 70 can be displayed on the divided video and on the entire video, respectively. The image processing unit 50 may perform a zoom function to enlarge or reduce the respective divided images.

따라서, 카메라부(10)는 이동이나 여타 팬, 틸트, 및 줌 기능을 가지는 장치 없이 촬영된 영상에서 영상처리부(50)를 통해서 가상으로 팬, 틸트, 및 줌 기능을 수행할 수 있음에 따라 기존의 카메라의 영상으로도 팬, 틸트, 및 줌 기능을 수행할 수 있다.Accordingly, since the camera unit 10 can perform a panning, tilting, and zooming function virtually through the image processing unit 50 in the photographed image without moving or other devices having a panning, tilting, and zooming function, The camera can also perform a pan, tilt, and zoom function.

특히, 영상 내에서 이동되는 관찰대상물의 좌표를 영상추적부(30)에서 추출하여 영상처리부(50)에 전송하고, 영상처리부(50)는 좌표에 따라 관찰대상물의 바깥 둘레에 사각 형태의 표식을 생성하여 관찰대상물을 지속적으로 추적하는 영상을 디스플레이부(80)로 출력하여 감시를 실시할 수 있다. 또한, 관찰대상물이 이동되는 좌표에 따라 사각형상으로 추적 시에 팬, 틸트, 및 줌 기능을 이용하여 분할영상과 전체 영상이 출력되는 디스플레이부(80)에 자동으로 추적하는 영상을 제공함으로써, 자동 추적 기능을 실시할 수 있다.Particularly, the coordinates of the observation object moved in the image are extracted by the image tracking unit 30 and transmitted to the image processing unit 50, and the image processing unit 50 displays a square shaped marking on the outer circumference of the observation object And outputs an image to the display unit 80 to continuously monitor the object to be monitored. In addition, by providing the image to be automatically tracked to the display unit 80 on which the divided image and the entire image are outputted by using the pan, tilt, and zoom functions at the time of tracking in a rectangular shape according to the coordinates on which the observed object is moved, Tracking function can be performed.

도 3은 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제2 구성도이고, 도 4는 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 어안영상화면의 제1 예이며, 도 5는 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 화면의 제2 예이고, 도 6은 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 화면의 제3 예이며, 도 7은 도 3의 감시카메라용 자동 다중 추적 영상처리장치의 디스플레이부에서 출력되는 화면의 제4 예이고, 도 8은 도 7의 화면에서 확대비율을 높인 경우의 화면이다. FIG. 3 is a second configuration diagram of an automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention. FIG. FIG. 5 is a second example of a screen output from the display unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG. 3, and FIG. 6 is a flowchart of a second example of the automatic multi- 7 is a fourth example of a screen output from the display unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG. 3, and FIG. 8 is a diagram illustrating a fourth example of a screen displayed on the screen of FIG. Is increased.

도 3 내지 도 8을 참고하면, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 카메라부(10), 영상점검부(20), 영상추적부(30), 영상분할부(40), 영상처리부(50), 인터페이스부(60), 자막처리부(70), 및 디스플레이부(80)를 포함한다. 여기서, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 도 1 및 도 2에서 나타낸 감시카메라용 자동 다중 추적 영상처리장치(1)와 어안카메라(12)를 이용한 점을 제외하고 나머지 방법은 동일함에 따라 차이가 있는 방법에 대해서만 설명하도록 한다. 3 to 8, an automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes a camera unit 10, an image checking unit 20, a video tracking unit 30, An image processing unit 50, an interface unit 60, a caption processing unit 70, and a display unit 80. The display unit 80 includes a display unit 80, Here, the automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes an automatic multi-tracking image processing apparatus 1 for a surveillance camera shown in FIGS. 1 and 2 and a point using a fisheye camera 12 The remaining methods are the same except that only the method with the difference is explained.

카메라부(10)는 촬영대상지역을 촬영하는 어안렌즈가 설치된 어안카메라(12)로 구비된다. 어안카메라(12)는 촬영되는 영역의 180도의 방위각과 고도각으로 확대되도록 물고기 눈 형태의 어안 렌즈를 통해서 촬영을 실시하여 촬영되지 않는 사각 지역을 최소화함에 따라 감시 효율이 향상될 수 있다.The camera unit 10 is provided with a fisheye camera 12 provided with a fisheye lens for photographing a region to be photographed. The fisheye camera 12 can be photographed through a fish-eye type fisheye lens so as to be enlarged to an azimuth angle and an altitude angle of 180 degrees of a photographed area, thereby minimizing a rectangular area that is not photographed, thereby improving monitoring efficiency.

상술된 어안카메라(12)는 촬영대상지역을 촬영한 어안영상을 영상추적부(30)와 영상분할부(40)로 각각 전송하도록 구비된다. The above-described fisheye camera 12 is provided to transmit a fisheye image photographed by the photographing target area to the image tracking unit 30 and the image dividing unit 40, respectively.

영상추적부(30)는 어안카메라(12)에서 전송된 어안영상 내에 이동되는 관찰대상물의 좌표를 추적하면서 추출하여 영상처리부(50)로 전송한다. 이때, 영상추적부(30)는 관찰대상물의 바깥 둘레를 사각형상으로 표시하는 좌표를 생성하고, 표시된 사각형상이 관찰대상물과 함께 추적 이동되면서 감시자가 용이하게 식별하도록 사각형상의 좌표를 영상처리부(50)로 전송한다. 또한, 영상추적부(30)는 어안영상에서 복수의 관찰대상물이 나타나면 이에 따라 다중으로 이동되는 좌표를 추적하면서 추출하여 영상처리부(50)로 전송한다. The image tracking unit 30 extracts and extracts the coordinates of the observation object moved in the fisheye image transmitted from the fisheye camera 12, and transmits the extracted coordinates to the image processing unit 50. At this time, the image tracking unit 30 generates coordinates for displaying the outer circumference of the observation object in a rectangular shape, and displays coordinates of a rectangular shape in the image processing unit 50 so that the monitor can easily identify the displayed rectangular image while being traced along with the observation object. Lt; / RTI > When a plurality of observation objects appear in the fisheye image, the image tracking unit 30 extracts and extracts the coordinates that are moved in multiple, and transmits the coordinates to the image processing unit 50.

영상분할부(40)는 어안카메라(12)에서 전송된 어안영상을 복수의 구획으로 분할하여 분할된 어안영상을 영상처리부(50)로 전송하도록 구비된다.The image dividing unit 40 divides the fisheye image transmitted from the fisheye camera 12 into a plurality of sections and transmits the divided fisheye images to the image processing unit 50.

영상처리부(50)는 영상분할부(40)로부터 전송받은 분할된 복수의 어안영상 중 적어도 하나의 어안영상을 배치하고 어안영상의 이동 또는 대체, 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 어안영상을 처리하도록 구비된다. The image processing unit 50 arranges at least one fisheye image among the plurality of divided fisheye images transmitted from the image division unit 40, processes the fisheye image to move or replace, and enlarges and reduces the image, Tilt, and zoom-in and zoom-out functions.

이런, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 어안영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In this way, the image processing unit 50 can process the virtual pan-tilt function by changing the arrangement position of at least one fisheye image disposed based on the coordinate information.

또한, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 어안영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.Also, the image processing unit 50 can process the virtual pan-tilt function by replacing at least one fisheye image disposed on the basis of the coordinate information with another image.

그리고, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 어안영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다. 이런, 인터페이스부(60)는 사용자가 조작에 의해 어안영상 내에 팬, 틸트, 및 줌 기능을 수행할 수 있고, 영상추적부(30)에서 추출된 좌표에 의해 관찰대상물을 따라서 자동으로 이동을 추적하도록 입력값을 설정할 수 있다.The image processing unit 50 may process the virtual pan-tilt function by changing the arrangement position of the at least one fisheye image on the basis of the input value input through the user interface unit 60. The interface unit 60 can perform a pan, tilt, and zoom function in a fisheye image by operation of the user. The interface unit 60 automatically tracks the movement along the object of observation according to the coordinates extracted by the image tracking unit 30 The input value can be set.

아울러, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 어안영상을 다른 어안영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 may process a virtual pan-tilt function by replacing at least one fisheye image disposed on the basis of the input value input through the user interface unit 60 with another fisheye image.

또한, 영상처리부(50)에서 좌표정보에 기초하여 관찰대상물의 이동을 표시하여 어안영상을 처리할 수 있다.Further, the image processing unit 50 can display the movement of the observation target based on the coordinate information, and process the fish-eye image.

그리고, 관찰대상물의 이동의 표시는, 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object can give a predetermined identification mark to the observation object.

상술된, 소정의 식별표시는 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.The predetermined identification display described above can be configured so that a predetermined figure is displayed on the observation object.

즉, 식별표시는 영상추적부(30)에서 추적된 사각형의 좌표에 따라 관찰대상물이 영상에서 이동되는 위치를 나타내도록 처리할 수 있다.That is, the identification mark can be processed so as to indicate the position where the observation object is moved in the image according to the coordinates of the quadrangle tracked by the image tracking unit 30. [

여기서, 영상처리부(50)에서 영상 처리 시에 영상에 대한 정보를 자막처리부(70)에 의해 자막형태로 생성하여 출력 시 영상에 자막이 표시되도록 디스플레이부(80)로 함께 전송할 수 있다.Here, the image processing unit 50 may generate information on the image in the caption processing unit 70 by the caption processing unit 70, and transmit the caption to the display unit 80 so that the caption is displayed on the image upon output.

영상출력단계(S40)에서 디스플레이부(80)에서 어안영상을 처리한 영상처리부(50)로부터 전송받은 영상을 출력한다.In the image output step S40, the display unit 80 outputs the image received from the image processing unit 50 that processes the fisheye image.

도 9는 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제3 구성도이다.FIG. 9 is a third configuration diagram of an automatic multi-tracking image processing apparatus for surveillance cameras according to an embodiment of the present invention.

도 9를 참고하면, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 카메라부(10), 영상점검부(20), 영상추적부(30), 영상분할부(40), 영상처리부(50), 인터페이스부(60), 자막처리부(70), 및 디스플레이부(80)를 포함한다. 여기서, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 도 1 및 도 2에서 나타낸 감시카메라용 자동 다중 추적 영상처리장치(1)와 열감지카메라(13)를 이용한 점을 제외하고 나머지 방법은 동일함에 따라 차이가 있는 방법에 대해서만 설명하도록 한다. 9, an automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an exemplary embodiment of the present invention includes a camera unit 10, an image checking unit 20, a video tracking unit 30, 40, an image processing unit 50, an interface unit 60, a caption processing unit 70, and a display unit 80. Here, the automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention uses an automatic multi-tracking image processing apparatus 1 for surveillance cameras 1 and a thermal sensing camera 13 shown in FIGS. 1 and 2 Except for points, the remaining methods are the same, so only the difference method should be explained.

카메라부(10)는 촬영대상지역의 열변화를 감지하는 열영상을 촬영하는 열감지카메라(13)로 구비된다. 열감지카메라(13)는 촬영되는 영역의 촬영 시에 촬영되는 영상에 열 분포를 명도 또는 채도 차이로 표시하여 열을 변화시키는 대상물의 접근이나 화재 발생과 같이 열이 급격하게 변화하는 상황을 영상에서 나타냄에 따라 침입자의 접근이나 화재 발생을 감시자가 명확하게 판단할 수 있어 감시 효율이 향상될 수 있다.The camera unit 10 is provided with a thermal sensing camera 13 for capturing a thermal image for sensing a thermal change of an area to be photographed. The thermal sensing camera 13 displays the thermal distribution in the image photographed at the time of photographing in the photographed region by the lightness or the chroma difference and detects a situation in which the heat is suddenly changed, The surveillance efficiency can be improved because the surveillance person can clearly determine the intruder approach or fire occurrence.

이런, 열감지카메라(13)는 촬영된 열감지영상을 영상추적부(30)와 영상분할부(40)로 전송하도록 구비된다.The thermal sensing camera 13 is adapted to transmit the sensed heat sensed image to the image tracking unit 30 and the image segmenting unit 40.

영상추적부(30)는 열감지카메라(13)에서 전송된 열감지영상 내에 이동되는 관찰대상물의 좌표를 추적하면서 추출하여 영상처리부(50)로 전송한다. 이때, 영상추적부(30)는 관찰대상물의 바깥 둘레를 사각형상으로 표시하는 좌표를 생성하고, 표시된 사각형상이 관찰대상물과 함께 추적 이동되면서 감시자가 용이하게 식별하도록 사각형상의 좌표를 영상처리부(50)로 전송한다. 또한, 영상추적부(30)는 열감지영상에서 복수의 관찰대상물이 나타나면 이에 따라 다중으로 이동되는 좌표를 추적하면서 추출하여 영상처리부(50)로 전송한다. The image tracking unit 30 extracts the coordinates of the observation object moving in the heat sensing image transmitted from the thermal sensing camera 13, and transmits the extracted coordinates to the image processing unit 50. At this time, the image tracking unit 30 generates coordinates for displaying the outer circumference of the observation object in a rectangular shape, and displays coordinates of a rectangular shape in the image processing unit 50 so that the monitor can easily identify the displayed rectangular image while being traced along with the observation object. Lt; / RTI > When a plurality of objects to be observed are displayed in the heat sensing image, the image tracking unit 30 extracts and extracts the coordinates that are moved in multiple, and transmits the extracted coordinates to the image processing unit 50.

영상분할부(40)는 열감지카메라(13)에서 전송된 열감지영상을 복수의 구획으로 분할하여 분할된 열감지영상을 영상처리부(50)로 전송하도록 구비된다.The image divider 40 divides the thermal sensed image transmitted from the thermal sensing camera 13 into a plurality of segments and transmits the divided thermal sensed images to the image processing unit 50.

영상처리부(50)는 영상분할부(40)로부터 전송받은 분할된 복수의 열감지영상 중 적어도 하나의 열감지영상을 배치하고 열감지영상의 이동 또는 대체, 열감지영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 영상을 처리하도록 구비된다.The image processing unit 50 arranges at least one thermal sense image among the plurality of divided thermal sense images transmitted from the image division unit 40, and performs movement or substitution of the thermal sense image, and enlargement and reduction of the thermal sense image And processes the image by applying a virtual pan-tilt and zoom-in-zoom-out function.

이런, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 열감지영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In this way, the image processing unit 50 can process the virtual pan-tilt function by changing the arrangement position of at least one thermal sensed image arranged based on the coordinate information.

또한, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 열감지영상을 다른 열감지영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 may process the virtual pan-tilt function by replacing at least one thermal sensed image disposed on the basis of the coordinate information with another thermal sensed image.

그리고, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 열감지영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다. 이런, 인터페이스부(60)는 사용자가 조작에 의해 열감지영상 내에 팬, 틸트, 및 줌 기능을 수행할 수 있고, 영상추적부(30)에서 추출된 좌표에 의해 관찰대상물을 따라서 자동으로 이동을 추적하도록 입력값을 설정할 수 있다.The image processing unit 50 may process the virtual pan-tilt function by changing the arrangement position of the at least one thermal sensed image based on the input value input through the user interface unit 60. [ The interface unit 60 can perform a pan, tilt, and zoom function in the thermal sensed image by the user's manipulation. The interface unit 60 can automatically move the object according to the coordinates extracted by the image tracking unit 30 You can set the input value to trace.

아울러, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 열감지영상을 다른 열감지영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 may process a virtual pan-tilt function by replacing at least one thermal sensed image disposed on the basis of the input value input through the user interface unit 60 with another thermal sensed image .

또한, 영상처리부(50)에서 좌표정보에 기초하여 관찰대상물의 이동을 표시하여 열감지영상을 처리할 수 있다.In addition, the image processing unit 50 can display the movement of the observation object based on the coordinate information to process the thermal sensed image.

그리고, 관찰대상물의 이동의 표시는, 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object can give a predetermined identification mark to the observation object.

상술된, 소정의 식별표시는 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.The predetermined identification display described above can be configured so that a predetermined figure is displayed on the observation object.

즉, 식별표시는 영상추적부(30)에서 추적된 사각형의 좌표에 따라 관찰대상물이 영상에서 이동되는 위치를 나타내도록 처리할 수 있다.That is, the identification mark can be processed so as to indicate the position where the observation object is moved in the image according to the coordinates of the quadrangle tracked by the image tracking unit 30. [

여기서, 영상처리부(50)에서 영상 처리 시 영상에 대한 정보를 자막처리부(70)에 의해 자막형태로 생성하여 영상에 자막이 표시되도록 디스플레이부(80)로 함께 전송할 수 있다.Here, the image processing unit 50 may generate information on the image during the image processing by the caption processing unit 70 in a caption format, and may transmit the caption to the display unit 80 so that the caption is displayed on the image.

영상출력단계(S40)에서 디스플레이부(80)에서 열감지영상을 처리한 영상처리부(50)로부터 전송받은 영상을 출력한다.In the video output step S40, the display unit 80 outputs the image received from the image processing unit 50 that processes the thermal sensed image.

도 10은 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제4 구성도이다.10 is a fourth block diagram of an automatic multiple tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention.

도 10을 참고하면, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 카메라부(10), 영상점검부(20), 영상추적부(30), 영상분할부(40), 영상처리부(50), 인터페이스부(60), 자막처리부(70), 및 디스플레이부(80)를 포함한다. 여기서, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 도 1 및 도 2에서 나타낸 감시카메라용 자동 다중 추적 영상처리장치(1)와 어안열감지카메라(14)를 이용한 점을 제외하고 나머지 방법은 동일함에 따라 차이가 있는 방법에 대해서만 설명하도록 한다. 10, an automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an exemplary embodiment of the present invention includes a camera unit 10, an image checking unit 20, a video tracking unit 30, 40, an image processing unit 50, an interface unit 60, a caption processing unit 70, and a display unit 80. Here, the automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes an automatic multi-tracking image processing apparatus 1 for a surveillance camera and a fisheye sensing camera 14 shown in Figs. 1 and 2 Except for the points used, the remaining methods should be described only as to how they differ.

카메라부(10)는 촬영대상지역을 촬영하는 어안렌즈가 설치되어 화각이 넓으면서 열을 감지하는 어안열감지카메라(14)로 구비된다. 어안열감지카메라(14)는 촬영되는 영역의 180도의 방위각과 고도각으로 확대되도록 물고기 눈 형태의 어안 렌즈를 통해서 열을 감지하는 영상에 대한 촬영을 실시하여 촬영되지 않는 사각 지역을 최소화하면서 촬영대상지역의 열변화를 감지할 수 있어 사각없이 침입자의 이동이나 화재 발생과 같은 열변화를 촬영함에 따라 감시 효율이 향상될 수 있다. The camera unit 10 is provided with a fisheye sensor 14 for sensing a heat with a fisheye lens for photographing an area to be photographed. The fisheye thermal sensing camera 14 photographs an image that senses heat through a fisheye fish-shaped fisheye lens so as to be enlarged to an azimuth angle and an altitude angle of 180 degrees of a photographed area, It is possible to detect the thermal change of the area, so that the monitoring efficiency can be improved by shooting the heat change such as the movement of the intruder or the fire without the square.

상술된, 어안열감지카메라(14)는 촬영대상지역을 촬영한 어안열감지영상을 영상추적부(30)와 영상분할부(40)로 전송한다. The fisheye thermal sensing camera 14 transmits the fisheye sensed image photographed by the fisheye thermal sensing camera 14 to the image tracking unit 30 and the image dividing unit 40.

영상추적부(30)는 어안열감지카메라(13)에서 전송된 어안열감지영상 내에 이동되는 관찰대상물의 좌표를 추적하면서 추출하여 영상처리부(50)로 전송한다. 이때, 영상추적부(30)는 관찰대상물의 바깥 둘레를 사각형상으로 표시하는 좌표를 생성하고, 표시된 사각형상이 관찰대상물과 함께 추적 이동되면서 감시자가 용이하게 식별하도록 사각형상의 좌표를 영상처리부(50)로 전송한다. 또한, 영상추적부(30)는 어안열감지영상에서 복수의 관찰대상물이 나타나면 이에 따라 다중으로 이동되는 좌표를 추적하면서 추출하여 영상처리부(50)로 전송한다. The image tracking unit 30 extracts the coordinates of the observation object moved in the fisheye sensed image transmitted from the fisheye thermal sensing camera 13, and transmits the extracted coordinates to the image processing unit 50. At this time, the image tracking unit 30 generates coordinates for displaying the outer circumference of the observation object in a rectangular shape, and displays coordinates of a rectangular shape in the image processing unit 50 so that the monitor can easily identify the displayed rectangular image while being traced along with the observation object. Lt; / RTI > When a plurality of observation objects appear in the fisheye sensory image, the image tracking unit 30 extracts and extracts the coordinates that are moved in multiple, and transmits the coordinates to the image processing unit 50.

영상분할전송단계(S22)에서 영상분할부(40)로 전송된 어안열감지영상을 복수의 구획으로 분할하여 분할된 어안열감지영상을 영상처리부(50)로 전송한다. In the image segmentation and transmission step S22, the fisheye sensed image transmitted to the image segmentation unit 40 is divided into a plurality of segments and the segmented fisheye sensor image is transmitted to the image processing unit 50. [

영상처리전송단계(S30)는 영상처리부(50)에서 영상분할부(40)로부터 전송받은 분할된 복수의 어안열감지영상 중 적어도 하나의 어안열감지영상을 배치하고 어안열감지영상의 이동 또는 대체, 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 영상을 처리하는 단계이다.The image processing transmission step S30 arranges at least one fuzzy heat sensed image among the plurality of divided fuzzy heat sensed images transmitted from the image division unit 40 in the image processing unit 50, Zooming in and out on the image, and applying the virtual pan-tilt and zoom-in / zoom-out functions to process the image.

이런, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 어안열감지영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In this way, the image processing unit 50 can process the virtual pan-tilt function by changing the arrangement position of at least one fisheye heat sensed image arranged based on the coordinate information.

또한, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 어안열감지영상을 다른 어안열감지영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.Also, the image processing unit 50 may process the virtual pan-tilt function by replacing at least one fisheye sensed image disposed on the basis of the coordinate information with another fisheye sensed image.

그리고, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 어안열감지영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다. 이런, 인터페이스부(60)는 사용자가 조작에 의해 어안열감지영상 내에 팬, 틸트, 및 줌 기능을 수행할 수 있고, 영상추적부(30)에서 추출된 좌표에 의해 관찰대상물을 따라서 자동으로 이동을 추적하도록 입력값을 설정할 수 있다.The image processing unit 50 may process the virtual pan-tilt function by changing the arrangement position of the at least one fisheye thermal sensed image based on the input value input through the user interface unit 60 . The interface unit 60 can perform a pan, tilt, and zoom function in a fisheye sensed image by the user's manipulation. The interface unit 60 can be automatically moved along the object to be observed according to the coordinates extracted by the image tracking unit 30. [ The input value can be set to track the input.

아울러, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 어안열감지영상을 다른 어안열감지영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 processes the virtual pan-tilt function by replacing at least one fisheye thermal sensed image arranged on the basis of the input value inputted through the user interface unit 60 with another fisheye thermal sensed image .

또한, 영상처리부(50)에서 좌표정보에 기초하여 관찰대상물의 이동을 표시하여 어안열감지영상을 처리할 수 있다.In addition, the image processing unit 50 can display the movement of the observation object based on the coordinate information to process the fisheye sensed image.

그리고, 관찰대상물의 이동의 표시는, 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object can give a predetermined identification mark to the observation object.

상술된, 소정의 식별표시는 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.The predetermined identification display described above can be configured so that a predetermined figure is displayed on the observation object.

즉, 식별표시는 영상추적부(30)에서 추적된 사각형의 좌표에 따라 관찰대상물이 어안열감지영상에서 이동되는 위치를 나타내도록 처리할 수 있다.That is, the identification mark may be processed so as to indicate the position where the observation object is moved in the fisheye sensor image according to the coordinates of the quadrangle tracked by the image tracking unit 30.

여기서, 영상처리부(50)에서 영상 처리 시에 영상에 대한 정보를 자막처리부(70)에 의해 자막형태로 생성하여 영상에 자막이 표시되도록 디스플레이부(80)로 함께 전송할 수 있다.Here, the image processing unit 50 may generate information on the image in the form of a caption by the caption processing unit 70, and transmit the caption to the display unit 80 so that the caption is displayed on the image.

영상출력단계(S40)에서 디스플레이부(80)에서 어안열감지영상을 처리한 영상처리부로부터 전송받은 영상을 출력한다.In the image output step S40, the display unit 80 outputs the image received from the image processing unit that processed the fisheye sensed image.

도 11은 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제5 구성도이다.11 is a fifth configuration diagram of an automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention.

도 11을 참고하면, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 카메라부(10), 영상점검부(20), 영상추적부(30), 영상분할부(40), 영상처리부(50), 인터페이스부(60), 자막처리부(70), 및 디스플레이부(80)를 포함한다. 여기서, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)의 제5 구성은 도 1 및 도 2에서 나타낸 감시카메라용 자동 다중 추적 영상처리장치(1)와 복수의 카메라를 사용하여 촬영된 복수의 영상이 사용된다는 점과, 복수의 영상을 합성하는 점에서 차이가 있고, 영상을 처리하는 원리가 동일함에 따라 차이가 있는 방법에 대해서만 설명하도록 한다.11, an automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an exemplary embodiment of the present invention includes a camera unit 10, an image checking unit 20, a video tracking unit 30, 40, an image processing unit 50, an interface unit 60, a caption processing unit 70, and a display unit 80. Here, the fifth configuration of the automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes an automatic multi-tracking image processing apparatus 1 for a surveillance camera shown in FIGS. 1 and 2, There is a difference in that a plurality of images taken by using are used and that a plurality of images are synthesized, and only a method in which there is a difference according to the principle of processing an image will be described.

카메라부(10)는 감시되는 촬영대상지역의 가시광선 영역의 영상을 촬영하는 촬영카메라(11), 및 촬영대상지역의 열변화를 감지하는 열감지영상을 촬영하는 열감지카메라(13)를 포함한다. The camera unit 10 includes a photographing camera 11 for photographing an image of a visible light region of a region to be photographed, and a heat sensing camera 13 for photographing a heat sensed image for sensing a thermal change of the photographing target region do.

촬영카메라(11)와 열감지카메라(13)는 각각 촬영을 실시하고, 촬영된 촬영영상과 열감지영상을 각각 영상추적부(30)와 영상분할부(40)로 전송하도록 구비된다. The photographing camera 11 and the thermal sensing camera 13 are respectively provided for photographing and transmitting the photographed image and the heat sensed image to the image tracing unit 30 and the image dividing unit 40, respectively.

여기서, 카메라부(10)는 촬영대상지역을 촬영하는 촬영카메라(11)와 열변화를 감지하는 열감지카메라(13)가 포함되는 것으로, 침입자의 침입이나 화재 발생과 같은 열변화를 감지하는 열감지영상과, 주변 지역을 촬영하는 촬영영상을 각각 영상추적부(30)와 영상분할부(40)로 전송하도록 구비된다. 즉, 카메라부(10)는 촬영대상지역 내에 열변화를 감지하는 열감지영상과 열변화에 따른 주변상황을 촬영하는 촬영영상을 통해서 침입자 발생 및 화재 발생과 같은 상황 발생 감시뿐만 아니라 상황이 발생되는 원인과 진행상황을 지속적으로 감시할 수 있어 감시 효율의 증대뿐만 아니라 사전 예방과 사후 조치에 따른 다양한 영상정보를 제공할 수 있다.Here, the camera unit 10 includes a photographing camera 11 for photographing an area to be photographed, and a heat sensing camera 13 for sensing a thermal change. The camera unit 10 includes a column for detecting a thermal change such as intrusion of an intruder or fire And transmits the sensed image and the photographed image of the surrounding area to the image tracking unit 30 and the image segmenting unit 40, respectively. That is, the camera unit 10 not only monitors the occurrence of an intruder and the occurrence of a fire through a thermal sensed image sensing a thermal change in the region to be photographed, It is possible to continuously monitor the cause and progress, thereby providing a variety of image information according to prevention and follow-up measures as well as enhancement of monitoring efficiency.

영상추적부(30)는 촬영영상과 열감지영상 내에 이동되는 관찰대상물의 좌표를 각각 추적하면서 추출하여 영상처리부(50)로 전송한다. 이때, 영상추적부(30)는 관찰대상물의 바깥 둘레를 사각형상으로 표시하는 좌표를 생성하고, 표시된 사각형상이 관찰대상물과 함께 추적 이동되면서 감시자가 용이하게 식별하도록 사각형상의 좌표를 영상처리부(50)로 전송한다. 또한, 영상추적부(30)는 촬영영상과 열추적영상에서 복수의 관찰대상물이 나타나면 이에 따라 다중으로 이동되는 좌표를 추적하면서 추출하여 영상처리부(50)로 전송할 수 있다.The image tracking unit 30 extracts the coordinates of the moving object and the coordinates of the moving object within the thermal sensing image, and transmits the coordinates to the image processing unit 50. At this time, the image tracking unit 30 generates coordinates for displaying the outer circumference of the observation object in a rectangular shape, and displays coordinates of a rectangular shape in the image processing unit 50 so that the monitor can easily identify the displayed rectangular image while being traced along with the observation object. Lt; / RTI > In addition, if a plurality of observation objects appear in the photographed image and the heat traced image, the image tracking unit 30 may extract and track the coordinates that are moved in multiple, and transmit the extracted coordinates to the image processing unit 50.

영상분할부(40)는 촬영카메라(11)와 열감지카메라(13)에서 전송된 촬영영상과 열감지영상을 각각 복수의 구획으로 분할하여 분할된 촬영영상과 열감지영상을 영상처리부(50)로 전송한다. The image dividing unit 40 divides the photographed image and the heat sensed image transmitted from the photographic camera 11 and the thermal sensing camera 13 into a plurality of sections and divides the photographed image and the thermally sensed image into image segments, Lt; / RTI >

영상처리부(50)는 영상분할부(40)로부터 전송받은 분할된 촬영영상과 열감지영상의 분할된 위치를 유지하면서 하나의 영상으로 합성하고, 합성된 영상에서 분할된 복수의 영상 중 적어도 하나의 영상을 배치하고 영상의 이동 또는 대체, 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 영상을 처리하도록 구비된다.The image processing unit 50 combines the divided shot images and the thermal sensed images transmitted from the image segmenting unit 40 into a single image while maintaining the divided positions, Arranging the images, moving or replacing the images, enlarging and reducing the images, and applying the virtual pan-tilt and zoom-in / zoom-out functions to process the images.

이런, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In this way, the image processing unit 50 can process the virtual pan-tilt function by changing the arrangement position of at least one image arranged based on the coordinate information.

또한, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.Also, the image processing unit 50 may process the virtual pan-tilt function by replacing at least one image arranged based on the coordinate information with another image.

그리고, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다. 이런, 인터페이스부(60)는 사용자가 조작에 의해 합성된 영상 내에 팬, 틸트, 및 줌 기능을 수행할 수 있고, 영상추적부(30)에서 추출된 좌표에 의해 관찰대상물을 따라서 자동으로 이동을 추적하도록 입력값을 설정할 수 있다.The image processing unit 50 can process the virtual pan-tilt function by changing the arrangement position of at least one image arranged on the basis of the input value input through the user interface unit 60. [ The interface unit 60 can perform a pan, tilt, and zoom function in an image synthesized by a user, and automatically moves according to the coordinates extracted by the image tracking unit 30 along the object to be observed You can set the input value to trace.

아울러, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 may process a virtual pan-tilt function by replacing at least one image arranged on the basis of the input value inputted through the user interface unit 60 with another image.

또한, 영상처리부(50)에서 좌표정보에 기초하여 관찰대상물의 이동을 표시하여 합성된 영상을 처리할 수 있다.Further, the image processing unit 50 can display the movement of the observation object based on the coordinate information, and process the synthesized image.

그리고, 관찰대상물의 이동의 표시는, 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object can give a predetermined identification mark to the observation object.

상술된, 소정의 식별표시는 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.The predetermined identification display described above can be configured so that a predetermined figure is displayed on the observation object.

즉, 식별표시는 영상추적부(30)에서 추적된 사각형의 좌표에 따라 관찰대상물이 촬영영상과 열감지영상을 합성한 영상에서 이동되는 위치를 나타내도록 처리할 수 있다.That is, the identification mark can be processed so as to indicate the position where the observation object is moved in the image obtained by combining the photographed image and the heat sensed image according to the coordinates of the quadrangle tracked by the image tracking unit 30. [

영상출력단계(S40)에서 디스플레이부(80)에서 촬영영상과 열감지영상을 합성 처리한 영상처리부(50)로부터 전송받은 영상을 출력한다.In the video output step S40, the display unit 80 outputs the received image from the image processing unit 50 that combines the captured image and the thermal sensed image.

도 12는 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제6 구성도이고, 도 13은 도 12의 감시카메라용 자동 다중 추적 영상처리장치의 카메라부에서 출력되는 어안영상들의 화면의 예이다.FIG. 12 is a sixth configuration diagram of an automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention. FIG. .

도 12 및 도 13을 참고하면, 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 카메라부(10), 영상점검부(20), 영상추적부(30), 영상분할부(40), 영상처리부(50), 인터페이스부(60), 자막처리부(70), 및 디스플레이부(80)를 포함한다. 여기서, 본 발명의 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)의 제6 구성은 도 1 및 도 2에서 나타낸 감시카메라용 자동 다중 추적 영상처리장치(1)와 복수의 카메라를 사용하여 촬영된 복수의 영상이 사용된다는 점과, 복수의 영상을 합성하는 점에서 차이가 있고, 영상을 처리하는 원리가 동일함에 따라 차이가 있는 방법에 대해서만 설명하도록 한다.12 and 13, an automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes a camera unit 10, an image checking unit 20, a video tracking unit 30, An image processing unit 50, an interface unit 60, a subtitling processing unit 70, and a display unit 80. The image dividing unit 40, the image processing unit 50, Herein, the sixth configuration of the automatic multi-tracking image processing apparatus 1 for a surveillance camera according to the embodiment of the present invention includes an automatic multi-tracking image processing apparatus 1 for a surveillance camera shown in FIGS. 1 and 2, There is a difference in that a plurality of images taken by using are used and that a plurality of images are synthesized, and only a method in which there is a difference according to the principle of processing an image will be described.

카메라부(10)는 서로 다른 방향으로 한쌍으로 설치되어 영상이 합성되면 360도 전방위각과 전고도각이 촬영되는 어안카메라(12)들을 포함한다. 한쌍의 어안카메라(12)들은 각각 서로 다른 방향에서 촬영을 실시하고, 한쌍의 어안카메라(12)들에서 촬영된 2개의 어안영상들을 각각 영상추적부(30)와 영상분할부(40)로 전송하도록 구비된다. 여기서, 카메라부(10)는 상호 반대되는 방향으로 각각 180도의 방위각과 고도각을 가지는 어안영상이 촬영되는 한쌍의 어안카메라(12)들이 포함되는 것으로, 상호 반대되는 어안영상을 합성하게 되면 360도의 전방위각과 전고도각의 화각을 가지는 영상을 확보할 수 있음에 따라 사각 지역이 없이 전체방향의 영상을 촬영할 수 있어 감시 영역을 확대시켜 감시 효율이 향상될 수 있다. The camera unit 10 includes a pair of fisheye cameras 12 that are installed in pairs in different directions, and when the images are synthesized, a 360 degree omnidirectional angle and a total altitude angle are photographed. The pair of fisheye cameras 12 photographs in different directions and transmits the two fisheye images photographed by the pair of fisheye cameras 12 to the image tracking unit 30 and the image dividing unit 40, . Here, the camera unit 10 includes a pair of fisheye cameras 12 for taking a fisheye image having an azimuth angle and an altitude angle of 180 degrees in mutually opposite directions, and when the fisheye images opposite to each other are synthesized, Since the image having the angle of view of the omnidirectional angle and the total altitude angle can be obtained, the image of the entire direction can be taken without a rectangular area, and the surveillance efficiency can be improved by enlarging the surveillance area.

영상추적부(30)는 2개의 어안영상들내에 이동되는 관찰대상물의 좌표를 각각 추적하면서 추출하여 영상처리부(50)로 전송한다. 이때, 영상추적부(30)는 관찰대상물의 바깥 둘레를 사각형상으로 표시하는 좌표를 생성하고, 표시된 사각형상이 관찰대상물과 함께 추적 이동되면서 감시자가 용이하게 식별하도록 사각형상의 좌표를 영상처리부(50)로 전송한다. 또한, 영상추적부(30)는 어안영상들에서 복수의 관찰대상물이 나타나면 이에 따라 다중으로 이동되는 좌표를 추적하면서 추출하여 영상처리부(50)로 전송할 수 있다.The image tracking unit 30 extracts and extracts the coordinates of the observation object moved in the two fisheye images, respectively, and transmits the extracted coordinates to the image processing unit 50. [ At this time, the image tracking unit 30 generates coordinates for displaying the outer circumference of the observation object in a rectangular shape, and displays coordinates of a rectangular shape in the image processing unit 50 so that the monitor can easily identify the displayed rectangular image while being traced along with the observation object. Lt; / RTI > In addition, the image tracking unit 30 may extract and track the coordinates that are moved in multiple when the plurality of observation objects appear in the fisheye images, and may transmit the extracted coordinates to the image processing unit 50.

영상분할부(40)는 한쌍의 어안카메라(12)들에서 전송된 2개의 어안영상들을 각각 복수의 구획으로 분할하여 분할된 어안영상들을 영상처리부(50)로 전송하도록 구비된다.The image dividing unit 40 divides the two fisheye images transmitted from the pair of fisheye cameras 12 into a plurality of sections and transmits the divided fisheye images to the image processing unit 50.

영상처리부(50)는 영상분할부(40)로부터 전송받은 분할된 2개에 어안영상들의 분할된 위치를 유지하면서 하나의 어안영상으로 합성하고, 합성된 어안영상에서 분할된 복수의 어안영상 중 적어도 하나의 어안영상을 배치하고 어안영상의 이동 또는 대체, 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 어안영상을 처리하도록 구비된다. The image processing unit 50 may combine the two divided phantom images transmitted from the image dividing unit 40 into a single phantom image while maintaining the divided positions of the two phantom images, Arranging one fisheye image, moving or replacing a fisheye image, enlarging and reducing the image, and applying a virtual pan-tilt and zoom-in-zoom-out function to process the fisheye image.

이런, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 어안영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In this way, the image processing unit 50 can process the virtual pan-tilt function by changing the arrangement position of at least one fisheye image disposed based on the coordinate information.

또한, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 어안영상을 다른 어안영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 can process the virtual pan-tilt function by replacing at least one fisheye image disposed based on the coordinate information with another fisheye image.

그리고, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 어안영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다. 이런, 인터페이스부(60)는 사용자가 조작에 의해 합성된 어안영상 내에 팬, 틸트, 및 줌 기능을 수행할 수 있고, 영상추적부(30)에서 추출된 좌표에 의해 관찰대상물을 따라서 자동으로 이동을 추적하도록 입력값을 설정할 수 있다.The image processing unit 50 may process the virtual pan-tilt function by changing the arrangement position of at least one fisheye image arranged on the basis of the input value input through the user interface unit 60. [ The interface unit 60 can perform a pan, tilt, and zoom function in a fisheye image synthesized by a user, and automatically moves along the object to be observed according to the coordinates extracted by the image tracking unit 30. [ The input value can be set to track the input.

아울러, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 어안영상을 다른 어안영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 may process a virtual pan-tilt function by replacing at least one fisheye image disposed on the basis of the input value input through the user interface unit 60 with another fisheye image.

또한, 영상처리부(50)에서 좌표정보에 기초하여 관찰대상물의 이동을 표시하여 합성된 어안영상을 처리할 수 있다.In addition, the image processing unit 50 can display the movement of the observation object based on the coordinate information and process the synthesized fisheye image.

그리고, 관찰대상물의 이동의 표시는, 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object can give a predetermined identification mark to the observation object.

상술된, 소정의 식별표시는 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.The predetermined identification display described above can be configured so that a predetermined figure is displayed on the observation object.

즉, 식별표시는 영상추적부(30)에서 추적된 사각형의 좌표에 따라 관찰대상물이 2개에 어안영상을 합성한 어안영상에서 이동되는 위치를 나타내도록 처리할 수 있다.That is, the identification mark can be processed so as to indicate the position where the observation object is moved in the fisheye image synthesized with the two fisheye images according to the coordinates of the quadrangle tracked by the image tracking unit 30. [

영상출력단계(S40)에서 디스플레이부(80)에서 2개의 어안영상을 합성 처리한 영상처리부(50)로부터 전송받은 영상을 출력한다.In the image output step S40, the display unit 80 outputs the image transmitted from the image processing unit 50 obtained by synthesizing the two fisheye images.

도 14는 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치의 제7 구성도이고, 도 15는 도 14의 감시카메라용 자동 다중 추적 영상처리장치의 카메라부에서 출력되는 파노라마영상들의 화면의 제1 예이며, 도 16은 도 14의 감시카메라용 자동 다중 추적 영상처리장치의 카메라부에서 출력되는 파노라마영상들의 화면의 제2 예이다.FIG. 14 is a seventh configuration diagram of an automatic multi-tracking image processing apparatus for a surveillance camera according to an embodiment of the present invention, FIG. 15 is a view showing a panoramic image And FIG. 16 is a second example of a screen of panoramic images output from the camera unit of the automatic multi-tracking image processing apparatus for a surveillance camera of FIG.

도 14 내지 도 16을 참고하면, 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)는 카메라부(10), 영상점검부(20), 영상추적부(30), 영상분할부(40), 영상처리부(50), 인터페이스부(60), 자막처리부(70), 및 디스플레이부(80)를 포함한다. 여기서, 본 발명의 일 실시예에 따른 감시카메라용 자동 다중 추적 영상처리장치(1)의 제7 구성은 도 1 및 도 2에서 나타낸 감시카메라용 자동 다중 추적 영상처리장치(1)와 복수의 카메라를 사용하여 촬영된 복수의 영상이 사용된다는 점과, 복수의 영상을 합성하는 점에서 차이가 있고, 영상을 처리하는 원리가 동일함에 따라 차이가 있는 방법에 대해서만 설명하도록 한다.14 to 16, an automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes a camera unit 10, an image checking unit 20, a video tracking unit 30, An image processing unit 50, an interface unit 60, a subtitling processing unit 70, and a display unit 80. The image dividing unit 40, the image processing unit 50, Here, the seventh configuration of the automatic multi-tracking image processing apparatus 1 for a surveillance camera according to an embodiment of the present invention includes an automatic multi-tracking image processing apparatus 1 for a surveillance camera shown in Figs. 1 and 2, And a method in which a plurality of images are synthesized and a method in which there is a difference according to the principle of processing an image will be described.

카메라부(10)는 서로 다른 방향으로 한쌍으로 설치되어 영상이 합성되면 360도 전방위각이 촬영되는 파노라마카메라(15)들을 포함한다. 한쌍의 파노라마카메라(15)들에서 각각 서로 다른 방향에서 촬영을 실시하고, 촬영된 2개의 파노라마영상들을 각각 영상추적부(30)와 영상분할부(40)로 전송하도록 구비된다. 여기서, 카메라부(10)는 상호 반대되는 방향으로 각각 180도의 방위각을 가지는 파노라마영상이 촬영되는 한쌍의 파노라마카메라(15)들이 포함되는 것으로, 상호 반대되는 파노라마영상을 합성하게 되면 360도의 전방위각의 화각을 가지는 영상을 확보할 수 있음에 따라 방위각 위치에서 사각지역이 없이 전체 방위각을 나타내는 영상을 촬영할 수 있어 감시 영역을 확대시켜 감시 효율이 향상될 수 있다. The camera unit 10 includes a pair of panoramic cameras 15 which are installed in pairs in different directions and are 360 degrees when the images are synthesized. A pair of panoramic cameras 15 photographs the panoramic images in different directions and transmits the photographed panoramic images to the image tracking unit 30 and the image dividing unit 40, respectively. Here, the camera unit 10 includes a pair of panoramic cameras 15 in which panoramic images having azimuth angles of 180 degrees are respectively photographed in directions opposite to each other. When the panoramic images opposite to each other are synthesized, Since the image having the angle of view can be secured, the image showing the entire azimuth angle can be photographed without the square area at the azimuth angle position, and the monitoring efficiency can be improved by enlarging the surveillance area.

영상추적부(40)는 2개의 파노라마영상들내에 이동되는 관찰대상물의 좌표를 각각 추적하면서 추출하여 영상처리부(50)로 전송한다. 이때, 영상추적부(40)는 관찰대상물의 바깥 둘레를 사각형상으로 표시하는 좌표를 생성하고, 표시된 사각형상이 관찰대상물과 함께 추적 이동되면서 감시자가 용이하게 식별하도록 사각형상의 좌표를 영상처리부(50)로 전송한다. 또한, 영상추적부(40)는 파노라마영상들에서 복수의 관찰대상물이 나타나면 이에 따라 다중으로 이동되는 좌표를 추적하면서 추출하여 영상처리부(50)로 전송할 수 있다.The image tracking unit 40 extracts the coordinates of the moving object within the two panorama images while tracking them, and transmits the coordinates to the image processing unit 50. At this time, the image tracking unit 40 generates coordinates for displaying the outer circumference of the observation object in a rectangular shape, and displays coordinates of the rectangular shape in the image processing unit 50 so that the monitor can easily identify the displayed rectangular image while being traced along with the observation object. Lt; / RTI > When a plurality of observation objects are displayed in the panorama images, the image tracking unit 40 may extract and track the coordinates that are moved in multiple, and transmit the extracted coordinates to the image processing unit 50.

영상분할부(40)는 전송된 2개의 파노라마영상들을 각각 복수의 구획으로 분할하여 분할된 파노라마영상들을 영상처리부(50)로 전송한다. The image divider 40 divides the transmitted two panorama images into a plurality of sections and transmits the divided panorama images to the image processing unit 50. [

영상처리부(50)는 영상분할부(40)로부터 전송받은 분할된 2개에 파노라마영상들의 분할된 위치를 유지하면서 하나의 파노라마영상으로 합성하고, 합성된 파노라마영상에서 분할된 복수의 파노라마영상 중 적어도 하나의 파노라마영상을 배치하고 파노라마영상의 이동 또는 대체, 영상에 대한 확대 및 축소를 처리하여 가상의 팬-틸트, 줌인-줌아웃 기능 적용하여 파노라마영상을 처리하는 단계이다.The image processing unit 50 combines the divided panorama images into a single panorama image while maintaining the divided positions of the divided two panorama images transmitted from the image division unit 40, One panorama image is arranged, and the panorama image is processed by processing the movement or replacement of the panorama image, enlarging and reducing the image, and applying the virtual pan-tilt and zoom-in and zoom-out functions.

이런, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 파노라마영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다.In this way, the image processing unit 50 can process the virtual pan-tilt function by changing the arrangement position of at least one panorama image arranged based on the coordinate information.

또한, 영상처리부(50)는 좌표정보에 기초하여 배치된 적어도 하나의 파노라마영상을 다른 파노라마영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.Also, the image processing unit 50 may process the virtual pan-tilt function by replacing at least one panoramic image arranged based on the coordinate information with another panoramic image.

그리고, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 파노라마영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리할 수 있다. 이런, 인터페이스부(60)는 사용자가 조작에 의해 합성된 파노라마영상 내에 팬, 틸트, 및 줌 기능을 수행할 수 있고, 영상추적부(30)에서 추출된 좌표에 의해 관찰대상물을 따라서 자동으로 이동을 추적하도록 입력값을 설정할 수 있다.The image processing unit 50 may process the virtual pan-tilt function by changing the arrangement position of the at least one panorama image arranged on the basis of the input values inputted through the user interface unit 60. [ The interface unit 60 can perform a pan, tilt, and zoom function in the panoramic image synthesized by the user. The interface unit 60 can be automatically moved along the object to be observed according to the coordinates extracted by the image tracking unit 30 The input value can be set to track the input.

아울러, 영상처리부(50)는 사용자 인터페이스부(60)를 통해 입력된 입력값을 기초로 배치된 적어도 하나의 파노라마영상을 다른 파노라마영상으로 대체하여 가상의 팬-틸트 기능을 처리할 수 있다.In addition, the image processing unit 50 may process a virtual pan-tilt function by replacing at least one panoramic image arranged on the basis of the input value inputted through the user interface unit 60 with another panoramic image.

또한, 영상처리부(50)에서 좌표정보에 기초하여 관찰대상물의 이동을 표시하여 합성된 파노라마영상을 처리할 수 있다.In addition, the image processing unit 50 can display the movement of the observation object based on the coordinate information and process the combined panorama image.

그리고, 관찰대상물의 이동의 표시는, 관찰대상물에 소정의 식별표시를 부여할 수 있다.The display of the movement of the observation object can give a predetermined identification mark to the observation object.

상술된, 소정의 식별표시는 관찰대상물에 소정의 도형이 표시되도록 구성할 수 있다.The predetermined identification display described above can be configured so that a predetermined figure is displayed on the observation object.

즉, 식별표시는 영상추적부(30)에서 추적된 사각형의 좌표에 따라 관찰대상물이 2개에 파노라마영상을 합성한 파노라마영상에서 이동되는 위치를 나타내도록 처리할 수 있다.That is, the identification mark can be processed so as to indicate the position where the observation object is moved in the panorama image obtained by combining the two panorama images according to the coordinates of the quadrangle tracked by the image tracking unit 30.

영상출력단계(S40)에서 디스플레이부(80)에서 2개의 파노라마영상을 합성 처리한 영상처리부(50)로부터 전송받은 영상을 출력한다.In the video output step S40, the display unit 80 outputs the received image from the image processing unit 50 that synthesizes the two panorama images.

한편, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, And is not intended to limit the scope of the invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

<도면의 주요 부분에 대한 부호의 설명>
1 : 영상처리장치
10 : 카메라부 11 : 촬영카메라
12 : 어안카메라 13 : 열감지카메라
14 : 어안열감지카메라 15 : 파노라마카메라
20: 영상점검부 30 : 영상추적부
40 : 영상분할부 50 : 영상처리부
60 : 인터페이스부 70 : 자막처리부
80 : 디스플레이부Description of the Related Art
1: Image processing device
10: camera part 11: photographing camera
12: Fish eye camera 13: Thermal camera
14: fish eye heat sensing camera 15: panoramic camera
20: image checking unit 30: image tracking unit
40: image divider 50: image processor
60: interface unit 70: caption processing unit
80:

Claims (18)

180도 화각을 갖는 렌즈가 설치되어 촬영대상지역의 영상을 촬영하는 카메라부;
상기 촬영된 영상에서 이동하는 관찰대상물을 인식하고 상기 관찰대상물의 이동에 따른 좌표정보를 생성하는 영상추적부;
상기 영상을 복수의 영역으로 분할하고, 각각의 분할된 영역의 영상을 생성하는 영상분할부;
상기 영상분할부로부터 전송받은 복수의 분할된 영역의 영상 중 적어도 하나의 영상을 이동 또는 대체, 확대 및 축소 처리하는 영상처리부; 및
상기 카메라부에서 촬영된 촬영대상지역의 영상 및 상기 영상처리부에서 처리된 복수의 분할된 영역의 영상을 함께 디스플레이하는 디스플레이부;를 포함하고,
상기 영상추적부는, 상기 영상에 이동하는 관찰대상물이 2 이상 표시되면 상기 2 이상의 관찰대상물을 동시에 인식하고, 상기 2 이상의 관찰대상물의 좌표정보를 생성하여 상기 영상처리부로 전송하고,
상기 디스플레이부는 상기 촬영대상지역의 영상을 상기 디스플레이부의 중앙에 배치하고, 상기 복수의 분할된 영역의 영상을 상기 디스플레이부의 중앙 둘레의 분할된 위치에 배치하여, 상기 촬영대상지역의 전체 영상과 상기 전체 영상에서 분할된 영역에 대한 복수의 영상을 하나의 디스플레이부 내에 동시에 표시하며,
상기 영상처리부는 각각의 분할된 영역의 영상을 확대 또는 축소함으로써 가상의 팬, 틸트 또는 줌 기능을 실현하고,
상기 영상처리부에서 확대 또는 축소 처리된 영상은 상기 복수의 분할된 영역 중 해당 영역 내에서 디스플레이되는 것인,
감시카메라용 자동 다중 추적 영상처리장치.
A camera unit for photographing an image of a region to be photographed provided with a lens having an angle of view of 180 degrees;
A video tracking unit for recognizing an observer moving in the photographed image and generating coordinate information according to movement of the observer;
An image dividing unit dividing the image into a plurality of regions and generating an image of each of the divided regions;
An image processor for moving, replacing, enlarging and reducing at least one image of the plurality of divided regions transmitted from the image divider; And
And a display unit for displaying an image of a shooting object region photographed by the camera unit and an image of a plurality of divided regions processed by the image processing unit,
Wherein the image tracking unit simultaneously recognizes the at least two objects to be observed when two or more objects to be observed are displayed on the image and generates coordinate information of the at least two objects to be observed and transmits the coordinate information to the image processing unit,
Wherein the display unit is arranged in the center of the display unit and the image of the plurality of divided regions is arranged at a divided position around the center of the display unit so that the entire image of the shooting target area and the entire A plurality of images for the divided regions in the image are simultaneously displayed in one display unit,
The image processing unit realizes a virtual pan, tilt, or zoom function by enlarging or reducing the image of each divided area,
Wherein the image enlarged or reduced by the image processing unit is displayed in a corresponding one of the plurality of divided areas.
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 영상처리부는 상기 좌표정보에 기초하여 상기 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리하는,
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the image processing unit processes the virtual pan-tilt function by changing an arrangement position of the arranged at least one image based on the coordinate information,
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 영상처리부는 상기 좌표정보에 기초하여 상기 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리하는,
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the image processing unit processes the virtual pan-tilt function by replacing the arranged at least one image with another image based on the coordinate information,
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 영상처리부는 사용자 인터페이스부를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 영상의 배치위치를 변경하여 가상의 팬-틸트 기능을 처리하는,
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the image processing unit processes a virtual pan-tilt function by changing an arrangement position of the arranged at least one image based on an input value input through a user interface unit,
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 영상처리부는 사용자 인터페이스부를 통해 입력된 입력값을 기초로 상기 배치된 적어도 하나의 영상을 다른 영상으로 대체하여 가상의 팬-틸트 기능을 처리하는,
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the image processing unit processes the virtual pan-tilt function by replacing the at least one image with another image based on the input value input through the user interface unit,
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 영상처리부는 상기 좌표정보에 기초하여 상기 관찰대상물의 이동을 표시하여 영상을 처리하는
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the image processing unit displays the movement of the observation object based on the coordinate information and processes the image
Automatic multiple tracking image processing device for surveillance cameras.
제6항에 있어서,
상기 관찰대상물의 이동의 표시는, 상기 관찰대상물에 소정의 식별표시를 부여하는
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 6,
The display of the movement of the observation object may include displaying the movement of the observation object
Automatic multiple tracking image processing device for surveillance cameras.
제7항에 있어서,
상기 소정의 식별표시는 상기 관찰대상물에 소정의 도형이 표시되도록 구성하는
감시카메라용 자동 다중 추적 영상처리장치.
8. The method of claim 7,
Wherein the predetermined identification display is configured so that a predetermined figure is displayed on the observation object
Automatic multiple tracking image processing device for surveillance cameras.
제 1 항에 있어서,
상기 카메라부는 어안렌즈를 구비한 어안카메라이며, 상기 어안카메라로 촬영된 어안영상을 상기 영상추적부와 상기 영상분할부로 전송하는
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the camera unit is a fisheye camera having a fisheye lens and transmits a fisheye image photographed by the fisheye camera to the image tracking unit and the image dividing unit
Automatic multiple tracking image processing device for surveillance cameras.
삭제delete 제1항에 있어서,
상기 카메라부는 어안렌즈를 구비하고 열변화를 감지하는 어안열감지카메라이며, 상기 어안열감지카메라로 촬영된 열감지어안영상을 상기 영상추적부와 상기 영상분할부로 전송하는,
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the camera unit is a fisheye thermal sensing camera having a fisheye lens and detects a thermal change, and transmits the thermal sensation image captured by the fisheye thermal sensing camera to the image tracking unit and the image dividing unit,
Automatic multiple tracking image processing device for surveillance cameras.
삭제delete 제 1 항에 있어서,
상기 카메라부는, 180도 화각과 고도각을 가지는 어안렌즈가 상기 촬영대상지역의 서로 반대되는 방향으로 배치된 한쌍의 어안카메라이고, 상기 한쌍의 어안카메라에 의해 360도 화각과 전고도각의 어안영상을 촬영하는 것인,
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the camera unit is a pair of fisheye cameras having a fisheye lens having an angle of view of 180 degrees and an elevation angle of the fisheye lens arranged in directions opposite to each other in the region to be photographed, Lt; / RTI &gt;
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 카메라부는, 180도 화각을 가지는 파노라마렌즈가 상기 촬영대상지역의 서로 반대되는 방향으로 배치된 한쌍의 파노라마카메라이고, 상기 한쌍의 파노라마카메라에 의해 360도 화각의 파노라마영상을 촬영하는 것인,
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
Wherein the panoramic camera having a view angle of 180 degrees is a pair of panoramic cameras disposed in directions opposite to each other in the region to be photographed and the panoramic camera having a view angle of 360 degrees is photographed by the pair of panoramic cameras,
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 영상처리부는 상기 영상추적부와 상기 영상분할부로부터 복수의 영상이 수신되면 좌표위치와 분할된 위치에 유지하면서 하나의 영상으로 합성하는
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
The image processing unit, when receiving a plurality of images from the image tracking unit and the image dividing unit, combines the images into one image while maintaining the positions of the images at the divided positions
Automatic multiple tracking image processing device for surveillance cameras.
삭제delete 제1항에 있어서,
상기 영상처리부는 분할되는 영상의 분할 위치 정보, 촬영된 날짜 정보, 및 촬영되는 위치정보 중 적어도 하나를 상기 디스플레이에서 출력되도록 상기 디스플레이부로 전송하는
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
The image processor transmits at least one of divided position information of the divided image, photographed date information, and photographed position information to the display unit so as to be output from the display
Automatic multiple tracking image processing device for surveillance cameras.
제1항에 있어서,
상기 카메라부에 연결되어 상기 카메라부로부터 영상 신호의 존재 여부를 점검하여 영상 신호가 존재하지 않으면, 상기 카메라부에 리셋신호를 전송하는 영상점검부를 더 포함하는
감시카메라용 자동 다중 추적 영상처리장치.
The method according to claim 1,
And an image checking unit connected to the camera unit and checking whether the video signal is present from the camera unit and transmitting a reset signal to the camera unit when the video signal does not exist
Automatic multiple tracking image processing device for surveillance cameras.
KR1020150109696A 2015-08-03 2015-08-03 Apparatus for image processing of surveilance camera by using auto multi-tracing Active KR101619956B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150109696A KR101619956B1 (en) 2015-08-03 2015-08-03 Apparatus for image processing of surveilance camera by using auto multi-tracing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150109696A KR101619956B1 (en) 2015-08-03 2015-08-03 Apparatus for image processing of surveilance camera by using auto multi-tracing

Publications (1)

Publication Number Publication Date
KR101619956B1 true KR101619956B1 (en) 2016-05-11

Family

ID=56026427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150109696A Active KR101619956B1 (en) 2015-08-03 2015-08-03 Apparatus for image processing of surveilance camera by using auto multi-tracing

Country Status (1)

Country Link
KR (1) KR101619956B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108652678A (en) * 2018-03-13 2018-10-16 北京峰誉科技有限公司 A kind of method and device from motion tracking urine
KR20200136649A (en) * 2019-05-28 2020-12-08 한국항공대학교산학협력단 Multi-object tracking device and method in 360 degree video space
CN113727026A (en) * 2021-08-31 2021-11-30 维沃移动通信（杭州）有限公司 Video recording method, device and equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244207A (en) * 2009-04-02 2010-10-28 Univ Of Tokyo Moving object tracking device, moving object tracking method, and moving object tracking program
KR101502448B1 (en) * 2014-09-25 2015-03-13 주식회사 영국전자 Video Surveillance System and Method Having Field of Views of 360 Degrees Horizontally and Vertically

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244207A (en) * 2009-04-02 2010-10-28 Univ Of Tokyo Moving object tracking device, moving object tracking method, and moving object tracking program
KR101502448B1 (en) * 2014-09-25 2015-03-13 주식회사 영국전자 Video Surveillance System and Method Having Field of Views of 360 Degrees Horizontally and Vertically

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108652678A (en) * 2018-03-13 2018-10-16 北京峰誉科技有限公司 A kind of method and device from motion tracking urine
CN108652678B (en) * 2018-03-13 2024-05-17 上海科勒电子科技有限公司 Method and device for automatically tracking urine
KR20200136649A (en) * 2019-05-28 2020-12-08 한국항공대학교산학협력단 Multi-object tracking device and method in 360 degree video space
KR102233494B1 (en) * 2019-05-28 2021-03-26 한국항공대학교산학협력단 Multi-object tracking device and method in 360 degree video space
CN113727026A (en) * 2021-08-31 2021-11-30 维沃移动通信（杭州）有限公司 Video recording method, device and equipment

Similar Documents

Publication Publication Date Title
US9369612B2 (en) Image fusion system and method
KR101530255B1 (en) Cctv system having auto tracking function of moving target
KR101982751B1 (en) Video surveillance device with motion path tracking technology using multi camera
US7366359B1 (en) Image processing of regions in a wide angle video camera
JP4912117B2 (en) Imaging device with tracking function
US11172158B2 (en) System and method for augmented video production workflow
KR101776702B1 (en) Monitoring camera for generating 3 dimensional scene and method thereof
KR101778744B1 (en) Monitoring system through synthesis of multiple camera inputs
JP2006523043A (en) Method and system for monitoring
US20050052533A1 (en) Object tracking method and object tracking apparatus
KR101619953B1 (en) Method for image processing of surveilance camera by using auto multi-tracing
WO2009066988A2 (en) Device and method for a surveillance system
EP3454548B1 (en) Image processing apparatus, program, and method
KR20130130544A (en) Method and system for presenting security image
JP4309900B2 (en) Video surveillance system
KR102282470B1 (en) Camera apparatus and method of object tracking using the same
KR101832274B1 (en) System for crime prevention of intelligent type by video photographing and method for acting thereof
KR101619956B1 (en) Apparatus for image processing of surveilance camera by using auto multi-tracing
Lin et al. Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system
KR20190026625A (en) Image displaying method, Computer program and Recording medium storing computer program for the same
KR101288881B1 (en) Set up a number of areas of surveillance and monitoring of surveillance cameras in the area to shoot enlarged system
KR102634188B1 (en) System for monitoring image
KR101738514B1 (en) Monitoring system employing fish-eye thermal imaging camera and monitoring method using the same
KR20180134114A (en) Real Time Video Surveillance System and Method
JP2002101408A (en) Supervisory camera system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150803

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20150806

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20150803

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151013

Patent event code: PE09021S01D

AMND Amendment
PE0601 Decision on rejection of patent

Patent event date: 20160225

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20151013

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20160225

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20151211

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20160422

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20160325

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20160225

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20151211

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160503

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160503

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200504

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210331

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220503

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240429

Start annual number: 9

End annual number: 9