KR102125870B1 - Device for analysing image of three dimensional using radar and cctv - Google Patents
Device for analysing image of three dimensional using radar and cctv Download PDFInfo
- Publication number
- KR102125870B1 KR102125870B1 KR1020200035106A KR20200035106A KR102125870B1 KR 102125870 B1 KR102125870 B1 KR 102125870B1 KR 1020200035106 A KR1020200035106 A KR 1020200035106A KR 20200035106 A KR20200035106 A KR 20200035106A KR 102125870 B1 KR102125870 B1 KR 102125870B1
- Authority
- KR
- South Korea
- Prior art keywords
- radar
- moving object
- cctv
- data
- image analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
본 발명에 따른 레이더와 CCTV를 이용한 3차원 영상분석 장치는 탐지영역의 이동객체를 탐지하여 상기 이동객체의 좌표값을 포함하는 3차원 레이더데이터를 생성하는 제1 레이더로부터 상기 3차원 레이더데이터를 수신하는 레이더데이터 수신부, 상기 탐지영역의 상기 이동객체를 촬영하여 2차원 영상데이터를 생성하는 적어도 하나의 CCTV로부터 상기 2차원 영상데이터를 수신하는 영상데이터 수신부, 그리고 상기 3차원 레이더데이터와 상기 2차원 영상데이터를 분석하여 상기 이동객체의 위치 및 위치 변화를 측정하고, 상기 이동객체와 상기 탐지영역에 위치한 주요시설물과의 거리를 분석하는 영상분석모듈을 포함정보를 상기 교통신호제어기 또는 관리서버로 전송하는 3차원 영상분석 장치를 포함한다. 이를 통해서, 본 발명은 3차원의 영상분석이 가능하며, 문화재와 같은 주요시설물을 효과적으로 관리하며, 각 정보값을 데이터베이스화하여 사용자에게 간편한 검색할 수 있는 효과를 제공한다. The 3D image analysis apparatus using a radar and CCTV according to the present invention receives the 3D radar data from a first radar that detects a moving object in a detection area and generates 3D radar data including coordinate values of the moving object. A radar data receiving unit, an image data receiving unit receiving the two-dimensional image data from at least one CCTV that captures the moving object in the detection area and generating two-dimensional image data, and the three-dimensional radar data and the two-dimensional image Analyze the data to measure the location and position change of the mobile object, and transmit the information to the traffic signal controller or management server, including an image analysis module that analyzes the distance between the mobile object and the main facility located in the detection area. And a 3D image analysis device. Through this, the present invention is capable of three-dimensional image analysis, effectively manages major facilities such as cultural properties, and provides each user with a convenient search effect by databaseting each information value.
Description
본 발명은 레이더의 레이더데이터와 CCTV의 영상데이터를 이용한 3차원의 영상분석 장치에 관한 것이다.The present invention relates to a three-dimensional image analysis apparatus using radar data of radar and CCTV image data.
최근의 관제시스템은 탐지 범위 및 주변의 자연환경 등에 따른 여러 가지 제약을 개선하기 위해 CCTV 카메라를 이용한 영상분석을 통한 관제시스템이 빠르게 발전하고 있다. In recent years, in order to improve various limitations according to the detection range and surrounding natural environment, the control system through video analysis using a CCTV camera is rapidly developing.
그리고, CCTV 영상 분석 기술은 점점 발달하고 있으며, 최근에는 AI 기술과 딥러링 방식을 적용하여 객체의 종류를 80%까지 인식하는 것이 가능하게 되었다.In addition, CCTV image analysis technology is gradually developing, and recently, it is possible to recognize up to 80% of object types by applying AI technology and deep learning.
하지만, 최근의 CCTV 영상 분석 기술은 영상 분석 만으로 객체간 거리 및 객체까지의 거리를 정확하게 판단하기에는 어려움이 있있다. 그리고, 기존의 관제시스템은 이러한 CCTV 영상 분석의 한계로 인해서, 영상 분석만을 가지고 문화재와 같은 주요시설 관리 및 안전구역 관리를 정확히 분석하기가 불가능한 어려움이 있었다. However, the recent CCTV image analysis technology has difficulty in accurately determining the distance between objects and the distance to the object only by image analysis. In addition, due to the limitations of this CCTV image analysis, the existing control system had difficulty in accurately analyzing the management of major facilities such as cultural properties and the management of safety zones with only image analysis.
또한, 같은 장소에서 여러대의 레이더를 사용하는 경우에는 레이더간 간섭으로 인해서 작동이 안되는 어려움이 있었다.In addition, when using multiple radars in the same place, it was difficult to operate due to interference between radars.
그리고, 이벤트 발생시 발생지점 영상을 확인하기 위하여 검색시 많은 시간이 필요하고, 운영자가 한눈에 시작 시간과 종료 시간을 알수있는 방법이 없어서 필요치 않은 불필요한 영상정보까지 확인하여야 한다는 불편함이 있었다.In addition, it was inconvenient to check for unnecessary video information that is not necessary because there is no way for the operator to know the start time and end time at a glance, in order to check the image of the point of occurrence when an event occurs.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.The items described in this background section are written to improve the understanding of the background of the invention, and may include matters other than the prior art already known to those of ordinary skill in the field to which this technology belongs.
본 발명은 3차원의 레이더데이터와 2차원의 영상데이터를 결합하여 3차원의 영상분석이 가능한 레이더와 CCTV를 이용한 3차원 영상분석 장치를 제안하고자 한다.The present invention is to propose a 3D image analysis apparatus using a radar and CCTV capable of 3D image analysis by combining 3D radar data and 2D image data.
또한, 본 발명은 CCTV 영상의 객체와 레이더의 객체 위치 정보를 결합시킨 3차원의 영상분석을 통해서 문화재와 같은 주요시설물을 효과적으로 관리할 수 있는 레이더와 CCTV를 이용한 3차원 영상분석 장치를 제안하고자 한다.In addition, the present invention is to propose a three-dimensional image analysis device using a radar and CCTV that can effectively manage major facilities such as cultural properties through three-dimensional image analysis that combines object location information of CCTV objects and radar objects. .
또한, 본 발명은 이벤트 발생시에 운영자가 한눈에 시작 시간과 종료 시간을 알수있도록 하여 이벤트 발생지점 영상을 확인하기 위하여 검색시에 소요되는 시간이 현저하게 줄일 수 있는 레이더와 CCTV를 이용한 3차원 영상분석 장치를 제안하고자 한다.In addition, the present invention allows the operator to know the start time and the end time at a glance when an event occurs so that the time required for searching can be significantly reduced to check the event occurrence point image. I would like to suggest a device.
본 발명의 레이더와 CCTV를 이용한 3차원 영상분석 장치는 탐지영역의 이동객체를 탐지하여 상기 이동객체의 좌표값을 포함하는 3차원 레이더데이터를 생성하는 제1 레이더로부터 상기 3차원 레이더데이터를 수신하는 레이더데이터 수신부, 상기 탐지영역의 상기 이동객체를 촬영하여 2차원 영상데이터를 생성하는 적어도 하나의 CCTV로부터 상기 2차원 영상데이터를 수신하는 영상데이터 수신부, 그리고 상기 3차원 레이더데이터와 상기 2차원 영상데이터를 분석하여 상기 이동객체의 위치 및 위치 변화를 측정하고, 상기 이동객체와 상기 탐지영역에 위치한 주요시설물과의 거리를 분석하는 영상분석모듈을 포함한다.The 3D image analysis apparatus using the radar and CCTV of the present invention detects a moving object in a detection area and receives the 3D radar data from a first radar that generates 3D radar data including coordinate values of the moving object. Radar data receiving unit, an image data receiving unit receiving the two-dimensional image data from at least one CCTV that captures the moving object in the detection area and generating two-dimensional image data, and the three-dimensional radar data and the two-dimensional image data And an image analysis module for measuring a position and a change in position of the moving object by analyzing, and analyzing the distance between the moving object and the main facility located in the detection area.
상기 제1 레이더가 상기 탐지영역에 침입한 이동객체를 탐지한 경우에 상기 CCTV를 제어하여 상기 이동객체를 추적하며, 상기 이동객체가 복수인 경우에 각각의 이동객체별로 트래킹번호 및 트래킹시간을 할당하고, 상기 트래킹번호 및 상기 트래킹시간에 따라 복수의 이동객체를 순차적으로 추적하도록 상기 CCTV를 제어하는 이동객체추적모듈을 더 포함할 수 있다.When the first radar detects a moving object that has intruded into the detection area, the CCTV controls the moving object to track, and when there are multiple moving objects, a tracking number and a tracking time are assigned to each moving object. And, it may further include a mobile object tracking module for controlling the CCTV to sequentially track a plurality of mobile objects according to the tracking number and the tracking time.
상기 이동객체추적모듈은, 복수의 CCTV를 상기 제1 레이더와 연동시키고, 상기 3차원 레이더데이터와 각각의 CCTV를 캘리브레이션하고, 상기 이동객체의 좌표값에 따라 상기 복수의 CCTV가 상기 이동객체를 동시에 추적하도록 제어할 수 있다.The moving object tracking module interlocks a plurality of CCTVs with the first radar, calibrates the 3D radar data and each CCTV, and the plurality of CCTVs simultaneously move the moving objects according to the coordinate values of the moving objects. It can be controlled to track.
GIS(지리 정보 시스템, Geographic Information System) 맵의 GIS데이터가 입력되면, 상기 레이더의 측정거리에 대응하여 상기 이동객체의 위치정보와 상기 GIS데이터를 자동으로 맵핑하여 맵핑데이터를 생성하는 GIS맵핑모듈을 더 포함할 수 있다.When GIS data of a GIS (Geographic Information System) map is input, a GIS mapping module that generates mapping data by automatically mapping the location information of the moving object and the GIS data in response to the measurement distance of the radar is generated. It may further include.
상기 GIS맵핑모듈은, 상기 맵핑데이터를 이용하여 상기 이동객체의 위치를 레이더 표시화면에 디스플레이하도록 제어할 수 있다.The GIS mapping module may control the location of the moving object to be displayed on a radar display screen using the mapping data.
상기 탐지영역에 복수의 존(ZONE)을 설정하고, 설정된 시간에 따라 각각의 존을 순차적으로 감시하도록 제어하며, 상기 이동객체가 기설정된 특정 존의 경계선을 통과하여 진입한 경우에 상기 CCTV가 상기 이동객체를 추적하도록 제어하는 존설정모듈을 더 포함할 수 있다.When a plurality of zones are set in the detection area, each zone is controlled to be sequentially monitored according to a set time, and when the mobile object enters through a boundary of a predetermined zone, the CCTV is activated. It may further include a zone setting module that controls to track the moving object.
상기 복수의 존(ZONE)은, 원형, 타원형, 또는 다각형 형상으로 형성할 수 있다.The plurality of zones (ZONE) may be formed in a circular, elliptical, or polygonal shape.
상기 탐지영역 주변에 배치된 제2 레이더의 주파수를 측정하고, 측정된 주파수로 상기 제1 레이더의 주파수를 연동시키는 주파수연동모듈을 더 포함할 수 있다.A frequency interlocking module for measuring the frequency of the second radar disposed around the detection area and interlocking the frequency of the first radar with the measured frequency may be further included.
상기 주파수연동모듈은, 상기 제1 레이더의 3차원 레이더데이터와 상기 제2 레이터의 3차원 레이더데이터를 융합하여 상기 이동객체의 좌표값을 분석할 수 있다.The frequency interlocking module may analyze the coordinate values of the moving object by fusing the 3D radar data of the first radar and the 3D radar data of the second radar.
상기 영상분석모듈은, 상기 탐지영역에 복수의 이동객체를 탐지한 경우에 상기 3차원 레이더데이터로부터 복수의 좌표값을 획득하고, 상기 복수의 좌표값을 상기 CCTV의 2차원 영상데이터와 연동시켜 상기 복수의 이동객체의 위치 및 위치 변화를 분석할 수 있다.The image analysis module acquires a plurality of coordinate values from the three-dimensional radar data when a plurality of moving objects are detected in the detection area, and links the plurality of coordinate values with the two-dimensional image data of the CCTV. It is possible to analyze the positions and changes in the positions of a plurality of moving objects.
상기 영상분석모듈은, 상기 CCTV의 상기 2차원 영상데이터와 레이더의 상기 3차원 레이더데이터를 분석하여 상기 이동객체의 좌표값의 변화값과 상기 이동객체의 메타데이터값을 데이터베이스화하되, 소정시간 간격동안 변화된 상기 좌표값의 변화값과 상기 메터데이터값을 하나의 표시화면에 디스플레이하도록 분석하는 3차원 시간압축 분석모듈을 포함할 수 있다.The image analysis module analyzes the two-dimensional image data of the CCTV and the three-dimensional radar data of a radar to database the change value of the coordinate value of the moving object and the metadata value of the moving object, at a predetermined time interval. It may include a three-dimensional time compression analysis module for analyzing to display the change value of the coordinate value and the metadata value changed during the display on one display screen.
상기 메타데이터값은, 상기 이동객체의 시간정보, 물체크기정보, 및 속도정보 중 적어도 하나를 포함할 수 있다.The metadata value may include at least one of time information, object size information, and speed information of the moving object.
상기 영상분석모듈은, 사용자로부터 특정기간을 입력받는 경우 상기 특정기간동안 상기 이동객체의 움직임 또는 이벤트가 발생한 동선 및 좌표를 표시화면에 디스플레이하되, 상기 이동객체가 탐지된 시간 및 상기 이동객체가 탐지영역을 벗어난 시간을 기준으로 상기 이동객체의 동선을 생성하고, 상기 이동객체가 탐지된 시간동안의 영상을 재생할 수 있다.The image analysis module, when receiving a specific period from a user, displays movement lines or coordinates of the movement or event of the moving object during a specific period on a display screen, but detects the time at which the moving object was detected and the moving object A moving line of the moving object may be generated based on a time outside the region, and an image during the time at which the moving object is detected may be reproduced.
본 발명에 따르면, 레이더로부터 획득한 3차원 레이더데이터와 CCTV에서 촬영한 2차원 영상데이터를 융합시켜 분석함으로써, 3차원의 영상분석이 가능한 환경을 제공한다.According to the present invention, by integrating and analyzing 3D radar data obtained from a radar and 2D image data captured by CCTV, an environment capable of 3D image analysis is provided.
또한, 본 발명은 CCTV 영상의 객체와 레이더의 객체 위치 정보를 결합시킨 3차원의 영상분석을 통해서 탐지영역에 진입한 이동객체의 위치를 정확히 분석하고, 이동객체를 위치변화를 추적함으로써, 문화재와 같은 주요시설물을 효과적으로 관리할 수 있는 환경을 제공한다.In addition, the present invention accurately analyzes the position of a moving object entering a detection area through a three-dimensional image analysis that combines the object location information of a CCTV image object and a radar, and tracks a change in the location of the moving object, thereby providing It provides an environment that can effectively manage the same major facilities.
또한, 본 발명은 탐지영역에 진입한 복수의 이동객체에 각각의 이동객체별로 트래킹번호 및 트래킹시간을 할당함으로써, CCTV를 이용하여 이동객체를 효과적으로 추적할 수 있는 환경을 제공한다.In addition, the present invention provides an environment for effectively tracking a moving object by using a CCTV by assigning a tracking number and a tracking time for each moving object to a plurality of moving objects that have entered the detection area.
또한, 본 발명은 레이더의 3차원 레이더데이터와 GIS 맵을 연동시키고, 레이더의 실제측정거리에 대응하여 이동객체의 위치정보와 GIS데이터를 자동으로 맵핑시켜 이동객체의 위치를 레이더 표시화면에 디스플레이함으로써, 탐지영역의 이동객체를 효과적으로 관리할 수 있는 환경을 제공한다.In addition, according to the present invention, the 3D radar data of a radar is interlocked with a GIS map, and the location information of the moving object and the GIS data are automatically mapped in response to the actual measurement distance of the radar, thereby displaying the location of the moving object on the radar display screen. , It provides an environment that can effectively manage moving objects in the detection area.
또한, 본 발명은 탐지영역에 복수의 존(ZONE)을 설정하고, 설정된 시간에 따라 각각의 존을 순차적으로 감시하도록 제어함으로써, 탐지영역을 효과적으로 관리할 수 있는 환경을 제공한다.In addition, the present invention provides an environment in which a detection zone can be effectively managed by setting a plurality of zones in the detection zone and controlling each zone to be sequentially monitored according to a set time.
또한, 본 발명은 복수의 레이더간 연동을 통해서 레이더간 간섭을 최소화할 수 있는 환경을 제공한다.In addition, the present invention provides an environment capable of minimizing interference between radars through interlocking of a plurality of radars.
또한, 본 발명은 레이더의 3차원 레이더데이터로부터 복수의 좌표값을 획득하여 분석하고, 상기 복수의 좌표값을 CCTV의 2차원 영상데이터와 연동시켜 분석함으로써, 탐지영역에 진입한 복수의 이동객체를 효과적으로 탐지할 수 있는 환경을 제공한다.In addition, the present invention acquires and analyzes a plurality of coordinate values from 3D radar data of a radar, and analyzes the plurality of coordinate values in conjunction with 2D image data of CCTV, thereby analyzing a plurality of moving objects that have entered the detection area. It provides an environment that can be effectively detected.
또한, 본 발명은 CCTV보다 관제 화각이 크고 메타데이터값 표출로 사용자 시인성이 높은 3D RADAR 기술을 결합하고 CCTV와 3D RADAR의 관제데이터값을 데이터베이스형식으로 저장하여 제공함으로써, 사용자가 원하는 기간의 영상데이터를 메타데이터와 결합하여 하나의 화면에 디스플레이하고 시간 압축이 가능한 환경을 제공한다.In addition, the present invention combines 3D RADAR technology, which has a larger viewing angle than CCTV and has high user visibility by displaying metadata values, and stores and provides control data values of CCTV and 3D RADAR in a database format, thereby providing image data for a period desired by the user. It combines with metadata to display on one screen and provides an environment capable of time compression.
도 1은 본 발명의 한 실시예에 따른 3차원 레이더데이터와 2차원 영상데이터를 이용하여 이동물체를 추적하는 관제시스템의 개략적인 구성을 나타낸 도면이다.
도 2는 본 발명의 한 실시예에 따른 레이더와 CCTV를 이용한 3차원 영상분석 장치의 구성을 간략히 도시한 도면이다.
도 3은 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 레이더데이터와 CCTV의 영상데이터를 분석하는 예를 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 레이더와 CCTV를 연동시켜 거리값을 보정하는 예를 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 복수의 레이더와 PTZ CCTV를 연동시켜 이동물체를 추적하는 예를 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 레이더데이터와 GIS 데이터와 연동시켜 맵핑하는 예를 나타내는 도면이다.
도 7은 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 탐지영역을 복수의 존으로 설정하여 분석하는 예를 나타내는 도면이다.
도 8은 본 발명의 한 실시예에 따라 레이더데이터와 영상데이터를 분석하여 이동객체를 추적하는 과정을 간략히 도시한 흐름도이다.
도 9은 본 발명의 한 실시예에 따라 레이더 좌표값과 CCTV 영상을 이용하여 이동객체를 추적하는 예를 도시한 도면이다.
도 10은 본 발명의 한 실시예에 따라 레이더데이터, 영상 데이터 및 이벤트 데이터를 문자데이터로 융합한 데이터베이스의 구조와, 이를 통해 문자 검색결과를 제공하는 예를 나타내는 도면이다.1 is a view showing a schematic configuration of a control system for tracking a moving object using 3D radar data and 2D image data according to an embodiment of the present invention.
2 is a diagram briefly showing the configuration of a 3D image analysis apparatus using a radar and CCTV according to an embodiment of the present invention.
3 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention analyzes radar data and CCTV image data.
4 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention corrects a distance value by interlocking a radar and a CCTV.
5 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention tracks a moving object by interlocking a plurality of radars and a PTZ CCTV.
FIG. 6 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention is mapped in conjunction with radar data and GIS data.
7 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention sets and analyzes a detection area as a plurality of zones.
8 is a flowchart briefly illustrating a process of tracking a moving object by analyzing radar data and image data according to an embodiment of the present invention.
9 is a diagram illustrating an example of tracking a moving object using radar coordinate values and a CCTV image according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating a structure of a database in which radar data, image data, and event data are fused into text data according to an embodiment of the present invention, and an example of providing text search results through the structure of the database.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part “includes” a certain component, this means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, terms such as “…unit”, “…group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.
이제 도 1 내지 도 10을 참고하여 본 발명의 한 실시예에 따른 레이더와 CCTV를 이용한 3차원 영상분석 장치를 이용한 관제 시스템에 대하여 상세하게 설명한다.Now, a control system using a 3D image analysis apparatus using a radar and a CCTV according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 10.
도 1은 본 발명의 한 실시예에 따른 3차원 레이더데이터와 2차원 영상데이터를 이용하여 이동물체를 추적하는 관제시스템의 개략적인 구성을 나타낸 도면이다. 이때, 관제 시스템(10)는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.1 is a view showing a schematic configuration of a control system for tracking a moving object using 3D radar data and 2D image data according to an embodiment of the present invention. At this time, the
도 1을 참조하면, 본 발명의 한 실시예에 따른 관제 시스템(10)은 탐지영역에서 레이더로부터 획득한 3차원 레이더데이터와 탐지영역에 배치된 CCTV에서 촬영한 2차원 영상데이터를 분석하고, 상기 탐지영역에 침입한 이동객체의 위치 및 위치 변화를 측정하여 상기 탐지영역에 위치한 주요시설물에 대한 상기 이동객체의 접근여부를 관리할 수 있는 시스템을 포함한다. Referring to FIG. 1, the
그리고, 본 발명의 한 실시예에 따른 관제 시스템(10)은 3차원 영상분석 장치(100), 적어도 하나의 레이더(200), 그리고 적어도 하나의 CCTV(300)를 포함한다.In addition, the
우선, 레이더(200)는 탐지영역에 배치되고, 탐지영역의 이동객체를 탐지하여 3차원 레이더데이터를 생성할 수 있다. 여기서, 3차원 레이더데이터는 상기 이동객체의 좌표값, 속도값 등을 포함할 수 있다. 그리고, 레이더(200)는 본 발명의 한 실시예에 따라 복수의 레이더(210-1 내지 210-n)를 포함할 수 있다.First, the
그리고, CCTV(300)는 탐지영역에 배치되고, 탐지영역의 이동객체를 촬영하여 2차원 영상데이터를 생성할 수 있다. 여기서, 2차원 영상데이터는 FAN값, Tilt값, 줌값 등을 포함한다. 그리고, CCTV(300)는 본 발명의 한 실시예에 따라 복수의 CCTV(310-1 내지 310-m)를 포함할 수 있다.In addition, the
그리고, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 레이더(200)로부터 획득한 3차원 레이더데이터를 수신하고, CCTV(300)로부터 촬영한 2차원 영상데이터를 수신할 수 있다. In addition, the 3D
그리고, 3차원 영상분석 장치(100)는 상기 레이더(200)로부터 획득한 3차원 레이더데이터와 상기 CCTV(300)에서 촬영한 2차원 영상데이터를 분석하여 탐지영역에 진입한 이동객체의 위치 및 위치 변화를 측정할 수 있다. 그리고, 이를 통해서, 3차원 영상분석 장치(100)는 상기 이동객체와 상기 주요시설물과의 거리를 정확히 분석할 수 있다.Then, the 3D
따라서, 본 발명의 한 실시예에 따른 관제 시스템(10)은 레이더로부터 획득한 3차원 레이더데이터와 CCTV에서 촬영한 2차원 영상데이터를 융합시켜 분석함으로써, 3차원의 영상분석이 가능한 환경을 제공한다.Therefore, the
그리고, 본 발명의 한 실시예에 따른 관제 시스템(10)은 CCTV 영상의 객체와 레이더의 객체 위치 정보를 결합시킨 3차원의 영상분석을 통해서 탐지영역에 진입한 이동객체의 위치를 정확히 분석하고, 이동객체를 위치변화를 추적함으로써, 문화재와 같은 주요시설물을 효과적으로 관리할 수 있는 환경을 제공한다.In addition, the
도 2는 본 발명의 한 실시예에 따른 레이더와 CCTV를 이용한 3차원 영상분석 장치의 구성을 간략히 도시한 도면이다. 이때, 3차원 영상분석 장치(100)는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.2 is a diagram briefly showing the configuration of a 3D image analysis apparatus using a radar and CCTV according to an embodiment of the present invention. At this time, the 3D
도 2를 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 영상분석모듈(110), 데이터수신모듈(120), 이동객체추적모듈(130), GIS맵핑모듈(140), 존설정모듈(150), 그리고 주파수연동모듈(160)을 포함한다.Referring to FIG. 2, the 3D
영상분석모듈(110)은 레이더(200)의 상기 3차원 레이더데이터와 CCTV(300)의 상기 2차원 영상데이터를 융합시켜 분석한다. 그리고, 영상분석모듈(110)은 3차원 영상분석을 통해서 탐지영역에 진입한 이동객체의 위치 및 위치 변화를 측정할 수 있다. 또한, 영상분석모듈(110)은 탐지영역에 진입한 이동객체와 상기 탐지영역에 위치한 주요시설물과의 거리를 분석할 수 있다.The
그리고, 영상분석모듈(110)은 상기 탐지영역에 복수의 이동객체를 탐지한 경우에 상기 3차원 레이더데이터로부터 복수의 좌표값을 획득하고, 상기 복수의 좌표값을 상기 CCTV(300)의 2차원 영상데이터와 연동시켜 상기 복수의 이동객체의 위치 및 위치 변화를 분석할 수 있다.The
또한, 영상분석모듈(110)은 상기 CCTV(300)의 상기 2차원 영상데이터와 레이더(200)의 상기 3차원 레이더데이터를 분석하여 상기 이동객체의 좌표값의 변화값과 상기 이동객체의 메타데이터값을 데이터베이스화한다. 여기서, 상기 이동객체의 메타데이터값은 상기 이동객체의 시간정보, 물체크기정보, 및 속도정보 중 적어도 하나를 포함할 수 있다.In addition, the
그리고, 영상분석모듈(110)은 사용자가 필요한 일정한 기간동안 변화된 값을 한 화면에 동시 표출이 가능하여 사용자가 한번에 파악이 가능하도록 정보를 제공할 수 있다.In addition, the
그리고, 영상분석모듈(110)은 본 발명의 한 실시예에 따라 은 소정시간 간격동안 변화된 이동객체의 좌표값의 변화값과 상기 이동객체의 메터데이터값을 하나의 표시화면에 디스플레이하도록 분석할 수 있는 3차원 시간압축 분석모듈(112)을 포함할 수 있다.In addition, the
또한, 영상분석모듈(110)은 사용자로부터 특정기간을 입력받는 경우 상기 특정기간동안 상기 이동객체의 움직임 또는 이벤트가 발생한 동선 및 좌표를 표시화면에 디스플레이할 수 있다. 그리고, 영상분석모듈(110)은 상기 이동객체가 탐지된 시간 및 상기 이동객체가 탐지영역을 벗어난 시간을 기준으로 상기 이동객체의 동선을 생성하고, 상기 이동객체가 탐지된 시간동안의 영상을 재생할 수 있다.In addition, when receiving a specific period from a user, the
즉, 본 발명의 3차원 영상분석 장치는 분석되어진 화면을 사용자에게 제공하되, 사용자로부터 특정 기간을 입력 받으면, 그 기간동안 움직임, 이벤트가 발생한 동선, 좌표 크기 등을 마지막 사라짐 검출 시간 등을 기준으로 동선을 그리고, 메타데이터 값을 테그해서 제공해 준다. That is, the 3D image analysis apparatus of the present invention provides the analyzed screen to the user, but when a specific period is input from the user, motion, event movement line, coordinate size, and the like during the period are determined based on the last disappearance detection time, etc. Draw a copper wire and tag and provide metadata values.
따라서, 사용자는 특정 관심 동선이나 객체를 선택하면 움직임이 발생한 시간 및 사라진 시간 정보가 표시화면에 표출되므로, 선택한 객체의 움직임 기간동안의 영상을 재생하거나 간편하게 이벤트 등을 검색할 수가 있다.Therefore, when a user selects a specific line of interest or an object, information on the time at which the movement occurred and the time at which the object disappeared is displayed on the display screen, so that an image during the movement period of the selected object can be played or an event can be easily searched.
도 3은 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 레이더데이터와 CCTV의 영상데이터를 분석하는 예를 나타내는 도면이고, 도 4는 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 레이더와 CCTV를 연동시켜 거리값을 보정하는 예를 나타내는 도면이다.3 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention analyzes radar data and CCTV image data, and FIG. 4 shows a 3D image analysis apparatus according to an embodiment of the present invention. This diagram shows an example of correcting a distance value by interlocking a radar and a CCTV.
도 3 및 도 4를 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 레이더(200)와 CCTV(300)를 연동시키고, 레이더(200)로부터 획득한 이동객체의 좌표정보를 포함하는 3차원 레이더데이터(220)와 CCTV(200)의 2차원 영상데이터(320)를 분석하여 탐지영역(20)에 진입한 이동객체(30)의 위치 및 위치변화를 3차원으로 분석할 수 있다. 3 and 4, the 3D
그리고, 3차원 영상분석 장치(100)는 CCTV(300)의 설치높이(h)와 CCTV(300)의 Tilt값을 입력받고, CCTV(200)와 이동객체(30)간의 각도값(θ)을 추정할 수 있다. Then, the 3D
또한, 3차원 영상분석 장치(100)는 CCTV(300)의 거리 측정값(r=h/tanθ)과 레이더(200)의 거리 측정값(r'=h/sinθ)을 계산하고, 레이더(200)의 실제 거리값과 CCTV(300)의 거리 값을 보정(r=cosθ * r')할 수 있다. In addition, the 3D
데이터수신모듈(120)은 레이더(200) 및 CCTV(300) 등으로부터 각종데이터를 수신한다. 예를 들어, 데이터수신모듈(120)은 본 발명의 한 실시예에 따라 레이더데이터 수신부(122), 영상데이터 수신부(124), 그리고 GIS데이터 수신부(126)를 포함할 수 있다.The
레이더데이터 수신부(122)는 레이더(200)로부터 3차원 레이더데이터를 수신하고, 수신된 3차원 레이더데이터를 영상분석모듈(110)에 제공할 수 있다.The radar
그리고, 영상데이터 수신부(124)는 CCTV(300)로부터 2차원 영상데이터를 수신하고, 수신된 2차원 영상데이터를 영상분석모듈(110)에 제공할 수 있다.In addition, the image
또한, GIS데이터 수신부(126)는 GIS(지리 정보 시스템, Geographic Information System) 맵의 GIS데이터를 수신하고, 수신된 GIS데이터를 영상분석모듈(110)에 제공할 수 있다.In addition, the GIS
이동객체추적모듈(130)은 레이더(200)가 탐지영역에 침입한 이동객체를 탐지한 경우에 CCTV(300)를 제어하여 상기 이동객체를 추적한다. 그리고, 이동객체추적모듈(130)은 상기 이동객체가 복수인 경우에 각각의 이동객체별로 트래킹번호 및 트래킹시간을 할당하고, 상기 트래킹번호 및 상기 트래킹시간에 따라 복수의 이동객체를 순차적으로 추적하도록 상기 CCTV(300)를 제어할 수 있다.The moving
또한, 이동객체추적모듈(130)은 복수의 CCTV(310-1 내지 310-m)를 레이더(200)와 연동시키고, 상기 레이더(200)와 각각의 CCTV(300)를 캘리브레이션할 수 있다. 그리고, 이동객체추적모듈(130)은 상기 레이더(200)에서 탐지한 이동객체의 좌표값에 따라 상기 복수의 CCTV(310-1 내지 310-m)가 상기 이동객체를 동시에 추적하도록 제어할 수 있다.In addition, the mobile
그리고, 이동객체추적모듈(130)은 본 발명의 한 실시예에 따라 할당부(132), 연동부(134), 그리고 이동객체 추적부(136)를 포함한다.In addition, the mobile
할당부(132)는 탐지지역에 진입한 이동객체가 복수인 경우에 각각의 이동객체별로 트래킹번호 및 트래킹시간을 할당한다.The
연동부(134)는 탐지지역에 복수의 CCTV(310-1 내지 310-m)가 있는 경우에, 레이더(200)와 복수의 CCTV(310-1 내지 310-m)를 연동시킨다. 예를 들어, 연동부(134)는 상기 레이더(200)의 데이터와 복수의 CCTV(310-1 내지 310-m)의 데이터를 캘리브레이션할 수 있다.The interlocking
이동객체 추적부(136)는 레이더(200)가 탐지영역에 침입한 이동객체를 탐지한 경우에 CCTV(300)를 제어하여 상기 이동객체를 추적한다. 그리고, 이동객체 추적부(136)는 상기 탐지영역에 진입한 이동객체가 복수인 경우에 각각의 이동객체별로 할당된 트래킹번호 및 트래킹시간에 따라 복수의 이동객체를 순차적으로 추적하도록 상기 CCTV(300)를 제어할 수 있다.The moving
도 5는 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 복수의 레이더와 PTZ CCTV를 연동시켜 이동물체를 추적하는 예를 나타내는 도면이다.5 is a view showing an example of tracking a moving object by interlocking a plurality of radars and a PTZ CCTV by a 3D image analysis apparatus according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 각각의 레이더(210-1, 210-2, 210-3)와 PTZ CCTV(330) 간의 켈레브레이션 연동을 설정한 후에, 각각의 이동객체 별로 트레킹 번호를 할당한다. 그리고, 3차원 영상분석 장치(100)는 상기 트레킹 번호를 기초로 PTZ CCTV(330)에서 이동객체들을 순차적으로 트레킹하도록 제어할 수 있다. Referring to FIG. 5, the 3D
이때, 3차원 영상분석 장치(100)는 각 이동객체별로 추적시간을 설정하여 순차적으로 객체 트레킹이 가능하게 할 수 있다. 또한, 3차원 영상분석 장치(100)는 각 레이더(210-1, 210-2, 210-3) 별로 특정 영역에 들어간 이동객체만 추적이 가능하게 제어할 수도 있다.At this time, the 3D
GIS맵핑모듈(140)은 레이더(300)의 3차원 레이더데이터와 GIS 맵을 연동시키고, 레이더(300)의 실제측정거리에 대응하여 상기 이동객체의 위치정보와 상기 GIS데이터를 자동으로 맵핑하여 맵핑데이터를 생성할 수 있다. 그리고, GIS맵핑모듈(140)은 상기 맵핑데이터를 이용하여 상기 이동객체의 위치를 레이더 표시화면에 디스플레이하도록 제어할 수 있다.The
그리고, GIS맵핑모듈(140)은 본 발명의 한 실시예에 따라 GIS데이터 입력부(142), 맵핑부(144), 그리고 레이더화면 출력부(146)를 포함한다.In addition, the
GIS데이터 입력부(142)는 GIS(지리 정보 시스템, Geographic Information System)으로부터 GIS맵의 GIS데이터를 입력받는다.The GIS
맵핑부(144)는 레이더(300)의 측정거리에 대응하여 상기 이동객체의 위치정보와 상기 GIS데이터를 자동으로 맵핑하여 맵핑데이터를 생성한다.The
레이더화면 출력부(146)는 상기 맵핑부(144)의 맵핑데이터를 이용하여 상기 탐지영역에 진입한 이동객체의 위치를 레이더 표시화면에 디스플레이한다.The radar
도 6은 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 레이더데이터와 GIS 데이터와 연동시켜 맵핑하는 예를 나타내는 도면이다.FIG. 6 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention is mapped in conjunction with radar data and GIS data.
도 6을 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 GIS MAP(40)의 실축적 GIS데이터가 입력되면, 레이더(200)의 실측정 거리에 맞춰 레이더 화면(220), 2차원 영상데이터(320), 및 GIS MAP(40)을 자동 맵핑(Mapping)시키고, 합성 화면(240)을 생성할 수 있다. 그리고, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 상기 합성 화면(240)을 통해서 탐지영역(20)에 진입한 이동객체(30)를 사용자가 용이하게 분석하고 추적할 수 있는 환경을 제공한다.Referring to FIG. 6, when the actual GIS data of the
존설정모듈(150)은 상기 탐지영역에 복수의 존(ZONE)을 설정하고, 설정된 시간에 따라 각각의 존을 순차적으로 감시하도록 제어할 수 있다. 여기서, 복수의 존(ZONE)은 원형, 타원형, 또는 다각형 형상으로 형성될 수 있으며, 필요에 따라 사용자가 임의로 다양한 형상으로 변형하여 형성할 수 있다.The
존설정모듈(150)은 상기 탐지영역에 이동객체가 기설정된 특정 존의 경계선을 통과하여 진입한 경우에 상기 CCTV(300)를 이용해서 상기 이동객체를 추적하도록 제어할 수 있다.The
그리고, 존설정모듈(150)은 본 발명의 한 실시예에 따라 상기 탐지영역에 복수의 존(ZONE)을 설정하는 존생성부(152), 그리고 상기 생성된 존을 저장하는 존저장부(154)를 포함한다.Then, the
도 7은 본 발명의 한 실시예에 따른 3차원 영상분석 장치가 탐지영역을 복수의 존으로 설정하여 분석하는 예를 나타내는 도면이다.7 is a diagram illustrating an example in which a 3D image analysis apparatus according to an embodiment of the present invention sets and analyzes a detection area as a plurality of zones.
도 7을 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 레이더(200)의 탐지영역(20) 내에 다양한 형상의 복수의 존(50a, 50b, 50c)을 설정할 수 있다. Referring to FIG. 7, the 3D
그리고, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 설정된 시간에 따라 각각의 복수의 존(50a, 50b, 50c)을 감지하여 이동물체를 탐지하고, 이동물체가 탐지된 경우을 알람을 출력하도록 제어할 수 있다.Then, the 3D
또한, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 특정존(50a)에 특정객체가 들어갔을 경우만 CCTV(300)를 제어하여 상기 특정객체를 추적할 수도 있다.In addition, the 3D
주파수연동모듈(160)은 상기 탐지영역 주변에 배치된 제2 레이더(210-2)의 주파수를 측정하고, 측정된 주파수로 상기 제1 레이더(210-1)의 주파수를 연동시켜 동작주기를 컨트롤할 수 있다. 그리고, 주파수연동모듈(160)은 상기 제1 레이더(210-1)의 3차원 레이더데이터와 상기 제2 레이더(210-2)의 3차원 레이더데이터를 융합하여 상기 이동객체의 좌표값을 분석할 수도 있다.The
그리고, 주파수연동모듈(160)은 본 발명의 한 실시예에 따라 주파수측정부(162), 그리고 주파수연동부(164)를 포함한다.In addition, the
주파수측정부(162)는 상기 탐지영역 주변에 배치된 복수의 레이더(210-1 내지 210-n)의 주파수를 자동으로 측정할 수 있다.The
그리고, 주파수연동부(164)는 어느 특정레이더의 특정주파수를 이용해서 복수의 레이더(210-1 내지 210-n)를 연동시킬 수 있다. 예를 들어, 주파수연동부(164)는 상기 특정주파수를 자동생성하여 상기 복수의 레이더(210-1 내지 210-n)를 연동시키고, 상기 복수의 레이더(210-1 내지 210-n)의 동작주기가 같아지도록 제어할 수 있다.In addition, the
도 8은 본 발명의 한 실시예에 따라 레이더데이터와 영상데이터를 분석하여 이동객체를 추적하는 과정을 간략히 도시한 흐름도이다. 이때, 이하의 흐름도는 도 1 내지 도 7의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.8 is a flowchart briefly illustrating a process of tracking a moving object by analyzing radar data and image data according to an embodiment of the present invention. At this time, the following flowcharts will be described using the same reference numerals in connection with the configurations of FIGS. 1 to 7.
도 8을 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 탐지영역에 배치된 레이더(200)로부터 3차원 레이더데이터를 수신한다(S102).Referring to FIG. 8, the 3D
그리고, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 탐지영역에 배치된 CCTV(300)로부터 2차원 영상데이터를 수신한다(S104).Then, the 3D
그리고, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 레이더(200)로부터 획득한 3차원 레이더데이터와 CCTV(300)에서 촬영한 2차원 영상데이터를 융합시켜 3차원 영상분석을 수행한다(S106). In addition, the 3D
또한, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 3차원 영상분석을 통해서 탐지영역에 진입한 이동객체의 위치 및 위치 변화를 측정하고, 이동객체의 위치를 추적한다(S108).In addition, the 3D
그리고, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 레이더 화면이나 지도화면에 이동객체의 위치를 표시하여 출력할 수 있다(S110).Then, the 3D
도 9은 본 발명의 한 실시예에 따라 레이더 좌표값과 CCTV 영상을 이용하여 이동객체를 추적하는 예를 도시한 도면이다.9 is a diagram illustrating an example of tracking a moving object using radar coordinate values and a CCTV image according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 레이더의 좌표값과 CCTV의 영상으로 CCTV의 실시간 화면 화각 내에서 이동객체(사람1)을 트래킹할 수 있다. Referring to FIG. 9, the 3D
또한, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 트래킹된 사람이 사각의 영역(건물뒤)로 이동시에도, 레이더에 좌표가 나오고 있으므로, 화각에서 사라진 경우에도 레이더의 좌표값을 이용하여 태깅을 유지할 수 있다.In addition, since the 3D
도 10은 본 발명의 한 실시예에 따라 레이더데이터, 영상 데이터 및 이벤트 데이터를 문자데이터로 융합한 데이터베이스의 구조와, 이를 통해 문자 검색결과를 제공하는 예를 나타내는 도면이다.FIG. 10 is a diagram illustrating a structure of a database in which radar data, image data, and event data are fused into text data according to an embodiment of the present invention, and an example of providing text search results through the database.
도 10을 참조하면, 본 발명의 한 실시예에 따른 3차원 영상분석 장치(100)는 레이더데이터, 영상 데이터 및 이벤트 데이터를 문자데이터로 융합한 데이터베이스를 구성하여 제공할 수 있다. Referring to FIG. 10, the 3D
따라서, 사용자는 레이더 명칭, 시간, 좌표, 방향, 연동CCTV, 이벤트 발생시간과 종료시간 중에 적어도 하나의 정보값을 이용하여 간편하게 검색할 수 있으며, 이를 통해서 탐지영역에 진입한 이동객체를 용이하게 분석할 수 있는 환경을 제공한다.Therefore, the user can easily search using radar name, time, coordinates, direction, interlocking CCTV, and at least one information value among event occurrence time and end time, through which it is easy to analyze a moving object entering the detection area. Provide an environment in which you can
이와 같이, 본 발명의 한 실시예에 따른 3차원 영상분석 장치는 레이더로부터 획득한 3차원 레이더데이터와 CCTV에서 촬영한 2차원 영상데이터를 융합시켜 분석함으로써, 3차원의 영상분석이 가능한 환경을 제공한다.As described above, the 3D image analysis apparatus according to an embodiment of the present invention provides an environment capable of 3D image analysis by fusing and analyzing 3D radar data acquired from a radar and 2D image data captured by CCTV. do.
또한, 본 발명은 CCTV 영상의 객체와 레이더의 객체 위치 정보를 결합시킨 3차원의 영상분석을 통해서 탐지영역에 진입한 이동객체의 위치를 정확히 분석하고, 이동객체를 위치변화를 추적함으로써, 문화재와 같은 주요시설물을 효과적으로 관리할 수 있는 환경을 제공한다.In addition, the present invention accurately analyzes the position of a moving object entering a detection area through a three-dimensional image analysis that combines the object location information of a CCTV image object and a radar, and tracks a change in the location of the moving object, thereby providing It provides an environment that can effectively manage the same major facilities.
또한, 본 발명은 탐지영역에 진입한 복수의 이동객체에 각각의 이동객체별로 트래킹번호 및 트래킹시간을 할당함으로써, CCTV를 이용하여 이동객체를 효과적으로 추적할 수 있는 환경을 제공한다.In addition, the present invention provides an environment for effectively tracking a moving object by using a CCTV by assigning a tracking number and a tracking time for each moving object to a plurality of moving objects entering the detection area.
또한, 본 발명은 레이더의 3차원 레이더데이터와 GIS 맵을 연동시키고, 레이더의 실제측정거리에 대응하여 이동객체의 위치정보와 GIS데이터를 자동으로 맵핑시켜 이동객체의 위치를 레이더 표시화면에 디스플레이함으로써, 탐지영역의 이동객체를 효과적으로 관리할 수 있는 환경을 제공한다.In addition, according to the present invention, the 3D radar data of a radar is interlocked with a GIS map, and the location information of the moving object and the GIS data are automatically mapped in response to the actual measurement distance of the radar, thereby displaying the location of the moving object on the radar display screen. , It provides an environment that can effectively manage moving objects in the detection area.
또한, 본 발명은 탐지영역에 복수의 존(ZONE)을 설정하고, 설정된 시간에 따라 각각의 존을 순차적으로 감시하도록 제어함으로써, 탐지영역을 효과적으로 관리할 수 있는 환경을 제공한다.In addition, the present invention provides an environment in which a detection zone can be effectively managed by setting a plurality of zones in the detection zone and controlling each zone to be sequentially monitored according to a set time.
또한, 본 발명은 복수의 레이더간 연동을 통해서 레이더간 간섭을 최소화할 수 있는 환경을 제공한다.In addition, the present invention provides an environment capable of minimizing interference between radars through interlocking of a plurality of radars.
또한, 본 발명은 레이더의 3차원 레이더데이터로부터 복수의 좌표값을 획득하여 분석하고, 상기 복수의 좌표값을 CCTV의 2차원 영상데이터와 연동시켜 분석함으로써, 탐지영역에 진입한 복수의 이동객체를 효과적으로 탐지할 수 있는 환경을 제공한다.In addition, the present invention acquires and analyzes a plurality of coordinate values from 3D radar data of a radar, and analyzes the plurality of coordinate values in conjunction with 2D image data of CCTV, thereby analyzing a plurality of moving objects that have entered the detection area. It provides an environment that can be effectively detected.
또한, 본 발명은 CCTV보다 관제 화각이 크고 메타데이터값 표출로 사용자 시인성이 높은 3D RADAR 기술을 결합하고 CCTV와 3D RADAR의 관제데이터값을 데이터베이스형식으로 저장하여 제공함으로써, 사용자가 원하는 기간의 영상데이터를 메타데이터와 결합하여 하나의 화면에 디스플레이하고 시간 압축이 가능한 환경을 제공한다.In addition, the present invention combines 3D RADAR technology, which has a larger viewing angle than CCTV and has high user visibility by displaying metadata values, and stores and provides control data values of CCTV and 3D RADAR in a database format, thereby providing image data for a period desired by the user. It combines with metadata to display on one screen and provides an environment capable of time compression.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.The embodiment of the present invention described above is not implemented only through an apparatus and method, and may be implemented through a program that realizes a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded. Such a recording medium can be executed not only in the server but also in the user terminal.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
Claims (13)
상기 탐지영역의 상기 이동객체를 촬영하여 2차원 영상데이터를 생성하는 적어도 하나의 CCTV로부터 상기 2차원 영상데이터를 수신하는 영상데이터 수신부,
상기 3차원 레이더데이터와 상기 2차원 영상데이터를 분석하여 상기 이동객체의 위치 및 위치 변화를 측정하고, 상기 이동객체와 상기 탐지영역에 위치한 주요시설물과의 거리를 분석하며, 상기 탐지영역에서 복수의 이동객체를 탐지한 경우에 상기 3차원 레이더데이터로부터 복수의 좌표값을 획득하고, 상기 복수의 좌표값을 상기 CCTV의 2차원 영상데이터와 연동시켜 상기 복수의 이동객체의 위치 및 위치 변화를 분석하는 영상분석모듈, 그리고
상기 제1 레이더가 상기 탐지영역에 침입한 이동객체를 탐지한 경우에 상기 CCTV를 제어하여 상기 이동객체를 추적하며, 상기 이동객체가 복수인 경우에 각각의 이동객체별로 트래킹번호 및 트래킹시간을 할당하여 추적하되, 레이더의 좌표값과 CCTV의 영상으로 CCTV 화면의 화각 내에서 복수의 이동객체를 태깅하여 트래킹하며, 트랭킹되는 복수의 이동객체들 중에서 적어도 하나의 이동객체가 사각의 영역으로 이동하여 사라진 경우에도 상기 레이더의 좌표값을 이용하여 상기 태깅을 유지하도록 제어하는 이동객체추적모듈
을 포함하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.A radar data receiver for detecting the moving object in the detection area and receiving the 3D radar data from a first radar generating 3D radar data including coordinate values of the moving object,
An image data receiving unit for receiving the two-dimensional image data from at least one CCTV that generates two-dimensional image data by photographing the moving object in the detection area,
Analyze the 3D radar data and the 2D image data to measure the position and position change of the moving object, analyze the distance between the moving object and the main facilities located in the detection area, and detect a plurality of When a moving object is detected, a plurality of coordinate values are obtained from the 3D radar data, and the position and location change of the plurality of moving objects are analyzed by linking the plurality of coordinate values with the 2D image data of the CCTV Image analysis module, and
When the first radar detects a moving object that has intruded into the detection area, the CCTV controls the moving object to track, and when there are multiple moving objects, a tracking number and a tracking time are assigned to each moving object. Tracking by tracking a plurality of moving objects within the field of view of the CCTV screen with the radar coordinate values and CCTV images, and at least one moving object among the plurality of moving objects being moved to a rectangular area A moving object tracking module that controls to maintain the tagging using the coordinate values of the radar even when it disappears.
3D image analysis device using a radar and CCTV, including.
상기 이동객체추적모듈은,
복수의 CCTV를 상기 제1 레이더와 연동시키고, 상기 3차원 레이더데이터와 각각의 CCTV를 캘리브레이션하고, 상기 이동객체의 좌표값에 따라 상기 복수의 CCTV가 상기 이동객체를 동시에 추적하도록 제어하는 것을 특징으로 하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 1,
The moving object tracking module,
It is characterized in that a plurality of CCTVs are interlocked with the first radar, the 3D radar data and each CCTV are calibrated, and the plurality of CCTVs are controlled to simultaneously track the moving object according to the coordinate values of the moving object. 3D image analysis device using radar and CCTV.
GIS(지리 정보 시스템, Geographic Information System) 맵의 GIS데이터가 입력되면, 상기 레이더의 측정거리에 대응하여 상기 이동객체의 위치정보와 상기 GIS데이터를 자동으로 맵핑하여 맵핑데이터를 생성하는 GIS맵핑모듈
을 더 포함하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 1,
When the GIS data of the GIS (Geographic Information System) map is input, the GIS mapping module generates mapping data by automatically mapping the location information of the moving object and the GIS data in response to the measurement distance of the radar.
3D image analysis device using a radar and CCTV further comprising a.
상기 GIS맵핑모듈은,
상기 맵핑데이터를 이용하여 상기 이동객체의 위치를 레이더 표시화면에 디스플레이하도록 제어하는 것을 특징으로 하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 4,
The GIS mapping module,
3D image analysis apparatus using a radar and CCTV, characterized in that the control to display the position of the moving object on the radar display screen using the mapping data.
상기 탐지영역에 복수의 존(ZONE)을 설정하고, 설정된 시간에 따라 각각의 존을 순차적으로 감시하도록 제어하며, 상기 이동객체가 기설정된 특정 존의 경계선을 통과하여 진입한 경우에 상기 CCTV가 상기 이동객체를 추적하도록 제어하는 존설정모듈
을 더 포함하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 1,
When a plurality of zones are set in the detection area, each zone is controlled to be sequentially monitored according to a set time, and when the mobile object enters through a boundary of a specific zone, the CCTV enters the zone. Zone setting module that controls to track moving objects
3D image analysis device using a radar and CCTV further comprising a.
상기 복수의 존(ZONE)은,
원형, 타원형, 또는 다각형 형상으로 형성되는 것을 특징으로 하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 6,
The plurality of zones (ZONE),
3D image analysis device using radar and CCTV, characterized in that it is formed in a circular, elliptical, or polygonal shape.
상기 탐지영역 주변에 배치된 제2 레이더의 주파수를 측정하고, 측정된 주파수로 상기 제1 레이더의 주파수를 연동시키는 주파수연동모듈
을 더 포함하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 1,
A frequency interlocking module that measures the frequency of the second radar arranged around the detection area and interlocks the frequency of the first radar with the measured frequency.
3D image analysis device using a radar and CCTV further comprising a.
상기 주파수연동모듈은,
상기 제1 레이더의 3차원 레이더데이터와 상기 제2 레이더의 3차원 레이더데이터를 융합하여 상기 이동객체의 좌표값을 분석하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 8,
The frequency interlocking module,
A 3D image analysis device using a radar and a CCTV that analyzes coordinate values of the moving object by fusing 3D radar data of the first radar and 3D radar data of the second radar.
상기 영상분석모듈은,
상기 CCTV의 상기 2차원 영상데이터와 레이더의 상기 3차원 레이더데이터를 분석하여 상기 이동객체의 좌표값의 변화값과 상기 이동객체의 메타데이터값을 데이터베이스화하되, 소정시간 간격동안 변화된 상기 좌표값의 변화값과 상기 메터데이터값을 하나의 표시화면에 디스플레이하도록 분석하는 3차원 시간압축 분석모듈을 포함하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 1,
The image analysis module,
By analyzing the two-dimensional image data of the CCTV and the three-dimensional radar data of a radar, a change value of the coordinate value of the moving object and a metadata value of the moving object are databased, and of the coordinate value changed during a predetermined time interval. A 3D image analysis device using a radar and a CCTV including a 3D time compression analysis module that analyzes a change value and the meter data value to be displayed on a single display screen.
상기 메타데이터값은,
상기 이동객체의 시간정보, 물체크기정보, 및 속도정보 중 적어도 하나를 포함하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 11,
The metadata value is
3D image analysis apparatus using radar and CCTV including at least one of time information, object size information, and speed information of the moving object.
상기 영상분석모듈은,
사용자로부터 특정기간을 입력받는 경우 상기 특정기간동안 상기 이동객체의 움직임 또는 이벤트가 발생한 동선 및 좌표를 표시화면에 디스플레이하되, 상기 이동객체가 탐지된 시간 및 상기 이동객체가 탐지영역을 벗어난 시간을 기준으로 상기 이동객체의 동선을 생성하고, 상기 이동객체가 탐지된 시간동안의 영상을 재생하는 것을 특징으로 하는 레이더와 CCTV를 이용한 3차원 영상분석 장치.In claim 1,
The image analysis module,
When a specific period is input from a user, the movement line or coordinates of the movement or event of the moving object during the specific period are displayed on a display screen, based on the time at which the moving object was detected and the time at which the moving object is outside the detection area. 3D image analysis apparatus using radar and CCTV, characterized in that for generating a moving line of the moving object, and reproducing the image during the time the moving object is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200035106A KR102125870B1 (en) | 2020-03-23 | 2020-03-23 | Device for analysing image of three dimensional using radar and cctv |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200035106A KR102125870B1 (en) | 2020-03-23 | 2020-03-23 | Device for analysing image of three dimensional using radar and cctv |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102125870B1 true KR102125870B1 (en) | 2020-06-23 |
Family
ID=71138088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200035106A Active KR102125870B1 (en) | 2020-03-23 | 2020-03-23 | Device for analysing image of three dimensional using radar and cctv |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102125870B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230060936A (en) * | 2021-10-28 | 2023-05-08 | 강길영 | Systems and methods for pointing the position of intrusion drones and performing directional jamming using a combination of omni-directional RF detection and directional Radar detection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100720595B1 (en) * | 2006-08-02 | 2007-05-21 | 주식회사 아이센텍이엔씨 | Intelligent video surveillance system and method for interworking with an automatic tracking radar system |
JP2008306604A (en) * | 2007-06-08 | 2008-12-18 | Canon Inc | Information processing apparatus and information processing method |
KR20100050226A (en) * | 2008-11-05 | 2010-05-13 | 주식회사 지.아이.티 | Video detection system by multiple level area |
KR101040766B1 (en) * | 2010-11-10 | 2011-06-13 | 삼성탈레스 주식회사 | Image processing apparatus and its operation method |
KR20160017400A (en) * | 2014-08-06 | 2016-02-16 | 휴앤에스(주) | photographing system with RADAR and LASER |
-
2020
- 2020-03-23 KR KR1020200035106A patent/KR102125870B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100720595B1 (en) * | 2006-08-02 | 2007-05-21 | 주식회사 아이센텍이엔씨 | Intelligent video surveillance system and method for interworking with an automatic tracking radar system |
JP2008306604A (en) * | 2007-06-08 | 2008-12-18 | Canon Inc | Information processing apparatus and information processing method |
KR20100050226A (en) * | 2008-11-05 | 2010-05-13 | 주식회사 지.아이.티 | Video detection system by multiple level area |
KR101040766B1 (en) * | 2010-11-10 | 2011-06-13 | 삼성탈레스 주식회사 | Image processing apparatus and its operation method |
KR20160017400A (en) * | 2014-08-06 | 2016-02-16 | 휴앤에스(주) | photographing system with RADAR and LASER |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230060936A (en) * | 2021-10-28 | 2023-05-08 | 강길영 | Systems and methods for pointing the position of intrusion drones and performing directional jamming using a combination of omni-directional RF detection and directional Radar detection |
KR102552043B1 (en) * | 2021-10-28 | 2023-07-06 | 강길영 | Systems and methods for pointing the position of intrusion drones and performing directional jamming using a combination of omni-directional RF detection and directional Radar detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101068344B (en) | Object detection device | |
US8488001B2 (en) | Semi-automatic relative calibration method for master slave camera control | |
US8711218B2 (en) | Continuous geospatial tracking system and method | |
US7236176B2 (en) | Surveillance management system | |
US6867799B2 (en) | Method and apparatus for object surveillance with a movable camera | |
EP0878965A2 (en) | Method for tracking entering object and apparatus for tracking and monitoring entering object | |
US20100128110A1 (en) | System and method for real-time 3-d object tracking and alerting via networked sensors | |
US20110109747A1 (en) | System and method for annotating video with geospatially referenced data | |
AU2021351611B2 (en) | Multi-source 3-dimensional detection and tracking | |
EP1779657A2 (en) | Environmentally aware, intelligent surveillance device | |
US20210097760A1 (en) | System and method for collecting geospatial object data with mediated reality | |
KR101412022B1 (en) | Method, apparatus and computer readable recording medium of mapping a cctv information based on a spacial data automatically | |
US20100321500A1 (en) | System and method for addressing video surveillance fields of view limitations | |
KR20160088129A (en) | Method and Apparatus for providing multi-video summaries | |
CN104766300A (en) | Event recorder playback with integrated gps mapping | |
CN113068000B (en) | Video target monitoring method, device, equipment, system and storage medium | |
KR100489890B1 (en) | Apparatus and Method to Provide Stereo Video or/and Detailed Information of Geographic Objects | |
US20240020930A1 (en) | Method and apparatus for determining security area, device, and storage medium | |
CN108957024A (en) | A kind of method, apparatus and electronic equipment of tachometric survey | |
KR102125870B1 (en) | Device for analysing image of three dimensional using radar and cctv | |
CN118037956A (en) | Method and system for generating three-dimensional virtual reality in fixed space | |
KR20170093421A (en) | Method for determining object of interest, video processing device and computing device | |
KR101686797B1 (en) | Method for analyzing a visible area of a closed circuit television considering the three dimensional features | |
US20210056793A1 (en) | Mobile object measurement system and method of determining number of people in measurement area | |
EP4193275A1 (en) | Rock fall analyser |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200323 |
|
PA0201 | Request for examination | ||
PA0302 | Request for accelerated examination |
Patent event date: 20200326 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20200323 Patent event code: PA03021R01I Comment text: Patent Application |
|
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200414 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200601 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200617 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20200617 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20230412 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20240409 Start annual number: 5 End annual number: 5 |