[go: up one dir, main page]

KR102396830B1 - Moving object judgment device and method thereof - Google Patents

Moving object judgment device and method thereof Download PDF

Info

Publication number
KR102396830B1
KR102396830B1 KR1020200134010A KR20200134010A KR102396830B1 KR 102396830 B1 KR102396830 B1 KR 102396830B1 KR 1020200134010 A KR1020200134010 A KR 1020200134010A KR 20200134010 A KR20200134010 A KR 20200134010A KR 102396830 B1 KR102396830 B1 KR 102396830B1
Authority
KR
South Korea
Prior art keywords
information
moving object
images
generating
trajectory information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200134010A
Other languages
Korean (ko)
Other versions
KR20220050390A (en
Inventor
조은지
김중식
김제연
이홍준
김회율
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200134010A priority Critical patent/KR102396830B1/en
Publication of KR20220050390A publication Critical patent/KR20220050390A/en
Application granted granted Critical
Publication of KR102396830B1 publication Critical patent/KR102396830B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이동체 판단 장치 및 그 판단 방법에 대한 것으로서, 보다 상세하게는 동영상의 움직이는 피사체 중 타겟(target)이 되는 피사체를 판단할 수 있는 장치 및 그 판단 방법에 대한 것이다. 본 발명의 일 실시 예에 따른 이동체 판단 장치는, 프로세서 및 프로세서에 연결되는 메모리를 포함하며, 메모리는 프로세서에 의해 실행 가능한, 연속적으로 생성된 n+1개의 이미지를 미리 설정된 방법에 따라 이용하여 이동체를 검출하고, 이동체에 대한 p개의 궤적정보를 생성하고, 궤적정보를 이용하여 이동체가 타겟 이동체인지 여부를 판단하는 프로그램 명령어들을 저장할 수 있다. 본 발명에 따르면, 동영상에 포함된 무수히 많은 이동체들 중에서 분석의 목표가 되는 타겟 이동체를 자동으로 구분할 수 있는 카메라 시스템을 제공할 수 있다. The present invention relates to an apparatus for determining a moving object and a method for determining the same, and more particularly, to an apparatus and method for determining a moving object of a moving object, which is a target object. An apparatus for determining a moving object according to an embodiment of the present invention includes a processor and a memory connected to the processor, wherein the memory uses n+1 images that are continuously generated by the processor according to a preset method. , generates p pieces of trajectory information for the moving object, and stores program instructions for determining whether the moving object is a target moving object using the trajectory information. According to the present invention, it is possible to provide a camera system capable of automatically discriminating a target moving object, which is a target of analysis, from among countless moving objects included in a moving picture.

Description

이동체 판단 장치 및 그 판단 방법{Moving object judgment device and method thereof}Moving object judgment device and method thereof

본 발명은 이동체 판단 장치 및 그 판단 방법에 대한 것으로서, 보다 상세하게는 동영상의 움직이는 피사체 중 타겟(target)이 되는 피사체를 판단할 수 있는 장치 및 그 판단 방법에 대한 것이다. The present invention relates to an apparatus for determining a moving object and a method for determining the same, and more particularly, to an apparatus and method for determining a moving object of a moving object, which is a target object.

최근들어 다양한 용도로 카메라 시스템에 대한 수요가 증가하고 있다. 예를 들어, CCTV 시스템이 설치된 장소가 증가하고 있고, 야구, 농구, 테니스 등과 같은 스포츠 분야에서도 카메라 시스템이 활발하게 사용되고 있다. Recently, the demand for camera systems for various purposes is increasing. For example, the number of places where a CCTV system is installed is increasing, and the camera system is actively used in sports fields such as baseball, basketball, and tennis.

일반적으로 카메라 시스템은 카메라에서 촬영된 영상을 감시자가 모니터링하는 방법으로 사용된다. 하지만, 방대한 양의 영상을 감시자가 실시간으로 모니터링하는 것은 어렵고 지루하며 오류 발생 가능성이 높다. 즉, 제한된 숫자의 감시자들이 무수히 많은 CCTV에서 생성되는 영상들을 일일이 모니터링할 수 없으며, 할 수 있다고 해도 지루한 일이어서 감시가 느슨할 수 밖에 없다. 또한 스포츠 경기장에 설치된 카메라 시스템의 경우에도 감시자가 촬영되는 경기 내용을 실시간으로 모니터링할 수는 없는 일이다. In general, a camera system is used as a method of monitoring an image captured by a camera by a supervisor. However, it is difficult, tedious, and error-prone for a supervisor to monitor a large amount of video in real time. In other words, it is impossible for a limited number of observers to monitor the images generated by countless CCTVs one by one, and even if they can, it is a tedious task and the monitoring is inevitably loose. In addition, even in the case of a camera system installed in a sports stadium, it is impossible for a monitor to monitor the contents of the game being filmed in real time.

결국 촬영되어 저장된 영상들을 추후 분석하여 원하는 부분만을 집중적으로 모니터링하는 방법이 필요하다. 예를 들어, CCTV와 같은 감시 시스템의 경우에는 비범하게 움직이는 이동체를 자동으로 구분할 수 있는 방법이 요구되며, 야구장에 설치된 카메라 시스템의 경우에는 투수가 포수에게 투구한 공을 자동으로 구분할 수 있는 방법이 요구되며, 테니스장에 설치된 카메라 시스템의 경우에는 랠리가 이어지는 테니스 공을 자동으로 구분할 수 있는 방법이 요구되는 것이다. Ultimately, there is a need for a method of intensively monitoring only the desired part by analyzing the captured and stored images later. For example, in the case of a surveillance system such as CCTV, a method that can automatically distinguish an unusually moving object is required. It is required, and in the case of a camera system installed on a tennis court, a method for automatically distinguishing a tennis ball following a rally is required.

본 발명은 동영상에 포함된 무수히 많은 이동체들 중에서 분석의 목표가 되는 타겟 이동체를 자동으로 구분할 수 있는 카메라 시스템을 제공하고자 한다. An object of the present invention is to provide a camera system capable of automatically discriminating a target moving object, which is a target of analysis, from among countless moving objects included in a moving picture.

본 발명의 일 실시 예에 따른 이동체 판단 장치는, 프로세서; 및 상기 프로세서에 연결되는 메모리;를 포함하며, 상기 메모리는 상기 프로세서에 의해 실행 가능한, 연속적으로 생성된 n+1개의 이미지를 미리 설정된 방법에 따라 이용하여 이동체를 검출하고, 상기 이동체에 대한 p개의 궤적정보를 생성하고, 상기 궤적정보를 이용하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 프로그램 명령어들을 저장하되, 상기 n과 상기 p는 자연수인, 이동체 판단 장치가 개시된다. An apparatus for determining a moving object according to an embodiment of the present invention includes: a processor; and a memory connected to the processor, wherein the memory detects a moving object by using n+1 images, executable by the processor, according to a preset method, and storing program instructions for generating trajectory information and determining whether the moving object is a target moving object using the trajectory information, wherein n and p are natural numbers.

실시예에 따라, 상기 메모리는, 상기 n+1개의 이미지 중 연속되는 2개의 이미지를 이용하여 n개의 차이영상을 생성하고, 상기 n개의 차이영상을 이용하여 상기 이동체를 검출하는 프로그램 명령어들을 저장할 수 있다. According to an embodiment, the memory may store program instructions for generating n difference images using two consecutive images among the n+1 images and detecting the moving object using the n difference images. there is.

실시예에 따라, 상기 메모리는, 상기 n개의 차이영상 중 상기 이동체가 포함된 m개의 이동체차이영상을 검출하고, 상기 m개의 이동체차이영상을 이용하여 상기 p개의 궤적정보를 생성하는 프로그램 명령어들을 저장하되, 상기 m은 상기 n 이하의 자연수일 수 있다. According to an embodiment, the memory stores program instructions for detecting m moving object difference images including the moving object among the n difference images, and generating the p pieces of trajectory information using the m moving object difference images. However, m may be a natural number equal to or less than n.

실시예에 따라, 상기 메모리는, 상기 m개의 이동체차이영상 중 a개의 영상을 선택적으로 이용하여 제1 궤적정보를 생성하고, 상기 m개의 이동체차이영상 중 b개의 영상을 선택적으로 이용하여 제2 궤적정보를 생성하는 프로그램 명령어들을 저장하되, 상기 p는 2 이상의 자연수이고, 상기 a와 상기 b는 m 이하의 자연수 중 서로 상이한 자연수일 수 있다. According to an embodiment, the memory generates first trajectory information by selectively using a images among the m moving object difference images, and selectively using b images among the m moving object difference images to selectively use a second trajectory. Store program instructions for generating information, wherein p is a natural number equal to or greater than 2, and a and b may be different natural numbers from among natural numbers less than or equal to m.

실시예에 따라, 상기 메모리는, 상기 a개의 영상과 상기 b개의 영상을 서로 겹치지 않도록 선택하는 프로그램 명령어들을 저장하되, 상기 a와 상기 b의 합은 상기 m 이하일 수 있다. According to an embodiment, the memory stores program instructions for selecting the a images and the b images not to overlap each other, and the sum of a and b may be less than or equal to m.

실시예에 따라, 상기 메모리는 미리 설정된 임계값이 더 저장되고, 상기 제1 궤적정보와 상기 제2 궤적정보를 이용하여 미리 설정된 방법에 따라 분산정보를 생성하고, 상기 분산정보와 상기 임계값을 비교하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 프로그램 명령어들을 저장할 수 있다. According to an embodiment, the memory further stores a preset threshold value, generates dispersion information according to a preset method using the first trajectory information and the second trajectory information, and sets the dispersion information and the threshold value. Program instructions for determining whether the moving object is a target moving object by comparison may be stored.

실시예에 따라, 상기 메모리는, 상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 일치시킨 후 상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 상기 분산정보를 생성하는 프로그램 명령어들을 저장할 수 있다. According to an embodiment, the memory is configured to match the start point of the first sign information and the start point of the second sign information, and then store the dispersion information using the end point of the first sign information and the end point of the second sign information. You can store the program instructions you create.

실시예에 따라, 상기 메모리는, 상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 이용하여 시작점분산정보를 생성하고, 상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 종점분산정보를 생성하며, 상기 시작점분산정보, 상기 종점분산정보 및 상기 임계값을 이용하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 프로그램 명령어들을 저장하되, 상기 분산정보는 상기 시작점분산정보와 상기 종점분산정보를 포함할 수 있다. According to an embodiment, the memory generates the starting point distribution information using the start point of the first sign information and the start point of the second sign information, and determines the end point of the first sign information and the end point of the second sign information. generating end-point distribution information using, and storing program instructions for determining whether the moving object is a target moving object using the start-point distribution information, the end-point distribution information, and the threshold value, wherein the distribution information includes the start point distribution information and the The endpoint variance information may be included.

본 발명의 다른 실시예에 따르면, 이동체 판단 장치에서 수행되는 타켓 이동체 판단 방법에 있어서, 연속적으로 생성된 n+1개의 이미지를 미리 설정된 방법에 따라 이용하여 이동체를 검출하는 단계; 상기 이동체에 대한 p개의 궤적정보를 생성하는 단계; 및 상기 궤적정보를 이용하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 단계;를 포함하되, 상기 n과 상기 p는 자연수인, 이동체 판단 방법이 개시된다. According to another embodiment of the present invention, there is provided a method for determining a target moving object performed by an apparatus for determining a moving object, the method comprising: detecting a moving object using n+1 images continuously generated according to a preset method; generating p pieces of trajectory information for the moving object; and determining whether the moving object is a target moving object using the trajectory information, wherein n and p are natural numbers.

실시예에 따라, 상기 이동체를 검출하는 단계는, 상기 n+1개의 이미지 중 연속되는 2개의 이미지를 이용하여 n개의 차이영상을 생성하는 단계; 및 상기 n개의 차이영상을 이용하여 상기 이동체를 검출하는 단계;를 포함할 수 있다. According to an embodiment, the detecting of the moving object may include: generating n difference images using two consecutive images among the n+1 images; and detecting the moving object using the n difference images.

실시예에 따라, 상기 p개의 궤적정보를 생성하는 단계는, 상기 n개의 차이영상 중 상기 이동체가 포함된 m개의 이동체차이영상을 검출하는 단계; 및 상기 m개의 이동체차이영상을 이용하여 상기 p개의 궤적정보를 생성하는 단계;를 포함하되, 상기 m은 상기 n 이하의 자연수일 수 있다. According to an embodiment, the generating of the p pieces of trajectory information may include: detecting m difference images of moving objects including the moving objects among the n difference images; and generating the p pieces of trajectory information by using the m moving object difference images, wherein m may be a natural number less than or equal to n.

실시예에 따라, 상기 p개의 궤적정보를 생성하는 단계는, 상기 m개의 이동체차이영상 중 a개의 영상을 선택적으로 이용하여 제1 궤적정보를 생성하는 단계; 상기 m개의 이동체차이영상 중 b개의 영상을 선택적으로 이용하여 제2 궤적정보를 생성하는 단계;를 포함하되, 상기 p는 2 이상의 자연수이고, 상기 a와 상기 b는 m 이하의 자연수 중 서로 상이한 자연수일 수 있다. According to an embodiment, the generating of the p pieces of trajectory information may include: generating first trajectory information by selectively using a images among the m moving body difference images; generating second trajectory information by selectively using b images among the m moving object difference images; wherein p is a natural number greater than or equal to 2, and a and b are different natural numbers among natural numbers less than or equal to m. can be

실시예에 따라, 상기 a개의 영상과 상기 b개의 영상은 서로 겹치지 않도록 선택되되, 상기 a와 상기 b의 합은 상기 m 이하일 수 있다. According to an embodiment, the a images and the b images are selected not to overlap each other, and the sum of a and b may be less than or equal to m.

실시예에 따라, 상기 이동체가 상기 타겟 이동체인지 여부를 판단하는 단계는, 상기 제1 궤적정보와 상기 제2 궤적정보를 이용하여 미리 설정된 방법에 따라 분산정보를 생성하는 단계; 및 상기 분산정보와 구비된 메모리에 기 저장된 임계값을 비교하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 단계;를 포함할 수 있다. According to an embodiment, determining whether the moving object is the target moving object may include: generating dispersion information according to a preset method using the first trace information and the second trace information; and determining whether the moving object is a target moving object by comparing the distribution information with a threshold value pre-stored in an provided memory.

실시예에 따라, 상기 분산정보를 생성하는 단계는, 상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 일치시키는 단계; 및 상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 상기 분산정보를 생성하는 단계;를 포함할 수 있다. According to an embodiment, the generating of the dispersion information may include matching a start point of the first sign information and a start point of the second sign information; and generating the dispersion information by using an endpoint of the first trajectory information and an endpoint of the second trajectory information.

실시예에 따라, 상기 분산정보를 생성하는 단계는, 상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 이용하여 시작점분산정보를 생성하는 단계; 및 상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 종점분산정보를 생성하는 단계;를 포함하되, 상기 시작점분산정보, 상기 종점분산정보 및 상기 임계값을 이용하여 상기 이동체가 타겟 이동체인지 여부가 판단되고, 상기 분산정보는 상기 시작점분산정보와 상기 종점분산정보를 포함할 수 있다. According to an embodiment, the generating of the dispersion information may include: generating starting point dispersion information using a starting point of the first trajectory information and a starting point of the second trajectory information; and generating end point distribution information by using the end point of the first sign information and the end point of the second sign information, wherein the moving object is It is determined whether the target mobile body is a target, and the distribution information may include the starting point distribution information and the end point distribution information.

본 발명에 따르면, 동영상에 포함된 무수히 많은 이동체들 중에서 분석의 목표가 되는 타겟 이동체를 자동으로 구분할 수 있는 카메라 시스템을 제공할 수 있다. According to the present invention, it is possible to provide a camera system capable of automatically discriminating a target moving object, which is a target of analysis, from among countless moving objects included in a moving picture.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명에 따른 카메라 시스템에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 이동체 판단 장치에 대한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 이동체 판단 방법에 대한 순서도이다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 이동체 판단 장치에서 타켓 이동체를 판단하는 동작을 설명하기 위한 차이영상들을 예시한 도면이다.
In order to more fully understand the drawings recited in the Detailed Description, a brief description of each drawing is provided.
1 is a block diagram of a camera system according to the present invention.
2 is a block diagram of an apparatus for determining a moving object according to an embodiment of the present invention.
3 is a flowchart of a method for determining a moving object according to an embodiment of the present invention.
4 to 8 are diagrams illustrating difference images for explaining an operation of determining a target moving object in the moving object determining apparatus according to an embodiment of the present invention.

본 발명의 기술적 사상에 따른 예시적인 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 기술적 사상의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.Exemplary embodiments according to the technical spirit of the present invention are provided to more completely explain the technical spirit of the present invention to those of ordinary skill in the art, and the following embodiments are modified in various other forms may be, and the scope of the technical spirit of the present invention is not limited to the following embodiments. Rather, these embodiments are provided so as to more fully and complete the present disclosure, and to fully convey the technical spirit of the present invention to those skilled in the art.

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 발명의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Although the terms first, second, etc. are used herein to describe various members, regions, layers, regions, and/or components, these members, parts, regions, layers, regions, and/or components refer to these terms. It is self-evident that it should not be limited by These terms do not imply a specific order, upper and lower, or superiority, and are used only to distinguish one member, region, region, or component from another member, region, region, or component. Accordingly, the first member, region, region, or component to be described below may refer to the second member, region, region, or component without departing from the teachings of the present invention. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.Unless defined otherwise, all terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the concept of the present invention belongs, including technical and scientific terms. In addition, commonly used terms as defined in the dictionary should be construed as having a meaning consistent with their meaning in the context of the relevant technology, and unless explicitly defined herein, in an overly formal sense. shall not be interpreted.

여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.As used herein, the term 'and/or' includes each and every combination of one or more of the recited elements.

이하에서는 첨부한 도면들을 참조하여 본 발명의 기술적 사상에 의한 실시예들에 대해 상세히 설명한다.Hereinafter, embodiments according to the technical spirit of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 카메라 시스템에 대한 구성도이다. 1 is a block diagram of a camera system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 카메라 시스템(100)은 카메라(110) 및 이동체 판단 장치(120)를 포함할 수 있다. Referring to FIG. 1 , a camera system 100 according to an embodiment of the present invention may include a camera 110 and a moving object determination device 120 .

카메라(110)는 구비된 렌즈의 촬영 범위 내의 피사체, 특히 이동체(130)를 촬영하여 이미지를 생성할 수 있다. 여기서 이미지는 단일 프레임(Frame)의 사진 및 여러 프레임으로 구성된 동영상을 포함하는 개념일 수 있다. 예를 들어, 카메라(110)는 미리 설정된 시간(예를 들어, 0.01초)를 주기로 연속적으로 이미지를 생성할 수 있는데, 이렇게 연속적으로 생성된 이미지 전체가 '이미지'로 통칭될 수 있는 것이다. 따라서, 카메라(110)는 이동체(130)를 포함하는 사진 및/또는 동영상(이하, '이미지'로 통칭한다)을 생성할 수 있다. The camera 110 may generate an image by photographing a subject within a photographing range of the provided lens, in particular, the moving object 130 . Here, the image may be a concept including a single frame photo and a video composed of multiple frames. For example, the camera 110 may continuously generate images with a period of a preset time (eg, 0.01 seconds), and the entire image continuously generated in this way may be collectively referred to as an 'image'. Accordingly, the camera 110 may generate a photo and/or a moving image (hereinafter, collectively referred to as an 'image') including the moving object 130 .

카메라(110)에서 생성된 이미지는 이동체 판단 장치(120)로 전송될 수 있다. 예를 들어, 카메라(110)와 이동체 판단 장치(120)가 유선 및/또는 무선으로 연결된 경우, 카메라(110)는 생성된 이미지를 이동체 판단 장치(120)로 전송할 수 있을 것이다. 다른 예를 들어, 카메라(110)와 이동체 판단 장치(120)가 연결되지 않은 별개의 장치들인 경우, 카메라(110)에서 생성된 이미지는 별도의 저장 매체를 통해 이동체 판단 장치(120)로 전송될 수 있을 것이다. 즉, 카메라(110)는 인터넷(Internet)으로 연결된 별개 서버(미도시)로 이미지를 전송할 수 있고, 이동체 판단 장치(120)는 당해 서버(미도시)로 접속하여 이미지를 수신할 수 있을 것이다. The image generated by the camera 110 may be transmitted to the moving object determination device 120 . For example, when the camera 110 and the moving object determination apparatus 120 are connected by wire and/or wirelessly, the camera 110 may transmit the generated image to the moving object determination apparatus 120 . For another example, if the camera 110 and the moving object determination device 120 are separate devices that are not connected, the image generated by the camera 110 may be transmitted to the moving object determination device 120 through a separate storage medium. will be able That is, the camera 110 may transmit an image to a separate server (not shown) connected to the Internet, and the moving object determination device 120 may connect to the server (not shown) to receive the image.

도 `1에서는 카메라(110)와 이동체 판단 장치(120)가 별개의 장치인 것처럼 예시되었으나, 카메라(110)는 이동체 판단 장치(120)에 포함된 개별 모듈로 형성될 수도 있음은 자명하다. Although the camera 110 and the moving object determination device 120 are exemplified as separate devices in FIG. 1 , it is obvious that the camera 110 may be formed as an individual module included in the moving object determination device 120 .

이동체 판단 장치(120)는 카메라(110)에서 생성된 이미지를 분석하여 이동체를 검출할 수 있고, 검출된 이동체가 미리 설정된 목표인 타겟 이동체인지 여부를 자동으로 판단할 수 있다. 이하, 이동체 판단 장치(120)가 타겟 이동체를 판단하는 동작에 대해 구체적으로 설명한다. The moving object determination apparatus 120 may detect a moving object by analyzing the image generated by the camera 110 , and may automatically determine whether the detected moving object is a target moving object that is a preset target. Hereinafter, an operation in which the moving object determination apparatus 120 determines the target moving object will be described in detail.

도 2는 본 발명의 일 실시예에 따른 이동체 판단 장치에 대한 블록 구성도이다.2 is a block diagram of an apparatus for determining a moving object according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 이동체 판단 장치(120)는 모뎀(210), 프로세서(220) 및 메모리(230)를 포함할 수 있다. 상술한 바와 같이, 이동체 판단 장치(120)는 카메라모듈을 포함하여 직접 이미지를 생성할 수도 있으나, 이하에서는 카메라(110)가 외부의 장치로 형성된 경우를 가정하여 설명한다. Referring to FIG. 2 , the apparatus 120 for determining a moving object according to an embodiment of the present invention may include a modem 210 , a processor 220 , and a memory 230 . As described above, the moving object determination device 120 may directly generate an image including the camera module, but the following description will be made on the assumption that the camera 110 is formed of an external device.

모뎀(210)은 카메라(110)와 연결될 수 있는 통신 장치일 수 있다. 예를 들어, 모뎀(210)은 프로세서(220)에서 입력된 카메라촬영신호를 카메라(110)로 전송할 수 있다. 카메라촬영신호를 수신한 카메라(110)는 미리 설정된 시간을 주기로 이미지들(제1 이미지 내지 제n 이미지, 제n+1 이미지)(단, n은 2 이상의 자연수임)을 생성하여 모뎀(210)으로 전송할 수 있다. 모뎀(210)은 카메라(110)에서 수신된 이미지들을 프로세서(220)로 출력할 수 있다. The modem 210 may be a communication device that may be connected to the camera 110 . For example, the modem 210 may transmit a camera photographing signal input from the processor 220 to the camera 110 . The camera 110 receiving the camera shooting signal generates images (first image to nth image, n+1th image) (provided that n is a natural number equal to or greater than 2) with a preset time period to generate the modem 210 can be sent to The modem 210 may output images received from the camera 110 to the processor 220 .

프로세서(220)는 이동체 판단 장치(120)의 전반적인 동작을 제어할 수 있는 구성일 수 있다. 특히, 프로세서(220)는 제1 이미지 내지 제n+1 이미지가 메모리(230)에 저장되도록 제어할 수 있다. The processor 220 may be configured to control the overall operation of the moving object determination device 120 . In particular, the processor 220 may control the first to n+1th images to be stored in the memory 230 .

메모리(230)는 이동체 판단 장치(120)의 동작에 필요한 각종 정보들이 저장되는 저장 매체로서, SSD(Solid State Drive, 하드 디스크(Hard disc) 등일 수 있다. 특히 메모리(230)는 프로세서(220)에 의해 실행가능하고, 타겟 이동체(130)를 판단하기 위한 프로그램 명령어들 및 각종 정보(예를 들어, 미리 설정된 임계값 등)를 저장할 수 있다. The memory 230 is a storage medium in which various types of information necessary for the operation of the moving object determination device 120 are stored, and may be a solid state drive (SSD), a hard disk, etc. In particular, the memory 230 is the processor 220 It is executable by , and program instructions for determining the target moving object 130 and various information (eg, a preset threshold value, etc.) may be stored.

이하, 프로세서(220)가 카메라(110)에서 생성된 제1 이미지 내지 제n+1 이미지를 이용하여 타겟 이미지를 검출하는 동작에 대해 설명한다. Hereinafter, an operation in which the processor 220 detects a target image using the first image to the n+1th image generated by the camera 110 will be described.

도 3은 본 발명의 일 실시예에 따른 이동체 판단 방법에 대한 순서도이고, 도 4 내지 도 8은 본 발명의 일 실시예에 따른 이동체 판단 장치에서 타켓 이동체를 판단하는 동작을 설명하기 위한 차이영상들을 예시한 도면이다. 3 is a flowchart of a moving object determination method according to an embodiment of the present invention, and FIGS. 4 to 8 are difference images for explaining the operation of determining a target moving object in the moving object determination apparatus according to an embodiment of the present invention. It is an exemplified drawing.

도 3을 참조하여 설명할 이동체 판단 방법은 이동체 판단 장치(110)의 프로세서(220)가 메모리(230)에 저장된 프로그램 명령어들을 실행시켜 동작되는 단계들의 조합일 수 있다. The method of determining a moving object, which will be described with reference to FIG. 3 , may be a combination of steps in which the processor 220 of the apparatus 110 for determining a moving object is operated by executing program instructions stored in the memory 230 .

단계 S310에서, 프로세서(220)는 모뎀(210)을 통해 카메라(110)로 카메라촬영신호를 전송할 수 있다. In step S310 , the processor 220 may transmit a camera photographing signal to the camera 110 through the modem 210 .

단계 S320에서, 카메라(110)는 제1 이미지 내지 제n+1 이미지를 생성하여 모뎀(210)으로 전송할 수 있고, 모뎀(210)은 제1 이미지 내지 제n+1 이미지를 프로세서(220)로 출력할 수 있다. In step S320 , the camera 110 may generate and transmit the first image to the n+1th image to the modem 210 , and the modem 210 transmits the first image to the n+1th image to the processor 220 . can be printed out.

이후, 프로세서(220)는 제1 이미지 내지 제n+1 이미지를 이용하여 피사체 중 이동체가 있는지 여부를 판단할 수 있다. 즉, 단계 S330에서, 프로세서(220)는 제1 이미지 내지 제n+1 이미지 중 연속되는 2개의 이미지를 이용하여 n개의 차이영상을 생성할 수 있다. 즉, 제1 이미지와 제2 이미지의 차이영상(differential image)을 제1 차이영상으로 생성할 수 있다. 또한, 제2 이미지와 제3 이미지의 차이영상을 제2 차이영상으로 생성할 수 있다. 마찬가지 방법으로 제n 이미지와 제n+1 이미지의 차이영상을 제n 차이영상으로 생성할 수 있다. Thereafter, the processor 220 may determine whether there is a moving object among the subjects by using the first image to the n+1th image. That is, in step S330 , the processor 220 may generate n difference images by using two consecutive images from among the first image to the n+1th image. That is, a differential image between the first image and the second image may be generated as the first difference image. Also, a difference image between the second image and the third image may be generated as a second difference image. In the same way, the difference image between the nth image and the n+1th image may be generated as the nth difference image.

단계 S340에서, 프로세서(220)는 제1 차이영상 및 제n 차이영상을 이용하여 움직이는 피사체(즉, 이동체)가 있는지 여부를 감지할 수 있다. 제1 이미지와 제2 이미지가 촬영된 시간 간격이 매우 좁으면, 즉 카메라(110)의 셔터 스피드가 초고속인 경우 느린 속도로 움직이는 피사체는 제1 이미지와 제2 이미지에서 움직이지 않는 것으로 인식될 것이다. 예를 들어, 카메라(110)의 셔터 스피드가 1/1000[sec]이고, 프로세서(220)는 제1 차이영상 내지 제n 차이영상에서 가로 픽셀 기준 50픽셀 이상 이동된 물체를 이동체로 감지하도록 미리 설정될 수 있을 것이다. 감지의 대상이 되는 이동체(즉, 타겟 이동체, 130)가 고속으로 이동하는 물체인 경우, 프로세서(220)는 상기와 같은 조건을 통해 보다 명확하고 빠르게 타겟 이동체(130)를 감지할 수 있을 것이다. In step S340 , the processor 220 may detect whether there is a moving subject (ie, a moving object) using the first difference image and the nth difference image. If the time interval between the first image and the second image is very narrow, that is, when the shutter speed of the camera 110 is super high, a slow-moving subject will be recognized as not moving in the first image and the second image. . For example, the shutter speed of the camera 110 is 1/1000 [sec], and the processor 220 is preliminarily configured to detect an object moved by 50 pixels or more based on horizontal pixels in the first difference image to the n-th difference image as a moving object. can be set When the moving object to be detected (ie, the target moving object 130 ) is an object moving at high speed, the processor 220 may more clearly and quickly detect the target moving object 130 through the above conditions.

카메라 시스템(100)이 설치된 장소가 야구장인 경우, 타겟 이동체(130)는 야구공이 될 수 있고, 특히 100[km] 이상 고속으로 움직이는 야구공일 수 있다. 카메라(110)의 앵글(angle)이 투구 플레이트에 고정된 경우라면 투수가 포수에게 던진 공이 타겟 이동체(130)가 될 수 있다. 투수의 느린 변화구는 통상 `100[km] 이상의 속도로 이동하므로 상기와 같은 조건을 통해서 명확하게 이동체로 감지될 수 있다. 마찬가지로, 카메라 시스템(100)이 설치된 장소가 테니스장인 경우, 타겟 이동체(130)는 테니스공일 수 있다. 테니스공은 야구공보다 고속으로 움직이므로 상기와 같은 조건을 통해 보다 명확하게 이동체로 감지될 수 있을 것이다. When the place where the camera system 100 is installed is a baseball field, the target moving body 130 may be a baseball, and in particular, may be a baseball moving at a high speed of 100 [km] or more. If the angle of the camera 110 is fixed to the pitching plate, the ball thrown by the pitcher to the catcher may be the target movable body 130 . Since the pitcher's slow changing ball usually moves at a speed of 100 [km] or more, it can be clearly detected as a moving object through the above conditions. Similarly, when the place where the camera system 100 is installed is a tennis court, the target movable body 130 may be a tennis ball. Since the tennis ball moves at a higher speed than the baseball, it may be more clearly detected as a moving object through the above conditions.

여기서, 상술한 카메라(110)의 셔터 스피드(1/1000[sec])와 이동체를 감지하기 위한 가로 픽셀 기준 개수(50개)는 예시일 뿐, 본 발명의 권리범위를 제한하는 숫자는 아님이 자명하다. 또한, 프로세서(220)가 n개의 차이영상을 이용하여 이동체(130)를 감지하는 방법도 다양할 수 있다. Here, the shutter speed (1/1000 [sec]) of the camera 110 and the reference number of horizontal pixels (50) for detecting a moving object are merely examples, and are not numbers limiting the scope of the present invention. self-evident Also, there may be various methods in which the processor 220 detects the moving object 130 using the n difference images.

단계 S350 내지 S360에서, 프로세서(220)는 이동체(130)가 감지되면, 감지된 이동체(130)가 포함된 차이영상들만을 검출한다. 즉, 프로세서(220)는 임의의 이동체(130)가 피사체로 등장한 순간부터 사라지거나 움직임이 멈추는 순간에 상응하는 차이영상들만을 검출할 수 있다. 이하 임의의 이동체(130)가 피사체로 등장한 순간의 차이영상을 '제1 이동체차이영상'이라 칭하고, 당해 이동체(130)가 사라지거나 멈추기 전의 마지막 차이영상을 '제m 이동체차이영상'이라 칭한다(단, m은 n 이하의 자연수임). 제1 이동체차이영상 내지 제m 이동체차이영상은 동일한 이동체(130)에 대한 차이영상인 것이다. In steps S350 to S360 , when the moving object 130 is detected, the processor 220 detects only difference images including the detected moving object 130 . That is, the processor 220 may detect only the difference images corresponding to the moment when the arbitrary moving object 130 appears as a subject, disappears, or stops moving. Hereinafter, the difference image at the moment when an arbitrary moving object 130 appears as a subject is referred to as the 'first moving object difference image', and the last difference image before the moving object 130 disappears or stops is referred to as the 'mth moving object difference image' ( However, m is a natural number less than or equal to n). The first moving object difference image to the mth moving object difference image are difference images of the same moving object 130 .

도 4를 참조하면, 제1 이동체차이영상 내지 제m 이동체차이영상을 겹쳐서 디스플레이한 경우를 계시한 도면이다. 카메라(110)의 앵글이 고정되어 있고, 제1 이동체차이영상 내지 제m 이동체차이영상의 크기는 모두 동일하므로, 도 4에 도시된 바와 같이 이동체(130)가 겹치지 않도록 동일 프레임(400)에 위치될 수 있을 것이다. 도 4에는 당해 이동체(130)에 상응하는 제1 차이 이미지(410) 내지 제9 차이 이미지(490)의 9개의 차이 이미지가 동일 프레임(400)에 위치된 경우가 도시된다. 이때, 제1 차이 이미지(410)가 가장 먼저 촬영된 이미지에 대한 것이고, 제9 차이 이미지(490)가 가장 나중에 촬영된 이미지에 대한 것일 수 있다. Referring to FIG. 4 , it is a view showing a case in which the first moving object difference image to the mth moving object difference image are overlapped and displayed. Since the angle of the camera 110 is fixed and the sizes of the first moving object difference image to the mth moving object difference image are all the same, as shown in FIG. 4, the moving object 130 is positioned in the same frame 400 so as not to overlap. it could be 4 shows a case in which nine difference images of the first difference image 410 to the ninth difference image 490 corresponding to the moving object 130 are located in the same frame 400 . In this case, the first difference image 410 may be for the first image photographed, and the ninth difference image 490 may be for the last image photographed.

다시 도 3을 참조하면, 단계 S370 내지 S375에서, 프로세서(220)는 m개의 이동체차이영상 중 임의의 영상들을 이용하여 미리 설정된 개수인 p개의 궤적정보를 생성할 수 있다(단, p는 자연수임). 예를 들어, 미리 설정된 개수가 q개인 경우를 가정한다. 이 경우 프로세서(220)는 q개의 궤적정보 즉, 제1 궤적정보 내지 제p 궤적정보(단, p=q)를 생성할 수 있다. Referring back to FIG. 3 , in steps S370 to S375 , the processor 220 may generate a preset number of p pieces of trajectory information using arbitrary images among m moving object difference images (provided that p is a natural number). ). For example, it is assumed that the preset number is q. In this case, the processor 220 may generate q pieces of trajectory information, that is, the first trajectory information to the p th trajectory information (where p=q).

예를 들어, 프로세서(220)는 m개의 이동체차이영상 중 a개의 영상을 선택적으로 이용하여 제1 궤적정보를 생성할 수 있고, m개의 이동체차이영상 중 b개의 영상을 선택적으로 이용하여 제2 궤적정보를 생성할 수 있으며, m개의 이동체차이영상 중 연속되는 c개의 영상을 이용하여 제3 궤적정보를 생성할 수 있다. 이때, a, b 및 c는 m 이하의 자연수일 수 있다. 또한, a, b 및 c는 서로 상이한 자연수로 선택될 수 있으나, 이는 필수적인 것은 아니다. 이때, 상술한 a개의 영상 및/또는 b개의 영상은 연속적인 영상일 수도 있다. 또는 상술한 a개의 영상 및/또는 b개의 영상은 m개의 이동체차이영상 중에서 무작위로 선택된 영상들일 수도 있다. 또한, a개의 영상과 b개의 영상은 그 일부가 겹치도록 선택될 수도 있고, 겹치지 않도록 선택될 수도 있다. For example, the processor 220 may generate the first trajectory information by selectively using a images among the m moving object difference images, and selectively using b images among the m moving object difference images to selectively use the second trajectory images. Information can be generated, and third trajectory information can be generated using c successive images among m moving body difference images. In this case, a, b, and c may be natural numbers less than or equal to m. In addition, a, b and c may be selected as different natural numbers, but this is not essential. In this case, the above-described a images and/or b images may be continuous images. Alternatively, the above-described a images and/or b images may be images randomly selected from among m moving body difference images. In addition, a portion of the images and the b images may be selected so that a portion thereof overlaps, or may be selected not to overlap.

도 4의 예시에서 9개의 차이 이미지(410 내지 490)가 동일 프레임(400) 내에 포함된 경우가 예시되어 있다. 당해 예시에서 a, b 및 c가 3으로 미리 설정된 경우를 가정하면, 제1 궤적정보 내지 제3 궤적정보는 도 5 내지 도 7과 같이 생성될 수 있다. In the example of FIG. 4 , a case in which nine difference images 410 to 490 are included in the same frame 400 is exemplified. In this example, assuming that a, b, and c are preset to 3, the first to third sign information may be generated as shown in FIGS. 5 to 7 .

먼저 도 5를 참조하면, 제1 궤적정보(510)는 제1 차이 이미지(410) 내지 제3 차이 이미지(430)를 통해 생성될 수 있다. 즉, 프로세서(220)는 제1 차이 이미지(410) 내지 제3 차이 이미지(430)의 각 중앙점을 연결하는 단일의 곡선 또는 직선을 제1 궤적정보(510)로 생성할 수 있다. 제1 궤적정보(510)는 차이 이미지들(410 내지 430)이 포함된 프레임(400)의 변까지 연장될 수 있다. 즉, 프로세서(220)는 제1 차이 이미지(410)의 중앙점, 제2 차이 이미지(420)의 중앙점 및 제3 차이 이미지(430)의 중앙점을 연결하는 곡선 또는 직선을 생성한 후, 당해 곡선 또는 직선을 연장하여 프레임(400)의 변까지 연장할 수 있을 것이다. 프로세서(220)가 곡선 또는 직선을 연장하는 방법은 다양할 수 있다. 예를 들어, 프로세서(220)는 제1 차이 이미지(410)와 제2 차이 이미지(420)의 각 중앙점을 연결하는 직선을 프레임(400)의 변까지 연장하고, 제2 차이 이미지(420)와 제3 차이 이미지(430)의 각 중앙점을 연결하는 직선을 프레임(400)의 변까지 연장하여 제1 궤적정보(510)로 생성할 수 있다. 따라서 제1 궤적정보(510)는 도 5의 예시와 같이 형성될 수 있고, 제1 궤적정보(510)의 제1 시작점(520)은 프레임(400)의 우측변에 위치될 수 있다. First, referring to FIG. 5 , the first trajectory information 510 may be generated through the first difference image 410 to the third difference image 430 . That is, the processor 220 may generate a single curve or straight line connecting each center point of the first difference image 410 to the third difference image 430 as the first trajectory information 510 . The first trajectory information 510 may extend to a side of the frame 400 including the difference images 410 to 430 . That is, the processor 220 generates a curve or straight line connecting the center point of the first difference image 410, the center point of the second difference image 420, and the center point of the third difference image 430, The curved or straight line may be extended to extend to the side of the frame 400 . A method for the processor 220 to extend a curved line or a straight line may be various. For example, the processor 220 extends a straight line connecting each center point of the first difference image 410 and the second difference image 420 to the side of the frame 400 , and the second difference image 420 . A straight line connecting each center point of the and the third difference image 430 may be extended to the side of the frame 400 to generate the first trajectory information 510 . Accordingly, the first trajectory information 510 may be formed as in the example of FIG. 5 , and the first starting point 520 of the first trajectory information 510 may be located on the right side of the frame 400 .

도 6을 참조하면, 제4 차이 이미지(440) 내지 제6 차이 이미지(460)를 통해 생성된 제2 궤적정보(610)가 예시되고, 제2 궤적정보(610)의 제2 시작점(620)도 프레임(400)의 우측변에 위치될 수 있다. 제2 궤적정보(610)는 제1 궤적정보(510)와 동일 또는 유사한 방법으로 생성될 수 있다. Referring to FIG. 6 , the second trajectory information 610 generated through the fourth difference image 440 to the sixth difference image 460 is exemplified, and a second starting point 620 of the second trajectory information 610 . It may be located on the right side of the frame 400 . The second trajectory information 610 may be generated in the same or similar manner as the first trajectory information 510 .

도 7을 참조하면, 제7 차이 이미지(470) 내지 제9 차이 이미지(490)를 통해 생성된 제3 궤적정보(710)가 예시되고, 제3 궤적정보(710)의 제3 시작점(720)도 프레임(400)의 우측변에 위치될 수 있다. 제3 궤적정보(710)는 제1 궤적정보(510) 및/또는 제2 궤적정보(610)와 동일 또는 유사한 방법으로 생성될 수 있다. Referring to FIG. 7 , the third trajectory information 710 generated through the seventh difference image 470 to the ninth difference image 490 is exemplified, and a third starting point 720 of the third trajectory information 710 . It may be located on the right side of the frame 400 . The third sign information 710 may be generated in the same or similar manner as the first sign information 510 and/or the second sign information 610 .

도 4 내지 도 7의 예시에서는 3개의 궤적정보(510, 610, 710) 만 생성되는 경우를 예시하였으나, 프로세서(220)는 더 많은 수의 궤적정보를 생성할 수 있을 것이다. 또한, 도 4 내지 도 7의 예시에서는 3개의 궤적정보는 서로 겹치지 않는 영상을 이용하여 생성되는 것으로 설명하였으나, 일부 겹치는 영상을 이용하여 생성할 수도 있다. 예를 들어, 프로세서(220)는 제1 차이 이미지(410) 내지 제4 차이 이미지(440)를 통해 제1 궤적정보를 생성하고, 제3 차이 이미지(430) 내지 제6 차이 이미지(460)를 통해 제2 궤적정보를 생성하며, 제5 차이 이미지(450) 내지 제9 차이 이미지(490)를 통해 제3 궤적정보를 생성할 수도 있을 것이다. In the examples of FIGS. 4 to 7 , only three pieces of sign information 510 , 610 , and 710 are generated, but the processor 220 may generate a larger number of sign information. In addition, in the examples of FIGS. 4 to 7 , it has been described that three pieces of trajectory information are generated using non-overlapping images, but may also be generated using partially overlapping images. For example, the processor 220 generates first trajectory information through the first difference image 410 to the fourth difference image 440 , and generates the third difference image 430 to the sixth difference image 460 . The second trajectory information may be generated through this, and the third trajectory information may be generated through the fifth difference image 450 to the ninth difference image 490 .

다시 도 3을 참조하면, 단계 S380에서, 프로세서(220)는 제1 궤적정보 내지 제p 궤적정보를 이용하여 미리 설정된 방법에 따라 분산정보를 생성할 수 있다. 예를 들어, 프로세서(220)는 분산정보를 생성하기 위해 제1 궤적정보 내지 제p 궤적정보의 모든 시작점을 하나의 위치로 이동시킬 수 있다. Referring back to FIG. 3 , in step S380 , the processor 220 may generate dispersion information according to a preset method using the first to p-th trajectory information. For example, the processor 220 may move all starting points of the first to p-th trajectory information to one location to generate the dispersion information.

도 8을 참조하면, 도 5 내지 도 7을 참조하여 예시한 제1 궤적정보 내지 제3 궤적정보(510, 610 및 710)의 시작점(520, 620 및 720)이 모두 동일한 위치로 이동된 경우가 예시된다. 이후, 프로세서(220)는 제1 궤적정보 내지 제3 궤적정보(510, 610 및 710)의 종점(810)의 분산(variance) 또는 표준편차(standard deviation)를 분산정보로 생성할 수 있다. 도 8의 예시에서 제1 궤적정보 내지 제3 궤적정보(510, 610 및 710)의 종점(810)은 모두 프레임(800)의 좌측 변에 위치된 경우가 예시되었으나, 각 궤적정보의 종점의 위치는 서로 상이한 변에 위치되어 있을 수도 있고, 이러한 경우라면 분산정보가 그렇지 않은 경우보다 큰 값으로 산출될 것이다. Referring to FIG. 8 , a case in which all of the starting points 520 , 620 and 720 of the first to third trajectory information 510 , 610 and 710 , exemplified with reference to FIGS. 5 to 7 , are moved to the same position. is exemplified Thereafter, the processor 220 may generate variance or standard deviation of the end points 810 of the first to third trace information 510 , 610 and 710 as variance information. In the example of FIG. 8 , the end points 810 of the first to third sign information 510 , 610 and 710 are all located on the left side of the frame 800 , but the location of the end points of each sign information may be located on different sides, and in this case, the variance information will be calculated as a larger value than if not.

다시 도 3을 참조하면, 단계 S390에서, 프로세서(220)는 분산정보와 메모리(230)에 미리 저장된 임계값을 비교하여 당해 이동체(130)가 타겟 이동체인지 여부를 판단할 수 있다. 예를 들어, 프로세서(220)는 분산정보의 값이 임계값 이하인 경우 당해 이동체(130)가 타겟 이동체라고 판단할 수 있다. Referring back to FIG. 3 , in step S390 , the processor 220 may determine whether the moving object 130 is a target moving object by comparing the distribution information with a threshold value previously stored in the memory 230 . For example, when the value of the distribution information is equal to or less than a threshold value, the processor 220 may determine that the moving object 130 is the target moving object.

이상에서는 각 궤적정보들의 시작점을 일치시킨 후 각 궤적정보들의 종점의 분산정보를 이용하는 경우가 예시되어 있으나, 각 궤적정보들의 시작점을 일치시키지 않고 분산정보를 생성할 수도 있다. 즉, 프로세서(220)는 각 궤적정보들의 시작점의 분산정보(이하, 시작점분산정보라 칭함)를 산출하고, 각 궤적정보들의 종점의 분산정보(이하, 종점분산정보라 칭함)를 산출한 뒤, 시작점분산정보와 임계값을 비교하고, 종점분산정보와 임계값을 비교할 수 있으며, 시작점분산정보 및 종점분산정보가 모두 임계값 이하인 경우 이동체(130)가 타겟 이동체라고 판단할 수도 있을 것이다. In the above, the case of using the dispersion information of the end points of each trajectory information after matching the start points of each trajectory information is exemplified. That is, the processor 220 calculates the dispersion information of the starting point of each trajectory information (hereinafter referred to as the starting point dispersion information), and after calculating the dispersion information of the end point of each trajectory information (hereinafter referred to as the end point dispersion information), The starting point variance information and the threshold value can be compared, and the end point variance information and the threshold value can be compared. If both the starting point variance information and the end point variance information are less than or equal to the threshold value, it may be determined that the moving object 130 is the target moving object.

상술한 바와 같이, 본 발명에 따르면 동영상에 포함된 무수히 많은 이동체들 중에서 분석의 목표가 되는 타겟 이동체를 자동으로 구분할 수 있는 카메라 시스템(100)을 제공할 수 있다. As described above, according to the present invention, it is possible to provide a camera system 100 capable of automatically distinguishing a target moving object, which is a target of analysis, from among countless moving objects included in a moving picture.

이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다. As mentioned above, although the present invention has been described in detail with reference to a preferred embodiment, the present invention is not limited to the above embodiment, and various modifications and changes can be made by those skilled in the art within the technical spirit and scope of the present invention. This is possible.

100 : 카메라 시스템
110 : 카메라
120 : 이동체 판단 장치
130 : 이동체(피사체)
100: camera system
110: camera
120: moving object determination device
130: moving object (subject)

Claims (16)

프로세서; 및
상기 프로세서에 연결되고, 미리 설정된 임계값이 저장된 메모리;
를 포함하며,
상기 메모리는 상기 프로세서에 의해 실행 가능한,
연속적으로 생성된 n+1개의 이미지 중 연속되는 2개의 이미지를 이용하여 n개의 차이영상을 생성하고, 상기 n개의 차이영상을 이용하여 이동체를 검출하고, 상기 n개의 차이영상 중 상기 이동체가 포함된 m개의 이동체차이영상을 검출하고, 상기 m개의 이동체차이영상을 이용하여 상기 이동체에 대한 p개의 궤적정보를 생성하고, 상기 궤적정보를 이용하여 상기 이동체가 타겟 이동체인지 여부를 판단하되,제1 궤적정보와 제2 궤적정보를 이용하여 미리 설정된 방법에 따라 분산정보를 생성하고, 상기 분산정보와 상기 임계값을 비교하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 프로그램 명령어들을 저장하며,
상기 p개의 궤적정보 중 상기 제1 궤적정보는 상기 m개의 이동체차이영상 중 a개의 영상이 선택적으로 이용되어 생성되고,
상기 p개의 궤적정보 중 상기 제2 궤적정보는 상기 m개의 이동체차이영상 중 b개의 영상이 선택적으로 이용되어 생성되고,
상기 n과 상기 p는 2 이상의 자연수이고,
상기 m은 상기 n 이하의 자연수이고,
상기 a와 상기 b는 상기 m 이하의 자연수인, 이동체 판단 장치.
processor; and
a memory connected to the processor and storing a preset threshold;
includes,
the memory is executable by the processor;
n difference images are generated using two consecutive images among n+1 images generated continuously, a moving object is detected using the n difference images, and the moving object is included in the n difference images. Detecting m moving object difference images, generating p pieces of trajectory information for the moving object using the m moving object difference images, and determining whether the moving object is a target moving object using the trajectory information, Storing program instructions for generating distribution information according to a preset method using the information and the second trajectory information, and determining whether the moving object is a target moving object by comparing the distribution information with the threshold value;
The first trajectory information among the p pieces of trajectory information is generated by selectively using a images among the m moving object difference images,
The second trajectory information among the p trajectory information is generated by selectively using b images among the m moving body difference images,
Wherein n and p are natural numbers of 2 or more,
Wherein m is a natural number less than or equal to n,
wherein a and b are natural numbers less than or equal to m.
삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 메모리는,
상기 a개의 영상과 상기 b개의 영상을 서로 겹치지 않도록 선택하는 프로그램 명령어들을 저장하되,
상기 a와 상기 b의 합은 상기 m 이하인, 이동체 판단 장치.
According to claim 1,
The memory is
Storing program instructions for selecting the a images and the b images not to overlap each other,
and a sum of a and b is equal to or less than m.
삭제delete 제1항에 있어서,
상기 메모리는,
상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 일치시킨 후 상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 상기 분산정보를 생성하는 프로그램 명령어들을 저장하는, 이동체 판단 장치.
According to claim 1,
The memory is
After matching the start point of the first sign information and the start point of the second sign information, the mobile body stores program instructions for generating the dispersion information by using the end point of the first sign information and the end point of the second sign information judgment device.
제1항에 있어서,
상기 메모리는,
상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 이용하여 시작점분산정보를 생성하고, 상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 종점분산정보를 생성하며, 상기 시작점분산정보, 상기 종점분산정보 및 상기 임계값을 이용하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 프로그램 명령어들을 저장하되,
상기 분산정보는 상기 시작점분산정보와 상기 종점분산정보를 포함하는, 이동체 판단 장치.
According to claim 1,
The memory is
generating starting point dispersion information using the start point of the first trajectory information and the starting point of the second trajectory information, and generating end point dispersion information using the end point of the first trajectory information and the end point of the second trajectory information; store program instructions for determining whether the moving object is a target moving object using the starting point distribution information, the end point distribution information, and the threshold value;
wherein the dispersion information includes the starting point dispersion information and the end point dispersion information.
이동체 판단 장치에서 수행되는 타켓 이동체 판단 방법에 있어서,
연속적으로 생성된 n+1개의 이미지를 미리 설정된 방법에 따라 이용하여 이동체를 검출하는 단계;
상기 이동체에 대한 p개의 궤적정보를 생성하는 단계;
제1 궤적정보와 제2 궤적정보를 이용하여 미리 설정된 방법에 따라 분산정보를 생성하는 단계; 및
상기 분산정보와 구비된 메모리에 기 저장된 임계값을 비교하여 상기 이동체가 타겟 이동체인지 여부를 판단하는 단계;
를 포함하되,
상기 이동체를 검출하는 단계는,
상기 n+1개의 이미지 중 연속되는 2개의 이미지를 이용하여 n개의 차이영상을 생성하는 단계; 및
상기 n개의 차이영상을 이용하여 상기 이동체를 검출하는 단계;
를 포함하고,
상기 p개의 궤적정보를 생성하는 단계는,
상기 n개의 차이영상 중 상기 이동체가 포함된 m개의 이동체차이영상을 검출하는 단계;
상기 m개의 이동체차이영상 중 a개의 영상을 선택적으로 이용하여 상기 제1 궤적정보를 생성하는 단계; 및
상기 m개의 이동체차이영상 중 연속되는 b개의 영상을 선택적으로 이용하여 상기 제2 궤적정보를 생성하는 단계;
를 포함하고,
상기 n과 상기 p는 2 이상의 자연수이고,
상기 m은 상기 n 이하의 자연수이고,
상기 a와 상기 b는 m 이하의 자연수 중 서로 상이한 자연수인, 이동체 판단 방법.

In the target moving object determination method performed by the moving object determination device,
detecting a moving object by using n+1 consecutively generated images according to a preset method;
generating p pieces of trajectory information for the moving object;
generating dispersion information according to a preset method using the first trajectory information and the second trajectory information; and
determining whether the moving object is a target moving object by comparing the dispersion information with a threshold value pre-stored in a provided memory;
including,
The step of detecting the moving object includes:
generating n difference images by using two consecutive images among the n+1 images; and
detecting the moving object using the n difference images;
including,
The step of generating the p pieces of trajectory information includes:
detecting m moving object difference images including the moving object among the n difference images;
generating the first trajectory information by selectively using a images among the m moving body difference images; and
generating the second trajectory information by selectively using b consecutive images among the m moving body difference images;
including,
Wherein n and p are natural numbers of 2 or more,
Wherein m is a natural number less than or equal to n,
wherein a and b are different natural numbers among natural numbers less than or equal to m.

삭제delete 삭제delete 삭제delete 제9항에 있어서,
상기 a개의 영상과 상기 b개의 영상은 서로 겹치지 않도록 선택되되,
상기 a와 상기 b의 합은 상기 m 이하인, 이동체 판단 방법.
10. The method of claim 9,
The a images and the b images are selected so as not to overlap each other,
wherein the sum of a and b is equal to or less than m.
삭제delete 제9항에 있어서,
상기 분산정보를 생성하는 단계는,
상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 일치시키는 단계; 및
상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 상기 분산정보를 생성하는 단계;
를 포함하는, 이동체 판단 방법
10. The method of claim 9,
The step of generating the distributed information comprises:
matching the start point of the first sign information and the start point of the second sign information; and
generating the dispersion information using an endpoint of the first trajectory information and an endpoint of the second trajectory information;
A moving object determination method comprising
제9항에 있어서,
상기 분산정보를 생성하는 단계는,
상기 제1 궤적정보의 시작점과 상기 제2 궤적정보의 시작점을 이용하여 시작점분산정보를 생성하는 단계; 및
상기 제1 궤적정보의 종점과 상기 제2 궤적정보의 종점을 이용하여 종점분산정보를 생성하는 단계;
를 포함하되,
상기 시작점분산정보, 상기 종점분산정보 및 상기 임계값을 이용하여 상기 이동체가 타겟 이동체인지 여부가 판단되고,
상기 분산정보는 상기 시작점분산정보와 상기 종점분산정보를 포함하는, 이동체 판단 방법.
10. The method of claim 9,
The step of generating the distributed information comprises:
generating starting point dispersion information using a starting point of the first trajectory information and a starting point of the second trajectory information; and
generating end point dispersion information by using an end point of the first sign information and an end point of the second sign information;
including,
It is determined whether the moving object is a target moving object using the starting point variance information, the end point variance information, and the threshold value;
The variance information includes the starting point variance information and the end point variance information.
KR1020200134010A 2020-10-16 2020-10-16 Moving object judgment device and method thereof Active KR102396830B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200134010A KR102396830B1 (en) 2020-10-16 2020-10-16 Moving object judgment device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200134010A KR102396830B1 (en) 2020-10-16 2020-10-16 Moving object judgment device and method thereof

Publications (2)

Publication Number Publication Date
KR20220050390A KR20220050390A (en) 2022-04-25
KR102396830B1 true KR102396830B1 (en) 2022-05-11

Family

ID=81452020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200134010A Active KR102396830B1 (en) 2020-10-16 2020-10-16 Moving object judgment device and method thereof

Country Status (1)

Country Link
KR (1) KR102396830B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127815A1 (en) * 2011-03-22 2012-09-27 パナソニック株式会社 Moving object detecting apparatus and moving object detecting method
JP2014504410A (en) * 2010-12-20 2014-02-20 インターナショナル・ビジネス・マシーンズ・コーポレーション Detection and tracking of moving objects
KR101800130B1 (en) * 2016-07-15 2017-11-21 신후주식회사 Method and system for detecting a target in area of fences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014504410A (en) * 2010-12-20 2014-02-20 インターナショナル・ビジネス・マシーンズ・コーポレーション Detection and tracking of moving objects
WO2012127815A1 (en) * 2011-03-22 2012-09-27 パナソニック株式会社 Moving object detecting apparatus and moving object detecting method
KR101800130B1 (en) * 2016-07-15 2017-11-21 신후주식회사 Method and system for detecting a target in area of fences

Also Published As

Publication number Publication date
KR20220050390A (en) 2022-04-25

Similar Documents

Publication Publication Date Title
JP6674247B2 (en) Information processing apparatus, information processing method, and computer program
US10152826B2 (en) Augmented reality display system, terminal device and augmented reality display method
US11188759B2 (en) System and method for automated video processing of an input video signal using tracking of a single moveable bilaterally-targeted game-object
US10564250B2 (en) Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same
US10515471B2 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
US9646421B2 (en) Synchronizing an augmented reality video stream with a displayed video stream
TWI539823B (en) Method for switching video images and monitoring system
US9934823B1 (en) Direction indicators for panoramic images
WO2016157327A1 (en) Video surveillance system and video surveillance method
JP2017531979A (en) System and method for visual player tracking in a sports arena
JP4389901B2 (en) Camera automatic control system, camera automatic control method, camera automatic control device, and program in sports competition
CN103106404A (en) Apparatus, method and system
JP5472506B2 (en) Tracking imaging system and imaging control method for a plurality of moving objects
US9824723B1 (en) Direction indicators for panoramic images
Kruthiventi et al. Low-light pedestrian detection from RGB images using multi-modal knowledge distillation
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
WO2017078435A1 (en) Golf image information automatic generation system and golf image information automatic generation method
CN111652139A (en) Face snapshot method, snapshot device and storage device
US20170264877A1 (en) Pan/tilt/zoom camera based video playing method and apparatus
JP2022040012A5 (en)
JP4987513B2 (en) TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM
KR101589823B1 (en) Cctv monitoring system providing variable display environment to search event situation efficiently
US20150189191A1 (en) Process and system for video production and tracking of objects
KR102396830B1 (en) Moving object judgment device and method thereof
CN110945867B (en) Monitoring apparatus, monitoring method, and storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201016

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210616

Patent event code: PE09021S01D

PE0601 Decision on rejection of patent

Patent event date: 20211201

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210616

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20211201

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20210817

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20220214

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220103

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20211201

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20210817

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

PG1501 Laying open of application
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220506

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220509

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250402

Start annual number: 4

End annual number: 4