[go: up one dir, main page]

KR101503017B1 - Motion detection method and apparatus - Google Patents

Motion detection method and apparatus Download PDF

Info

Publication number
KR101503017B1
KR101503017B1 KR1020080037524A KR20080037524A KR101503017B1 KR 101503017 B1 KR101503017 B1 KR 101503017B1 KR 1020080037524 A KR1020080037524 A KR 1020080037524A KR 20080037524 A KR20080037524 A KR 20080037524A KR 101503017 B1 KR101503017 B1 KR 101503017B1
Authority
KR
South Korea
Prior art keywords
image
frame
motion
feature information
projection data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080037524A
Other languages
Korean (ko)
Other versions
KR20090111913A (en
Inventor
김문수
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020080037524A priority Critical patent/KR101503017B1/en
Publication of KR20090111913A publication Critical patent/KR20090111913A/en
Application granted granted Critical
Publication of KR101503017B1 publication Critical patent/KR101503017B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

이미지 센서를 이용하여 비접촉 모션을 검출하는 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 모션 검출 방법은, 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 단계; 상기 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 단계; 상기 차이 이미지를 기준축 상에 투영시켜 투영 데이터를 획득하는 단계; 상기 투영 데이터로부터 특징 정보를 추출하는 단계; 상기 특징 정보의 궤적을 분석하는 단계; 및 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 단계를 포함할 수 있다. 이에 의하면, 이미지 센서를 이용하여 피사체의 비접촉 모션 정보를 획득할 수 있다.A method and apparatus for detecting non-contact motion using an image sensor is disclosed. According to an embodiment of the present invention, there is provided a motion detection method including: receiving a sequential frame image of a subject from an image sensor; Generating a difference image between a frame image of the input current frame and a frame image of a previous frame; Projecting the difference image onto a reference axis to obtain projection data; Extracting feature information from the projection data; Analyzing a trajectory of the feature information; And acquiring motion information of the subject using the analyzed trajectory. According to this, non-contact motion information of the subject can be obtained by using the image sensor.

이미지 센서, 모션, 차이 이미지, 투영, 궤적 Image sensor, motion, difference image, projection, trajectory

Description

모션 검출 방법 및 장치{Motion detecting method and apparatus}[0001] The present invention relates to a motion detecting method and apparatus,

본 발명은 모션 검출 방법 및 장치에 관한 것으로, 보다 상세하게는 이미지 센서를 이용하여 비접촉 모션을 검출하는 방법 및 장치에 관한 것이다. The present invention relates to a motion detection method and apparatus, and more particularly, to a method and apparatus for detecting non-contact motion using an image sensor.

최근 전자공학 및 통신공학의 비약적인 발전에 따라 촬상부(예를 들어, 카메라 모듈 등), 음원 재생부(예를 들어, MP3 파일 재생 모듈 등) 등이 장착된 휴대용 전자기기가 제공되고 있다. 따라서, 사용자는 다양한 기능이 구비된 휴대용 전자 기기를 이용하여 인터넷 접속, 화상 통신, 동영상 메시지 출력, 디지털 음악 청취 및 위성방송 시청 등의 다양한 기능을 향유할 수 있게 되었다. 이러한 다양한 기능을 향유하기 위해 각종 기능의 선택을 위한 효율적인 키입력이 요구되고 있다. 2. Description of the Related Art Portable electronic apparatuses equipped with an imaging unit (e.g., a camera module) and a sound source reproducing unit (e.g., an MP3 file reproducing module) are provided according to recent breakthroughs in electronics and communication engineering. Accordingly, a user can enjoy various functions such as internet access, video communication, video message output, digital music listening, and satellite broadcast viewing using portable electronic devices having various functions. In order to enjoy these various functions, efficient key input for selecting various functions is required.

그러나, 기존 휴대용 전자기기의 경우사용자는 키패드(keypad)를 이용하여 각종 키 입력(예를 들어, 이동 통신 단말기의 경우 통화 버튼 및 무선 인터넷 접속 버튼, MP3 플레이어의 경우 파일 재생 버튼 및 파일 선택 버튼, 음량 조절 버튼 등의 입력)을 행하거나 스크린 터치를 통해 키 입력을 행하는 등 접촉 방식에 의한 입력만이 가능하였다. However, in the case of a conventional portable electronic device, a user can input various key inputs (for example, a call button and a wireless Internet access button in a mobile communication terminal, a file play button and a file selection button in an MP3 player, A volume control button, or the like), or inputting a key through a screen touch.

또한, 휴대용 전자기기에 구비된 촬상부를 이용하여 비접촉 방식으로 손가락 등의 움직임을 감지하기 위해서는 적외선 광원 등의 독립 광원을 이용하여 손가락 움직임이 따른 반사광을 수신할 필요가 있었다. In addition, in order to detect movement of a finger or the like in a non-contact manner using an imaging unit provided in a portable electronic device, it is necessary to receive reflected light due to finger movement using an independent light source such as an infrared light source.

따라서, 본 발명은 이미지 센서를 이용하여 피사체의 비접촉 모션 정보를 획득할 수 있는 모션 검출 방법 및 장치를 제공한다. Accordingly, the present invention provides a motion detection method and apparatus capable of acquiring non-contact motion information of a subject using an image sensor.

또한, 본 발명은 순차적인 프레임 정보를 이용하여 프로세서에 연산 부담을 주지 않으면서도 모션 정보를 획득하고, 이를 이용한 명령을 생성할 수 있는 모션 검출 방법 및 장치를 제공한다. In addition, the present invention provides a motion detection method and apparatus capable of acquiring motion information and generating an instruction using the sequential frame information without imposing an operational burden on the processor.

본 발명의 일 측면에 따르면, 피사체의 움직임을 검출하는 모션 검출 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다. According to an aspect of the present invention, there is provided a motion detection method for detecting a motion of a subject and a recording medium on which a program for performing the motion detection is recorded.

본 발명의 일 실시예에 따른 모션 검출 방법은, 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 단계; 상기 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 단계; 상기 차이 이미지를 기준축 상에 투영시켜 투영 데이터를 획득하는 단계; 상기 투 영 데이터로부터 특징 정보를 추출하는 단계; 상기 특징 정보의 궤적을 분석하는 단계; 및 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 단계를 포함할 수 있다. According to an embodiment of the present invention, there is provided a motion detection method including: receiving a sequential frame image of a subject from an image sensor; Generating a difference image between a frame image of the input current frame and a frame image of a previous frame; Projecting the difference image onto a reference axis to obtain projection data; Extracting feature information from the projection data; Analyzing a trajectory of the feature information; And acquiring motion information of the subject using the analyzed trajectory.

상기 차이 이미지를 생성하는 단계는 상기 현재 프레임의 프레임 이미지와 상기 직전 프레임의 프레임 이미지 간에 서로 대응하는 픽셀들의 픽셀값의 차이를 픽셀값으로 하여 상기 차이 이미지를 생성할 수 있다. The step of generating the difference image may generate the difference image using a difference between pixel values of pixels corresponding to each other between a frame image of the current frame and a frame image of the immediately preceding frame as pixel values.

상기 투영 데이터를 획득하는 단계는 상기 기준축을 향하여 상기 차이 이미지 내의 픽셀들의 픽셀값을 합산하여 상기 투영 데이터를 획득할 수 있다. 또는 상기 투영 데이터를 획득하는 단계는 상기 기준축을 향하여 픽셀값이 임계값 이상인 상기 차이 이미지 내의 픽셀들의 개수를 상기 투영 데이터로 획득할 수도 있다. The obtaining of the projection data may obtain the projection data by summing the pixel values of the pixels in the difference image toward the reference axis. Or the step of acquiring the projection data may acquire, by the projection data, the number of pixels in the difference image whose pixel value is greater than or equal to a threshold value toward the reference axis.

상기 특징 정보를 추출하는 단계는, 상기 투영 데이터를 검출 기준 투영점을 중심으로 그룹화하는 단계; 및 상기 검출 기준 투영점을 중심으로 구분된 각 그룹 내의 투영 데이터의 합의 차이를 이용하여 상기 특징 정보를 생성하는 단계를 포함할 수 있다. Wherein the extracting of the feature information comprises: grouping the projection data around a detection reference projection point; And generating the feature information using the difference of the sum of the projection data within each group divided centering on the detection reference projection point.

상기 궤적을 분석하는 단계는 누적 저장된 상기 특징 정보가 시간 경과에 따라 미리 설정된 형태를 가지는지 여부를 판단하여 상기 피사체의 모션 유무를 결정할 수 있다. 여기서, 상기 미리 설정된 형태를 사인(sine) 파형일 수 있다. The step of analyzing the locus may determine whether or not the motion of the subject is determined by determining whether the accumulated feature information has a predetermined shape over time. Here, the predetermined type may be a sinusoidal waveform.

상기 기준축은 상기 차이 이미지의 가로축 및 세로축을 포함할 수 있다. 상기 궤적을 분석하는 단계에서 상기 피사체의 모션이 있는 것으로 결정된 경우, 상기 모션을 분석하는 단계는 상기 가로축 및 상기 세로축 중 상기 궤적이 우세한 형 태를 가지는 축을 상기 피사체의 모션의 주 방향으로 결정할 수 있다. The reference axis may include a horizontal axis and a vertical axis of the difference image. In the step of analyzing the locus, when it is determined that there is motion of the subject, the step of analyzing the motion may determine an axis having the dominant trajectory of the horizontal axis and the vertical axis as the main direction of the motion of the subject .

본 발명의 다른 측면에 따르면, 피사체의 움직임을 검출하는 모션 검출 장치가 제공된다. According to another aspect of the present invention, there is provided a motion detection apparatus for detecting a motion of a subject.

본 발명의 일 실시예에 따른 모션 검출 장치는, 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 이미지 입력부; 상기 이미지 입력부가 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 차이 이미지 생성부; 상기 차이 이미지를 기준축 상에 투영시켜 투영 데이터를 획득하는 이미지 투영부; 상기 투영 데이터로부터 특징 정보를 추출하는 특징 정보 추출부 상기 특징 정보의 궤적을 분석하는 궤적 분석부; 및 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 모션 분석부를 포함할 수 있다. According to an embodiment of the present invention, there is provided a motion detection apparatus including: an image input unit that receives a sequential frame image of a subject from an image sensor; A difference image generation unit for generating a difference image between a frame image of a current frame and a frame image of a previous frame inputted by the image input unit; An image projection unit for projecting the difference image onto a reference axis to obtain projection data; A feature information extracting unit that extracts feature information from the projection data; a locus analyzing unit that analyzes a locus of the feature information; And a motion analyzer for obtaining motion information of the subject using the analyzed locus.

상기 차이 이미지 생성부는 상기 현재 프레임의 프레임 이미지와 상기 직전 프레임의 프레임 이미지 간에 서로 대응하는 픽셀들의 픽셀값의 차이를 픽셀값으로 하는 상기 차이 이미지를 생성할 수 있다. The difference image generating unit may generate the difference image in which a difference between pixel values of pixels corresponding to each other between a frame image of the current frame and a frame image of the immediately preceding frame is a pixel value.

상기 이미지 투영부는 상기 기준축을 향하여 상기 차이 이미지 내의 픽셀들의 픽셀값을 합산하여 상기 투영 데이터를 획득할 수 있다. 또는 상기 이미지 투영부는 상기 기준축을 향하여 픽셀값이 임계값 이상인 상기 차이 이미지 내의 픽셀들의 개수를 상기 투영 데이터로 획득할 수도 있다. The image projection unit may obtain the projection data by summing pixel values of pixels in the difference image toward the reference axis. Alternatively, the image projection unit may obtain, as the projection data, the number of pixels in the difference image whose pixel value is greater than or equal to a threshold value toward the reference axis.

상기 특징 정보 추출부는 상기 투영 데이터를 검출 기준 투영점을 중심으로 그룹화하고, 상기 검출 기준 투영점을 중심으로 구분된 각 그룹 내의 투영 데이터 의 합의 차이를 이용하여 상기 특징 정보를 생성할 수 있다. The feature information extracting unit may group the projection data around a detection reference projection point and generate the feature information by using a difference between sums of projection data within each group divided based on the detection reference projection point.

상기 궤적 분석부는 누적 저장된 상기 특징 정보가 시간 경과에 따라 미리 설정된 형태를 가지는지 여부를 판단하여 상기 피사체의 모션 유무를 결정할 수 있다. 여기서, 상기 미리 설정된 형태는 사인(sine) 파형일 수 있다. The trajectory analysis unit may determine whether or not the subject has motion by determining whether the accumulated feature information has a predetermined shape over time. Here, the predetermined type may be a sinusoidal waveform.

상기 기준축은 상기 차이 이미지의 가로축 및 세로축을 포함할 수 있다. 상기 궤적 분석부에 의해 상기 피사체의 모션이 있는 것으로 결정된 경우, 상기 모션 분석부는 상기 가로축 및 상기 세로축 중 상기 궤적이 우세한 형태를 가지는 축을 상기 피사체의 모션의 주 방향으로 결정할 수 있다. The reference axis may include a horizontal axis and a vertical axis of the difference image. When it is determined by the trajectory analysis unit that there is motion of the subject, the motion analyzer can determine an axis having a dominant trajectory of the horizontal axis and the vertical axis as the main direction of the motion of the subject.

상기 모션 검출 장치는, 주변 환경에 따라 상기 이미지 센서의 노출값을 조정하여 상기 프레임 이미지가 일정한 프레임 레이트(frame rate)로 입력되도록 하는 자동 노출부를 더 포함할 수 있다. The motion detection apparatus may further include an automatic exposure unit that adjusts an exposure value of the image sensor according to a surrounding environment to input the frame image at a constant frame rate.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명에 따른 모션 검출 방법 및 장치는 이미지 센서를 이용하여 피사체의 비접촉 모션 정보를 획득할 수 있다.The motion detection method and apparatus according to the present invention can acquire non-contact motion information of a subject using an image sensor.

또한, 순차적인 프레임 정보를 이용하여 프로세서에 연산 부담을 주지 않으면서도 모션 정보를 획득하고, 이를 이용한 명령을 생성할 수 있다. In addition, it is possible to acquire motion information and generate a command using the motion information without imposing a computational burden on the processor by using the sequential frame information.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 모션 검출 장치의 블록 구성도이다. 도 1을 참조하면, 이미지 센서(10), 자동 노출부(15), 모션 검출 장치(100)가 도시되어 있다. 1 is a block diagram of a motion detection apparatus according to an embodiment of the present invention. Referring to FIG. 1, an image sensor 10, an automatic exposure unit 15, and a motion detection device 100 are shown.

이미지 센서(10)는 외부 렌즈를 통해 입력되는 광학 영상(즉, 광학적 피사체 신호)을 전기적인 신호로 변환하여 출력한다. 여기서, 매 프레임(frame)마다 출력되는 전기적 신호를 프레임 이미지라 한다. 이미지 센서(10)는 일정한 프레임 레이트(frame rate) 또는 변화하는 프레임 레이트를 가지는 프레임 이미지를 출력한다. 이하에서는 발명의 이해와 설명의 편의를 위해 프레임 이미지가 일정한 프레임 레이트를 가지는 것으로 가정하여 설명하기로 한다. 또한, 이미지 센서(10)는 CCD(Charge Coupled Device) 타입 또는 CMOS(Complementary Metal-Oxide-Silicon) 타입일 수 있다.The image sensor 10 converts an optical image (i.e., an optical subject signal) input through an external lens into an electrical signal and outputs the electrical signal. Here, an electrical signal output every frame is referred to as a frame image. The image sensor 10 outputs a frame image having a constant frame rate or a varying frame rate. Hereinafter, for ease of understanding and explanation of the present invention, it is assumed that a frame image has a constant frame rate. The image sensor 10 may be a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal-Oxide-Silicon) type.

모션 검출 장치(100)는 이미지 입력부(110), 이미지 저장부(115), 차이 이미지 생성부(120), 이미지 투영부(130), 특징 정보 추출부(140), 특징 정보 저장부(145), 궤적분석부(150), 모션 분석부(160)를 포함한다. The motion detection apparatus 100 includes an image input unit 110, an image storage unit 115, a difference image generation unit 120, an image projection unit 130, a feature information extraction unit 140, a feature information storage unit 145, A locus analyzing unit 150, and a motion analyzing unit 160.

이미지 입력부(110)는 이미지 센서(10)로부터 순차적인 프레임 이미지를 입력받는다. 입력받은 프레임 이미지는 컬러 이미지 또는 흑백 이미지일 수 있다. 컬러 이미지인 경우 컬러 이미지를 그대로 활용하거나 혹은 흑백 이미지로 전환할 수 있다. 흑백 이미지인 경우 피사체의 모션을 검출함에 있어서 모션 검출 장치(100)의 전체적인 연산량을 줄일 수 있는 효과가 있다. The image input unit 110 receives a sequential frame image from the image sensor 10. The received frame image may be a color image or a monochrome image. In the case of a color image, the color image can be used as it is or converted to a monochrome image. In the case of a black-and-white image, there is an effect that the overall calculation amount of the motion detection device 100 can be reduced in detecting the motion of the subject.

입력받은 프레임 이미지는 이미지 저장부(115)에 저장된다. 현재 프레임을 n 번째 프레임이라 가정할 때, 이미지 저장부(115)에는 현재 입력받은 프레임 이미지에 해당하는 프레임(n 번째 프레임) 이전의 프레임(n-1 번째 프레임)에 해당하는 프레임 이미지가 저장되어 있다. The received frame image is stored in the image storage unit 115. Assuming that the current frame is the n-th frame, a frame image corresponding to the frame (n-1) th frame preceding the frame (n-th frame) corresponding to the currently input frame image is stored in the image storage unit 115 have.

차이 이미지 생성부(120)는 이미지 입력부(110)에 입력된 현재 프레임인 n 번째 프레임의 프레임 이미지(n 번째 프레임 이미지)와, 이미지 저장부(115)로부터 읽어온 이전 프레임인 n-1 번째 프레임의 프레임 이미지(n-1 번째 프레임 이미지)를 이용하여 차이 이미지를 생성한다. 임의의 픽셀 위치에 대해서, 두 프레임 이미지에서의 해당 픽셀 위치의 픽셀값의 차이를 차이 이미지에서의 해당 픽셀 위치의 픽셀값으로 한다. 하기 수학식 1과 같이 차이 이미지에서의 해당 픽셀의 픽셀값은 두 프레임 이미지에서의 해당 픽셀의 픽셀값의 차이의 절대값인 것이 바람직하다. The difference image generation unit 120 generates a difference image using the difference between the frame image of the nth frame (nth frame image) of the current frame input to the image input unit 110 and the nth frame of the previous frame read from the image storage unit 115 (N-1) < th > frame image) is used to generate a difference image. For any pixel position, the difference between the pixel values at the corresponding pixel positions in the two frame images is taken as the pixel value at that pixel position in the difference image. The pixel value of the corresponding pixel in the difference image is preferably the absolute value of the difference between the pixel values of the corresponding pixel in the two frame images as shown in Equation 1 below.

Figure 112008028868790-pat00001
Figure 112008028868790-pat00001

여기서, Fdiff는 차이이미지에서의 픽셀값, F(n)은 n 번째 프레임 이미지에서의 픽셀값, F(n-1)은 n-1 번째 프레임 이미지에서의 픽셀값이다. Here, F diff is the pixel value in the difference image, F (n) is the pixel value in the nth frame image, and F (n-1) is the pixel value in the n-1th frame image.

차이 이미지를 생성할 때 모션 검출 폭에 따라 프레임 이미지의 크로핑(cropping)이나 마스킹(masking) 등의 작업이 추가적으로 선행될 수 있다. 여기서, 모션 검출 폭은 본 발명에 따른 모션 검출 장치(100)가 검출 가능한 피사체의 모션 방향, 모션 크기 등을 의미한다. When generating the difference image, operations such as cropping and masking of the frame image may be additionally preceded according to the motion detection width. Here, the motion detection width means a motion direction, a motion size, and the like of a subject that can be detected by the motion detection apparatus 100 according to the present invention.

일 실시예에서, 좌우 방향 또는 상하 방향 뿐만 아니라 360도 전체방향에 대한 검출을 하고자 하는 경우 검출 기준점을 중심으로 원 형태의 마스크를 이용하여 마스킹을 수행할 수 있다. 다른 실시예에서, 검출 기준점을 중심으로 근거리에 위치한 픽셀들에 대해서는 높은 가중치를 부여하고 원거리에 위치한 픽셀들에 대해서는 낮은 가중치를 부여할 수 있다. In one embodiment, when it is desired to detect not only the left-right direction or the up-down direction but also the 360-degree whole direction, the masking can be performed using the circular mask around the detection reference point. In another embodiment, high weighting may be given to pixels located close to the detection reference point, and low weighting may be given to pixels located at a distance.

본 발명의 실시예에서, 피사체의 모션을 검출함에 있어서 피사체가 특정한 점 또는 선을 관통하여 움직일 때 모션이 있는 것으로 가정하며, 이 경우 중심이 되는 특정한 점 또는 선을 검출 기준점이라 한다. 검출 기준점은 이미지 센서(10)의 중심점 또는 이미지 센서(10)에 의해 촬상된 이미지의 중심점 등 일 수 있다. 또한, 검출 기준점은 사용자에 의해 지정된 이미지 상의 픽셀일 수 있다. 또한, 검출 기준점은 하나 이상일 수 있다. In the embodiment of the present invention, when detecting the motion of a subject, it is assumed that there is motion when the subject moves through a specific point or line. In this case, a specific point or line that is the center is referred to as a detection reference point. The detection reference point may be the center point of the image sensor 10 or the center point of the image captured by the image sensor 10. [ Further, the detection reference point may be a pixel on the image designated by the user. In addition, the detection reference point may be one or more.

또한, 차이 이미지 생성부(120)는 차이이미지를 생성한 후 차이 이미지 전체의 콘트라스트(contrast)를 향상시키기 위해 적응형 임계화(adaptive thresholding)를 수행할 수도 있다. In addition, the difference image generation unit 120 may perform adaptive thresholding to improve the contrast of the entire difference image after generating the difference image.

이미지 투영부(130)는 차이 이미지 생성부(120)에서 생성한 차이 이미지에 대해서 기준축 상에 투영(projection)시킨다. 차이 이미지가 기준축 상에 투영됨으로써, 기준축에 대한 투영데이터가 획득된다. 여기서, 기준축은 차이 이미지 내의 임의의 축일 수 있으며, 차이 이미지의 가로축 또는 세로축일 수 있다. 기준축은 하나 또는 둘 이상 있을 수 있으며, 이하에서는 기준축이 차이 이미지의 가로축(X 축) 및 세로축(Y 축)인 경우를 가정하여 설명하지만, 본 발명이 이에 한정되지 않 음은 자명하다. The image projection unit 130 projects a difference image generated by the difference image generation unit 120 onto a reference axis. The difference image is projected on the reference axis, so that the projection data on the reference axis is obtained. Here, the reference axis may be any axis within the difference image, and may be the horizontal axis or the vertical axis of the difference image. The reference axis may be one or two or more. Hereinafter, it is assumed that the reference axis is the horizontal axis (X axis) and the vertical axis (Y axis) of the difference image, but the present invention is not limited thereto.

기준축으로 서로 수직인 X 축 및 Y 축을 가정할 때, 차이 이미지의 픽셀들은 (x, y)로 표현될 수 있다. Assuming the X axis and Y axis perpendicular to each other as the reference axis, the pixels of the difference image can be represented by (x, y).

일 실시예에서, 임의의 y 좌표를 가지는 Y 축 상으로의 투영 데이터(Yproj(y))는 임의의 y 좌표를 가지는 모든 픽셀들((x1, y), (x2, y), (x3, y), …, (xk1, y))의 픽셀값의 합을 산출하는 것을 의미한다. 그리고 임의의 x 좌표를 가지는 X 축 상으로의 투영 데이터(Xproj(x))는 임의의 x 좌표를 가지는 모든 픽셀들((x, y1), (x, y2), (x, y3), …, (x, yk2))의 픽셀값의 합을 산출하는 것을 의미한다. 이는 하기의 수학식 2와 같이 표현될 수 있다. In one embodiment, the projection data (Y proj (y)) on the Y-axis with arbitrary y-coordinates is the sum of all the pixels (x 1 , y), (x 2 , y) (x 3 , y), ..., (x k1 , y). The projection data (X proj (x)) on the X-axis having an arbitrary x-coordinate is obtained by interpolating all the pixels (x, y 1 ), (x, y 2 ) 3 ), ..., (x, y k2 )). This can be expressed by the following equation (2).

Figure 112008028868790-pat00002
Figure 112008028868790-pat00002

다른 실시예에서, 임의의 y 좌표를 가지는 Y 축 상으로의 투영 데이터(Yproj(y))는 임의의 y 좌표를 가지는 모든 픽셀들((x1, y), (x2, y), (x3, y), …, (xk1, y)) 중 일정 값 이상의 픽셀값을 가지는 픽셀의 개수를 의미한다. 그리고 임 의의 x 좌표를 가지는 X 축 상으로의 투영 데이터(Xproj(x))는 임의의 x 좌표를 가지는 모든 픽셀들((x, y1), (x, y2), (x, y3), …, (x, yk2)) 중 일정값 이상의 픽셀값을 가지는 픽셀의 개수를 의미한다.In another embodiment, the projection data (Y proj (y)) on the Y-axis with arbitrary y-coordinates is obtained by interpolating all pixels (x 1 , y), (x 2 , y) (x 3 , y), ..., (x k1 , y). Then, the projection data (X proj (x)) on the X-axis having the arbitrary x-coordinate is the sum of all the pixels ((x, y 1 ), (x, y 2 ) 3 ), ..., (x, y k2 )).

일 실시예에서, X 축 상으로의 투영 데이터는 X 축 방향으로의 모션에 대한 정보를 획득할 수 있도록 하고, Y 축 상으로의 투영 데이터는 Y 축 방향으로의 모션에 대한 정보를 획득할 수 있도록 한다. 이는 추후 특징 정보를 추출하기 위한 기준을 정하기 위해 방향을 정한 것인 바 반대의 경우도 가능함은 물론이다. In one embodiment, the projection data on the X-axis allows information on motion in the X-axis direction to be obtained, and the projection data on the Y-axis can acquire information on the motion in the Y-axis direction . It is a matter of course that the direction is determined in order to determine a criterion for extracting feature information later, and conversely, the opposite case is of course possible.

특징 정보 추출부(140)는 이미지 투영부(130)에서 획득한 투영 데이터를 미리 설정된 방법에 따라 그룹화한다. 일 실시예에서는, X 축 및/또는 Y 축 상에 검출 기준점이 투영된 검출 기준 투영점을 중심으로 하여 양측으로 2개의 그룹으로 그룹화할 수 있다. 그리고 구분된 각 그룹의 차이를 통해 특징 정보를 생성한다. The feature information extraction unit 140 groups the projection data acquired by the image projection unit 130 according to a predetermined method. In one embodiment, the detection reference points projected on the X-axis and / or Y-axis can be grouped into two groups on both sides of a detection reference point. Then, feature information is generated through the difference of each group.

일 실시예에서는 검출 기준점이 하나이며 검출 기준 투영점을 중심으로 2개의 그룹으로 그룹화되지만, 다른 실시예에서는 검출 기준점이 둘 이상이며 각 검출 기준점이 투영된 둘 이상의 검출 기준 투영점을 중심으로 3개 이상의 그룹으로 그룹화할 수 있다. 이 경우 각 그룹의 차이를 통해 특징 정보를 생성할 수 있다. 예를 들어, 각 그룹 중 최우세 그룹과 나머지 그룹들로 구분하여 특징 정보를 생성하거나, 최우세 그룹과 인접 그룹의 투영 데이터를 이용하여 특징 정보를 생성하거나 최우세 그룹과 타 그룹중 어느 하나의 그룹의 투영 데이터를 이용하여 특징 정보를 생성할 수 있다. In one embodiment, there is one detection reference point and two detection reference points are grouped into two groups around the detection reference point. In another embodiment, three detection reference points are grouped based on two or more detection reference points projected on two or more detection reference points, Grouping can be performed. In this case, the feature information can be generated through the difference of each group. For example, the feature information may be generated by dividing the group into the highest three groups and the remaining groups, or the feature information may be generated using the projection data of the uppermost group and the adjacent group, The feature information can be generated using the projection data of the group.

이하에서는 검출 기준점이 하나, 즉 검출 기준 투영점이 하나인 경우 2개의 그룹으로 그룹화되어 특징 정보가 생성된 경우를 가정하여 설명한다. Hereinafter, when there is one detection reference point, that is, when the detection reference projection point is one, it is assumed that the feature information is generated by being grouped into two groups.

생성된 특징 정보는 특징 정보 저장부(145)에 저장되며, 궤적 분석부(150)가 궤적 등의 모션 정보를 획득하기 위해 활용하는 정보가 된다. 특징 정보 추출부(140)는 X 축 및 Y 축에 대해서 각각 투영 데이터를 그룹화하여 특징 정보를 생성한다. The generated feature information is stored in the feature information storage unit 145 and used by the trajectory analysis unit 150 to acquire motion information such as a trajectory. The feature information extracting unit 140 generates feature information by grouping the projection data on the X axis and the Y axis, respectively.

궤적 분석부(150)는 특징 정보를 기초로 하여 시간 경과에 따른 특징 정보의 궤적이 미리 설정된 형태(예를 들어, 사인(sine) 파형)를 가지는지 판단하여 피사체의 모션 유무를 결정한다. 미리 설정된 형태를 가지는 경우, 그 크기가 소정의 임계값 이상인 경우에 검출 기준점을 중심으로 하여 특정 방향으로 모션이 있는 것으로 판단한다. The locus analyzing unit 150 determines whether or not the motion of the subject is determined by determining whether or not the trajectory of the feature information with a lapse of time has a predetermined shape (for example, a sine waveform) based on the feature information. When the size is equal to or greater than a predetermined threshold value, it is determined that there is motion in a specific direction centering on the detection reference point.

미리 설정된 형태가 사인 파형인 경우에는, 비교적 간단한 연산으로 특징 정보의 궤적을 파악할 수 있는 장점이 있다. 궤적 분석부(150)는 기준축에 대해서 특징 정보의 궤적을 분석하며, 기준축이 둘 이상인 경우(즉, X 축 및 Y 축이 기준축인 경우) 각 기준축에 대해서 특징 정보의 궤적을 분석한다. When the preset shape is a sinusoidal waveform, there is an advantage that the trajectory of the feature information can be grasped by a relatively simple calculation. The trajectory analyzer 150 analyzes the trajectory of the feature information with respect to the reference axis and analyzes the trajectory of the feature information with respect to each reference axis when there are two or more reference axes (i.e., the X axis and the Y axis are reference axes) do.

궤적 분석부(150)에 의해 피사체의 모션이 있는 것으로 결정된 경우, 모션 분석부(160)는 궤적의 특성을 파악하여 기준축 상에서의 피사체의 모션 방향을 분석한다. 차이 이미지 중 프레임 별로 변화가 큰 영역을 파악하기 위하여 특징 정보를 활용한다. 특징 정보의 궤적은 해당 영역의 변화에 따른 차분값의 부호 변화가 반영되어 있다. 즉, 유사한 사인 파형이라고 하더라도 궤적이 음(-)의 값에서 양(+)의 값으로 변화하는 경우와 양(+)의 값에서 음(-)의 값으로 변화하는 경우는 피사체의 모션 방향이 다르게 된다. When it is determined by the locus analyzing unit 150 that there is motion of the subject, the motion analyzer 160 grasps the characteristics of the locus and analyzes the motion direction of the subject on the reference axis. The feature information is used to identify the area where the change is large for each frame among the difference images. The trajectory of the feature information reflects the sign change of the difference value according to the change of the corresponding region. In other words, when the trajectory changes from a negative value to a positive value and from a positive value to a negative value, even if a similar sinusoidal waveform is used, Different.

또한, 모션 분석부(160)는 기준축이 둘 이상인 경우에 궤적 분석부(150)에 의해 분석된 X 축 및 Y 축에 대한 결과값을 상호 분석하여 상대적으로 우세한 형태를 가지는 쪽을 선택한다. X 축에 대한 결과값이 우세한 형태를 가지는 경우 피사체의 모션은 X 축 방향인 것으로 판단하고, Y 축에 대한 결과값이 우세한 형태를 가지는 경우 피사체의 모션은 Y 축 방향인 것으로 판단한다. 즉, 모션 분석부(160)는 피사체의 모션의 2차원적인 방향성을 판단한다. Also, the motion analyzer 160 analyzes the results of the X-axis and the Y-axis analyzed by the trajectory analyzer 150 when the reference axis is two or more, and selects the one having a relatively dominant shape. If the result of the X-axis is dominant, it is determined that the motion of the subject is in the X-axis direction. If the result of the Y-axis is predominant, the motion of the subject is determined to be in the Y-axis direction. That is, the motion analyzer 160 determines the two-dimensional directionality of the motion of the subject.

X 축 및 Y 축에 대한 방향성 판단 결과 유사한 형태를 가지고 있으며, 소정 범위 이내의 차이를 가지는 경우 X 축 및 Y 축에 대해서 사선으로 피사체가 움직인 것으로 판단할 수 있다. The X-axis and the Y-axis have a similar shape, and if the difference is within a predetermined range, it can be determined that the subject moves with an oblique line to the X-axis and the Y-axis.

모션 분석부(160)에서 분석된 피사체의 모션 정보(모션 방향 등 포함)을 출력하며, 후단에 연결되는 프로세서에서 이를 활용하게 된다. 예를 들어, 피사체의 모션 정보를 이용하여 좌우 방향 또는 상하 방향으로 마우스 커서를 움직인 것과 같은 효과를 나타내거나, 좌우 방향 또는 상하 방향으로 배열된 여러 선택 대상 중 어느 하나를 선택한 것과 같은 효과를 나타낼 수 있다. The motion analyzing unit 160 outputs the motion information (including the motion direction) of the subject analyzed, and the processor connected to the rear end uses the motion information. For example, by using the motion information of the subject, it is possible to display the same effect as moving the mouse cursor in the left-right direction or the up-down direction, or to select any one of a plurality of selection objects arranged in the left-right direction or the up-down direction .

본 발명의 다른 실시예에 따르면, 이미지 센서(10)에 자동 노출부(15)가 추가적으로 연결되어 있을 수 있다. 모션 검출 장치(100)가 프레임 이미지를 통해 모션 정보를 획득함에 있어서 상술한 내용에서는 프레임 레이트가 일정한 것으로 가정하였다. 자동 노출부(15)는 이미지 센서(10)가 일정한 프레임 레이트로 프레임 이미지를 출력할 수 있도록 노출값을 조정한다. According to another embodiment of the present invention, the automatic exposure unit 15 may be additionally connected to the image sensor 10. In the above description, it is assumed that the frame rate is constant when the motion detection apparatus 100 acquires motion information through the frame image. The automatic exposure unit 15 adjusts the exposure value so that the image sensor 10 can output the frame image at a constant frame rate.

이미지 센서(10)를 구비한 디지털 카메라와 같은 촬상 장치의 경우 주변 환경(예를 들어, 밝기)에 따라 프레임 레이트와 노출값을 조정하여 충분한 빛이 이미지 센서(10)에 입력되도록 한다. 예를 들어, 노출값이 고정된 경우를 가정하면, 낮과 같이 주변이 밝은 때에는 40 fps(Frame Per Second)이지만, 밤과 같이 주변이 어두울 때에는 5 내지 10 fps일 수 있다. 이 경우 주변 환경에 따라 프레임 레이트가 변화되며, 일정한 프레임 레이트를 요구하는 모션 검출 장치(100)가 정확한 모션 정보를 획득하는 것이 어려울 수 있다. 따라서, 자동 노출부(15)가 주변 환경에 따라 노출값이 변화시키면서 프레임 레이트를 일정하게 유지시킬 수도 있다. In the case of an image sensing apparatus such as a digital camera having an image sensor 10, a sufficient amount of light is input to the image sensor 10 by adjusting the frame rate and the exposure value according to the surrounding environment (for example, brightness). For example, assuming that the exposure value is fixed, it is 40 fps (Frame Per Second) when the surroundings are bright as in the daytime, but may be 5 to 10 fps when the surroundings are dark like nighttime. In this case, the frame rate changes depending on the surrounding environment, and it may be difficult for the motion detection apparatus 100 requiring a constant frame rate to obtain accurate motion information. Accordingly, the automatic exposure unit 15 may maintain the frame rate constant while varying the exposure value according to the surrounding environment.

도 1에서는 자동 노출부(15)가 모션검출 장치(100)와 별도로 이미지 센서(10)에 연결되어 있는 것으로 도시하였으나, 자동 노출부(15)는 모션 검출 장치(100) 내에 구비되어 있을 수도 있다. 1, the automatic exposure unit 15 is connected to the image sensor 10 separately from the motion detection device 100. However, the automatic exposure unit 15 may be provided in the motion detection device 100 .

본 발명의 일 실시예에서, 모션 검출 장치(100)는 적외선 광원 등의 독립 광원을 구비하지 않고서도 가시광선 조건 하에서 이미지 센서(10)를 이용하여 피사체를 촬영하고 프레임별로 분석함으로써 피사체의 움직임을 파악할 수 있다. In an embodiment of the present invention, the motion detection apparatus 100 photographs a subject using the image sensor 10 under visible light conditions and analyzes the motion of the subject by frame, without having an independent light source such as an infrared light source, .

다른 실시예에서, 모션 검출 장치(100)는 자동 노출부(15)를 구비하고서도 가시광선 조건 하에서 충분한 광량을 획득하지 못하는 경우 보조 광원을 구비하여 충분한 광량을 획득할 수 있다. In another embodiment, the motion detection apparatus 100 may have an auxiliary light source to acquire a sufficient amount of light when the motion detection apparatus 100 has the automatic exposure unit 15 and can not acquire a sufficient amount of light under the visible light condition.

이하에서는 모션 검출 장치(100)에서 피사체의 모션을 검출하는 방법에 대 해서 보다 상세하게 도 2 이하의 도면을 참조하여 설명하기로 한다. 발명의 이해와 설명의 편의를 위해 모션 검출 방법의 수행은 모션 검출 장치(100)에서 이루어지는 것으로 설명하기로 한다. Hereinafter, a method of detecting the motion of a subject in the motion detection apparatus 100 will be described in more detail with reference to FIG. 2 and subsequent drawings. For convenience of understanding and explanation of the invention, it is assumed that the motion detection method is performed by the motion detection apparatus 100. [

도 2는 본 발명의 일 실시예에 따른 모션 검출 방법의 흐름도이고, 도 3은 차이 이미지의 생성 방법을 나타낸 도면이며, 도 4는 차이 이미지의 예시도이고, 도 5는 차이 이미지에서 이미지 투영을 나타낸 도면이며, 도 6은 특징정보를 추출하는 방법을 나타낸 도면이고, 도 7은 특징 정보 집합의 파형(waveform)을 나타낸 도면이다. FIG. 2 is a flowchart of a motion detection method according to an embodiment of the present invention, FIG. 3 is a diagram illustrating a method of generating a difference image, FIG. 4 is an exemplary view of a difference image, FIG. 6 is a diagram showing a method of extracting feature information, and FIG. 7 is a diagram showing a waveform of a feature information set.

여기서는, 기준축이 차이 이미지의 가로축(X 축) 및 세로축(Y 축)이고, 검출 기준점이 차이 이미지의 중심점인 것을 가정하여 설명하기로 한다. Here, it is assumed that the reference axis is the horizontal axis (X axis) and the vertical axis (Y axis) of the difference image, and the detection reference point is the center point of the difference image.

모션 검출 장치(100)는 이미지 센서(10)로부터 프레임 이미지를 입력받는다(단계 200). 입력받은 프레임 이미지는 컬러 이미지 또는 흑백 이미지일 수 있다. 컬러 이미지인 경우 흑백 이미지로 전환할 수 있다. 컬러 이미지의 흑백 이미지로의 전환은 당업자에게 자명한 사항인 바 상세한 설명은 생략하기로 한다. The motion detection apparatus 100 receives a frame image from the image sensor 10 (step 200). The received frame image may be a color image or a monochrome image. If it is a color image, it can switch to a black and white image. The conversion of the color image into the black and white image is obvious to those skilled in the art, and a detailed description thereof will be omitted.

현재 프레임의 프레임 이미지(n 번째 프레임 이미지)와 이전 프레임의 프레임 이미지(n-1 번째 프레임 이미지) 간의 차이 이미지를 생성한다(단계 210). n 번째 프레임 이미지의 임의의 픽셀과, 이에 대응되는 n-1 번째 프레임 이미지의 픽셀의 픽셀값의 차이를 차이 이미지의 해당 픽셀의 픽셀값으로 한다. A difference image is generated between the frame image of the current frame (nth frame image) and the frame image of the previous frame (n-1th frame image) (step 210). the difference between the pixel values of the pixels of the n-th frame image and the corresponding pixels of the (n-1) -th frame image is set as the pixel value of the corresponding pixel of the difference image.

도 3을 참조하면, n-1 번째 프레임 이미지 Frame(n-1)와 n 번째 프레임 이미지Frame(n)의 각 픽셀들에 대하여 빼기 연산을 수행하여 n-1 번째 차이 이미지 Fdiff(n-1)을 획득한다. 차이 이미지의 각 픽셀들은 상기 수학식 1을 통한 픽셀값을 가지게 된다. Referring to Figure 3, n-1 th frame image Frame (n-1) and the n th frame image Frame (n) n-1-th difference image by performing a subtraction operation with respect to each pixel in F diff (n-1 ). Each pixel of the difference image has a pixel value through Equation (1).

차이 이미지(400)에 대해서는 검출 기준점(410)을 중심으로 모션 검출 폭에 따라 일정 영역을 그룹화하고(도 4의Grouping 영역 참조) 그룹 내의 일정 영역에 대해서 가중치를 부여(도 4의Weighting 영역 참조)할 수도 있다. For the difference image 400, a certain area is grouped according to the motion detection width around the detection reference point 410 (refer to the Grouping area in FIG. 4), a weight is given to a certain area in the group (refer to the weighting area in FIG. 4) You may.

생성된 차이 이미지에 대해서 각 픽셀들을 서로 수직인 두 축으로 투영한 투영 데이터를 획득한다(단계 220). 차이 이미지의 가로 축을 X 축, 세로 축을 Y 축이라 할 때, 서로 수직인 두 축은 X 축 및 Y 축일 수 있다. 즉, X 축 상으로의 투영 데이터(510x) 및 Y 축 상으로의 투영 데이터(510y)를 획득할 수 있다(도 5 참조). For the generated difference image, projection data obtained by projecting each pixel on two axes perpendicular to each other is obtained (step 220). When the horizontal axis of the difference image is referred to as X axis and the vertical axis as Y axis, two mutually perpendicular axes can be X axis and Y axis. That is, it is possible to obtain the projection data 510x on the X-axis and the projection data 510y on the Y-axis (see FIG. 5).

투영 데이터는 상기 수학식 2에서와 같이 픽셀값들의 합이거나, 혹은 일정한 값 이상을 가지는 픽셀의 개수일 수 있다. The projection data may be the sum of pixel values as in Equation (2), or may be the number of pixels having a certain value or more.

투영 데이터를 기초로 하여 X 축 방향으로의 특징 정보 및 Y 축 방향으로의 특징 정보를 추출한다(단계 230). Based on the projection data, feature information in the X-axis direction and feature information in the Y-axis direction are extracted (step 230).

도 6을 참조하여, X 축 방향으로의 특징 정보를 획득하는 방법을 설명하기로 하며, Y 축 방향으로의 특징 정보 역시 동일한 방법에 의해 획득할 수 있다. A method of acquiring feature information in the X-axis direction will be described with reference to FIG. 6, and the feature information in the Y-axis direction can also be obtained by the same method.

X 축 방향으로의 투영 데이터(Xproj)에 대해서 검출 기준점을 중심으로 양측으로 그룹화한다. A 그룹과 B 그룹으로 구분될 수 있으며, A 그룹에 속하는 투영 데이터의 합을 Xprojsum_a라 하고, B 그룹에 속하는 투영 데이터의 합을 Xprojsum_b라 한 다. 여기서, 검출 기준점은 차이 이미지의 중심점이며, A 그룹에 속하는 투영 데이터의 개수와 B 그룹에 속하는 투영 데이터의 개수는 동일한 것으로 가정한다. The projection data (X proj ) in the X-axis direction is grouped on both sides around the detection reference point. The sum of the projection data belonging to the A group is X projsum_a , and the sum of the projection data belonging to the B group is X projsum_b . Here, it is assumed that the detection reference point is the center point of the difference image, and the number of the projection data belonging to the A group and the number of the projection data belonging to the B group are the same.

이 경우 특징 정보 Xf는 수학식 3에 기재된 것과 같이 A 그룹에 속하는 투영 데이터의 합에서 B 그룹에 속하는 투영 데이터의 합을 뺀 값이 된다. In this case, the feature information X f is a value obtained by subtracting the sum of the projection data belonging to the group B from the sum of the projection data belonging to the group A as described in the equation (3).

Figure 112008028868790-pat00003
Figure 112008028868790-pat00003

매 프레임마다 생성되는 특징 정보들을 특징 정보 저장부(145)에 저장하고, 이를 이용하여 궤적을 생성한다. 그리고 생성된 궤적을 기초로 하여 X 축과 Y 축 간의 상호 분석(단계 240)을 통해, 상대적으로 우세한 축 방향을 결정한다. 그리고 우세한 축 방향의 특징 정보를 분석하여 모션 방향을 결정한다(단계 250). 여기서, 기준축이 하나인 경우에는 단계 240이 생략될 수 있으며, 단계 250에서 기준축 방향의 특징 정보를 분석하여 모션 방향을 결정할 수 있다. The feature information generated for each frame is stored in the feature information storage unit 145, and a locus is generated using the feature information. And based on the generated locus, determines a relatively dominant axial direction through a mutual analysis (step 240) between the X and Y axes. The motion direction is determined by analyzing the feature information of the dominant axial direction (step 250). Here, if there is one reference axis, step 240 may be omitted. In step 250, the motion direction may be determined by analyzing the feature information in the direction of the reference axis.

제1 구간, 제2 구간, 제3 구간에서의 A 그룹 투영 데이터 합(710a), B 그룹 투영 데이터 합(710b), 특징 정보(720)가 도 7에 도시되어 있다. The A group projection data sum 710a, the B group projection data sum 710b, and the feature information 720 in the first section, the second section and the third section are shown in FIG.

제1 구간에서 X 축 상의 특징 정보는 사인(sine) 형태의 파형을 이룬다. 이에 비해 Y 축 상의 특징 정보는 사인 형태이라 볼 수 없는 파형을 이룬다. 즉, 제1 구간에서는 사인 파형을 이루는 X 축 상의 특징 정보가 Y 축 상의 특징 정보에 비해 상대적으로 우세한 것으로 판단된다. In the first section, the feature information on the X axis forms a sinusoidal waveform. On the other hand, the feature information on the Y-axis forms a waveform that can not be regarded as a sine form. That is, in the first section, the feature information on the X-axis constituting the sinusoidal waveform is judged to be relatively superior to the feature information on the Y-axis.

그리고 X 축 상의 특징 정보가 처음에는 양(+)의 값을 가지고 나중에는 음(-)의 값을 가지는 사인 형태를 가지고 있는 바 X 축에서 제1 방향(예를 들어, x가 증가하는 방향)으로 피사체의 움직임이 있었던 것으로 결정한다(D(1) 참조). The characteristic information on the X axis has a positive value at the beginning and a negative value at the end, so that in the X axis, the first direction (for example, the direction in which x increases) (See D (1)).

제2 구간에서 X 축 상의 특징 정보는 사인 형태의 파형을 이룬다. 이에 비해 Y 축 상의 특징 정보는 사인 형태라 볼 수 없는 파형을 이룬다. 즉, 제2 구간에서도 사인 형태의 파형을 이루는 X 축 상의 특징 정보가 Y 축 상의 특징 정보에 비해 상대적으로 우세한 것으로 판단된다. In the second section, the characteristic information on the X axis forms a sinusoidal waveform. On the other hand, the feature information on the Y-axis forms a waveform that can not be regarded as a sign. That is, it is judged that the characteristic information on the X-axis forming the sinusoidal waveform in the second section is relatively superior to the characteristic information on the Y-axis.

그리고 X 축 상의 특징 정보가 처음에는 음(-)의 값을 가지고 나중에는 양(+)의 값을 가지는 사인 형태를 가지고 있는 바 X 축에서 제2 방향(예를 들어, x가 감소하는 방향)으로 피사체의 움직임이 있었던 것으로 결정한다(D(2) 참조).The characteristic information on the X axis has a negative value at the beginning and a positive value having a positive value at a later time. In the second direction (for example, in the direction in which x decreases) in the X axis, (See D (2)).

제3 구간에서도 제2 구간에서와 유사한 과정을 거쳐 피사체의 움직임을 결정할 수 있게 된다(D(3) 참조). In the third section, the motion of the subject can be determined through a process similar to that in the second section (see D (3)).

특징 정보 저장부(145)에 저장된 특징 정보들에 대해서 순차적으로 새로운 특징 정보가 저장될 때마다 하기의 특징 정보 파형 분석 방법을 수행함으로써 현재 특징 정보에 의한 궤적이 사인 형태인지 여부를 판단할 수 있다. 본 발명의 일 실시예에 따른 특징 정보의 파형을 분석하는 방법은 다음과 같다.Each time the new feature information is sequentially stored for the feature information stored in the feature information storage unit 145, the following feature information waveform analysis method can be performed to determine whether the trajectory based on the current feature information is a sign feature . A method of analyzing the waveform of feature information according to an embodiment of the present invention is as follows.

상술한 단계 200 내지 230을 수행하여 특징 정보가 추출된 것으로 가정한다. 일정 시간이 경과함에 따라 복수의 특징 정보가 특징 정보 저장부(145)에 저장되어 있다. It is assumed that the feature information has been extracted by performing steps 200 to 230 described above. A plurality of feature information is stored in the feature information storage unit 145 as a predetermined time elapses.

특징 정보 저장부(145)에 저장된 특징 정보들에 대해서 현재 프레임을 기준 으로 하여 일정 범위 내에 위치한 특징 정보들을 이용하여 포지티브 특징값(Xpos), 네거티브 특징값(Xneg), 방향 특징값(Xdir)을 산출한다. And characterized by the information based on the current frame for the feature information stored in the storage unit 145 using the characteristic information is located within a range of positive-characteristic value (X pos), the negative characteristic value (X neg), the direction characteristic value (X dir ).

예를 들어, 현재 n 번째 프레임 이미지가 입력된 경우, 현재 프레임을 기준으로 a 번째 이전의 프레임부터 b 번째 이전의 프레임까지를 일정 범위로 가정한다. 이 경우수학식 4에 기재된 것과 같이 포지티브 특징값(Xpos)은 일정범위 내에 위치한 특징 정보들 중 양(+)의 값들만을 합산한 값이며, 네거티브 특징값(Xneg)은 일정범위 내에 위치한 특징 정보들 중 음(-)의 값들만을 합산한 값이다. 그리고 방향 특징값(Xdir)은 일정범위 내에서 연속된 특징 정보들 간의 차이를 합산한 값이다. For example, when the nth frame image is input, it is assumed that a range from the frame before the ath frame to the frame before the bth frame is within a certain range based on the current frame. In this case, a value obtained by summing only the value of a positive characteristic value (X pos) is the amount of the characteristic information is located within a range of (+) as described in equation (4), the negative characteristic value (X neg) is located within a predetermined range (-) values of the feature information. The direction feature value (X dir ) is a value obtained by summing differences between consecutive feature information within a certain range.

Figure 112008028868790-pat00004
Figure 112008028868790-pat00004

포지티브 특징값, 네거티브 특징값, 방향 특징값이 각각 미리 설정된 임계값 이상인 경우의 프레임을 시작 프레임으로 설정한다. 각 특징값이 미리 설정된 임계값 이상인 경우에 해당 특징 정보들이 사인 형태를 이루고 있는 것으로 판단할 수 있다. A frame when the positive feature value, the negative feature value, and the direction feature value respectively are equal to or greater than a preset threshold value is set as a start frame. When each feature value is equal to or greater than a preset threshold value, it can be determined that the feature information has a sign shape.

그리고 시작 프레임부터 미리 정해진 수만큼의 프레임까지 상기 수학식 4에 따른 포지티브 특징값, 네거티브 특징값, 방향 특징값을 산출한다. 예를 들어, k 번째 프레임이 시작 프레임으로 결정되고 미리 정해진 수가 5인 경우, k 번째 프레임부터 k+4 번째 프레임까지 수학식 4에 따른포지티브 특징값, 네거티브 특징값, 방향 특징값을 산출한다. The positive feature value, the negative feature value, and the direction feature value according to Equation (4) are calculated from the start frame to a predetermined number of frames. For example, if the kth frame is determined as the start frame and the predetermined number is 5, the positive feature value, the negative feature value, and the direction feature value according to Equation (4) are calculated from the kth frame to the (k + 4) th frame.

그리고 시작 프레임부터 미리 정해진 수만큼의 프레임까지 산출된 포지티브 특징값과 네거티브 특징값을 각각 합산한다. 그리고 방향 특징값은 양(+)의 값을 가지는 경우와 음(-)의 값을 가지는 경우를 구분하여 포지티브 방향 특징값과 네거티브 방향 특징값으로 합산한다. The positive feature value and the negative feature value calculated from the start frame to a predetermined number of frames are respectively added. The direction characteristic value is divided into a positive direction characteristic value and a negative direction characteristic value by dividing a case having positive (+) value and a case having negative (negative) value.

상술한 과정이 수행된 이후 X 축 상의특징 정보들에 의한 각 특징값들과 Y 축 상의 특징 정보들에 의한 각 특징값들을 비교한다. 포지티브 특징값과 네거티브 특징값을 비교하여 절대값이 더 큰 축을피사체 움직임의 주 방향축으로 결정한다. After the above-described process is performed, feature values based on feature information on the X-axis and feature values based on feature information on the Y-axis are compared. The positive feature value is compared with the negative feature value, and the axis having the larger absolute value is determined as the main direction axis of the subject movement.

그리고 해당 축 상에서의 모션 방향에 대해서는 포지티브 방향 특징값의 절대값과 네거티브 방향 특징값의 절대값을 비교하여 결정한다. 포지티브 방향 특징값의 절대값이 더 큰 경우를 제1 방향(예를 들어, X 축의 경우 x가 증가하는 방향)이라고 하면, 네거티브 방향 특징값의 절대값이 더 큰 경우는 제2 방향(예를 들어, X 축의 경우 x가 감소하는 방향)이 될 수 있다. For the motion direction on the axis, the absolute value of the positive direction characteristic value is compared with the absolute value of the negative direction characteristic value. When the absolute value of the positive direction characteristic value is larger in the first direction (for example, in the direction of increasing x in the case of the X-axis), when the absolute value of the negative direction characteristic value is larger, For example, the direction in which x decreases in the case of the X axis).

한편, 상술한 모션 검출 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 모션 검출 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.On the other hand, the above-described motion detection method can be created by a computer program. The codes and code segments that make up the program can be easily deduced by a computer programmer in the field. The program is stored in a computer-readable medium and readable and executed by a computer to implement a motion detection method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the invention may be varied and varied without departing from the scope of the invention.

도 1은 본 발명의 일 실시예에 따른 모션 검출 장치의 블록 구성도. 1 is a block diagram of a motion detection apparatus according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 따른 모션 검출 방법의 흐름도.2 is a flowchart of a motion detection method according to an embodiment of the present invention.

도 3은 차이 이미지의 생성 방법을 나타낸 도면.3 is a diagram illustrating a method of generating a difference image;

도 4는 차이 이미지의 예시도.Figure 4 is an illustration of a difference image.

도 5는 차이 이미지에서 이미지 투영을 나타낸 도면.Figure 5 shows an image projection in a difference image;

도 6은 특징 정보를 추출하는 방법을 나타낸 도면.6 shows a method of extracting feature information.

도 7은 특징 정보 집합의 파형(waveform)을 나타낸 도면. 7 shows a waveform of a feature information set;

Claims (20)

모션 검출 장치에 의해 수행되는 모션 검출 방법으로서,A motion detection method performed by a motion detection apparatus, 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 단계;Receiving a sequential frame image of a subject from an image sensor; 상기 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 단계;Generating a difference image between a frame image of the input current frame and a frame image of a previous frame; 상기 차이 이미지를 상기 차이 이미지의 가로축 및 세로축을 포함하는 기준축 상에 투영시켜 투영 데이터를 획득하는 단계;Projecting the difference image onto a reference axis including a horizontal axis and a vertical axis of the difference image to obtain projection data; 상기 투영 데이터로부터 특징 정보를 추출하는 단계;Extracting feature information from the projection data; 상기 특징 정보의 궤적을 분석하는 단계; 및Analyzing a trajectory of the feature information; And 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 단계를 포함하되,And acquiring motion information of the subject using the analyzed locus, 상기 특징 정보를 추출하는 단계에서, 상기 투영 데이터가 검출 기준 투영점을 중심으로 그룹화되고, 상기 검출 기준 투영점을 중심으로 구분된 각 그룹 내의 투영 데이터의 합의 차이를 이용하여 상기 특징 정보가 생성되며,In the step of extracting the feature information, the projection data is grouped based on a detection reference projection point, and the feature information is generated using the difference of the sum of projection data within each group divided on the basis of the detection reference projection point , 상기 궤적을 분석하는 단계에서, 상기 피사체의 모션 유무를 결정하기 위해 누적 저장된 상기 특징 정보가 시간 경과에 따라 미리 설정된 사인(sine) 파형의 형상을 가지는지 여부가 판단되고,In the step of analyzing the locus, it is determined whether or not the feature information accumulated and accumulated in order to determine the presence or absence of motion of the subject has a shape of a sine waveform set in advance over time, 상기 피사체의 모션이 있는 것으로 결정되면, 상기 모션 정보를 획득하는 단계에서, 상기 가로축 및 상기 세로축 각각에 투영된 투영 데이터에 상응하는 상기 특징 정보의 궤적이 상기 미리 설정된 사인 파형에 상대적으로 유사한 형태를 가지는 상기 가로축 및 상기 세로축 중 어느 하나가 상기 피사체의 모션의 주 방향으로 결정되는 것을 특징으로 하는 모션 검출 방법.When the motion information of the subject is determined to be present, the trajectory of the feature information corresponding to the projection data projected on each of the horizontal axis and the vertical axis is relatively similar to the predetermined sinusoidal waveform Wherein one of the horizontal axis and the vertical axis is determined as the main direction of the motion of the subject. 제1항에 있어서,The method according to claim 1, 상기 차이 이미지를 생성하는 단계는 상기 현재 프레임의 프레임 이미지와 상기 직전 프레임의 프레임 이미지 간에 서로 대응하는 픽셀들의 픽셀값의 차이를 픽셀값으로 하여 상기 차이 이미지를 생성하는 것을 특징으로 하는 모션 검출 방법.Wherein the step of generating the difference image generates the difference image by using a difference between pixel values of pixels corresponding to each other between a frame image of the current frame and a frame image of the immediately preceding frame as pixel values. 제1항에 있어서,The method according to claim 1, 상기 투영 데이터를 획득하는 단계는 상기 기준축에 대하여 상기 차이 이미지 내의 픽셀들의 픽셀값을 합산하여 상기 투영 데이터를 획득하는 것을 특징으로 하는 모션 검출 방법.Wherein the step of acquiring the projection data acquires the projection data by summing the pixel values of the pixels in the difference image with respect to the reference axis. 제1항에 있어서,The method according to claim 1, 상기 투영 데이터를 획득하는 단계는 상기 기준축에 대하여 픽셀값이 임계값 이상인 상기 차이 이미지 내의 픽셀들의 개수를 상기 투영 데이터로 획득하는 것을 특징으로 하는 모션 검출 방법.Wherein the step of acquiring the projection data acquires the number of pixels in the difference image with the pixel value being equal to or greater than a threshold value with respect to the reference axis as the projection data. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항 내지 제4항 중 어느 한 항에 기재된 모션 검출 방법을 수행하기 위하여 컴퓨터 장치에서 실행될 수 있는 명령어들의 프로그램이 기록되어 있으며, 상기 컴퓨터 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체.A recording medium on which a program of instructions executable in a computer device for performing the motion detection method according to any one of claims 1 to 4 is recorded and a program that can be read by the computer device is recorded. 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 이미지 입력부;An image input unit for receiving a sequential frame image of a subject from the image sensor; 상기 이미지 입력부가 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 차이 이미지 생성부;A difference image generation unit for generating a difference image between a frame image of a current frame and a frame image of a previous frame inputted by the image input unit; 상기 차이 이미지를 상기 차이 이미지의 가로축 및 세로축을 포함하는 기준축 상에 투영시켜 투영 데이터를 획득하는 이미지 투영부;An image projection unit for projecting the difference image on a reference axis including a horizontal axis and a vertical axis of the difference image to obtain projection data; 상기 투영 데이터로부터 특징 정보를 추출하는 특징 정보 추출부;A feature information extracting unit that extracts feature information from the projection data; 상기 특징 정보의 궤적을 분석하는 궤적 분석부; 및A trajectory analysis unit for analyzing a trajectory of the feature information; And 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 모션 분석부를 포함하되,And a motion analyzer for obtaining motion information of the subject using the analyzed locus, 상기 특징 정보 추출부는 상기 투영 데이터를 검출 기준 투영점을 중심으로 그룹화하고, 상기 검출 기준 투영점을 중심으로 구분된 각 그룹 내의 투영 데이터의 합의 차이를 이용하여 상기 특징 정보를 생성하고,Wherein the feature information extracting unit groups the projection data around a detection reference projection point and generates the feature information by using a difference of a sum of projection data within each group divided based on the detection reference projection point, 상기 궤적 분석부는 누적 저장된 상기 특징 정보가 시간 경과에 따라 미리 설정된 사인(sine) 파형의 형상을 가지는지 여부를 판단하여 상기 피사체의 모션 유무를 결정하고,Wherein the trajectory analyzing unit determines whether or not the motion of the subject is determined by determining whether or not the accumulated feature information has a sine waveform shape set in advance over time, 상기 궤적 분석부에 의해 상기 피사체의 모션이 있는 것으로 결정된 경우, 상기 모션 분석부는 상기 가로축 및 상기 세로축 각각에 투영된 투영 데이터에 상응하는 상기 특징 정보의 궤적이 상기 미리 설정된 사인 파형에 상대적으로 유사한 형태를 가지는 상기 가로축 및 상기 세로축 중 어느 하나를 상기 피사체의 모션의 주 방향으로 결정하는 것을 특징으로 하는 모션 검출 장치.Wherein when the trajectory analyzing unit determines that the motion of the subject is present, the motion analyzing unit determines that the trajectory of the feature information corresponding to the projection data projected on each of the horizontal axis and the vertical axis is relatively similar to the predetermined sinusoidal waveform And the vertical axis is determined as the main direction of the motion of the subject. 제11항에 있어서,12. The method of claim 11, 상기 차이 이미지 생성부는 상기 현재 프레임의 프레임 이미지와 상기 직전 프레임의 프레임 이미지 간에 서로 대응하는 픽셀들의 픽셀값의 차이를 픽셀값으로 하는 상기 차이 이미지를 생성하는 것을 특징으로 하는 모션 검출 장치.Wherein the difference image generation unit generates the difference image in which a difference between pixel values of pixels corresponding to each other between a frame image of the current frame and a frame image of the immediately preceding frame is a pixel value. 제11항에 있어서,12. The method of claim 11, 상기 이미지 투영부는 상기 기준축에 대하여 상기 차이 이미지 내의 픽셀들의 픽셀값을 합산하여 상기 투영 데이터를 획득하는 것을 특징으로 하는 모션 검출 장치.Wherein the image projection unit obtains the projection data by summing pixel values of pixels in the difference image with respect to the reference axis. 제11항에 있어서,12. The method of claim 11, 상기 이미지 투영부는 상기 기준축에 대하여 픽셀값이 임계값 이상인 상기 차이 이미지 내의 픽셀들의 개수를 상기 투영 데이터로 획득하는 것을 특징으로 하는 모션 검출 장치.Wherein the image projection unit obtains, as the projection data, the number of pixels in the difference image whose pixel value is greater than or equal to a threshold value with respect to the reference axis. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제11항에 있어서,12. The method of claim 11, 주변 환경에 따라 상기 이미지 센서의 노출값을 조정하여 상기 프레임 이미지가 일정한 프레임 레이트(frame rate)로 입력되도록 하는 자동 노출부를 더 포함하는 모션 검출 장치.And an automatic exposure unit for adjusting an exposure value of the image sensor according to a surrounding environment so that the frame image is input at a constant frame rate.
KR1020080037524A 2008-04-23 2008-04-23 Motion detection method and apparatus Active KR101503017B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080037524A KR101503017B1 (en) 2008-04-23 2008-04-23 Motion detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080037524A KR101503017B1 (en) 2008-04-23 2008-04-23 Motion detection method and apparatus

Publications (2)

Publication Number Publication Date
KR20090111913A KR20090111913A (en) 2009-10-28
KR101503017B1 true KR101503017B1 (en) 2015-03-19

Family

ID=41553158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080037524A Active KR101503017B1 (en) 2008-04-23 2008-04-23 Motion detection method and apparatus

Country Status (1)

Country Link
KR (1) KR101503017B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090626A (en) 2018-01-25 2019-08-02 영남대학교 산학협력단 The sensoe module using different frequencies to recognize motion of target object and driving method of the same

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2659452A4 (en) 2010-12-31 2017-11-15 Nokia Technologies Oy Method and apparatus for providing a mechanism for gesture recognition
KR101490908B1 (en) * 2012-12-05 2015-02-06 현대자동차 주식회사 System and method for providing a user interface using hand shape trace recognition in a vehicle
KR101500413B1 (en) * 2013-12-17 2015-03-09 현대자동차 주식회사 Gesture recognize apparatus for vehicle
KR101500412B1 (en) * 2013-12-19 2015-03-09 현대자동차 주식회사 Gesture recognize apparatus for vehicle
KR101526423B1 (en) * 2013-12-19 2015-06-05 현대자동차 주식회사 Gesture recognize apparatus for vehicle
CN106094861B (en) * 2016-06-02 2024-01-12 零度智控(北京)智能科技有限公司 Unmanned aerial vehicle, unmanned aerial vehicle control method and unmanned aerial vehicle control device
CN115497220B (en) * 2022-09-15 2025-01-28 广东便捷神科技股份有限公司 Empty bottle recycling system and recycling device for vending machines
CN119967179A (en) * 2025-02-12 2025-05-09 电子科技大学 Efficient acquisition and analysis method of surveillance video data based on machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010068706A (en) * 2000-01-07 2001-07-23 전기호 A method for motion detection of object
KR20030019619A (en) * 2001-05-25 2003-03-06 코닌클리케 필립스 일렉트로닉스 엔.브이. Text entry method and device therefor
KR20040036593A (en) * 2002-10-25 2004-04-30 미츠비시 후소 트럭 앤드 버스 코포레이션 Hand pattern switching apparatus
KR20080006006A (en) * 2005-06-03 2008-01-15 가부시키가이샤 리코 Image display device, image display method and command input method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010068706A (en) * 2000-01-07 2001-07-23 전기호 A method for motion detection of object
KR20030019619A (en) * 2001-05-25 2003-03-06 코닌클리케 필립스 일렉트로닉스 엔.브이. Text entry method and device therefor
KR20040036593A (en) * 2002-10-25 2004-04-30 미츠비시 후소 트럭 앤드 버스 코포레이션 Hand pattern switching apparatus
KR20080006006A (en) * 2005-06-03 2008-01-15 가부시키가이샤 리코 Image display device, image display method and command input method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090626A (en) 2018-01-25 2019-08-02 영남대학교 산학협력단 The sensoe module using different frequencies to recognize motion of target object and driving method of the same

Also Published As

Publication number Publication date
KR20090111913A (en) 2009-10-28

Similar Documents

Publication Publication Date Title
KR101503017B1 (en) Motion detection method and apparatus
CN109670397B (en) Method and device for detecting key points of human skeleton, electronic equipment and storage medium
KR102076773B1 (en) Method for obtaining video data and an electronic device thereof
TWI543610B (en) Electronic device and image selection method thereof
KR101679290B1 (en) Image processing method and apparatus
RU2625340C1 (en) Method and device for processing video file identifier
US20090251421A1 (en) Method and apparatus for tactile perception of digital images
CN107771391B (en) Method and apparatus for determining exposure time of image frame
US11551465B2 (en) Method and apparatus for detecting finger occlusion image, and storage medium
EP2079009A1 (en) Apparatus and methods for a touch user interface using an image sensor
US9632592B1 (en) Gesture recognition from depth and distortion analysis
JP7223079B2 (en) IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND IMAGING APPARATUS
KR101883291B1 (en) Device and method for controlling gesture
KR20120022512A (en) Electronic camera, image processing apparatus, and image processing method
JP2022506637A (en) Image processing methods and equipment, network training methods and equipment
JP4575829B2 (en) Display screen position analysis device and display screen position analysis program
CN109167893A (en) Shot image processing method and device, storage medium and mobile terminal
CN110232417B (en) Image recognition method and device, computer equipment and computer readable storage medium
CN112437231B (en) Image shooting method and device, electronic equipment and storage medium
CN110728167A (en) Text detection method and device and computer readable storage medium
KR102367648B1 (en) Method and apparatus for synthesizing omni-directional parallax view, and storage medium
JP2022543510A (en) Imaging method, device, electronic equipment and storage medium
CN112565605B (en) Image display method, device and electronic device
CN113891018A (en) Shooting method, device and electronic device
JP5451364B2 (en) Subject tracking device and control method thereof

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080423

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130411

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080423

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141021

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150310

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150311

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180226

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190225

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20200225

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210225

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220217

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230220

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240221

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20250305

Start annual number: 11

End annual number: 11