KR101503017B1 - Motion detection method and apparatus - Google Patents
Motion detection method and apparatus Download PDFInfo
- Publication number
- KR101503017B1 KR101503017B1 KR1020080037524A KR20080037524A KR101503017B1 KR 101503017 B1 KR101503017 B1 KR 101503017B1 KR 1020080037524 A KR1020080037524 A KR 1020080037524A KR 20080037524 A KR20080037524 A KR 20080037524A KR 101503017 B1 KR101503017 B1 KR 101503017B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- frame
- motion
- feature information
- projection data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
이미지 센서를 이용하여 비접촉 모션을 검출하는 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 모션 검출 방법은, 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 단계; 상기 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 단계; 상기 차이 이미지를 기준축 상에 투영시켜 투영 데이터를 획득하는 단계; 상기 투영 데이터로부터 특징 정보를 추출하는 단계; 상기 특징 정보의 궤적을 분석하는 단계; 및 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 단계를 포함할 수 있다. 이에 의하면, 이미지 센서를 이용하여 피사체의 비접촉 모션 정보를 획득할 수 있다.A method and apparatus for detecting non-contact motion using an image sensor is disclosed. According to an embodiment of the present invention, there is provided a motion detection method including: receiving a sequential frame image of a subject from an image sensor; Generating a difference image between a frame image of the input current frame and a frame image of a previous frame; Projecting the difference image onto a reference axis to obtain projection data; Extracting feature information from the projection data; Analyzing a trajectory of the feature information; And acquiring motion information of the subject using the analyzed trajectory. According to this, non-contact motion information of the subject can be obtained by using the image sensor.
이미지 센서, 모션, 차이 이미지, 투영, 궤적 Image sensor, motion, difference image, projection, trajectory
Description
본 발명은 모션 검출 방법 및 장치에 관한 것으로, 보다 상세하게는 이미지 센서를 이용하여 비접촉 모션을 검출하는 방법 및 장치에 관한 것이다. The present invention relates to a motion detection method and apparatus, and more particularly, to a method and apparatus for detecting non-contact motion using an image sensor.
최근 전자공학 및 통신공학의 비약적인 발전에 따라 촬상부(예를 들어, 카메라 모듈 등), 음원 재생부(예를 들어, MP3 파일 재생 모듈 등) 등이 장착된 휴대용 전자기기가 제공되고 있다. 따라서, 사용자는 다양한 기능이 구비된 휴대용 전자 기기를 이용하여 인터넷 접속, 화상 통신, 동영상 메시지 출력, 디지털 음악 청취 및 위성방송 시청 등의 다양한 기능을 향유할 수 있게 되었다. 이러한 다양한 기능을 향유하기 위해 각종 기능의 선택을 위한 효율적인 키입력이 요구되고 있다. 2. Description of the Related Art Portable electronic apparatuses equipped with an imaging unit (e.g., a camera module) and a sound source reproducing unit (e.g., an MP3 file reproducing module) are provided according to recent breakthroughs in electronics and communication engineering. Accordingly, a user can enjoy various functions such as internet access, video communication, video message output, digital music listening, and satellite broadcast viewing using portable electronic devices having various functions. In order to enjoy these various functions, efficient key input for selecting various functions is required.
그러나, 기존 휴대용 전자기기의 경우사용자는 키패드(keypad)를 이용하여 각종 키 입력(예를 들어, 이동 통신 단말기의 경우 통화 버튼 및 무선 인터넷 접속 버튼, MP3 플레이어의 경우 파일 재생 버튼 및 파일 선택 버튼, 음량 조절 버튼 등의 입력)을 행하거나 스크린 터치를 통해 키 입력을 행하는 등 접촉 방식에 의한 입력만이 가능하였다. However, in the case of a conventional portable electronic device, a user can input various key inputs (for example, a call button and a wireless Internet access button in a mobile communication terminal, a file play button and a file selection button in an MP3 player, A volume control button, or the like), or inputting a key through a screen touch.
또한, 휴대용 전자기기에 구비된 촬상부를 이용하여 비접촉 방식으로 손가락 등의 움직임을 감지하기 위해서는 적외선 광원 등의 독립 광원을 이용하여 손가락 움직임이 따른 반사광을 수신할 필요가 있었다. In addition, in order to detect movement of a finger or the like in a non-contact manner using an imaging unit provided in a portable electronic device, it is necessary to receive reflected light due to finger movement using an independent light source such as an infrared light source.
따라서, 본 발명은 이미지 센서를 이용하여 피사체의 비접촉 모션 정보를 획득할 수 있는 모션 검출 방법 및 장치를 제공한다. Accordingly, the present invention provides a motion detection method and apparatus capable of acquiring non-contact motion information of a subject using an image sensor.
또한, 본 발명은 순차적인 프레임 정보를 이용하여 프로세서에 연산 부담을 주지 않으면서도 모션 정보를 획득하고, 이를 이용한 명령을 생성할 수 있는 모션 검출 방법 및 장치를 제공한다. In addition, the present invention provides a motion detection method and apparatus capable of acquiring motion information and generating an instruction using the sequential frame information without imposing an operational burden on the processor.
본 발명의 일 측면에 따르면, 피사체의 움직임을 검출하는 모션 검출 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다. According to an aspect of the present invention, there is provided a motion detection method for detecting a motion of a subject and a recording medium on which a program for performing the motion detection is recorded.
본 발명의 일 실시예에 따른 모션 검출 방법은, 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 단계; 상기 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 단계; 상기 차이 이미지를 기준축 상에 투영시켜 투영 데이터를 획득하는 단계; 상기 투 영 데이터로부터 특징 정보를 추출하는 단계; 상기 특징 정보의 궤적을 분석하는 단계; 및 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 단계를 포함할 수 있다. According to an embodiment of the present invention, there is provided a motion detection method including: receiving a sequential frame image of a subject from an image sensor; Generating a difference image between a frame image of the input current frame and a frame image of a previous frame; Projecting the difference image onto a reference axis to obtain projection data; Extracting feature information from the projection data; Analyzing a trajectory of the feature information; And acquiring motion information of the subject using the analyzed trajectory.
상기 차이 이미지를 생성하는 단계는 상기 현재 프레임의 프레임 이미지와 상기 직전 프레임의 프레임 이미지 간에 서로 대응하는 픽셀들의 픽셀값의 차이를 픽셀값으로 하여 상기 차이 이미지를 생성할 수 있다. The step of generating the difference image may generate the difference image using a difference between pixel values of pixels corresponding to each other between a frame image of the current frame and a frame image of the immediately preceding frame as pixel values.
상기 투영 데이터를 획득하는 단계는 상기 기준축을 향하여 상기 차이 이미지 내의 픽셀들의 픽셀값을 합산하여 상기 투영 데이터를 획득할 수 있다. 또는 상기 투영 데이터를 획득하는 단계는 상기 기준축을 향하여 픽셀값이 임계값 이상인 상기 차이 이미지 내의 픽셀들의 개수를 상기 투영 데이터로 획득할 수도 있다. The obtaining of the projection data may obtain the projection data by summing the pixel values of the pixels in the difference image toward the reference axis. Or the step of acquiring the projection data may acquire, by the projection data, the number of pixels in the difference image whose pixel value is greater than or equal to a threshold value toward the reference axis.
상기 특징 정보를 추출하는 단계는, 상기 투영 데이터를 검출 기준 투영점을 중심으로 그룹화하는 단계; 및 상기 검출 기준 투영점을 중심으로 구분된 각 그룹 내의 투영 데이터의 합의 차이를 이용하여 상기 특징 정보를 생성하는 단계를 포함할 수 있다. Wherein the extracting of the feature information comprises: grouping the projection data around a detection reference projection point; And generating the feature information using the difference of the sum of the projection data within each group divided centering on the detection reference projection point.
상기 궤적을 분석하는 단계는 누적 저장된 상기 특징 정보가 시간 경과에 따라 미리 설정된 형태를 가지는지 여부를 판단하여 상기 피사체의 모션 유무를 결정할 수 있다. 여기서, 상기 미리 설정된 형태를 사인(sine) 파형일 수 있다. The step of analyzing the locus may determine whether or not the motion of the subject is determined by determining whether the accumulated feature information has a predetermined shape over time. Here, the predetermined type may be a sinusoidal waveform.
상기 기준축은 상기 차이 이미지의 가로축 및 세로축을 포함할 수 있다. 상기 궤적을 분석하는 단계에서 상기 피사체의 모션이 있는 것으로 결정된 경우, 상기 모션을 분석하는 단계는 상기 가로축 및 상기 세로축 중 상기 궤적이 우세한 형 태를 가지는 축을 상기 피사체의 모션의 주 방향으로 결정할 수 있다. The reference axis may include a horizontal axis and a vertical axis of the difference image. In the step of analyzing the locus, when it is determined that there is motion of the subject, the step of analyzing the motion may determine an axis having the dominant trajectory of the horizontal axis and the vertical axis as the main direction of the motion of the subject .
본 발명의 다른 측면에 따르면, 피사체의 움직임을 검출하는 모션 검출 장치가 제공된다. According to another aspect of the present invention, there is provided a motion detection apparatus for detecting a motion of a subject.
본 발명의 일 실시예에 따른 모션 검출 장치는, 이미지 센서로부터 피사체에 대한 순차적인 프레임 이미지를 입력받는 이미지 입력부; 상기 이미지 입력부가 입력받은 현재 프레임의 프레임 이미지와 직전 프레임의 프레임 이미지 간의 차이 이미지를 생성하는 차이 이미지 생성부; 상기 차이 이미지를 기준축 상에 투영시켜 투영 데이터를 획득하는 이미지 투영부; 상기 투영 데이터로부터 특징 정보를 추출하는 특징 정보 추출부 상기 특징 정보의 궤적을 분석하는 궤적 분석부; 및 상기 분석된 궤적을 이용하여 상기 피사체의 모션 정보를 획득하는 모션 분석부를 포함할 수 있다. According to an embodiment of the present invention, there is provided a motion detection apparatus including: an image input unit that receives a sequential frame image of a subject from an image sensor; A difference image generation unit for generating a difference image between a frame image of a current frame and a frame image of a previous frame inputted by the image input unit; An image projection unit for projecting the difference image onto a reference axis to obtain projection data; A feature information extracting unit that extracts feature information from the projection data; a locus analyzing unit that analyzes a locus of the feature information; And a motion analyzer for obtaining motion information of the subject using the analyzed locus.
상기 차이 이미지 생성부는 상기 현재 프레임의 프레임 이미지와 상기 직전 프레임의 프레임 이미지 간에 서로 대응하는 픽셀들의 픽셀값의 차이를 픽셀값으로 하는 상기 차이 이미지를 생성할 수 있다. The difference image generating unit may generate the difference image in which a difference between pixel values of pixels corresponding to each other between a frame image of the current frame and a frame image of the immediately preceding frame is a pixel value.
상기 이미지 투영부는 상기 기준축을 향하여 상기 차이 이미지 내의 픽셀들의 픽셀값을 합산하여 상기 투영 데이터를 획득할 수 있다. 또는 상기 이미지 투영부는 상기 기준축을 향하여 픽셀값이 임계값 이상인 상기 차이 이미지 내의 픽셀들의 개수를 상기 투영 데이터로 획득할 수도 있다. The image projection unit may obtain the projection data by summing pixel values of pixels in the difference image toward the reference axis. Alternatively, the image projection unit may obtain, as the projection data, the number of pixels in the difference image whose pixel value is greater than or equal to a threshold value toward the reference axis.
상기 특징 정보 추출부는 상기 투영 데이터를 검출 기준 투영점을 중심으로 그룹화하고, 상기 검출 기준 투영점을 중심으로 구분된 각 그룹 내의 투영 데이터 의 합의 차이를 이용하여 상기 특징 정보를 생성할 수 있다. The feature information extracting unit may group the projection data around a detection reference projection point and generate the feature information by using a difference between sums of projection data within each group divided based on the detection reference projection point.
상기 궤적 분석부는 누적 저장된 상기 특징 정보가 시간 경과에 따라 미리 설정된 형태를 가지는지 여부를 판단하여 상기 피사체의 모션 유무를 결정할 수 있다. 여기서, 상기 미리 설정된 형태는 사인(sine) 파형일 수 있다. The trajectory analysis unit may determine whether or not the subject has motion by determining whether the accumulated feature information has a predetermined shape over time. Here, the predetermined type may be a sinusoidal waveform.
상기 기준축은 상기 차이 이미지의 가로축 및 세로축을 포함할 수 있다. 상기 궤적 분석부에 의해 상기 피사체의 모션이 있는 것으로 결정된 경우, 상기 모션 분석부는 상기 가로축 및 상기 세로축 중 상기 궤적이 우세한 형태를 가지는 축을 상기 피사체의 모션의 주 방향으로 결정할 수 있다. The reference axis may include a horizontal axis and a vertical axis of the difference image. When it is determined by the trajectory analysis unit that there is motion of the subject, the motion analyzer can determine an axis having a dominant trajectory of the horizontal axis and the vertical axis as the main direction of the motion of the subject.
상기 모션 검출 장치는, 주변 환경에 따라 상기 이미지 센서의 노출값을 조정하여 상기 프레임 이미지가 일정한 프레임 레이트(frame rate)로 입력되도록 하는 자동 노출부를 더 포함할 수 있다. The motion detection apparatus may further include an automatic exposure unit that adjusts an exposure value of the image sensor according to a surrounding environment to input the frame image at a constant frame rate.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명에 따른 모션 검출 방법 및 장치는 이미지 센서를 이용하여 피사체의 비접촉 모션 정보를 획득할 수 있다.The motion detection method and apparatus according to the present invention can acquire non-contact motion information of a subject using an image sensor.
또한, 순차적인 프레임 정보를 이용하여 프로세서에 연산 부담을 주지 않으면서도 모션 정보를 획득하고, 이를 이용한 명령을 생성할 수 있다. In addition, it is possible to acquire motion information and generate a command using the motion information without imposing a computational burden on the processor by using the sequential frame information.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 모션 검출 장치의 블록 구성도이다. 도 1을 참조하면, 이미지 센서(10), 자동 노출부(15), 모션 검출 장치(100)가 도시되어 있다. 1 is a block diagram of a motion detection apparatus according to an embodiment of the present invention. Referring to FIG. 1, an
이미지 센서(10)는 외부 렌즈를 통해 입력되는 광학 영상(즉, 광학적 피사체 신호)을 전기적인 신호로 변환하여 출력한다. 여기서, 매 프레임(frame)마다 출력되는 전기적 신호를 프레임 이미지라 한다. 이미지 센서(10)는 일정한 프레임 레이트(frame rate) 또는 변화하는 프레임 레이트를 가지는 프레임 이미지를 출력한다. 이하에서는 발명의 이해와 설명의 편의를 위해 프레임 이미지가 일정한 프레임 레이트를 가지는 것으로 가정하여 설명하기로 한다. 또한, 이미지 센서(10)는 CCD(Charge Coupled Device) 타입 또는 CMOS(Complementary Metal-Oxide-Silicon) 타입일 수 있다.The
모션 검출 장치(100)는 이미지 입력부(110), 이미지 저장부(115), 차이 이미지 생성부(120), 이미지 투영부(130), 특징 정보 추출부(140), 특징 정보 저장부(145), 궤적분석부(150), 모션 분석부(160)를 포함한다. The
이미지 입력부(110)는 이미지 센서(10)로부터 순차적인 프레임 이미지를 입력받는다. 입력받은 프레임 이미지는 컬러 이미지 또는 흑백 이미지일 수 있다. 컬러 이미지인 경우 컬러 이미지를 그대로 활용하거나 혹은 흑백 이미지로 전환할 수 있다. 흑백 이미지인 경우 피사체의 모션을 검출함에 있어서 모션 검출 장치(100)의 전체적인 연산량을 줄일 수 있는 효과가 있다. The
입력받은 프레임 이미지는 이미지 저장부(115)에 저장된다. 현재 프레임을 n 번째 프레임이라 가정할 때, 이미지 저장부(115)에는 현재 입력받은 프레임 이미지에 해당하는 프레임(n 번째 프레임) 이전의 프레임(n-1 번째 프레임)에 해당하는 프레임 이미지가 저장되어 있다. The received frame image is stored in the
차이 이미지 생성부(120)는 이미지 입력부(110)에 입력된 현재 프레임인 n 번째 프레임의 프레임 이미지(n 번째 프레임 이미지)와, 이미지 저장부(115)로부터 읽어온 이전 프레임인 n-1 번째 프레임의 프레임 이미지(n-1 번째 프레임 이미지)를 이용하여 차이 이미지를 생성한다. 임의의 픽셀 위치에 대해서, 두 프레임 이미지에서의 해당 픽셀 위치의 픽셀값의 차이를 차이 이미지에서의 해당 픽셀 위치의 픽셀값으로 한다. 하기 수학식 1과 같이 차이 이미지에서의 해당 픽셀의 픽셀값은 두 프레임 이미지에서의 해당 픽셀의 픽셀값의 차이의 절대값인 것이 바람직하다. The difference
여기서, Fdiff는 차이이미지에서의 픽셀값, F(n)은 n 번째 프레임 이미지에서의 픽셀값, F(n-1)은 n-1 번째 프레임 이미지에서의 픽셀값이다. Here, F diff is the pixel value in the difference image, F (n) is the pixel value in the nth frame image, and F (n-1) is the pixel value in the n-1th frame image.
차이 이미지를 생성할 때 모션 검출 폭에 따라 프레임 이미지의 크로핑(cropping)이나 마스킹(masking) 등의 작업이 추가적으로 선행될 수 있다. 여기서, 모션 검출 폭은 본 발명에 따른 모션 검출 장치(100)가 검출 가능한 피사체의 모션 방향, 모션 크기 등을 의미한다. When generating the difference image, operations such as cropping and masking of the frame image may be additionally preceded according to the motion detection width. Here, the motion detection width means a motion direction, a motion size, and the like of a subject that can be detected by the
일 실시예에서, 좌우 방향 또는 상하 방향 뿐만 아니라 360도 전체방향에 대한 검출을 하고자 하는 경우 검출 기준점을 중심으로 원 형태의 마스크를 이용하여 마스킹을 수행할 수 있다. 다른 실시예에서, 검출 기준점을 중심으로 근거리에 위치한 픽셀들에 대해서는 높은 가중치를 부여하고 원거리에 위치한 픽셀들에 대해서는 낮은 가중치를 부여할 수 있다. In one embodiment, when it is desired to detect not only the left-right direction or the up-down direction but also the 360-degree whole direction, the masking can be performed using the circular mask around the detection reference point. In another embodiment, high weighting may be given to pixels located close to the detection reference point, and low weighting may be given to pixels located at a distance.
본 발명의 실시예에서, 피사체의 모션을 검출함에 있어서 피사체가 특정한 점 또는 선을 관통하여 움직일 때 모션이 있는 것으로 가정하며, 이 경우 중심이 되는 특정한 점 또는 선을 검출 기준점이라 한다. 검출 기준점은 이미지 센서(10)의 중심점 또는 이미지 센서(10)에 의해 촬상된 이미지의 중심점 등 일 수 있다. 또한, 검출 기준점은 사용자에 의해 지정된 이미지 상의 픽셀일 수 있다. 또한, 검출 기준점은 하나 이상일 수 있다. In the embodiment of the present invention, when detecting the motion of a subject, it is assumed that there is motion when the subject moves through a specific point or line. In this case, a specific point or line that is the center is referred to as a detection reference point. The detection reference point may be the center point of the
또한, 차이 이미지 생성부(120)는 차이이미지를 생성한 후 차이 이미지 전체의 콘트라스트(contrast)를 향상시키기 위해 적응형 임계화(adaptive thresholding)를 수행할 수도 있다. In addition, the difference
이미지 투영부(130)는 차이 이미지 생성부(120)에서 생성한 차이 이미지에 대해서 기준축 상에 투영(projection)시킨다. 차이 이미지가 기준축 상에 투영됨으로써, 기준축에 대한 투영데이터가 획득된다. 여기서, 기준축은 차이 이미지 내의 임의의 축일 수 있으며, 차이 이미지의 가로축 또는 세로축일 수 있다. 기준축은 하나 또는 둘 이상 있을 수 있으며, 이하에서는 기준축이 차이 이미지의 가로축(X 축) 및 세로축(Y 축)인 경우를 가정하여 설명하지만, 본 발명이 이에 한정되지 않 음은 자명하다. The
기준축으로 서로 수직인 X 축 및 Y 축을 가정할 때, 차이 이미지의 픽셀들은 (x, y)로 표현될 수 있다. Assuming the X axis and Y axis perpendicular to each other as the reference axis, the pixels of the difference image can be represented by (x, y).
일 실시예에서, 임의의 y 좌표를 가지는 Y 축 상으로의 투영 데이터(Yproj(y))는 임의의 y 좌표를 가지는 모든 픽셀들((x1, y), (x2, y), (x3, y), …, (xk1, y))의 픽셀값의 합을 산출하는 것을 의미한다. 그리고 임의의 x 좌표를 가지는 X 축 상으로의 투영 데이터(Xproj(x))는 임의의 x 좌표를 가지는 모든 픽셀들((x, y1), (x, y2), (x, y3), …, (x, yk2))의 픽셀값의 합을 산출하는 것을 의미한다. 이는 하기의 수학식 2와 같이 표현될 수 있다. In one embodiment, the projection data (Y proj (y)) on the Y-axis with arbitrary y-coordinates is the sum of all the pixels (x 1 , y), (x 2 , y) (x 3 , y), ..., (x k1 , y). The projection data (X proj (x)) on the X-axis having an arbitrary x-coordinate is obtained by interpolating all the pixels (x, y 1 ), (x, y 2 ) 3 ), ..., (x, y k2 )). This can be expressed by the following equation (2).
다른 실시예에서, 임의의 y 좌표를 가지는 Y 축 상으로의 투영 데이터(Yproj(y))는 임의의 y 좌표를 가지는 모든 픽셀들((x1, y), (x2, y), (x3, y), …, (xk1, y)) 중 일정 값 이상의 픽셀값을 가지는 픽셀의 개수를 의미한다. 그리고 임 의의 x 좌표를 가지는 X 축 상으로의 투영 데이터(Xproj(x))는 임의의 x 좌표를 가지는 모든 픽셀들((x, y1), (x, y2), (x, y3), …, (x, yk2)) 중 일정값 이상의 픽셀값을 가지는 픽셀의 개수를 의미한다.In another embodiment, the projection data (Y proj (y)) on the Y-axis with arbitrary y-coordinates is obtained by interpolating all pixels (x 1 , y), (x 2 , y) (x 3 , y), ..., (x k1 , y). Then, the projection data (X proj (x)) on the X-axis having the arbitrary x-coordinate is the sum of all the pixels ((x, y 1 ), (x, y 2 ) 3 ), ..., (x, y k2 )).
일 실시예에서, X 축 상으로의 투영 데이터는 X 축 방향으로의 모션에 대한 정보를 획득할 수 있도록 하고, Y 축 상으로의 투영 데이터는 Y 축 방향으로의 모션에 대한 정보를 획득할 수 있도록 한다. 이는 추후 특징 정보를 추출하기 위한 기준을 정하기 위해 방향을 정한 것인 바 반대의 경우도 가능함은 물론이다. In one embodiment, the projection data on the X-axis allows information on motion in the X-axis direction to be obtained, and the projection data on the Y-axis can acquire information on the motion in the Y-axis direction . It is a matter of course that the direction is determined in order to determine a criterion for extracting feature information later, and conversely, the opposite case is of course possible.
특징 정보 추출부(140)는 이미지 투영부(130)에서 획득한 투영 데이터를 미리 설정된 방법에 따라 그룹화한다. 일 실시예에서는, X 축 및/또는 Y 축 상에 검출 기준점이 투영된 검출 기준 투영점을 중심으로 하여 양측으로 2개의 그룹으로 그룹화할 수 있다. 그리고 구분된 각 그룹의 차이를 통해 특징 정보를 생성한다. The feature
일 실시예에서는 검출 기준점이 하나이며 검출 기준 투영점을 중심으로 2개의 그룹으로 그룹화되지만, 다른 실시예에서는 검출 기준점이 둘 이상이며 각 검출 기준점이 투영된 둘 이상의 검출 기준 투영점을 중심으로 3개 이상의 그룹으로 그룹화할 수 있다. 이 경우 각 그룹의 차이를 통해 특징 정보를 생성할 수 있다. 예를 들어, 각 그룹 중 최우세 그룹과 나머지 그룹들로 구분하여 특징 정보를 생성하거나, 최우세 그룹과 인접 그룹의 투영 데이터를 이용하여 특징 정보를 생성하거나 최우세 그룹과 타 그룹중 어느 하나의 그룹의 투영 데이터를 이용하여 특징 정보를 생성할 수 있다. In one embodiment, there is one detection reference point and two detection reference points are grouped into two groups around the detection reference point. In another embodiment, three detection reference points are grouped based on two or more detection reference points projected on two or more detection reference points, Grouping can be performed. In this case, the feature information can be generated through the difference of each group. For example, the feature information may be generated by dividing the group into the highest three groups and the remaining groups, or the feature information may be generated using the projection data of the uppermost group and the adjacent group, The feature information can be generated using the projection data of the group.
이하에서는 검출 기준점이 하나, 즉 검출 기준 투영점이 하나인 경우 2개의 그룹으로 그룹화되어 특징 정보가 생성된 경우를 가정하여 설명한다. Hereinafter, when there is one detection reference point, that is, when the detection reference projection point is one, it is assumed that the feature information is generated by being grouped into two groups.
생성된 특징 정보는 특징 정보 저장부(145)에 저장되며, 궤적 분석부(150)가 궤적 등의 모션 정보를 획득하기 위해 활용하는 정보가 된다. 특징 정보 추출부(140)는 X 축 및 Y 축에 대해서 각각 투영 데이터를 그룹화하여 특징 정보를 생성한다. The generated feature information is stored in the feature
궤적 분석부(150)는 특징 정보를 기초로 하여 시간 경과에 따른 특징 정보의 궤적이 미리 설정된 형태(예를 들어, 사인(sine) 파형)를 가지는지 판단하여 피사체의 모션 유무를 결정한다. 미리 설정된 형태를 가지는 경우, 그 크기가 소정의 임계값 이상인 경우에 검출 기준점을 중심으로 하여 특정 방향으로 모션이 있는 것으로 판단한다. The
미리 설정된 형태가 사인 파형인 경우에는, 비교적 간단한 연산으로 특징 정보의 궤적을 파악할 수 있는 장점이 있다. 궤적 분석부(150)는 기준축에 대해서 특징 정보의 궤적을 분석하며, 기준축이 둘 이상인 경우(즉, X 축 및 Y 축이 기준축인 경우) 각 기준축에 대해서 특징 정보의 궤적을 분석한다. When the preset shape is a sinusoidal waveform, there is an advantage that the trajectory of the feature information can be grasped by a relatively simple calculation. The
궤적 분석부(150)에 의해 피사체의 모션이 있는 것으로 결정된 경우, 모션 분석부(160)는 궤적의 특성을 파악하여 기준축 상에서의 피사체의 모션 방향을 분석한다. 차이 이미지 중 프레임 별로 변화가 큰 영역을 파악하기 위하여 특징 정보를 활용한다. 특징 정보의 궤적은 해당 영역의 변화에 따른 차분값의 부호 변화가 반영되어 있다. 즉, 유사한 사인 파형이라고 하더라도 궤적이 음(-)의 값에서 양(+)의 값으로 변화하는 경우와 양(+)의 값에서 음(-)의 값으로 변화하는 경우는 피사체의 모션 방향이 다르게 된다. When it is determined by the
또한, 모션 분석부(160)는 기준축이 둘 이상인 경우에 궤적 분석부(150)에 의해 분석된 X 축 및 Y 축에 대한 결과값을 상호 분석하여 상대적으로 우세한 형태를 가지는 쪽을 선택한다. X 축에 대한 결과값이 우세한 형태를 가지는 경우 피사체의 모션은 X 축 방향인 것으로 판단하고, Y 축에 대한 결과값이 우세한 형태를 가지는 경우 피사체의 모션은 Y 축 방향인 것으로 판단한다. 즉, 모션 분석부(160)는 피사체의 모션의 2차원적인 방향성을 판단한다. Also, the
X 축 및 Y 축에 대한 방향성 판단 결과 유사한 형태를 가지고 있으며, 소정 범위 이내의 차이를 가지는 경우 X 축 및 Y 축에 대해서 사선으로 피사체가 움직인 것으로 판단할 수 있다. The X-axis and the Y-axis have a similar shape, and if the difference is within a predetermined range, it can be determined that the subject moves with an oblique line to the X-axis and the Y-axis.
모션 분석부(160)에서 분석된 피사체의 모션 정보(모션 방향 등 포함)을 출력하며, 후단에 연결되는 프로세서에서 이를 활용하게 된다. 예를 들어, 피사체의 모션 정보를 이용하여 좌우 방향 또는 상하 방향으로 마우스 커서를 움직인 것과 같은 효과를 나타내거나, 좌우 방향 또는 상하 방향으로 배열된 여러 선택 대상 중 어느 하나를 선택한 것과 같은 효과를 나타낼 수 있다. The
본 발명의 다른 실시예에 따르면, 이미지 센서(10)에 자동 노출부(15)가 추가적으로 연결되어 있을 수 있다. 모션 검출 장치(100)가 프레임 이미지를 통해 모션 정보를 획득함에 있어서 상술한 내용에서는 프레임 레이트가 일정한 것으로 가정하였다. 자동 노출부(15)는 이미지 센서(10)가 일정한 프레임 레이트로 프레임 이미지를 출력할 수 있도록 노출값을 조정한다. According to another embodiment of the present invention, the
이미지 센서(10)를 구비한 디지털 카메라와 같은 촬상 장치의 경우 주변 환경(예를 들어, 밝기)에 따라 프레임 레이트와 노출값을 조정하여 충분한 빛이 이미지 센서(10)에 입력되도록 한다. 예를 들어, 노출값이 고정된 경우를 가정하면, 낮과 같이 주변이 밝은 때에는 40 fps(Frame Per Second)이지만, 밤과 같이 주변이 어두울 때에는 5 내지 10 fps일 수 있다. 이 경우 주변 환경에 따라 프레임 레이트가 변화되며, 일정한 프레임 레이트를 요구하는 모션 검출 장치(100)가 정확한 모션 정보를 획득하는 것이 어려울 수 있다. 따라서, 자동 노출부(15)가 주변 환경에 따라 노출값이 변화시키면서 프레임 레이트를 일정하게 유지시킬 수도 있다. In the case of an image sensing apparatus such as a digital camera having an
도 1에서는 자동 노출부(15)가 모션검출 장치(100)와 별도로 이미지 센서(10)에 연결되어 있는 것으로 도시하였으나, 자동 노출부(15)는 모션 검출 장치(100) 내에 구비되어 있을 수도 있다. 1, the
본 발명의 일 실시예에서, 모션 검출 장치(100)는 적외선 광원 등의 독립 광원을 구비하지 않고서도 가시광선 조건 하에서 이미지 센서(10)를 이용하여 피사체를 촬영하고 프레임별로 분석함으로써 피사체의 움직임을 파악할 수 있다. In an embodiment of the present invention, the
다른 실시예에서, 모션 검출 장치(100)는 자동 노출부(15)를 구비하고서도 가시광선 조건 하에서 충분한 광량을 획득하지 못하는 경우 보조 광원을 구비하여 충분한 광량을 획득할 수 있다. In another embodiment, the
이하에서는 모션 검출 장치(100)에서 피사체의 모션을 검출하는 방법에 대 해서 보다 상세하게 도 2 이하의 도면을 참조하여 설명하기로 한다. 발명의 이해와 설명의 편의를 위해 모션 검출 방법의 수행은 모션 검출 장치(100)에서 이루어지는 것으로 설명하기로 한다. Hereinafter, a method of detecting the motion of a subject in the
도 2는 본 발명의 일 실시예에 따른 모션 검출 방법의 흐름도이고, 도 3은 차이 이미지의 생성 방법을 나타낸 도면이며, 도 4는 차이 이미지의 예시도이고, 도 5는 차이 이미지에서 이미지 투영을 나타낸 도면이며, 도 6은 특징정보를 추출하는 방법을 나타낸 도면이고, 도 7은 특징 정보 집합의 파형(waveform)을 나타낸 도면이다. FIG. 2 is a flowchart of a motion detection method according to an embodiment of the present invention, FIG. 3 is a diagram illustrating a method of generating a difference image, FIG. 4 is an exemplary view of a difference image, FIG. 6 is a diagram showing a method of extracting feature information, and FIG. 7 is a diagram showing a waveform of a feature information set.
여기서는, 기준축이 차이 이미지의 가로축(X 축) 및 세로축(Y 축)이고, 검출 기준점이 차이 이미지의 중심점인 것을 가정하여 설명하기로 한다. Here, it is assumed that the reference axis is the horizontal axis (X axis) and the vertical axis (Y axis) of the difference image, and the detection reference point is the center point of the difference image.
모션 검출 장치(100)는 이미지 센서(10)로부터 프레임 이미지를 입력받는다(단계 200). 입력받은 프레임 이미지는 컬러 이미지 또는 흑백 이미지일 수 있다. 컬러 이미지인 경우 흑백 이미지로 전환할 수 있다. 컬러 이미지의 흑백 이미지로의 전환은 당업자에게 자명한 사항인 바 상세한 설명은 생략하기로 한다. The
현재 프레임의 프레임 이미지(n 번째 프레임 이미지)와 이전 프레임의 프레임 이미지(n-1 번째 프레임 이미지) 간의 차이 이미지를 생성한다(단계 210). n 번째 프레임 이미지의 임의의 픽셀과, 이에 대응되는 n-1 번째 프레임 이미지의 픽셀의 픽셀값의 차이를 차이 이미지의 해당 픽셀의 픽셀값으로 한다. A difference image is generated between the frame image of the current frame (nth frame image) and the frame image of the previous frame (n-1th frame image) (step 210). the difference between the pixel values of the pixels of the n-th frame image and the corresponding pixels of the (n-1) -th frame image is set as the pixel value of the corresponding pixel of the difference image.
도 3을 참조하면, n-1 번째 프레임 이미지 Frame(n-1)와 n 번째 프레임 이미지Frame(n)의 각 픽셀들에 대하여 빼기 연산을 수행하여 n-1 번째 차이 이미지 Fdiff(n-1)을 획득한다. 차이 이미지의 각 픽셀들은 상기 수학식 1을 통한 픽셀값을 가지게 된다. Referring to Figure 3, n-1 th frame image Frame (n-1) and the n th frame image Frame (n) n-1-th difference image by performing a subtraction operation with respect to each pixel in F diff (n-1 ). Each pixel of the difference image has a pixel value through Equation (1).
차이 이미지(400)에 대해서는 검출 기준점(410)을 중심으로 모션 검출 폭에 따라 일정 영역을 그룹화하고(도 4의Grouping 영역 참조) 그룹 내의 일정 영역에 대해서 가중치를 부여(도 4의Weighting 영역 참조)할 수도 있다. For the
생성된 차이 이미지에 대해서 각 픽셀들을 서로 수직인 두 축으로 투영한 투영 데이터를 획득한다(단계 220). 차이 이미지의 가로 축을 X 축, 세로 축을 Y 축이라 할 때, 서로 수직인 두 축은 X 축 및 Y 축일 수 있다. 즉, X 축 상으로의 투영 데이터(510x) 및 Y 축 상으로의 투영 데이터(510y)를 획득할 수 있다(도 5 참조). For the generated difference image, projection data obtained by projecting each pixel on two axes perpendicular to each other is obtained (step 220). When the horizontal axis of the difference image is referred to as X axis and the vertical axis as Y axis, two mutually perpendicular axes can be X axis and Y axis. That is, it is possible to obtain the
투영 데이터는 상기 수학식 2에서와 같이 픽셀값들의 합이거나, 혹은 일정한 값 이상을 가지는 픽셀의 개수일 수 있다. The projection data may be the sum of pixel values as in Equation (2), or may be the number of pixels having a certain value or more.
투영 데이터를 기초로 하여 X 축 방향으로의 특징 정보 및 Y 축 방향으로의 특징 정보를 추출한다(단계 230). Based on the projection data, feature information in the X-axis direction and feature information in the Y-axis direction are extracted (step 230).
도 6을 참조하여, X 축 방향으로의 특징 정보를 획득하는 방법을 설명하기로 하며, Y 축 방향으로의 특징 정보 역시 동일한 방법에 의해 획득할 수 있다. A method of acquiring feature information in the X-axis direction will be described with reference to FIG. 6, and the feature information in the Y-axis direction can also be obtained by the same method.
X 축 방향으로의 투영 데이터(Xproj)에 대해서 검출 기준점을 중심으로 양측으로 그룹화한다. A 그룹과 B 그룹으로 구분될 수 있으며, A 그룹에 속하는 투영 데이터의 합을 Xprojsum_a라 하고, B 그룹에 속하는 투영 데이터의 합을 Xprojsum_b라 한 다. 여기서, 검출 기준점은 차이 이미지의 중심점이며, A 그룹에 속하는 투영 데이터의 개수와 B 그룹에 속하는 투영 데이터의 개수는 동일한 것으로 가정한다. The projection data (X proj ) in the X-axis direction is grouped on both sides around the detection reference point. The sum of the projection data belonging to the A group is X projsum_a , and the sum of the projection data belonging to the B group is X projsum_b . Here, it is assumed that the detection reference point is the center point of the difference image, and the number of the projection data belonging to the A group and the number of the projection data belonging to the B group are the same.
이 경우 특징 정보 Xf는 수학식 3에 기재된 것과 같이 A 그룹에 속하는 투영 데이터의 합에서 B 그룹에 속하는 투영 데이터의 합을 뺀 값이 된다. In this case, the feature information X f is a value obtained by subtracting the sum of the projection data belonging to the group B from the sum of the projection data belonging to the group A as described in the equation (3).
매 프레임마다 생성되는 특징 정보들을 특징 정보 저장부(145)에 저장하고, 이를 이용하여 궤적을 생성한다. 그리고 생성된 궤적을 기초로 하여 X 축과 Y 축 간의 상호 분석(단계 240)을 통해, 상대적으로 우세한 축 방향을 결정한다. 그리고 우세한 축 방향의 특징 정보를 분석하여 모션 방향을 결정한다(단계 250). 여기서, 기준축이 하나인 경우에는 단계 240이 생략될 수 있으며, 단계 250에서 기준축 방향의 특징 정보를 분석하여 모션 방향을 결정할 수 있다. The feature information generated for each frame is stored in the feature
제1 구간, 제2 구간, 제3 구간에서의 A 그룹 투영 데이터 합(710a), B 그룹 투영 데이터 합(710b), 특징 정보(720)가 도 7에 도시되어 있다. The A group projection data sum 710a, the B group projection data sum 710b, and the
제1 구간에서 X 축 상의 특징 정보는 사인(sine) 형태의 파형을 이룬다. 이에 비해 Y 축 상의 특징 정보는 사인 형태이라 볼 수 없는 파형을 이룬다. 즉, 제1 구간에서는 사인 파형을 이루는 X 축 상의 특징 정보가 Y 축 상의 특징 정보에 비해 상대적으로 우세한 것으로 판단된다. In the first section, the feature information on the X axis forms a sinusoidal waveform. On the other hand, the feature information on the Y-axis forms a waveform that can not be regarded as a sine form. That is, in the first section, the feature information on the X-axis constituting the sinusoidal waveform is judged to be relatively superior to the feature information on the Y-axis.
그리고 X 축 상의 특징 정보가 처음에는 양(+)의 값을 가지고 나중에는 음(-)의 값을 가지는 사인 형태를 가지고 있는 바 X 축에서 제1 방향(예를 들어, x가 증가하는 방향)으로 피사체의 움직임이 있었던 것으로 결정한다(D(1) 참조). The characteristic information on the X axis has a positive value at the beginning and a negative value at the end, so that in the X axis, the first direction (for example, the direction in which x increases) (See D (1)).
제2 구간에서 X 축 상의 특징 정보는 사인 형태의 파형을 이룬다. 이에 비해 Y 축 상의 특징 정보는 사인 형태라 볼 수 없는 파형을 이룬다. 즉, 제2 구간에서도 사인 형태의 파형을 이루는 X 축 상의 특징 정보가 Y 축 상의 특징 정보에 비해 상대적으로 우세한 것으로 판단된다. In the second section, the characteristic information on the X axis forms a sinusoidal waveform. On the other hand, the feature information on the Y-axis forms a waveform that can not be regarded as a sign. That is, it is judged that the characteristic information on the X-axis forming the sinusoidal waveform in the second section is relatively superior to the characteristic information on the Y-axis.
그리고 X 축 상의 특징 정보가 처음에는 음(-)의 값을 가지고 나중에는 양(+)의 값을 가지는 사인 형태를 가지고 있는 바 X 축에서 제2 방향(예를 들어, x가 감소하는 방향)으로 피사체의 움직임이 있었던 것으로 결정한다(D(2) 참조).The characteristic information on the X axis has a negative value at the beginning and a positive value having a positive value at a later time. In the second direction (for example, in the direction in which x decreases) in the X axis, (See D (2)).
제3 구간에서도 제2 구간에서와 유사한 과정을 거쳐 피사체의 움직임을 결정할 수 있게 된다(D(3) 참조). In the third section, the motion of the subject can be determined through a process similar to that in the second section (see D (3)).
특징 정보 저장부(145)에 저장된 특징 정보들에 대해서 순차적으로 새로운 특징 정보가 저장될 때마다 하기의 특징 정보 파형 분석 방법을 수행함으로써 현재 특징 정보에 의한 궤적이 사인 형태인지 여부를 판단할 수 있다. 본 발명의 일 실시예에 따른 특징 정보의 파형을 분석하는 방법은 다음과 같다.Each time the new feature information is sequentially stored for the feature information stored in the feature
상술한 단계 200 내지 230을 수행하여 특징 정보가 추출된 것으로 가정한다. 일정 시간이 경과함에 따라 복수의 특징 정보가 특징 정보 저장부(145)에 저장되어 있다. It is assumed that the feature information has been extracted by performing
특징 정보 저장부(145)에 저장된 특징 정보들에 대해서 현재 프레임을 기준 으로 하여 일정 범위 내에 위치한 특징 정보들을 이용하여 포지티브 특징값(Xpos), 네거티브 특징값(Xneg), 방향 특징값(Xdir)을 산출한다. And characterized by the information based on the current frame for the feature information stored in the
예를 들어, 현재 n 번째 프레임 이미지가 입력된 경우, 현재 프레임을 기준으로 a 번째 이전의 프레임부터 b 번째 이전의 프레임까지를 일정 범위로 가정한다. 이 경우수학식 4에 기재된 것과 같이 포지티브 특징값(Xpos)은 일정범위 내에 위치한 특징 정보들 중 양(+)의 값들만을 합산한 값이며, 네거티브 특징값(Xneg)은 일정범위 내에 위치한 특징 정보들 중 음(-)의 값들만을 합산한 값이다. 그리고 방향 특징값(Xdir)은 일정범위 내에서 연속된 특징 정보들 간의 차이를 합산한 값이다. For example, when the nth frame image is input, it is assumed that a range from the frame before the ath frame to the frame before the bth frame is within a certain range based on the current frame. In this case, a value obtained by summing only the value of a positive characteristic value (X pos) is the amount of the characteristic information is located within a range of (+) as described in equation (4), the negative characteristic value (X neg) is located within a predetermined range (-) values of the feature information. The direction feature value (X dir ) is a value obtained by summing differences between consecutive feature information within a certain range.
포지티브 특징값, 네거티브 특징값, 방향 특징값이 각각 미리 설정된 임계값 이상인 경우의 프레임을 시작 프레임으로 설정한다. 각 특징값이 미리 설정된 임계값 이상인 경우에 해당 특징 정보들이 사인 형태를 이루고 있는 것으로 판단할 수 있다. A frame when the positive feature value, the negative feature value, and the direction feature value respectively are equal to or greater than a preset threshold value is set as a start frame. When each feature value is equal to or greater than a preset threshold value, it can be determined that the feature information has a sign shape.
그리고 시작 프레임부터 미리 정해진 수만큼의 프레임까지 상기 수학식 4에 따른 포지티브 특징값, 네거티브 특징값, 방향 특징값을 산출한다. 예를 들어, k 번째 프레임이 시작 프레임으로 결정되고 미리 정해진 수가 5인 경우, k 번째 프레임부터 k+4 번째 프레임까지 수학식 4에 따른포지티브 특징값, 네거티브 특징값, 방향 특징값을 산출한다. The positive feature value, the negative feature value, and the direction feature value according to Equation (4) are calculated from the start frame to a predetermined number of frames. For example, if the kth frame is determined as the start frame and the predetermined number is 5, the positive feature value, the negative feature value, and the direction feature value according to Equation (4) are calculated from the kth frame to the (k + 4) th frame.
그리고 시작 프레임부터 미리 정해진 수만큼의 프레임까지 산출된 포지티브 특징값과 네거티브 특징값을 각각 합산한다. 그리고 방향 특징값은 양(+)의 값을 가지는 경우와 음(-)의 값을 가지는 경우를 구분하여 포지티브 방향 특징값과 네거티브 방향 특징값으로 합산한다. The positive feature value and the negative feature value calculated from the start frame to a predetermined number of frames are respectively added. The direction characteristic value is divided into a positive direction characteristic value and a negative direction characteristic value by dividing a case having positive (+) value and a case having negative (negative) value.
상술한 과정이 수행된 이후 X 축 상의특징 정보들에 의한 각 특징값들과 Y 축 상의 특징 정보들에 의한 각 특징값들을 비교한다. 포지티브 특징값과 네거티브 특징값을 비교하여 절대값이 더 큰 축을피사체 움직임의 주 방향축으로 결정한다. After the above-described process is performed, feature values based on feature information on the X-axis and feature values based on feature information on the Y-axis are compared. The positive feature value is compared with the negative feature value, and the axis having the larger absolute value is determined as the main direction axis of the subject movement.
그리고 해당 축 상에서의 모션 방향에 대해서는 포지티브 방향 특징값의 절대값과 네거티브 방향 특징값의 절대값을 비교하여 결정한다. 포지티브 방향 특징값의 절대값이 더 큰 경우를 제1 방향(예를 들어, X 축의 경우 x가 증가하는 방향)이라고 하면, 네거티브 방향 특징값의 절대값이 더 큰 경우는 제2 방향(예를 들어, X 축의 경우 x가 감소하는 방향)이 될 수 있다. For the motion direction on the axis, the absolute value of the positive direction characteristic value is compared with the absolute value of the negative direction characteristic value. When the absolute value of the positive direction characteristic value is larger in the first direction (for example, in the direction of increasing x in the case of the X-axis), when the absolute value of the negative direction characteristic value is larger, For example, the direction in which x decreases in the case of the X axis).
한편, 상술한 모션 검출 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 모션 검출 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.On the other hand, the above-described motion detection method can be created by a computer program. The codes and code segments that make up the program can be easily deduced by a computer programmer in the field. The program is stored in a computer-readable medium and readable and executed by a computer to implement a motion detection method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the invention may be varied and varied without departing from the scope of the invention.
도 1은 본 발명의 일 실시예에 따른 모션 검출 장치의 블록 구성도. 1 is a block diagram of a motion detection apparatus according to an embodiment of the present invention;
도 2는 본 발명의 일 실시예에 따른 모션 검출 방법의 흐름도.2 is a flowchart of a motion detection method according to an embodiment of the present invention.
도 3은 차이 이미지의 생성 방법을 나타낸 도면.3 is a diagram illustrating a method of generating a difference image;
도 4는 차이 이미지의 예시도.Figure 4 is an illustration of a difference image.
도 5는 차이 이미지에서 이미지 투영을 나타낸 도면.Figure 5 shows an image projection in a difference image;
도 6은 특징 정보를 추출하는 방법을 나타낸 도면.6 shows a method of extracting feature information.
도 7은 특징 정보 집합의 파형(waveform)을 나타낸 도면. 7 shows a waveform of a feature information set;
Claims (20)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080037524A KR101503017B1 (en) | 2008-04-23 | 2008-04-23 | Motion detection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080037524A KR101503017B1 (en) | 2008-04-23 | 2008-04-23 | Motion detection method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090111913A KR20090111913A (en) | 2009-10-28 |
KR101503017B1 true KR101503017B1 (en) | 2015-03-19 |
Family
ID=41553158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080037524A Active KR101503017B1 (en) | 2008-04-23 | 2008-04-23 | Motion detection method and apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101503017B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190090626A (en) | 2018-01-25 | 2019-08-02 | 영남대학교 산학협력단 | The sensoe module using different frequencies to recognize motion of target object and driving method of the same |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2659452A4 (en) | 2010-12-31 | 2017-11-15 | Nokia Technologies Oy | Method and apparatus for providing a mechanism for gesture recognition |
KR101490908B1 (en) * | 2012-12-05 | 2015-02-06 | 현대자동차 주식회사 | System and method for providing a user interface using hand shape trace recognition in a vehicle |
KR101500413B1 (en) * | 2013-12-17 | 2015-03-09 | 현대자동차 주식회사 | Gesture recognize apparatus for vehicle |
KR101500412B1 (en) * | 2013-12-19 | 2015-03-09 | 현대자동차 주식회사 | Gesture recognize apparatus for vehicle |
KR101526423B1 (en) * | 2013-12-19 | 2015-06-05 | 현대자동차 주식회사 | Gesture recognize apparatus for vehicle |
CN106094861B (en) * | 2016-06-02 | 2024-01-12 | 零度智控(北京)智能科技有限公司 | Unmanned aerial vehicle, unmanned aerial vehicle control method and unmanned aerial vehicle control device |
CN115497220B (en) * | 2022-09-15 | 2025-01-28 | 广东便捷神科技股份有限公司 | Empty bottle recycling system and recycling device for vending machines |
CN119967179A (en) * | 2025-02-12 | 2025-05-09 | 电子科技大学 | Efficient acquisition and analysis method of surveillance video data based on machine learning |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010068706A (en) * | 2000-01-07 | 2001-07-23 | 전기호 | A method for motion detection of object |
KR20030019619A (en) * | 2001-05-25 | 2003-03-06 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Text entry method and device therefor |
KR20040036593A (en) * | 2002-10-25 | 2004-04-30 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | Hand pattern switching apparatus |
KR20080006006A (en) * | 2005-06-03 | 2008-01-15 | 가부시키가이샤 리코 | Image display device, image display method and command input method |
-
2008
- 2008-04-23 KR KR1020080037524A patent/KR101503017B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010068706A (en) * | 2000-01-07 | 2001-07-23 | 전기호 | A method for motion detection of object |
KR20030019619A (en) * | 2001-05-25 | 2003-03-06 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Text entry method and device therefor |
KR20040036593A (en) * | 2002-10-25 | 2004-04-30 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | Hand pattern switching apparatus |
KR20080006006A (en) * | 2005-06-03 | 2008-01-15 | 가부시키가이샤 리코 | Image display device, image display method and command input method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190090626A (en) | 2018-01-25 | 2019-08-02 | 영남대학교 산학협력단 | The sensoe module using different frequencies to recognize motion of target object and driving method of the same |
Also Published As
Publication number | Publication date |
---|---|
KR20090111913A (en) | 2009-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101503017B1 (en) | Motion detection method and apparatus | |
CN109670397B (en) | Method and device for detecting key points of human skeleton, electronic equipment and storage medium | |
KR102076773B1 (en) | Method for obtaining video data and an electronic device thereof | |
TWI543610B (en) | Electronic device and image selection method thereof | |
KR101679290B1 (en) | Image processing method and apparatus | |
RU2625340C1 (en) | Method and device for processing video file identifier | |
US20090251421A1 (en) | Method and apparatus for tactile perception of digital images | |
CN107771391B (en) | Method and apparatus for determining exposure time of image frame | |
US11551465B2 (en) | Method and apparatus for detecting finger occlusion image, and storage medium | |
EP2079009A1 (en) | Apparatus and methods for a touch user interface using an image sensor | |
US9632592B1 (en) | Gesture recognition from depth and distortion analysis | |
JP7223079B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND IMAGING APPARATUS | |
KR101883291B1 (en) | Device and method for controlling gesture | |
KR20120022512A (en) | Electronic camera, image processing apparatus, and image processing method | |
JP2022506637A (en) | Image processing methods and equipment, network training methods and equipment | |
JP4575829B2 (en) | Display screen position analysis device and display screen position analysis program | |
CN109167893A (en) | Shot image processing method and device, storage medium and mobile terminal | |
CN110232417B (en) | Image recognition method and device, computer equipment and computer readable storage medium | |
CN112437231B (en) | Image shooting method and device, electronic equipment and storage medium | |
CN110728167A (en) | Text detection method and device and computer readable storage medium | |
KR102367648B1 (en) | Method and apparatus for synthesizing omni-directional parallax view, and storage medium | |
JP2022543510A (en) | Imaging method, device, electronic equipment and storage medium | |
CN112565605B (en) | Image display method, device and electronic device | |
CN113891018A (en) | Shooting method, device and electronic device | |
JP5451364B2 (en) | Subject tracking device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20080423 |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20130411 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20080423 Comment text: Patent Application |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20141021 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20150130 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20150310 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20150311 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
FPAY | Annual fee payment |
Payment date: 20180226 Year of fee payment: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20180226 Start annual number: 4 End annual number: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190225 Year of fee payment: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20190225 Start annual number: 5 End annual number: 5 |
|
FPAY | Annual fee payment |
Payment date: 20200225 Year of fee payment: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20200225 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20210225 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20220217 Start annual number: 8 End annual number: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20230220 Start annual number: 9 End annual number: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20240221 Start annual number: 10 End annual number: 10 |
|
PR1001 | Payment of annual fee |
Payment date: 20250305 Start annual number: 11 End annual number: 11 |