[go: up one dir, main page]

WO2018151504A1 - 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치 - Google Patents

레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치 Download PDF

Info

Publication number
WO2018151504A1
WO2018151504A1 PCT/KR2018/001887 KR2018001887W WO2018151504A1 WO 2018151504 A1 WO2018151504 A1 WO 2018151504A1 KR 2018001887 W KR2018001887 W KR 2018001887W WO 2018151504 A1 WO2018151504 A1 WO 2018151504A1
Authority
WO
WIPO (PCT)
Prior art keywords
radar
screen
unit
distance
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/001887
Other languages
English (en)
French (fr)
Inventor
조성호
임대현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wrt Lab Co Ltd
Original Assignee
Wrt Lab Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wrt Lab Co Ltd filed Critical Wrt Lab Co Ltd
Priority to US16/484,347 priority Critical patent/US10866650B2/en
Publication of WO2018151504A1 publication Critical patent/WO2018151504A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined

Definitions

  • the present invention relates to a method and apparatus for recognizing a pointing position using a radar, and more particularly, to a technique for recognizing a pointing position of a user's hand in a display area such as a screen.
  • UWB Ultra Wide Band
  • UWB is a radio technology that uses a wide frequency band, and has various advantages such as high distance resolution, transmission, strong immunity to narrowband noise, and coexistence with other devices that share frequency.
  • IR-UWB Impulse-Radio Ultra Wide Band
  • 'UWB radar' IR-UWB technology
  • 'UWB radar' IR-UWB technology
  • the UWB radar system generates an impulse signal having a time width of several nanos to several pico seconds in the signal generator and emits a wide or narrow band angle through a transmitting antenna. It is reflected by humans and converted into digital signals via the receiving antenna and ADC.
  • a technology for recognizing a pointing position by capturing a screen of a screen through a video camera installed in a projector and detecting a part having a specific shape through an image processing process of the photographed screen is proposed.
  • the present invention is to solve the above-mentioned problems of the prior art to provide a method for a user to recognize the user's pointing position by using a radar even without any physical contact with the tool or the screen.
  • an apparatus for recognizing a user's pointing position using a plurality of radars disposed around a screen comprises a plurality of unit spaces in a space in front of the screen.
  • a weight space generating unit generating a weight space and weighting the unit space corresponding to each distance of the detected signal from the clutter-free received signal for each of the plurality of radars in proportion to the strength of the received signal;
  • a hand region detector which adds the weights to each unit space of the weight space and detects unit spaces having the closest distance from the screen as the hand region while the summed weight exceeds a predetermined threshold value; The radar whose distance to the detected hand area is the shortest distance among radars is effective.
  • a first path exceeding a preset threshold value is respectively detected in a received signal, and the distance to each detected first path is determined.
  • a finger positioning unit configured to determine the used intersection as the finger position of the user.
  • a method of recognizing a user's pointing position using a plurality of radars disposed around the screen (a) a plurality of unit spaces in the space in front of the screen Generating a weight space consisting of a plurality of radars, and assigning weights in proportion to the intensity of the received signal to the unit space corresponding to each distance detected by the signal from the clutter-free received signal for each of the plurality of radars; (b) summing the given weights for each unit space of the weight space, and detecting unit spaces closest to the distance from the screen as the hand region while the summed weight exceeds a predetermined threshold value; (c (C) selecting a radar whose distance to the detected hand region is the shortest distance among the plurality of radars as an effective radar; And (d) for each of the selected effective radars, each of the first paths exceeding a preset threshold value in a received signal, and detecting an intersection point using a distance to each detected first path.
  • the user may recognize the pointing position of the user even without any physical contact with the tool or the screen.
  • the user since the user can recognize the user's pointing position even without contact, it can be utilized for a large screen.
  • FIG. 1 is a diagram illustrating a configuration of a system for recognizing a pointing position using a radar according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a pointing position recognizing apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a 3D spatial grid map according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a weight space according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a hand region detection method according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a sensing area according to an exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a valid radar selection method according to an embodiment of the present invention.
  • FIG. 8 is a view illustrating a first path detection method according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a method of finding an intersection using a first path according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a process of recognizing a pointing position using a radar according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration of a system for recognizing a pointing position using a radar according to an embodiment of the present invention.
  • a system for recognizing a pointing position using a radar may include a radar 10, a screen 20, and a pointing position recognizing apparatus 100.
  • the radar 10 may use an Impulse-Radio Ultra Wide Band (IR-UWB) radar as an embodiment.
  • IR-UWB Impulse-Radio Ultra Wide Band
  • the radar of the present invention is not limited to IR-UWB, and various radars may be used according to embodiments.
  • a plurality of IR-UWB radars may be disposed around the screen 20, and the radar 10 may detect a movement of a user located in front of the screen 20 and point the detected signal to a pointing position. It may be provided to the recognition device 100.
  • the screen 20 may include a display monitor or a wall or roll screen on which an image is irradiated through an image projector.
  • the pointing position recognizing apparatus 100 first detects a user's hand area in a space in front of the screen 20 by using the received signals of the plurality of radars 10 arranged around the screen 20.
  • the pointing position may be displayed on the screen 20 by recognizing the position of a finger (or indicating means used by the user in the hand) in the hand region.
  • the 'pointing position' is a point where the user's finger (tip of the finger) is located in the space in front of the screen 20, and the pointing position at which the projected position is displayed on the screen 20 of the plane do.
  • the pointing position is a position in which the user's finger tip is projected onto the flat screen 20 rather than the direction indicated by the user's finger tip.
  • FIG. 2 is a block diagram showing the configuration of the pointing position recognition apparatus 100 according to an embodiment of the present invention
  • Figure 3 is a diagram showing a weight space according to an embodiment of the present invention.
  • the pointing position recognizing apparatus 100 includes a weight space generator 110, a hand region detector 120, an effective radar selector 130, a finger position determiner 140, and a pointing position display unit. 150, the controller 160, and the storage 170 may be included.
  • the weight space generator 110 divides the space in front of the screen 20 into a plurality of unit spaces in order to recognize a user's hand area located in the space in front of the screen 20. Weight space '.
  • the weight space is composed of a plurality of unit spaces, and the form of the weight space may be a “3D spatial grid map” form as shown in FIG. 3.
  • distance information about the plurality of radars 10 is present in advance.
  • the weight space may be generated in an area corresponding to the area of the screen 20 and in an area up to a predetermined distance in the front direction (z-axis) from the screen 20, which is a space for recognizing a user's hand. It means that the range of can be limited to the weight space.
  • the weight space generator 110 may assign a weight in proportion to the strength of the signal for each distance in the unit space of the weight space corresponding to the distance of the received signal for each radar 10 from which clutter is removed.
  • FIG. 4 is a diagram illustrating a weight space according to an embodiment of the present invention, wherein the weight space generator 110 corresponds to each distance at which a signal is detected from a received signal from which clutter is removed for each radar 10.
  • the weight space generator 110 corresponds to each distance at which a signal is detected from a received signal from which clutter is removed for each radar 10.
  • a result of weighting in proportion to the signal strength is shown, and hatching of different contrasts is shown according to the weighting.
  • the weight space generator 110 may assign a weight only to the unit space whose signal strength is greater than or equal to a predetermined threshold value.
  • the weight space generation unit 110 assigns the same weight to the unit space having a distance similar to the distance from each radar 10 to the unit space to which the weight is given, and a predetermined range for determining the distance is similar. can do.
  • unit spaces having the same weight for each distance form a ring shape having a radius of the distance to the unit space weighted with respect to each radar 10 as shown in FIG. 4.
  • the hand region detector 120 adds the weights given for each unit space of the weight space, and detects the unit spaces closest to the distance from the screen 20 as the hand region while the sum of the weights exceeds a predetermined threshold value. can do.
  • a hand region detection will be described in detail with reference to FIG. 5.
  • FIG. 5 is a diagram illustrating a method for detecting a hand region according to an exemplary embodiment of the present invention.
  • FIG. 5A illustrates a weight space for one radar
  • FIG. 5B illustrates a plurality of radars. The weight space for (10) is shown.
  • the weight spaces for all the radars 10 of FIG. 5B are the result of summing the weights given for each unit space.
  • each radar 10 detects the user's hand, shoulder, head, etc.
  • the received signal of each radar 10 will have a signal portion that detects each body part of the user, and corresponds to the distance of the corresponding signal portion.
  • the unit space of the weight space is weighted in proportion to the strength of the received signal.
  • weights are accumulated in the unit spaces of the weight spaces in which the body parts of the user are located to have a higher weight than the weights of the other unit spaces.
  • each unit space represents each body part of the user, such as a hand region, a head region, a shoulder region.
  • the summed (cumulative) weight exceeds the predetermined threshold value. Unit spaces with the closest distance from 20 can be detected as the hand region.
  • the user's hand is located closest to the screen 20 because the user generally stands in front of the screen 20 and extends his arm to point to a specific point on the screen with his finger, so that the hand ( Finger) is positioned closest to the screen 20.
  • the weight space is shown in 2D for better understanding, but the actual weight space is formed in the form of a 3D space grid map in front of the screen 20 as shown in FIG. 3.
  • the hand region detector 120 may detect the hand region only in a predetermined detection region.
  • FIG. 6 is a diagram illustrating a sensing area according to an exemplary embodiment of the present invention, wherein the hand area detecting unit 120 is an area corresponding to the area of the screen 20 and is moved in advance in the front direction (z-axis) from the screen 20.
  • the hand area can be detected only in an area within a predetermined distance (for example, 20 cm) (hereinafter, these areas are referred to as a 'detection area').
  • the effective radar selector 130 detects a signal for the hand region from the signals received for each of the plurality of radars 10 using the detected position of the hand region, and the distance to the detected hand region is the shortest distance. Radar can be selected as an effective radar.
  • FIG. 7 is a diagram illustrating a method for selecting an effective radar according to an embodiment of the present invention, wherein the effective radar selecting unit 130 uses the position of the hand region detected by the hand region detecting unit 120 to determine each radar 10.
  • the signal portion for the hand region can be detected inversely in the received signal of ⁇ ).
  • the signal portion corresponding to the distance of the hand region in the received signal of each effective radar becomes the signal portion for the hand region.
  • the effective radar selector 130 may select a radar whose distance from the received signal of each radar 10 to the hand region is the shortest distance as the effective radar.
  • the shortest distance from the received signal to the hand area' means that there is no separate obstacle between the radar and the hand area, which means that the user's body closest to the screen 20 mentioned above is the user. It is in line with the assumption that the hand of the man. That is, the first signal detected from the received signal is a signal of detecting a hand region.
  • the finger positioning unit 140 detects each first point (hereinafter referred to as 'first path') exceeding a preset threshold value in the received signal for each effective radar selected by the effective radar selecting unit 130, An intersection point using the detected distance to each first path may be determined as a user's finger position.
  • FIG. 8 is a view illustrating a first path detection method according to an embodiment of the present invention.
  • the finger positioning unit 140 may set a threshold value for each effective radar by using a constant false alarm rate (CFAR) algorithm, and first place the first point exceeding the threshold set for each radar in the received signal of each effective radar. Can be set to path.
  • CFR constant false alarm rate
  • the meaning of the first path means the end of the finger detected by each effective radar in the user's hand region.
  • CFAR algorithm creates a threshold value by adding several left and right samples and multiplying by a constant value based on the test sample to be observed in all samples. It is determined that is detected.
  • Such a CFAR algorithm has an advantage of having an adaptive threshold value for each signal because a threshold value is created by using a peripheral sample of a test sample to be observed.
  • the noise in the received signal of each effective radar from which the clutter is removed, the noise has a smaller size than the first path which is the target signal.
  • the threshold value is made of the noise value or the target signal, so the magnitude is difficult to exceed the threshold value.
  • the threshold value is clearly larger than the noise, so the threshold The value will be exceeded.
  • the threshold value may become large and may not be detected.
  • the closest target signal necessarily has a noise sample in front, it is irrelevant to the first path in the present invention.
  • the finger position determiner 140 finds a first path for each effective radar, and finds an intersection using a distance to the first path point of each effective radar to locate a fingertip of a user located in a space in front of the screen 20. (Hereinafter referred to as 'finger position').
  • FIG. 9 illustrates a method for finding an intersection using a first path according to an embodiment of the present invention, in which an intersection using a distance to a first path point of each radar is displayed.
  • the finger positioning unit 140 calculates the intersection point using the distance to the first path point of each radar, the sphere equation for the three-dimensional coordinates of the finger position and the x, y coordinates on the screen 20 in the sphere equation. Least square solutions for matrices and matrices can be used.
  • Equation 1 the equations of the spheres are given by Equation 1 below.
  • the position x of the finger on the screen 20 can be obtained by using a Least Square Solution that obtains the parameters of the model to minimize the sum of the data and the error.
  • y can be expressed as Equation 4 below.
  • the finger position determiner 140 may determine the positions x and y of the finger on the screen 20 by using the above-described equations.
  • an error due to the z-axis distance may be corrected through projection.
  • the pointing position display unit 150 may display the pointing position at a point on the screen 20 corresponding to the finger position determined by the finger positioning unit 140.
  • the pointing position display unit 150 may display a pointing position at a corresponding point of the display monitor, and the screen 20 is a wall or roll screen on which an image is irradiated through the projector. The pointing position can be displayed at the corresponding point of the screen 20.
  • an operation command detection unit (not shown) and an operation command execution detect a user's finger movement or hand movement in a state where a pointing position is displayed and execute a command according to the detected movement.
  • a portion (not shown) may be further included.
  • an operation command detector (not shown) Detect that the signal is a click operation by analyzing a signal of the user's finger movement, the operation command execution unit (not shown) may execute a corresponding operation command.
  • the controller 160 may include components of the pointing position recognizing apparatus 100, for example, a weight space generator 110, a hand region detector 120, an effective radar selector 130, and a finger position determiner ( 140 and the pointing position display unit 150 may be controlled to perform the above-described operation, and the storage unit 170 to be described later may also be controlled.
  • a weight space generator 110 for example, a weight space generator 110, a hand region detector 120, an effective radar selector 130, and a finger position determiner ( 140 and the pointing position display unit 150 may be controlled to perform the above-described operation, and the storage unit 170 to be described later may also be controlled.
  • the storage unit 170 may store an algorithm for controlling the components of the pointing position recognizing apparatus 100 to perform the above-described operation and various data necessary or derived in the control process.
  • FIG. 10 is a flowchart illustrating a process of recognizing a pointing position using a radar according to an embodiment of the present invention.
  • the process illustrated in FIG. 10 may be performed by the pointing position recognizing apparatus 100 illustrated in FIG. 1.
  • the weight space is generated in advance, and each unit space of the weight space is a state in which distance information about the plurality of radars 10 is present.
  • the pointing position recognizing apparatus 100 removes the fixed clutter from the signals received for each of the plurality of radars 10 (S1001).
  • the pointing position recognizing apparatus 100 assigns a weight to each radar 10 in proportion to the intensity of the received signal in a unit space corresponding to each distance detected by the signal in the received signal (S1002).
  • the weight space of the unit space may be updated when the signal is received for each radar 10.
  • the pointing position recognizing apparatus 100 sums the weights assigned to the unit spaces of the weight spaces, and the unit areas closest to the distance from the screen 20 while the summed weights exceed a predetermined threshold value. (S1003).
  • the pointing position recognizing apparatus 100 may detect the hand region only in an area corresponding to the area of the screen 20 and an area within a predetermined distance in the forward direction from the screen 20.
  • the pointing position recognizing apparatus 100 detects a signal for the hand region from the signals received for each of the plurality of radars using the detected position of the hand region, and detects a radar whose distance to the detected hand region is the shortest distance. A valid radar is selected from the plurality of radars (S1004).
  • the distance from the received signal to the hand region is the shortest distance' means that there is no separate obstacle between the radar and the hand region, and the first detected signal from the received signal is the hand region signal.
  • the pointing position recognizing apparatus 100 detects each of the first paths exceeding a preset threshold value in the received signal for each of the selected effective radars, and converts the intersection points using the distances to the detected first paths into user finger positions. Determine (S1005).
  • the pointing position recognizing apparatus 100 may set a threshold value for each effective radar using a Constant False Alarm Rate (CFAR) algorithm.
  • CFAR Constant False Alarm Rate
  • the least square method for the matrix and the matrix for the x and y coordinates on the screen 20 in the sphere equation and the three-dimensional coordinate of the finger position can be used.
  • the pointing position recognizing apparatus 100 displays the pointing position at a point on the screen 20 corresponding to the determined finger position (S1006).
  • the pointing position recognizing apparatus 100 executes a command corresponding to the detected motion (S1007).
  • the technical contents described above may be embodied in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치가 제공된다. 본 발명의 일 실시예에 따른 스크린의 주변에 배치된 복수의 레이더를 이용하여 사용자의 포인팅 위치를 인식하는 장치는 상기 스크린 앞의 공간에 복수의 단위 공간들로 이루어지는 가중치 스페이스를 생성하고, 상기 복수의 레이더별로, 클러터가 제거된 수신 신호에서 신호가 감지된 각 거리에 해당하는 상기 단위 공간에 상기 수신 신호의 세기에 비례하여 가중치를 부여하는 가중치 스페이스 생성부, 상기 가중치 스페이스의 단위 공간별로 상기 부여된 가중치를 합산하고, 상기 합산된 가중치가 미리 정해진 임계 값을 초과하면서 상기 스크린으로부터의 거리가 가장 가까운 단위 공간들을 손 영역으로 검출하는 손 영역 검출부, 상기 복수의 레이더 중 상기 검출된 손 영역까지의 거리가 최단 거리인 레이더를 유효 레이더로 선택하는 유효 레이더 선택부 및 상기 선택된 유효 레이더별로, 수신 신호에서 미리 설정된 임계 값을 초과하는 첫 번째 지점(first path)을 각각 검출하고, 상기 검출된 각 지점(first path)까지의 거리를 이용한 교점을 상기 사용자의 손가락 위치로 결정하는 손가락 위치 결정부를 포함하는 것을 특징으로 한다.

Description

레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치
본 발명은 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 스크린 등의 표시 영역에서 사용자의 손이 가리키는 포인팅 위치를 인식하는 기술에 관한 것이다.
‘UWB(Ultra Wide Band)’란 500MHz 이상의 주파수 대역을 사용하거나 중심 주파수 대비 신호의 대역폭인 비대역폭으로 정의되는 수치가 25% 이상인 라디오 기술을 의미한다.
즉, UWB는 광대역의 주파수를 사용하는 라디오 기술로서, 높은 거리 분해능, 투과성, 협대역 잡음에 대한 강한 면역성, 주파수를 공유하는 타 기기와의 공존성과 같은 다양한 장점을 지닌다.
IR-UWB(Impulse-Radio Ultra Wide Band) 레이더(이하, ‘UWB 레이더’라 칭함) 기술은 이러한 UWB 기술을 레이더에 접목한 것으로, 주파수 영역에서의 광대역 특성을 갖는 매우 짧은 지속 시간의 임펄스 신호를 송신하여 사물 및 사람으로부터 반사되어 돌아오는 신호를 수신해 주변 상황을 인지하는 레이더 기술이다.
UWB 레이더 시스템은 신호 생성부에서 수 나노(nano) ~ 수 피코(pico) 초의 시간 폭을 갖는 임펄스 신호를 생성하여 송신 안테나를 통해 광각 또는 협대역의 각도로 방사하고, 방사된 신호는 다양한 사물이나 사람으로 인해 반사되어 수신 안테나 및 ADC를 거쳐 디지털 신호로 변환된다.
한편, 사용자의 포인팅 위치를 인식하여 다양한 기능을 제공하는 기술들이 제안되고 있다.
일 예로서, 프로젝터에 설치된 비디오 카메라를 통하여 스크린의 화면을 촬영하고, 촬영된 화면의 이미지를 이미지 프로세싱 과정을 거쳐 특정 모양을 지닌 부분을 감지하여 포인팅 위치를 인식하는 기술이 제안되었다.
그러나 이러한 기술은 프로젝터에 고비용의 카메라와 복잡한 이미지 프로세싱 블록이 설치되어야 한다는 문제점이 있다.
이러한 방법 외에도 스크린에 레이저 포인터를 인식할 수 있는 소자들을 배치하는 방안이 제안되었으나, 프리젠테이션 장소마다 부피가 크고 고비용인 특정 스크린을 구비해야 한다는 문제점이 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로 사용자가 별다른 도구나 화면에 대한 물리적인 접촉이 없어도 레이더를 이용하여 사용자의 포인팅 위치를 인식할 수 있는 방안을 제공하고자 한다.
상기한 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 스크린의 주변에 배치된 복수의 레이더를 이용하여 사용자의 포인팅 위치를 인식하는 장치는 상기 스크린 앞의 공간에 복수의 단위 공간들로 이루어지는 가중치 스페이스를 생성하고, 상기 복수의 레이더별로, 클러터가 제거된 수신 신호에서 신호가 감지된 각 거리에 해당하는 상기 단위 공간에 상기 수신 신호의 세기에 비례하여 가중치를 부여하는 가중치 스페이스 생성부, 상기 가중치 스페이스의 단위 공간별로 상기 부여된 가중치를 합산하고, 상기 합산된 가중치가 미리 정해진 임계 값을 초과하면서 상기 스크린으로부터의 거리가 가장 가까운 단위 공간들을 손 영역으로 검출하는 손 영역 검출부, 상기 복수의 레이더 중 상기 검출된 손 영역까지의 거리가 최단 거리인 레이더를 유효 레이더로 선택하는 유효 레이더 선택부 및 상기 선택된 유효 레이더별로, 수신 신호에서 미리 설정된 임계 값을 초과하는 첫 번째 지점(first path)을 각각 검출하고, 상기 검출된 각 지점(first path)까지의 거리를 이용한 교점을 상기 사용자의 손가락 위치로 결정하는 손가락 위치 결정부를 포함하는 것을 특징으로 한다.
상기한 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 스크린의 주변에 배치된 복수의 레이더를 이용하여 사용자의 포인팅 위치를 인식하는 방법은 (a) 상기 스크린 앞의 공간에 복수의 단위 공간들로 이루어지는 가중치 스페이스를 생성하고, 상기 복수의 레이더별로, 클러터가 제거된 수신 신호에서 신호가 감지된 각 거리에 해당하는 상기 단위 공간에 상기 수신 신호의 세기에 비례하여 가중치를 부여하는 단계, (b) 상기 가중치 스페이스의 단위 공간별로 상기 부여된 가중치를 합산하고, 상기 합산된 가중치가 미리 정해진 임계 값을 초과하면서 상기 스크린으로부터의 거리가 가장 가까운 단위 공간들을 손 영역으로 검출하는 단계, (c) 상기 복수의 레이더 중 상기 검출된 손 영역까지의 거리가 최단 거리인 레이더를 유효 레이더로 선택하는 단계 및 (d) 상기 선택된 유효 레이더별로, 수신 신호에서 미리 설정된 임계 값을 초과하는 첫 번째 지점(first path)을 각각 검출하고, 상기 검출된 각 지점(first path)까지의 거리를 이용한 교점을 상기 사용자의 손가락 위치로 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 사용자가 별다른 도구나 화면에 대한 물리적인 접촉이 없어도 사용자의 포인팅 위치를 인식할 수 있다.
또한, 비접촉으로도 사용자의 포인팅 위치를 인식할 수 있으므로 대형 스크린에도 활용이 가능하다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 레이더를 이용하여 포인팅 위치를 인식하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 포인팅 위치 인식 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 3D 공간 그리드 맵을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가중치 스페이스를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 손 영역 검출 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 감지 영역을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 유효 레이더 선택 방법을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 first path의 검출 방법을 설명한 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 first path를 이용한 교점을 찾는 방법을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 레이더를 이용하여 포인팅 위치를 인식하는 과정을 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 레이더를 이용하여 포인팅 위치를 인식하는 시스템의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 레이더를 이용하여 포인팅 위치를 인식하는 시스템은 레이더(10), 스크린(20) 및 포인팅 위치 인식 장치(100)를 포함할 수 있다.
본 발명에서 레이더(10)는 IR-UWB(Impulse-Radio Ultra Wide Band) 레이더를 일 실시예로서 사용할 수 있다. 물론, 본 발명의 레이더가 IR-UWB로 한정되는 것은 아니며, 실시예에 따라서 다양한 레이더가 사용될 수 있다.
레이더(10)는 도 1에 도시된 바와 같이 스크린(20)의 주변에 복수의 IR-UWB 레이더가 배치될 수 있으며, 스크린(20) 앞에 위치하는 사용자의 움직임을 감지하고 감지된 신호를 포인팅 위치 인식 장치(100)로 제공할 수 있다.
한편, 스크린(20)은 디스플레이 모니터이거나 영상 프로젝터를 통해 영상이 조사되는 벽면 또는 롤 스크린 등을 포함할 수 있다.
한편, 포인팅 위치 인식 장치(100)는 스크린(20)의 주변에 배치된 복수의 레이더(10)의 수신 신호를 이용하여 스크린(20) 앞의 공간에서 사용자의 손 영역을 먼저 검출하고, 검출된 손 영역에서 손가락(또는 사용자가 손에 쥐고 사용하는 지시 수단)의 위치를 인식하여 스크린(20)상에 포인팅 위치를 표시할 수 있다.
여기서 ‘포인팅 위치’는 스크린(20) 앞의 공간에서 사용자의 손가락(손가락의 끝)이 위치하는 지점으로서, 해당 지점에서 프로젝션(projection)된 위치가 평면의 스크린(20)에 표시되는 포인팅 위치가 된다.
즉, 본 발명에서 포인팅 위치는 사용자의 손가락 끝이 가리키는 방향이 아닌 사용자의 손가락 끝이 평면의 스크린(20)에 프로젝션(projection)된 위치이다.
이하, 도 2를 참조하여 포인팅 위치 인식 장치(100)의 구성 요소를 상세하게 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 포인팅 위치 인식 장치(100)의 구성을 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 가중치 스페이스를 도시한 도면이다.
본 발명의 일 실시예에 따른 포인팅 위치 인식 장치(100)는 가중치 스페이스 생성부(110), 손 영역 검출부(120), 유효 레이더 선택부(130), 손가락 위치 결정부(140), 포인팅 위치 표시부(150), 제어부(160) 및 저장부(170)를 포함할 수 있다.
각 구성 요소를 설명하면, 가중치 스페이스 생성부(110)는 스크린(20) 앞의 공간에 위치하는 사용자의 손 영역을 인식하기 위해, 스크린(20) 앞의 공간을 복수의 단위 공간으로 분할한 ‘가중치 스페이스’를 생성할 수 있다.
즉, 가중치 스페이스는 복수의 단위 공간으로 이루어져 있으며, 그 형태는 도 3에 도시된 바와 같이 ‘3D 공간 그리드 맵’ 형태일 수 있다.
여기서, 가중치 스페이스의 각 단위 공간은 복수의 레이더(10)에 대한 거리 정보가 미리 존재한다.
그리고 가중치 스페이스는 스크린(20)의 면적에 해당하는 영역 내, 그리고 스크린(20)으로부터 앞 방향(z축)으로 미리 정해진 거리까지의 영역 내에서 생성될 수 있으며, 이는 사용자의 손을 인식하는 공간의 범위가 가중치 스페이스로 한정될 수 있음을 의미한다.
또한, 가중치 스페이스 생성부(110)는 클러터가 제거된 각 레이더(10)별 수신 신호의 거리에 해당하는 가중치 스페이스의 단위 공간에, 거리별 신호의 세기에 비례하여 가중치를 부여할 수 있다.
이하, 도 4를 참조하여 가중치 스페이스에 대해 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 가중치 스페이스를 도시한 도면으로서, 가중치 스페이스 생성부(110)는 각 레이더(10)별로 클러터가 제거된 수신 신호에서 신호가 감지된 각 거리에 해당하는 단위 공간에, 신호 세기에 비례하여 가중치를 부여한 결과가 도시되어 있으며, 부여된 가중치에 따라서 서로 다른 명암의 해칭으로 도시되어 있다.
이 때, 가중치 스페이스 생성부(110)는 신호의 세기가 미리 정해진 임계 값 이상인 단위 공간에만 가중치를 부여할 수 있다.
그리고 가중치 스페이스 생성부(110)는 각 레이더(10)로부터 가중치가 부여되는 단위 공간까지의 거리와 유사한 거리 - 유사한 거리로 판단하기 위한 미리 정해진 범위가 존재함 - 를 가지는 단위 공간에는 동일한 가중치를 부여할 수 있다.
결국, 거리별로 동일한 가중치가 부여되는 단위 공간들은 도 4에 도시된 바와 같이 각 레이더(10)를 중심으로 가중치가 부여된 단위 공간까지의 거리를 반지름으로 하는 고리 형태를 이루게 된다.
한편, 손 영역 검출부(120)는 가중치 스페이스의 단위 공간별로 부여된 가중치를 합산하고, 합산된 가중치가 미리 정해진 임계 값을 초과하면서 스크린(20)으로부터의 거리가 가장 가까운 단위 공간들을 손 영역으로 검출할 수 있다.
도 5를 참조하여 손 영역 검출에 대해 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 손 영역 검출 방법을 도시한 도면으로서, 도 5의 (a)는 하나의 레이더에 대한 가중치 스페이스를 도시한 것이고, 도 5의 (b)는 복수의 레이더(10)에 대한 가중치 스페이스를 도시한 것이다.
도 5의 (b)의 모든 레이더(10)에 대한 가중치 스페이스는 단위 공간별로 부여된 가중치를 합산한 결과이다.
즉, 각 레이더(10)에서 사용자의 손, 어깨, 머리 등을 감지하였다면, 각 레이더(10)의 수신 신호에는 사용자의 각 신체 부위를 감지한 신호 부분이 존재할 것이고, 해당 신호 부분의 거리에 해당하는 가중치 스페이스의 단위 공간에는 수신 신호의 세기에 비례하여 가중치가 부여된다.
이와 같은 과정을 모든 레이더(10)에 대하여 수행하여 단위 공간의 가중치를 합산하면, 사용자의 각 신체 부위가 위치하는 가중치 스페이스의 단위 공간에는 가중치가 누적되어 다른 단위 공간의 가중치에 비해 높은 가중치를 가질 것이다.
결국, 합산된(누적된) 가중치가 미리 정해진 임계 값을 초과하는 단위 공간들의 그룹이 존재할 수 있으며, 각 단위 공간들은 손 영역, 머리 영역, 어깨 영역 등 사용자의 각 신체 부위를 나타낸다.
여기서, 스크린(20)에서 가장 가깝게 위치하는 사용자의 신체가 사용자의 손이라고 가정하면, 도 5의 (b)에 도시된 바와 같이, 합산된(누적된) 가중치가 미리 정해진 임계 값을 초과하면서 스크린(20)으로부터의 거리가 가장 가까운 단위 공간들이 손 영역으로 검출될 수 있다.
여기서 사용자의 손이 스크린(20)에서 가장 가깝게 위치한다고 가정한 이유는, 일반적으로 사용자가 스크린(20) 앞에 서서 팔을 뻗어 손가락으로 스크린의 특정 지점을 가리키므로, 사용자의 어떤 신체보다 손(손가락)이 스크린(20)과 가장 가깝게 위치하게 되기 때문이다.
참고로, 도 5에서는 이해를 돕게 위하여 가중치 스페이스를 2D로 도시하였으나, 실제 가중치 스페이스는 도 3에 도시된 바와 같이 스크린(20) 앞에 3D 공간 그리드 맵 형태로 형성된다.
또한, 손 영역 검출부(120)는 미리 정해진 감지 영역에서만 손 영역을 검출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 감지 영역을 도시한 도면으로서, 손 영역 검출부(120)는 스크린(20)의 면적에 해당하는 영역과 스크린(20)으로부터 앞 방향(z축)으로 미리 정해진 거리(예를 들어 20cm) 이내인 영역(이하 이 영역들을 ‘감지 영역’이라 칭함)에서만 손 영역을 검출할 수 있다.
한편, 유효 레이더 선택부(130)는 검출된 손 영역의 위치를 이용하여 복수의 레이더(10)별로 수신되는 신호에서 손 영역에 대한 신호를 검출하고, 검출된 손 영역까지의 거리가 최단 거리인 레이더를 유효 레이더로 선택할 수 있다.
도 7을 참조하여 유효 레이더의 선택에 대해 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 유효 레이더 선택 방법을 도시한 도면으로서, 유효 레이더 선택부(130)는 손 영역 검출부(120)에서 검출된 손 영역의 위치를 이용하여, 각 레이더(10)의 수신 신호에서 손 영역에 대한 신호 부분을 역으로 검출할 수 있다.
즉, 손 영역의 위치(각 레이더로부터의 거리)를 알고 있으므로, 각 유효 레이더의 수신 신호에서 손 영역의 거리에 해당하는 신호 부분이 손 영역에 대한 신호 부분이 된다.
이를 통해 유효 레이더 선택부(130)는 각 레이더(10)의 수신 신호에서 손 영역까지의 거리가 최단 거리인 레이더를 유효 레이더로 선택할 수 있다.
여기서 ‘수신 신호에서 손 영역까지의 거리가 최단 거리’라는 것은 해당 레이더와 손 영역 사이에 별도의 장애물이 없다는 것을 의미하며, 이는 앞서 언급한 스크린(20)에서 가장 가깝게 위치하는 사용자의 신체가 사용자의 손이라고 가정한 것과 일맥상통한다. 즉, 수신 신호에서 가장 먼저 감지된 신호가 손 영역을 감지한 신호인 것이다.
한편, 손가락 위치 결정부(140)는 유효 레이더 선택부(130)에서 선택된 유효 레이더별로, 수신 신호에서 미리 설정된 임계 값을 초과하는 첫 번째 지점(이하 ‘first path’라 칭함)을 각각 검출하고, 검출된 각 first path까지의 거리를 이용한 교점을 사용자의 손가락 위치로 결정할 수 있다.
도 8과 도 9를 참조하여 first path 및 first path를 이용한 교점을 찾는 방법에 대해 상세히 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 first path의 검출 방법을 설명한 도시한 도면이다.
손가락 위치 결정부(140)는 Constant False Alarm Rate(CFAR) 알고리즘을 이용하여 각 유효 레이더별로 임계 값을 설정할 수 있으며, 각 유효 레이더의 수신 신호에서 해당 레이더별로 설정된 임계 값을 초과하는 첫 지점을 first path로 설정할 수 있다.
여기서 first path의 의미는 각 유효 레이더가 사용자의 손 영역에서 감지하는 손가락의 끝을 의미한다.
참고로 CFAR 알고리즘은 모든 샘플에서 관찰하고자 하는 테스트 샘플을 기준으로 좌우 몇 샘플의 크기를 더하고 상수 배를 하여 임계 값을 만드는데, 이때 곱해지는 상수 값에 따라 False Alarm Rate가 정해지며 임계 값을 넘는 샘플을 detection 되었다고 판단한다.
이와 같은 CFAR 알고리즘은 관찰하고자 하는 테스트 샘플의 주변 샘플을 이용하여 임계 값을 만들기 때문에 신호별 적응형 임계 값을 가질 수 있는 장점이 있다.
이를 본 발명에 적용하면, 클러터가 제거된 각 유효 레이더의 수신 신호에서, 노이즈는 타겟 신호인 first path에 비해 작은 크기를 가지게 된다.
따라서 노이즈 부분의 샘플을 관찰할 때에는 노이즈 값 또는 타겟 신호로 임계 값이 만들어지므로 확률적으로 그 크기가 임계 값을 넘기 어렵고, 타겟 신호 부분의 샘플에서는 노이즈와 비교하여 명확하게 큰 크기를 가지므로 임계 값을 초과하게 된다.
참고로, 테스트 샘플의 주변 샘플도 모두 타겟 신호일 경우 임계 값이 커져서 Detection 되지 않을 수도 있지만, 가장 가까운 타겟 신호는 반드시 앞쪽에 노이즈 샘플을 가지므로 본 발명에서 first path를 설정하는 경우와는 무관하다.
손가락 위치 결정부(140)는 각 유효 레이더별로 first path를 찾고, 각 유효 레이더의 first path 지점까지의 거리를 이용하여 교점을 구함으로써 스크린(20) 앞의 공간에 위치하는 사용자의 손가락 끝의 위치(이하 ‘손가락 위치’라 칭함)를 결정할 수 있다.
이에 대한 내용이 도 9에 도시되어 있다. 도 9는 본 발명의 일 실시예에 따른 first path를 이용한 교점을 찾는 방법을 도시한 도면으로서, 각 레이더의 first path 지점까지의 거리를 이용한 교점이 표시되어 있다.
여기서 손가락 위치 결정부(140)는 각 레이더의 first path 지점까지의 거리를 이용한 교점을 구하기 위해, 손가락 위치의 3차원 좌표에 대한 구 방정식과 구 방정식에서 스크린(20) 상의 x, y 좌표에 대한 행렬 및 행렬에 대한 최소자승법(Least Square Solution)을 이용할 수 있다.
도 9에 도시된 실시예에서 유효 레이더가 3개이고, 각 유효 레이더의 위치가 pxi, pyi, pzi(단, pzi = 0), 각 유효 레이더에서 찾은 first path 거리 값이 r1, r2, r3 그리고 x, y, z가 손가락의 위치일 때 각 구의 방정식은 아래의 [수학식 1]과 같다.
Figure PCTKR2018001887-appb-M000001
상기 [수학식 1]을 전개하면 아래의 [수학식 2]와 같다.
Figure PCTKR2018001887-appb-M000002
그리고 [수학식 2]를 행렬식으로 나타내면 아래의 [수학식 3]과 같다.
Figure PCTKR2018001887-appb-M000003
그리고, 스크린(20) 상에서 손가락의 위치 x, y를 결정하기 위해, 데이터와 오차간의 합을 최소화하도록 모델의 파라미터를 구하는 최소자승법(Least Square Solution)을 이용하면 스크린(20) 상에서 손가락의 위치 x, y는 아래의 [수학식 4]와 같이 나타낼 수 있다.
Figure PCTKR2018001887-appb-M000004
손가락 위치 결정부(140)는 전술한 바와 같은 수학식들을 이용하여 스크린(20) 상에서 손가락의 위치 x, y를 결정할 수 있다.
참고로, z축 거리로 인한 오차는 projection을 통해 보정될 수 있다.
한편, 포인팅 위치 표시부(150)는 손가락 위치 결정부(140)에서 결정된 손가락 위치에 대응하는 스크린(20)상의 지점에 포인팅 위치를 표시할 수 있다.
만일 스크린(20)이 디스플레이 모니터인 경우, 포인팅 위치 표시부(150)는 디스플레이 모니터의 해당 지점에 포인팅 위치를 표시할 수 있고, 스크린(20)이 프로젝터를 통해 영상이 조사되는 벽면이나 롤 스크린인 경우 스크린(20)의 해당 지점에 포인팅 위치를 표시할 수 있다.
참고로, 도 2에 도시되지는 않았지만, 포인팅 위치가 표시된 상태에서 사용자의 손가락 움직임 또는 손의 움직임을 감지하고, 감지된 움직임에 따라서 명령을 실행하는 동작 명령 감지부(미도시)와 동작 명령 실행부(미도시)가 더 포함될 수 있다.
예를 들어, 포인팅 위치가 표시된 지점이 현재 페이지에서 다음 페이지로 화면을 전환하는 버튼인 경우, 사용자의 손가락이나 손이 포인팅 위치가 표시된 지점에서 클릭하는 동작으로 움직이면, 동작 명령 감지부(미도시)는 사용자의 손가락 움직임에 대한 신호를 분석하여 해당 신호가 클릭 동작임을 감지하고, 동작 명령 실행부(미도시)는 이에 대응하는 동작 명령을 실행할 수 있다.
한편, 제어부(160)는 포인팅 위치 인식 장치(100)의 구성 요소들, 예를 들어 가중치 스페이스 생성부(110), 손 영역 검출부(120), 유효 레이더 선택부(130), 손가락 위치 결정부(140) 및 포인팅 위치 표시부(150)가 전술한 동작을 수행하도록 제어할 수 있으며, 후술하는 저장부(170) 또한 제어할 수 있다.
한편, 저장부(170)는 제어부(160)가 포인팅 위치 인식 장치(100)의 구성 요소들이 전술한 동작을 수행하도록 제어하는 알고리즘 및 그 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.
도 10은 본 발명의 일 실시예에 따른 레이더를 이용하여 포인팅 위치를 인식하는 과정을 도시한 흐름도이다.
도 10에 도시된 과정은 도 1에 도시된 포인팅 위치 인식 장치(100)에 의해 수행될 수 있다.
참고로, 가중치 스페이스는 사전에 생성되어 있고, 가중치 스페이스의 각 단위 공간은 복수의 레이더(10)에 대한 거리 정보가 미리 존재하는 상태이다.
먼저, 포인팅 위치 인식 장치(100)는 복수의 레이더(10)별로 수신되는 신호에서 고정 클러터를 제거한다(S1001).
S1001 후, 포인팅 위치 인식 장치(100)는 각 레이더(10)별로, 수신 신호에서 신호가 감지된 각 거리에 해당하는 단위 공간에 수신 신호의 세기에 비례하여 가중치를 부여한다(S1002).
여기서 가중치 스페이스는 각 레이더(10)별로 신호를 수신 시 단위 공간의 가중치 값이 갱신될 수 있다.
S1002 후, 포인팅 위치 인식 장치(100)는 가중치 스페이스의 단위 공간별로 부여된 가중치를 합산하고, 합산된 가중치가 미리 정해진 임계 값을 초과하면서 스크린(20)으로부터의 거리가 가장 가까운 단위 공간들을 손 영역으로 검출한다(S1003).
여기서 포인팅 위치 인식 장치(100)는 스크린(20)의 면적에 해당하는 영역과 스크린(20)으로부터 앞 방향으로 미리 정해진 거리 이내인 영역에서만 손 영역을 검출할 수 있다.
S1003 후, 포인팅 위치 인식 장치(100)는 검출된 손 영역의 위치를 이용하여 복수의 레이더별로 수신되는 신호에서 손 영역에 대한 신호를 검출하고, 검출된 손 영역까지의 거리가 최단 거리인 레이더를 복수의 레이더 중에서 유효 레이더로 선택한다(S1004).
여기서 ‘수신 신호에서 손 영역까지의 거리가 최단 거리’라는 것은 해당 레이더와 손 영역 사이에 별도의 장애물이 없고, 수신 신호에서 가장 먼저 감지된 신호가 손 영역 신호라는 것을 의미한다.
S1004 후, 포인팅 위치 인식 장치(100)는 선택된 유효 레이더별로, 수신 신호에서 미리 설정된 임계 값을 초과하는 first path를 각각 검출하고, 검출된 각 first path까지의 거리를 이용한 교점을 사용자의 손가락 위치로 결정한다(S1005).
여기서, 포인팅 위치 인식 장치(100)는 Constant False Alarm Rate(CFAR) 알고리즘을 이용하여 각 유효 레이더별로 임계 값을 설정할 수 있다.
그리고, 각 레이더의 first path 지점까지의 거리를 이용한 교점을 구하기 위해, 손가락 위치의 3차원 좌표에 대한 구 방정식과 구 방정식에서 스크린(20) 상의 x, y 좌표에 대한 행렬 및 행렬에 대한 최소자승법(Least Square Solution)을 이용할 수 있다.
S1005 후, 포인팅 위치 인식 장치(100)는 결정된 손가락 위치에 대응하는 스크린(20)상의 지점에 포인팅 위치를 표시한다(S1006).
S1006 후, 포인팅 위치에서 사용자의 손가락 또는 손의 동작이 감지되면, 포인팅 위치 인식 장치(100)는 감지된 동작에 대응하는 명령을 실행한다(S1007).
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (14)

  1. 스크린의 주변에 배치된 복수의 레이더를 이용하여 사용자의 포인팅 위치를 인식하는 장치에 있어서,
    상기 스크린 앞의 공간에 복수의 단위 공간들로 이루어지는 가중치 스페이스를 생성하고, 상기 복수의 레이더별로, 클러터가 제거된 수신 신호에서 신호가 감지된 각 거리에 해당하는 상기 단위 공간에 상기 수신 신호의 세기에 비례하여 가중치를 부여하는 가중치 스페이스 생성부;
    상기 가중치 스페이스의 단위 공간별로 상기 부여된 가중치를 합산하고, 상기 합산된 가중치가 미리 정해진 임계 값을 초과하면서 상기 스크린으로부터의 거리가 가장 가까운 단위 공간들을 손 영역으로 검출하는 손 영역 검출부;
    상기 복수의 레이더 중 상기 검출된 손 영역까지의 거리가 최단 거리인 레이더를 유효 레이더로 선택하는 유효 레이더 선택부; 및
    상기 선택된 유효 레이더별로, 수신 신호에서 미리 설정된 임계 값을 초과하는 첫 번째 지점(first path)을 각각 검출하고, 상기 검출된 각 지점(first path)까지의 거리를 이용한 교점을 상기 사용자의 손가락 위치로 결정하는 손가락 위치 결정부
    를 포함하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 장치.
  2. 제1 항에 있어서,
    상기 가중치 스페이스의 각 단위 공간은 상기 복수의 레이더에 대한 거리 정보가 미리 존재하며,
    상기 가중치 스페이스 생성부는
    각 레이더로부터 상기 가중치가 부여되는 단위 공간까지의 거리와 유사한 거리 - 유사한 것으로 판단하는 미리 정해진 범위를 가짐 - 를 가지는 단위 공간에 동일한 가중치를 부여하되,
    거리별로 동일한 가중치가 부여되는 단위 공간들은 각 레이더를 중심으로 고리 형태를 이루는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 장치.
  3. 제1 항에 있어서,
    상기 손 영역 검출부는
    상기 스크린의 면적에 해당하는 영역과 상기 스크린으로부터 앞 방향으로 미리 정해진 거리 이내인 영역에서만 상기 손 영역을 검출하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 장치.
  4. 제1 항에 있어서,
    상기 손가락 위치 결정부는
    상기 손가락 위치의 3차원 좌표에 대한 구 방정식과 상기 구 방정식에서 상기 스크린 상의 x, y 좌표에 대한 행렬 및 상기 행렬에 대한 최소자승법(Least Square Solution)을 통해 상기 스크린 상에서의 손가락 위치를 결정하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 장치.
  5. 제1 항에 있어서,
    상기 손가락 위치 결정부는
    정오경보율(Constant False Alarm Rate; CFAR) 알고리즘을 이용하여 상기 유효 레이더별로 상기 임계 값을 설정하고, 상기 각 유효 레이더의 수신 신호에서 상기 설정된 임계 값을 초과하는 첫 번째 지점을 상기 첫 번째 지점으로 각각 설정하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 장치.
  6. 제1 항에 있어서,
    상기 결정된 손가락 위치에 대응하는 상기 스크린상의 지점에 포인팅 위치를 표시하는 포인팅 위치 표시부
    를 더 포함하되,
    상기 포인팅 위치 표시부는
    상기 손가락 위치의 3차원(x, y, z) 좌표 중 z 좌표의 프로젝션(projection)을 통해 상기 x, y 좌표를 보정하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 장치.
  7. 스크린의 주변에 배치된 복수의 레이더를 이용하여 사용자의 포인팅 위치를 인식하는 방법에 있어서,
    (a) 상기 스크린 앞의 공간에 복수의 단위 공간들로 이루어지는 가중치 스페이스를 생성하고, 상기 복수의 레이더별로, 클러터가 제거된 수신 신호에서 신호가 감지된 각 거리에 해당하는 상기 단위 공간에 상기 수신 신호의 세기에 비례하여 가중치를 부여하는 단계;
    (b) 상기 가중치 스페이스의 단위 공간별로 상기 부여된 가중치를 합산하고, 상기 합산된 가중치가 미리 정해진 임계 값을 초과하면서 상기 스크린으로부터의 거리가 가장 가까운 단위 공간들을 손 영역으로 검출하는 단계;
    (c) 상기 복수의 레이더 중 상기 검출된 손 영역까지의 거리가 최단 거리인 레이더를 유효 레이더로 선택하는 단계; 및
    (d) 상기 선택된 유효 레이더별로, 수신 신호에서 미리 설정된 임계 값을 초과하는 첫 번째 지점(first path)을 각각 검출하고, 상기 검출된 각 지점(first path)까지의 거리를 이용한 교점을 상기 사용자의 손가락 위치로 결정하는 단계
    를 포함하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 방법.
  8. 제7 항에 있어서,
    상기 가중치 스페이스의 각 단위 공간은 상기 복수의 레이더에 대한 거리 정보가 미리 존재하며,
    상기 (a) 단계는
    각 레이더로부터 상기 가중치가 부여되는 단위 공간까지의 거리와 유사한 거리 - 유사한 것으로 판단하는 미리 정해진 범위를 가짐 - 를 가지는 단위 공간에 동일한 가중치를 부여하되,
    거리별로 동일한 가중치가 부여되는 단위 공간들은 각 레이더를 중심으로 고리 형태를 이루는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 방법.
  9. 제7 항에 있어서,
    상기 (b) 단계는
    상기 스크린의 면적에 해당하는 영역과 상기 스크린으로부터 앞 방향으로 미리 정해진 거리 이내인 영역에서만 상기 손 영역을 검출하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 방법.
  10. 제7 항에 있어서,
    상기 (d) 단계는
    상기 손가락 위치의 3차원 좌표에 대한 구 방정식과 상기 구 방정식에서 상기 스크린 상의 x, y 좌표에 대한 행렬 및 상기 행렬에 대한 최소자승법(Least Square Solution)을 통해 상기 스크린 상에서의 손가락 위치를 결정하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 방법.
  11. 제7 항에 있어서,
    상기 (d) 단계는
    정오경보율(Constant False Alarm Rate; CFAR) 알고리즘을 이용하여 상기 유효 레이더별로 상기 임계 값을 설정하고, 상기 각 유효 레이더의 수신 신호에서 상기 설정된 임계 값을 초과하는 첫 번째 지점을 상기 첫 번째 지점으로 각각 설정하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 방법.
  12. 제10 항에 있어서,
    (e) 상기 결정된 손가락 위치에 대응하는 상기 스크린상의 지점에 포인팅 위치를 표시하는 단계
    를 더 포함하되,
    상기 (e) 단계는
    상기 손가락 위치의 3차원(x, y, z) 좌표 중 z 좌표의 프로젝션(projection)을 통해 상기 x, y 좌표를 보정하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 방법.
  13. 제12 항에 있어서,
    (f) 상기 포인팅 표시가 출력된 지점에 대하여 상기 사용자의 명령 동작을 인식하는 단계; 및
    (g) 상기 인식된 명령 동작을 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 레이더를 이용한 포인팅 위치 인식 방법.
  14. 제7 항 내지 제13 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2018/001887 2017-02-15 2018-02-13 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치 Ceased WO2018151504A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/484,347 US10866650B2 (en) 2017-02-15 2018-02-13 Method and device for recognizing pointing location by using radar

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0020466 2017-02-15
KR1020170020466A KR101892650B1 (ko) 2017-02-15 2017-02-15 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2018151504A1 true WO2018151504A1 (ko) 2018-08-23

Family

ID=63169522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001887 Ceased WO2018151504A1 (ko) 2017-02-15 2018-02-13 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치

Country Status (3)

Country Link
US (1) US10866650B2 (ko)
KR (1) KR101892650B1 (ko)
WO (1) WO2018151504A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114641752A (zh) * 2019-10-31 2022-06-17 索尼集团公司 图像显示装置
TWI866398B (zh) * 2023-08-17 2024-12-11 宏達國際電子股份有限公司 應用在雷達領域之偵測裝置和偵測方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102228524B1 (ko) * 2019-06-27 2021-03-15 한양대학교 산학협력단 비접촉식 제스쳐 인식 장치 및 방법
KR102353551B1 (ko) * 2020-09-17 2022-01-20 엘아이지넥스원 주식회사 대상체를 탐지하는 레이더 시스템 및 레이더 탐지 방법
KR20230050999A (ko) 2021-10-08 2023-04-17 삼성전자주식회사 레이더 신호 송수신 방법 및 이를 위한 장치
KR102506127B1 (ko) * 2021-10-29 2023-03-07 (주)아이원 라이더를 이용한 가상 터치 스크린 장치
CN114063821A (zh) * 2021-11-15 2022-02-18 深圳市海蓝珊科技有限公司 一种非接触式屏幕交互方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080102516A (ko) * 2007-05-21 2008-11-26 한국과학기술원 바이오 레이더와 기울기 센서를 이용한 문자 입력 장치
US20110181509A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012144667A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Method and electronic device for gesture recognition
TWI520035B (zh) * 2013-12-03 2016-02-01 緯創資通股份有限公司 外掛式觸控裝置及其感應模組

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080102516A (ko) * 2007-05-21 2008-11-26 한국과학기술원 바이오 레이더와 기울기 센서를 이용한 문자 입력 장치
US20110181509A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114641752A (zh) * 2019-10-31 2022-06-17 索尼集团公司 图像显示装置
TWI866398B (zh) * 2023-08-17 2024-12-11 宏達國際電子股份有限公司 應用在雷達領域之偵測裝置和偵測方法

Also Published As

Publication number Publication date
US10866650B2 (en) 2020-12-15
US20200033949A1 (en) 2020-01-30
KR20180094314A (ko) 2018-08-23
KR101892650B1 (ko) 2018-08-28

Similar Documents

Publication Publication Date Title
WO2018151504A1 (ko) 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치
WO2021002733A1 (ko) 공중 제스쳐 인식 장치 및 방법
WO2015194867A1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2015194866A1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2021107650A1 (en) Jointly learning visual motion and confidence from local patches in event cameras
WO2015194865A1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2019216673A1 (ko) 무인 이동체용 사물 유도 시스템 및 방법
JP2019159389A (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2024019342A1 (ko) 인공지능 기반 유해 가스 누출 탐지 시스템 및 이의 동작 방법
WO2020141900A1 (ko) 이동 로봇 및 그 구동 방법
WO2017065535A1 (ko) 전자 장치 및 그 제어 방법
WO2015199502A1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
US10965876B2 (en) Imaging system, imaging method, and not-transitory recording medium
WO2024096691A1 (ko) 무인항공기의 카메라 영상 정보 기반 다수 목표물의 gps 좌표 추정 및 목표물 추적 방법 및 장치
WO2022240013A1 (ko) 관성 데이터 및 무선신호 데이터 기반 실내 측위 방법 및 장치
KR20010043423A (ko) 카메라 신호 처리 장치 및 카메라 신호 처리 방법
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
WO2021261810A1 (ko) 증강현실 및 3d 이미지를 이용한 항해 보조장치
JP2559939B2 (ja) ３次元情報入力装置
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18753831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18753831

Country of ref document: EP

Kind code of ref document: A1