[go: up one dir, main page]

WO2006093250A1 - 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 - Google Patents

動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2006093250A1
WO2006093250A1 PCT/JP2006/304049 JP2006304049W WO2006093250A1 WO 2006093250 A1 WO2006093250 A1 WO 2006093250A1 JP 2006304049 W JP2006304049 W JP 2006304049W WO 2006093250 A1 WO2006093250 A1 WO 2006093250A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement amount
dimensional
tracking target
image
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/304049
Other languages
English (en)
French (fr)
Inventor
Yoshio Matsumoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nara Institute of Science and Technology NUC
Original Assignee
Nara Institute of Science and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nara Institute of Science and Technology NUC filed Critical Nara Institute of Science and Technology NUC
Priority to US11/885,428 priority Critical patent/US8213677B2/en
Priority to JP2007506011A priority patent/JP4852764B2/ja
Publication of WO2006093250A1 publication Critical patent/WO2006093250A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • Motion measurement device motion measurement system, in-vehicle device, motion measurement method, motion measurement program, and computer-readable recording medium
  • the present invention relates to a motion measurement device, a motion measurement system, an in-vehicle device, a motion measurement method, a motion measurement program, and a computer-readable recording medium for tracking the motion of a subject to be photographed by a camera.
  • the camera model when obtaining a quantitative movement of a subject to be photographed based on an image taken with a monocular camera, the camera model may be simplified using, for example, orthographic transformation or weak perspective transformation. It was broken.
  • Non-patent document 1 MJ Black and Y. Yacoob. Tracking and recognizing rigid and non-rig id facial motions using local parametric models of image motions. ICCV, 1995
  • Non-patent document 2 MLCascia, S. Sclaroff and V. Athitsos: " Fast, Reliable Head Tracking under Varying Illumination: An Approach Based on Registration of Texture-Mapped 3D Models ", IEEE PAMI, vol. 21, no. 6, June 1999
  • Non-Patent Document 3 S. Basu, I. Essa, A. Pentland: "Motion Regularization for Model-Based Head Tracking", Proceedings of the International Conference on Pattern Recogmtion (ICPR '96) Volume Ill-Volume 7276, p. 611, August 25-29, 1996
  • Patent Document 4 Yoshio Matsumoto, Alexander Zelinsky: An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement, Proceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG, 2000), pp.499-505 , 2000
  • Non-Patent Document 5 Tomasi, Kanade: “Shape and motion from image streams: a factorizati on method,” Technical Report CMU—CS—91—132, CMU, 1991
  • the stereo camera basically has two lenses. Therefore, in the technique for obtaining the movement of the object to be photographed using the stereo power camera, it is troublesome to calibrate the positional relationship between the two lenses.
  • the stereo camera since the stereo camera has two lenses, it is more expensive than a monocular camera. Therefore, when a stereo camera is used, problems arise from the viewpoint of space saving and cost reduction.
  • the present invention has been made in view of the above-described conventional problems, and is a motion measurement device, a motion measurement system, and an in-vehicle device that can accurately measure the motion of an imaging target with a low-cost and compact configuration.
  • An object of the present invention is to provide a motion measurement method, a motion measurement program, and a computer-readable recording medium.
  • the motion measurement device of the present invention converts a tracking target image to be tracked from a captured moving image of a monocular camera to a characteristic of the tracking target.
  • a tracking target image extracting means for extracting based on the characteristic points, an actual movement amount calculating means for calculating a movement amount between frames of the tracking target image as an actual movement amount, and a photographing target of the monocular camera are three-dimensionally expressed.
  • a two-dimensional plane projection unit that generates a projected image obtained by projecting the three-dimensional model onto a two-dimensional plane; an estimated movement amount calculation unit that calculates a movement amount between frames of the projection image as an estimated movement amount; It is characterized by comprising three-dimensional deviation estimation means for estimating the amount of three-dimensional movement of the tracking target based on the actual movement amount and the estimated movement amount.
  • the actual movement amount related to the tracking target image extracted by the tracking target image extraction unit is calculated by the actual movement amount calculation unit.
  • the estimated movement amount is calculated by the estimated movement amount calculation means from the projection image of the three-dimensional model generated by the two-dimensional plane projection means.
  • the actual movement amount and the estimated movement amount are common in that they are values indicating the movement amount between frames with respect to the photographing target of the monocular camera.
  • the actual movement amount is a value obtained based on a monocular photographic moving image, so it can be understood as a two-dimensional value indicating the amount that the tracking target has actually moved.
  • the estimated movement amount is a value calculated from the three-dimensional model of the photographing target, it is regarded as a value indicating the movement of the tracking target three-dimensionally.
  • the motion measuring apparatus of the present invention uses a three-dimensional model of the object to be photographed, the amount of motion of the tracking object can be accurately estimated.
  • the present invention since a monocular camera is used, it is possible to measure the three-dimensional movement of the tracking target at low cost even in a compact space.
  • the motion measurement method of the present invention extracts a tracking target image to be tracked from a moving image of a monocular camera based on the feature points of the tracking target.
  • a first step a second step for calculating the movement amount between frames of the tracking target image as an actual movement amount, and a three-dimensional model representing the photographing target of the monocular camera three-dimensionally on a two-dimensional plane.
  • the fourth step of calculating the movement amount between frames of the projected image as an estimated movement amount, the actual movement amount and the estimated movement amount, the three-dimensional movement of the tracking target
  • a fifth step of estimating the quantity is estimating the quantity.
  • the motion measuring apparatus of the present invention since the three-dimensional model of the imaging target is used, the amount of motion of the tracking target can be estimated with high accuracy. Moreover, according to the present invention, since a monocular camera is used, the three-dimensional movement of the tracking target can be measured at a low cost even in a compact space.
  • FIG. 1 is a diagram showing a configuration of a tracking device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing the flow of processing in the tracking device of FIG.
  • FIG. 3 is a diagram illustrating a procedure for projecting a three-dimensional model onto a two-dimensional plane.
  • FIG. 4 is a diagram showing a configuration of a motion table used by the tracking device of FIG.
  • FIG. 5 (a) is a diagram for explaining the actual movement amount, and (b) is a diagram for explaining the estimated movement amount.
  • FIG. 6 (a) to (c) are diagrams for explaining an evaluation experiment of the tracking accuracy of the tracking device of FIG.
  • FIG. 7 is a diagram showing a face model used for conventional motion measurement.
  • Tracking target image extraction unit (tracking target image extraction means)
  • the tracking device 1 of this embodiment includes a tracking target image extraction unit (tracking target image extraction unit) 2, a two-dimensional plane projection unit (two-dimensional plane projection unit) 3, and a minute motion generation.
  • Part (estimated movement amount calculation means) 4 storage part 5
  • two-dimensional deviation calculation part (actual movement amount calculation means) 6 three-dimensional deviation estimation part (three-dimensional deviation estimation means) 7
  • movement to be imaged And a measuring unit 8.
  • the tracking target image extraction unit 2 uses a moving image (captured image) of the photographic target 10 captured by the monocular camera 9 to capture an image of a portion to be tracked (tracking target) in the photographic target (tracking target image). ) And the feature points in the tracking target image are tracked between different frames.
  • a feature point is a coordinate that characterizes an image. In the case of an image of a human face, a coordinate indicating the position of the corner of the eye, the head of the eye, the mouth, and the nose corresponds to the feature point.
  • the processing in the tracking target image extraction unit 2 can use various image feature extraction processes. For example, when the shooting target is a human and the tracking target is a human face, the process of extracting the tracking target image is performed by selecting a characteristic part of the face, such as the eyes, mouth, and nose. It can be realized by the process of recognizing with.
  • the technology using the template matching method as the image feature extraction process is described in Non-Patent Document 4.
  • the two-dimensional plane projection unit 3 matches the posture of the shape model (hereinafter referred to as the three-dimensional model) that three-dimensionally represents the shape of the photographing target 10 for each frame, and It calculates the coordinates of an image obtained by projecting a 3D model with a matched pose onto a 2D plane (hereinafter referred to as a projected image). Details of the projection processing by the two-dimensional planar projection unit 3 will be described later.
  • the three-dimensional model that three-dimensionally represents the shape of the photographing target 10 for each frame
  • the three-dimensional model is created in advance using a known procedure before the tracking device 1 obtains the movement of the tracking target.
  • a 3D model can be constructed by measuring a 3D object with a stereo camera or 3D scanner. It is possible (see Non-Patent Document 4). It is also possible to construct a three-dimensional model by tracking feature points of a subject to be photographed using a monocular camera (see Non-Patent Document 5).
  • the minute motion generation unit 4 calculates the amount of movement of the projected image of the 3D model for each frame of the captured image in the X-axis and Y-axis directions. To do.
  • the process for obtaining the coordinates of the projection image is executed by the two-dimensional plane projection unit 3. Further, details of the movement amount calculation processing by the minute motion generation unit 4 will be described later, and in the following description, the movement amount calculated by the minute movement generation unit 4 is particularly described as “estimated movement amount”.
  • This estimated movement amount is expressed as a vector because it indicates the movement distance in each of the X-axis and Y-axis directions.
  • reference motion means six motions for expressing the movement of the 3D model in the 3D space.
  • the six reference actions are defined as follows:
  • the storage unit 5 associates the coordinates of the projection image calculated by the two-dimensional plane projection unit 3, the reference motion, and the movement amount of the coordinates on the two-dimensional plane calculated by the minute motion generation unit 4. It stores the attached motion table (described later).
  • the two-dimensional deviation calculation unit 6 calculates a movement amount between frames with respect to the coordinates of each feature point in the tracking target image. That is, the two-dimensional deviation calculation unit 6 calculates the distance that each feature point in the tracking target image has actually moved between the previous frame and the current frame in each of the X-axis and ⁇ -axis directions.
  • the movement amount calculated by the two-dimensional deviation calculation unit 6 is described as “actual movement amount”. This actual movement amount indicates the movement distance in the X-axis and Y-axis directions, and is expressed as a vector.
  • the three-dimensional deviation estimation unit 7 reads the estimated movement amount from the motion table stored in the storage unit 5, and associates the actual movement amount calculated by the two-dimensional deviation calculation unit 6 with the estimated movement amount. In addition, the amount of three-dimensional movement (three-dimensional deviation) of the tracking target is estimated by the procedure described later.
  • the imaging target motion measurement unit 8 measures the force that the imaging target has performed based on the three-dimensional deviation of the tracking target estimated by the three-dimensional deviation estimation unit 7. For example, if the tracking target is a human face, the shooting target motion measurement unit 8 determines what type of human being the shooting target is, such as moving the line of sight, opening and closing the eyes, based on the three-dimensional deviation of the tracking target. It is a measure of whether an action has been taken.
  • step 1 a three-dimensional face model is constructed as shown in FIG. 2 (step 1, hereinafter, step is simply referred to as S).
  • the tracking target image extraction unit 2 extracts a human face image (face image) as a tracking target image from an image obtained by photographing a person with the monocular camera 9 (S2).
  • the 2D plane projection unit 3 projects a 3D face model onto the 2D plane (S3). Then, the estimated movement amount of the three-dimensional face model is calculated by the minute motion generation unit 4 (S4).
  • the tracking target image extraction unit 2 tracks the feature points in the face image between different frames (S5). Thereafter, the two-dimensional deviation calculation unit 6 calculates the actual movement amount of the feature point in the face image and its reliability (S6). The processing of S5 and S6 may be performed before the processing of S3 and S4 is executed.
  • the three-dimensional deviation estimation unit 7 performs tracking.
  • the three-dimensional deviation of the human face is calculated (S7).
  • the movement measurement unit 8 measures the movement of the human eye, such as the movement of the line of sight and the opening and closing of the “blink” mouth (S8). .
  • the tracking device 1 determines how the person to be imaged has moved by completing the processes of S1 to S8 described above. Hereinafter, the details of the processing of each block in the tracking device 1 will be described more specifically.
  • a 2D plane that projects a 3D model in a 3D space defined by the XYZ axes is assumed to be a plane whose distance from the origin is f.
  • the origin of this three-dimensional space can be regarded as the focal point of the monocular camera 9.
  • the distance f between the origin and the two-dimensional plane can be regarded as the focal length of the monocular camera 9.
  • the projection method is perspective transformation, and a projection image corresponding to coordinates (X, y, z) at an arbitrary position on the three-dimensional model. If the upper coordinates are (u, V), the coordinates (u, V) can be obtained based on the following equation (1).
  • the minute motion generation unit 4 obtains the feature point force S of the three-dimensional model in the previous frame, and what coordinates are represented on the projection image. For example, if two feature points in the 3D model are point A and point B, the minute motion generator 4 obtains the coordinates on the projected image corresponding to point A as, y), and the projection corresponding to point B Let the coordinates on the image be (X, y)
  • the minute motion generation unit 4 determines how much the coordinates of the feature point move on the two-dimensional plane between the current frame and the previous frame when the three-dimensional model performs the reference motion. calculate. That is, the minute motion generation unit 4 performs the above-mentioned reference operations “X axis translation”, “Y axis translation”, “ ⁇ axis translation ”,“ X axis rotation ”,“ ⁇ axis rotation ”, and“ ⁇ axis When the 3D model performs each “rotation”, the movement amount of the feature point on the 2D plane corresponding to each reference motion is calculated.
  • the minute motion generation unit 4 associates the estimated movement amount of the feature point thus obtained, the coordinates of the feature point in the projected image with the previous frame, and the reference motion. And this motion table is stored in the storage unit 5.
  • Each of the quasi-motions is associated with the estimated movement amount.
  • the coordinates of the feature points stored in the motion table are the coordinates in the previous frame.
  • the motion table is sequentially updated for each frame.
  • the estimated movement amount stored in the motion table is used for the three-dimensional deviation estimation process described later, the coordinates of the feature points in the projection image in the current frame are stored in the motion table. Then, the estimated movement amount between the current frame and the next frame is obtained by the minute motion generation unit 4 corresponding to each reference motion and stored in the motion table.
  • the three-dimensional deviation estimation unit 7 refers to the motion table stored in the storage unit 5 and reads the estimated movement amounts corresponding to the six reference actions. At the same time, the three-dimensional deviation estimation unit 7 acquires the actual movement amount calculated by the two-dimensional deviation calculation unit 6.
  • the actual movement amount is calculated by using the feature points in the 3D model in the previous frame as the second order.
  • the estimated movement amount was obtained by applying the positional force S, which is a projection of the feature point in the 3D model in the previous frame onto the 2D plane, or one of the 6 reference motions. It shows how to move in case.
  • the three-dimensional deviation estimation unit 7 associates the estimated movement amount with the actual movement amount, and obtains coefficients a to a in the following linear equation (2).
  • the estimated movement amount is expressed as a vector indicating the movement distance of the feature point with respect to each of the X axis and the Y axis.
  • one estimated movement amount includes two parameters.
  • the estimated movement amount and the minimum three feature points are six unknown coefficients (a to a) in Eq. (2).
  • the coefficients a to a can be calculated. 4 or more
  • the coefficients a to a may be calculated using an interpolation method such as a least square method.
  • the six reference actions described above correspond to each of the six degrees of freedom that the 3D model moves. Therefore, by calculating the coefficients a to a
  • FIG. 6 (a) shows the mannequin's neck as the object to be photographed.
  • the mannequin's neck is picked up by a monocular camera.
  • Figure 6 (b) shows the image taken with a monocular camera. Note that the image shown in FIG. 6 (b) is surrounded by a small frame. This indicates, for example, that an image near the eye is extracted as the tracking target image.
  • FIG. 6 (c) is a graph showing the tracking accuracy by the tracking device 1 of the present embodiment in comparison with the tracking accuracy in the case of using a stereo camera.
  • the tracking accuracy when a monocular camera is applied to the tracking device 1 of the present embodiment is indicated by a solid line
  • the tracking accuracy when a stereo camera is used is indicated by a dotted line. Yes.
  • the ideal value of tracking accuracy is indicated by a dashed line.
  • the tracking device 1 includes the tracking target image extraction unit 2 that extracts the tracking target image that is a tracking target from the captured image of the monocular camera 9, and the amount of movement of the tracking target image between frames.
  • 2D plane projection that generates a projection image by projecting a 2D plane onto a 2D plane from a 3D model that represents the subject to be captured by the monocular camera 9 in 3D Based on the actual movement amount and the estimated movement amount, and the amount of 3D movement of the tracking target based on the actual movement amount and the estimated movement amount.
  • a three-dimensional deviation estimation unit 7 for estimating.
  • the actual movement amount related to the tracking target image extracted by the tracking target image extraction unit 2 is calculated by the two-dimensional deviation calculation unit 6.
  • the estimated movement amount is calculated by the minute motion generation unit 4 from the projection image of the three-dimensional model generated by the two-dimensional plane projection unit 3.
  • the actual movement amount and the estimated movement amount are determined in accordance with the frame for the subject to be captured by the monocular camera 9. It is common in that it is a value indicating the amount of movement between them. In particular, since the actual movement amount is a value obtained based on the captured image of the monocular 9, it can be understood as a two-dimensional value indicating the amount that the tracking target has actually moved.
  • the estimated movement amount is a value calculated from the 3D model force of the subject, so it can be said to be a value that indicates the movement of the tracking target in a three-dimensional manner.
  • the tracking device 1 uses the monocular camera 9, it is possible to measure the three-dimensional movement of the tracking target at a low cost even in a compact space.
  • the minute motion generation unit 4 estimates the amount of movement of the projection image when the three-dimensional model moves for each of the six degrees of freedom related to the movement of the three-dimensional model. Since it is calculated as the amount of movement, the three-dimensional movement of the three-dimensional model can be accurately calculated.
  • the three-dimensional deviation estimation unit 7 estimates the amount of movement from a linear equation in which the actual movement amount and the estimated movement amount are associated with each other, the tracking target 3 The amount of dimensional motion can be estimated. Therefore, the three-dimensional movement of the tracking target can be measured with more efficient processing.
  • each means of the tracking device 1 of the present embodiment is to execute a program stored in a storage means such as a CPU, input means such as a keyboard, output means such as a display, or interface. It can be realized by controlling communication means such as circuits.
  • a memory such as a ROM may be used as a program medium for processing by a microcomputer, and an unillustrated memory is used as an external storage device. It may be a program medium that is provided with a program reading device and can be read by inserting a recording medium.
  • the stored program is preferably configured to be accessed and executed by a microprocessor. Further, it is preferable that the program is read out, and the read program is downloaded to the program storage area of the microcomputer and the program is executed. It is assumed that this download program is stored in the main unit in advance.
  • the program medium is a recording medium configured to be separable from the main body, such as a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a flexible disk or a hard disk, or a CD / MO / MD.
  • Disk system such as DVD / DVD, IC card (including memory card), mask ROM, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read
  • the recording medium is preferably a recording medium that fluidly carries the program so as to download the program from the communication network.
  • the download program may be stored in the main device in advance or installed from another recording medium. preferable.
  • the estimated movement amount calculating means calculates the movement amount of the projection image when the three-dimensional model moves for each of the six degrees of freedom related to the movement of the three-dimensional model. It is preferable to calculate as an amount.
  • the estimated movement amount calculation means is that the three-dimensional model has six degrees of freedom. Since the estimated movement amount is calculated for each of the exercises, the three-dimensional movement of the three-dimensional model can be calculated accurately.
  • the force S for measuring the three-dimensional movement of the tracking target more accurately can be achieved.
  • the three-dimensional deviation estimation means preferably estimates the amount of movement from a linear equation in which the actual movement amount and the estimated movement amount are associated with each other.
  • the amount of three-dimensional movement of the tracking target can be estimated by a simple process. Therefore, the three-dimensional movement of the tracking target can be measured with more efficient processing.
  • the motion measuring device of the present invention can also be configured as a motion measuring system provided with a monocular camera.
  • this motion measurement system can be installed in a compact space, it is suitable for mounting on an in-vehicle device. And, by measuring the driver's movement with the in-vehicle device equipped with the motion measurement system of the present invention, it is possible to operate other in-vehicle devices with hands-free or give a warning to the driver's sleep. Become.
  • the motion measuring apparatus of the present invention can be used in various industries. Hereinafter, specific examples of industries in which the present invention can be used will be described.
  • the motion measuring device of the present invention is suitable for the purpose of measuring the motion of a driver of an automobile. This is because, from the viewpoint that the driver should basically concentrate on driving, it is preferable that the operation of on-vehicle equipment such as car navigation can be performed without the driver releasing his / her hand from the steering wheel. Furthermore, the space in which automobile equipment can be installed is limited. [0082] In this regard, if the motion measuring device of the present invention is used, the driver's motion can be detected with sufficient accuracy using a compact monocular camera, so that it can be easily mounted in an automobile. Furthermore, by detecting the user's movement using the motion measuring device of the present invention, it is possible to operate the in-vehicle device without releasing the handle.
  • the motion measuring device of the present invention is advantageous from the viewpoint of ensuring the safety of the driver. In other words, it is possible to detect whether or not the driver is asleep by using the motion measuring device of the present invention and to prompt the driver to warn as necessary.
  • the motion measuring apparatus of the present invention can also be used as a computer interface. That is, by using a commercially available web camera as a monocular camera, and further connecting the web camera and the motion measuring apparatus of the present invention, it is possible to easily measure the movement of the computer user. Thereby, the user's movement measured by the movement measuring apparatus of the present invention can be used in a video chat or a network battle type game.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　単眼カメラ（９）の撮影画像からトラッキング対象となるトラッキング対象画像を抽出するトラッキング対象画像抽出部（２）と、トラッキング対象画像のフレーム間での移動量を実移動量として算出する２次元ずれ算出部（６）と、単眼カメラ（９）の撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する２次元平面投影部（３）と、投影像のフレーム間での移動量を推定移動量として算出する微小動き生成部（４）と、上記実移動量と上記推定移動量とに基づき、トラッキング対象の３次元的な動きの量を推定する３次元ずれ推定部（７）とを備えている。

Description

明 細 書
動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プ ログラム、およびコンピュータ読み取り可能な記録媒体
技術分野
[0001] 本発明は、カメラの撮影対象の動きを追跡するための動き計測装置、動き計測シス テム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可 能な記録媒体に関する。
背景技術
[0002] 従来、人間の顔などを単眼カメラにより撮影した画像 (撮影画像）に基づき、撮影対 象物の定量的な動きを求めるために、撮影対象物を単純化した形状モデルを仮定し 、撮影画像上の動きからそのモデルの動きを求めることが行われてレ、た。
[0003] たとえば、人間の顔を撮影した画像からその顔の定量的な動きを求める場合、図 7 に示すように、人間の顔を平面的に表現したモデル (非特許文献 1参照）や、人間の 顔を円筒（非特許文献 2参照）または楕円体 (非特許文献 3参照）とみなして表現した モデルが用いられていた。
[0004] また、この手法と同様に、単眼カメラで撮影した画像に基づき撮影対象の定量的な 動きを求める際、たとえば正射影変換や弱透視変換を用いてカメラモデルを単純化 することも行われていた。
[0005] さらに、単眼カメラではなくステレオカメラを用いて撮影した画像に基づき、撮影対 象物の定量的な動きを求める場合もある (非特許文献 4参照)。この場合、ステレオ力 メラの撮影画像から得られる撮影対象物の 3次元的な座標値と、撮影対象物の 3次 元的なモデルとを、 3次元空間中で直接フィッティングすることにより、撮影対象物の 位置や姿勢を精度よく計測することができる。
非特午文献 1： M.J. Black and Y. Yacoob. Tracking and recognizing rigid and non-rig id facial motions using local parametric models of image motions. ICCV, 1995 非特許文献 2 : M.L.Cascia， S.Sclaroff and V.Athitsos: "Fast, Reliable Head Tracking under Varying Illumination: An Approach Based on Registration of Texture-Mapped 3D Models", IEEE PAMI, vol. 21, no.6, June 1999
非特許文献 3 : S.Basu, I.Essa, A.Pentland: "Motion Regularization for Model-Based Head Tracking" , Proceedings of the International Conference on Pattern Recogmtio n (ICPR '96) Volume Ill-Volume 7276, p.611, August 25-29, 1996
特許文献 4 : Yoshio Matsumoto, Alexander Zelinsky: An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement， Pro ceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG，2000)， pp.499- 505, 2000
非特許文献 5 : Tomasi, Kanade: "Shape and motion from image streams: a factorizati on method," Technical Report CMU—CS—91— 132, CMU, 1991
発明の開示
[0006] し力 ながら、上述した従来技術には以下の問題点がある。
[0007] 先ず、単眼カメラを用いて撮影対象物の動きを求める技術においては、撮影対象 物を単純化したモデルを用いると、当該モデルが撮影対象物を単純化するものなの で、動きの測定精度が低下してしまう。同様に、カメラモデルを単純化しても、動きの 測定精度は低下する。
[0008] また、ステレオカメラは基本的に 2つのレンズを有している。したがって、ステレオ力 メラを用いて撮影対象物の動きを求める技術では、 2つのレンズ間の位置関係をキヤ リブレーシヨンすることが、煩雑な作業となり得る。
[0009] また、ステレオカメラは、 2つのレンズを有していることから、単眼カメラに比べてサイ ズが大きいだけでなぐ高コストである。したがって、ステレオカメラを用いると、省スぺ ース化および低コスト化の観点から問題が生じる。
[0010] 本発明は、上記従来の問題に鑑みなされたものであって、低コストかつコンパクトな 構成で撮影対象の動きを精度よく計測することができる動き計測装置、動き計測シス テム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可 能な記録媒体を提供することを目的としている。
[0011] 本発明の動き計測装置は、上記従来の課題を解決するために、単眼カメラの撮影 動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特 徴点に基づき抽出するトラッキング対象画像抽出手段と、上記トラッキング対象画像 のフレーム間での移動量を実移動量として算出する実移動量算出手段と、上記単眼 カメラの撮影対象を 3次元的に表現した 3次元モデルを、 2次元平面上に投影した投 影像を生成する 2次元平面投影手段と、上記投影像のフレーム間での移動量を推定 移動量として算出する推定移動量算出手段と、上記実移動量と上記推定移動量とに 基づき、上記トラッキング対象の 3次元的な動きの量を推定する 3次元ずれ推定手段 とを備えてレ、ることを特徴としてレ、る。
[0012] 上記構成によれば、トラッキング対象画像抽出手段により抽出されたトラッキング対 象画像に関する実移動量が、実移動量算出手段により算出される。一方で、 2次元 平面投影手段にて生成された 3次元モデルの投影像から、推定移動量算出手段に より推定移動量が算出される。
[0013] これらの実移動量および推定移動量は、単眼カメラの撮影対象に関してフレーム 間での移動量を示す値である点において共通している。特に、実移動量は、単眼力 メラの撮影動画像に基づき得られる値なので、トラッキング対象が現実に移動した量 を 2次元的に示す値として理解できる。また、推定移動量は、撮影対象の 3次元モデ ノレから算出される値であることから、トラッキング対象の移動を 3次元的に示す値とレヽ える。
[0014] よって、 3次元ずれ推定手段により実移動量と推定移動量とをマッチングさせること で、現実の移動に即してトラッキング対象の 3次元的な動きの量を推定することができ る。しかも、本発明の動き計測装置は、撮影対象の 3次元モデルを用いているので、 精度よくトラッキング対象の動きの量を推定することができる。
[0015] しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであつ てもトラッキング対象の 3次元的な動きを低コストで計測することができる。
[0016] また、本発明の動き計測方法は、上記従来の課題を解決するために、単眼カメラの 動撮影画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象 の特徴点に基づき抽出する第 1ステップと、上記トラッキング対象画像のフレーム間 での移動量を実移動量として算出する第 2ステップと、上記単眼カメラの撮影対象を 3次元的に表現した 3次元モデルを、 2次元平面上に投影した投影像を生成する第 3 ステップと、上記投影像のフレーム間での移動量を推定移動量として算出する第 4ス テツプと、上記実移動量と上記推定移動量とに基づき、上記トラッキング対象の 3次 元的な動きの量を推定する第 5ステップとを備えていることを特徴としている。
[0017] 上記構成の動き計測方法によれば、第 1〜第 5ステップにおいて、本発明の動き計 測装置と同様の処理が実現されているので、本発明の動き計測装置と同様の作用効 果を得ること力 Sできる。
[0018] 本発明の動き計測装置によれば、撮影対象の 3次元モデルを用いているので、精 度よくトラッキング対象の動きの量を推定することができる。しかも、本発明によれば、 単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の 3次 元的な動きを低コストで計測することができる。
図面の簡単な説明
[0019] [図 1]本発明の一実施形態に係るトラッキング装置の構成を示す図である。
[図 2]図 1のトラッキング装置における処理の流れを示すフローチャートである。
[図 3]3次元モデルを 2次元平面に投影する手順を説明する図である。
[図 4]図 1のトラッキング装置が用いる動きテーブルの構成を示す図である。
[図 5] (a)は、実移動量を説明するための図であり、 (b)は、推定移動量を説明するた めの図である。
[図 6] (a)〜（c)は、図 1のトラッキング装置のトラッキング精度の評価実験を説明する ための図である。
[図 7]従来の動き計測に用レ、られていた顔モデルを示す図である。
符号の説明
[0020] 1 トラッキング装置 (動き計測装置）
2 トラッキング対象画像抽出部（トラッキング対象画像抽出手段）
3 2次元平面投影部（2次元平面投影手段）
4 微小動き生成部 (推定移動量算出手段）
6 2次元ずれ算出部 (実移動量算出手段）
7 3次元ずれ推定部（3次元ずれ推定手段）
8 撮影対象動き計測部 10 撮影対象
発明を実施するための最良の形態
[0021] [1.装置構成の概要〕
先ず、本発明の一実施形態に係るトラッキング装置 (動き計測装置)の構成につい て、図 1を用いて説明する。本実施形態のトラッキング装置 1は、図 1に示すように、ト ラッキング対象画像抽出部（トラッキング対象画像抽出手段） 2と、 2次元平面投影部（ 2次元平面投影手段) 3と、微小動き生成部 (推定移動量算出手段) 4と、記憶部 5と、 2次元ずれ算出部 (実移動量算出手段) 6と、 3次元ずれ推定部（3次元ずれ推定手 段） 7と、撮影対象動き計測部 8とを備えている。
[0022] トラッキング対象画像抽出部 2は、単眼カメラ 9により撮影された撮影対象 10の動画 像 (撮影画像)から、撮影対象中で追跡の対象（トラッキング対象）となる部分の画像（ トラッキング対象画像）を抽出するとともに、該トラッキング対象画像における特徴点を 異なるフレーム間で追跡するものである。なお、特徴点とは、画像を特徴づける座標 のことであり、人間の顔の画像であれば、 目尻 ·目頭'口元'鼻等の位置を示す座標 が特徴点に相当する。
[0023] このトラッキング対象画像抽出部 2における処理は、種々の画像特徴抽出処理を用 レ、ることができる。たとえば、撮影対象が人間であり、トラッキング対象が人間の顔で ある場合において、トラッキング対象画像を抽出する処理は、 目 ·口 '鼻等の顔にお レ、て特徴のある部分を撮影画像内で認識する処理により実現することが可能である。 なお、画像特徴抽出処理としてテンプレートマッチング法を用いた技術は、非特許文 献 4に記載されている。
[0024] 2次元平面投影部 3は、撮影対象 10の形状を 3次元的に表現した形状モデル (以 下、 3次元モデル)の姿勢を、撮影対象 10の姿勢とフレーム毎に一致させ、その姿勢 がー致された 3次元モデルを 2次元平面上に投影した像 (以下、投影像)の座標を算 出するものである。 2次元平面投影部 3による投影処理の詳細に関しては後述する。
[0025] なお、 3次元モデルは、トラッキング装置 1によりトラッキング対象の動きを求める前 に、公知の手順を用いて予め作成されるものである。たとえば、ステレオカメラや 3D スキャナにより撮影対象を 3次元的に計測することで、 3次元モデルを構築することが 可能である (非特許文献 4参照)。また、単眼カメラを用いて撮影対象の特徴点を追 跡することで、 3次元モデルを構築することも可能である（非特許文献 5参照）。
[0026] 微小動き生成部 4は、 3次元モデルが基準動作を行った場合に、その 3次元モデル の投影像の移動量を、 X軸および Y軸方向のそれぞれに関して撮影画像のフレーム 毎に算出するものである。なお、投影像の座標を求める処理は、 2次元平面投影部 3 により実行されるものである。また、微小動き生成部 4による移動量算出の処理の詳 細は後述するものとし、以下の説明では、微小動き生成部 4により算出される移動量 を特に「推定移動量」として記載する。この推定移動量は、 X軸および Y軸方向のそ れぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
[0027] ここで、「基準動作」とは、 3次元空間内における 3次元モデルの移動を表現するた めの 6つの動作を意味している。すなわち、 3次元空間を規定する X軸、 Y軸、および Z軸のそれぞれに関して、 3次元モデルが微小な単位距離だけ平行移動する動作、 および 3次元モデルが微小な単位角度だけ回転する動作をここでは「基準動作」と記 載している。なお、以下の説明においては、 6つの基準動作を以下のように定義する
[0028] 「X軸並進」… 3次元モデルが X軸に関して単位距離だけ平行移動する動作
「Y軸並進」 · · · 3次元モデル力 SY軸に関して単位距離だけ平行移動する動作 「Ζ軸並進」 · · · 3次元モデルが Ζ軸に関して単位距離だけ平行移動する動作 「X軸回転」… 3次元モデル力 軸に関して単位角度だけ回転する動作 「Υ軸回転」 · · · 3次元モデル力 SY軸に関して単位角度だけ回転する動作 「Ζ軸回転」 · · · 3次元モデル力 軸に関して単位角度だけ回転する動作。
[0029] 記憶部 5は、 2次元平面投影部 3により算出された投影像の各座標と、基準動作と、 微小動き生成部 4により算出された 2次元平面上の座標の移動量とを対応づけた動 きテーブル (後述する）を記憶するものである。
[0030] 2次元ずれ算出部 6は、トラッキング対象画像における各特徴点の座標に関して、 フレーム間における移動量を算出するものである。すなわち、 2次元ずれ算出部 6は 、前フレームから現フレームまでの間に、トラッキング対象画像における各特徴点が 実際に移動した距離を、 X軸および Υ軸方向のそれぞれに関して算出するものであ る。なお、以下の説明では 2次元ずれ算出部 6により算出される移動量を、「実移動 量」として記載する。この実移動量は、 X軸および Y軸方向のそれぞれに関する移動 距離を示すものであるから、ベクトルとして表現される。
[0031] 3次元ずれ推定部 7は、記憶部 5に記憶された動きテーブルから推定移動量を読み 出すとともに、 2次元ずれ算出部 6により算出された実移動量とその推定移動量とを 対応づけ、後述する手順によりトラッキング対象の 3次元的な動きの量（3次元的ずれ )を推定するものである。
[0032] 撮影対象動き計測部 8は、 3次元ずれ推定部 7により推定されたトラッキング対象の 3次元的ずれに基づき、撮影対象がどのような動作を行った力 ^計測するものである 。たとえばトラッキング対象が人間の顔であれば、撮影対象動き計測部 8は、トラツキ ング対象の 3次元的ずれに基づき、視線の移動 'まばたき'口の開閉など、撮影対象 である人間がどのような動作を行つたかを計測するものである。
[0033] 上記構成のトラッキング装置 1により、撮影対象の動きが計測されるまでの一連の処 理を図 2のフローチャートを用いて説明する。なお、以下では撮影対象 10が人間で あり、トラッキング対象が人間の顔である場合について説明する。また、人間の顔の 3 次元モデルは、単に「3次元顔モデル」として記載する。
[0034] まず、トラッキング装置 1によるトラッキング処理を行う前に、図 2に示すように 3次元 顔モデルが構築される（ステップ 1、以下単にステップを Sと記載する）。その後、トラッ キング対象画像抽出部 2により、単眼カメラ 9で人間を撮影した画像から、その人間の 顔の画像 (顔画像） トラッキング対象画像として抽出される（S2)。
[0035] その後、 2次元平面投影部 3により、 3次元顔モデルが 2次元平面に投影される（S3 )。そして、微小動き生成部 4により、上記 3次元顔モデルの推定移動量が算出される (S4)。
[0036] また、トラッキング対象画像抽出部 2により、顔画像における特徴点が異なるフレー ム間で追跡される（S5)。その後、 2次元ずれ算出部 6により、顔画像における特徴点 の実移動量およびその信頼性が算出される（S6)。なお、 S5および S6の処理は、 S3 および S4の処理が実行される前に行われてもよレ、。
[0037] そして、 S3〜S6の処理が終了したら、 3次元ずれ推定部 7により、トラッキング対象 である人間の顔の 3次元的ずれが算出される（S7)。そして、 S7にて推定された 3次 元ずれに基づき、撮影対象動き計測部 8により、視線の移動 'まばたき'口の開閉な ど、人間がどのような動きを行ったかが計測される（S8)。
[0038] 上記した S1〜S8の処理が完了することで、撮影対象である人間がどのように動い たかが、トラッキング装置 1により判断される。以下では、トラッキング装置 1における各 ブロックの処理の詳細について、より具体的に説明する。
[0039] [2. 2次元平面投影部 3における処理について〕
2次元平面投影部 3により、 3次元モデルを 2次元平面に投影する手順について説 明する。図 3に示すように、 XYZ軸で規定される 3次元空間内に、 3次元モデルを投 影する 2次元平面を原点からの距離が fの平面として想定する。なお、この 3次元空間 の原点は、単眼カメラ 9の焦点としてみなせるものである。また、原点と 2次元平面との 距離 fは、単眼カメラ 9の焦点距離としてみなせるものである。
[0040] ここで、カメラのモデルとしてピンホールカメラモデルを用いた場合、投影方法は透 視変換になり、 3次元モデル上の任意の位置における座標 (X, y， z)に対応する投影 像上の座標を (u, V)とすると、以下の式（1)に基づき座標 (u, V)を求めることができ る。
[0041] u = f X x/Z v=f X y/Z …式（1)
そして、上記の座標（x, y, z)を 3次元モデル上の座標として適宜変更していき、座 標 (u， V)を式（1)に基づき算出することにより、投影像全体の座標を求める処理が完 了する。
[0042] [3.微小動き生成部 4における処理について〕
微小動き生成部 4により、 3次元モデルに対応する投影像の推定移動量を算出す る手順について以下に説明する。
[0043] 先ず、微小動き生成部 4は、前フレームにおける 3次元モデルの特徴点力 S、投影像 上においてどのような座標で表現されるかを求める。たとえば、 3次元モデルにおける 2つの特徴点を点 Aおよび点 Bとするなら、微小動き生成部 4は、点 Aに対応する投 影像上の座標を ， y )として求め、点 Bに対応する投影像上の座標を (X， y )とし
a a b b て求める。なお、これらの座標（X， y )および（X , y )は、前フレームでの点 Aおよび
a a b b 点 Bのそれぞれに対応してレ、る。
[0044] そして、微小動き生成部 4は、 3次元モデルが基準動作を行った場合に、現フレー ムと前フレームとの間で特徴点の座標が 2次元平面上でどれだけ移動するかを算出 する。すなわち、微小動き生成部 4は、上述した基準動作である「X軸並進」， 「Y軸並 進」， 「Ζ軸並進」， 「X軸回転」， 「Υ軸回転」，および「Ζ軸回転」のそれぞれを 3次元 モデルが行った場合に、各基準動作に対応する 2次元平面上での特徴点の移動量 を算出する。
[0045] さらに、微小動き生成部 4は、このようにして求められた特徴点の推定移動量と、投 影像における特徴点の前フレームでの座標と、基準動作とを対応づけた動きテープ ルを作成し、この動きテーブルを記憶部 5に記憶する。
[0046] ここで、動きテーブルの構成を図 4に示す。図 4に示すように、動きテーブルにおい ては、投影像における特徴点の座標 (X , y )および (X れぞれが、 6つの基
a a b， y )のそ
b
準動作のそれぞれと、推定移動量とに対応づけられている。もちろん、動きテーブル に格納された特徴点の座標は、前フレームにおける座標である。
[0047] なお、動きテーブルは、フレーム毎に順次更新されていく。つまり、動きテーブルに 格納された推定移動量が後述する 3次元的ずれの推定処理に用いられたら、現フレ ームでの投影像における特徴点の座標が動きテーブルに格納される。そして、現フ レームと次フレームとの間における推定移動量が、各基準動作に対応して微小動き 生成部 4により求められ、動きテーブルに格納される。
[0048] [4. 3次元ずれ推定部 7における処理について〕
3次元ずれ推定部 7によりトラッキング対象の 3次元的ずれを推定する処理につい て以下に説明する。先ず、 3次元ずれ推定部 7は、記憶部 5に記憶された動きテープ ルを参照し、 6つの基準動作に対応する推定移動量を読み出す。同時に、 3次元ず れ推定部 7は、 2次元ずれ算出部 6が算出した実移動量を取得する。
[0049] 実移動量および推定移動量がどのようなものであるかは上述したとおりであるが、 参考のため図 5 (a)および図 5 (b)を用いて実移動量および推定移動量の説明を行う
[0050] 実移動量は、図 5 (a)に示すように、前フレームでの 3次元モデル中の特徴点を 2次 元平面に投影した位置（図中 ·印で示す）と、現フレームでの 3次元モデル中の特徴 点を 2次元平面に投影した位置（図中〇印で示す)との間における移動距離を示す ものである。一方、推定移動量は、図 5 (b)に示すように、前フレームでの 3次元モデ ル中の特徴点を 2次元平面に投影した位置力 S、 6つの基準動作のいずれかを行った 場合にどのように移動するかを示すものである。
[0051] そして、 3次元ずれ推定部 7は、推定移動量と実移動量とを対応づけ、以下の一次 方程式（2)における係数 a〜aを求める。
1 6
[0052] (実移動量） = a X (X軸並進に対応する推定移動量） + a X (Y軸並進に対応する
1 2
推定移動量） + a X (Z軸並進に対応する推定移動量） + a X (X軸回転に対応する
3 4
推定移動量） + a X (Y軸回転に対応する推定移動量） + a X (Z軸回転に対応する
5 6
推定移動量） … 式 (2)
なお、推定移動量は図 4の動きテーブルに示したように、 X軸および Y軸のそれぞ れに関する特徴点の移動距離を示すベクトルとして表現される。つまり、 1つの推定 移動量には、 2つのパラメータが含まれていることになる。一方で、式（2)における未 知の係数（a〜a )は 6つであるから、最低限 3つの特徴点に関する推定移動量およ
1 6
び実移動量が求められていれば、係数 a〜aを算出することができる。なお、 4っ以
1 6
上の特徴点に関する実移動量および推定移動量が求められている場合には、最小 自乗法等の補間方法を用いて係数 a〜aを算出してもよい。
1 6
[0053] そして、この係数 a〜aに基づき、トラッキング対象がどのように動いたかを判断す
1 6
ること力 Sできる。すなわち、上述した 6つの基準動作は、 3次元モデルの動きが有する 6つの自由度のそれぞれに対応している。したがって、係数 a〜aを求めることにより
1 6
、 6つの自由度のそれぞれに関して 3次元モデルがどのような割合で動いたかを求め ること力 Sできる。
[0054] 〔5.精度評価実験〕
本実施形態のトラッキング装置 1に単眼カメラ 9を適用した場合における、トラツキン グ精度の評価実験を行ったので以下に説明する。
[0055] 先ず、トラッキング精度の評価実験を行うにあたって、図 6 (a)に示すように、撮影対 象としてのマネキンの首をモータにより左右に振り、単眼カメラにてそのマネキンの首 を撮影した。この際における単眼カメラによる撮影画像を図 6 (b)に示す。なお、図 6 ( b)に示す画像にぉレ、ては、たとえば目頭や目尻付近の画像が小さな枠で囲まれて いる。これは、たとえば目頭付近の画像がトラッキング対象画像として抽出されている ことを示している。
[0056] 図 6 (c)は、本実施形態のトラッキング装置 1によるトラッキング精度を、ステレオカメ ラを用いた場合のトラッキング精度と対比して示すグラフである。なお、図 6 (c)におい ては、本実施形態のトラッキング装置 1に単眼カメラを適用した場合のトラッキング精 度を実線にて示し、ステレオカメラを用いた場合のトラッキング精度を点線にて示して いる。また、トラッキング精度の理想値は 1点鎖線にて示している。
[0057] 図 6 (c)に示すグラフから、単眼カメラによるトラッキング精度は、やはりステレオカメ ラのそれに対して劣ってはいるものの、マネキンの首振り角度の変化は単眼カメラを 用いた場合でも十分トラッキングできていることがわかる。したがって、単眼カメラを本 実施形態のトラッキング装置に適用すれば、実用上はステレオカメラを用いた場合と 遜色のないトラッキング精度が得られる。
[0058] [6.補足〕
このように、本実施形態のトラッキング装置 1は、単眼カメラ 9の撮影画像からトラツキ ング対象となるトラッキング対象画像を抽出するトラッキング対象画像抽出部 2と、トラ ッキング対象画像のフレーム間での移動量を実移動量として算出する 2次元ずれ算 出部 6と、単眼カメラ 9の撮影対象を 3次元的に表現した 3次元モデルを、 2次元平面 上に投影した投影像を生成する 2次元平面投影部 3と、投影像のフレーム間での移 動量を推定移動量として算出する微小動き生成部 4と、上記実移動量と上記推定移 動量とに基づき、トラッキング対象の 3次元的な動きの量を推定する 3次元ずれ推定 部 7とを備えている。
[0059] 上記構成によれば、トラッキング対象画像抽出部 2により抽出されたトラッキング対 象画像に関する実移動量が、 2次元ずれ算出部 6により算出される。一方で、 2次元 平面投影部 3にて生成された 3次元モデルの投影像から、微小動き生成部 4により推 定移動量が算出される。
[0060] これらの実移動量および推定移動量は、単眼カメラ 9の撮影対象に関してフレーム 間での移動量を示す値である点において共通している。特に、実移動量は、単眼力 メラ 9の撮影画像に基づき得られる値なので、トラッキング対象が現実に移動した量を 2次元的に示す値として理解できる。また、推定移動量は、撮影対象の 3次元モデル 力 算出される値であることから、トラッキング対象の移動を 3次元的に示す値といえ る。
[0061] よって、 3次元ずれ推定部 7により実移動量と推定移動量とをマッチングさせること で、現実の移動に即してトラッキング対象の 3次元的な動きの量を推定することができ る。しかも、トラッキング装置 1は、撮影対象の 3次元モデルを用いているので、精度よ くラッキング対象の動きの量を推定することができる。
[0062] しかも、トラッキング装置 1は、単眼カメラ 9を用いているので、コンパクトなスペース であってもトラッキング対象の 3次元的な動きを低コストで計測することができる。
[0063] さらに、微小動き生成部 4は、上記 3次元モデルの運動に関する 6つの自由度のそ れぞれについて該 3次元モデルが運動を行った場合における上記投影像の移動量 を、上記推定移動量として算出するので、 3次元モデルの 3次元的な移動を的確に 算出することができる。
[0064] さらに、 3次元ずれ推定部 7は、上記実移動量と上記推定移動量とが対応づけられ た一次方程式から、上記動きの量を推定するので、簡易な処理によりトラッキング対 象の 3次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象 の 3次元的な動きを計測できる。
[0065] なお、本実施形態のトラッキング装置 1の各手段における処理手順は、 CPUなどの 記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレ ィなどの出力手段、あるいは、インターフェース回路などの通信手段を制御すること により実現すること力 Sできる。
[0066] したがって、これらの手段を有するコンピュータ力 上記プログラムを記録した記録 媒体を読み取り、当該プログラムを実行するだけで、本実施形態のトラッキング装置 1 の各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体 に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実 現すること力 Sできる。
[0067] この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、 例えば ROMのようなものがプログラムメディアであっても良いし、また、図示していな レ、が外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を揷入 することにより読み取り可能なプログラムメディアであっても良い。
[0068] また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセス して実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出され たプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そ のプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプロ グラムは予め本体装置に格納されているものとする。
[0069] また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であ り、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードデイス ク等の磁気ディスクや CD/MO/MD/DVD等のディスクのディスク系、 ICカード（ メモリカードを含む）等のカード系、あるいはマスク ROM、 EPROM (Erasable Progra mmable Read Only Memory)、 EEPROM (Electrically Erasable Programmable Read
Only Memory)、フラッシュ ROM等による半導体メモリを含めた固定的にプログラムを 担持する記録媒体等がある。
[0070] また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、 通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持す る記録媒体であることが好ましレ、。
[0071] さらに、このように通信ネットワークからプログラムをダウンロードする場合には、その ダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒 体からインストールされるものであることが好ましい。
[0072] さらに、上記推定移動量算出手段は、上記 3次元モデルの運動に関する 6つの自 由度のそれぞれについて該 3次元モデルが運動を行った場合における上記投影像 の移動量を、上記推定移動量として算出することが好ましい。
[0073] なぜなら、 3次元空間での運動は、基本的に 6つの自由度により表現される。そして
、上記構成によれば、推定移動量算出手段は、 3次元モデルが 6つの自由度のそれ ぞれに関して運動を行った場合について推定移動量を算出するので、 3次元モデル の 3次元的な移動を的確に算出することができる。
[0074] よって、上記構成によれば、トラッキング対象の 3次元的な動きをより正確に計測す ること力 Sできる。
[0075] さらに、上記 3次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づ けられた一次方程式から、上記動きの量を推定することが好ましレ、。
[0076] 上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられてい るので、簡易な処理によりトラッキング対象の 3次元的な動きの量を推定できる。よつ て、より効率的な処理でトラッキング対象の 3次元的な動きを計測できる。
[0077] また、本発明の動き計測装置は、単眼カメラが備えられている動き計測システムとし て構成することも可能である。
[0078] さらに、この動き計測システムは、コンパクトなスペースに設置することができるので 、車載機器に搭載するのに適している。そして、本発明の動き計測システムが搭載さ れた車載機器によりドライバーの動きを計測することにより、他の車載機器をハンズフ リーで操作したり、ドライバーの居眠りに警告を与えたりすることが可能となる。
[0079] なお、上記構成の動き計測装置における各手段としてコンピュータを機能させる動 き計測プログラムにより、コンピュータを用いて本発明の動き計測装置と同様の作用 効果を得ることができる。さらに、上記動き計測プログラムをコンピュータ読み取り可 能な記録媒体に記憶させることにより、任意のコンピュータ上で上記動き計測プログ ラムを実行させること力 Sできる。
産業上の利用の可能性
[0080] 本発明の動き計測装置は、種々の産業に利用することができる。以下、本発明を利 用可能な産業の具体例について説明する。
[0081] たとえば、本発明の動き計測装置は、自動車のドライバーの動きを計測するという 目的に好適である。なぜなら、ドライバ一は基本的に運転に集中すべきであるとの観 点から、カーナビゲーシヨン等の車載機器の操作は、ドライバーがハンドルから手を 離さない状態でできることが好ましい。さらに、自動車内において車載機器を搭載で きるスペースは制限されている。 [0082] この点、本発明の動き計測装置を用いれば、コンパクトな単眼カメラを用いて十分 な精度でドライバーの動きを検出することができるので、 自動車内に容易に搭載する こと力 Sできる。さらに、本発明の動き計測装置を用いてユーザの動きを検出することに より、ハンドル力 手を離さない状態で車載機器を操作することも可能となる。
[0083] また、ドライバーの安全を確保するという観点力もも本発明の動き計測装置は有利 である。つまり、本発明の動き計測装置を用いてドライバーが居眠りをしているか否か を検出し、必要に応じてドライバーに警告を促すということも可能となる。
[0084] また、本発明の動き計測装置は、コンピュータインターフェースとしても利用可能で ある。つまり、単眼カメラとして市販のウェブカメラを用レ、、さらにウェブカメラと本発明 の動き計測装置とを接続することで、手軽にコンピュータのユーザの動きを計測する ことが可能となる。これにより、ビデオチャットやネットワーク対戦型のゲームにおいて 、本発明の動き計測装置により計測されたユーザの動きを利用することができる。

Claims

請求の範囲
[1] 単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該ト ラッキング対象の特徴点に基づき抽出するトラッキング対象画像抽出手段と、 上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する実移 動量算出手段と、
上記単眼カメラの撮影対象を 3次元的に表現した 3次元モデルを、 2次元平面上に 投影した投影像を生成する 2次元平面投影手段と、
上記投影像のフレーム間での移動量を推定移動量として算出する推定移動量算 出手段と、
上記実移動量と上記推定移動量とに基づき、上記トラッキング対象の 3次元的な動 きの量を推定する 3次元ずれ推定手段とを備えていることを特徴とする動き計測装置
[2] 上記推定移動量算出手段は、上記 3次元モデルの運動に関する 6つの自由度の それぞれについて該 3次元モデルが運動を行った場合における上記投影像の移動 量を、上記推定移動量として算出することを特徴とする請求項 1に記載の動き計測装 置。
[3] 上記 3次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた 一次方程式から、上記動きの量を推定することを特徴とする請求項 1または 2に記載 の動き計測装置。
[4] 請求項 1ないし 3のいずれ力、 1項に記載の動き計測装置と、単眼カメラとを備えてい ることを特徴とする動き計測システム。
[5] 請求項 4に記載の動き計測システムを搭載してレ、ることを特徴とする車載機器。
[6] 単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該ト ラッキング対象の特徴点に基づき抽出する第 1ステップと、
上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する第 2 ステップと、
上記単眼カメラの撮影対象を 3次元的に表現した 3次元モデルを、 2次元平面上に 投影した投影像を生成する第 3ステップと、 上記投影像のフレーム間での移動量を推定移動量として算出する第 4ステップと、 上記実移動量と上記推定移動量とに基づき、上記トラッキング対象の 3次元的な動 きの量を推定する第 5ステップとを備えていることを特徴とする動き計測方法。
[7] 請求項 1に記載の動き計測装置における各手段としてコンピュータを機能させるた めの動き計測プログラム。
[8] 請求項 7に記載の動き計測プログラムを記録したコンピュータ読み取り可能な記録 媒体。
PCT/JP2006/304049 2005-03-04 2006-03-03 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 Ceased WO2006093250A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/885,428 US8213677B2 (en) 2005-03-04 2006-03-03 Motion measuring device, motion measuring system, in-vehicle device, motion measuring method, motion measurement program, and computer-readable storage medium
JP2007506011A JP4852764B2 (ja) 2005-03-04 2006-03-03 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005061323 2005-03-04
JP2005-061323 2005-03-04

Publications (1)

Publication Number Publication Date
WO2006093250A1 true WO2006093250A1 (ja) 2006-09-08

Family

ID=36941280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/304049 Ceased WO2006093250A1 (ja) 2005-03-04 2006-03-03 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US8213677B2 (ja)
JP (1) JP4852764B2 (ja)
WO (1) WO2006093250A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299312A (ja) * 2006-05-02 2007-11-15 Toyota Central Res & Dev Lab Inc 対象物の三次元位置推定装置
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051607A1 (ja) * 2004-11-12 2006-05-18 Omron Corporation 顔特徴点検出装置、特徴点検出装置
JP4093273B2 (ja) * 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US20100169792A1 (en) * 2008-12-29 2010-07-01 Seif Ascar Web and visual content interaction analytics
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
JP5652097B2 (ja) 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
EP3038011B1 (de) * 2014-12-22 2019-06-05 Aptiv Technologies Limited Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
US10776644B1 (en) * 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
US10275670B1 (en) 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
US11254270B1 (en) 2018-05-02 2022-02-22 State Farm Mutual Automobile Insurance Company Technologies for using image analysis to facilitate adjustments of vehicle components
US10834413B2 (en) * 2018-08-24 2020-11-10 Disney Enterprises, Inc. Fast and accurate block matching for computer generated content
CN112243082B (zh) * 2019-07-17 2022-09-06 百度时代网络技术（北京）有限公司 一种跟踪拍摄方法、装置、电子设备及存储介质
WO2021013790A1 (en) * 2019-07-19 2021-01-28 Five AI Limited Structure annotation
US12383066B2 (en) 2022-04-26 2025-08-12 Toyota Motor Engineering & Manufacturing North America, Inc. Chair with shape memory material-based movement synchronized with visual content
US12241458B2 (en) 2023-02-16 2025-03-04 Toyota Motor Engineering & Manufacturing North America, Inc. Actuator with contracting member
US12270386B2 (en) 2023-02-16 2025-04-08 Toyota Motor Engineering & Manufacturing North America, Inc. Shape memory material member-based actuator
US12163507B2 (en) 2023-02-22 2024-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Contracting member-based actuator with clutch
US12152570B2 (en) 2023-02-22 2024-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. Shape memory material member-based actuator with electrostatic clutch preliminary class
US12125225B1 (en) * 2023-04-04 2024-10-22 GM Global Technology Operations LLC Monocular camera system performing depth estimation of objects surrounding a vehicle
US12234811B1 (en) 2023-08-21 2025-02-25 Toyota Motor Engineering & Manufacturing North America, Inc. Monitoring a state of a shape memory material member

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02165283A (ja) * 1988-12-19 1990-06-26 Nippon Telegr & Teleph Corp <Ntt> 三次元物体の運動検出方法
JPH07264458A (ja) * 1994-03-25 1995-10-13 Olympus Optical Co Ltd 移動物体追跡装置
JP2002269546A (ja) * 2001-03-14 2002-09-20 Atr Onsei Gengo Tsushin Kenkyusho:Kk 自動顔トラッキングシステムおよび自動顔トラッキング方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
JP2006520055A (ja) * 2003-03-06 2006-08-31 アニメトリックス，インク． ２次元画像からの３次元オブジェクトの不変視点検出および識別
AU2003901528A0 (en) * 2003-03-31 2003-05-01 Seeing Machines Pty Ltd Eye tracking system and method
JP4568223B2 (ja) * 2005-12-21 2010-10-27 株式会社デンソー 推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02165283A (ja) * 1988-12-19 1990-06-26 Nippon Telegr & Teleph Corp <Ntt> 三次元物体の運動検出方法
JPH07264458A (ja) * 1994-03-25 1995-10-13 Olympus Optical Co Ltd 移動物体追跡装置
JP2002269546A (ja) * 2001-03-14 2002-09-20 Atr Onsei Gengo Tsushin Kenkyusho:Kk 自動顔トラッキングシステムおよび自動顔トラッキング方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299312A (ja) * 2006-05-02 2007-11-15 Toyota Central Res & Dev Lab Inc 対象物の三次元位置推定装置
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
JP4852764B2 (ja) 2012-01-11
US20080219501A1 (en) 2008-09-11
US8213677B2 (en) 2012-07-03
JPWO2006093250A1 (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
JP4852764B2 (ja) 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体
US11948376B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
CN101093582B (zh) 动作捕捉装置和动作捕捉方法
US9953461B2 (en) Navigation system applying augmented reality
US8879787B2 (en) Information processing device and information processing method
JP4715787B2 (ja) 移動ロボット及びロボット移動制御方法
US9437011B2 (en) Method and apparatus for estimating a pose of a head for a person
Dorfmüller-Ulhaas Robust optical user motion tracking using a kalman filter
US7809166B2 (en) Image processing apparatus for estimating motion of predetermined feature point of 3D object
Hao et al. Vision-based surgical tool pose estimation for the da vinci® robotic surgical system
JP5001930B2 (ja) 動作認識装置及び方法
US20250182314A1 (en) Method and apparatus for spatial localization
JP2019168954A (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
KR20190034130A (ko) 지도 생성 장치 및 방법
CN113344981B (zh) 位姿数据处理方法、装置及电子设备
JP2018205949A (ja) 環境地図生成方法、環境地図生成装置、及び環境地図生成プログラム
CN114913570A (zh) 面部模型参数推断装置、推断方法及计算机可读存储介质
Mohareri et al. A vision-based location positioning system via augmented reality: An application in humanoid robot navigation
Yang et al. Robust face tracking with a consumer depth camera
Drosakis et al. 3D hand shape and pose estimation based on 2D hand keypoints
Matsumoto et al. 3D model-based 6-DOF head tracking by a single camera for human-robot interaction
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
Dong et al. A robust and efficient face tracking kernel for driver inattention monitoring system
CN117135336A (zh) 位置确定方法、装置、设备及介质
JP2022155843A (ja) 姿勢推定システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007506011

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06715132

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11885428

Country of ref document: US