[go: up one dir, main page]

JP2014180519A - Information processing apparatus, information processing method and program - Google Patents

Information processing apparatus, information processing method and program Download PDF

Info

Publication number
JP2014180519A
JP2014180519A JP2013058758A JP2013058758A JP2014180519A JP 2014180519 A JP2014180519 A JP 2014180519A JP 2013058758 A JP2013058758 A JP 2013058758A JP 2013058758 A JP2013058758 A JP 2013058758A JP 2014180519 A JP2014180519 A JP 2014180519A
Authority
JP
Japan
Prior art keywords
user
acceleration
posture
database
bone length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013058758A
Other languages
Japanese (ja)
Inventor
Kohei Watanabe
浩平 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013058758A priority Critical patent/JP2014180519A/en
Publication of JP2014180519A publication Critical patent/JP2014180519A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】姿勢探索の精度向上を図ること。
【解決手段】情報処理装置1は、実姿勢情報取得部52と、ボーン長取得部51と、データベース生成部53と、を備える。実姿勢情報取得部52は、ユーザの実際の姿勢情報を取得する。ボーン長取得部51は、ユーザの骨の長さを示すボーン長を取得する。データベース生成部53は、実姿勢情報取得部52により取得された姿勢情報と、ボーン長取得部51により取得されたボーン長とに基づいて、ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、ユーザの姿勢情報を出力するための姿勢データベース71を生成する。
【選択図】図3
To improve the accuracy of posture search.
An information processing apparatus includes an actual posture information acquisition unit, a bone length acquisition unit, and a database generation unit. The actual posture information acquisition unit 52 acquires user's actual posture information. The bone length acquisition unit 51 acquires a bone length indicating the length of the user's bone. The database generation unit 53 queries the acceleration output from the acceleration sensor attached to the user based on the posture information acquired by the actual posture information acquisition unit 52 and the bone length acquired by the bone length acquisition unit 51. As shown, a posture database 71 for generating user posture information is generated.
[Selection] Figure 3

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program.

近年、現実の人物の動作を取得するモーションキャプチャの技術が盛んに実用化されている。モーションキャプチャとは、コンピュータグラフィックス(Computer Graphics:以下「CG」と呼ぶ)を用いた映像作成分野においては、人物の動きを撮影して取得した三次元的な情報をデジタルデータに変換して、コンピュータに様々な動作を与えたり、ユーザの動作の解析を行う技術をいう。   In recent years, a motion capture technique for acquiring an action of a real person has been actively put into practical use. In the field of video creation using computer graphics (Computer Graphics: hereinafter referred to as “CG”), motion capture converts three-dimensional information obtained by photographing a person's movement into digital data, A technology that gives various operations to a computer and analyzes user operations.

例えば、モーションキャプチャを行うために人物の身体に加速度センサ等の慣性センサを複数固定し、これら複数の慣性センサから得られた加速度データをクエリとしてデータベースを参照する技術が知られている(例えば、特許文献1参照)。これらデータベースには、所定の人物、例えばユーザについてのデータとして、その身体動作に対するデータや、その身体動作に対する加速度データが格納されている。従って、当該データベースに対しユーザの加速度データがクエリとして入力された場合、入力された加速度データに対応した姿勢動作(身体動作)がデータベースから参照される。   For example, a technique is known in which a plurality of inertial sensors such as an acceleration sensor are fixed to a person's body to perform motion capture, and a database is referred to using acceleration data obtained from the plurality of inertial sensors as a query (for example, Patent Document 1). In these databases, as data about a predetermined person, for example, a user, data on the body motion and acceleration data on the body motion are stored. Therefore, when user acceleration data is input as a query to the database, the posture motion (body motion) corresponding to the input acceleration data is referred to from the database.

特許4679677号公報Japanese Patent No. 4679967

しかしながら、特許文献1を含め従来のデータベースの加速度データは体の大きさに依存するため、ユーザの姿勢探索が行われた場合、その精度が必ずしも高いものではなく、その精度向上が望まれていた。   However, since the acceleration data of the conventional database including Patent Document 1 depends on the size of the body, when the user's posture search is performed, the accuracy is not necessarily high, and an improvement in the accuracy is desired. .

本発明は、このような状況に鑑みてなされたものであり、姿勢探索の精度向上を図ることを目的とする。   The present invention has been made in view of such a situation, and an object thereof is to improve the accuracy of posture search.

上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザの実際の姿勢情報を取得する実姿勢情報取得手段と、
前記ユーザの骨の長さを示すボーン長を取得するボーン長取得手段と、
前記実姿勢情報取得手段により取得された前記姿勢情報と、前記ボーン長取得手段により取得された前記ボーン長とに基づいて、前記ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、前記ユーザの姿勢情報を出力するためのデータベースを生成するデータベース生成手段と、
を備えることを特徴とする。
In order to achieve the above object, an information processing apparatus of one embodiment of the present invention provides:
Actual posture information acquisition means for acquiring the user's actual posture information;
Bone length acquisition means for acquiring a bone length indicating the bone length of the user;
Based on the posture information acquired by the actual posture information acquisition unit and the bone length acquired by the bone length acquisition unit, the acceleration output from the acceleration sensor attached to the user as a query, Database generating means for generating a database for outputting user posture information;
It is characterized by providing.

本発明によれば、姿勢探索の精度向上を図ることができる。   According to the present invention, it is possible to improve the accuracy of posture search.

本発明の実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the information processing apparatus which concerns on embodiment of this invention. 5つのセンサが貼着された、モーションキャプチの対象となるユーザの外観の概略を示す図である。It is a figure which shows the outline of the external appearance of the user used as the object of motion capture to which 5 sensors were stuck. 図1の情報処理装置の機能的構成のうち、データベース生成処理、変換関数生成処理及び姿勢推定処理を実行するための機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure for performing a database production | generation process, a conversion function production | generation process, and an attitude | position estimation process among the functional structures of the information processing apparatus of FIG. 図3の機能的構成を有する情報処理装置が実行する、データベース生成処理の流れを説明するフローチャートである。4 is a flowchart for explaining a flow of database generation processing executed by an information processing apparatus having the functional configuration of FIG. 3. 図3の機能的構成を有する情報処理装置が実行する、変換関数生成処理の流れを説明するフローチャートである。4 is a flowchart for explaining a flow of conversion function generation processing executed by an information processing apparatus having the functional configuration of FIG. 3. 図3の機能的構成を有する情報処理装置が実行する、姿勢推定処理の流れを説明するフローチャートである。4 is a flowchart illustrating a flow of posture estimation processing executed by an information processing apparatus having the functional configuration of FIG. 3.

以下、本発明の実施形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。
情報処理装置1は、例えばサーバとして構成され、ユーザの動作を取得するモーションキャプチャの技術に使用される。
FIG. 1 is a block diagram showing a hardware configuration of an information processing apparatus according to an embodiment of the present invention.
The information processing apparatus 1 is configured as a server, for example, and is used for a motion capture technique for acquiring a user's operation.

情報処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、センサ部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。   The information processing apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, a sensor unit 16, and an input unit. 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21.

CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。   The CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13.

RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。   The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.

CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、センサ部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。   The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. A sensor unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21 are connected to the input / output interface 15.

センサ部16は、ユーザの身体の動きを所定の物理量で計測する複数のセンサから構成される。
本実施形態において、センサ部16は、複数の3軸加速度センサにより構成される。
3軸加速度センサは、ピエゾ抵抗型もしくは静電容量型の検出機構により3軸加速度成分を検出して、その検出結果を表す3軸成分毎の加速度データを出力する。これらの3軸加速度センサは、モーションキャプチャの対象物であるユーザに対し予め決められた向きで複数個取り付けられる。
The sensor unit 16 includes a plurality of sensors that measure the movement of the user's body with a predetermined physical quantity.
In the present embodiment, the sensor unit 16 includes a plurality of triaxial acceleration sensors.
The triaxial acceleration sensor detects a triaxial acceleration component by a piezoresistive type or capacitance type detection mechanism, and outputs acceleration data for each triaxial component representing the detection result. A plurality of these three-axis acceleration sensors are attached in a predetermined direction to a user who is an object of motion capture.

ここで、図2を参照して、モーションキャプチャの対象となるユーザに貼着された3軸加速度センサについて説明する。なお、以下、特に断りのない限り、センサとは、3軸加速度センサを意味するものとする。
図2は、5つのセンサが貼着された、モーションキャプチの対象となるユーザの外観の概略を示す図である。
図2の例では、センサ部16(図1)を構成する5つのセンサ16−1乃至16−5が、ユーザ100の身体の各部に貼着されている。
具体的には、図2(1)に示すように、センサ16−1はユーザ100の左手の先端に、センサ16−2はユーザ100の右手の先端に、センサ16−3はユーザ100の左足の先端に、センサ16−4はユーザ100の右足の先端に、センサ16−5はユーザ100の体幹に、それぞれ貼着されている。
図2(1)に示すように、モーションキャプチャの開始時には、ユーザ100は、図2(1)の手前側の面(以下、この面を「正面」と呼ぶ)を向いている。
モーションキャプチャの開始後に、例えば図2(2)に示すように、ユーザ100の左手(正面から見た場合右側の手)に貼着されたセンサ16−2が正面に向かって下方に僅かに移動すると、情報処理装置1は、ユーザ100の動作として左手が下方に移動したことを検出する。
同様に、モーションキャプチャの開始後に、例えば図2(3)に示すように、ユーザ100の左手に貼着されたセンサ16−1及び右手(正面から見た場合左側の手)に貼着されたセンサ部16−2が下方に僅かに移動すると、情報処理装置1は、ユーザ100の動作として左手及び右手が下方に移動したことを検出する。更に、例えば図2(3)に示すように、ユーザ100の左足(正面に向かって右側の足)に貼着されたセンサ部16−3が上方に僅かに移動すると、情報処理装置1は、ユーザ100の動作として左足が上方に移動したことを検出する。
Here, with reference to FIG. 2, a three-axis acceleration sensor attached to a user who is a target of motion capture will be described. Hereinafter, unless otherwise specified, the sensor means a triaxial acceleration sensor.
FIG. 2 is a diagram showing an outline of the appearance of a user who is a target of motion capture, with five sensors attached.
In the example of FIG. 2, five sensors 16-1 to 16-5 constituting the sensor unit 16 (FIG. 1) are attached to each part of the body of the user 100.
Specifically, as shown in FIG. 2A, the sensor 16-1 is at the tip of the left hand of the user 100, the sensor 16-2 is at the tip of the right hand of the user 100, and the sensor 16-3 is at the left foot of the user 100. The sensor 16-4 is attached to the tip of the right leg of the user 100, and the sensor 16-5 is attached to the trunk of the user 100, respectively.
As shown in FIG. 2 (1), at the start of motion capture, the user 100 faces the front side surface of FIG. 2 (1) (hereinafter, this surface is referred to as “front”).
After the start of motion capture, for example, as shown in FIG. 2B, the sensor 16-2 attached to the left hand of the user 100 (the right hand when viewed from the front) slightly moves downward toward the front. Then, the information processing apparatus 1 detects that the left hand has moved downward as an operation of the user 100.
Similarly, after the start of motion capture, for example, as shown in FIG. 2 (3), the sensor 16-1 attached to the left hand of the user 100 and the right hand (left hand when viewed from the front) are attached. When the sensor unit 16-2 moves slightly downward, the information processing apparatus 1 detects that the left hand and the right hand have moved downward as the operation of the user 100. Furthermore, for example, as shown in FIG. 2 (3), when the sensor unit 16-3 attached to the left foot (the right foot toward the front) of the user 100 moves slightly upward, the information processing apparatus 1 As an operation of the user 100, it is detected that the left foot has moved upward.

図1に戻り、入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
Returning to FIG. 1, the input unit 17 is configured with various buttons and the like, and inputs various information according to a user's instruction operation.
The output unit 18 includes a display, a speaker, and the like, and outputs images and sounds.

記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータの他、アプリケーションプログラム等の各種プログラム等を記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The storage unit 19 is configured by a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various programs such as application programs in addition to various image data.
The communication unit 20 controls communication performed with other devices (not shown) via a network including the Internet.

ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。   A removable medium 31 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 21. The program read from the removable medium 31 by the drive 21 is installed in the storage unit 19 as necessary. The removable medium 31 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.

図3は、このような情報処理装置1の機能的構成のうち、データベース生成処理、変換関数生成処理及び姿勢推定処理を実行するための機能的構成を示す機能ブロック図である。
データベース生成処理とは、モーションキャプチャの前処理の1つであって、複数の姿勢情報と共にボーン長を取得し、これらを用いて姿勢データベースを生成するまでの一連の処理をいう。ボーン長とは、人物の骨格を構成する骨の長さであり、モーションキャプチャの対象となる人物を構成する各々の関節の間の長さを示している。ボーン長は、個々人の固有差があるため、モーションキャプチャの対象となる人物毎に習得される。
変換関数生成処理とは、モーションキャプチャの前処理の1つであって、センサ部16から出力される加速度には誤差が含まれているため、当該誤差が除去された加速度を出力する変換関数φを生成して記憶するまでの一連の処理をいう。
姿勢推定処理とは、モーションキャプチャの対象となるユーザの身体の各部に貼着されたセンサ(図2の例では、センサ16−1乃至16−5)から出力された加速度を取得し、取得した加速度を変換関数φで補正(変換)し、補正後の加速度をクエリとして姿勢データベースを参照することでユーザの姿勢情報を取得して、当該姿勢情報に基づいてユーザの現在の姿勢を推定するまでの一連の処理をいう。
FIG. 3 is a functional block diagram showing a functional configuration for executing database generation processing, conversion function generation processing, and posture estimation processing, among the functional configurations of the information processing apparatus 1.
The database generation process is one of the pre-processes of motion capture, and refers to a series of processes from acquiring bone length together with a plurality of posture information and generating a posture database using them. The bone length is the length of a bone constituting the skeleton of the person, and indicates the length between the joints constituting the person that is the target of motion capture. The bone length is acquired for each person to be motion-captured because there is an individual difference among individuals.
The conversion function generation process is one of the pre-processing of motion capture, and since an error is included in the acceleration output from the sensor unit 16, a conversion function φ that outputs the acceleration from which the error is removed. A series of processes from generation to storage.
Posture estimation processing is obtained by acquiring acceleration output from sensors (sensors 16-1 to 16-5 in the example of FIG. 2) attached to each part of the user's body that is the target of motion capture. Until the user's posture information is acquired by correcting (converting) the acceleration with the conversion function φ, referring to the posture database using the corrected acceleration as a query, and estimating the current posture of the user based on the posture information A series of processes.

CPU11においては、データベース生成処理、変換関数生成処理又は姿勢推定処理の実行が制御される場合、前処理部41と、実動作部42と、が機能する。
前処理部41においては、主としてデータベース生成処理又は変換関数生成処理の実行が制御される場合、ボーン長取得部51と、実姿勢情報取得部52と、データベース生成部53と、変換関数生成部54と、が機能する。
実動作部42においては、主として姿勢推定処理の実行が制御される場合、加速度取得部61と、加速度補正部62と、姿勢情報取得部63と、姿勢推定部64と、が機能する。
また、記憶部19の一領域には、姿勢データベース71が記憶されており、また、記憶部19の別の一領域には変換関数記憶部72が設けられている。
In the CPU 11, when the execution of the database generation process, the conversion function generation process, or the posture estimation process is controlled, the preprocessing unit 41 and the actual operation unit 42 function.
In the pre-processing unit 41, when the execution of the database generation process or the conversion function generation process is mainly controlled, the bone length acquisition unit 51, the actual posture information acquisition unit 52, the database generation unit 53, and the conversion function generation unit 54 And it works.
In the actual operation unit 42, when execution of posture estimation processing is mainly controlled, an acceleration acquisition unit 61, an acceleration correction unit 62, a posture information acquisition unit 63, and a posture estimation unit 64 function.
In addition, a posture database 71 is stored in one area of the storage unit 19, and a conversion function storage unit 72 is provided in another area of the storage unit 19.

ボーン長取得部51は、前処理のデータベース生成処理の実行に際し、姿勢推定処理におけるモーションキャプチャの対象となるユーザのボーン長Blength^を取得する。
ボーン長取得部51により取得されるボーン長Blength^は、本実施形態ではユーザの入力部17に対する操作に基づく入力情報が採用されているが、特にこれに限定されない。例えばボーン長取得部51は、ユーザに関する各種情報を取得し、具体的には例えば、人種、性別、身長、年齢、体重等をうち少なくとも1以上の組合せの情報を取得し、取得した情報に基づいて所定の演算をすることで、ボーン長Blength^を取得してもよい。
The bone length acquisition unit 51 acquires the bone length B length ^ of the user who is the target of motion capture in the posture estimation processing when executing the pre-processing database generation processing.
The bone length B length ^ acquired by the bone length acquisition unit 51 employs input information based on the user's operation on the input unit 17 in the present embodiment, but is not particularly limited thereto. For example, the bone length acquisition unit 51 acquires various types of information related to the user, specifically, for example, acquires information on a combination of at least one of race, gender, height, age, weight, and the like. The bone length B length ^ may be acquired by performing a predetermined calculation based on the calculation.

実姿勢情報取得部52は、前処理のデータベース生成処理の実行に際し、ユーザのあらゆる実際の動作の姿勢情報を時系列順にインデックスt(時刻t)を付しつつ取得する。
姿勢情報とは、その名の如く、モーションキャプチャの対象となる人物(ここではユーザ)の瞬時の姿勢を示す情報であれば足りるが、本実施形態では、インデックスとしての時刻tにおけるユーザの各々の関節角度θt^が採用されている。関節角度θ^とは、人物の各関節を中心として拡開する2つの骨間の角度である。なお、以下、関節角度θを、「姿勢θ」とも適宜呼ぶ。
The actual posture information acquisition unit 52 acquires the posture information of all actual movements of the user with the index t (time t) in time series order when executing the pre-processing database generation processing.
As the name implies, the posture information may be information indicating the instantaneous posture of the person (here, the user) that is the target of motion capture, but in this embodiment, each of the users at time t as an index The joint angle θt ^ is adopted. The joint angle θ ^ is an angle between two bones that expands around each joint of a person. Hereinafter, the joint angle θ is also referred to as “posture θ” as appropriate.

データベース生成部53は、実姿勢情報取得部52により取得された一連の時系列の姿勢θ(index)^と、ボーン長取得部51により取得されたボーン長Blength^とに基づいて、モーションキャプチャの対象となる人物(ここではユーザ)についての姿勢データベース71を生成する。 The database generation unit 53 performs motion capture based on the series of time-series postures θ (index) ^ acquired by the actual posture information acquisition unit 52 and the bone length B length ^ acquired by the bone length acquisition unit 51. A posture database 71 is generated for a person (here, a user) that is the target of the above.

具体的には例えば、姿勢データベースの生成にあたり、次の式(1)と式(2)が用いられる。
position^=Function(θ^,Blength^) ・・・式(1)
acc^=(d/dt)(d/dt)Bposition^+(−G) ・・・式(2)
式(1)において、関節位置Bposition^は、あらゆる関節の位置をベクトルで標記した値である。関節の位置Bposition^は、姿勢θ^と、ボーン長(関節間の長さ)Blength^を引数とする関数Functionの出力として算出される。ボーン長Blength^は、ベクトルで表記した値である。
式(2)において、Bacc^は、各々の関節の加速度をベクトルで標記した値であり、式(1)に従って算出された関節位置Bposition^に対して2階の時間微分が施された後、重力の影響として重力加速度Gが加算されることによって算出される。重力加速度Gは、主として重力方向(垂直方向)のみに影響を与える因子である。
Specifically, for example, the following equations (1) and (2) are used in generating the posture database.
B position ^ = Function (θ ^, B length ^) (1)
B acc ^ = (d / dt) (d / dt) B position ^ + (− G) (2)
In the equation (1), the joint position B position ^ is a value in which the positions of all joints are represented by vectors. The joint position B position ^ is calculated as an output of a function Function having the posture θ ^ and the bone length (length between joints) B length ^ as arguments. The bone length B length ^ is a value represented by a vector.
In equation (2), B acc ^ is a value representing the acceleration of each joint as a vector, and the second-order time differentiation is applied to the joint position B position ^ calculated according to equation (1). Thereafter, the gravity acceleration G is added as the influence of gravity to calculate. The gravitational acceleration G is a factor that mainly affects only the gravitational direction (vertical direction).

データベース生成部53は、姿勢推定処理におけるモーションキャプチャの対象となるユーザの基本情報として、ボーン長取得部51により取得されたボーン長Blength^と、実姿勢情報取得部52により取得された一連の時系列の姿勢θ(index)^とを式(1)に代入して演算することで、一連の時系列の姿勢θ(index)にそれぞれ対応した一連の関節位置Bposition^を得る。そして、データベース生成部53は、この一連の関節位置Bposition^を式(2)に代入して演算することで、一連の時系列の姿勢θ(index)にそれぞれ対応した一連の加速度Bacc(index)^を得る。
即ち、ボーン長Blength^と、一連の時系列の関節角度θ(index)^とがユーザの基本情報として入力されて、式(1)及び式(2)の演算が行われることによって、一連の時系列の姿勢θ(index)^にそれぞれ対応した一連の加速度Bacc(index)^が生成される。
The database generation unit 53 includes a bone length B length ^ acquired by the bone length acquisition unit 51 and a series of sequences acquired by the actual posture information acquisition unit 52 as basic information of a user who is a target of motion capture in the posture estimation process. A series of joint positions B position ^ respectively corresponding to a series of time series attitudes θ (index) are obtained by substituting and calculating time series attitudes θ (index) ^ in the equation (1). Then, the database generation unit 53 assigns the series of joint positions B position ^ to the equation (2) and calculates the series of accelerations B acc (respectively corresponding to the series of time series postures θ (index). index) ^.
That is, the bone length B length ^ and a series of time-series joint angles θ (index) ^ are input as basic information of the user, and the calculation of the formulas (1) and (2) is performed. A series of accelerations B acc (index) ^ respectively corresponding to the time-series postures θ (index) ^ are generated.

そして、データベース生成部53は、これら一連の加速度Bacc(index)^に対して(近似)k最近傍探索ができるよう、データを構造化する。
即ち、データベース生成部53は、センサ部16から出力された加速度(より正確には、本実施形態では後述の変換関数により変換後の加速度)をクエリとして入力した場合、一連の加速度Bacc(index)^に対して(近似)k最近傍探索を行い、クエリ近傍の加速度情報Bacc(index)^と、それに対応する姿勢θ^(index)を出力することが可能なデータベースを、姿勢データベース71として生成して記憶部19に記憶させる。
Then, the database generation unit 53 structures the data so that an (approximate) k nearest neighbor search can be performed on the series of accelerations B acc (index) ^.
That is, when the database generation unit 53 inputs the acceleration output from the sensor unit 16 (more precisely, the acceleration converted by the conversion function described later in the present embodiment) as a query, a series of acceleration B acc (index) ) ^ (Approximate) k nearest neighbor search, and a database capable of outputting acceleration information B acc (index) ^ near the query and corresponding attitude θ ^ (index) is the attitude database 71. And stored in the storage unit 19.

以上、前処理の1つとしてデータベース生成処理が実行される場合に機能する、ボーン長取得部51、実姿勢情報取得部52、及びデータベース生成部53について説明した。
次に、前処理の別の1つとして変換関数生成処理が実行される場合に機能する、変換関数生成部54について説明する。
Heretofore, the bone length acquisition unit 51, the actual posture information acquisition unit 52, and the database generation unit 53 that function when the database generation process is executed as one of the pre-processing have been described.
Next, the conversion function generation unit 54 that functions when the conversion function generation process is executed as another pre-process will be described.

変換関数生成部54は、センサ部16から出力された加速度Gを、理想的な加速度G’に変換(補正)するための変換関数φ(G)を生成する。   The conversion function generation unit 54 generates a conversion function φ (G) for converting (correcting) the acceleration G output from the sensor unit 16 into an ideal acceleration G ′.

以下、変換関数φの生成手法の一例について説明する。
姿勢推定処理におけるモーションキャプチャの対象となるユーザは、当該姿勢推定処理が実行される前の任意のタイミングで、基準姿勢で静止状態となる。
ここで、基準姿勢とは、ユーザの手足に貼着されたセンサ(図2の例ではセンサ16−1乃至16−5)の軸が重力軸に対して平行となるような姿勢をいう。例えば、ユーザが、手足のボーンの軸が重力方向と平行となるような姿勢を継続して取っている状態が、基準姿勢での静止状態に該当する。
基準姿勢で静止状態のユーザの手足にはセンサ(図2の例ではセンサ16−1乃至16−5)が貼着されており、この状態でセンサから出力されるベクトル値が、加速度Gである。
また、姿勢データベース71で用いられている骨格のデータが、基準姿勢で静止しているときの仮想的に手足に取り付けられたセンサから出力されるベクトル値が、理想的な加速度G’であるものとする。
変換関数生成部54は、次式(3)が成立するような変換関数φ()を求める。本実施形態では、この変換関数φ()として四元数が用いられている。
G’=φ(G)・・・式(3)
後述の姿勢推定処理の実行時に、この変換関数φ()が用いられると、センサからの実際の出力データが、姿勢データベース71により近い値に変換されるので、精度良い姿勢の推定が可能になる。
Hereinafter, an example of a method for generating the conversion function φ will be described.
A user who is a target of motion capture in the posture estimation process enters a stationary state at the reference posture at an arbitrary timing before the posture estimation process is executed.
Here, the reference posture refers to a posture in which the axes of sensors (sensors 16-1 to 16-5 in the example of FIG. 2) attached to the user's limbs are parallel to the gravity axis. For example, a state where the user continuously takes a posture in which the axes of the bones of the limbs are parallel to the direction of gravity corresponds to a stationary state in the reference posture.
Sensors (sensors 16-1 to 16-5 in the example of FIG. 2) are attached to the user's limbs that are stationary in the reference posture, and the vector value output from the sensor in this state is the acceleration G. .
In addition, when the skeleton data used in the posture database 71 is a vector value output from a sensor virtually attached to the limb when stationary in a reference posture, the ideal acceleration G ′ And
The conversion function generation unit 54 obtains a conversion function φ () that satisfies the following expression (3). In this embodiment, a quaternion is used as the conversion function φ ().
G ′ = φ (G) (3)
If this conversion function φ () is used during the execution of the posture estimation process described later, the actual output data from the sensor is converted to a value closer to the posture database 71, which makes it possible to accurately estimate the posture. .

更に以下、変換関数φの生成手法の具体例について説明する。
ここで、図2に示すように、センサのY軸は鉛直方向と略平行になり、X軸及びZ軸は水平方向にそれぞれ略平行となるように設定されているものとする。この時、理想的には、センサの重力方向(鉛直方向)に平行なY軸の出力のみが「1G」となり、X軸及びY軸の出力が「0」となるような状態である。
即ち、理想的な加速度G’=(x,y,z)=(0,1G,0)となる。しかしながら、実際にはセンサがユーザの骨に対して傾いて設定されているため、理想的な加速度G’=(Δx,y,Δz)となる。
変換関数生成部54は、G’=φ(G)が成立するような変換関数φ()を求める。本実施形態では、この変換関数φ()として四元数が用いられている。この四元数は、回転軸R=(−Δx,0,Δz)、回転角θ=atan(√(Δx+Δz)/y)というangle axis表現で表される。
変換関数生成部55は、このようにして生成した変換関数φ()を変換関数記憶部72に記憶させる。
Furthermore, a specific example of a method for generating the conversion function φ will be described below.
Here, as shown in FIG. 2, it is assumed that the Y-axis of the sensor is set to be substantially parallel to the vertical direction, and the X-axis and the Z-axis are set to be substantially parallel to the horizontal direction. At this time, ideally, only the output of the Y axis parallel to the gravity direction (vertical direction) of the sensor is “1G”, and the outputs of the X axis and the Y axis are “0”.
That is, the ideal acceleration G ′ = (x, y, z) = (0, 1G, 0). However, since the sensor is actually set to be inclined with respect to the user's bone, ideal acceleration G ′ = (Δx, y, Δz).
The conversion function generator 54 obtains a conversion function φ () that satisfies G ′ = φ (G). In this embodiment, a quaternion is used as the conversion function φ (). This quaternion is represented by an angle axis expression of the rotation axis R = (− Δx, 0, Δz) and the rotation angle θ = atan (√ (Δx 2 + Δz 2 ) / y).
The conversion function generation unit 55 stores the conversion function φ () generated in this way in the conversion function storage unit 72.

以上、前処理の際に機能する前処理部41、具体的には、ボーン長取得部51、実姿勢情報取得部52、及びデータベース生成部53、並びに変換関数生成部54について説明した。
次に、モーションキャプチャが行われる姿勢推定処理の際に機能する実動作部42、具体的には、加速度取得部61、加速度補正部62、姿勢情報取得部63、及び姿勢推定部64について説明する。
The preprocessing unit 41 that functions during the preprocessing, specifically, the bone length acquisition unit 51, the actual posture information acquisition unit 52, the database generation unit 53, and the conversion function generation unit 54 has been described.
Next, the actual operation unit 42 that functions in the posture estimation process in which motion capture is performed, specifically, the acceleration acquisition unit 61, the acceleration correction unit 62, the posture information acquisition unit 63, and the posture estimation unit 64 will be described. .

加速度取得部61は、モーションキャプチャの対象となるユーザに取り付けられたセンサ(図2の例ではセンサ16−1乃至16−5)から出力された加速度Aを取得する。   The acceleration acquisition unit 61 acquires the acceleration A output from a sensor (sensors 16-1 to 16-5 in the example of FIG. 2) attached to a user who is a target of motion capture.

加速度補正部62は、変換関数記憶部72に記憶されている変換関数φを用いて、加速度取得部61により取得された加速度Aを補正する。
具体的には、加速度補正部62は、加速度取得部61により取得された加速度Aを入力パラメータとして、変換関数記憶部72に記憶されている変換関数φに代入して演算することにより、変換後(補正後)の加速度A’=φ(A)を取得する。
更に、加速度補正部62は、変換後の加速度A’に対してフィルタ処理を施すことで、ノイズが除去された変換後の加速度A’’=Filter(A’)を取得する。ここで、Filter( )とは、ローパスフィルタを示している。
The acceleration correction unit 62 corrects the acceleration A acquired by the acceleration acquisition unit 61 using the conversion function φ stored in the conversion function storage unit 72.
Specifically, the acceleration correction unit 62 uses the acceleration A acquired by the acceleration acquisition unit 61 as an input parameter for the conversion function φ stored in the conversion function storage unit 72 to perform calculation, thereby performing post-conversion The acceleration A ′ = (φ) (after correction) is acquired.
Further, the acceleration correction unit 62 performs filtering on the converted acceleration A ′ to obtain the converted acceleration A ″ = Filter (A ′) from which noise has been removed. Here, Filter () indicates a low-pass filter.

姿勢情報取得部63は、加速度補正部62により取得された、変換後の加速度A’’をクエリとして、姿勢データベース71を参照する。
即ち、姿勢情報取得部63は、姿勢データベース71に基づいて、変換後の加速度A’’に対するk最近傍探索を実施して、姿勢データベース71内の加速度データAtの最近傍に対応する姿勢θ1〜θkを取得する。
The posture information acquisition unit 63 refers to the posture database 71 using the converted acceleration A ″ acquired by the acceleration correction unit 62 as a query.
That is, the posture information acquisition unit 63 performs a k nearest neighbor search on the converted acceleration A ″ based on the posture database 71, and postures θ1 to θ1 corresponding to the nearest neighbors of the acceleration data At in the posture database 71. Obtain θk.

姿勢推定部64は、姿勢情報取得部63により取得された姿勢θ1〜θkに基づいて、ユーザの現在の姿勢や行動認識を推定する。   The posture estimation unit 64 estimates the current posture and action recognition of the user based on the postures θ1 to θk acquired by the posture information acquisition unit 63.

次に、図4を参照して、このような図3の機能的構成の情報処理装置1が実行する、データベース生成処理について説明する。
図4は、図3の機能的構成を有する情報処理装置1が実行する、データベース生成処理の流れを説明するフローチャートである。
Next, a database generation process executed by the information processing apparatus 1 having the functional configuration shown in FIG. 3 will be described with reference to FIG.
FIG. 4 is a flowchart for explaining the flow of database generation processing executed by the information processing apparatus 1 having the functional configuration of FIG.

データベース生成処理は、モーションキャプチャ(姿勢推定処理)が実行される前の任意のタイミングで、開始され、次のような一連の処理が実行される。   The database generation process is started at an arbitrary timing before the motion capture (posture estimation process) is executed, and the following series of processes is executed.

ステップS11において、ボーン長取得部51は、ユーザのボーン長Blength^を取得する。 In step S11, the bone length acquisition unit 51 acquires the user's bone length B length ^.

ステップS12において、実姿勢情報取得部52は、ユーザの一連の時系列の姿勢θ^を取得する。   In step S12, the actual posture information acquisition unit 52 acquires a series of time-series postures θ ^ of the user.

ステップS13において、データベース生成部53は、ユーザのボーン長Blength^と連の時系列の姿勢θ^とを上述の式(1)に代入して演算することで、一連の時系列の姿勢θ(index)にそれぞれ対応した一連の関節位置Bposition^を算出する。 In step S13, the database generation unit 53 assigns the user's bone length B length ^ and the continuous time series attitude θ ^ to the above-described equation (1) and calculates, thereby calculating a series of time series attitudes θ. A series of joint positions B position ^ corresponding to (index) is calculated.

ステップS14において、データベース生成部53は、一連の関節位置Bposition^を上述の式(2)に代入して演算することで、一連の時系列の姿勢θ(index)にそれぞれ対応した一連の加速度Bacc(index)^を算出する。 In step S <b > 14, the database generation unit 53 assigns a series of joint positions B position ^ to the above-described equation (2) and performs a calculation, whereby a series of accelerations respectively corresponding to a series of time series posture θ (index). B acc (index) ^ is calculated.

ステップS15において、データベース生成部53は、一連の加速度Bacc(index)^を用いて、姿勢データベース71を生成する。
姿勢データベース71が記憶部19に格納されると、データベース生成処理は終了となる。
In step S < b > 15, the database generation unit 53 generates a posture database 71 using a series of accelerations B acc (index) ^.
When the posture database 71 is stored in the storage unit 19, the database generation process ends.

次に、図5を参照して、このような図3の機能的構成の情報処理装置1が実行する、変換関数生成処理について説明する。
図5は、図3の機能的構成を有する情報処理装置1が実行する、変換関数生成処理の流れを説明するフローチャートである。
Next, a conversion function generation process executed by the information processing apparatus 1 having the functional configuration shown in FIG. 3 will be described with reference to FIG.
FIG. 5 is a flowchart for explaining the flow of conversion function generation processing executed by the information processing apparatus 1 having the functional configuration of FIG.

変換関数生成処理は、モーションキャプチャ(姿勢推定処理)が実行される前の任意のタイミングで開始され、次のような一連の処理が実行される。   The conversion function generation process is started at an arbitrary timing before the motion capture (posture estimation process) is executed, and the following series of processes is executed.

ステップS31において、変換関数生成部54は、ユーザの基準姿勢における加速度G、即ちセンサから出力される加速度Gを取得する。   In step S31, the conversion function generating unit 54 acquires the acceleration G in the user's reference posture, that is, the acceleration G output from the sensor.

ステップS32において、変換関数生成部54は、ス加速度Gに基づいて、理想的な基準姿勢におけるG’=φ(G)が成立する、変換関数φ()を生成する。
変換関数()が記憶部19に格納されると、変換関数生成処理は終了となる。
In step S <b> 32, the conversion function generation unit 54 generates a conversion function φ () that satisfies G ′ = φ (G) in an ideal reference posture based on the acceleration G.
When the conversion function () is stored in the storage unit 19, the conversion function generation process ends.

次に、図6を参照して、このような図3の機能的構成の情報処理装置1が実行する、姿勢推定処理について説明する。
図6は、図3の機能的構成を有する情報処理装置1が実行する、姿勢推定処理の流れを説明するフローチャートである。
Next, with reference to FIG. 6, the posture estimation process executed by the information processing apparatus 1 having the functional configuration shown in FIG. 3 will be described.
FIG. 6 is a flowchart illustrating the flow of posture estimation processing executed by the information processing apparatus 1 having the functional configuration of FIG.

姿勢推定処理は、モーションキャプチャの対象となるユーザの身体の各部にセンサ(図2の例では、センサ16−1乃至16−5)が貼着された状態で、入力部17に対する所定の操作がなされたことを契機として開始され、次のような一連の処理が実行される。   In the posture estimation process, a predetermined operation on the input unit 17 is performed in a state where sensors (sensors 16-1 to 16-5 in the example of FIG. 2) are attached to each part of the body of the user to be a target of motion capture. The process is started when triggered by the above, and the following series of processes is executed.

ステップS51において、加速度取得部61は、ユーザに取り付けられたセンサから加速度Aを取得する。   In step S51, the acceleration acquisition unit 61 acquires the acceleration A from a sensor attached to the user.

ステップS52において、加速度補正部62は、ステップS31の処理で取得された加速度データAを変換関数φ()に代入して演算することで、変換後の加速度A’=φ(A)を取得する。   In step S52, the acceleration correction unit 62 acquires the converted acceleration A ′ = φ (A) by substituting the acceleration data A acquired in the process of step S31 into the conversion function φ () and performing the calculation. .

ステップS53において、加速度補正部62は、ステップS52の処理で取得された変換後の加速度A’に対してフィルタ処理を施すことで、ノイズが除去された変換後の加速度A’’=Filter(A’)を取得する。   In step S53, the acceleration correction unit 62 performs a filtering process on the converted acceleration A ′ acquired in the process of step S52, thereby removing the converted acceleration A ″ = Filter (A ') Get.

ステップS54において、姿勢情報取得部63は、ステップS53の処理で取得された加速度A’’をクエリとして、姿勢データベース71を参照する。   In step S54, the posture information acquisition unit 63 refers to the posture database 71 using the acceleration A ″ acquired in the process of step S53 as a query.

ステップS55において、姿勢情報取得部63は、姿勢データベース71に基づいて、変換後の加速度A’’に対するk最近傍探索を実施して姿勢、データベース71内の加速度Atの最近傍に対応する姿勢θ1〜θkを取得する。   In step S 55, the posture information acquisition unit 63 performs a k nearest neighbor search on the converted acceleration A ″ based on the posture database 71, and the posture θ 1 corresponding to the posture and the nearest neighbor of the acceleration At in the database 71. Obtain ~ θk.

ステップS56において、姿勢推定部64は、ステップS55の処理で取得された姿勢θ1〜θkに基づいて現在の姿勢を推定する。この処理が終了すると、姿勢推定処理は終了となる。   In step S56, the posture estimation unit 64 estimates the current posture based on the postures θ1 to θk acquired in the process of step S55. When this process ends, the posture estimation process ends.

以上説明したように、本実施形態の情報処理装置1は、実姿勢情報取得部52と、ボーン長取得部51と、データベース生成部53と、を備える。
実姿勢情報取得部52は、ユーザの実際の姿勢情報を取得する。
ボーン長取得部51は、ユーザのボーン長を取得する。
データベース生成部53は、実姿勢情報取得部52により取得された姿勢情報と、ボーン長取得部51により取得されたボーン長の情報とに基づいて、姿勢データベース71を生成する。
このようにして、姿勢データベース71の生成にあたり、ユーザのボーン長が入力されるので、当該姿勢データベース71内の加速度のデータが、ユーザに適合したものとなる。その結果、個々人の個体差がある骨格の違いに関わらず、姿勢データベース71に基づいて現実の姿勢に類似した姿勢が精度良く推定され、ひいては、姿勢探索の精度向上を図ることができる。
より具体的には、骨格の大きさは、個々人の個体差があるため、骨格を構成する骨の長さ、即ちボーン長は、人それぞれ異なる。
この点、身体姿勢の情報が含まれているデータベース内の加速度のデータは、ユーザの身体の大きさに依存する。従来のデータベースでは、ユーザのボーン長と、加速度データを生成するために基準とされたデータベース内のボーン長とが異なる場合が多く、このような場合には、類似した姿勢動作を得ることが困難になり、姿勢探索の精度が低くなる。
これに対して、本実施形態の情報処理装置1においては、ユーザのボーン長が考慮されて姿勢データベース71が生成されるので、ユーザのボーン長と、姿勢データベース71内のボーン長とが摺りあわされ、その結果、姿勢探索の精度向上を図ることができる。
As described above, the information processing apparatus 1 of this embodiment includes the actual posture information acquisition unit 52, the bone length acquisition unit 51, and the database generation unit 53.
The actual posture information acquisition unit 52 acquires user's actual posture information.
The bone length acquisition unit 51 acquires the user's bone length.
The database generation unit 53 generates a posture database 71 based on the posture information acquired by the actual posture information acquisition unit 52 and the bone length information acquired by the bone length acquisition unit 51.
Thus, since the user's bone length is input when generating the posture database 71, the acceleration data in the posture database 71 is adapted to the user. As a result, a posture similar to an actual posture can be accurately estimated based on the posture database 71 regardless of the skeleton difference in which there are individual differences between individuals, and as a result, the accuracy of posture search can be improved.
More specifically, since the size of the skeleton varies among individuals, the length of bones constituting the skeleton, that is, the bone length, is different for each person.
In this regard, the acceleration data in the database including the body posture information depends on the size of the user's body. In conventional databases, the bone length of the user is often different from the bone length in the database used as a reference for generating acceleration data. In such a case, it is difficult to obtain a similar posture motion. Therefore, the accuracy of posture search is lowered.
On the other hand, in the information processing apparatus 1 according to the present embodiment, the posture database 71 is generated in consideration of the user's bone length, so that the user's bone length and the bone length in the posture database 71 are slid. As a result, the accuracy of posture search can be improved.

また、本実施形態の情報処理装置1は、変換関数生成部54を更に備える。
変換関数生成部54は、基準姿勢を取るユーザに取り付けられたセンサから出力された加速度と、理想的な加速度とに基づいて、当該センサの出力値を変換するための変換関数φ()を生成することができる。
ここで、ユーザへのセンサの取り付け向きによっては加速度のデータの波形が変化することとなる。このため、従来のデータベースについては、その内部に仮想的に取り付けられているセンサの姿勢と、現実にユーザに取り付けられているセンサの取り付け姿勢との間に差異がある場合が多く、このような場合、従来のデータベース内の加速度と、センサから出力された現実の加速度との間に誤差が生ずることになる。その結果、従来のデータベースに基づいて現実の姿勢に類似した精度の高い姿勢動作を得にくくなり、姿勢探索の精度が低くなる。
この対策としては、予め決められた向きにセンサを正確に取り付けることが挙げられる。しかしながら、センサの向きを正確に取り付けることは実際上困難である。また、人体骨格モデルのボーンは直線として扱われているが、実際の人体は丸みを帯びており、ボーンに沿って多数のセンサを固定するのは現実上困難である。従って、この対策を取ることは現実的でない。
これに対して、本実施形態の情報処理装置1においては、基準姿勢を取るユーザに取り付けられたセンサから出力された加速度と、理想的な加速度とに基づいて、当該センサの出力値を変換するための変換関数φ()を用いることができる。これにより、加速度センサのユーザへの取り付けに伴い生じる誤差を減少させることができる。換言すると、姿勢データベース71内の加速度と、センサから出力された現実の加速度との摺り合わせが行われ、ユーザへのセンサの取り付け向きによらず、姿勢探索の精度向上を図ることができる。
In addition, the information processing apparatus 1 according to the present embodiment further includes a conversion function generation unit 54.
The conversion function generation unit 54 generates a conversion function φ () for converting the output value of the sensor based on the acceleration output from the sensor attached to the user who takes the reference posture and the ideal acceleration. can do.
Here, the waveform of the acceleration data changes depending on the mounting direction of the sensor to the user. For this reason, there are many cases in which there is a difference between the orientation of the sensor virtually attached to the interior of the conventional database and the orientation of the sensor actually attached to the user. In this case, an error occurs between the acceleration in the conventional database and the actual acceleration output from the sensor. As a result, it becomes difficult to obtain a highly accurate posture action similar to an actual posture based on a conventional database, and the accuracy of posture search is lowered.
As a countermeasure, it is possible to accurately mount the sensor in a predetermined direction. However, it is practically difficult to accurately mount the sensor. The bones of the human skeleton model are treated as straight lines, but the actual human body is rounded, and it is practically difficult to fix a large number of sensors along the bones. Therefore, it is not realistic to take this measure.
On the other hand, in the information processing apparatus 1 of the present embodiment, the output value of the sensor is converted based on the acceleration output from the sensor attached to the user who takes the reference posture and the ideal acceleration. A conversion function φ () can be used. Thereby, the error which arises with the attachment of the acceleration sensor to the user can be reduced. In other words, the acceleration in the posture database 71 and the actual acceleration output from the sensor are matched, and the accuracy of posture search can be improved regardless of the direction in which the sensor is attached to the user.

また、本実施形態の情報処理装置1は、加速度補正部62と、姿勢情報取得部63と、を更に備える。
加速度補正部62は、ユーザに取り付けられたセンサから出力された加速度を、変換関数φ()を用いて補正する。
姿勢情報取得部63は、補正された加速度をクエリとして、姿勢データベース71を参照することで、ユーザの姿勢情報を取得する。
これにより、精度向上が図られた姿勢探索の実現が容易に可能になる。
In addition, the information processing apparatus 1 according to the present embodiment further includes an acceleration correction unit 62 and an attitude information acquisition unit 63.
The acceleration correction unit 62 corrects the acceleration output from the sensor attached to the user using the conversion function φ ().
The posture information acquisition unit 63 acquires the posture information of the user by referring to the posture database 71 using the corrected acceleration as a query.
This makes it possible to easily realize a posture search with improved accuracy.

また、本実施形態の情報処理装置1の前記加速度補正手段は、前記変換関数を用いて補正された前記加速度に対して、フィルタ処理を施すことで更に補正する。
即ち、センサから現実に出力される加速度のデータにはノイズが含まれており、従来においては、データベース内の加速度のデータの波形とは異なる場合が多く、姿勢探索の精度が悪化していた。
これに対して、本実施形態では、フィルタ処理が施されることでノイズが除去されるので、ノイズ除去後の補正された加速度は、データベース内の加速度の波形に近づくことになるため、姿勢探索の精度向上を図ることができる。
In addition, the acceleration correction unit of the information processing apparatus 1 according to the present embodiment further corrects the acceleration corrected using the conversion function by performing a filter process.
That is, the acceleration data actually output from the sensor includes noise, and conventionally, the acceleration data waveform in the database is often different from the waveform, and the accuracy of posture search has deteriorated.
On the other hand, in the present embodiment, noise is removed by performing the filtering process, and thus the corrected acceleration after noise removal approaches the acceleration waveform in the database. The accuracy can be improved.

また、本実施形態の情報処理装置1のボーン長取得部51は、ユーザについての、人種、性別、身長、年齢、体重のうち少なくとも1以上の組合せの情報を入手し、当該情報を用いる所定の演算を実行することで、ボーン長を取得する。
これにより、人種、性別、身長、年齢、体重のうち少なくとも1以上の組合せにとって適切なボーン長が取得されて、姿勢データベース71が生成される。従って、人種、性別、身長、年齢、体重のうち少なくとも1以上の組合せに該当する人物がモーションキャプチャの対象となった場合、姿勢データベース71に基づいて現実の姿勢に類似した姿勢が精度良く推定される。即ち、姿勢探索の精度向上を図ることができる。
In addition, the bone length acquisition unit 51 of the information processing apparatus 1 according to the present embodiment obtains information on a combination of at least one of the race, sex, height, age, and weight of the user, and uses the information. The bone length is obtained by performing the above operation.
Thereby, a bone length appropriate for at least one combination of race, gender, height, age, and weight is acquired, and the posture database 71 is generated. Therefore, when a person corresponding to at least one of race, gender, height, age, and weight is a target of motion capture, a posture similar to an actual posture is accurately estimated based on the posture database 71. Is done. That is, the accuracy of posture search can be improved.

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。   In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.

上述の実施形態では、センサ16−1はユーザ100の左手の先端に、センサ16−2はユーザ100の右手の先端に、センサ16−3はユーザ100の左足の先端に、センサ16−4はユーザ100の右足の先端に、センサ16−5はユーザ100の体幹に、それぞれ貼着されているが、これに限られるものではない。即ち、センサの個数及び貼着場所は、特に限定されない。   In the above-described embodiment, the sensor 16-1 is at the tip of the left hand of the user 100, the sensor 16-2 is at the tip of the right hand of the user 100, the sensor 16-3 is at the tip of the left foot of the user 100, and the sensor 16-4 is The sensor 16-5 is attached to the tip of the right foot of the user 100 on the trunk of the user 100, but is not limited thereto. That is, the number of sensors and the sticking location are not particularly limited.

また、上述の実施形態では、モーションキャプチャを例にして説明しているが、その他に移動する対象物の追跡といった用途に使用することもできる。   In the above-described embodiment, the motion capture is described as an example, but it can also be used for other purposes such as tracking of a moving object.

また、上述の実施形態では、本発明が適用される情報処理装置1は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、情報処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、デジタルカメラ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the information processing apparatus 1 to which the present invention is applied has been described using a personal computer as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having an information processing function. Specifically, for example, the present invention can be applied to a notebook personal computer, a digital camera, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図3の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 3 is merely an example, and is not particularly limited. That is, it is sufficient that the information processing apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional block is used to realize this function is not particularly limited to the example of FIG. .
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。   The recording medium including such a program is not only constituted by the removable medium 31 of FIG. 1 distributed separately from the apparatus main body in order to provide the program to the user, but also in a state of being incorporated in the apparatus main body in advance. It is comprised with the recording medium etc. which are provided in this. The removable medium 31 is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preliminarily incorporated in the apparatus main body includes, for example, the ROM 12 in FIG. 1 in which a program is recorded, the hard disk included in the storage unit 19 in FIG.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
ユーザの実際の姿勢情報を取得する実姿勢情報取得手段と、
前記ユーザの骨の長さを示すボーン長を取得するボーン長取得手段と、
前記実姿勢情報取得手段により取得された前記姿勢情報と、前記ボーン長取得手段により取得された前記ボーン長とに基づいて、前記ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、前記ユーザの姿勢情報を出力するためのデータベースを生成するデータベース生成手段と、
を備えることを特徴とする情報処理装置。
[付記2]
基準姿勢を取る前記ユーザに取り付けられた前記加速度センサから出力された加速度と、理想的な加速度とに基づいて、前記加速度センサの出力値を変換するための変換関数を生成する変換関数生成手段、
を更に備えることを特徴とする付記1に記載の情報処理装置。
[付記3]
前記ユーザに取り付けられた前記加速度センサから出力された加速度を、前記変換関数生成手段により生成された前記変換関数を用いて補正する加速度補正手段と、
前記加速度補正手段により補正された前記加速度をクエリとして、前記データベース生成手段により生成された前記データベースを参照することで、前記ユーザの姿勢情報を取得する姿勢情報取得手段と、
を更に備えることを特徴とする付記2に記載の情報処理装置。
[付記4]
前記加速度補正手段は、前記変換関数を用いて補正された前記加速度に対して、フィルタ処理を施すことで更に補正する、
ことを特徴とする付記3に記載の情報処理装置。
[付記5]
前記ボーン長取得手段は、前記ユーザについての、人種、性別、身長、年齢、体重のうち少なくとも1以上の組合せの情報を入手し、当該情報を用いる所定の演算を実行することで、前記ボーン長を取得する
ことを特徴とする付記1乃至4のうちの何れか1つに記載の情報処理装置。
[付記6]
情報処理装置が実行する情報処理方法であって、
ユーザの実際の姿勢情報を取得する実姿勢情報取得ステップと、
前記ユーザの骨の長さを示すボーン長を取得するボーン長取得ステップと、
前記実姿勢情報取得ステップにおいて取得された前記姿勢情報と、前記ボーン長取得ステップにおいて取得された前記ボーン長とに基づいて、前記ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、前記ユーザの姿勢情報を出力するためのデータベースを生成するデータベース生成ステップと、 を含むことを特徴とする情報処理方法。
[付記7]
コンピュータを、
ユーザの実際の姿勢情報を取得する実姿勢情報取得手段、
前記ユーザの骨の長さを示すボーン長を取得するボーン長取得手段、
前記実姿勢情報取得手段により取得された前記姿勢情報と、前記ボーン長取得手段により取得された前記ボーン長とに基づいて、前記ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、前記ユーザの姿勢情報を出力するためのデータベースを生成するデータベース生成手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Actual posture information acquisition means for acquiring the user's actual posture information;
Bone length acquisition means for acquiring a bone length indicating the bone length of the user;
Based on the posture information acquired by the actual posture information acquisition unit and the bone length acquired by the bone length acquisition unit, the acceleration output from the acceleration sensor attached to the user as a query, Database generating means for generating a database for outputting user posture information;
An information processing apparatus comprising:
[Appendix 2]
A conversion function generating means for generating a conversion function for converting an output value of the acceleration sensor based on an acceleration output from the acceleration sensor attached to the user taking a reference posture and an ideal acceleration;
The information processing apparatus according to appendix 1, further comprising:
[Appendix 3]
Acceleration correction means for correcting the acceleration output from the acceleration sensor attached to the user using the conversion function generated by the conversion function generation means;
Attitude information acquisition means for acquiring attitude information of the user by referring to the database generated by the database generation means using the acceleration corrected by the acceleration correction means as a query;
The information processing apparatus according to appendix 2, further comprising:
[Appendix 4]
The acceleration correction means further corrects the acceleration corrected using the conversion function by performing a filtering process.
The information processing apparatus according to supplementary note 3, wherein
[Appendix 5]
The bone length acquisition means obtains information on a combination of at least one of race, gender, height, age, and weight for the user, and executes a predetermined calculation using the information to obtain the bone The information processing apparatus according to any one of supplementary notes 1 to 4, wherein a length is acquired.
[Appendix 6]
An information processing method executed by an information processing apparatus,
An actual posture information acquisition step for acquiring user's actual posture information;
A bone length acquisition step of acquiring a bone length indicating the length of the bone of the user;
Based on the posture information acquired in the actual posture information acquisition step and the bone length acquired in the bone length acquisition step, the acceleration output from the acceleration sensor attached to the user as a query, A database generation step of generating a database for outputting user posture information, and an information processing method comprising:
[Appendix 7]
Computer
Real posture information acquisition means for acquiring user's actual posture information;
Bone length acquisition means for acquiring a bone length indicating the bone length of the user;
Based on the posture information acquired by the actual posture information acquisition unit and the bone length acquired by the bone length acquisition unit, the acceleration output from the acceleration sensor attached to the user as a query, Database generating means for generating a database for outputting user posture information;
A program characterized by functioning as

1・・・情報処理装置、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・センサ部、17・・・入力部、18・・・出力部、19・・・記憶部、20・・・通信部、21・・・ドライブ、31・・・リムーバブルメディア、41・・・前処理部、42・・・実動作部、51・・・ボーン長取得部、52・・・実姿勢情報取得部、53・・・データベース生成部、54・・・変換関数生成部、61・・・加速度取得部、62・・・加速度補正部、63・・・姿勢情報取得部、64・・・姿勢推定部、71・・・姿勢データベース、72・・・変換関数記憶部   DESCRIPTION OF SYMBOLS 1 ... Information processing apparatus, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input / output interface, 16 ... Sensor part, 17 ... Input unit 18 ... Output unit 19 ... Storage unit 20 ... Communication unit 21 ... Drive 31 ... Removable media 41 ... Pre-processing unit 42 ... Actual operation unit 51 ... Bone length acquisition unit 52 ... Actual posture information acquisition unit 53 ... Database generation unit 54 ... Conversion function generation unit 61 ... Acceleration acquisition unit 62 ..Acceleration correction unit, 63 ... posture information acquisition unit, 64 ... posture estimation unit, 71 ... posture database, 72 ... conversion function storage unit

Claims (7)

ユーザの実際の姿勢情報を取得する実姿勢情報取得手段と、
前記ユーザの骨の長さを示すボーン長を取得するボーン長取得手段と、
前記実姿勢情報取得手段により取得された前記姿勢情報と、前記ボーン長取得手段により取得された前記ボーン長とに基づいて、前記ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、前記ユーザの姿勢情報を出力するためのデータベースを生成するデータベース生成手段と、
を備えることを特徴とする情報処理装置。
Actual posture information acquisition means for acquiring the user's actual posture information;
Bone length acquisition means for acquiring a bone length indicating the bone length of the user;
Based on the posture information acquired by the actual posture information acquisition unit and the bone length acquired by the bone length acquisition unit, the acceleration output from the acceleration sensor attached to the user as a query, Database generating means for generating a database for outputting user posture information;
An information processing apparatus comprising:
基準姿勢を取る前記ユーザに取り付けられた前記加速度センサから出力された加速度と、理想的な加速度とに基づいて、前記加速度センサの出力値を変換するための変換関数を生成する変換関数生成手段、
を更に備えることを特徴とする請求項1に記載の情報処理装置。
A conversion function generating means for generating a conversion function for converting an output value of the acceleration sensor based on an acceleration output from the acceleration sensor attached to the user taking a reference posture and an ideal acceleration;
The information processing apparatus according to claim 1, further comprising:
前記ユーザに取り付けられた前記加速度センサから出力された加速度を、前記変換関数生成手段により生成された前記変換関数を用いて補正する加速度補正手段と、
前記加速度補正手段により補正された前記加速度をクエリとして、前記データベース生成手段により生成された前記データベースを参照することで、前記ユーザの姿勢情報を取得する姿勢情報取得手段と、
を更に備えることを特徴とする請求項2に記載の情報処理装置。
Acceleration correction means for correcting the acceleration output from the acceleration sensor attached to the user using the conversion function generated by the conversion function generation means;
Attitude information acquisition means for acquiring attitude information of the user by referring to the database generated by the database generation means using the acceleration corrected by the acceleration correction means as a query;
The information processing apparatus according to claim 2, further comprising:
前記加速度補正手段は、前記変換関数を用いて補正された前記加速度に対して、フィルタ処理を施すことで更に補正する、
ことを特徴とする請求項3に記載の情報処理装置。
The acceleration correction means further corrects the acceleration corrected using the conversion function by performing a filtering process.
The information processing apparatus according to claim 3.
前記ボーン長取得手段は、前記ユーザについての、人種、性別、身長、年齢、体重のうち少なくとも1以上の組合せの情報を入手し、当該情報を用いる所定の演算を実行することで、前記ボーン長を取得する
ことを特徴とする請求項1乃至4のうちの何れか1項に記載の情報処理装置。
The bone length acquisition means obtains information on a combination of at least one of race, gender, height, age, and weight for the user, and executes a predetermined calculation using the information to obtain the bone The information processing apparatus according to claim 1, wherein a length is acquired.
情報処理装置が実行する情報処理方法であって、
ユーザの実際の姿勢情報を取得する実姿勢情報取得ステップと、
前記ユーザの骨の長さを示すボーン長を取得するボーン長取得ステップと、
前記実姿勢情報取得ステップにおいて取得された前記姿勢情報と、前記ボーン長取得ステップにおいて取得された前記ボーン長とに基づいて、前記ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、前記ユーザの姿勢情報を出力するためのデータベースを生成するデータベース生成ステップと、
を含むことを特徴とする情報処理方法。
An information processing method executed by an information processing apparatus,
An actual posture information acquisition step for acquiring user's actual posture information;
A bone length acquisition step of acquiring a bone length indicating the length of the bone of the user;
Based on the posture information acquired in the actual posture information acquisition step and the bone length acquired in the bone length acquisition step, the acceleration output from the acceleration sensor attached to the user as a query, A database generation step for generating a database for outputting user posture information;
An information processing method comprising:
コンピュータを、
ユーザの実際の姿勢情報を取得する実姿勢情報取得手段、
前記ユーザの骨の長さを示すボーン長を取得するボーン長取得手段、
前記実姿勢情報取得手段により取得された前記姿勢情報と、前記ボーン長取得手段により取得された前記ボーン長とに基づいて、前記ユーザに取り付けられた加速度センサから出力された加速度をクエリとして、前記ユーザの姿勢情報を出力するためのデータベースを生成するデータベース生成手段、
として機能させることを特徴とするプログラム。
Computer
Real posture information acquisition means for acquiring user's actual posture information;
Bone length acquisition means for acquiring a bone length indicating the bone length of the user;
Based on the posture information acquired by the actual posture information acquisition unit and the bone length acquired by the bone length acquisition unit, the acceleration output from the acceleration sensor attached to the user as a query, Database generating means for generating a database for outputting user posture information;
A program characterized by functioning as
JP2013058758A 2013-03-21 2013-03-21 Information processing apparatus, information processing method and program Pending JP2014180519A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013058758A JP2014180519A (en) 2013-03-21 2013-03-21 Information processing apparatus, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013058758A JP2014180519A (en) 2013-03-21 2013-03-21 Information processing apparatus, information processing method and program

Publications (1)

Publication Number Publication Date
JP2014180519A true JP2014180519A (en) 2014-09-29

Family

ID=51699793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013058758A Pending JP2014180519A (en) 2013-03-21 2013-03-21 Information processing apparatus, information processing method and program

Country Status (1)

Country Link
JP (1) JP2014180519A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017141569A1 (en) * 2016-02-15 2017-08-24 オムロン株式会社 Control device, control system, control method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017141569A1 (en) * 2016-02-15 2017-08-24 オムロン株式会社 Control device, control system, control method, and program

Similar Documents

Publication Publication Date Title
Corazza et al. Markerless motion capture through visual hull, articulated icp and subject specific model generation
CN103578135B (en) The mutual integrated system of stage that virtual image combines with real scene and implementation method
JP5604225B2 (en) Human body posture estimation apparatus, human body posture estimation method, and computer program
JP6456347B2 (en) INSITU generation of plane-specific feature targets
JP6019504B2 (en) Traveling direction estimation apparatus and traveling direction estimation method for moving body
JP5327330B2 (en) Trajectory generation program and trajectory generation device
US9348953B2 (en) Swing simulation system, swing simulation apparatus, and swing simulation method
JP6776882B2 (en) Motion analyzers, methods and programs
KR20160096473A (en) System and method for motion evaluation
KR101700377B1 (en) Processing apparatus and method for creating avatar
JP2011503571A (en) Object orientation measurement
KR101962045B1 (en) Apparatus and method for testing 3-dimensional position
JP2017073753A (en) Correction method, program, and electronic device
Ahmed et al. A visual-inertial approach to human gait estimation
JP2012141881A (en) Human body motion estimation device, human body motion estimation method and computer program
Bleser et al. Using egocentric vision to achieve robust inertial body tracking under magnetic disturbances
JP2012524578A (en) System and method for determining the activity of moving elements
WO2022003963A1 (en) Data generation method, data generation program, and information-processing device
Callejas-Cuervo et al. Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes
Surer et al. Methods and technologies for gait analysis
JP2014180519A (en) Information processing apparatus, information processing method and program
KR102413988B1 (en) Method, device and non-transitory computer-readable recording medium for estimating information about golf swing
Tiesel et al. A mobile low-cost motion capture system based on accelerometers
JP6205387B2 (en) Method and apparatus for acquiring position information of virtual marker, and operation measurement method
Gavier et al. Virtualimu: generating virtual wearable inertial data from video for deep learning applications