JP2011215692A

JP2011215692A - Three-dimensional three-degree-of-freedom rotation parameter processor

Info

Publication number: JP2011215692A
Application number: JP2010080489A
Authority: JP
Inventors: Hidetoshi Nonaka; 秀俊野中
Original assignee: Hokkaido University NUC
Current assignee: Hokkaido University NUC
Priority date: 2010-03-31
Filing date: 2010-03-31
Publication date: 2011-10-27

Abstract

【課題】

３次元物体や３次元グラフィックスにおける仮想物体を，単一の２次元ポインティングデバイスによる直接操作の使用感で３自由度で回転させながら，回転以外の通常のポインティング操作を行うことを可能とする。

【解決手段】

入力装置としての２次元ポインティングデバイスと，３次元物体を表示するディスプレイを備えた装置において，ディスプレイ上のマウスカーソルと仮想物体との相対的位置関係を検出し，マウスカーソルの移動距離を用いて３自由度の回転軸と回転角からなる回転パラメータを計算し，この回転パラメータの値を用いて，３次元グラフィックスにより仮想物体を回転させ，ディスプレイに表示させる。またポインティングデバイスのボタン押下後の経過時間に基いて通常のポインティング操作のモードに設定する。

【選択図】図１０
【Task】

It is possible to perform a normal pointing operation other than the rotation while rotating a virtual object in a three-dimensional object or a three-dimensional graphic with three degrees of freedom with a feeling of direct operation by a single two-dimensional pointing device.

[Solution]

In an apparatus having a two-dimensional pointing device as an input device and a display for displaying a three-dimensional object, the relative positional relationship between the mouse cursor and the virtual object on the display is detected, and the moving distance of the mouse cursor is used to detect A rotation parameter composed of a rotation axis and a rotation angle of a degree of freedom is calculated, and a virtual object is rotated by three-dimensional graphics using the value of the rotation parameter and displayed on a display. Also, the normal pointing operation mode is set based on the elapsed time after pressing the button of the pointing device.

[Selection] Figure 10

Description

本発明は，３次元グラフィックスにおける仮想物体を，単一の２次元ポインティングデバイスによる直接操作の使用感で３自由度で回転させることを可能とする手法に関する。

The present invention relates to a technique that enables a virtual object in three-dimensional graphics to be rotated with three degrees of freedom with a feeling of direct operation by a single two-dimensional pointing device.

産業上の利用分野としては，医療における３次元画像診断，各種３次元形状モデリング及びデザイン，高臨場感遠隔協同作業におけるボリュームコミュニケーション，多自由度アクチュエータの手動制御，データ解析における情報可視化等が挙げられる。

Industrial application fields include 3D image diagnosis in medicine, various 3D shape modeling and design, volume communication in highly realistic remote cooperative work, manual control of multi-degree-of-freedom actuators, information visualization in data analysis, etc. .

従来，ポインティングデバイスを３次元操作に利用するために，特許文献１から特許文献６に挙げるように，様々な技術が提案されてきた。これらの先行技術は，いずれも２次元操作のための通常のマウスに，追加の１次元の拡張をハードウェアによって実現したものであるか，あるいは３次元操作のための専用の装置である。

Conventionally, in order to use a pointing device for three-dimensional operation, various techniques have been proposed as listed in Patent Document 1 to Patent Document 6. Each of these prior arts is an ordinary mouse for two-dimensional operation, and an additional one-dimensional extension realized by hardware, or a dedicated device for three-dimensional operation.

一方従来型の２次元ポインティングデバイスを用いて３次元の情報を入力を実現するためのソフトウェアによる方式としては，特許文献７や特許文献８が挙げられ，また各種アプリケーションで様々な方式が採用されている。回転軸ごとに入力するためのツールウインドウの採用や，ユーザが意図的に入力モードを切り換えることによって，マウスの動きを複数の機能に対応させるなどの方式が提案されている。

特開２００８−２８２４００特開２００７−２９３８５３特開平１１−１３４１１１特開平０９−２８８５４１特開平０８−１７９８８３特開平０５−２８２０９８特開平８−２４９４９０特開平５−２０４５８９
On the other hand, as a method by software for realizing input of three-dimensional information using a conventional two-dimensional pointing device, there are Patent Literature 7 and Patent Literature 8, and various methods are adopted in various applications. Yes. There have been proposed methods such as the use of a tool window for inputting for each rotation axis, and the user's intentional switching of the input mode so that the mouse movement corresponds to a plurality of functions.

JP 2008-282400 A JP2007-2938353 JP-A-11-134111 JP 09-288541 A JP 08-179883 JP 05-282098 JP-A-8-249490 JP-A-5-204589

先行技術のうちハードウェアによるものでは，従来のマウスの物理的操作以外の特殊な操作を行うことが要求される。一般に使いこなせるようになるまでに，練習や慣れが必要である。また２次元ポインティングデバイスとして現状で普及しているマウス以外のデバイス，例えばペンタブレット，トラックポイント，トラックボール，タッチパッド，タッチパネル，タッチスクリーン等との，操作形態における互換性が無い。

Among the prior arts, hardware is required to perform special operations other than the conventional physical operation of the mouse. In general, you need to practice and get used to becoming familiar. In addition, there is no compatibility in operation mode with devices other than a mouse that are currently popular as two-dimensional pointing devices, such as pen tablets, track points, track balls, touch pads, touch panels, touch screens, and the like.

先行技術のうちソフトウェアによるものでは，ユーザは３次元操作のためのツールウィンドウを使用して別画面の物体を操作したり，回転のモードを切り換えるという操作をする必要があり，画面上に表示されている３次元仮想物体を直接操作するという使用感が得られない。また多くのアプリケーションで採用されている方式は，３自由度のうちの２自由度が使用され，用途に応じて，マウスのx軸方向の移動をy軸回りの正回転に，y軸方向の移動をx軸回りの負回転に対応させているか，またはマウスのx軸方向移動を水平面上の回転や方位角に，y軸方向移動を仰角や伏角に対応させている。そのため直接的に３自由度の自由回転をさせることができない。

In the prior art using software, the user needs to operate an object on another screen using a tool window for three-dimensional operation or switch the rotation mode, and is displayed on the screen. A feeling of use of directly operating a three-dimensional virtual object is not obtained. In addition, 2 of the 3 degrees of freedom are used as the method adopted in many applications. Depending on the purpose, the mouse movement in the x-axis direction can be changed to positive rotation around the y-axis, and the y-axis direction can be changed. The movement corresponds to a negative rotation around the x axis, or the x-axis movement of the mouse corresponds to a rotation or azimuth on the horizontal plane, and the y-axis movement corresponds to an elevation or dip. For this reason, it is not possible to directly rotate the motor with three degrees of freedom.

本発明の第１の発明は，入力装置としての２次元ポインティングデバイスと，３次元仮想物体を表示するディスプレイを備えた装置において，ディスプレイ上のマウスカーソルと仮想物体との相対的位置関係を検出し，マウスカーソルの移動距離を用いて３自由度の回転軸と回転角からなる回転パラメータを計算し，この回転パラメータの値を用いて，３次元グラフィックスにより仮想物体を回転させ，ディスプレイに表示させることを特徴とする３次元３自由度回転パラメータ処理装置である。

According to a first aspect of the present invention, in a device having a two-dimensional pointing device as an input device and a display for displaying a three-dimensional virtual object, a relative positional relationship between a mouse cursor on the display and the virtual object is detected. , Calculate the rotation parameter consisting of the rotation axis and rotation angle of 3 degrees of freedom using the movement distance of the mouse cursor, rotate the virtual object by 3D graphics using the rotation parameter value, and display it on the display This is a three-dimensional three-degree-of-freedom rotation parameter processing device.

本発明の第２の発明は，入力装置としての２次元ポインティングデバイス，３次元物体を表示するディスプレイ，及び多自由度アクチュエータを備えた装置において，ディスプレイ上のマウスカーソルと３次元物体との相対的位置関係を検出し，マウスカーソルの移動距離を用いて３自由度の回転軸と回転角からなる回転パラメータを計算し，この回転パラメータの値を用いて，多自由度アクチュエータを制御して３次元に物体を回転させ，ディスプレイに表示させることを特徴とする３次元３自由度回転パラメータ処理装置である。

According to a second aspect of the present invention, there is provided a device including a two-dimensional pointing device as an input device, a display for displaying a three-dimensional object, and a multi-degree-of-freedom actuator, and a relative relationship between the mouse cursor on the display and the three-dimensional object. Detects the positional relationship, calculates the rotation parameter consisting of the rotation axis and rotation angle of 3 degrees of freedom using the moving distance of the mouse cursor, and uses this rotation parameter value to control the multi-degree-of-freedom actuator to 3D The three-dimensional three-degree-of-freedom rotation parameter processing apparatus is characterized in that an object is rotated and displayed on a display.

本発明の第３の発明は，ポインティングデバイスのボタン押下後の時間経過に基いて回転操作のモードと通常のポインティング操作が選択されることを特徴とする，第１又は第２の発明の３次元３自由度回転パラメータ処理装置である。

According to a third aspect of the present invention, in the three-dimensional aspect of the first or second aspect, the mode of rotation operation and the normal pointing operation are selected based on the passage of time after the button of the pointing device is pressed. This is a three-degree-of-freedom rotation parameter processing device.

本発明の第４の発明は，ディスプレイ上の３次元仮想物体又は３次元物体が，複数の部分に分割されており，ポインティングデバイスで指定する部分に，３次元３自由度の回転以外の操作が可能なことを特徴とする第１〜３の発明の３次元３自由度回転パラメータ処理装置である。

According to a fourth aspect of the present invention, a three-dimensional virtual object or a three-dimensional object on a display is divided into a plurality of parts, and an operation other than rotation with three-dimensional three degrees of freedom is performed on a part designated by a pointing device. This is a three-dimensional three-degree-of-freedom rotation parameter processing device according to the first to third aspects of the invention.

特殊な装置を使用しなくても，従来型の２次元ポインティングデバイスによって画面上に表示された３次元の仮想物体を，直接操作の使用感で，３自由度で回転させることができる。

本発明の３次元３自由度回転パラメータ処理装置は，医療における３次元画像診断，各種３次元形状モデリング及びデザイン，高臨場感遠隔共同作業におけるボリュームコミュニケーション，多自由度アクチュエータの制御，データ解析における情報可視化，コンピュータゲームの分野で利用することができる。

Even without using a special device, a three-dimensional virtual object displayed on a screen by a conventional two-dimensional pointing device can be rotated with three degrees of freedom with a feeling of direct operation.

The three-dimensional three-degree-of-freedom rotation parameter processing apparatus of the present invention is information in medical three-dimensional image diagnosis, various three-dimensional shape modeling and design, volume communication in high-realistic remote collaboration, control of multi-degree-of-freedom actuators, and data analysis. It can be used in the field of visualization and computer games.

本発明における，ポインティングデバイスとは，マウス，ペンタブレット，トラックポイント，トラックボール，タッチパッド，タッチパネル，タッチスクリーン等を含むものである。また，特に論理的にUSB/HIDマウス，PS2マウス，シリアルマウスなど，既存のマウスとして認識される入力装置であれば，物理的なデバイスや操作形態の差異は問わない。

本発明における，多自由度アクチュエータは，球面ステッピングモータや多自由度超音波アクチュエータなど，既存のアクチュエータが挙げられる。

The pointing device in the present invention includes a mouse, a pen tablet, a track point, a track ball, a touch pad, a touch panel, a touch screen, and the like. In addition, any input device that can be recognized as an existing mouse, such as a USB / HID mouse, a PS2 mouse, or a serial mouse, can be used, regardless of the physical device or operation mode.

Examples of the multi-degree-of-freedom actuator in the present invention include existing actuators such as a spherical stepping motor and a multi-degree-of-freedom ultrasonic actuator.

本発明の第１の発明を下記に説明する。
図１は本発明の実施例を示す図である。システム１には，あらかじめ仮想物体モデル２が構成されているものとする。ポインティングデバイス３からの入力のうちマウスカーソルが仮想物体の上に位置している状態で，ポインティングデバイスに付属したボタンの押下されたとき，仮想物体上ボタン押下検出モジュール４で，マウスカーソルと仮想物体との相対的位置関係が検出される。
相対的位置関係は後述するように，ディスプレイに対応する２次元の座標系と，仮想物体に対応する３次元の座標系の両方を用いて計算される。両座標系の原点と座標軸は独立に指定できるが，相対的位置関係を計算する段階では，適当な座標変換を適用して原点と二つの座標軸を一致させる。
仮想物体上ボタン押下検出モジュール４からの入力を受けて，仮想球面半径計算モジュール５において後で説明する仮想球面の半径を計算するとともに，デバイス移動計測モジュール６においてポインティングデバイスの移動計測を開始する。デバイス移動計測モジュール６のデータに基いて回転軸，及び回転角をそれぞれ回転軸計算モジュール７と回転角モジュール８で計算する。これらの回転に関するパラメータを回転パラメータ出力モジュール９から出力する。回転パラメータは回転パラメータ入力モジュール１０から入力される。得られた回転パラメータに基いて，仮想物体回転モジュール１１において仮想物体の姿勢が計算され，仮想物体表示モジュール１２において画像が実時間的にレンダリングされディスプレイ表示モジュール１３に送られ，この画像が，マウスカーソルと重畳されてディスプレイ１４に表示される。

The first aspect of the present invention will be described below.
FIG. 1 is a diagram showing an embodiment of the present invention. It is assumed that a virtual object model 2 is configured in the system 1 in advance. When the button attached to the pointing device is pressed while the mouse cursor is positioned on the virtual object among the inputs from the pointing device 3, the mouse cursor and the virtual object are detected by the virtual object button press detection module 4. The relative positional relationship is detected.
As will be described later, the relative positional relationship is calculated using both a two-dimensional coordinate system corresponding to the display and a three-dimensional coordinate system corresponding to the virtual object. The origin and coordinate axes of both coordinate systems can be specified independently, but at the stage of calculating the relative positional relationship, an appropriate coordinate transformation is applied to match the origin and the two coordinate axes.
In response to the input from the virtual object button press detection module 4, the virtual spherical radius calculation module 5 calculates the radius of the virtual spherical surface, which will be described later, and the device movement measurement module 6 starts the movement measurement of the pointing device. Based on the data of the device movement measurement module 6, the rotation axis and the rotation angle are calculated by the rotation axis calculation module 7 and the rotation angle module 8, respectively. These rotation-related parameters are output from the rotation parameter output module 9. The rotation parameter is input from the rotation parameter input module 10. Based on the obtained rotation parameters, the virtual object rotation module 11 calculates the attitude of the virtual object, and the virtual object display module 12 renders the image in real time and sends it to the display display module 13. It is superimposed on the cursor and displayed on the display 14.

以下図２から図７により，簡単な例を用いて，本発明の第１の発明の具体的な処理手順を説明する。
図２に示すように，ディスプレイあるいはディスプレイ内のウィンドウ（以下スクリーンと呼ぶ）の中央に３次元仮想物体として正２０面体が表示されていて，その仮想物体上の点Pにマウスカーソルが位置している状態で，ポインティングデバイスのボタンが押下され，これが仮想物体上ボタン押下検出モジュール４によって検出されたものとする。

The specific processing procedure of the first invention of the present invention will be described below with reference to FIGS.
As shown in FIG. 2, a regular icosahedron is displayed as a three-dimensional virtual object in the center of the display or a window in the display (hereinafter referred to as a screen), and the mouse cursor is positioned at a point P on the virtual object. In this state, it is assumed that the button of the pointing device is pressed and detected by the virtual object button press detection module 4.

ここでは簡単のため，図３に示すように，スクリーンの２次元座標系は，スクリーンの中心を原点Ｏとし，右をx軸，上をy軸とする。仮想的３次元空間の座標系はスクリーンの前後に広がっており，原点およびx, y軸は２次元座標系と一致しており，手前をz軸とする。また回転の中心もこの原点Ｏと同一の点となっているものとする。

For the sake of simplicity, as shown in FIG. 3, in the two-dimensional coordinate system of the screen, the center of the screen is the origin O, the right is the x axis, and the top is the y axis. The coordinate system of the virtual three-dimensional space extends before and after the screen. The origin and the x and y axes coincide with the two-dimensional coordinate system, and the front is the z axis. It is assumed that the center of rotation is the same point as the origin O.

仮想球面半径計算モジュール５では以下の計算を行う。点Pを内側に含み，最も手前に位置しているポリゴンを検出する。図３の例では三角形ABCが検出される。これに対し，２次元座標系におけるPの，仮想的３次元座標系に対する透視投影変換の逆像P’を計算する。Pの位置ベクトルを図５の (1)，P’の位置ベクトルを (2) とする。三角形ABCの法線ベクトルを (3) とし，三角形内の任意の点の位置ベクトルを (4) とし，透視投影変換の視点位置ペクトルを (5) とすると，(2) の値は (6) で計算される。これを用いて，仮想球面半径は (7) で与えられる。

The virtual spherical radius calculation module 5 performs the following calculation. A polygon that includes the point P inside and is positioned closest to the front is detected. In the example of FIG. 3, the triangle ABC is detected. On the other hand, an inverse image P ′ of perspective projection transformation of P in the two-dimensional coordinate system with respect to the virtual three-dimensional coordinate system is calculated. Let P's position vector be (1) in Fig. 5 and P ''s position vector be (2). If the normal vector of triangle ABC is (3), the position vector of any point in the triangle is (4), and the perspective position vector of perspective projection transformation is (5), then the value of (2) is (6) Calculated by Using this, the phantom spherical radius is given by (7).

回転軸計算モジュール７と回転角計算モジュール８では以下の計算を行う。図４において，ポインティングデバイスによって点Pから点Qまでドラッグされたものとする。なおこの点Pは，図２においてボタンが押下されたときの点の場合だけでなく，ドラッグ操作が行われたときの直前のマウスカーソルの位置も表すものとする。Qの位置ベクトルを q(図６の式(8)) で，PQが表すベクトルをp(式(9)) で表すと，回転角は θ(式(10)) で与えられる。

The rotation axis calculation module 7 and the rotation angle calculation module 8 perform the following calculations. In FIG. 4, it is assumed that the mouse is dragged from point P to point Q by the pointing device. This point P represents not only the point when the button is pressed in FIG. 2, but also the position of the mouse cursor immediately before the drag operation is performed. If the position vector of Q is represented by q (Equation (8) in Fig. 6) and the vector represented by PQ is represented by p (Equation (9)), the rotation angle is given by θ (Equation (10)).

次に図６の式(11) で表される回転軸ｒを求める。点Pが原点Oと一致する場合は，回転軸が直ちに式(12) で与えられる。これは，従来の２次元ポインティングデバイスによる２自由度の回転と等価である。
Next, the rotation axis r represented by the equation (11) in FIG. 6 is obtained. If point P coincides with origin O, the axis of rotation is immediately given by Eq. (12). This is equivalent to rotation with two degrees of freedom by a conventional two-dimensional pointing device.

点Pが原点Oと異なる場合は，ベクトルPQをOP方向の成分ｖ(式(13)) とそれに直交する成分ｗ(式(14)) に分解する。点Pが仮想球面半径 ρ(式(7)) を半径とする円内にあるときは，回転軸は式(15) で与えられる。点Pが仮想球面半径 ρ(式(7)) を半径とする円周上か円外にあるときは，回転軸は式(16) で与えられる。
When the point P is different from the origin O, the vector PQ is decomposed into a component v (Equation (13)) in the OP direction and a component w (Equation (14)) orthogonal thereto. When the point P is in a circle whose radius is the phantom spherical radius ρ (Eq. (7)), the rotation axis is given by Eq. (15). When the point P is on or outside the circumference with the phantom spherical radius ρ (Eq. (7)) as the radius, the rotation axis is given by Eq. (16).

前記で得られた回転パラメータ（回転軸と回転角）が，回転パラメータ出力モジュール９と回転パラメータ入力モジュール１０を経て，仮想物体回転モジュール１１に送られる。仮想物体回転モジュール１１では以下の計算を行う。各種変量を図７の (17) のように表すと，回転行列は (18) で与えられることが知られている。図６の式(10), (12), (15), (16) を式(18) に代入し，さらに計算誤差を考慮して式変形すると (19) が得られる。
仮想物体の各点に対して，回転行列式(19) による変換を適用することにより，３次元３自由度の仮想物体の回転が実現される。

The rotation parameters (rotation axis and rotation angle) obtained above are sent to the virtual object rotation module 11 via the rotation parameter output module 9 and the rotation parameter input module 10. The virtual object rotation module 11 performs the following calculation. It is known that the rotation matrix is given by (18) when various variables are expressed as (17) in Fig. 7. Substituting Eqs. (10), (12), (15), and (16) in Fig. 6 into Eq. (18), and further transforming the formula in consideration of calculation errors, (19) is obtained.
By applying the transformation based on the rotation determinant (19) to each point of the virtual object, the rotation of the virtual object with three-dimensional three degrees of freedom is realized.

最後に仮想物体表示モジュール１２において透視投影変換が行われた後にレンダリングされ，ディスプレイモジュール１３に送られ，マウスカーソルと重畳されてディスプレイ１４に表示される。
Finally, after the perspective projection conversion is performed in the virtual object display module 12, it is rendered, sent to the display module 13, and superimposed on the mouse cursor and displayed on the display 14.

正２０面体を例として，前記で説明した仮想球面半径計算モジュール５で計算する仮想球面半径ρ(式(7)) の計算法は，仮想物体がポリゴンメッシュでモデリングされている場合は，任意の仮想物体に対してそのまま活用できる。ベジェ曲線等を用いてモデリングされている場合は，最近傍点を用いて計算できる。また回転させる際の微妙な操作感が重要でない場合や，仮想物体の形状が近似的に球または球面とみなせる場合は仮想球面半径を定数として扱うことができ，仮想球面半径計算モジュールを省略できる。

Taking the regular icosahedron as an example, the calculation method of the virtual spherical radius ρ (formula (7)) calculated by the virtual spherical radius calculation module 5 described above is arbitrary if the virtual object is modeled by a polygon mesh. It can be used as it is for virtual objects. If it is modeled using a Bezier curve, it can be calculated using the nearest point. In addition, when the subtle operational feeling at the time of rotation is not important, or when the shape of the virtual object can be approximately regarded as a sphere or a sphere, the virtual sphere radius can be treated as a constant, and the virtual sphere radius calculation module can be omitted.

本発明による回転運動は，ポインティングデバイスの移動に対して，物体が追従して回転し，その回転角がポインティングデバイスの移動に近似的に比例しているため，直接操作するという使用感を得ることができる。

In the rotational movement according to the present invention, since the object rotates following the movement of the pointing device and the rotation angle is approximately proportional to the movement of the pointing device, a feeling of use of direct manipulation is obtained. Can do.

本発明の第２の発明を下記に説明する（図８）。
本発明は，仮想物体を回転の対象とするだけでなく，多自由度アクチュエータを用いて手動制御できる物体の３次元３自由度の回転を実現することができる。
第１の発明と同じ方法で，マウスカーソルの移動によるデバイス移動計測モジュール６のデータに基いて回転軸，及び回転角をそれぞれ回転軸計算モジュール７と回転角モジュール８で計算する。これらの回転に関するデータを回転パラメータ出力モジュール９から外部の装置１５に対して出力する。この出力により外部装置１５における多自由度アクチュエータ１６が物体を３自由度で回転させる。この回転はモーションセンサ１７によって計測され，そのデータが回転パラメータ入力モジュールから入力される。得られた回転データに基いて，あらかじめモデリングされた物体の姿勢が計算され，画像が実時間的にレンダリングされてディスプレイ表示モジュール１４に送られ，マウスカーソルと重畳してディスプレイ１４に表示される。
この発明は，高臨場感遠隔共同作業におけるボリュームコミュニケーション等に活用することができる。

The second invention of the present invention will be described below (FIG. 8).
According to the present invention, not only a virtual object is targeted for rotation, but also a three-dimensional, three-degree-of-freedom rotation of an object that can be manually controlled using a multi-degree-of-freedom actuator.
In the same manner as in the first invention, the rotation axis and the rotation angle are calculated by the rotation axis calculation module 7 and the rotation angle module 8 based on the data of the device movement measurement module 6 by the movement of the mouse cursor, respectively. Data about these rotations is output from the rotation parameter output module 9 to the external device 15. With this output, the multi-degree-of-freedom actuator 16 in the external device 15 rotates the object with three degrees of freedom. This rotation is measured by the motion sensor 17, and the data is input from the rotation parameter input module. Based on the obtained rotation data, the posture of the object modeled in advance is calculated, the image is rendered in real time, sent to the display display module 14, and displayed on the display 14 superimposed on the mouse cursor.
The present invention can be used for volume communication or the like in a highly realistic remote collaborative work.

また，モーションカメラはビデオカメラ等に置き換えられ，物体の動画像にマウスカーソルを重畳することにより，３次元３自由度の物体の回転を実現できる（図９）

In addition, the motion camera is replaced with a video camera, etc., and by rotating the mouse cursor on the moving image of the object, it is possible to rotate the object with three-dimensional three degrees of freedom (Fig. 9).

本発明の第３の発明を下記に説明する。
本発明において，ポインティングデバイスのボタン押下後の経過時間に基づいて，回転操作のモードに加えて，通常操作のモード，すなわち通常のポインティング操作が選択できるように設定してもかまわない。図１０はこの実施例を示す図である。システム１はポインティングデバイス２からの入力のうちポインティングデバイスに付属したボタンの押下をボタン押下検出モジュール４で検出し，ボタン押下後の時間を時間計測モジュール５で計測する。一定時間の後にポインティングデバイスの移動データと合わせて操作モード選択モジュール１９で操作モードを切り替え，マウスカーソル選択モジュール２０においてカーソル形状を変更する。
図１１はこの実施例におけるモード選択の状態遷移とカーソル形状の例を示す図である。初期状態はFree の状態２１で，カーソル形状は矢印２７となっている。仮想物体にマウスカーソルが重なると Overlap の状態２２に遷移し，カーソル形状は右手人差し指２８に変化する。この状態でボタン押下が検出されると，Downの状態２３に遷移する。そのままボタンが押下され続けると一定時間の後にDragの状態２４に遷移し，カーソル形状は左手のひら２９に変化する。この状態でポインティングデバイスを移動すると，それに合わせて仮想物体が回転する。この状態でボタン押下を中断するとInertiaの状態２６に遷移し，カーソル形状は右手人差し指２８に戻り，回転が持続する。一方Downの状態２３から一定時間の後にDragの状態２４に遷移する前にポインティングデバイスの移動が検出されると，Flipの状態２６に遷移し，カーソル形状は右手人差し指２８にもどる。以上の状態遷移において，Dragの状態２４を仮想物体の回転操作モードに，Flipの状態２６を通常のポインティング操作モードに対応させることにより，ボタン押下後の経過時間による回転操作モードと通常操作モードを切り換えることができる。

The third aspect of the present invention will be described below.
In the present invention, in addition to the rotation operation mode, the normal operation mode, that is, the normal pointing operation may be selected based on the elapsed time after the button of the pointing device is pressed. FIG. 10 is a diagram showing this embodiment. The system 1 detects pressing of the button attached to the pointing device 2 from the input from the pointing device 2 by the button pressing detection module 4 and measures the time after the button is pressed by the time measuring module 5. After a certain time, the operation mode selection module 19 switches the operation mode together with the movement data of the pointing device, and the mouse cursor selection module 20 changes the cursor shape.
FIG. 11 is a diagram showing an example of mode selection state transition and cursor shape in this embodiment. The initial state is a Free state 21 and the cursor shape is an arrow 27. When the mouse cursor overlaps the virtual object, the state transitions to the Overlap state 22 and the cursor shape changes to the right index finger 28. When a button press is detected in this state, the state transitions to the Down state 23. If the button is kept pressed as it is, the state transitions to the Drag state 24 after a certain time, and the cursor shape changes to the left palm 29. When the pointing device is moved in this state, the virtual object rotates accordingly. If the button press is interrupted in this state, the state transitions to Inertia state 26, the cursor shape returns to the right index finger 28, and rotation continues. On the other hand, when the movement of the pointing device is detected before the transition from the Down state 23 to the Drag state 24 after a predetermined time, the state transitions to the Flip state 26 and the cursor shape returns to the right index finger 28. In the above state transition, the Drag state 24 corresponds to the virtual object rotation operation mode, and the Flip state 26 corresponds to the normal pointing operation mode, so that the rotation operation mode and the normal operation mode according to the elapsed time after the button is pressed can be changed. Can be switched.

本発明の第４の発明を下記に説明する。
本発明において，前項の実施例を応用することにより，ディスプレイ上の３次元仮想物体を，複数の部分に分割し，ポインティングデバイスで仮想物体全体を３次元３自由度で回転させながら，指定する部分に３次元３自由度の回転以外の操作を行うことができる。ここで，３次元３自由度の回転以外の操作とは，仮想物体の変形，仮想物体表面への描画や着色，仮想物体の部分に対する１自由度の回転等が挙げられる。例えばルービックキューブなどの多面体回転パズルを３次元仮想物体とした場合，パズル全体の３自由度回転は図１１におけるDragの状態２４に対応させ，パズルの各パーツの１自由度回転は図９におけるFlipの状態２６に対応させることにより，２次元ポインティングデバイスと一つのボタンだけで多面体回転パズルの直接操作的な操作が可能となる。

The fourth aspect of the present invention will be described below.
In the present invention, by applying the embodiment described in the previous section, the three-dimensional virtual object on the display is divided into a plurality of parts, and the part specified by rotating the entire virtual object with a pointing device in three-dimensional three degrees of freedom. In addition, operations other than rotation with three-dimensional three degrees of freedom can be performed. Here, the operations other than the rotation of the three-dimensional three degrees of freedom include deformation of the virtual object, drawing and coloring on the surface of the virtual object, rotation of one degree of freedom with respect to the virtual object portion, and the like. For example, when a polyhedral rotation puzzle such as a Rubik's cube is a three-dimensional virtual object, the three-degree-of-freedom rotation of the entire puzzle corresponds to the Drag state 24 in FIG. 11, and the one-degree-of-freedom rotation of each part of the puzzle is By responding to the state 26, it is possible to directly operate the polyhedron rotation puzzle with only a two-dimensional pointing device and one button.

本発明において，入力装置とディスプレイが一体となっていてもかまわない。図１２は本発明の別の実施例を示す図である。表示機能とペン又は指による２次元座標入力機能を有するタッチパネル又はタッチスクリーンなどの入力装置１４’を用いるか，あるいはそのような入出力装置をシステム内に一体化したタブレットＰＣや携帯型ゲーム機などのシステム１’に組み込むことにより，既存のシステムにハードウェアによる拡張や変更を加えることなく，３次元３自由度の仮想物体の回転が実現される。

In the present invention, the input device and the display may be integrated. FIG. 12 is a diagram showing another embodiment of the present invention. An input device 14 'such as a touch panel or a touch screen having a display function and a two-dimensional coordinate input function by a pen or a finger, or a tablet PC or a portable game machine in which such an input / output device is integrated in the system Incorporating into the system 1 ′ enables the rotation of a virtual object with a three-dimensional three-degree-of-freedom without adding or changing the existing system by hardware.

本発明の実施例を示す図The figure which shows the Example of this invention 正２０面体を例とした説明図（仮想３次元物体の表示とボタン押下点の位置関係）Explanatory diagram taking a regular icosahedron as an example (positional relationship between display of virtual three-dimensional object and button pressing point) 正２０面体を例とした説明図（座標系とポリゴン検出の例）Explanatory drawing taking a regular icosahedron as an example (coordinate system and polygon detection example) 正２０面体を例とした説明図（回転軸と回転角の計算法）Explanatory drawing taking a regular icosahedron as an example (rotation axis and rotation angle calculation method) 仮想球面半径の計算式Calculation formula of virtual spherical radius 回転軸と回転角の計算式Calculation formula of rotation axis and rotation angle 回転行列の計算式Rotation matrix formula 本発明の実施例を示す図（アクチュエータとモーションセンサによる物体の回転）The figure which shows the Example of this invention (Rotation of the object by an actuator and a motion sensor) 本発明の実施例を示す図（アクチュエータとビデオカメラによる物体の回転）The figure which shows the Example of this invention (Rotation of the object by an actuator and a video camera) 本発明の実施例を示す図（時間計測による操作モード選択）The figure which shows the Example of this invention (operation mode selection by time measurement) 操作モード選択における状態遷移とマウスカーソル形状の例を示す図The figure which shows the example of the state transition and mouse cursor shape in operation mode selection 本発明の実施例を示す図（入出力装置一体型）The figure which shows the Example of this invention (I / O device integrated type)

２仮想物体モデル

４仮想物体上ボタン押下検出モジュール

５仮想球面半径計算モジュール

６デバイス移動計測モジュール

７回転軸計算モジュール

８回転角計算モジュール

９回転パラメータ出力モジュール

１０回転パラメータ入力モジュール

１１仮想物体回転モジュール

１２仮想物体表示モジュール
2 Virtual object model

4 Virtual object button press detection module

5 Virtual spherical radius calculation module

6 Device movement measurement module

7 Rotary axis calculation module

8 Rotation angle calculation module

9 Rotation parameter output module

10 Rotation parameter input module

11 Virtual object rotation module

12 Virtual object display module

Claims

In an apparatus having a two-dimensional pointing device as an input device and a display for displaying a three-dimensional object, the relative positional relationship between the mouse cursor and the virtual object on the display is detected, and the moving distance of the mouse cursor is used to detect A three-dimensional three-degree-of-freedom feature that calculates a rotation parameter composed of a rotation axis and a rotation angle of a degree of freedom, and uses the value of the rotation parameter to rotate a virtual object by three-dimensional graphics and display it on a display. Rotation parameter processing device.

In a device with a 2D pointing device as an input device, a display that displays a 3D object, and a multi-degree-of-freedom actuator that rotates the 3D object, the relative positional relationship between the mouse cursor on the display and the 3D object Detects and calculates a rotation parameter consisting of a rotation axis and rotation angle of 3 degrees of freedom using the moving distance of the mouse cursor, and uses this rotation parameter value to control a multi-degree-of-freedom actuator to rotate a 3D object And a three-dimensional three-degree-of-freedom rotation parameter processing device characterized by being displayed on a display.

3. The three-dimensional three-degree-of-freedom rotation parameter processing device according to claim 1, wherein the three-dimensional three-degree-of-freedom rotation parameter processing device is set to a normal pointing operation mode based on an elapsed time after the button of the pointing device is pressed.

The three-dimensional virtual object or the three-dimensional object on the display is divided into a plurality of parts, and an operation other than the rotation of the three-dimensional three-degree-of-freedom can be performed on the part designated by the pointing device. The three-dimensional three-degree-of-freedom rotation parameter processing device according to 1 to 3.