JP2013214275A - 三次元位置指定方法 - Google Patents

Abstract

【課題】特殊なポインティングデバイスを必要とすることなく、更に、特殊な操作の習得なしに直感的に三次元方向の位置指定を可能にする技術を提供する。
【解決手段】三次元画像データからある奥行き位置の画像を取得し表示するビューアにおいて、ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、ポインティングデバイスのＸ方向の移動により、表示画像に対してＸ方向の位置を指定し、ポインティングデバイスのＹ方向の移動により、表示画像に対してＹ方向の位置を指定し、ポインティングデバイスの斜め方向の移動により、表示画像の奥行き位置を指定する。
【選択図】図１

Description

本発明は、二次元のポインティングデバイスを用いて三次元の位置指定を行うための方法に関する。

従来、ポインティングデバイスを用いた三次元位置の指定方法として、特殊なポインティングデバイスを用いる方法がある（特許文献１）。例えば特許文献１は、複数の球状体を用いた特殊なマウスを用いてＸ，Ｙ，Ｚ方向の座標位置を指定することができる技術を開示している。また、特許文献２では、一般的なポインティングデバイスを用いる方法として、マウスにボタンやホイールを設け、マウスの移動操作にボタンやホイールの操作を組み合わせ三次元領域の指定を可能とする技術を開示している。また、一般的なマウス等のポインティングデバイスを用いて二次元座標変化量を三次元座標変化量に変換する方法として特許文献３の方法がある。特許文献３の方法によれば一般的なマウスを用いて三次元座標変化量を指定できる。

特開平６−５９８１１号公報 特開２００７−１４８５４８号公報 特開２００９−９３６６６号公報

本発明者らは、バーチャルマイクロスコープと言われるディジタル顕微鏡で撮像した画像を、ビューアと言われる観察用ソフトウエアを用いて観察するシステムの研究開発を行っている。

近年、ディジタル顕微鏡や各種検査装置で、奥行き方向の位置が異なる複数の二次元画像を撮像し、被写体の三次元構造を表す三次元画像データを取得することが行われている。このような三次元画像データを「Ｚスタック画像データ」とも呼び、Ｚスタック画像データを構成する各々の二次元画像データをレイヤー画像データとも呼ぶ。三次元画像をビューアで表示することで、表示装置の画面上で診断や検査（以降、観察と記す）を行うことができる。

観察を行う者（以降、観察者と呼ぶ）は、前記ビューアで、三次元画像データの平面方向（ＸＹ方向）や奥行き方向（Ｚ方向）の位置を指定し、表示装置の画面上に所望の領域の画像を表示し観察する。位置指定を行うための入力装置としてはマウス等のポインティングデバイスが通常用いられるが、従来、観察者の経験や感性に合致する三次元方向の位置指定方法はなかった。

特許文献１で開示されている方法、すなわち、マウスに複数の球状体を設け複数の球状体の回転量に基づき仮想空間内の奥行き方向の移動量データを生成する方法によれば、仮想空間内の奥行き方向（Ｚ方向）の指定が可能となる。しかしながら、特許文献１の方法では三次元画像データの位置を指定するために、特殊なマウスが必要となる問題点がある。更に、Ｚ方向の位置の指定については前記複数の球状体の回転量の差、すなわち、マウス本体の回転方向の操作により行う。この方法は観察者の経験や感性と異なるため直感的に操作できず、マウスの操作の習得が必要となる課題を有する。

一方、特許文献２で開示されている方法、すなわち、マウスの移動操作にボタンやホイールの操作を組み合わせる方法によれば、特殊なマウスを用意することなく、三次元方向の位置指定が可能となる。しかしながら、特許文献２の方法もまた、三次元画像データの位置を指定するために、マウスの移動操作に加えボタンやホイールの操作が必要なため、直感的に操作できず、マウスの操作の習得が必要となる課題を有する。

また、特許文献３で開示されている方法によれば、特殊なマウスを必要とすることなく三次元座標変化量を指定することができる。しかしながら、マウスのＸＹ方向の変化量から、表示されているカーソル等のＸＹＺ方向の変化量を計算するため、例えばＸＹ方向のみカーソル等を移動したい場合であっても、Ｚ方向の移動が発生する等の課題がある。そのためＺスタック画像データをビューアで観察する目的のためには、非常に使いづらい方法である。

本発明は、上記実情に鑑みてなされたものであって、その目的とするところは、特殊なポインティングデバイスを必要とすることなく、更に、特殊な操作の習得なしに直感的に三次元方向の位置指定を可能にする技術を提供することにある。

本発明の第一態様は、ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、ポインティングデバイスのＸ方向の移動によりＸ方向の位置を指定し、ポインティングデバイスのＹ方向の移動によりＹ方向の位置を指定し、ポインティングデバイスの斜め方向の移動によりＺ方向の位置を指定することを特徴とする三次元位置指定方法である。

本発明の第二態様は、三次元画像データからある奥行き位置の画像を取得し表示するビューアにおいて、ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、ポインティングデバイスのＸ方向の移動により、表示画像に対してＸ方向の位置を指定し、ポインティングデバイスのＹ方向の移動により、表示画像に対してＹ方向の位置を指定し、ポインティングデバイスの斜め方向の移動により、表示画像の奥行き位置を指定することを特徴とする三次元位置指定方法である。

本発明の第三態様は、ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、ポインティングデバイスの移動操作が、予め決められた、Ｘ方向の移動、Ｙ方向の移動、斜め方向の移動のうちのいずれであるかをコンピュータが判定するステップと、ポインティングデバイスの移動操作がＸ方向の移動である場合にコンピュータが移動対象をＸ方向に移動し、ポインティングデバイスの移動操作がＹ方向の移動である場合にコンピュータが移動対象をＹ方向に移動し、ポインティングデバイスの移動操作が斜め方向の移動である場合にコンピュータが移動対象をＺ方向に移動するステップと、を含むことを特徴とする三次元位置指定方法である。

本発明の第四態様は、三次元画像データからある奥行き位置の画像を取得し表示するビューアにおいて、ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、ポインティングデバイスの移動操作が、予め決められた、Ｘ方向の移動、Ｙ方向の移動、斜め方向の移動のうちのいずれであるかをコンピュータが判定するステップと、ポインティングデバイスの移動操作がＸ方向の移動である場合にコンピュータが表示画像又はカーソルをＸ方向に移動し、ポインティングデバイスの移動操作がＹ方向の移動である場合にコンピュータが表示画像又はカーソルをＹ方向に移動し、ポインティングデバイスの移動操作が斜め方向の移動である場合にコンピュータが表示画像の奥行き位置を変更するステップと、を含むことを特徴とする三次元位置指
定方法である。

本発明の第五態様は、上記三次元位置指定方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、特殊なポインティングデバイスを必要とすることなく、更に、特殊な操作の習得なしに直感的に三次元方向の位置指定が可能となる。

第１の実施形態のビューアの動作を示すフローチャート。 マウスの移動方向と移動速さの算出方法を説明するための模式的な図。 マウスの移動方向からビューアの動作を決定する方法を説明する図。 第２の実施形態におけるガイド画像の一例を示す図。 第２の実施形態におけるガイド画像の別の例を示す図。 第３の実施形態のビューアの動作を示すフローチャート。 ビューアが動作するコンピュータシステムの構成を示す図。 Ｚスタック画像データを簡便に説明するための模式図。

本発明は、三次元構造をもつ画像データを表示するビューアにおいて、通常のポインティングデバイスを用いて三次元方向の位置指定を簡単かつ直感的に行うための方法に関する。三次元構造をもつ画像データ（三次元画像データ）としては、ディジタル顕微鏡や各種検査装置で奥行き方向の位置を変えながら撮像することにより得られる複数の二次元画像データ（Ｚスタック画像データ）や、ボクセルデータなどがある。特に、ディジタル顕微鏡で撮像し、ビューアで観察するシステム（バーチャルマイクロスコープとも言われるディジタル顕微鏡システム）において、本発明はポインティングデバイスにより三次元方向の位置指定（位置変更）を行う好適な方法を提供するものである。以下の実施形態では、ディジタル顕微鏡システムで得られたＺスタック画像データを観察する際のビューア操作を例に挙げて、本発明の好適な実施形態を具体的に説明する。

（Ｚスタック画像データ）
初めに、ディジタル顕微鏡システムにより撮像されたＺスタック画像データについて説明する。

図８（ａ）、図８（ｂ）は、Ｚスタック画像データを簡便に説明するための模式図である。図８（ａ）は３つのレイヤー画像から構成されるＺスタック画像データを模式的に示した図である。図８（ｂ）は各々のレイヤー画像が見えるように分かりやすく模式的に示した図である。もちろん、レイヤー画像の数は３つに限るものではなく、観測者の要求するレイヤー数（所望のレイヤー数）でＺスタック画像データを作成することができる。

図８（ａ）、図８（ｂ）において、３００ａ，３００ｂ，３００ｃは各層のレイヤー画像データを模式的に示す。各々のレイヤー画像データ３００ａ，３００ｂ，３００ｃは、焦点位置（合焦位置）を変えて撮影されたものであり、各レイヤー画像データには検体１０１ａの断面に相当する検体像３０１ａ，３０１ｂ，３０１ｃが現れている。各レイヤー画像データ３００ａ〜３００ｃは二次元画像データであり、各々の画素は、例えばＲＧＢ、８ｂｉｔのデータにより構成される。このＺスタック画像データは、レイヤー画像の平面方向（ＸＹ方向）と奥行き方向（Ｚ方向）を持つ三次元画像データである。なお、Ｚスタック画像データの一部のデータを抜き出して、層数の異なるＺスタック画像データや、平面方向のサイズが異なるＺスタック画像データを生成することもできる。

Ｚスタック画像データは、観察用ソフトウエアであるビューアによって表示する。例えば観測者がマウス等のポインティングデバイスにより指定した層の画像データを表示し、さらに、その層の画像データの所望のＸ，Ｙ位置を中心に表示したり、カーソルを移動したりすることができる。これにより、観察者が検体１０１ａの三次元構造の観察を好適に行うことを可能にする。

（ビューアの動作環境）
図７は、本発明の実施形態に係る画像観察装置の構成例を示している。ここでは、表示装置とポインティングデバイスを具備したコンピュータシステム上でビューアプログラムを実行させることで、画像観察装置が実現されている。

図７において、１はビューアが動作するコンピュータ、２は表示装置である。コンピュータ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４、ＬＡＮインターフェース（ＬＡＮＩ／Ｆ）１０５、表示制御部１０６、ビデオＲＡＭ１０７、キーボード１０８、マウス１０９を有している。図７の構成において、ＣＰＵ１０１はＨＤＤ１０４に記憶されているビューアと言われる観察用ソフトウエア（プログラム）を読み込み実行する。ビューアプログラムはＨＤＤ１０４やＲＯＭ１０２に記憶されていても良いし、ＬＡＮＩ／Ｆ１０５を経由して不図示のサーバからダウンロードし実行されても良い。

ビューアが起動すると、ＣＰＵ１０１は画像データを、ＬＡＮＩ／Ｆ１０５を経由して不図示のサーバから取得し、ＲＡＭ１０１に格納する。画像データはサーバからの取得に限定することなく、例えば、コンピュータ１のＨＤＤ１０４に記憶されていても良い。そして、後述する説明の様に、ＣＰＵ１０１はＲＡＭ１０１に記憶されている画像データの一部（表示領域の画像データ）を、表示制御部１０６を経由してビデオＲＡＭ１０７に書き込むことによって所望の表示を行う。もちろん、図７において点線で示した様に、ＣＰＵ１０１が直接ビデオＲＡＭ１０７に画像データを書き込めるように設計しても良い。一方、ＣＰＵ１０１はキーボード１０８やマウス１０９から入力された指示を定期的に読み込む。そして、ＣＰＵ１０１は、キーボード１０８の指示やマウス１０９の指示に従って、表示領域の画像データをビデオＲＡＭ１０７に書き込むことによって所望の表示を行う。また、マウス１０９による位置指定に対応して、カーソルのデータをビデオＲＡＭ１０７に書き込むことによって、ビューア上にカーソルを表示することができる。このカーソルの動きを見ることによりユーザ自身はマウス１０９をどちらの方向に操作しているのを認識できる。カーソルの表示については表示制御部１０６の専用ハードウエアにより行っても良い。なお、マウスの代わりに、タッチパネル、タッチパッド、トラックボール等の他のポインティングデバイスであっても同様に使用可能である。

（第１の実施形態）
次に本発明の第１の実施形態について説明する。本発明の第１の実施形態は、従来のポインティングデバイスで三次元画像データに対し三次元の位置指定を行うものである。

三次元画像データに対する三次元の位置指定とは、例えば、三次元画像空間内の所望の位置へカーソルを移動するカーソルの移動指示、ビューア上に表示する画像データを（ドラッグ等で）Ｘ，Ｙ，Ｚの任意の方向へ移動する指示などである。以降の説明では、カーソルの移動指示を例にして説明するが、画像のドラッグ等の他の操作指示に対しても、同じ三次元位置指定方法を適用できる。また、本実施形態ではポインティングデバイスとしてマウスを用いるが、タッチパネル、タッチパッド、トラックボール等の他のポインティングデバイスであっても本実施形態の三次元位置指定方法は適用可能である。

本実施形態における三次元画像データに対する三次元位置指定方法は、二次元画像に対する位置指定や他のアプリケーションウィンドウの動作に対するカーソル移動などの、通常の二次元位置指定方法とは異なる。そのため、三次元位置指定方法と通常の二次元位置指定方法とを、観測者が必要に応じて適宜切り換えられると好適である。例えば、キーボード１０８のファンクションキー等でモード切り替えを行い、観察者によりモードの設定ができるようにすると好適である。以降、三次元画像データに対する三次元位置指定方法のモードが設定された状態でのマウスの動作の説明をする。

図１は本発明の第１の実施形態を実現するビューアのマウスの動作を実現するフローチャートである。図１のフローチャートに従って動作の詳細を説明する。

初めに、ＣＰＵ１０１は時刻ｔ０とｔ１のマウス１０９の座標を求める（ステップＳＴ１００）。次に、ＣＰＵ１０１は時刻ｔ０とｔ１のマウス１０９の座標から、移動方向、移動速さを求める（ステップＳＴ１０１）。そして、ＣＰＵ１０１はマウスの移動方向からカーソル移動方向を算出する（ステップＳＴ１０２）。具体的な求め方については後述する。そして、ＣＰＵ１０１は算出されたカーソルの移動方向に従ってＸ，Ｙ方向のカーソルの移動、又は、Ｚ方向のカーソルの移動を行う（ステップＳＴ１０３）。ＸＹ方向のカーソルの移動とは、表示されているレイヤー画像データの面内でカーソルの表示位置を変えるというものである。Ｘ方向が画像の水平方向、Ｙ方向が画像の垂直方向である。一方、Ｚ方向のカーソルの移動とは、表示するレイヤー画像データを変更するというものである。ＸＹ方向のカーソルの移動量はマウスの移動速さに比例して決めると好適である。Ｚ方向についてはマウスの移動速さに比例した枚数又は速さでレイヤー画像データの切り換えを行うと好適である。

次に、ステップＳＴ１０１で説明した時刻ｔ０とｔ１のマウス１０９の座標から、マウスの移動方向、マウスの移動速さを求める具体的な方法について、図２を用いて説明する。図２はマウスの移動方向、マウスの移動速さを求める具体的な方法を説明するための模式的な図である。図２においてＣ１００は時刻ｔ０におけるマウスの位置（Ｘ０，Ｙ０）、Ｃ１０１は時刻ｔ１におけるマウスの位置（Ｘ１，Ｙ１）、Ｖ１００は時刻ｔ０から時刻ｔ１のマウスの移動ベクトルを示す。ここで、マウスの位置はマウスが出力するクロックをカウントして決定される。このマウスの位置を示す座標は、例えば表示装置にカーソルを表示した際の座標に変換すると好適である。

ここでマウスの移動方向はこの移動ベクトル（Ｖ１００）の方向、マウスの移動速さは、この移動ベクトル（Ｖ１００）の長さを時間（ｔ１−ｔ０）で割った値である。時刻ｔ０，ｔ１は、例えばタイマー割り込み等の時刻であり、ＣＰＵ１０１はマウス１０９の移動状態を確認し、対応するマウスの位置を算出する。時刻ｔ０，ｔ１は、観察者の操作する速さにより適切に選ぶと良い。時刻ｔ０，ｔ１の間隔は、一般的に数ｍＳｅｃから１００ｍＳｅｃ程度の時間が好適である。

マウスの移動方向（図２中の角度θで表す）は、

と求めることができる。マウスの移動速さＶは、

と求めることができる。

次に、ステップＳＴ１０２でカーソルの移動方向を求める具体的な方法を示す。すなわち、カーソルの移動方向は、以下の様に求めると好適である。

式１）で求めたマウスの移動方向θの範囲は０°〜３６０°であるので、図３に示した様に、マウスの移動方向θからカーソルの移動方向を求める。図３はマウスの移動方向θに対してカーソルの移動方向を決定するための領域を示した図であり、横軸はマウスの移動方向のＸ方向、縦軸はマウスの移動方向のＹ方向、Ｘ軸の正方向となす角がマウスの移動方向θを示す。図３において点線は、マウスの移動方向θに対してカーソルの移動方向を決定する領域を分ける境界線であり、ａ〜ｆの記号で示した領域は、決定したカーソルの移動方向を示す領域である。また、境界線の角度は、それぞれθ１〜θ６でありユーザの違和感が生じない様にあらかじめ決定する。例えば、θ１は３０°、θ２は６０°、θ３は１３５°、θ４は２１０°、θ５は２４０°、θ６は３１５°に設定される。

マウスの移動方向が３１５°から３０°の間すなわち領域ａであればカーソルの移動方向は「＋Ｘ方向」（すなわち０°方向）に決定する。また、マウスの移動方向θが３０°から６０°の間すなわち領域ｂであればカーソルの移動方向は「−Ｚ方向」と決定する。同様に、マウスの移動方向θが６０°から１３５°の間すなわち領域ｃであればカーソルの移動方向は「＋Ｙ方向」（すなわち９０°方向）に決定する。マウスの移動方向θが１３５°から２１０°の間すなわち領域ｄであればカーソルの移動方向は「−Ｘ方向」（すなわち１８０°方向）に決定する。マウスの移動方向θが２１０°から２４０°の間すなわち領域ｅであればカーソルの移動方向は「＋Ｚ方向」と決定する。マウスの移動方向θが２４０°から３１５°の間すなわち領域ｆであればカーソルの移動方向は「−Ｙ方向」（すなわち２７０°方向）に決定する。

つまり、マウスを概ねＸ方向に移動した場合は、Ｘ方向の位置を指定したことになり、マウスを概ねＹ方向に移動した場合は、Ｙ方向の位置を指定したことになり、マウスを斜め方向に移動した場合は、Ｚ方向の位置を指定したことになる。なお、本実施形態では、ＸＹの二次元座標における第１象限の方向と第３象限の方向への移動を斜め方向の移動（Ｚ方向の移動）と認識するようにしている。これにより、Ｘ軸とＹ軸に約４５°で交わる線を仮想的なＺ軸と観念することができる。このようにカーソルの移動方向を決定することによって観察者が奥行き方向（Ｚ方向）にカーソルの位置を指定する際、感覚と一致したＺ方向の位置指定を行うことができる。

以上説明したマウスの移動方向θからカーソルの移動方向を判定する方法を数式で示せば、以下の様に表すことができる。

すなわち、マウスの移動方向をθとすれば、
θ６≦θまたは、θ≦θ１ ・・・式３）
の条件では、カーソルの移動方向を「＋Ｘ方向」と判定し、
θ３≦θ≦θ４ ・・・式４）
の条件では、カーソルの移動方向を「−Ｘ方向」と判定する。

θ２≦θ＜θ３ ・・・式５）
の条件では、カーソルの移動方向を「＋Ｙ方向」と判定し、
θ５≦θ＜θ６ ・・・式６）
の条件では、カーソルの移動方向を「−Ｙ方向」と判定する。

θ４＜θ＜θ５ ・・・式７）
の条件では、カーソルの移動方向を「＋Ｚ方向」と判定し、
θ１＜θ＜θ２ ・・・式８）
の条件では、カーソルの移動方向を「−Ｚ方向」と判定する。

以上の様に、カーソルの移動方向を決定することができる。このような判断を含む計算は、もちろんＣＰＵ１０１により所望のプログラムを実行することにより容易に実現できる。

以上説明した様に、本発明のカーソルの指示やドラッグ操作における表示画像の移動は、その移動方向がＸＹＺ軸と平行な方向に限定される。すなわち、ＸＹ平面上で斜め方向の移動の操作はできない。Ｚスタック画像データを、ビューアを用いて観察する場合、このような移動方向の限定は好適である。なぜならば、病理診断において行われる検体の観察においては、観察者（病理医）は観察する検体の部分領域を一部重なり合う部分を設け移動しながら観察する。このような観察を行うことによって、全ての領域を見落とすことなく検体全体を観察できる。このような観察は具体的には、Ｘ位置を固定し、Ｙ方向に検体の画像を移動しながら表示し観察する。そしてＹ方向全ての観察が終了すると、表示領域が一部重複するようにＸ方向のみ移動する。次に移動したＸ位置でＹ方向逆向きに画像を移動しながら表示し観察する。それを繰り返し検体全体の画像を観察する。また関心領域においては、マウス等を斜めに動かすことによってＺ方向（ピント位置）のみの調整が可能である。このように、病理診断における検体の画像を移動し観察する場合に、移動方向がＸＹＺ軸と平行な方向に限定される本発明の三次元位置指定方法は好適な方法である。

以上述べた三次元位置指定方法によれば、ＸＹの二次元の移動操作が可能な一般的なポインティングデバイスを用いて、ＸＹＺの三次元位置を指定することが可能になる。また、Ｚ方向の位置指定を、ポインティングデバイスを斜め方向に移動させることで行うことができるので、操作が簡単であると共に、ポインティングデバイスの操作とカーソルや表示画像の動きが観察者の感性に合致する。したがって、観察者はポインティングデバイスの操作に違和感を持つことなく、観察に集中することができる。なお、本実施形態では、ポインティングデバイスにより移動させる移動対象としてカーソルを例示したが、表示画像を移動対象とするドラッグ操作等においても、同じ方法を適用することができる。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。第１の実施形態で述べたように、ビューアは、三次元位置指定方法のモードと通常の位置指定方法のモードを有している。第２の実施形態では、ビューアがいずれの位置指定方法のモードで動作しているのかを明示するための表示を行うものである。

図４（ａ）、図４（ｂ）は、第２の実施形態における位置指定方法のモード表示の一例を示す図である。図４（ａ）は表示している検体の画像上に、位置指定方法のモードを明示するガイド画像をオーバラップして表示している例を示す。図４（ｂ）はガイド画像の一例である。図４（ａ）において、２００は画像が表示されるビューアの表示ウィンドウ、２０１は画像中の検体、Ｃ１００はカーソル、Ｚ１００は三次元位置指定方法のモードである時に表示されるガイド画像である。本実施形態のガイド画像Ｚ１００は、ポインテ
ィングデバイスの操作方向（ＸＹ方向の移動か斜め方向の移動か）に対するビューアの動作（カーソル位置又は表示画像の平行移動）か表示レイヤーの切り換えか）を説明する操作ガイドも兼ねている。

ガイド画像Ｚ１００は、画像データとしてＲＯＭ１０２やハードディスクドライブ１０４に記憶されている。ＣＰＵ１０１がそのガイド画像のデータを必要に応じて読み出し、表示制御部１０６を通しビデオＲＡＭ１０７に書き込むことによって、ガイド画像Ｚ１００が表示される。

ガイド画像Ｚ１００を表示する際、表示ウィンドウ２００に表示されている検体の画像にオーバラップして半透明で表示すると好適である。このような処理は表示制御部１０６の演算機能により実現すると好ましい。もちろん、検体の画像データと、ガイド画像Ｚ１００の画像データをＣＰＵ１０１が論理演算し、演算結果を新たにビデオＲＡＭ１０７に書き込むことにより実現することも可能である。

ガイド画像Ｚ１００のオーバラップ表示は、第１の実施形態で述べたような三次元位置指定方法のモードが指定された時に行う。通常の位置指定方法のモードの場合はガイド画像Ｚ１００を表示しない。つまり、本実施形態では、ガイド画像Ｚ１００が表示されているかどうかでモードを判別する。もちろん、通常の位置指定方法のモードであることを示す別のガイド画像を用意し、モードによって表示するガイド画像の種類を変えるという方法でもよい。ガイド画像Ｚ１００の表示を行う位置は現在のカーソルの位置近傍であると良い。他の例としては表示装置の表示画面又は表示ウィンドウ２００の中央や右下等の固定された場所が好適である。

位置指定方法のモードを明示する他の方法として、カーソル自体の形状をモード毎に変化させる方法も好適である。図５（ａ）、図５（ｂ）にその一例を示す。図５（ａ）は通常の位置指定方法のモードの時に表示されるカーソルの形状（Ｃ１００）を示す。図５（ｂ）は三次元位置指定方法のモードの時に表示されるカーソルの形状（Ｃ１０２）の一例である。カーソルの形状（Ｃ１０２）を立体的にすることで、三次元位置を指定可能であることが直感的に理解できるようになっている。このように、観察者が注視するカーソルの形状を変化させることにより、図４（ａ）で示したガイド画像を表示する方法と同様に、観測者が現在のモードを即座に判別することができる。

また、三次元位置指定モードの場合、現在のカーソルの移動方向やスクロール方向が観察者にわかる様に、例えば図４（ｂ）のガイド画像の対応する矢印の色、輝度、形状などが変わる様にして表示し、カーソルの移動方向やスクロール方向が容易に判断できる様にすると好適である。このとき、色、輝度、形状などの属性のうちいずれか１つを変えるだけでもよいし、複数の属性を変えてもよい。また図５（ｂ）の様な立体的なカーソル形状を表示する場合は、カーソルの移動方向に合わせてカーソル自体の向きや形状を変えると、カーソルの移動方向が容易に判断でき、より好適である。例えば、ＸＹ軸方向にカーソルを移動する時はカーソル自体の向きを表示画面のＸＹ軸方向に合わせればよい。Ｚ方向にカーソルを移動する時は、例えば奥方法は右斜め上方向に、手前方向は左斜め下方向に向けてカーソルを表示画面に表示すれば良い。このときカーソルの色や輝度を変えてもよい。

上記のように三次元位置指定モードと通常モードのいずれのモードで動作しているのかを示すガイド画像をビューアに表示するようにしたことで、観察者が現在のモードを知ることができる。また、観察者が操作している現在の移動方向を容易に確認できる。その結果、観察者の操作の間違いを予防でき、ユーザビリティを向上できる。モードを示すガイド画像は、どのようなものであってもよい。例えば、モードに応じてカーソルの色を変え
てもよい。或いは、モードに応じてビューアの構成部品（例えば、ビューアのアプリケーションウィンドウや表示ウィンドウ）の色や形状を変えてもよい。

（第３の実施形態）
次に本発明の第３の実施形態について説明する。本発明の第３の実施形態は、第１または第２の実施形態で説明した三次元位置指定方法と通常の位置指定方法とを自動に切り換えることを可能にした実施形態である。前述した実施形態同様、ポインティングデバイスとしてマウスを用いた実施形態について以下説明する。もちろん、他のポインティングデバイスを用いても同様に実施可能である。

図６は本発明の第３の実施形態を実現するビューアのマウスの動作を実現するフローチャートである。図６のフローチャートに従って動作の詳細を説明する。

ＣＰＵ１０１がマウス１０９の移動を検知すると図６のフローチャートに従って以降の動作を行う。なお、図１のフローチャートと同じ番号を付したステップ（ＳＴ１００，ＳＴ１０１，ＳＴ１０２，ＳＴ１０３）の処理は、第１の実施形態で説明したものと同様である。ＣＰＵ１０１は、時刻ｔ０とｔ１のマウス１０９の座標を求め（ステップＳＴ１００）、時刻ｔ０とｔ１のマウス１０９の座標から、移動方向、移動速さを求める（ステップＳＴ１０１）。次に、ＣＰＵ１０１は、時刻ｔ０におけるカーソルの表示位置に表示されているものが検体の三次元画像であるか否か、つまりカーソルが検体の三次元画像の上に存在するか否かを判断する（ステップＳＴ１２０）。

カーソルが三次元画像の上にある場合には、第１の実施形態で説明した様に、ＣＰＵ１０１はマウスの移動方向からカーソル移動方向を算出する（ステップＳＴ１０２）。そして、算出されたカーソルの移動方向に従ってＸ，Ｙ方向のカーソルの移動又はＺ方向の表示レイヤー切り換えが行われる（ステップＳＴ１０３）。これらの処理の詳細は第１の実施形態で説明したとおりである。

一方、ステップＳＴ１２０で、カーソルが三次元画像の上に無いと判断されると、ステップＳＴ１２１に進む。例えば、カーソルが表示ウィンドウの外に存在する場合や、表示ウィンドウに表示されている画像が二次元画像である場合には、ステップＳＴ１２１に進む。ＳＴ１２１では、通常の位置指定方法の処理、すなわち、マウスの操作どおりにカーソルを移動させる。

このように、カーソルが存在する位置が検体の三次元画像を表示している表示位置であるかを判断し、マウスの位置指定方法を切り換えることによって、観察者がモードを切り換える手間を必要とせず好適なマウスによる位置指定方法を選択できる。その結果、更に好適な三次元位置指定を行うことが可能となる。なお、ステップＳＴ１２０の判断処理は、カーソルの表示位置が検体の画像の表示領域の内にあるか否かという判断、或いは、ビューアの表示ウィンドウ内にカーソルがあるか否かという判断に置き換えてもよい。

本発明の第３の実施形態によれば、カーソルの位置に応じてモードの切り替えが自動で行われる。このとき、第２の実施形態で述べたように、モードの切り替わりに応じて、ガイド画像の表示も自動的に切り替えるとよい。これにより、観察者がモードの切り替わりを認識できるので、誤操作を防止し、ユーザビリティのさらなる向上を図ることができる。

本発明は、バーチャルマイクロスコープと言われるディジタル顕微鏡システムに好適に適用可能である。

１：コンピュータ、２：表示装置、１０１：ＣＰＵ、１０９：マウス

Claims (13)

1. ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、
   ポインティングデバイスのＸ方向の移動によりＸ方向の位置を指定し、
   ポインティングデバイスのＹ方向の移動によりＹ方向の位置を指定し、
   ポインティングデバイスの斜め方向の移動によりＺ方向の位置を指定する
   ことを特徴とする三次元位置指定方法。
2. 三次元画像データからある奥行き位置の画像を取得し表示するビューアにおいて、ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、
   ポインティングデバイスのＸ方向の移動により、表示画像に対してＸ方向の位置を指定し、
   ポインティングデバイスのＹ方向の移動により、表示画像に対してＹ方向の位置を指定し、
   ポインティングデバイスの斜め方向の移動により、表示画像の奥行き位置を指定する
   ことを特徴とする三次元位置指定方法。
3. 前記斜め方向の移動とは、ＸＹの二次元座標における第１象限の方向及び第３象限の方向への移動である
   ことを特徴とする請求項１又は２に記載の三次元位置指定方法。
4. ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、
   ポインティングデバイスの移動操作が、予め決められた、Ｘ方向の移動、Ｙ方向の移動、斜め方向の移動のうちのいずれであるかをコンピュータが判定するステップと、
   ポインティングデバイスの移動操作がＸ方向の移動である場合にコンピュータが移動対象をＸ方向に移動し、ポインティングデバイスの移動操作がＹ方向の移動である場合にコンピュータが移動対象をＹ方向に移動し、ポインティングデバイスの移動操作が斜め方向の移動である場合にコンピュータが移動対象をＺ方向に移動するステップと、
   を含むことを特徴とする三次元位置指定方法。
5. 三次元画像データからある奥行き位置の画像を取得し表示するビューアにおいて、ＸＹの二次元の移動操作が可能なポインティングデバイスにより、ＸＹＺの三次元位置を指定する方法であって、
   ポインティングデバイスの移動操作が、予め決められた、Ｘ方向の移動、Ｙ方向の移動、斜め方向の移動のうちのいずれであるかをコンピュータが判定するステップと、
   ポインティングデバイスの移動操作がＸ方向の移動である場合にコンピュータが表示画像又はカーソルをＸ方向に移動し、ポインティングデバイスの移動操作がＹ方向の移動である場合にコンピュータが表示画像又はカーソルをＹ方向に移動し、ポインティングデバイスの移動操作が斜め方向の移動である場合にコンピュータが表示画像の奥行き位置を変更するステップと、
   を含むことを特徴とする三次元位置指定方法。
6. 前記斜め方向の移動とは、ＸＹの二次元座標における第１象限の方向及び第３象限の方向への移動である
   ことを特徴とする請求項５に記載の三次元位置指定方法。
7. 前記ビューアが、前記ポインティングデバイスによりＸＹＺの三次元位置を指定可能な
   モードと、前記ポインティングデバイスによりＸＹの二次元位置を指定可能なモードとを有しており、
   前記三次元位置指定方法は、前記ビューアがいずれのモードで動作しているのかを示すガイド画像をコンピュータが前記ビューアに表示するステップをさらに含む
   ことを特徴とする請求項５又は６に記載の三次元位置指定方法。
8. 前記ガイド画像は、ポインティングデバイスの操作方向に対する前記ビューアの動作を説明する操作ガイドを兼ねている
   ことを特徴とする請求項７に記載の三次元位置指定方法。
9. 前記ガイド画像は、モード毎に形状又は色が異なる、カーソルの画像若しくはビューアの構成部品の画像である
   ことを特徴とする請求項７に記載の三次元位置指定方法。
10. ポインティングデバイスの移動操作がＸ方向の移動、Ｙ方向の移動、斜め方向の移動のうちのいずれであるかに応じて、コンピュータが前記ガイド画像の色、輝度、形状、向きのうち少なくとも一つを変化させる
    ことを特徴とする請求項７または請求項９に記載の三次元位置指定方法。
11. 前記ポインティングデバイスによりＸＹＺの三次元位置を指定可能なモードと、前記ポインティングデバイスによりＸＹの二次元位置を指定可能なモードの切り替えを、コンピュータがユーザに指定させるステップをさらに含む
    ことを特徴とする請求項７〜１０のうちいずれか１項に記載の三次元位置指定方法。
12. 前記ポインティングデバイスによりＸＹＺの三次元位置を指定可能なモードと、前記ポインティングデバイスによりＸＹの二次元位置を指定可能なモードの切り替えを、カーソルの位置に応じてコンピュータが自動で行うステップをさらに含む
    ことを特徴とする請求項７〜１０のうちいずれか１項に記載の三次元位置指定方法。
13. 請求項４〜１２のうちいずれか１項に記載の三次元位置指定方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images