[go: up one dir, main page]

JP2014002190A - コンピュータ装置及びプログラム - Google Patents

コンピュータ装置及びプログラム Download PDF

Info

Publication number
JP2014002190A
JP2014002190A JP2012135679A JP2012135679A JP2014002190A JP 2014002190 A JP2014002190 A JP 2014002190A JP 2012135679 A JP2012135679 A JP 2012135679A JP 2012135679 A JP2012135679 A JP 2012135679A JP 2014002190 A JP2014002190 A JP 2014002190A
Authority
JP
Japan
Prior art keywords
microscope
area
drive control
microscope image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012135679A
Other languages
English (en)
Inventor
Masashi Imatsuji
諒志 今辻
Hiromi Fujimasu
裕実 藤枡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2012135679A priority Critical patent/JP2014002190A/ja
Publication of JP2014002190A publication Critical patent/JP2014002190A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】顕微鏡画像への入力に応じて、顕微鏡を適切に制御することが可能なコンピュータ装置を提供する。
【解決手段】コンピュータ装置は、顕微鏡が有するカメラにて撮影された顕微鏡画像を表示させる表示制御手段と、顕微鏡画像の表示態様を変更するために当該顕微鏡画像に対してなされた指示入力に基づいて、顕微鏡を制御する駆動制御手段と、を備える。これにより、顕微鏡を制御することで、所望の表示態様を適切に実現することが可能となる。
【選択図】図1

Description

本発明は、コンピュータ装置によって顕微鏡を制御する技術分野に関する。
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている。例えば、特許文献1には、アノトペンが、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信することが記載されている。また、特許文献2には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。
その他にも、本発明に関連する技術が特許文献3乃至5に開示されている。特許文献3には、顕微鏡画像をパソコン画面に表示するシステムが開示されている。特許文献4には、回転可能なレボルバに複数の対物レンズを設け、レボルバの回転を検知して、対物レンズの位置を検知する顕微鏡が開示されている。特許文献5には、ディスプレイ上での指示により、標本台(ステージ)を水平方向・上下方向に移動させたり、レボルバを駆動させて対物レンズを切り替えたりすることが開示されている。
特許第3872498号公報 特表2003−529853号公報 特表2002−507780号公報 特公平8−16736号公報 特開2011−242600号公報
ところで、画面上に表示された顕微鏡画像への入力に応じて、顕微鏡に対して所望の制御を行うことができれば便宜である。そこで、本発明は、顕微鏡画像への入力に応じて、顕微鏡を適切に制御することが可能なコンピュータ装置及びプログラムを提供することを主な目的とする。
本発明の1つの観点では、コンピュータ装置は、顕微鏡が有するカメラにて撮影された顕微鏡画像を表示させる表示制御手段と、前記顕微鏡画像の表示態様を変更するために当該顕微鏡画像に対してなされた指示入力に基づいて、前記顕微鏡を制御する駆動制御手段と、を備える。
上記のコンピュータ装置では、表示制御手段は、顕微鏡によって形成された画像をカメラにて撮影することで生成された画像データが入力され、当該画像データにより顕微鏡画像を表示させる。駆動制御手段は、顕微鏡画像の表示態様を変更するために当該顕微鏡画像に対してなされた指示入力に基づいて、顕微鏡を制御する。上記のコンピュータ装置によれば、顕微鏡を制御することで、所望の表示態様を適切に実現することができる。
なお、表示態様を変更するために行われる制御としては、例えば、顕微鏡画像を表示エリアの中央に表示させるための制御や、顕微鏡画像を拡大して表示させるための制御などが挙げられる。また、実際に顕微鏡に対して行われる制御としては、例えば、標本台を移動させる制御や、対物レンズを切り替える制御や、カメラのピントを調整する制御などが挙げられる。
上記のコンピュータ装置の一態様では、前記指示入力は、前記顕微鏡画像上で指示された位置を示す指示位置を含む入力であり、前記駆動制御手段は、前記指示位置が表示エリアの中心に位置する顕微鏡画像が表示されるように、前記顕微鏡の標本台を水平方向に移動させる制御を行う。これにより、指示位置が表示エリアの中心に位置するような顕微鏡画像を、適切に表示させることが可能となる。
上記のコンピュータ装置の他の一態様では、前記指示入力は、前記顕微鏡画像上で指示された領域を示す指示領域を含む入力であり、前記駆動制御手段は、前記指示領域が表示エリアの中心に位置する顕微鏡画像が表示されるように、前記顕微鏡の標本台を水平方向に移動させる制御を行う。これにより、指示領域が表示エリアの中心に位置するような顕微鏡画像を、適切に表示させることが可能となる。
上記のコンピュータ装置の他の一態様では、前記駆動制御手段は、前記指示領域が前記表示エリア内において拡大された顕微鏡画像が表示されるように、前記顕微鏡に対する制御を更に行う。これにより、指示領域が表示エリア内において拡大された顕微鏡画像を、適切に表示させることが可能となる。
上記のコンピュータ装置の他の一態様では、前記駆動制御手段は、前記顕微鏡の対物レンズを切り替える制御、及び前記カメラのズームを調整する制御の両方又は一方を行うことで、前記指示領域が拡大された顕微鏡画像を表示させる。これにより、倍率を適切に調整することができ、指示領域が所望のサイズに拡大された顕微鏡画像を表示させることが可能となる。
上記のコンピュータ装置において好適には、前記駆動制御手段は、前記指示領域が拡大された顕微鏡画像を表示させる場合の拡大率に基づいて、前記対物レンズを切り替える制御及び前記カメラのズームを調整する制御の少なくともいずれか一方を行う。これにより、指示領域を拡大すべき拡大率を適切に実現することができる。
また、上記のコンピュータ装置において好適には、前記駆動制御手段は、前記対物レンズを切り替える制御と前記カメラのズームを調整する制御とのいずれを優先して行うかの設定に応じて、前記対物レンズを切り替える制御及び前記カメラのズームを調整する制御のいずれか一方を行う。これにより、ユーザなどによる設定に応じて、対物レンズを切り替える制御及びカメラのズームを調整する制御のいずれか一方を行うことができる。
上記のコンピュータ装置の他の一態様では、前記駆動制御手段は、前記指示領域が拡大された顕微鏡画像を表示させるための制御を行った後に、ピントを合わせるために前記標本台を上下方向に移動させる制御を行う。これにより、ピントの合った顕微鏡画像を適切に表示させることができる。
好適には、前記駆動制御手段は、前記標本台上に載置されたプレパラートが前記顕微鏡の対物レンズに接触しないように制限を課して、前記標本台を上下方向に移動させる制御を行う。これにより、ピントを合わせるための制御時に、プレパラートが対物レンズに接触してしまうことを適切に防止することができる。
上記のコンピュータ装置の他の一態様では、前記駆動制御手段は、前記指示領域が拡大された顕微鏡画像を表示させるための制御を行う前に、前記標本台上に載置されたプレパラートが少なくとも前記顕微鏡の対物レンズに接触しないような上下方向における所定位置に、前記標本台を移動させる制御を行う。これにより、指示領域を拡大した顕微鏡画像を表示させるために対物レンズを切り替えた際に、プレパラートが対物レンズに接触してしまうことを適切に防止することができる。
上記のコンピュータ装置において好適には、前記駆動制御手段は、前記指示領域が前記表示エリア内において最大限のサイズに拡大された顕微鏡画像が表示されるように、前記顕微鏡に対する制御を行うことができる。
本発明の他の観点では、プログラムは、上記コンピュータ装置として機能させる。当該プログラムを実行することにより、上記のコンピュータ装置を実現することができる。
本発明によれば、顕微鏡を制御することで、所望の表示態様を適切に実現することができる。
本実施形態に係る情報処理システムのシステム構成図である。 顕微鏡の構造を示す概略図である ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 (a)はドットパターンを模式的に示し、(b)はそれに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 コンピュータ装置の機能ブロック図である。 中心合わせモードを具体的に説明するための図を示す。 中心合わせモードにおいて行われる処理を示すフローである。 倍率調整モードを具体的に説明するための図を示す。 倍率調整モードにおいて行われる処理を示すフローである。
以下、図面を参照しながら、本発明の実施の形態について説明する。
[情報処理システムの構成]
図1は、本実施形態に係る情報処理システム10のシステム構成図である。図1に示すように、情報処理システム10は、先生などのユーザが使用する電子ペン1と、電子ペン1から記入情報などを受信して種々の処理を行うコンピュータ装置2と、コンピュータ装置2と接続され、レンズによって微小な物体を視覚的に拡大すると共に、レンズによって拡大することで形成された画像のデータをコンピュータ装置2に出力する顕微鏡3と、コンピュータ装置2と接続され、そのディスプレイの表示画面と同じ画像をドットスクリーン5に投影するプロジェクタ4と、ドットパターンが印刷されたドットスクリーン5とを備える。
電子ペン1は、アノトペンなどを利用することができ、ドットパターン(コード化パターン)を読み取って記入情報を生成する。電子ペン1は、生成した記入情報を、Bluetooth(登録商標)等の無線通信方式でコンピュータ装置2に送信する。ドットスクリーン5の表面には、電子ペン1により読み取り可能な、ドットパターン(コード化パターン)が形成されている。
顕微鏡3は、レンズによって拡大した画像に対応する画像データをコンピュータ装置2に出力する。また、顕微鏡3は、顕微鏡3内の構成要素を制御するための制御信号がコンピュータ装置2から入力される。つまり、顕微鏡3は、コンピュータ装置2によって種々の制御が行われる。
コンピュータ装置2は、顕微鏡3から入力された画像データに対応する画像(顕微鏡画像)を、プロジェクタ4によりドットスクリーン5に投影表示させる。また、コンピュータ装置2は、顕微鏡画像が表示されたドットスクリーン5上でユーザが電子ペン1によって記入することで入力した指示を含む記入情報に基づいて、顕微鏡3に対する制御を行う。具体的には、ユーザは、顕微鏡画像上に電子ペン1を用いて記入を行うことで、顕微鏡画像の表示態様を変更させるための指示を入力し、コンピュータ装置2は、電子ペン1によって生成された記入情報に含まれる指示に応じた顕微鏡画像の表示態様を実現すべく、顕微鏡3に対して制御信号を出力する。
[顕微鏡]
次に、図2を参照して、顕微鏡3について説明する。図2は、顕微鏡3の構造を示す概略図である。顕微鏡3は、主に、接眼レンズ3aと、それぞれで倍率が異なる、複数の対物レンズ3bと、接眼レンズ3a及び対物レンズ3bによって拡大された画像を撮影するカメラ3cと、複数の対物レンズ3bを保持すると共に本体に対して回転可能なレボルバ3dと、プレパラート3fが載置される標本台(ステージ)3eと、標本(試料)がスライドグラス上に載置されたプレパラート3f(標本がスライドグラスとカバーグラスとの間に挟みこまれたものをプレパラート3fとしても良い)と、標本台3eを移動可能に構成されたアクチュエータ3gと、レボルバ3dを回転駆動可能に構成されたアクチュエータ3hとを備える。
カメラ3cは、接眼レンズ3a及び対物レンズ3bによって形成された画像を撮影し、撮影によって生成された画像データを画像信号S1としてコンピュータ装置2に出力する。また、カメラ3cは、ズーム機能を有しており、コンピュータ装置2から入力される制御信号S2によってズームの調整が行われる。コンピュータ装置2は、顕微鏡画像に対して適用される倍率を変化させるべく、カメラ3cに対して制御信号S2を出力してズームの調整を行う。なお、コンピュータ装置2には、カメラ3cのズーム機能により倍率が調整された画像信号S1が入力される。
アクチュエータ3gは、電動モータなどを有し、標本台3eをX方向及びY方向(つまり水平方向)並びにZ方向(つまり上下方向)に移動可能に構成され、コンピュータ装置2から入力される制御信号S3によって制御が行われる。標本台3eがX方向及び/又はY方向に移動された場合には、画面上での顕微鏡画像の表示位置が変化する。コンピュータ装置2は、顕微鏡画像を所望の位置に表示させるべく、アクチュエータ3gに対して制御信号S3を出力することで、アクチュエータ3gによって標本台3eをX方向及び/又はY方向に移動させる。他方で、標本台3eがZ方向に移動された場合には、フォーカス(ピント)が変化する。コンピュータ装置2は、ピントを合わせるべく、アクチュエータ3gに対して制御信号S3を出力することで、アクチュエータ3gによって標本台3eをZ方向に移動させる。
アクチュエータ3hは、電動モータなどを有し、レボルバ3dを回転させることで対物レンズ3bを切り替えることが可能に構成され、コンピュータ装置2から入力される制御信号S4によって制御が行われる。コンピュータ装置2は、顕微鏡3の倍率を所望の倍率に設定すべく、アクチュエータ3hに対して制御信号S4を出力することで、アクチュエータ3hによって対物レンズ3bを切り替える。
[ドットパターン]
次に、図3及び図4を参照しながら、ドットスクリーン5に印刷されたアノト方式のドットパターン(コード化パターン)について説明する。図3は、ドットスクリーン5に印刷されたドットパターンのドットと、そのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組み合わせにより、ドットスクリーン5上の位置座標が決定されるように構成されている。
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、ドットスクリーン5上のどの部分から6×6ドットを取っても、ユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがドットスクリーン5上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて、対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン1によって行われる。
[電子ペン]
次に、電子ペン1について図5を用いて説明する。図5は、電子ペン1の構造を示す概略図である。図5に示すように、電子ペン1は、その筐体101の内部に、ペン部104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111、及びバッテリー112を備える。
ペン部104の先端はペン先部103となっており、ユーザ(先生など)は、電子ペン1のペン先部103をドットスクリーン5に当接させて、ドットスクリーン5にストローク(手書きストローク)を記入したり、電子ペン1のペン先部103をドットスクリーン5に当接させてタップ(ペン先部103による軽叩)したりする。ここで、電子ペン1のペン先部103がドットスクリーン5に接触することをペンダウンと呼び、接触している(当接している)状態からペン先部103が離れることをペンアップと呼ぶ。電子ペン1のペンダウンからペンアップまでの間に記入される軌跡が1つのストロークとなり、文字や図形等は、1つ又は複数個のストロークからなる。
バッテリー112は電子ペン1内の各部品に電力を供給するためのものであり、例えば電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1によりドットスクリーン5にストロークを記入したりタップしたりする際にペン先部103からペン部104を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ108へ伝送する。なお、ペン先部103は、インクを有さず、ペン部104を介して圧力センサ107に筆圧を伝達する。
プロセッサ108は、圧力センサ107から与えられる筆圧データに基づいて、LED105及びCMOSカメラ106のスイッチのオン/オフを切替える。即ち、ユーザが電子ペン1によりドットスクリーン5にストロークを記入したりタップしたりすると、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、LED105及びCMOSカメラ106を作動させる。そして、通信ユニット111が、圧力センサ107により検出されたペンダウン情報PDと、後述するペンIDとを関連付けて、記入情報としてコンピュータ装置2へ送信する。また、ユーザが1つのストロークを記入し終えて電子ペン1をドットスクリーン5から離すと、圧力センサ107は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット111が、圧力センサ107により検出されたペンアップ情報とペンIDとを関連付けて、記入情報としてコンピュータ装置2へ送信する。
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、ドットスクリーン5上のペン先部103近傍に向けて赤外線を照明する。その領域は、ペン先部103がドットスクリーン5に接触する位置とはわずかにずれている。CMOSカメラ106は、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、LED105によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。ここで、カーボンは赤外線を吸収するため、LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、ドットスクリーン5に文字や枠線などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ108は、ドットパターンを認識することができる。なお、CMOSカメラ106による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。また、CMOSカメラ106は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
プロセッサ108は、ユーザの記入が行われる間、CMOSカメラ106によって供給される画像データのドットパターンから、ユーザが記入するストローク(筆跡)のドットスクリーン5上におけるX、Y座標(以後、単に「位置座標」または「座標情報」とも呼ぶ。)を連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX、Y座標データを演算する。なお、プロセッサ108は、ドットパターンに対向する電子ペン1の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際、その機能を発揮させる。そして、プロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ及びX、Y座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、ドットスクリーン5における6×6のドットパターンは、ドットスクリーン5内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がドットスクリーン5のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
メモリ109には、電子ペン1を識別するための「pen01」といったペンID、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、ペンIDと、時刻情報(タイムスタンプ)と、筆圧データと、X、Y座標データとを関連付けて、記入情報としてコンピュータ装置2へ送信する。通信ユニット111によるコンピュータ装置2への送信は、Bluetooth(登録商標)などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン1のペンダウンからペンアップまでの間に生成されてコンピュータ装置2に送信された1個又は複数個の座標属性情報は、コンピュータ装置2によりストローク情報として記憶される。換言すると、1つのストロークは、1個又は複数個のX、Y座標(座標点)からなり、コンピュータ装置2は、ペンダウン情報及びペンアップ情報によって、1つのストロークを構成する1個又は複数個の座標属性情報を認識する。
[コンピュータ装置]
次に、コンピュータ装置2について説明する。コンピュータ装置2は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等で構成される。例えば、コンピュータ装置2は、iPad(登録商標)などのタブレットPCや、PDA(Personal Data Assistance)、またはディスプレイを備えるPC(パーソナルコンピュータ)などで構成される。
図6は、コンピュータ装置2の機能ブロック図である。コンピュータ装置2は、機能的には、マウスやキーボードといった入力手段21、受信手段22、処理手段24、記憶手段25、表示手段26、インターフェース27a、27b、インターフェース28を備える。受信手段22は、アンテナ受信回路等により構成され、電子ペン1から記入情報を受信し、受信した記入情報を処理手段24に伝送する。表示手段26は、ディスプレイ等によって構成され、処理手段24によって指示された内容を表示する。
インターフェース27a、27bは、顕微鏡3と接続するためのインターフェースである。具体的には、インターフェース27aは、顕微鏡3のカメラ3cによって撮影された画像についての画像信号S1が入力され、当該画像信号S1に対応する画像データを処理手段24に伝送する。また、インターフェース27aは、処理手段24によって生成された、カメラ3cのズームの調整を行うための制御信号S2を、カメラ3cに出力する。
インターフェース27bは、処理手段24によって生成された制御信号S3、S4のそれぞれを、アクチュエータ3g、3hに出力する。具体的には、インターフェース27bは、標本台3eをX方向、Y方向及びZ方向に移動させるための制御信号S3を、アクチュエータ3gに出力する。また、インターフェース27bは、対物レンズ3bを切り替えるべく、レボルバ3dを回転させるための制御信号S4を、アクチュエータ3hに出力する。
なお、2つのインターフェース27a、27bを用いて顕微鏡3と接続することに限定はされず、1つのインターフェースのみを用いて顕微鏡3と接続しても良い。1つのインターフェースのみを用いる場合には、当該インターフェースは、顕微鏡3から画像信号S1が入力されると共に、顕微鏡3に制御信号S2、S3、S4を出力する。
インターフェース28は、プロジェクタ4と接続するためのインターフェースである。インターフェース28は、処理手段24の処理命令に基づき、表示手段26に画像を表示するための画像信号をプロジェクタ4に送信し、表示手段26の画像と同じ画像を同期して投影させる。
記憶手段25は、ハードディスクやROM、RAMといったメモリによって構成される。記憶手段25は、ドットスクリーン5に割り当てられたドットパターンの座標範囲に関する座標定義情報を記憶している。ドットパターンの座標範囲は、矩形の角の位置座標(Xn,Yn)、高さ(H)、幅(W)によって規定される。また、記憶手段25は、処理手段24の処理命令により、電子ペン1から受信した記入情報をペンID毎に記憶し、さらに、処理手段24の指示により、記憶領域を確保して、ペンダウンからペンアップまでの記入情報に含まれる座標属性情報をストローク情報として記憶する。上記以外にも、記憶手段25は、処理手段24の指示により、プログラムの実行により生成される各種情報を記憶する。
処理手段24は、CPU等のプロセッサによって構成され、コンピュータ装置2の全体の制御を行う。具体的には、処理手段24は、表示制御手段241及び駆動制御手段242を有する。
表示制御手段241は、インターフェース27aに入力された画像信号S1に対応する画像データ(つまり顕微鏡3のカメラ3cによる撮影によって生成された画像データ)に基づいて、当該画像データに対応する顕微鏡画像を表示手段26のディスプレイに表示させる。また、表示制御手段241は、顕微鏡画像をプロジェクタ4によりドットスクリーン5に投影表示させるべく、顕微鏡画像についてのデータを、インターフェース28を介してプロジェクタ4に送信する。
更に、電子ペン1によってドットスクリーン5にストロークが記入された場合、表示制御手段241は、受信手段22によって受信された記入情報(つまり電子ペン1によって生成された記入情報)に基づいて、電子ペン1によってドットスクリーン5に記入されたストロークを描画したストローク画像を、表示手段26のディスプレイに表示させる。また、表示制御手段241は、ストローク画像をプロジェクタ4によりドットスクリーン5に投影表示させるべく、ストローク画像についてのデータを、インターフェース28を介してプロジェクタ4に送信する。なお、ドットスクリーン5上にストローク画像を投影表示させる場合、キャリブレーションによって、ドットスクリーン5の領域内の座標値と、プロジェクタ4によりドットスクリーン5に画像が投影表示される表示手段26のディスプレイ領域内における座標値との間で座標変換するための座標変換関数を事前に求めておく必要がある。
更に、表示制御手段241は、上記したような顕微鏡画像が表示された表示エリアの外のエリアに、(1)画面上で指示された位置(指示位置)が表示エリアの中心に位置するような顕微鏡画像を表示させるためのボタン(以下では「中心合わせボタン」と呼ぶ。)と、(2)画面上で指示された領域(指示領域)が表示エリア内において最大限のサイズに拡大され、且つ指示領域が表示エリアの中心に位置するような顕微鏡画像を表示させるためのボタン(以下では「倍率調整ボタン」と呼ぶ。)とを表示させる。
駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、より具体的には顕微鏡画像が表示されたドットスクリーン5上でユーザが電子ペン1によって記入することで入力した指示を含む記入情報に基づいて、顕微鏡3に対する制御を行う。この場合、駆動制御手段242は、上記した中心合わせボタンが電子ペン1により選択されたことを記入情報が示している場合と、上記した倍率調整ボタンが電子ペン1により選択されたことを記入情報が示している場合とで、異なる制御を行う。以下では、中心合わせボタンが選択された場合を「中心合わせモード」と呼び、倍率調整ボタンが選択された場合を「倍率調整モード」と呼ぶ。
中心合わせモードにおいては、駆動制御手段242は、電子ペン1によって指示された位置を示す指示位置(具体的には電子ペン1によってタップされた位置)を記入情報に基づいて検出し、その指示位置が表示エリアの中心に位置する顕微鏡画像が表示されるように、顕微鏡3に対する制御を行う。具体的には、駆動制御手段242は、アクチュエータ3gによって標本台3eをX方向及び/又はY方向(つまり水平方向)に移動させる制御を行う。この場合、駆動制御手段242は、指示位置と表示エリアの中心との距離や倍率などに基づいて、標本台3eをX方向及び/又はY方向に移動させるべき移動距離を求め、当該移動距離に応じた制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。
他方で、倍率調整モードにおいては、駆動制御手段242は、電子ペン1によって指示された領域を示す指示領域(具体的には電子ペン1により記入されたストロークで囲まれた領域)を記入情報に基づいて検出し、指示領域が表示エリア内において最大限のサイズに拡大され且つ表示エリアの中心に位置する顕微鏡画像が表示されるように、顕微鏡3に対する制御を行う。具体的には、まず、指示領域が表示エリアの中心に位置するような顕微鏡画像を表示させるべく、駆動制御手段242は、アクチュエータ3gによって標本台3eをX方向及び/又はY方向(つまり水平方向)に移動させる制御を行う。この場合、駆動制御手段242は、指示領域の中心と表示エリアの中心との距離や倍率などに基づいて、標本台3eをX方向及び/又はY方向に移動させるべき移動距離を求め、当該移動距離に応じた制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。
次に、指示領域が表示エリア内において最大限のサイズに拡大された顕微鏡画像を表示させるべく、駆動制御手段242は、所望の倍率へと変更されるように、アクチュエータ3hによって対物レンズ3bを切り替える制御、及びカメラ3cのズームを調整する制御の一方又は両方を行う。この場合、駆動制御手段242は、指示領域を表示エリア内において最大限のサイズに拡大する場合の拡大率を求めて、当該拡大率を実現可能な倍率に調整すべく、対物レンズ3bを切り替える制御、及びカメラ3cのズームを調整する制御の少なくともいずれか一方を行う。1つの例では、駆動制御手段242は、拡大率が比較的大きい場合には、対物レンズ3bを切り替える制御を少なくとも行うと決定し、拡大率が比較的小さい場合には、対物レンズ3bを切り替える制御を行わずに、カメラ3cのズームを調整する制御のみを行うと決定する。このように指示領域が拡大された顕微鏡画像を表示させる場合、駆動制御手段242は、所望の対物レンズ3bに設定されるようにレボルバ3dを回転させるための制御信号S4を、インターフェース27bを介してアクチュエータ3hに出力したり、所望のズームに調整するための制御信号S2を、インターフェース27aを介してカメラ3cに出力したりする。
なお、電子ペン1により記入されたストロークで囲まれた領域をそのまま指示領域として用いることに限定はされず、そのようなストロークで囲まれた領域を含む矩形領域(例えばストロークで囲まれた領域に外接する矩形領域)を指示領域として用いても良い。この場合には、駆動制御手段242は、矩形領域が表示エリア内において最大限のサイズに拡大され且つ表示エリアの中心に位置するような顕微鏡画像が表示されるように、顕微鏡3に対する制御を行う。
更に、駆動制御手段242は、倍率調整モードにおいて、上記したような指示領域が拡大された顕微鏡画像を表示させるための制御を行う前に、いずれの対物レンズ3bに切り替えてもプレパラート3fが対物レンズ3bに接触しないようなZ方向における所定位置に、アクチュエータ3gによって標本台3eをZ方向(つまり上下方向)に移動させる制御を行う。即ち、駆動制御手段242は、標本台3eをZ方向における所定位置に移動させてから、指示領域が拡大された顕微鏡画像を表示させるための制御を行う。例えば、駆動制御手段242は、標本台3eをZ方向における最下部に移動させる。
更に、駆動制御手段242は、倍率調整モードにおいて、上記したような指示領域が拡大された顕微鏡画像を表示させるための制御を行った後に、ピントを合わせるために、アクチュエータ3gによって標本台3eをZ方向(つまり上下方向)に移動させる制御を行う。この場合、駆動制御手段242は、プレパラート3fが対物レンズ3bに接触しないように制限を課して、標本台3eをZ方向に移動させる制御を行う。
[中心合わせモード]
次に、本実施形態に係る中心合わせモードについて具体的に説明する。
(表示画面)
図7は、中心合わせモードに関する表示画面例を説明するための図を示す。図7(a)は、表示画面上で中心合わせモードに関する指示が入力される様子を示している。この画面は、表示制御手段241による制御に基づき、表示手段26のディスプレイに表示され、プロジェクタ4によりドットスクリーン5に投影表示される画面である。すなわち、表示手段26のディスプレイと、ドットスクリーン5には、同じ画像が同期して表示される。図7(a)に示すように、表示制御手段241は、インターフェース27aに入力された画像データに基づいて、当該画像データに対応する顕微鏡画像G11を表示させる。この場合、表示制御手段241は、顕微鏡画像やストローク画像を表示するための表示エリアR1内に、顕微鏡画像G11を表示させる。また、表示制御手段241は、そのような表示エリアR1の下方に、中心合わせモードを選択するための中心合わせボタンB1と、倍率調整モードを選択するための倍率調整ボタンB2とを表示させる。
図7(a)に示すように、ユーザは、中心合わせモードを選択する場合、まず、ドットスクリーン5上において中心合わせボタンB1が表示された箇所を電子ペン1でタップする。この後、ユーザは、図中の矢印で示すように、表示エリアR1の中心に表示させたい位置(具体的には表示エリアR1に対応するドットスクリーン5上の領域内の位置であり、典型的には顕微鏡画像G11が表示されたドットスクリーン5上の領域内の位置)を、電子ペン1でタップする。
他方で、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、ドットスクリーン5上において中心合わせボタンB1が表示された箇所が電子ペン1でタップされたことを検知する。つまり、駆動制御手段242は、電子ペン1により中心合わせボタンB1が選択されたことを検知する。この後、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、表示エリアR1に対応するドットスクリーン5上の領域内の位置が電子ペン1でタップされたことを検知し、電子ペン1によってタップされた位置を指示位置として検出する。次に、駆動制御手段242は、当該指示位置の画面上での位置(座標)を求める。具体的には、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、指示位置の画面上での位置(座標)を求める。
次に、駆動制御手段242は、指示位置の画面上での位置(座標)と、表示エリアR1の中心位置(座標)とのX方向の距離及びY方向の距離を求め、求めたX方向の距離及びY方向の距離から、現在設定されている倍率などを考慮して、標本台3eをX方向に移動させる移動距離及び標本台3eをY方向に移動させる移動距離を求める。つまり、駆動制御手段242は、指示位置を表示エリアR1の中心に位置させるために、標本台3eを水平方向に移動させるべき量を求める。次に、駆動制御手段242は、求めたX方向の移動距離及びY方向の移動距離に対応する制御信号S3を生成し、当該制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。そして、顕微鏡3側では、アクチュエータ3gが、駆動制御手段242からインターフェース27bを介して入力された制御信号S3に基づいて、当該制御信号S3に対応するX方向の移動距離及びY方向の移動距離だけ標本台3eを移動させる。
図7(b)は、上記したような制御後に表示される画面例を示している。この画面も、インターフェース27aに入力された画像データに基づいた表示制御手段241による制御によって、表示手段26のディスプレイに表示されると共に、プロジェクタ4によりドットスクリーン5に投影表示される。当該画面では、顕微鏡画像G12が表示される。図7(b)より、図7(a)に示した指示位置が表示エリアR1の中心に位置する顕微鏡画像G12が表示されていることがわかる。
(処理フロー)
図8は、中心合わせモードにおいて行われる処理を示すフローである。図8の左側に示す処理フローはコンピュータ装置2によって実行され、図8の右側に示す処理フローは顕微鏡3によって実行される。
まず、コンピュータ装置2側では、駆動制御手段242が、中心合わせモードについての指示を検知する(ステップS101)。具体的には、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換し、ディスプレイ上の中心合わせボタンB1に対応するドットスクリーン5上の中心合わせボタンB1が表示された箇所が電子ペン1でタップされたことを検知する。
次に、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、表示エリアR1に対応するドットスクリーン5上の領域内において電子ペン1によってタップされた位置を、指示位置として検出し、当該指示位置の画面上での位置を求める(ステップS102)。この場合、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、指示位置の画面上での位置(座標)を求める。
次に、駆動制御手段242は、ステップS102で検出された指示位置の画面上での位置(座標)と、画面内の表示エリアR1の中心位置(座標)との、X方向の距離及びY方向の距離を求める(ステップS103)。そして、駆動制御手段242は、現在設定されている倍率(詳しくは接眼レンズ3a、対物レンズ3b及びカメラ3cのズームによる倍率)などを考慮して、ステップS103で求めたX方向の距離に応じた、標本台3eをX方向に移動させる移動距離と、ステップS103で求めたY方向の距離に応じた、標本台3eをY方向に移動させる移動距離とを求める(ステップS104)。
次に、駆動制御手段242は、ステップS104で求めたX方向の移動距離及びY方向の移動距離に基づいて、アクチュエータ3gに対して駆動指示を出力する(ステップS105)。具体的には、駆動制御手段242は、X方向の移動距離及びY方向の移動距離に応じた制御信号S3を生成し、当該制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。
この後、顕微鏡3側では、アクチュエータ3gが、駆動制御手段242からインターフェース27bを介して入力された制御信号S3に基づいて、当該制御信号S3に対応するX方向の移動距離及びY方向の移動距離だけ、標本台3eを移動させる(ステップS201)。
(中心合わせモードの作用効果)
以上説明した中心合わせモードによれば、顕微鏡画像が表示された画面上で電子ペン1により入力された指示に基づいて、顕微鏡3を適切に制御することができる。具体的には、画面上で電子ペン1により指示された指示位置に応じて、顕微鏡3の標本台3eを水平方向に適切に移動させる制御を行うことができる。これにより、指示位置が表示エリアR1の中心に位置する顕微鏡画像を、適切に表示させることが可能となる。
(中心合わせモードの変形例)
上記では、指示位置の画面上での位置と表示エリアR1の中心位置とのX方向の距離及びY方向の距離を求め、当該X方向の距離及び当該Y方向の距離から、標本台3eをX方向及びY方向に移動させる移動距離を求める例を示した(図8のステップS103、S104参照)。他の例では、指示位置の画面上での位置から表示エリアR1の中心位置までの方向と距離とを求め、当該方向及び当該距離から、標本台3eをX方向及びY方向に移動させる移動距離を求めることができる。このような他の例は、後述する倍率調整モードにも適用できる。
上記では、指示位置を表示エリアR1の中心に位置させるのに必要な、標本台3eをX方向及びY方向に移動させる移動距離を求めて、当該移動距離だけ標本台3eを水平方向に移動させる例を示した(図8のステップS104、S105、S201参照)。他の例では、標本台3eを水平方向に移動させながら、インターフェース27aに入力された画像データに基づいて、指示位置が表示エリアR1の中心に位置したか否かを逐次確認することで、指示位置が表示エリアR1の中心に位置するような場所に標本台3eを移動させることができる(つまりフィードバック制御によって標本台3eを水平方向における所望の位置に移動させることができる)。このような他の例は、後述する倍率調整モードにも適用できる。
上記では、中心合わせモードに関する指示を電子ペン1で入力する例を示したが、コンピュータ装置2の入力手段21を用いて中心合わせモードに関する指示を入力することとしても良い。典型的には、コンピュータ装置2のマウスを用いて、中心合わせモードに関する指示を入力することができる。具体的には、マウスによって中心合わせボタンB1をクリックしたり、マウスによって指示位置をクリックしたりすることができる。マウスによって指示位置をクリックした場合には、指示位置の画面上での位置を求めるに当たって、上記したような座標変換関数を用いる必要はない。この場合には、クリックした画面上の位置(座標)をそのまま用いることができる。
[倍率調整モード]
次に、本実施形態に係る倍率調整モードについて具体的に説明する。
(表示画面)
図9は、倍率調整モードに関する表示画面例を説明するための図を示す。図9(a)は、表示画面上で倍率調整モードに関する指示が入力される様子を示している。この画面は、表示制御手段241による制御に基づき、表示手段26のディスプレイに表示され、プロジェクタ4によりドットスクリーン5に投影表示される画面である。表示手段26のディスプレイと、ドットスクリーン5には、同じ画像が同期して表示される。図9(a)に示すように、表示制御手段241は、インターフェース27aに入力された画像データに基づいて、当該画像データに対応する顕微鏡画像G21を表示エリアR1内に表示させる。また、表示制御手段241は、表示エリアR1の下方に、中心合わせボタンB1と倍率調整ボタンB2とを表示させる。
図9(a)に示すように、ユーザは、倍率調整モードを選択する場合、まず、ドットスクリーン5上において倍率調整ボタンB2が表示された箇所を電子ペン1でタップする。この後、ユーザは、図中の矢印で示すように、拡大して表示させると共に表示エリアR1の中心に表示させたい領域(具体的には表示エリアR1に対応するドットスクリーン5上の領域に含まれる領域であり、典型的には顕微鏡画像G11が表示されたドットスクリーン5上の領域に重なるような領域)を、電子ペン1にてストロークを記入することで囲む。
他方で、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、ドットスクリーン5上において倍率調整ボタンB2が表示された箇所が電子ペン1でタップされたことを検知する。つまり、駆動制御手段242は、電子ペン1により倍率調整ボタンB2が選択されたことを検知する。この後、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、表示エリアR1に対応するドットスクリーン5上の領域内に電子ペン1でストロークが記入されたことを検知し、電子ペン1により記入されたストロークで囲まれた領域を指示領域として検出する。これと同時に、表示制御手段241は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、電子ペン1によってドットスクリーン5に記入されたストロークを描画したストローク画像G31を表示させる。このストローク画像G31は、駆動制御手段242によって検出された指示領域に対応するものである。
次に、駆動制御手段242は、上記した指示領域に対応する画面上での領域を求める。具体的には、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、指示領域の画面上での領域を求める。そして、駆動制御手段242は、指示領域の画面上での領域が含まれるような矩形領域R2を求める。図9(a)では、指示領域の画面上での領域に外接するような矩形領域R2を例示している。
次に、駆動制御手段242は、矩形領域R2を表示エリアR1内において最大限のサイズに拡大させるための拡大率を求める。例えば、駆動制御手段242は、表示エリアR1内に収まる範囲内で矩形領域R2を拡大することを前提条件として、矩形領域R2のX方向の長さが表示エリアR1のX方向の長さに一致するように矩形領域R2を拡大した場合の拡大率、又は矩形領域R2のY方向の長さが表示エリアR1のY方向の長さに一致するように矩形領域R2を拡大した場合の拡大率を求める。また、駆動制御手段242は、矩形領域R2の中心位置(座標)と表示エリアR1の中心位置(座標)とのX方向の距離及びY方向の距離を求める。
次に、駆動制御手段242は、上記のように求められた拡大率を実現するために対物レンズ3bを切り替える必要があるか否かを判断する。具体的には、駆動制御手段242は、拡大率が所定値以上である場合には、対物レンズ3bを切り替える必要があると判断し、拡大率が所定値未満である場合には、対物レンズ3bを切り替える必要がないと判断する。こうしているのは、比較的大きな拡大率を実現するためには、カメラ3cのズームを調整するだけでは足りず、対物レンズ3bを切り替える必要があると言え、これに対して、比較的小さな拡大率を実現するためには、カメラ3cのズームを調整するだけで足り、対物レンズ3bを切り替える必要がないと言えるからである(逆に対物レンズ3bを切り替えると拡大率が大きくなり過ぎてしまう可能性がある)。そういった観点より、拡大率を判定するための所定値は、対物レンズ3bを切り替えることで拡大率が変化する度合いや、カメラ3cのズーム調整により拡大率が変化する度合いなどを考慮して定められる。
駆動制御手段242は、対物レンズ3bを切り替える必要があると判断した場合には、上記の拡大率に基づいて、切り替えるべき対物レンズ3bを特定すると共に、必要に応じて、カメラ3cのズームを調整する度合いを求める。例えば、駆動制御手段242は、対物レンズ3bを切り替えると所望の拡大率を超える場合には、その超えた分をカメラ3cのズーム機能(具体的にはズームアウト機能)によって調整することとし、対物レンズ3bを切り替えても所望の拡大率に足りない場合には、その足りない分をカメラ3cのズーム機能(具体的にはズームイン機能)によって調整することとする。そして、駆動制御手段242は、切り替えるべき対物レンズ3bに設定されるようにレボルバ3dを回転させるための制御信号S4を、インターフェース27bを介してアクチュエータ3hに出力すると共に、必要に応じて、カメラ3cのズームを調整する度合いに応じた制御信号S2を、インターフェース27aを介してカメラ3cに出力する。なお、対物レンズ3bの切り替え及びカメラ3cのズーム調整によって、所望の拡大率を完全に実現できない場合には、所望の拡大率にできるだけ近い拡大率を実現するようにすれば良い。また、対物レンズ3bを切り替える必要があると判断した場合に、対物レンズ3bの切り替えだけでなく、カメラ3cのズーム調整も行うことに限定はされず、対物レンズ3bの切り替えのみを行うこととしても良い。
一方で、駆動制御手段242は、対物レンズ3bを切り替える必要がないと判断した場合には、上記の拡大率を実現可能な倍率に調整されるように、カメラ3cのズームを調整する度合いのみを求め、その調整する度合いに応じた制御信号S2を、インターフェース27aを介してカメラ3cに出力する。
更に、駆動制御手段242は、上記のように求められた、矩形領域R2の中心位置(座標)と表示エリアR1の中心位置(座標)とのX方向の距離及びY方向の距離から、倍率などを考慮して、標本台3eをX方向に移動させる移動距離及び標本台3eをY方向に移動させる移動距離を求める。つまり、駆動制御手段242は、矩形領域R2を表示エリアR1の中心に位置させるために、標本台3eを水平方向に移動させるべき量を求める。そして、駆動制御手段242は、求めたX方向の移動距離及びY方向の移動距離に対応する制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。なお、基本的には、駆動制御手段242は、当該制御信号S3の出力を、上記したようなアクチュエータ3hを制御するための制御信号S4及びカメラ3cを制御するための制御信号S2の出力と同時に行う。つまり、基本的には、駆動制御手段242は、アクチュエータ3g、アクチュエータ3h及びカメラ3cに対する制御を同時に行う。
顕微鏡3側では、駆動制御手段242からの制御信号S4がインターフェース27bを介してアクチュエータ3hに入力された場合、アクチュエータ3hは、当該制御信号S4に基づいてレボルバ3dを回転させることで対物レンズ3bを切り替える。また、駆動制御手段242からの制御信号S2がインターフェース27aを介してカメラ3cに入力された場合、カメラ3cは、当該制御信号S2に基づいてズームの調整を行う。また、駆動制御手段242からの制御信号S3がインターフェース27bを介してアクチュエータ3gに入力された場合、アクチュエータ3gは、当該制御信号S3に対応するX方向の移動距離及びY方向の移動距離だけ標本台3eを移動させる。
他方で、上記のような制御が顕微鏡3でなされた後に、駆動制御手段242は、ピントを合わせるために、アクチュエータ3gによって標本台3eをZ方向に移動させる制御を行う。例えば、駆動制御手段242は、標本台3eをZ方向に徐々に移動させている際にインターフェース27aに逐次入力された画像データに基づいて、ピントが合っている状態が得られるZ方向の位置を特定し、当該位置に標本台3eを固定する。このような制御を行う場合、公知の種々のオートフォーカスの手法を適用することができる。
また、駆動制御手段242は、ピントを合わせるために標本台3eをZ方向に移動させる制御を行うに当たって、プレパラート3fが対物レンズ3bに接触しないように制限を課す。1つの例では、最も長い対物レンズ3bに設定された状態において、プレパラート3fが当該対物レンズ3bに当接するような標本台3eの位置に基づいて制限位置(例えば当接する位置からある程度離れた位置)を設定し、駆動制御手段242は、そのような制限位置よりも上方に標本台3eが移動しないように、標本台3eをZ方向に移動させる制御を行う。また、他の例では、長さの異なる各対物レンズ3bが設定された状態において、プレパラート3fが対物レンズ3bに接触しないように、各対物レンズ3bについて制限位置を設けて、駆動制御手段242が標本台3eをZ方向に移動させる制御を行うようにしてもよい。
図9(b)は、上記したような制御後に表示される画面例を示している。この画面も、インターフェース27aに入力された画像データに基づいた表示制御手段241による制御によって、表示手段26のディスプレイに表示されると共に、プロジェクタ4によりドットスクリーン5に投影表示される。当該画面では、顕微鏡画像G22が表示される。図9(b)より、図9(a)に示した矩形領域R2が表示エリアR1内において最大限のサイズに拡大され且つ表示エリアR1の中心に位置する顕微鏡画像G22が表示されていることがわかる。
(処理フロー)
図10は、倍率調整モードにおいて行われる処理を示すフローである。図10の左側に示す処理フローはコンピュータ装置2によって実行され、図10の右側に示す処理フローは顕微鏡3によって実行される。
まず、コンピュータ装置2側では、駆動制御手段242が、倍率調整モードについての指示を検知する(ステップS301)。具体的には、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換し、ディスプレイ上の倍率調整ボタンB2に対応するドットスクリーン5上の倍率調整ボタンB2が表示された箇所が電子ペン1でタップされたことを検知する。
次に、駆動制御手段242は、受信手段22によって受信された記入情報に基づいて、表示エリアR1に対応するドットスクリーン5上の領域内に電子ペン1で記入されたストロークで囲まれた領域を、指示領域として認識し、当該指示領域の画面上での領域を求める(ステップS302)。この場合、駆動制御手段242は、受信手段22によって受信された記入情報に含まれる座標値を、キャリブレーションで得られた座標変換関数によって表示手段26のディスプレイにおける座標値に変換することで、指示領域の画面上での領域を求める。そして、駆動制御手段242は、指示領域の画面上での領域が含まれるような矩形領域R2を求める(ステップS303)。例えば、駆動制御手段242は、指示領域の画面上での領域に外接する矩形領域R2を求める(図9(a)参照)。
次に、駆動制御手段242は、矩形領域R2を表示エリアR1内において最大限のサイズに拡大させるための拡大率を求めると共に、矩形領域R2の中心位置(座標)と表示エリアR1の中心位置(座標)とのX方向の距離及びY方向の距離を求める(ステップS304)。例えば、駆動制御手段242は、表示エリアR1内に収まる範囲内で矩形領域R2を拡大することを前提条件として、矩形領域R2のX方向の長さが表示エリアR1のX方向の長さに一致するように矩形領域R2を拡大した場合の拡大率、又は矩形領域R2のY方向の長さが表示エリアR1のY方向の長さに一致するように矩形領域R2を拡大した場合の拡大率を求める。
次に、駆動制御手段242は、まず、ステップS304で求められた拡大率を実現するために対物レンズ3bを切り替える必要があるか否かを判断する(ステップS305)。この場合、駆動制御手段242は、拡大率が所定値以上である場合には、対物レンズ3bを切り替える必要があると判断し、当該拡大率を実現可能な倍率に調整されるように、切り替えるべき対物レンズ3bを特定すると共に、必要に応じて、カメラ3cのズームを調整する度合いを求める。例えば、駆動制御手段242は、対物レンズ3bを切り替えると所望の拡大率を超える場合には、その超えた分をカメラ3cのズーム機能(具体的にはズームアウト機能)によって調整することとし、対物レンズ3bを切り替えても所望の拡大率に足りない場合には、その足りない分をカメラ3cのズーム機能(具体的にはズームイン機能)によって調整することとする。これに対して、駆動制御手段242は、拡大率が所定値未満である場合には、対物レンズ3bを切り替える必要がないと判断し、当該拡大率を実現可能な倍率に調整されるように、カメラ3cのズームを調整する度合いのみを求める。また、ステップS305では、駆動制御手段242は、ステップS304で求められた、矩形領域R2の中心位置(座標)と表示エリアR1の中心位置(座標)とのX方向の距離及びY方向の距離から、倍率などを考慮して、標本台3eをX方向に移動させる移動距離及び標本台3eをY方向に移動させる移動距離を求める。
次に、駆動制御手段242は、ステップS305での処理結果に応じて、顕微鏡3に対して駆動指示を出力する(ステップS306)。具体的には、駆動制御手段242は、対物レンズ3bを切り替える必要があると判断した場合には、切り替えるべき対物レンズ3bに設定されるようにレボルバ3dを回転させるための制御信号S4を、インターフェース27bを介してアクチュエータ3hに出力すると共に、必要に応じて、カメラ3cのズームを調整する度合いに応じた制御信号S2を、インターフェース27aを介してカメラ3cに出力する。これに対して、駆動制御手段242は、対物レンズ3bを切り替える必要がないと判断した場合には、カメラ3cのズームを調整する度合いに応じた制御信号S2のみを、インターフェース27aを介してカメラ3cに出力する。また、駆動制御手段242は、ステップS305で求められたX方向の移動距離及びY方向の移動距離に対応する制御信号S3を、インターフェース27bを介してアクチュエータ3gに出力する。
顕微鏡3側では、ステップS306で生成された駆動指示が入力された場合に、まず、アクチュエータ3gが、標本台3eをZ方向における最下部まで移動させる(ステップS401)。
次に、アクチュエータ3hが、必要に応じて、レボルバ3dを回転させることで対物レンズ3bを切り替える(ステップS402)。具体的には、駆動制御手段242からインターフェース27bを介して制御信号S4が入力された場合(つまり駆動制御手段242によって対物レンズ3bを切り替える必要があると判断された場合)、アクチュエータ3hが、当該制御信号S4に基づいてレボルバ3dを回転させることで対物レンズ3bを切り替える。また、駆動制御手段242からインターフェース27aを介して制御信号S2が入力された場合には、カメラ3cが、当該制御信号S2に基づいてズームの調整を行う。更に、ステップS402では、アクチュエータ3gが、駆動制御手段242からインターフェース27bを介して入力された制御信号S3に基づいて、当該制御信号S3に対応するX方向の移動距離及びY方向の移動距離だけ標本台3eを移動させる。
次に、アクチュエータ3gが、ピントを合わせるために、標本台3eをZ方向に移動させる(ステップS403)。具体的には、アクチュエータ3gは、駆動制御手段242からインターフェース27bを介して入力された制御信号S3に基づいて、標本台3eをZ方向に移動させる。この場合、駆動制御手段242は、公知の種々のオートフォーカスの手法を用いて、標本台3eをZ方向に徐々に移動させている際にインターフェース27aに逐次入力された画像データに基づいて、ピントが合っている状態が得られるZ方向の位置を特定し、当該位置に標本台3eを固定する。また、駆動制御手段242は、このような制御を行うに当たって、プレパラート3fが対物レンズ3bに接触することを抑制すべく、事前に設定した制限位置よりも上方に標本台3eが移動しないように制御する。
(倍率調整モードの作用効果)
以上説明した倍率調整モードによっても、顕微鏡画像が表示された画面上で電子ペン1により入力された指示に基づいて、顕微鏡3を適切に制御することができる。具体的には、画面上で電子ペン1により指示された指示領域に応じて、顕微鏡3の対物レンズ3bを切り替えたり、顕微鏡3のカメラ3cのズームを調整したり、顕微鏡3の標本台3eを移動させたりすることができる。これにより、指示領域に応じた矩形領域R2が表示エリアR1内において最大限のサイズに拡大され且つ表示エリアR1の中心に位置する顕微鏡画像を、適切に表示させることが可能となる。
(倍率調整モードの変形例)
上記では、矩形領域R2を表示エリアR1内において最大限のサイズに拡大する例を示したが、これに限定はされない。表示エリアR1内に収まるサイズであれば、矩形領域R2を種々のサイズに拡大することができる。
上記では、電子ペン1により記入されたストロークで囲まれた指定領域を含むような矩形領域R2を用いる例を示したが、そのような矩形領域R2を用いずに、電子ペン1により記入されたストロークで囲まれた指定領域をそのまま用いても良い。
上記では、拡大率に基づいて対物レンズ3bを切り替える必要性を判断し、その判断結果に応じて、対物レンズ3bを切り替える制御を行っていた。具体的には、対物レンズ3bを切り替える必要があると判断した場合には、少なくとも対物レンズ3bを切り替える制御を行い、対物レンズ3bを切り替える必要がないと判断した場合には、カメラ3cのズームを調整する制御を行っていた。他の例では、対物レンズ3bを切り替える制御とカメラ3cのズームを調整する制御とのいずれを優先して行うかを事前に設定しておき、そのような設定に応じて、対物レンズ3bを切り替える制御及びカメラ3cのズームを調整する制御のいずれか一方を行うことができる。これにより、ユーザなどによる設定に応じて、対物レンズ3bを切り替える制御及びカメラ3cのズームを調整する制御のいずれか一方を行うことができる。
上記では、ピントを合わせるための制御を、インターフェース27aに入力された画像データに基づいて駆動制御手段242が行う例を示した。つまり、上記した例では、駆動制御手段242が、画像データに基づいて、ピントが合っている状態が得られる標本台3eのZ方向の位置を特定し、そのような位置に標本台3eを移動させていた。他の例では、顕微鏡3のカメラ3cが、撮影した画像に基づいて、ピントが合っている状態が得られる標本台3eのZ方向の位置を特定することができる。この場合、カメラ3cは、標本台3eをZ方向に移動させるための制御信号をコンピュータ装置2に出力し、コンピュータ装置2は、当該制御信号に応じた制御信号S3をアクチュエータ3gに出力することで、標本台3eをZ方向に移動させる制御がなされる。このような他の例は、オートフォーカス機能を有するカメラ3cに好適に適用される。
上記では、倍率調整モードに関する指示を電子ペン1で入力する例を示したが、コンピュータ装置2の入力手段21を用いて倍率調整モードに関する指示を入力することとしても良い。典型的には、コンピュータ装置2のマウスを用いて、倍率調整モードに関する指示を入力することができる。具体的には、マウスによるクリックによって倍率調整ボタンB2を選択したり、マウスによるドラッグ操作によってストロークを記入したり、マウスによるドラッグ操作によって指示領域を入力したりすることができる。マウスによるドラッグ操作によって指示領域を入力した場合には、その指示領域は基本的には矩形形状となるため、当該指示領域をそのまま矩形領域R2として用いることができる。この場合には、上記したような座標変換関数を用いた演算や指示領域から矩形領域R2を求める処理(図10に示したステップS302、S303の処理)を行う必要はない。
[変形例]
以下では、上記した実施形態の変形例について説明する。なお、下記の変形例は、任意に組み合わせて実施形態に適用することができる。
(変形例1)
上記した実施形態では、指示領域(矩形領域R2)を表示エリアR1内において拡大し、且つ指示領域を表示エリアR1の中心に位置させた顕微鏡画像を表示させていた(倍率調整モード参照)。他の例では、指示領域を拡大させずに、指示領域を表示エリアR1の中心にのみ位置させたような顕微鏡画像を表示させることができる。つまり、他の例では、ユーザによって指示領域が入力された場合に、中心合わせモードと同様に、当該指示領域が表示エリアR1の中心に位置するような顕微鏡画像を表示させることができる。
(変形例2)
上記した実施形態では、電子ペン1によってドットスクリーン5に種々の指示を入力していた。他の例では、ドットスクリーン5を用いると共に、若しくはドットスクリーン5を用いる代わりに、コンピュータ装置2の表示手段26上に配置されたドットパターンオーバーレイヤ(以下「DOL」と表記する。)を用いて、電子ペン1によって種々の指示を入力することができる。つまり、他の例は、表示手段26上に配置されたDOLを用いて、コンピュータ装置2の表示手段26に表示された顕微鏡画像に対して電子ペン1によって指示を入力するものである。
DOLは、ポリエチレンテレフタラートなどの透明樹脂基板である基材フィルムに、電子ペン1により読み取ることができるよう赤外線を反射する素材(酸化チタン、コレステリック液晶、赤外線反射性顔料など)を含んだインキによりドットパターンのドットが印刷され、さらに透明なEB硬化樹脂などの保護層で保護された層構成を有している。なお、赤外線を反射する素材でドットパターンを印刷しているのは、DOLの下層にある表示手段26から様々な色の可視光が放射されても、電子ペン1によってコントラストよくドットパターンを認識させるのに、望ましいからである。
なお、上記のようなDOLを用いる場合、キャリブレーションによって、DOLの領域内の座標値と、コンピュータ装置2の表示手段26のディスプレイ領域内における座標値との間で座標変換するための座標変換関数を事前に求めておく必要がある。
(変形例3)
上記した実施形態では、電子ペン1とドットスクリーン5とを用いて種々の指示を入力する構成を示した。他の例では、電子ペン1とドットスクリーン5とを用いる代わりに、接触された位置を検知可能な電子黒板を用いて種々の指示を入力することができる。電子黒板としては、感圧式ボードや電磁式ボードを用いることができる。このような電子黒板には、ドットスクリーン5と同様に、プロジェクタ4により顕微鏡画像やストローク画像が投影表示される。
感圧式ボードは、所定のペン(スタイラス)により圧力が加わると、ボード中に設けられた電気伝導性の2枚のシートが接触することで電気信号を発生させる。電磁式ボードは、ボード表面の直下にワイヤが埋め込まれており、コイルを埋め込んだスタイラスが接触されると、スタイラスとの電磁誘導に基づき接触位置に相当する電気信号を発生させる。コンピュータ装置2は、このように電子黒板によって生成された電気信号を受信し、当該電気信号に基づいて、顕微鏡画像に対して入力された指示に応じた制御を顕微鏡3に対して行う。
(変形例4)
上記では、電子ペン、ドットパターン(コード化パターン)、記入情報に、アノト方式を用いていたが、アノト方式を用いることに限定はされない。
1…電子ペン
2…コンピュータ装置
3…顕微鏡
3a…接眼レンズ
3b…対物レンズ
3c…カメラ
3d…レボルバ
3e…標本台
3f…プレパラート
3g、3h…アクチュエータ
4…プロジェクタ
5…ドットスクリーン
21…入力手段
22…受信手段
24…処理手段
25…記憶手段
26…表示手段
27a、27b、28…インターフェース

Claims (12)

  1. 顕微鏡が有するカメラにて撮影された顕微鏡画像を表示させる表示制御手段と、
    前記顕微鏡画像の表示態様を変更するために当該顕微鏡画像に対してなされた指示入力に基づいて、前記顕微鏡を制御する駆動制御手段と、を備えることを特徴とするコンピュータ装置。
  2. 前記指示入力は、前記顕微鏡画像上で指示された位置を示す指示位置を含む入力であり、
    前記駆動制御手段は、前記指示位置が表示エリアの中心に位置する顕微鏡画像が表示されるように、前記顕微鏡の標本台を水平方向に移動させる制御を行うことを特徴とする請求項1に記載のコンピュータ装置。
  3. 前記指示入力は、前記顕微鏡画像上で指示された領域を示す指示領域を含む入力であり、
    前記駆動制御手段は、前記指示領域が表示エリアの中心に位置する顕微鏡画像が表示されるように、前記顕微鏡の標本台を水平方向に移動させる制御を行うことを特徴とする請求項1に記載のコンピュータ装置。
  4. 前記駆動制御手段は、前記指示領域が前記表示エリア内において拡大された顕微鏡画像が表示されるように、前記顕微鏡に対する制御を更に行うことを特徴とする請求項3に記載のコンピュータ装置。
  5. 前記駆動制御手段は、前記顕微鏡の対物レンズを切り替える制御、及び前記カメラのズームを調整する制御の両方又は一方を行うことで、前記指示領域が拡大された顕微鏡画像を表示させることを特徴とする請求項4に記載のコンピュータ装置。
  6. 前記駆動制御手段は、前記指示領域が拡大された顕微鏡画像を表示させる場合の拡大率に基づいて、前記対物レンズを切り替える制御及び前記カメラのズームを調整する制御の少なくともいずれか一方を行うことを特徴とする請求項5に記載のコンピュータ装置。
  7. 前記駆動制御手段は、前記対物レンズを切り替える制御と前記カメラのズームを調整する制御とのいずれを優先して行うかの設定に応じて、前記対物レンズを切り替える制御及び前記カメラのズームを調整する制御のいずれか一方を行うことを特徴とする請求項5に記載のコンピュータ装置。
  8. 前記駆動制御手段は、前記指示領域が拡大された顕微鏡画像を表示させるための制御を行った後に、ピントを合わせるために前記標本台を上下方向に移動させる制御を行うことを特徴とする請求項4乃至7のいずれか一項に記載のコンピュータ装置。
  9. 前記駆動制御手段は、前記標本台上に載置されたプレパラートが前記顕微鏡の対物レンズに接触しないように制限を課して、前記標本台を上下方向に移動させる制御を行うことを特徴とする請求項8に記載のコンピュータ装置。
  10. 前記駆動制御手段は、前記指示領域が拡大された顕微鏡画像を表示させるための制御を行う前に、前記標本台上に載置されたプレパラートが少なくとも前記顕微鏡の対物レンズに接触しないような上下方向における所定位置に、前記標本台を移動させる制御を行うことを特徴とする請求項4乃至9のいずれか一項に記載のコンピュータ装置。
  11. 前記駆動制御手段は、前記指示領域が前記表示エリア内において最大限のサイズに拡大された顕微鏡画像が表示されるように、前記顕微鏡に対する制御を行うことを特徴とする請求項4乃至10のいずれか一項に記載のコンピュータ装置。
  12. 請求項1乃至11のいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。
JP2012135679A 2012-06-15 2012-06-15 コンピュータ装置及びプログラム Pending JP2014002190A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012135679A JP2014002190A (ja) 2012-06-15 2012-06-15 コンピュータ装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012135679A JP2014002190A (ja) 2012-06-15 2012-06-15 コンピュータ装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2014002190A true JP2014002190A (ja) 2014-01-09

Family

ID=50035431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012135679A Pending JP2014002190A (ja) 2012-06-15 2012-06-15 コンピュータ装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2014002190A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907414B2 (en) 2018-12-13 2024-02-20 Universal City Studios Llc Object tracking animated figure systems and methods

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03296011A (ja) * 1990-04-16 1991-12-26 Olympus Optical Co Ltd 顕微鏡変倍装置
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2001201694A (ja) * 2000-01-18 2001-07-27 Olympus Optical Co Ltd 顕微鏡装置
JP2010079035A (ja) * 2008-09-26 2010-04-08 Olympus Corp 顕微鏡システム、該制御プログラム、及び該制御方法
JP2011118188A (ja) * 2009-12-04 2011-06-16 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011133579A (ja) * 2009-12-22 2011-07-07 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011242600A (ja) * 2010-05-18 2011-12-01 Olympus Corp 顕微鏡コントローラ及び該顕微鏡コントローラを有する顕微鏡システム
JP2012108511A (ja) * 2010-11-15 2012-06-07 Leica Microsystems (Schweiz) Ag タッチスクリーンを有する顕微鏡

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03296011A (ja) * 1990-04-16 1991-12-26 Olympus Optical Co Ltd 顕微鏡変倍装置
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2001201694A (ja) * 2000-01-18 2001-07-27 Olympus Optical Co Ltd 顕微鏡装置
JP2010079035A (ja) * 2008-09-26 2010-04-08 Olympus Corp 顕微鏡システム、該制御プログラム、及び該制御方法
JP2011118188A (ja) * 2009-12-04 2011-06-16 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011133579A (ja) * 2009-12-22 2011-07-07 Olympus Corp 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
JP2011242600A (ja) * 2010-05-18 2011-12-01 Olympus Corp 顕微鏡コントローラ及び該顕微鏡コントローラを有する顕微鏡システム
JP2012108511A (ja) * 2010-11-15 2012-06-07 Leica Microsystems (Schweiz) Ag タッチスクリーンを有する顕微鏡

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907414B2 (en) 2018-12-13 2024-02-20 Universal City Studios Llc Object tracking animated figure systems and methods

Similar Documents

Publication Publication Date Title
CN104731449B (zh) 数字图像处理装置以及进行基于触摸的图像缩放的方法
JP5808712B2 (ja) 映像表示装置
KR101453628B1 (ko) 사용자 인터페이스
US20140210748A1 (en) Information processing apparatus, system and method
JP5664301B2 (ja) コンピュータ装置、電子ペン入力システム、及びプログラム
KR20110074663A (ko) 정보처리장치 및 그 제어 방법
BRPI1107088A2 (pt) aparelho, mÉtodo para controlar uma interface grÁfica de usuÁrio,e, dispositivo de armazenamento de computador nço transitàrio
CN102662229A (zh) 具有触摸屏的显微镜
JP4916994B2 (ja) 中空型スイッチ装置及びこれを備えた電子機器
KR20150032028A (ko) 3d 공간-터치 스크린 장치 및 이를 이용한 방법
US20150304615A1 (en) Projection control apparatus and projection control method
US20100085469A1 (en) User input apparatus, digital camera, input control method, and computer product
JP6146350B2 (ja) 情報処理装置およびコンピュータプログラム
TW201209665A (en) Mobile device and method for zooming in/out a touch window
WO2015159774A1 (ja) 入力装置、入力装置の制御方法
WO2017130504A1 (ja) 画像投影装置
WO2013161246A1 (ja) 表示制御システム、表示装置及び表示パネル
JP2018018308A (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
JP2016103137A (ja) ユーザインタフェース装置、画像処理装置及び制御用プログラム
JP6107008B2 (ja) 画像測定用プログラム、画像測定機、及び画像測定方法
JP4879933B2 (ja) 画面表示装置、画面表示方法およびプログラム
JP2014002190A (ja) コンピュータ装置及びプログラム
US11281074B2 (en) Image capturing apparatus improved in operability of operation section
JP2010272036A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161220