以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる顕微鏡システムの機能構成を示すブロック図である。なお、図1において、顕微鏡システム1が載置される平面をXY平面とし、XY平面と垂直な方向をZ方向として説明する。
図1に示す顕微鏡システム1は、試料Sを観察する顕微鏡装置2と、顕微鏡装置の駆動を制御する顕微鏡制御部3と、顕微鏡制御部3を介して試料Sを撮像して画像データを生成する撮像装置4と、顕微鏡システム1の各種の操作の入力を受け付ける操作入力部5と、撮像装置4が撮像した画像データに対応する画像を表示可能な表示部6と、顕微鏡システム1の各部を制御する制御端末7と、を備える。顕微鏡装置2、顕微鏡制御部3、撮像装置4、操作入力部5、表示部6および制御端末7は、データを送受信可能に有線または無線で接続されている。
顕微鏡装置2は、試料Sが載置されるステージ21と、ステージ21を支持するとともに、レボルバ22を介して対物レンズ23を保持する顕微鏡本体部24と、試料Sに光を照射する落射照明用光源25と、を備える。
ステージ21は、XYZ方向に移動自在に構成されている。ステージ21は、ステージ駆動部211によってXY平面内で移動自在である。ステージ21は、顕微鏡制御部3の制御のもと、図示しないXY位置の原点センサによってXY平面における所定の原点位置を検出し、この原点位置を基点としてステージ駆動部211の駆動量が制御されることによって、試料S上の観察箇所(観察領域)を移動する。ステージ21は、観察時のX位置およびY位置に関する位置信号(XY座標)を顕微鏡制御部3に出力する。また、ステージ21は、モータ212によってZ方向に移動自在である。ステージ21は、顕微鏡制御部3の制御のもと、図示しないZ位置の原点センサによってステージ21のZ方向における所定の原点位置を検出し、この原点位置を基点としてモータ212の駆動量が制御されることによって、所定の高さ範囲内の任意のZ位置に試料Sを焦準移動させる。ステージ21は、観察時のZ位置に関する位置信号を顕微鏡制御部3に出力する。
レボルバ22は、顕微鏡本体部24に対してスライド自在または回転自在に設けられ、対物レンズ23を試料Sの上方に配置する。レボルバ22は、ノーズピースやスイングレボルバ等を用いて構成される。レボルバ22は、マウンタ221によって倍率(観察倍率)が異なる複数の対物レンズ23を保持する。レボルバ22は、観察光の光路上に挿入されて試料Sの観察に用いる対物レンズ23を択一的に切換えるため、マウンタ221をスライド移動又は回転させるレボルバ駆動部222と、レボルバ22の接続状態等を検出するレボルバ検出部223と、を有する。
レボルバ駆動部222は、顕微鏡制御部3の制御のもと、マウンタ221をスライド移動又は回転させる。レボルバ検出部223は、レボルバ22が顕微鏡本体部24に接続されていることを検知するレボルバ接続センサ(図示せず)と、対物レンズ23が観察光の光路上に挿入された対物レンズ23の種類を識別するレボルバセンサ(図示せず)と、対物レンズ23が観察光の光路上に挿入されたことを検知する移動完了センサ(図示せず)と、を有する。レボルバ検出部223は、各種センサが検出した検出結果を顕微鏡制御部3へ出力する。
対物レンズ23は、たとえば1倍,2倍,4倍の比較的倍率の低い対物レンズ231(以下、「低倍対物レンズ231」という)と、10倍,20倍,40倍の低倍対物レンズ231の倍率に対して高倍率である対物レンズ232(以下、「高倍対物レンズ232」という)とを少なくとも一つずつマウンタ221に装着される。なお、低倍対物レンズ231および高倍対物レンズ232の倍率は一例であり、高倍対物レンズ232が低倍対物レンズ231に対して高ければよい。
顕微鏡本体部24は、ファイバー251を介して落射照明用光源25から出射された照明光L1(以下、「落射照明光L1」という)を集光する照明レンズ241と、落射照明光L1の光路を対物レンズ23の光軸に沿って反射するハーフミラー242と、試料Sを拡大するズームレンズ部243と、対物レンズ23、ズームレンズ部243およびハーフミラー242を介して入射される試料Sの反射光を集光して観察像を結像する結像レンズ244とが内部に設けられている。
ズームレンズ部243は、1または複数のレンズからなり、試料Sに対して光学ズーム可能なズーム光学系243aと、ズーム光学系243aを光軸に沿って駆動するズーム駆動部243bとを有する。ズーム駆動部243bは、顕微鏡制御部3の制御のもと、ズーム光学系243aを光軸に沿って移動させることにより、ズームレンズ部243のズーム倍率を変更する。
落射照明光L1は、照明レンズ241、ハーフミラー242、ズーム光学系243aおよび対物レンズ23を経て試料Sに照射される。試料Sで反射した反射光L2(以下、「観察光L2」という)は、対物レンズ23、ズーム光学系243a、ハーフミラー242および結像レンズ244を経て撮像装置4に入射する。
落射照明用光源25は、ハロゲンランプ、キセノンランプまたはLED(Light Emitting Diode)等によって構成される。落射照明用光源25は、ファイバー251を介して試料Sの観察像を形成するための落射照明光L1を顕微鏡本体部24に出射する。
顕微鏡制御部3は、CPU(Central Processing Unit)等を用いて構成され、制御端末7の制御のもと、顕微鏡装置2を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部3は、レボルバ駆動部222を駆動することにより、マウンタ221を回転させて観察光L2の光路上に配置する対物レンズ23を切換える切換処理、ステージ駆動部211またはモータ212を駆動することにより、ステージ21の駆動処理、および試料Sの観察に伴う顕微鏡装置2の各部の調整を行う調整処理等を行う。また、顕微鏡制御部3は、顕微鏡装置2を構成する各部の状態、たとえばステージ21の位置情報(XY位置、Z位置)およびレボルバ22に装着された対物レンズ23の種類情報等を制御端末7に出力する。
撮像装置4は、制御端末7の制御のもと、結像レンズ244を経て入射された試料Sの観察像を撮像して試料Sの画像データを時系列に沿って連続的に生成する。撮像装置4は、カメラケーブルを介して生成した試料Sの画像データを制御端末7へ出力する。撮像装置4は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子41を用いて構成される。なお、撮像装置4は、画像データの輝度情報に基づいて、試料Sに対するAF処理を実行するAF機能およびAE処理を実行するAE機能を有する。
操作入力部5は、顕微鏡システム1の各種の操作の入力を受け付ける。操作入力部5は、キーボート、マウス、ジョイスティック、タッチパネルおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御端末7に出力する。
表示部6は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成される。表示部6は、制御端末7から入力される画像データに対応する画像および顕微鏡システム1の各種操作情報を表示する。具体的には、表示部6は、撮像装置4が撮像した画像データに対応する画像および/または撮像装置4の視野領域を含む広い観察領域を有し、試料Sに対する撮像装置4の視野領域の位置を確認するための位置確認画像データに対応する位置確認画像(以下、「マップ画像」という)を表示する。
制御端末7は、顕微鏡制御部3、撮像装置4、操作入力部5および表示部6との通信を行う制御通信部71と、顕微鏡システム1の各種情報、画像データおよび貼り合わせ画像データを記録する記録部72と、顕微鏡システム1の各部を制御する制御部73と、を備える。
制御通信部71は、顕微鏡制御部3、撮像装置4、操作入力部5および表示部6それぞれとの通信を行うための通信インターフェースである。
記録部72は、制御端末7の内部に固定的に設けられるフラッシュメモリおよびRAM(Random Access Memory)等の半導体メモリを用いて構成され、顕微鏡システム1に実行させる各種プログラム、プログラムの実行中に使用される各種データを記録する。また、記録部72は、撮像装置4が撮像したライブ画像データを記録するライブ画像記録部721と、撮像装置4が試料Sを撮像する際の試料Sに対する撮像装置4の視野領域の位置を示すマップ画像データを記録するマップ画像記録部722と、を有する。ここで、マップ画像データとは、試料Sに対して撮像装置4が生成した複数の画像データを貼り合わせた貼り合わせ画像データ、または試料Sの全体を撮像した全体画像データである。ここで、全体画像データとは、低倍、たとえば、低倍対物レンズ231で試料Sを撮像した画像データである。
制御部73は、CPU等を用いて構成され、操作入力部5から入力される操作信号に応じて顕微鏡システム1を構成する各部に対する指示やデータの転送等を行って顕微鏡システム1の動作を統括的に制御する。ここで、制御部73の詳細な構成について説明する。制御部73は、ライブ画像生成部731と、貼り合わせ画像生成部732と、駆動制御部733と、表示制御部734と、を有する。
ライブ画像生成部731は、撮像装置4が時系列に沿って連続的に生成した画像データに対して、所定の画像処理を順次施してライブ画像データを生成し、生成したライブ画像データを表示部6および/または記録部72に出力する。ここで、所定の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等である。
貼り合わせ画像生成部732は、撮像装置4が時系列に沿って連続する複数のライブ画像データに対応するライブ画像の一辺が重なり合うように重畳して撮像装置4の視野領域よりも広い貼り合わせ画像データを生成する。また、貼り合わせ画像生成部732は、試料Sのマップ画像データに対応するマップ画像に、ライブ画像生成部731が生成したライブ画像データに対応するライブ画像を重畳して貼り合わせ画像データを生成する。具体的には、貼り合わせ画像生成部732は、マップ画像記録部722が記録する試料Sのマップ画像データを取得し、取得したマップ画像データに、ライブ画像生成部731が生成したライブ画像データを重畳してライブ貼り合わせ画像データを生成する。
駆動制御部733は、操作入力部5から入力される指示信号に基づいて、顕微鏡装置2の駆動および撮像装置4の駆動それぞれを制御する。具体的には、駆動制御部733は、操作入力部5から撮影を指示する指示信号が入力された場合、撮像装置4に撮影動作を実行させる。また、駆動制御部733は、操作入力部5からステージ21を移動させる指示信号が入力された場合、顕微鏡制御部3にステージ21を駆動する指示信号を出力することにより、ステージ21を駆動する。
表示制御部734は、表示部6の表示態様を制御する。具体的には、表示制御部734は、制御通信部71を介してライブ画像生成部731が生成したライブ画像データに対応するライブ画像およびマップ画像記録部722が記録するマップ画像データに対応するマップ画像を表示部6に表示させる。また、表示制御部734は、顕微鏡システム1がマップ画像表示モードに設定されている場合、撮像装置4の視野領域に対応するマップ画像上にライブ画像を重畳して表示部6に表示させる。さらに、表示制御部734は、顕微鏡システム1の各種駆動情報に関するアイコンを表示部6に表示させる。
このように構成された顕微鏡システム1は、制御端末7の制御のもと、撮像装置4で撮像された試料Sの画像データを表示部6に表示させることによって、ユーザに試料Sの画像を観察させることができる。さらに、顕微鏡システム1は、操作入力部5から入力される指示信号に応じて、制御端末7が顕微鏡システム1の各部に指示信号や駆動信号を出力することによって、顕微鏡装置2および撮像装置4が駆動する。
つぎに、顕微鏡システム1が実行する処理について説明する。図2は、顕微鏡システム1が実行する処理の概要を示すフローチャートである。
図2に示すように、顕微鏡システム1がマップ画像表示モードに設定されている場合(ステップS101:Yes)、顕微鏡システム1は、撮像装置4の視野領域に対応する試料Sのマップ画像上の位置に、撮像装置4によって撮像された画像データに対応するライブ画像を重畳して表示部6に表示させるマップ画像表示処理を実行する(ステップS102)。なお、マップ画像表示処理の詳細な内容については後述する。
続いて、制御端末7は、顕微鏡システム1による試料Sの観察を終了するか否かを判断する(ステップS103)。具体的には、制御端末7は、操作入力部5から試料Sの観察の終了を指示する指示信号が入力されたか否かを判断する。顕微鏡システム1による観察を終了すると制御端末7が判断した場合(ステップS103:Yes)、顕微鏡システム1は、本処理を終了する。これに対して、顕微鏡システム1による観察を終了しないと制御端末7が判断した場合(ステップS103:No)、顕微鏡システム1は、ステップS101へ戻る。
ステップS101において、顕微鏡システム1がマップ画像表示モードに設定されていない場合(ステップS101:No)において、マップ画像生成モードが設定されているとき(ステップS104:Yes)、顕微鏡システム1は、撮像装置4によって撮像されたライブ画像データを用いて試料Sのマップ画像を生成するマップ画像生成処理を実行する(ステップS105)。なお、マップ画像生成処理の詳細な内容については後述する。ステップS105の後、顕微鏡システム1は、ステップS103へ移行する。
ステップS104において、顕微鏡システム1がマップ画像生成モードに設定されていないとき(ステップS104:No)、顕微鏡システム1は、撮像装置4によって撮像されたライブ画像データに対応するライブ画像を表示部6に表示させることによって、試料Sの観察を可能にする通常観察処理を実行する(ステップS106)。この場合、顕微鏡システム1は、操作入力部5から入力される指示信号に応じて顕微鏡装置2または撮像装置4を駆動する。たとえば、顕微鏡システム1は、操作入力部5からステージ21を駆動する指示信号が入力された場合、指示信号に応じてステージ21を駆動する。ステップS106の後、顕微鏡システム1は、ステップS103へ移行する。
つぎに、図2のステップS102で説明したマップ画像表示処理について説明する。図3は、マップ画像表示処理の概要を示すフローチャートである。
図3に示すように、ライブ画像生成部731は、撮像装置4が時系列に沿って連続的に生成するライブ画像データを取得する(ステップS201)。
続いて、操作入力部5からマップ画像の表示倍率を設定する設定信号が入力されている場合(ステップS202:Yes)、表示制御部734は、マップ画像記録部722から表示倍率に応じたマップ画像データを取得する(ステップS203)。これに対して、操作入力部5からマップ画像の表示倍率を設定する設定信号が入力されていない場合(ステップS202:No)、表示制御部734は、マップ画像記録部722からライブ画像の対物レンズ23の観察倍率に応じたマップ画像データを取得する(ステップS204)。なお、表示制御部734は、ステージ21の位置情報または撮像装置4の観察領域に応じた表示サイズや表示倍率のマップ画像データをマップ画像記録部722から取得してもよい。
ステップS203またはステップS204の後、表示制御部734は、撮像装置4の視野領域に対応するマップ画像上に、ライブ画像生成部731が生成したライブ画像を重畳して表示部6に表示させる(ステップS205)。この場合、表示制御部734は、設定された表示倍率、ライブ画像を取得した時の対物レンズ23の倍率およびステージ21の位置情報(試料Sに対する観察領域)に基づいて、マップ画像の表示倍率およびマップ画像上におけるライブ画像を重畳する位置および表示サイズを算出し、この算出した領域および表示サイズでマップ画像上にライブ画像を重畳して表示する。具体的には、図4に示すように、表示部6がライブ画像WLを表示している場合(図4(a))において、顕微鏡システム1がマップ表示モードに設定されたとき、表示制御部734は、設定された表示倍率、ライブ画像WLの取得時の対物レンズ23の倍率およびステージ21の位置情報に基づいて、撮像装置4の視野領域に対応するマップ画像M1上の位置に、ライブ画像生成部731が生成したライブ画像WLを重畳して表示部6に表示させる(図4(b))。なお、以下の図面においては、マップ画像M1の領域をハッチングで表現する。
これにより、ユーザは、表示部6が表示するマップ画像M1を確認することによって、試料Sの観察領域を直感的に把握することができる。さらに、表示制御部734は、通常のライブ画像WLの表示状態からマップ画像M1にライブ画像WLを重畳した表示状態にシームレスに切り替えることで、ユーザの視野を維持させることができ、操作性を向上させることができる。この際、表示制御部734は、マップ画像M1の表示サイズを計測する際に用いるスケールアイコンA1を表示部6に表示させてもよい。さらに、表示制御部734は、ライブ画像WLに対応する領域の矩形のフレームF1を表示部6に表示させてもよい。
続いて、操作入力部5からマップ画像M1の表示倍率を変更する変更信号が入力された場合(ステップS206:Yes)、表示制御部734は、操作入力部5から入力されたマップ画像M1の表示倍率を変更する変更信号に応じて、マップ画像M1およびライブ画像WLの表示倍率および表示サイズを拡大または縮小して表示部6に表示させる(ステップS207)。たとえば、表示制御部734は、操作入力部5からマップ画像M1の表示倍率を拡大する変更信号に応じて、マップ画像M1の表示倍率を拡大して表示部6に表示させる(図4(b)→(図4(c)→図4(d))。この場合、表示制御部734は、マップ画像M1の表示倍率に応じて、マップ画像M1上におけるライブ画像WLの表示領域およびライブ画像WLの表示位置を変更して表示部6に表示させる。このとき、表示制御部734は、ライブ画像WLがマップ画像M1の中央領域になるようにマップ画像M1の表示位置や表示倍率を変更させて表示部6に表示させてもよい。これにより、ユーザは、マップ画像M1の表示倍率を変更した場合であっても、撮像装置4の視野領域を直感的に把握することができる。なお、表示制御部734は、マップ画像M1の表示倍率を変更された場合、マップ画像M1の表示倍率に最適なマップ画像M1をマップ画像記憶部722から再度、取得してもよい。また、表示制御部734は、マップ画像M1の表示倍率は固定にして、ライブ画像WLの表示倍率のみ変更させてもよい。
その後、マップ画像M1上におけるライブ画像WLの一部が表示部6の表示領域外である場合(ステップS208:Yes)、表示制御部734は、マップ画像M1を表示する表示部6の周縁に、マップ画像M1の表示領域を変更する変更信号の入力を受け付けるスクロールバーを表示させる(ステップS209)。具体的には、図5に示すように、表示制御部734は、表示部6が表示するマップ画像M1の周縁にスクロールバーS1およびスクロールバーS2を表示させる(図5(a))。
続いて、操作入力部5を介してスクロールバーS1またはスクロールバーS2が操作された場合(ステップS210:Yes)、表示制御部734は、スクロールバーS1またはスクロールバーS2の操作に応じてマップ画像M1の表示領域を変更して表示部6に表示させる(ステップS211)。たとえば、図5に示すように、表示制御部734は、操作入力部5を介してスクロールバーS1が下方向(矢印方向)に移動させられた場合、スクロールバーS1の表示位置に応じてマップ画像M1の表示領域を変更して表示部6に表示させる(図5(a)→図5(b))。これにより、ユーザは、操作入力部5を操作することによって、マップ画像M1の表示領域を変更することができる。なお、図5においては、ライブ画像が表示部6の端から中央に表示される場合を説明したが、ユーザが操作入力部5を操作することによって、マップ画像M1上における所望の領域の観察を行うようにしてもよい。また、表示制御部734は、スクロールバーS1およびスクロールバーS2をライブ画像WLの表示領域に関係なく常時表示するようにしてマップ画像M1の表示領域を変更してもよい。
その後、対物レンズ23の観察倍率が変更された場合(ステップS212:Yes)、表示制御部734は、観察倍率に応じてマップ画像M1およびライブ画像WLの表示領域および表示サイズを拡大または縮小して表示部6に表示させる(ステップS213)。たとえば、図6に示すように、表示制御部734は、対物レンズ23が低倍対物レンズ232から高倍対物レンズ231に切り替えられた場合、マップ画像M1の表示領域を変更せず、ライブ画像WLの表示領域を観察倍率に応じて表示部6に表示させる(図6(a)→図6(b))。これにより、ユーザは、対物レンズ23の観察倍率を変更した場合であっても、試料Sに対する撮像装置4の観察領域を見失うことなく、直感的に把握することができる。なお、対物レンズ23の観察倍率が変更された場合、表示制御部734は、マップ画像M1の表示領域を変更せず、ライブ画像WLの表示領域を観察倍率に応じて表示部6に表示させる場合について説明したが、ライブ画像WLの表示領域を変更せず、マップ画像M1の表示領域を変更してもよいし、また、表示制御部734は、ライブ画像WLの表示領域およびマップ画像M1の表示領域を変更してもよい。
その後、操作入力部5を介してライブ画像WLに対してドラック操作が行われた場合(ステップS214:Yes)、駆動制御部733は、ライブ画像WLに対するドラック操作に応じてステージ21を駆動させる(ステップS215)。
続いて、表示制御部734は、ライブ画像WLに対するドラック操作に応じてマップ画像の表示領域を変更して表示部6に表示させる(ステップS216)。たとえば、図7に示すように、ライブ画像WLを表示部6の中央で固定する表示固定モードが顕微鏡システム1に設定されている場合において、操作入力部5を介してライブ画像WLに対して右上方向にドラック操作されてライブ画像WLの表示位置を変更する変更信号が入力されたとき(図7(a)→図7(b))、表示制御部734は、ライブ画像WLがマップ画像M1の中央になるようにマップ画像M1の表示領域を変更して表示部6に表示させる(図7(b)→図7(c))。これにより、ユーザは、直感的な操作によって、ライブ画像WLの表示位置を変更することができるとともに、試料Sの観察領域を変更することができる。
また、図8に示すように、ライブ画像WLをドラック操作に応じてマップ画像M1上における表示位置を変更する変更表示モードが顕微鏡システム1に設定されている場合において、操作入力部5を介してライブ画像WLに対して右上方向にドラック操作されてライブ画像W1の表示位置を変更する変更信号が入力されたとき(図8(a)→8(b))、表示制御部734は、ドラック操作に応じてマップ画像M1上におけるライブ画像WLの表示位置を変更して表示部6に表示させる(図8(b)→図8(c))。これにより、ユーザは、直感的な操作によって、ライブ画像W1の表示位置を変更することができるとともに、試料Sの観察領域を変更することができる。さらに、ユーザが顕微鏡システム1を通常観察モードに切り替えた場合、表示部6は、ライブ画像WLを全画面表示する(図8(c)→図8(d))。なお、図9に示すように、ライブ画像WLの一辺が表示部6の表示領域の端部に到達した場合(図9(a))、表示制御部734は、ライブ画像WLの表示領域がマップ画像M1の中央になるように、マップ画像M1の表示領域を変更して表示部6に表示させてもよい。ステップS216の後、顕微鏡システム1は、図2のメインルーチンへ戻る。
ステップS206において、表示倍率が変更されていない場合(ステップS206:No)、顕微鏡システム1は、ステップS208へ移行する。
ステップS208において、ライブ画像W1が観察領域外でない場合(ステップS208:No)、顕微鏡システム1は、ステップS212へ移行する。
ステップS212において、観察倍率が変更されていない場合(ステップS212:No)、顕微鏡システム1は、ステップS214へ移行する。
ステップS214において、ライブ画像に対してドラック操作が行われていない場合(ステップS214:No)、顕微鏡システム1は、図2のメインルーチンへ戻る。
つぎに、図2のステップS105のマップ画像生成処理について説明する。図10は、マップ画像生成処理の概要を示すフローチャートである。
図10に示すように、制御部73は、試料Sに対する低倍率のマップ画像データがマップ画像記録部722に記録されているか否かを判断する(ステップS301)。試料Sに対する低倍率のマップ画像データがマップ画像記録部722に記録されていると制御部73が判断した場合(ステップS301:Yes)、顕微鏡システム1は、後述するステップS306へ移行する。これに対して、試料Sに対する低倍率のマップ画像データがマップ画像記録部722に記録されていないと制御部73が判断した場合(ステップS301:No)、顕微鏡システム1は、後述するステップS302へ移行する。なお、低倍率のマップ画像は、低倍率で取得した複数の画像を貼り合わせて生成した貼り合せ画像を含む。
ステップS302において、駆動制御部733は、顕微鏡制御部3を制御することにより、対物レンズ23を低倍対物レンズ231に切り替える。
続いて、ライブ画像生成部731は、撮像装置4が撮像したライブ画像データを取得し(ステップS303)、ライブ画像データをマップ画像データとしてマップ画像記録部722に記録する(ステップS304)。
その後、駆動制御部733は、顕微鏡制御部3を制御することによって、対物レンズ23を高倍対物レンズ232に切り替える(ステップS305)。ステップS305の後、顕微鏡システム1は、後述するステップS308へ移行する。
ステップS306において、マップ画像が指定されている場合(ステップS306:Yes)、貼り合わせ画像生成部732は、マップ画像記録部722から指定されたマップ画像データを取得する(ステップS307)。ステップS307の後、顕微鏡システム1は、後述するステップS308へ移行する。これに対して、マップ画像が指定されていない場合(ステップS306:No)、顕微鏡システム1は、後述するステップS308へ移行する。
ステップS308において、貼り合わせ画像生成部732は、ライブ画像生成部731が生成したライブ画像データを取得する。
続いて、貼り合わせ画像生成部732は、制御通信部71および顕微鏡制御部3を介してステージ21のステージ座標を取得し(ステップS309)、マップ画像データを生成する(ステップS310)。具体的には、図11に示すように、貼り合わせ画像生成部732は、ステージ座標に基づいて、低倍率のマップ画像データに対応するマップ画像M2に、ライブ画像データに対応するライブ画像W1を貼り合わせてマップ画像データを生成する(図11(a)→図11(b))。この場合、貼り合わせ画像生成部732は、マップ画像M2とライブ画像W1との位置ずれ量、画像間の画像マッチング等を用いて位置補正を行って合成することによってマップ画像データを生成する。このとき、貼り合わせ画像生成部732は、ライブ画像W1またはマップ画像M2に対して、明るさの調整、コントラストの調整を含む画像処理を行ってもよい。さらに、貼り合わせ画像生成部732は、ステージ座標と画像マッチングのずれ量とを用いる場合、各画像の位置をどちらか一方の表示サイズに換算したうえで、貼り合わせ画像を生成するようにしてもよい。
その後、表示制御部734は、貼り合わせ画像生成部732が生成したマップ画像データに対応するマップ画像を表示部6に表示させる(ステップS311)。
続いて、操作入力部5からマップ画像の生成を終了する終了信号が入力された場合(ステップS312:Yes)、顕微鏡システム1は、図2のメインルーチンへ戻る。これに対して、操作入力部5からマップ画像の生成を終了する終了信号が入力されていない場合(ステップS312:No)、顕微鏡システム1は、ステップS308へ戻る。
以上説明した本発明の実施の形態1によれば、表示制御部734が撮像装置4の視野領域に対応するマップ画像M1上にライブ画像WLを重畳して表示部6に表示させるので、試料Sに対するライブ画像WLの位置を直感的に把握することができる。
さらに、本発明の実施の形態1によれば、通常観察モードからマップ画像表示モードに切り替えられた際に、表示制御部734がライブ画像WLの全画面表示からマップ画像M1上の位置に表示態様を切り替える。この結果、ユーザは、同一画面上でライブ画像WLを確認することができので、視野を移動することなく、試料Sの観察を行うことができる。
また、本発明の実施の形態1によれば、表示部6で試料Sのマップ画像を全画面表示することができるので、マップ画像M1上における多くの情報を観察することができる。
さらにまた、本発明の実施の形態1によれば、マップ画像M1上におけるライブ画像WLが表示部6の表示領域外である場合、表示制御部734がスクロールバーS1の操作内容に応じて、マップ画像の表示領域を変更して表示部6に表示させる。これにより、ライブ画像WLの解像度を低下させることなく、マップ画像M1を表示部6に表示させることができる。
なお、本発明の実施の形態1では、表示部6がライブ画像WLを全画面表示している際に、貼り合わせ画像生成部732がライブ画像生成部731によって時間的に連続的する複数のライブ画像データを用いてマップ画像データとして貼り合わせ画像データを生成してもよい。図12Aに示すように、表示部6がライブ画像WLを全画面表示している際に、貼り合わせ画像生成部732は、ライブ画像生成部731が撮像装置4から順次入力される画像データを用いて生成したライブ画像データを互いに重なるように合成することによって試料Sの貼り合わせ画像データをマップ画像データとして生成する(図12Bを参照)。この際、ステージ21が駆動され、撮像装置4の視野領域が変更された場合、貼り合わせ画像生成部732は、ステージ座標を用いて試料Sの位置に相当する領域にライブ画像データを合成または更新して貼り合わせ画像データを生成してもよい。なお、貼り合わせ画像生成部732は、ぼけた貼り合わせ画像データの生成を防止するため、ステージ21が停止した際のライブ画像データ、コントラストの評価値が閾値上のライブ画像データを用いて貼り合わせ画像データを生成する。
また、本発明の実施の形態1では、ライブ画像WLの表示倍率とマップ画像M1の表示倍率とを独立に調整してもよい。図13に示すように、表示部6が同じ表示倍率でマップ画像M1上にライブ画像WLを重畳している場合において、操作入力部5からライブ画像WLの表示倍率を変更する変更信号、たとえばライブ画像WLの表示倍率を拡大する変更信号が入力された場合、表示制御部734は、ライブ画像WLの表示倍率を拡大したライブ画像WL2をマップ画像M1上に重畳して表示部6に表示させる(図13(a)→図13(b))。この場合、表示制御部734は、ライブ画像WLの領域をトリミング処理によって生成したライブ画像WL2をマップ画像M1に重畳して表示部6に表示させる。さらに、表示制御部734は、ライブ画像WL2上の表示位置を変更する変更信号の入力を受け付けるアイコンA2を表示部6に表示させる。
また、本発明の実施の形態1では、マップ画像M1上における関心領域(ROI領域)を表示部6に全画面表示させてもよい。図14に示すように、表示制御部734は、操作入力部5からマップ画像M1上における関心領域を指定する指示信号が入力された場合、関心領域を示すフレームF2をマップ画像M1上に重畳して表示させる(図14(a))。この際、ユーザが通常観察モードに顕微鏡システム1を切り替えた場合、表示制御部734は、マップ画像M1からフレームF2の領域を切り出すトリミング処理を行うことによって、関心領域の関心領域画像データを生成し、この関心領域画像データに対応する関心領域画像WL4を表示部6に全画面表示させる(図14(a)→図14(b))。これにより、ユーザは、関心領域を拡大または縮小した画像を全画面表示で観察することができる。なお、関心領域の表示サイズは、適宜設定することができる。さらに、顕微鏡システム1は、対物レンズ23の観察倍率を変更することによって、関心領域の拡大観察または縮小観察を行ってもよい。さらにまた、ステージ21を移動させてもよい。
また、本発明の実施の形態1では、表示部6が表示するマップ画像の領域を超えて関心領域を指定してもよい。図15に示すように、表示部6がマップ画像M1を表示している場合において、マップ画像M1がない領域も含まれて関心領域が指定されたとき、駆動制御部733は、ライブ画像WLを表示部6で全画面表示できるように対物レンズ23の切り替えを行う(図15(a)→図15(b))。これにより、ユーザは、現在の観察領域以外であっても、関心領域を指定することができる。
また、本発明の実施の形態1では、ライブ画像の軌跡をマップ画像上に重畳して表示してもよい。図16に示すように、表示制御部734は、ライブ画像の移動をマップ画像M1上に矩形状のフレームH1として表示してもよい。さらに、図17に示すように、表示制御部734は、ライブ画像の移動をマップ画像M1上に軌跡H2として表示させてもよい。これにより、ユーザは、試料Sに対する観察領域の軌跡を直感的に把握することができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。本実施の形態2は、上述した実施の形態1にかかる顕微鏡システムが実行するマップ画像表示処理が異なる。このため、以下においては、本実施の形態2にかかる顕微鏡システムが実行するマップ画像表示処理について説明する。なお、上述した実施の形態1にかかる顕微鏡システム1と同様の構成には同じ符号を付して説明する。
図18は、本実施の形態2にかかる顕微鏡システム1が実行するマップ画像表示処理の概要を説明するフローチャートである。
図18において、ステップS401〜ステップS416は、図3のステップS201〜ステップS216にそれぞれ対応する。
ステップS417において、表示部6が表示するマップ画像に対して、操作入力部5からマップ画像の指定領域を更新する指示信号が入力された場合(ステップS417:Yes)において、指定領域のマップ画像データがあるとき(ステップS418:Yes)、顕微鏡システム1は、図2のメインルーチンへ戻る。
ステップS418において、指定領域のマップ画像データがないとき(ステップS418:No)、駆動制御部733は、顕微鏡制御部3を制御することによって、対物レンズ23を高倍対物レンズ232から低倍対物レンズ231に切り替える(ステップS419)。
続いて、駆動制御部733は、顕微鏡制御部3を制御することによって、指定領域が観察領域の中央に位置するようにステージ21を移動させ(ステップS420)、撮像装置4に試料Sの広域領域を撮影させる(ステップS421)。具体的には、図19に示すように、駆動制御部733は、撮像装置4に試料Sの広域領域を撮影させる(図19(a))。
その後、駆動制御部733は、顕微鏡制御部3を制御することによって、対物レンズ23を低倍対物レンズ231から高倍対物レンズ232に切り替え(ステップS422)、指定領域内で所望の観察に位置するようにステージ21を移動させる(ステップS423)。
続いて、貼り合わせ画像生成部732は、撮像装置4が撮像したライブ画像データを取得し(ステップS424)、ステップ421で取得した広域領域の画像データ上にライブ画像データを重畳して貼り合わせするとともに、ステージ21を移動させながら異なる位置のライブ画像データを取得して貼り合せ画像データを生成する(ステップS425)。具体的には、図19に示すように、貼り合わせ画像生成部732は、広域領域の画像データ上で、マップ画像M1にライブ画像WLを重畳して貼り合わせ画像データを生成する(図19(b)→(図19(c))。これにより、通常観察に切り替えた場合であっても、マップ画像M1からライブ画像WLに滑らかに切り替えることができるので(図19(c)→(図19(d))、元の観察位置を見失ったり、元の観察状態に戻したりする手間を防止することができる。
その後、表示制御部734は、貼り合わせ画像生成部732が生成した貼り合わせ画像データに対応する貼り合わせ画像をマップ画像として表示部6に表示させる(ステップS426)。ステップS426の後、顕微鏡システム1は、図2のメインルーチンへ戻る。
以上説明した本発明の実施の形態2によれば、対物レンズ23を高倍対物レンズ232に変更した後に、マップ画像M1がない領域が含まれていても、簡易な操作で試料Sのマップ画像を生成することができる。
なお、本発明では、顕微鏡装置、操作入力部、表示部および制御端末を備えた顕微鏡システムを例に説明したが、たとえば試料を拡大する対物レンズ、対物レンズを介して試料を撮像する撮像機能、および画像を表示する表示機能を備えた撮像装置、たとえばビデオマイクロスコープ、走査型レーザ顕微鏡、走査型プローブ顕微鏡などであっても、本発明を適用することができる。
また、本発明では、顕微鏡装置として正立型顕微鏡装置を例に説明したが、たとえば倒立型顕微鏡装置であっても適用することができる。さらに、顕微鏡装置を組み込んだライン装置といった各種システムにも、本発明を適用することができる。
また、本発明では、制御端末、表示部および操作入力部が別々に構成されていたが、一体的に形成されたものであってもよい。
また、観察倍率の変更は、低倍対物レンズ232と高倍対物レンズ231との切り替えにて説明したが、ズームレンズ部243のズーム光学系243aを移動させることで観察倍率を変更するようにしてもよいし、これら双方の組み合わせて観察倍率を変更するようにしてもよい。