[go: up one dir, main page]

JP2014085598A - Microscope system - Google Patents

Microscope system Download PDF

Info

Publication number
JP2014085598A
JP2014085598A JP2012236063A JP2012236063A JP2014085598A JP 2014085598 A JP2014085598 A JP 2014085598A JP 2012236063 A JP2012236063 A JP 2012236063A JP 2012236063 A JP2012236063 A JP 2012236063A JP 2014085598 A JP2014085598 A JP 2014085598A
Authority
JP
Japan
Prior art keywords
display
image
unit
position confirmation
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012236063A
Other languages
Japanese (ja)
Other versions
JP6061614B2 (en
Inventor
Kana Hibino
奏 日比野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012236063A priority Critical patent/JP6061614B2/en
Publication of JP2014085598A publication Critical patent/JP2014085598A/en
Application granted granted Critical
Publication of JP6061614B2 publication Critical patent/JP6061614B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】試料に対するライブ画像の位置を直感的に把握することができる顕微鏡システムを提供する。
【解決手段】ステージ２１に載置された試料Ｓを撮像して試料Ｓの画像データを時系列に沿って連続的に生成する撮像装置４と、撮像装置４の視野領域よりも外縁が広い観察領域を有し、試料Ｓに対する撮像装置４の視野領域の位置を確認するための位置確認画像データを記録するマップ画像記録部７２２と、画像データに対応する画像および／またはマップ画像データに対応する位置確認画像を表示可能な表示部６と、撮像装置４の視野領域に対応するマップ画像上にライブ画像を重畳して表示部６に表示させる表示制御部７３４と、を備える。
【選択図】図１A microscope system capable of intuitively grasping the position of a live image with respect to a sample is provided.
An imaging device that captures an image of a sample placed on a stage and continuously generates image data of the sample in a time series, and an observation that has a wider outer edge than the visual field region of the imaging device. A map image recording unit 722 for recording position confirmation image data for confirming the position of the field of view of the imaging device 4 with respect to the sample S, and an image corresponding to the image data and / or map image data A display unit 6 capable of displaying the position confirmation image; and a display control unit 734 that displays the live image on the map unit corresponding to the field of view of the imaging device 4 and displays the live image on the display unit 6.
[Selection] Figure 1

Description

本発明は、対物レンズを用いてステージ上に載置された試料を撮像することによって生成された画像データに対応する画像を表示する顕微鏡システムに関する。   The present invention relates to a microscope system that displays an image corresponding to image data generated by imaging a sample placed on a stage using an objective lens.

従来、試料に対する顕微鏡の観察領域を表示モニタで表示する技術が知られている（特許文献１参照）。この技術では、顕微鏡を介して撮像装置が連続的に生成するライブ画像と、試料全体を撮像した全体画像と、試料に対する顕微鏡の観察領域を確認するための位置確認画像とを表示モニタで表示する。   Conventionally, a technique for displaying an observation region of a microscope with respect to a sample on a display monitor is known (see Patent Document 1). In this technology, a live image continuously generated by an imaging device through a microscope, an entire image obtained by imaging the entire sample, and a position confirmation image for confirming the observation region of the microscope with respect to the sample are displayed on a display monitor. .

特開２００８−１０７６４５号公報JP 2008-107645 A

しかしながら、上述した特許文献１では、ライブ画像と位置確認画像とが異なる表示領域で表示されているため、顕微鏡で試料を観察する際の試料に対するライブ画像の観察領域を直感的に把握することが難しかった。   However, in Patent Document 1 described above, since the live image and the position confirmation image are displayed in different display areas, it is possible to intuitively grasp the observation area of the live image with respect to the sample when the sample is observed with a microscope. was difficult.

本発明は、上記に鑑みてなされたものであって、顕微鏡で試料を観察する際の試料に対するライブ画像の位置を直感的に把握することができる顕微鏡システムを提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide a microscope system capable of intuitively grasping the position of a live image with respect to a sample when the sample is observed with a microscope.

上述した課題を解決し、目的を達成するために、本発明にかかる顕微鏡システムは、試料を載置し、水平方向に移動可能なステージと、前記ステージに載置された前記試料を撮像して該試料の画像データを時系列に沿って連続的に生成する撮像装置と、前記撮像装置の視野領域を含む広い視野領域を有し、前記撮像装置が前記試料を撮像する際の前記試料に対する前記撮像装置の視野領域の位置を示す位置確認画像データを記録する位置確認画像記録部と、前記画像データに対応する画像および／または前記位置確認画像データに対応する位置確認画像を表示可能な表示部と、前記撮像装置の視野領域に対応する前記位置確認画像上に前記画像を重畳して前記表示部に表示させる表示制御部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, a microscope system according to the present invention mounts a sample, images a stage movable in the horizontal direction, and the sample placed on the stage. An imaging device that continuously generates image data of the sample along a time series, and a wide visual field region including a visual field region of the imaging device, and the imaging device captures the sample with respect to the sample. A position confirmation image recording unit for recording position confirmation image data indicating the position of the field of view of the imaging device, and a display unit capable of displaying an image corresponding to the image data and / or a position confirmation image corresponding to the position confirmation image data And a display control unit that superimposes the image on the position confirmation image corresponding to the visual field region of the imaging device and displays the image on the display unit.

また、本発明にかかる顕微鏡システムは、上記発明において、前記ステージを水平方向に移動させるステージ駆動部と、前記表示部が表示する前記位置確認画像上における関心領域を指定する指示信号の入力を受け付ける操作入力部と、前記操作入力部から前記指示信号が入力された場合、前記ステージ駆動部を駆動させて、前記撮像装置の視野領域が前記関心領域に対応する前記試料の領域と一致する位置に前記ステージを移動させる駆動制御部と、をさらに備えたことを特徴とする。   In the microscope system according to the present invention, in the above invention, a stage driving unit that moves the stage in a horizontal direction and an instruction signal that specifies a region of interest on the position confirmation image displayed by the display unit are received. When the instruction signal is input from the operation input unit and the operation input unit, the stage driving unit is driven so that the visual field region of the imaging device matches the region of the sample corresponding to the region of interest. And a drive control unit for moving the stage.

また、本発明にかかる顕微鏡システムは、上記発明において、前記位置確認画像記録部は、表示倍率が互いに異なる複数の前記位置確認画像データを記録し、前記操作入力部は、前記位置確認画像の表示倍率を設定する設定信号の入力を受け付け可能であり、前記表示制御部は、前記操作入力部から前記設定信号が入力された場合、前記設定信号に応じた表示倍率で前記位置確認画像を前記表示部に表示させるとともに、該表示倍率に応じた表示サイズで前記画像を前記位置確認画像上に重畳して前記表示部に表示させることを特徴とする。   In the microscope system according to the present invention as set forth in the invention described above, the position confirmation image recording unit records a plurality of the position confirmation image data having different display magnifications, and the operation input unit displays the position confirmation image. An input of a setting signal for setting a magnification can be received, and the display control unit displays the position confirmation image at a display magnification according to the setting signal when the setting signal is input from the operation input unit. And displaying the image on the display unit by superimposing the image on the position confirmation image with a display size corresponding to the display magnification.

また、本発明にかかる顕微鏡システムは、上記発明において、前記操作入力部は、前記表示部が表示する前記位置確認画像の表示領域を変更する変更信号の入力を受け付け可能であり、前記表示制御部は、前記操作入力部から前記変更信号が入力された場合、前記表示領域を、前記変更信号に応じて変更して前記表示部に表示させることを特徴とする。   Further, in the microscope system according to the present invention, in the above invention, the operation input unit can receive an input of a change signal for changing a display area of the position confirmation image displayed by the display unit, and the display control unit When the change signal is input from the operation input unit, the display area is changed according to the change signal and displayed on the display unit.

また、本発明にかかる顕微鏡システムは、上記発明において、前記表示制御部は、前記撮像装置の光軸上に配置された前記対物レンズの観察倍率に応じた前記位置確認画像を前記表示部に表示させるとともに、前記対物レンズの観察倍率に応じた表示サイズで前記画像を前記位置確認画像上に重畳して前記表示部に表示させることを特徴とする。   In the microscope system according to the present invention as set forth in the invention described above, the display control unit displays the position confirmation image according to the observation magnification of the objective lens arranged on the optical axis of the imaging device on the display unit. The image is superimposed on the position confirmation image and displayed on the display unit with a display size corresponding to the observation magnification of the objective lens.

また、本発明にかかる顕微鏡システムは、上記発明において、観察倍率が互いに異なる複数の対物レンズを保持するレボルバと、前記レボルバを駆動するレボルバ駆動部と、をさらに備え、前記駆動制御部は、前記操作入力部から前記変更信号が入力された場合、前記レボルバ駆動部を駆動させて、前記画像の表示領域が前記表示部の表示領域と一致するように前記撮像装置の光軸上における前記対物レンズを切り替えることを特徴とする。   The microscope system according to the present invention further includes a revolver that holds a plurality of objective lenses having different observation magnifications, and a revolver drive unit that drives the revolver, wherein the drive control unit includes the revolver, When the change signal is input from the operation input unit, the objective lens on the optical axis of the imaging device is driven so that the revolver driving unit is driven and the display region of the image coincides with the display region of the display unit. It is characterized by switching.

また、本発明にかかる顕微鏡システムは、上記発明において、前記表示制御部は、前記ステージの移動により、前記画像の一辺が前記表示部の表示領域の端部に到達した場合、前記表示部が表示する前記位置確認画像の表示領域を変更させるか、または表示倍率が異なる前記位置確認画像を前記表示部に表示させることを特徴とする。   In the microscope system according to the present invention, in the above invention, the display control unit displays the display unit when one side of the image reaches the end of the display area of the display unit due to the movement of the stage. A display area of the position confirmation image to be changed is changed, or the position confirmation image having a different display magnification is displayed on the display unit.

また、本発明にかかる顕微鏡システムは、上記発明において、前記表示制御部は、前記位置確認画像上における前記画像の表示領域が予め設定された閾値を超えた場合、表示倍率が異なる前記位置確認画像を前記表示部に表示させることを特徴とする。   Further, the microscope system according to the present invention is the above-described invention, wherein the display control unit has the display confirmation image having a different display magnification when a display area of the image on the position check image exceeds a preset threshold. Is displayed on the display unit.

また、本発明にかかる顕微鏡システムは、上記発明において、前記位置確認画像は、複数の前記画像を貼り合わせて生成された貼り合わせ画像、または前記試料の全体を撮像した全体画像であることを特徴とする。   In the microscope system according to the present invention, in the above invention, the position confirmation image is a combined image generated by combining a plurality of the images, or an entire image obtained by capturing the entire sample. And

本発明にかかる顕微鏡システムによれば、表示制御部が撮像装置の視野領域に対応する位置確認画像上に撮像装置によって生成された画像を重畳して表示部に表示させるので、試料に対するライブ画像の位置を直感的に把握することができというる効果を奏する。   According to the microscope system of the present invention, the display control unit superimposes the image generated by the imaging device on the position confirmation image corresponding to the visual field region of the imaging device and displays the image on the display unit. There is an effect that the position can be grasped intuitively.

図１は、本発明の実施の形態１にかかる顕微鏡システムの機能構成を示すブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of the microscope system according to the first embodiment of the present invention. 図２は、本発明の実施の形態１にかかる顕微鏡システムが実行する処理の概要を示すフローチャートである。FIG. 2 is a flowchart illustrating an outline of processing executed by the microscope system according to the first embodiment of the present invention. 図３は、図２のマップ画像表示処理の概要を示すフローチャートである。FIG. 3 is a flowchart showing an outline of the map image display process of FIG. 図４は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図５は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 5 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図６は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 6 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図７は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 7 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図８は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 8 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図９は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 9 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１０は、図２のマップ画像生成処理の概要を示すフローチャートである。FIG. 10 is a flowchart showing an outline of the map image generation processing of FIG. 図１１は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 11 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１２Ａは、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 12A is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１２Ｂは、本発明の実施の形態１にかかる顕微鏡システムの貼り合わせ画像生成部が生成する貼り合わせ画像の一例を示す図である。FIG. 12B is a diagram illustrating an example of a bonded image generated by the bonded image generation unit of the microscope system according to the first embodiment of the present invention. 図１３は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 13 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１４は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 14 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１５は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 15 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１６は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 16 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１７は、本発明の実施の形態１にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 17 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the first embodiment of the present invention. 図１８は、本発明の実施の形態２にかかる顕微鏡システムが実行するマップ画像表示処理の概要を示すフローチャートである。FIG. 18 is a flowchart showing an outline of map image display processing executed by the microscope system according to the second embodiment of the present invention. 図１９は、本発明の実施の形態２にかかる顕微鏡システムの表示部が表示する画像の一例を示す図である。FIG. 19 is a diagram illustrating an example of an image displayed by the display unit of the microscope system according to the second embodiment of the present invention.

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. The present invention is not limited to the embodiments described below. Further, in the description of the drawings, the same portions will be described with the same reference numerals.

（実施の形態１）
図１は、本発明の実施の形態１にかかる顕微鏡システムの機能構成を示すブロック図である。なお、図１において、顕微鏡システム１が載置される平面をＸＹ平面とし、ＸＹ平面と垂直な方向をＺ方向として説明する。 (Embodiment 1)
FIG. 1 is a block diagram illustrating a functional configuration of the microscope system according to the first embodiment of the present invention. In FIG. 1, a plane on which the microscope system 1 is placed is described as an XY plane, and a direction perpendicular to the XY plane is described as a Z direction.

図１に示す顕微鏡システム１は、試料Ｓを観察する顕微鏡装置２と、顕微鏡装置の駆動を制御する顕微鏡制御部３と、顕微鏡制御部３を介して試料Ｓを撮像して画像データを生成する撮像装置４と、顕微鏡システム１の各種の操作の入力を受け付ける操作入力部５と、撮像装置４が撮像した画像データに対応する画像を表示可能な表示部６と、顕微鏡システム１の各部を制御する制御端末７と、を備える。顕微鏡装置２、顕微鏡制御部３、撮像装置４、操作入力部５、表示部６および制御端末７は、データを送受信可能に有線または無線で接続されている。   A microscope system 1 shown in FIG. 1 generates image data by imaging a sample S through a microscope apparatus 2 that observes the sample S, a microscope control unit 3 that controls driving of the microscope apparatus, and the microscope control unit 3. The imaging device 4, an operation input unit 5 that receives input of various operations of the microscope system 1, a display unit 6 that can display an image corresponding to image data captured by the imaging device 4, and each unit of the microscope system 1 are controlled. And a control terminal 7 to be provided. The microscope device 2, the microscope control unit 3, the imaging device 4, the operation input unit 5, the display unit 6, and the control terminal 7 are connected by wire or wireless so that data can be transmitted and received.

顕微鏡装置２は、試料Ｓが載置されるステージ２１と、ステージ２１を支持するとともに、レボルバ２２を介して対物レンズ２３を保持する顕微鏡本体部２４と、試料Ｓに光を照射する落射照明用光源２５と、を備える。   The microscope apparatus 2 includes a stage 21 on which the sample S is placed, a microscope main body 24 that supports the stage 21 and holds an objective lens 23 via a revolver 22, and epi-illumination that irradiates the sample S with light. A light source 25.

ステージ２１は、ＸＹＺ方向に移動自在に構成されている。ステージ２１は、ステージ駆動部２１１によってＸＹ平面内で移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＸＹ位置の原点センサによってＸＹ平面における所定の原点位置を検出し、この原点位置を基点としてステージ駆動部２１１の駆動量が制御されることによって、試料Ｓ上の観察箇所（観察領域）を移動する。ステージ２１は、観察時のＸ位置およびＹ位置に関する位置信号（ＸＹ座標）を顕微鏡制御部３に出力する。また、ステージ２１は、モータ２１２によってＺ方向に移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＺ位置の原点センサによってステージ２１のＺ方向における所定の原点位置を検出し、この原点位置を基点としてモータ２１２の駆動量が制御されることによって、所定の高さ範囲内の任意のＺ位置に試料Ｓを焦準移動させる。ステージ２１は、観察時のＺ位置に関する位置信号を顕微鏡制御部３に出力する。   The stage 21 is configured to be movable in the XYZ directions. The stage 21 is movable in the XY plane by the stage driving unit 211. Under the control of the microscope control unit 3, the stage 21 detects a predetermined origin position on the XY plane by an XY position origin sensor (not shown), and the drive amount of the stage drive unit 211 is controlled based on this origin position. Accordingly, the observation location (observation region) on the sample S is moved. The stage 21 outputs position signals (XY coordinates) relating to the X position and the Y position during observation to the microscope control unit 3. Further, the stage 21 is movable in the Z direction by a motor 212. Under the control of the microscope control unit 3, the stage 21 detects a predetermined origin position in the Z direction of the stage 21 by a Z position origin sensor (not shown), and the driving amount of the motor 212 is controlled based on this origin position. As a result, the sample S is moved to an arbitrary Z position within a predetermined height range. The stage 21 outputs a position signal related to the Z position during observation to the microscope control unit 3.

レボルバ２２は、顕微鏡本体部２４に対してスライド自在または回転自在に設けられ、対物レンズ２３を試料Ｓの上方に配置する。レボルバ２２は、ノーズピースやスイングレボルバ等を用いて構成される。レボルバ２２は、マウンタ２２１によって倍率（観察倍率）が異なる複数の対物レンズ２３を保持する。レボルバ２２は、観察光の光路上に挿入されて試料Ｓの観察に用いる対物レンズ２３を択一的に切換えるため、マウンタ２２１をスライド移動又は回転させるレボルバ駆動部２２２と、レボルバ２２の接続状態等を検出するレボルバ検出部２２３と、を有する。   The revolver 22 is provided so as to be slidable or rotatable with respect to the microscope body 24, and the objective lens 23 is disposed above the sample S. The revolver 22 is configured using a nose piece, a swing revolver, or the like. The revolver 22 holds a plurality of objective lenses 23 having different magnifications (observation magnifications) by the mounter 221. The revolver 22 is inserted in the optical path of the observation light and selectively switches the objective lens 23 used for observing the sample S, so that the revolver driving unit 222 that slides or rotates the mounter 221 and the connection state of the revolver 22, etc. And a revolver detector 223 for detecting.

レボルバ駆動部２２２は、顕微鏡制御部３の制御のもと、マウンタ２２１をスライド移動又は回転させる。レボルバ検出部２２３は、レボルバ２２が顕微鏡本体部２４に接続されていることを検知するレボルバ接続センサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入された対物レンズ２３の種類を識別するレボルバセンサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入されたことを検知する移動完了センサ（図示せず）と、を有する。レボルバ検出部２２３は、各種センサが検出した検出結果を顕微鏡制御部３へ出力する。   The revolver driving unit 222 slides or rotates the mounter 221 under the control of the microscope control unit 3. The revolver detection unit 223 includes a revolver connection sensor (not shown) that detects that the revolver 22 is connected to the microscope main body 24, and the type of the objective lens 23 in which the objective lens 23 is inserted in the optical path of the observation light. And a movement completion sensor (not shown) for detecting that the objective lens 23 is inserted on the optical path of the observation light. The revolver detection unit 223 outputs detection results detected by various sensors to the microscope control unit 3.

対物レンズ２３は、たとえば１倍，２倍，４倍の比較的倍率の低い対物レンズ２３１（以下、「低倍対物レンズ２３１」という）と、１０倍，２０倍，４０倍の低倍対物レンズ２３１の倍率に対して高倍率である対物レンズ２３２（以下、「高倍対物レンズ２３２」という）とを少なくとも一つずつマウンタ２２１に装着される。なお、低倍対物レンズ２３１および高倍対物レンズ２３２の倍率は一例であり、高倍対物レンズ２３２が低倍対物レンズ２３１に対して高ければよい。   The objective lens 23 includes, for example, an objective lens 231 with relatively low magnification of 1 ×, 2 ×, and 4 × (hereinafter referred to as “low magnification objective lens 231”), and a 10 ×, 20 ×, and 40 × low magnification objective lens. At least one objective lens 232 (hereinafter referred to as “high-magnification objective lens 232”) having a high magnification relative to the magnification of 231 is attached to the mounter 221. Note that the magnifications of the low-magnification objective lens 231 and the high-magnification objective lens 232 are examples, and it is sufficient that the high-magnification objective lens 232 is higher than the low-magnification objective lens 231.

顕微鏡本体部２４は、ファイバー２５１を介して落射照明用光源２５から出射された照明光Ｌ１（以下、「落射照明光Ｌ１」という）を集光する照明レンズ２４１と、落射照明光Ｌ１の光路を対物レンズ２３の光軸に沿って反射するハーフミラー２４２と、試料Ｓを拡大するズームレンズ部２４３と、対物レンズ２３、ズームレンズ部２４３およびハーフミラー２４２を介して入射される試料Ｓの反射光を集光して観察像を結像する結像レンズ２４４とが内部に設けられている。   The microscope main body 24 includes an illumination lens 241 that collects the illumination light L1 emitted from the epi-illumination light source 25 through the fiber 251 (hereinafter referred to as “epi-illumination light L1”), and an optical path of the epi-illumination light L1. The half mirror 242 that reflects along the optical axis of the objective lens 23, the zoom lens unit 243 that magnifies the sample S, and the reflected light of the sample S that enters through the objective lens 23, the zoom lens unit 243, and the half mirror 242 And an imaging lens 244 for focusing and focusing to form an observation image.

ズームレンズ部２４３は、１または複数のレンズからなり、試料Ｓに対して光学ズーム可能なズーム光学系２４３ａと、ズーム光学系２４３ａを光軸に沿って駆動するズーム駆動部２４３ｂとを有する。ズーム駆動部２４３ｂは、顕微鏡制御部３の制御のもと、ズーム光学系２４３ａを光軸に沿って移動させることにより、ズームレンズ部２４３のズーム倍率を変更する。   The zoom lens unit 243 includes one or a plurality of lenses, and includes a zoom optical system 243a that can optically zoom the sample S and a zoom drive unit 243b that drives the zoom optical system 243a along the optical axis. The zoom drive unit 243b changes the zoom magnification of the zoom lens unit 243 by moving the zoom optical system 243a along the optical axis under the control of the microscope control unit 3.

落射照明光Ｌ１は、照明レンズ２４１、ハーフミラー２４２、ズーム光学系２４３ａおよび対物レンズ２３を経て試料Ｓに照射される。試料Ｓで反射した反射光Ｌ２（以下、「観察光Ｌ２」という）は、対物レンズ２３、ズーム光学系２４３ａ、ハーフミラー２４２および結像レンズ２４４を経て撮像装置４に入射する。   The incident illumination light L1 is applied to the sample S through the illumination lens 241, the half mirror 242, the zoom optical system 243a, and the objective lens 23. The reflected light L2 reflected by the sample S (hereinafter referred to as “observation light L2”) enters the imaging device 4 through the objective lens 23, the zoom optical system 243a, the half mirror 242, and the imaging lens 244.

落射照明用光源２５は、ハロゲンランプ、キセノンランプまたはＬＥＤ（Light Emitting Diode）等によって構成される。落射照明用光源２５は、ファイバー２５１を介して試料Ｓの観察像を形成するための落射照明光Ｌ１を顕微鏡本体部２４に出射する。   The epi-illumination light source 25 includes a halogen lamp, a xenon lamp, an LED (Light Emitting Diode), or the like. The epi-illumination light source 25 emits epi-illumination light L <b> 1 for forming an observation image of the sample S to the microscope main body 24 through the fiber 251.

顕微鏡制御部３は、ＣＰＵ（Central Processing Unit）等を用いて構成され、制御端末７の制御のもと、顕微鏡装置２を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部３は、レボルバ駆動部２２２を駆動することにより、マウンタ２２１を回転させて観察光Ｌ２の光路上に配置する対物レンズ２３を切換える切換処理、ステージ駆動部２１１またはモータ２１２を駆動することにより、ステージ２１の駆動処理、および試料Ｓの観察に伴う顕微鏡装置２の各部の調整を行う調整処理等を行う。また、顕微鏡制御部３は、顕微鏡装置２を構成する各部の状態、たとえばステージ２１の位置情報（ＸＹ位置、Ｚ位置）およびレボルバ２２に装着された対物レンズ２３の種類情報等を制御端末７に出力する。   The microscope control unit 3 is configured using a CPU (Central Processing Unit) or the like, and comprehensively controls the operation of each unit configuring the microscope apparatus 2 under the control of the control terminal 7. Specifically, the microscope control unit 3 drives the revolver driving unit 222 to rotate the mounter 221 to switch the objective lens 23 arranged on the optical path of the observation light L2, the stage driving unit 211 or the motor By driving 212, the stage 21 driving process, the adjustment process for adjusting each part of the microscope apparatus 2 accompanying the observation of the sample S, and the like are performed. In addition, the microscope control unit 3 informs the control terminal 7 of the state of each part constituting the microscope apparatus 2, for example, the position information (XY position, Z position) of the stage 21 and the type information of the objective lens 23 attached to the revolver 22. Output.

撮像装置４は、制御端末７の制御のもと、結像レンズ２４４を経て入射された試料Ｓの観察像を撮像して試料Ｓの画像データを時系列に沿って連続的に生成する。撮像装置４は、カメラケーブルを介して生成した試料Ｓの画像データを制御端末７へ出力する。撮像装置４は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子４１を用いて構成される。なお、撮像装置４は、画像データの輝度情報に基づいて、試料Ｓに対するＡＦ処理を実行するＡＦ機能およびＡＥ処理を実行するＡＥ機能を有する。   Under the control of the control terminal 7, the imaging device 4 captures an observation image of the sample S incident through the imaging lens 244 and continuously generates image data of the sample S in time series. The imaging device 4 outputs the image data of the sample S generated via the camera cable to the control terminal 7. The imaging device 4 is configured using an imaging device 41 such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Note that the imaging device 4 has an AF function for executing the AF process on the sample S and an AE function for executing the AE process based on the luminance information of the image data.

操作入力部５は、顕微鏡システム１の各種の操作の入力を受け付ける。操作入力部５は、キーボート、マウス、ジョイスティック、タッチパネルおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御端末７に出力する。   The operation input unit 5 receives input of various operations of the microscope system 1. The operation input unit 5 is configured by using a keyboard, a mouse, a joystick, a touch panel, various switches, and the like, and outputs operation signals corresponding to operation inputs of the various switches to the control terminal 7.

表示部６は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部６は、制御端末７から入力される画像データに対応する画像および顕微鏡システム１の各種操作情報を表示する。具体的には、表示部６は、撮像装置４が撮像した画像データに対応する画像および／または撮像装置４の視野領域を含む広い観察領域を有し、試料Ｓに対する撮像装置４の視野領域の位置を確認するための位置確認画像データに対応する位置確認画像（以下、「マップ画像」という）を表示する。   The display unit 6 is configured using a display panel made of liquid crystal, organic EL (Electro Luminescence), or the like. The display unit 6 displays an image corresponding to image data input from the control terminal 7 and various operation information of the microscope system 1. Specifically, the display unit 6 has a wide observation region including an image corresponding to the image data captured by the imaging device 4 and / or a visual field region of the imaging device 4, and the visual field region of the imaging device 4 with respect to the sample S. A position confirmation image (hereinafter referred to as “map image”) corresponding to the position confirmation image data for confirming the position is displayed.

制御端末７は、顕微鏡制御部３、撮像装置４、操作入力部５および表示部６との通信を行う制御通信部７１と、顕微鏡システム１の各種情報、画像データおよび貼り合わせ画像データを記録する記録部７２と、顕微鏡システム１の各部を制御する制御部７３と、を備える。   The control terminal 7 records a control communication unit 71 that communicates with the microscope control unit 3, the imaging device 4, the operation input unit 5, and the display unit 6, and various information, image data, and bonded image data of the microscope system 1. The recording part 72 and the control part 73 which controls each part of the microscope system 1 are provided.

制御通信部７１は、顕微鏡制御部３、撮像装置４、操作入力部５および表示部６それぞれとの通信を行うための通信インターフェースである。   The control communication unit 71 is a communication interface for communicating with the microscope control unit 3, the imaging device 4, the operation input unit 5, and the display unit 6.

記録部７２は、制御端末７の内部に固定的に設けられるフラッシュメモリおよびＲＡＭ（Random Access Memory）等の半導体メモリを用いて構成され、顕微鏡システム１に実行させる各種プログラム、プログラムの実行中に使用される各種データを記録する。また、記録部７２は、撮像装置４が撮像したライブ画像データを記録するライブ画像記録部７２１と、撮像装置４が試料Ｓを撮像する際の試料Ｓに対する撮像装置４の視野領域の位置を示すマップ画像データを記録するマップ画像記録部７２２と、を有する。ここで、マップ画像データとは、試料Ｓに対して撮像装置４が生成した複数の画像データを貼り合わせた貼り合わせ画像データ、または試料Ｓの全体を撮像した全体画像データである。ここで、全体画像データとは、低倍、たとえば、低倍対物レンズ２３１で試料Ｓを撮像した画像データである。   The recording unit 72 is configured using a flash memory and a semiconductor memory such as a RAM (Random Access Memory) fixedly provided inside the control terminal 7, and is used during execution of various programs to be executed by the microscope system 1. Record various data. The recording unit 72 indicates a live image recording unit 721 that records live image data captured by the imaging device 4 and the position of the visual field region of the imaging device 4 with respect to the sample S when the imaging device 4 captures the sample S. A map image recording unit 722 that records map image data. Here, the map image data is bonded image data obtained by bonding a plurality of image data generated by the imaging device 4 to the sample S, or entire image data obtained by imaging the entire sample S. Here, the whole image data is image data obtained by imaging the sample S with a low magnification, for example, a low magnification objective lens 231.

制御部７３は、ＣＰＵ等を用いて構成され、操作入力部５から入力される操作信号に応じて顕微鏡システム１を構成する各部に対する指示やデータの転送等を行って顕微鏡システム１の動作を統括的に制御する。ここで、制御部７３の詳細な構成について説明する。制御部７３は、ライブ画像生成部７３１と、貼り合わせ画像生成部７３２と、駆動制御部７３３と、表示制御部７３４と、を有する。   The control unit 73 is configured using a CPU or the like, and controls the operation of the microscope system 1 by instructing each unit of the microscope system 1 and transferring data according to an operation signal input from the operation input unit 5. Control. Here, a detailed configuration of the control unit 73 will be described. The control unit 73 includes a live image generation unit 731, a composite image generation unit 732, a drive control unit 733, and a display control unit 734.

ライブ画像生成部７３１は、撮像装置４が時系列に沿って連続的に生成した画像データに対して、所定の画像処理を順次施してライブ画像データを生成し、生成したライブ画像データを表示部６および／または記録部７２に出力する。ここで、所定の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等である。   The live image generation unit 731 generates predetermined live image data by sequentially performing predetermined image processing on the image data continuously generated in time series by the imaging device 4, and the generated live image data is displayed on the display unit. 6 and / or output to the recording unit 72. Here, the predetermined image processing includes optical black subtraction processing, white balance adjustment processing, synchronization processing, color matrix calculation processing, γ correction processing, color reproduction processing, edge enhancement processing, and the like.

貼り合わせ画像生成部７３２は、撮像装置４が時系列に沿って連続する複数のライブ画像データに対応するライブ画像の一辺が重なり合うように重畳して撮像装置４の視野領域よりも広い貼り合わせ画像データを生成する。また、貼り合わせ画像生成部７３２は、試料Ｓのマップ画像データに対応するマップ画像に、ライブ画像生成部７３１が生成したライブ画像データに対応するライブ画像を重畳して貼り合わせ画像データを生成する。具体的には、貼り合わせ画像生成部７３２は、マップ画像記録部７２２が記録する試料Ｓのマップ画像データを取得し、取得したマップ画像データに、ライブ画像生成部７３１が生成したライブ画像データを重畳してライブ貼り合わせ画像データを生成する。   The composite image generation unit 732 superimposes the image capturing device 4 so that one side of the live image corresponding to a plurality of live image data continuous in time series overlaps, and a composite image wider than the visual field region of the image capture device 4. Generate data. Also, the composite image generation unit 732 generates composite image data by superimposing a live image corresponding to the live image data generated by the live image generation unit 731 on a map image corresponding to the map image data of the sample S. . Specifically, the bonded image generation unit 732 acquires the map image data of the sample S recorded by the map image recording unit 722, and adds the live image data generated by the live image generation unit 731 to the acquired map image data. Live image data is generated by superimposing.

駆動制御部７３３は、操作入力部５から入力される指示信号に基づいて、顕微鏡装置２の駆動および撮像装置４の駆動それぞれを制御する。具体的には、駆動制御部７３３は、操作入力部５から撮影を指示する指示信号が入力された場合、撮像装置４に撮影動作を実行させる。また、駆動制御部７３３は、操作入力部５からステージ２１を移動させる指示信号が入力された場合、顕微鏡制御部３にステージ２１を駆動する指示信号を出力することにより、ステージ２１を駆動する。   The drive control unit 733 controls the driving of the microscope device 2 and the driving of the imaging device 4 based on the instruction signal input from the operation input unit 5. Specifically, the drive control unit 733 causes the imaging device 4 to perform a shooting operation when an instruction signal instructing shooting is input from the operation input unit 5. In addition, when an instruction signal for moving the stage 21 is input from the operation input unit 5, the drive control unit 733 drives the stage 21 by outputting an instruction signal for driving the stage 21 to the microscope control unit 3.

表示制御部７３４は、表示部６の表示態様を制御する。具体的には、表示制御部７３４は、制御通信部７１を介してライブ画像生成部７３１が生成したライブ画像データに対応するライブ画像およびマップ画像記録部７２２が記録するマップ画像データに対応するマップ画像を表示部６に表示させる。また、表示制御部７３４は、顕微鏡システム１がマップ画像表示モードに設定されている場合、撮像装置４の視野領域に対応するマップ画像上にライブ画像を重畳して表示部６に表示させる。さらに、表示制御部７３４は、顕微鏡システム１の各種駆動情報に関するアイコンを表示部６に表示させる。   The display control unit 734 controls the display mode of the display unit 6. Specifically, the display control unit 734 maps the live image corresponding to the live image data generated by the live image generation unit 731 via the control communication unit 71 and the map image data recorded by the map image recording unit 722. The image is displayed on the display unit 6. Further, when the microscope system 1 is set to the map image display mode, the display control unit 734 superimposes the live image on the map image corresponding to the visual field area of the imaging device 4 and causes the display unit 6 to display the live image. Further, the display control unit 734 causes the display unit 6 to display icons related to various drive information of the microscope system 1.

このように構成された顕微鏡システム１は、制御端末７の制御のもと、撮像装置４で撮像された試料Ｓの画像データを表示部６に表示させることによって、ユーザに試料Ｓの画像を観察させることができる。さらに、顕微鏡システム１は、操作入力部５から入力される指示信号に応じて、制御端末７が顕微鏡システム１の各部に指示信号や駆動信号を出力することによって、顕微鏡装置２および撮像装置４が駆動する。   The microscope system 1 configured in this way allows the user to observe the image of the sample S by causing the display unit 6 to display the image data of the sample S imaged by the imaging device 4 under the control of the control terminal 7. Can be made. Further, in the microscope system 1, the control terminal 7 outputs an instruction signal and a drive signal to each part of the microscope system 1 in accordance with an instruction signal input from the operation input unit 5, so that the microscope apparatus 2 and the imaging apparatus 4 To drive.

つぎに、顕微鏡システム１が実行する処理について説明する。図２は、顕微鏡システム１が実行する処理の概要を示すフローチャートである。   Next, processing executed by the microscope system 1 will be described. FIG. 2 is a flowchart showing an outline of processing executed by the microscope system 1.

図２に示すように、顕微鏡システム１がマップ画像表示モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）、顕微鏡システム１は、撮像装置４の視野領域に対応する試料Ｓのマップ画像上の位置に、撮像装置４によって撮像された画像データに対応するライブ画像を重畳して表示部６に表示させるマップ画像表示処理を実行する（ステップＳ１０２）。なお、マップ画像表示処理の詳細な内容については後述する。   As shown in FIG. 2, when the microscope system 1 is set to the map image display mode (step S <b> 101: Yes), the microscope system 1 positions the sample S on the map image corresponding to the visual field region of the imaging device 4. In addition, a map image display process is executed in which a live image corresponding to the image data captured by the imaging device 4 is superimposed and displayed on the display unit 6 (step S102). Details of the map image display process will be described later.

続いて、制御端末７は、顕微鏡システム１による試料Ｓの観察を終了するか否かを判断する（ステップＳ１０３）。具体的には、制御端末７は、操作入力部５から試料Ｓの観察の終了を指示する指示信号が入力されたか否かを判断する。顕微鏡システム１による観察を終了すると制御端末７が判断した場合（ステップＳ１０３：Ｙｅｓ）、顕微鏡システム１は、本処理を終了する。これに対して、顕微鏡システム１による観察を終了しないと制御端末７が判断した場合（ステップＳ１０３：Ｎｏ）、顕微鏡システム１は、ステップＳ１０１へ戻る。   Subsequently, the control terminal 7 determines whether or not to end the observation of the sample S by the microscope system 1 (step S103). Specifically, the control terminal 7 determines whether or not an instruction signal for instructing the end of observation of the sample S is input from the operation input unit 5. When the control terminal 7 determines that the observation by the microscope system 1 is finished (step S103: Yes), the microscope system 1 finishes this process. On the other hand, when the control terminal 7 determines that the observation by the microscope system 1 is not finished (step S103: No), the microscope system 1 returns to step S101.

ステップＳ１０１において、顕微鏡システム１がマップ画像表示モードに設定されていない場合（ステップＳ１０１：Ｎｏ）において、マップ画像生成モードが設定されているとき（ステップＳ１０４：Ｙｅｓ）、顕微鏡システム１は、撮像装置４によって撮像されたライブ画像データを用いて試料Ｓのマップ画像を生成するマップ画像生成処理を実行する（ステップＳ１０５）。なお、マップ画像生成処理の詳細な内容については後述する。ステップＳ１０５の後、顕微鏡システム１は、ステップＳ１０３へ移行する。   In step S101, when the microscope system 1 is not set to the map image display mode (step S101: No) and the map image generation mode is set (step S104: Yes), the microscope system 1 is the imaging device. A map image generation process for generating a map image of the sample S using the live image data picked up by 4 is executed (step S105). Details of the map image generation process will be described later. After step S105, the microscope system 1 proceeds to step S103.

ステップＳ１０４において、顕微鏡システム１がマップ画像生成モードに設定されていないとき（ステップＳ１０４：Ｎｏ）、顕微鏡システム１は、撮像装置４によって撮像されたライブ画像データに対応するライブ画像を表示部６に表示させることによって、試料Ｓの観察を可能にする通常観察処理を実行する（ステップＳ１０６）。この場合、顕微鏡システム１は、操作入力部５から入力される指示信号に応じて顕微鏡装置２または撮像装置４を駆動する。たとえば、顕微鏡システム１は、操作入力部５からステージ２１を駆動する指示信号が入力された場合、指示信号に応じてステージ２１を駆動する。ステップＳ１０６の後、顕微鏡システム１は、ステップＳ１０３へ移行する。   In step S104, when the microscope system 1 is not set to the map image generation mode (step S104: No), the microscope system 1 displays a live image corresponding to the live image data captured by the imaging device 4 on the display unit 6. By performing the display, a normal observation process that enables observation of the sample S is executed (step S106). In this case, the microscope system 1 drives the microscope apparatus 2 or the imaging apparatus 4 according to the instruction signal input from the operation input unit 5. For example, when an instruction signal for driving the stage 21 is input from the operation input unit 5, the microscope system 1 drives the stage 21 according to the instruction signal. After step S106, the microscope system 1 proceeds to step S103.

つぎに、図２のステップＳ１０２で説明したマップ画像表示処理について説明する。図３は、マップ画像表示処理の概要を示すフローチャートである。   Next, the map image display process described in step S102 of FIG. 2 will be described. FIG. 3 is a flowchart showing an outline of the map image display process.

図３に示すように、ライブ画像生成部７３１は、撮像装置４が時系列に沿って連続的に生成するライブ画像データを取得する（ステップＳ２０１）。   As illustrated in FIG. 3, the live image generation unit 731 acquires live image data that the imaging device 4 continuously generates in time series (step S201).

続いて、操作入力部５からマップ画像の表示倍率を設定する設定信号が入力されている場合（ステップＳ２０２：Ｙｅｓ）、表示制御部７３４は、マップ画像記録部７２２から表示倍率に応じたマップ画像データを取得する（ステップＳ２０３）。これに対して、操作入力部５からマップ画像の表示倍率を設定する設定信号が入力されていない場合（ステップＳ２０２：Ｎｏ）、表示制御部７３４は、マップ画像記録部７２２からライブ画像の対物レンズ２３の観察倍率に応じたマップ画像データを取得する（ステップＳ２０４）。なお、表示制御部７３４は、ステージ２１の位置情報または撮像装置４の観察領域に応じた表示サイズや表示倍率のマップ画像データをマップ画像記録部７２２から取得してもよい。   Subsequently, when the setting signal for setting the display magnification of the map image is input from the operation input unit 5 (step S202: Yes), the display control unit 734 displays the map image corresponding to the display magnification from the map image recording unit 722. Data is acquired (step S203). On the other hand, when the setting signal for setting the map image display magnification is not input from the operation input unit 5 (step S202: No), the display control unit 734 receives the live image objective lens from the map image recording unit 722. Map image data corresponding to the observation magnification of 23 is acquired (step S204). Note that the display control unit 734 may acquire map image data having a display size or display magnification corresponding to the position information of the stage 21 or the observation area of the imaging device 4 from the map image recording unit 722.

ステップＳ２０３またはステップＳ２０４の後、表示制御部７３４は、撮像装置４の視野領域に対応するマップ画像上に、ライブ画像生成部７３１が生成したライブ画像を重畳して表示部６に表示させる（ステップＳ２０５）。この場合、表示制御部７３４は、設定された表示倍率、ライブ画像を取得した時の対物レンズ２３の倍率およびステージ２１の位置情報（試料Ｓに対する観察領域）に基づいて、マップ画像の表示倍率およびマップ画像上におけるライブ画像を重畳する位置および表示サイズを算出し、この算出した領域および表示サイズでマップ画像上にライブ画像を重畳して表示する。具体的には、図４に示すように、表示部６がライブ画像ＷLを表示している場合（図４（ａ））において、顕微鏡システム１がマップ表示モードに設定されたとき、表示制御部７３４は、設定された表示倍率、ライブ画像ＷLの取得時の対物レンズ２３の倍率およびステージ２１の位置情報に基づいて、撮像装置４の視野領域に対応するマップ画像Ｍ1上の位置に、ライブ画像生成部７３１が生成したライブ画像ＷLを重畳して表示部６に表示させる（図４（ｂ））。なお、以下の図面においては、マップ画像Ｍ1の領域をハッチングで表現する。 After step S203 or step S204, the display control unit 734 superimposes the live image generated by the live image generation unit 731 on the map image corresponding to the visual field region of the imaging device 4 and causes the display unit 6 to display the superimposed image (step S203). S205). In this case, the display control unit 734 sets the display magnification of the map image and the display magnification of the map image based on the set display magnification, the magnification of the objective lens 23 when the live image is acquired, and the position information of the stage 21 (observation region with respect to the sample S). The position and display size at which the live image is superimposed on the map image are calculated, and the live image is superimposed and displayed on the map image with the calculated area and display size. Specifically, as shown in FIG. 4, in the case (FIG. 4 (a)) of the display unit 6 is displaying a live image W L, when the microscope system 1 is set in the map display mode, the display control parts 734, set display magnification based on the position information of the magnification and the stage 21 of the live image W L of acquisition when the objective lens 23, the position on the map image M 1 corresponding to the viewing area of the imaging device 4 on the display unit 6 superimposes the live image W L of the live image generating unit 731 has generated (Figure 4 (b)). In the following figures, representing the area of the map image M 1 by hatching.

これにより、ユーザは、表示部６が表示するマップ画像Ｍ1を確認することによって、試料Ｓの観察領域を直感的に把握することができる。さらに、表示制御部７３４は、通常のライブ画像ＷLの表示状態からマップ画像Ｍ1にライブ画像ＷLを重畳した表示状態にシームレスに切り替えることで、ユーザの視野を維持させることができ、操作性を向上させることができる。この際、表示制御部７３４は、マップ画像Ｍ1の表示サイズを計測する際に用いるスケールアイコンＡ１を表示部６に表示させてもよい。さらに、表示制御部７３４は、ライブ画像ＷLに対応する領域の矩形のフレームＦ１を表示部６に表示させてもよい。 Thus, the user, by checking the map image M 1 to display unit 6 displays, it is possible to intuitively grasp the observation region of the sample S. Further, the display control unit 734, a display state obtained by superimposing the live image W L in the map image M 1 from the display status of normal live image W L by switching seamlessly, it is possible to maintain the field of view of the user, the operation Can be improved. At this time, the display control unit 734 may display on the display unit 6 the scale icon A1 to be used for measuring the display size of the map image M 1. Further, the display control unit 734 may display a frame F1 of a rectangular region corresponding to the live image W L on the display unit 6.

続いて、操作入力部５からマップ画像Ｍ1の表示倍率を変更する変更信号が入力された場合（ステップＳ２０６：Ｙｅｓ）、表示制御部７３４は、操作入力部５から入力されたマップ画像Ｍ1の表示倍率を変更する変更信号に応じて、マップ画像Ｍ1およびライブ画像ＷLの表示倍率および表示サイズを拡大または縮小して表示部６に表示させる（ステップＳ２０７）。たとえば、表示制御部７３４は、操作入力部５からマップ画像Ｍ1の表示倍率を拡大する変更信号に応じて、マップ画像Ｍ1の表示倍率を拡大して表示部６に表示させる（図４（ｂ）→（図４（ｃ）→図４（ｄ））。この場合、表示制御部７３４は、マップ画像Ｍ1の表示倍率に応じて、マップ画像Ｍ1上におけるライブ画像ＷLの表示領域およびライブ画像ＷLの表示位置を変更して表示部６に表示させる。このとき、表示制御部７３４は、ライブ画像ＷLがマップ画像Ｍ1の中央領域になるようにマップ画像Ｍ1の表示位置や表示倍率を変更させて表示部６に表示させてもよい。これにより、ユーザは、マップ画像Ｍ1の表示倍率を変更した場合であっても、撮像装置４の視野領域を直感的に把握することができる。なお、表示制御部７３４は、マップ画像Ｍ1の表示倍率を変更された場合、マップ画像Ｍ1の表示倍率に最適なマップ画像Ｍ1をマップ画像記憶部７２２から再度、取得してもよい。また、表示制御部７３４は、マップ画像Ｍ1の表示倍率は固定にして、ライブ画像ＷLの表示倍率のみ変更させてもよい。 Subsequently, when a change signal for changing the display magnification of the map image M 1 is input from the operation input unit 5 (step S206: Yes), the display control unit 734 displays the map image M 1 input from the operation input unit 5. according to the change signal for changing a display magnification, enlarging or reducing the display magnification and the display size of the map image M 1 and a live image W L is displayed on the display unit 6 (step S207). For example, the display control unit 734 enlarges the display magnification of the map image M 1 and displays it on the display unit 6 in response to a change signal for enlarging the display magnification of the map image M 1 from the operation input unit 5 (FIG. 4 ( b) → (FIG 4 (c) → Fig. 4 (d)). in this case, the display control unit 734, in accordance with the display magnification of the map image M 1, the display area of the live image W L on the map image M 1 and by changing the display position of the live image W L is displayed on the display unit 6. at this time, the display control unit 734, the display of the live image W L is mapped image M 1 so as to center region of the map image M 1 by changing the position or the display magnification may be displayed on the display unit 6. Thereby, the user, even when changing the display magnification of the map image M 1, intuitively the viewing area of the imaging device 4 It should be noted that the display control unit 734 If it is change the magnification of the map image M 1, an optimum map image M 1 to the display magnification of the map image M 1 again from the map image storage unit 722 may acquire. The display control unit 734, display magnification of the map image M 1 is in the fixed, may be changed only display magnification of the live image W L.

その後、マップ画像Ｍ1上におけるライブ画像ＷLの一部が表示部６の表示領域外である場合（ステップＳ２０８：Ｙｅｓ）、表示制御部７３４は、マップ画像Ｍ1を表示する表示部６の周縁に、マップ画像Ｍ1の表示領域を変更する変更信号の入力を受け付けるスクロールバーを表示させる（ステップＳ２０９）。具体的には、図５に示すように、表示制御部７３４は、表示部６が表示するマップ画像Ｍ1の周縁にスクロールバーＳ１およびスクロールバーＳ２を表示させる（図５（ａ））。 Thereafter, when a part of the live image W L on the map image M 1 is a display area outside of the display unit 6 (step S208: Yes), the display control unit 734, the display unit 6 for displaying the map image M 1 the periphery, to display a scroll bar that receives an input of change signal for changing a display area of the map image M 1 (step S209). Specifically, as shown in FIG. 5, the display control unit 734 displays the scroll bar S1 and the scroll bar S2 to the peripheral edge of the map image M 1 to display unit 6 displays (Figure 5 (a)).

続いて、操作入力部５を介してスクロールバーＳ１またはスクロールバーＳ２が操作された場合（ステップＳ２１０：Ｙｅｓ）、表示制御部７３４は、スクロールバーＳ１またはスクロールバーＳ２の操作に応じてマップ画像Ｍ1の表示領域を変更して表示部６に表示させる（ステップＳ２１１）。たとえば、図５に示すように、表示制御部７３４は、操作入力部５を介してスクロールバーＳ１が下方向（矢印方向）に移動させられた場合、スクロールバーＳ１の表示位置に応じてマップ画像Ｍ1の表示領域を変更して表示部６に表示させる（図５（ａ）→図５（ｂ））。これにより、ユーザは、操作入力部５を操作することによって、マップ画像Ｍ1の表示領域を変更することができる。なお、図５においては、ライブ画像が表示部６の端から中央に表示される場合を説明したが、ユーザが操作入力部５を操作することによって、マップ画像Ｍ1上における所望の領域の観察を行うようにしてもよい。また、表示制御部７３４は、スクロールバーＳ１およびスクロールバーＳ２をライブ画像ＷLの表示領域に関係なく常時表示するようにしてマップ画像Ｍ1の表示領域を変更してもよい。 Subsequently, when the scroll bar S1 or the scroll bar S2 is operated via the operation input unit 5 (step S210: Yes), the display control unit 734 displays the map image M according to the operation of the scroll bar S1 or the scroll bar S2. The display area 1 is changed and displayed on the display unit 6 (step S211). For example, as shown in FIG. 5, when the scroll bar S1 is moved downward (in the direction of the arrow) via the operation input unit 5, the display control unit 734 displays a map image according to the display position of the scroll bar S1. The display area of M 1 is changed and displayed on the display unit 6 (FIG. 5A → FIG. 5B). Thus, the user can change the display area of the map image M 1 by operating the operation input unit 5. Although the case where the live image is displayed in the center from the end of the display unit 6 has been described with reference to FIG. 5, the desired region on the map image M 1 is observed by the user operating the operation input unit 5. May be performed. The display control unit 734 may scroll bar S1 and the scroll bar S2, so as to constantly displayed regardless of the display area of the live image W L to change the display area of the map image M 1.

その後、対物レンズ２３の観察倍率が変更された場合（ステップＳ２１２：Ｙｅｓ）、表示制御部７３４は、観察倍率に応じてマップ画像Ｍ1およびライブ画像ＷLの表示領域および表示サイズを拡大または縮小して表示部６に表示させる（ステップＳ２１３）。たとえば、図６に示すように、表示制御部７３４は、対物レンズ２３が低倍対物レンズ２３２から高倍対物レンズ２３１に切り替えられた場合、マップ画像Ｍ1の表示領域を変更せず、ライブ画像ＷLの表示領域を観察倍率に応じて表示部６に表示させる（図６（ａ）→図６（ｂ））。これにより、ユーザは、対物レンズ２３の観察倍率を変更した場合であっても、試料Ｓに対する撮像装置４の観察領域を見失うことなく、直感的に把握することができる。なお、対物レンズ２３の観察倍率が変更された場合、表示制御部７３４は、マップ画像Ｍ1の表示領域を変更せず、ライブ画像ＷLの表示領域を観察倍率に応じて表示部６に表示させる場合について説明したが、ライブ画像ＷLの表示領域を変更せず、マップ画像Ｍ1の表示領域を変更してもよいし、また、表示制御部７３４は、ライブ画像ＷLの表示領域およびマップ画像Ｍ1の表示領域を変更してもよい。 Then, when the observation magnification of the objective lens 23 is changed (step S212: Yes), the display control unit 734, enlarge or reduce the display area and the display size of the map image M 1 and a live image W L according to the observation magnification And it is made to display on the display part 6 (step S213). For example, as illustrated in FIG. 6, when the objective lens 23 is switched from the low magnification objective lens 232 to the high magnification objective lens 231, the display control unit 734 does not change the display area of the map image M 1 and the live image W The display area of L is displayed on the display unit 6 according to the observation magnification (FIG. 6 (a) → FIG. 6 (b)). Thereby, even if it is a case where the observation magnification of the objective lens 23 is changed, the user can grasp | ascertain intuitively, without losing sight of the observation area | region of the imaging device 4 with respect to the sample S. FIG. In addition, when the observation magnification of the objective lens 23 is changed, the display control unit 734, without changing the display area of the map image M 1, displayed on the display unit 6 in accordance with the observation magnification display area of the live image W L has been described to be, without changing the display area of the live image W L, may change the display area of the map image M 1, the display control unit 734, the display area of the live image W L and The display area of the map image M 1 may be changed.

その後、操作入力部５を介してライブ画像ＷLに対してドラック操作が行われた場合（ステップＳ２１４：Ｙｅｓ）、駆動制御部７３３は、ライブ画像ＷLに対するドラック操作に応じてステージ２１を駆動させる（ステップＳ２１５）。 Thereafter, when the drag operation on the live image W L via the operation input unit 5 is performed (step S214: Yes), the drive control section 733 drives the stage 21 in accordance with the drag operation on the live image W L (Step S215).

続いて、表示制御部７３４は、ライブ画像ＷLに対するドラック操作に応じてマップ画像の表示領域を変更して表示部６に表示させる（ステップＳ２１６）。たとえば、図７に示すように、ライブ画像ＷLを表示部６の中央で固定する表示固定モードが顕微鏡システム１に設定されている場合において、操作入力部５を介してライブ画像ＷLに対して右上方向にドラック操作されてライブ画像ＷLの表示位置を変更する変更信号が入力されたとき（図７（ａ）→図７（ｂ））、表示制御部７３４は、ライブ画像ＷLがマップ画像Ｍ1の中央になるようにマップ画像Ｍ1の表示領域を変更して表示部６に表示させる（図７（ｂ）→図７（ｃ））。これにより、ユーザは、直感的な操作によって、ライブ画像ＷLの表示位置を変更することができるとともに、試料Ｓの観察領域を変更することができる。 Subsequently, the display control unit 734 causes the display unit 6 to change the display area of the map image in accordance with the drag operation on the live image W L (step S216). For example, as shown in FIG. 7, when the display fixed mode for fixing at the center of the display unit 6 the live image W L is set to the microscope system 1, to the live image W L through the operation input unit 5 when the input change signal for changing the drag operation has been displayed position of the live image W L in the upper right direction Te (FIG. 7 (a) → FIG. 7 (b)), the display control unit 734, the live image W L by changing the display area of the map image M 1 so as to center of the map image M 1 is displayed on the display unit 6 (FIG. 7 (b) → Fig. 7 (c)). Thus, the user, by an intuitive operation, it is possible to change the display position of the live image W L, it is possible to change the observation region of the sample S.

また、図８に示すように、ライブ画像ＷLをドラック操作に応じてマップ画像Ｍ1上における表示位置を変更する変更表示モードが顕微鏡システム１に設定されている場合において、操作入力部５を介してライブ画像ＷLに対して右上方向にドラック操作されてライブ画像Ｗ１の表示位置を変更する変更信号が入力されたとき（図８（ａ）→８（ｂ））、表示制御部７３４は、ドラック操作に応じてマップ画像Ｍ1上におけるライブ画像ＷLの表示位置を変更して表示部６に表示させる（図８（ｂ）→図８（ｃ））。これにより、ユーザは、直感的な操作によって、ライブ画像Ｗ１の表示位置を変更することができるとともに、試料Ｓの観察領域を変更することができる。さらに、ユーザが顕微鏡システム１を通常観察モードに切り替えた場合、表示部６は、ライブ画像ＷLを全画面表示する（図８（ｃ）→図８（ｄ））。なお、図９に示すように、ライブ画像ＷLの一辺が表示部６の表示領域の端部に到達した場合（図９（ａ））、表示制御部７３４は、ライブ画像ＷLの表示領域がマップ画像Ｍ1の中央になるように、マップ画像Ｍ1の表示領域を変更して表示部６に表示させてもよい。ステップＳ２１６の後、顕微鏡システム１は、図２のメインルーチンへ戻る。 Further, as shown in FIG. 8, when the change display mode to change the display position on the map image M 1 in accordance with the live image W L to drag operation is set to the microscope system 1, the operation input unit 5 When the change signal for changing the display position of the live image W1 is input by dragging the live image W L in the upper right direction via the display (FIG. 8 (a) → 8 (b)), the display control unit 734 on the display unit 6 by changing the display position of the live image W L on the map image M 1 in accordance with the drag operation (FIG. 8 (b) → Fig. 8 (c)). Accordingly, the user can change the display position of the live image W1 and change the observation region of the sample S through an intuitive operation. Furthermore, if the user switches the microscope system 1 to the normal observation mode, the display unit 6 full screen live image W L (FIG. 8 (c) → Fig. 8 (d)). As shown in FIG. 9, if one side of the live image W L has reached the end of the display area of the display unit 6 (FIG. 9 (a)), the display control unit 734, the display area of the live image W L so it becomes the center of the map image M 1, may be displayed by changing the display area of the map image M 1 on the display unit 6. After step S216, the microscope system 1 returns to the main routine of FIG.

ステップＳ２０６において、表示倍率が変更されていない場合（ステップＳ２０６：Ｎｏ）、顕微鏡システム１は、ステップＳ２０８へ移行する。   In step S206, when the display magnification is not changed (step S206: No), the microscope system 1 proceeds to step S208.

ステップＳ２０８において、ライブ画像Ｗ１が観察領域外でない場合（ステップＳ２０８：Ｎｏ）、顕微鏡システム１は、ステップＳ２１２へ移行する。   In step S208, when the live image W1 is not outside the observation region (step S208: No), the microscope system 1 proceeds to step S212.

ステップＳ２１２において、観察倍率が変更されていない場合（ステップＳ２１２：Ｎｏ）、顕微鏡システム１は、ステップＳ２１４へ移行する。   In step S212, when the observation magnification is not changed (step S212: No), the microscope system 1 proceeds to step S214.

ステップＳ２１４において、ライブ画像に対してドラック操作が行われていない場合（ステップＳ２１４：Ｎｏ）、顕微鏡システム１は、図２のメインルーチンへ戻る。   In step S214, when the drag operation is not performed on the live image (step S214: No), the microscope system 1 returns to the main routine of FIG.

つぎに、図２のステップＳ１０５のマップ画像生成処理について説明する。図１０は、マップ画像生成処理の概要を示すフローチャートである。   Next, the map image generation process in step S105 of FIG. 2 will be described. FIG. 10 is a flowchart showing an outline of map image generation processing.

図１０に示すように、制御部７３は、試料Ｓに対する低倍率のマップ画像データがマップ画像記録部７２２に記録されているか否かを判断する（ステップＳ３０１）。試料Ｓに対する低倍率のマップ画像データがマップ画像記録部７２２に記録されていると制御部７３が判断した場合（ステップＳ３０１：Ｙｅｓ）、顕微鏡システム１は、後述するステップＳ３０６へ移行する。これに対して、試料Ｓに対する低倍率のマップ画像データがマップ画像記録部７２２に記録されていないと制御部７３が判断した場合（ステップＳ３０１：Ｎｏ）、顕微鏡システム１は、後述するステップＳ３０２へ移行する。なお、低倍率のマップ画像は、低倍率で取得した複数の画像を貼り合わせて生成した貼り合せ画像を含む。   As shown in FIG. 10, the control unit 73 determines whether low-magnification map image data for the sample S is recorded in the map image recording unit 722 (step S301). When the control unit 73 determines that low-magnification map image data for the sample S is recorded in the map image recording unit 722 (step S301: Yes), the microscope system 1 proceeds to step S306 described later. On the other hand, when the control unit 73 determines that the low-magnification map image data for the sample S is not recorded in the map image recording unit 722 (step S301: No), the microscope system 1 proceeds to step S302 described later. Transition. Note that the low-magnification map image includes a composite image generated by combining a plurality of images acquired at a low magnification.

ステップＳ３０２において、駆動制御部７３３は、顕微鏡制御部３を制御することにより、対物レンズ２３を低倍対物レンズ２３１に切り替える。   In step S <b> 302, the drive control unit 733 switches the objective lens 23 to the low magnification objective lens 231 by controlling the microscope control unit 3.

続いて、ライブ画像生成部７３１は、撮像装置４が撮像したライブ画像データを取得し（ステップＳ３０３）、ライブ画像データをマップ画像データとしてマップ画像記録部７２２に記録する（ステップＳ３０４）。   Subsequently, the live image generation unit 731 acquires live image data captured by the imaging device 4 (step S303), and records the live image data as map image data in the map image recording unit 722 (step S304).

その後、駆動制御部７３３は、顕微鏡制御部３を制御することによって、対物レンズ２３を高倍対物レンズ２３２に切り替える（ステップＳ３０５）。ステップＳ３０５の後、顕微鏡システム１は、後述するステップＳ３０８へ移行する。   Thereafter, the drive control unit 733 switches the objective lens 23 to the high-magnification objective lens 232 by controlling the microscope control unit 3 (step S305). After step S305, the microscope system 1 proceeds to step S308 described later.

ステップＳ３０６において、マップ画像が指定されている場合（ステップＳ３０６：Ｙｅｓ）、貼り合わせ画像生成部７３２は、マップ画像記録部７２２から指定されたマップ画像データを取得する（ステップＳ３０７）。ステップＳ３０７の後、顕微鏡システム１は、後述するステップＳ３０８へ移行する。これに対して、マップ画像が指定されていない場合（ステップＳ３０６：Ｎｏ）、顕微鏡システム１は、後述するステップＳ３０８へ移行する。   In step S306, when a map image is specified (step S306: Yes), the composite image generation unit 732 acquires the specified map image data from the map image recording unit 722 (step S307). After step S307, the microscope system 1 proceeds to step S308 described later. On the other hand, when the map image is not designated (step S306: No), the microscope system 1 proceeds to step S308 described later.

ステップＳ３０８において、貼り合わせ画像生成部７３２は、ライブ画像生成部７３１が生成したライブ画像データを取得する。   In step S308, the composite image generation unit 732 acquires live image data generated by the live image generation unit 731.

続いて、貼り合わせ画像生成部７３２は、制御通信部７１および顕微鏡制御部３を介してステージ２１のステージ座標を取得し（ステップＳ３０９）、マップ画像データを生成する（ステップＳ３１０）。具体的には、図１１に示すように、貼り合わせ画像生成部７３２は、ステージ座標に基づいて、低倍率のマップ画像データに対応するマップ画像Ｍ２に、ライブ画像データに対応するライブ画像Ｗ１を貼り合わせてマップ画像データを生成する（図１１（ａ）→図１１（ｂ））。この場合、貼り合わせ画像生成部７３２は、マップ画像Ｍ２とライブ画像Ｗ１との位置ずれ量、画像間の画像マッチング等を用いて位置補正を行って合成することによってマップ画像データを生成する。このとき、貼り合わせ画像生成部７３２は、ライブ画像Ｗ１またはマップ画像Ｍ２に対して、明るさの調整、コントラストの調整を含む画像処理を行ってもよい。さらに、貼り合わせ画像生成部７３２は、ステージ座標と画像マッチングのずれ量とを用いる場合、各画像の位置をどちらか一方の表示サイズに換算したうえで、貼り合わせ画像を生成するようにしてもよい。   Subsequently, the bonded image generation unit 732 acquires the stage coordinates of the stage 21 via the control communication unit 71 and the microscope control unit 3 (step S309), and generates map image data (step S310). Specifically, as shown in FIG. 11, the composite image generation unit 732 adds a live image W1 corresponding to the live image data to the map image M2 corresponding to the low-magnification map image data based on the stage coordinates. The map image data is generated by pasting (FIG. 11A → FIG. 11B). In this case, the composite image generation unit 732 generates map image data by performing position correction using a positional deviation amount between the map image M2 and the live image W1, image matching between images, and the like, and combining them. At this time, the composite image generation unit 732 may perform image processing including brightness adjustment and contrast adjustment on the live image W1 or the map image M2. Further, when using the stage coordinates and the image matching shift amount, the composite image generation unit 732 may generate the composite image after converting the position of each image into one of the display sizes. Good.

その後、表示制御部７３４は、貼り合わせ画像生成部７３２が生成したマップ画像データに対応するマップ画像を表示部６に表示させる（ステップＳ３１１）。   Thereafter, the display control unit 734 causes the display unit 6 to display a map image corresponding to the map image data generated by the composite image generation unit 732 (step S311).

続いて、操作入力部５からマップ画像の生成を終了する終了信号が入力された場合（ステップＳ３１２：Ｙｅｓ）、顕微鏡システム１は、図２のメインルーチンへ戻る。これに対して、操作入力部５からマップ画像の生成を終了する終了信号が入力されていない場合（ステップＳ３１２：Ｎｏ）、顕微鏡システム１は、ステップＳ３０８へ戻る。   Subsequently, when an end signal for ending the generation of the map image is input from the operation input unit 5 (step S312: Yes), the microscope system 1 returns to the main routine of FIG. On the other hand, when the end signal for ending the generation of the map image is not input from the operation input unit 5 (step S312: No), the microscope system 1 returns to step S308.

以上説明した本発明の実施の形態１によれば、表示制御部７３４が撮像装置４の視野領域に対応するマップ画像Ｍ1上にライブ画像ＷLを重畳して表示部６に表示させるので、試料Ｓに対するライブ画像ＷLの位置を直感的に把握することができる。 According to the first embodiment of the present invention described above, the display control unit 734 causes the display unit 6 superimposes the live image W L on the map image M 1 corresponding to the viewing area of the imaging device 4, it can intuitively grasp the position of the live image W L for the sample S.

さらに、本発明の実施の形態１によれば、通常観察モードからマップ画像表示モードに切り替えられた際に、表示制御部７３４がライブ画像ＷLの全画面表示からマップ画像Ｍ1上の位置に表示態様を切り替える。この結果、ユーザは、同一画面上でライブ画像ＷLを確認することができので、視野を移動することなく、試料Ｓの観察を行うことができる。 Furthermore, according to the first embodiment of the present invention, when switched from the normal observation mode to the map image display mode, the position on the map image M 1 display control unit 734 from the full screen display of the live image W L Switch the display mode. As a result, since the user can see the live image W L on the same screen, without moving the field of view, it is possible to perform observation of the sample S.

また、本発明の実施の形態１によれば、表示部６で試料Ｓのマップ画像を全画面表示することができるので、マップ画像Ｍ1上における多くの情報を観察することができる。 Further, according to the first embodiment of the present invention, it is possible to full screen map image of the sample S on the display section 6, it is possible to observe a lot of information on the map image M 1.

さらにまた、本発明の実施の形態１によれば、マップ画像Ｍ1上におけるライブ画像ＷLが表示部６の表示領域外である場合、表示制御部７３４がスクロールバーＳ１の操作内容に応じて、マップ画像の表示領域を変更して表示部６に表示させる。これにより、ライブ画像ＷLの解像度を低下させることなく、マップ画像Ｍ1を表示部６に表示させることができる。 Furthermore, according to the first embodiment of the present invention, when the live image W L on the map image M 1 is a display area outside of the display unit 6, the display control unit 734 in response to operation contents of the scroll bar S1 The display area of the map image is changed and displayed on the display unit 6. Thus, without reducing the resolution of the live image W L, it is possible to display the map image M 1 on the display unit 6.

なお、本発明の実施の形態１では、表示部６がライブ画像ＷLを全画面表示している際に、貼り合わせ画像生成部７３２がライブ画像生成部７３１によって時間的に連続的する複数のライブ画像データを用いてマップ画像データとして貼り合わせ画像データを生成してもよい。図１２Ａに示すように、表示部６がライブ画像ＷLを全画面表示している際に、貼り合わせ画像生成部７３２は、ライブ画像生成部７３１が撮像装置４から順次入力される画像データを用いて生成したライブ画像データを互いに重なるように合成することによって試料Ｓの貼り合わせ画像データをマップ画像データとして生成する（図１２Ｂを参照）。この際、ステージ２１が駆動され、撮像装置４の視野領域が変更された場合、貼り合わせ画像生成部７３２は、ステージ座標を用いて試料Ｓの位置に相当する領域にライブ画像データを合成または更新して貼り合わせ画像データを生成してもよい。なお、貼り合わせ画像生成部７３２は、ぼけた貼り合わせ画像データの生成を防止するため、ステージ２１が停止した際のライブ画像データ、コントラストの評価値が閾値上のライブ画像データを用いて貼り合わせ画像データを生成する。 In the first embodiment of the present invention, the display unit 6 when being full screen live images W L, bonding the image generating unit 732 of the plurality of time-sequentially by the live image generating unit 731 The combined image data may be generated as the map image data using the live image data. As shown in FIG. 12A, when the display section 6 is displayed on the full screen live images W L, the image generating unit 732 bonded the image data live image generating unit 731 is sequentially input from the imaging device 4 By combining the live image data generated using them so as to overlap each other, the combined image data of the sample S is generated as map image data (see FIG. 12B). At this time, when the stage 21 is driven and the visual field area of the imaging device 4 is changed, the bonded image generation unit 732 combines or updates the live image data in the area corresponding to the position of the sample S using the stage coordinates. Then, the combined image data may be generated. Note that the composite image generation unit 732 uses the live image data when the stage 21 is stopped and the live image data whose contrast evaluation value is above the threshold in order to prevent generation of blurred composite image data. Generate image data.

また、本発明の実施の形態１では、ライブ画像ＷLの表示倍率とマップ画像Ｍ1の表示倍率とを独立に調整してもよい。図１３に示すように、表示部６が同じ表示倍率でマップ画像Ｍ1上にライブ画像ＷLを重畳している場合において、操作入力部５からライブ画像ＷLの表示倍率を変更する変更信号、たとえばライブ画像ＷLの表示倍率を拡大する変更信号が入力された場合、表示制御部７３４は、ライブ画像ＷLの表示倍率を拡大したライブ画像ＷL2をマップ画像Ｍ1上に重畳して表示部６に表示させる（図１３（ａ）→図１３（ｂ））。この場合、表示制御部７３４は、ライブ画像ＷLの領域をトリミング処理によって生成したライブ画像ＷL2をマップ画像Ｍ1に重畳して表示部６に表示させる。さらに、表示制御部７３４は、ライブ画像ＷL2上の表示位置を変更する変更信号の入力を受け付けるアイコンＡ２を表示部６に表示させる。 In the first embodiment of the present invention may adjust the display magnification and display magnification of the map image M 1 of the live image W L independently. As shown in FIG. 13, when the display unit 6 is superimposed the live image W L on the map image M 1 in the same display magnification, change signal for changing the display magnification of the live image W L from the operation input unit 5 for example, when the change signal to increase the display magnification of the live image W L is input, the display control unit 734 superimposes the live image W L2 obtained by enlarging the display magnification of the live image W L on the map image M 1 It is displayed on the display unit 6 (FIG. 13 (a) → FIG. 13 (b)). In this case, the display control unit 734 displays the live image W L2 generated by trimming the area of the live image W L on the display unit 6 is superimposed on the map image M 1. Further, the display control unit 734 causes the display unit 6 to display an icon A2 that accepts an input of a change signal that changes the display position on the live image WL2 .

また、本発明の実施の形態１では、マップ画像Ｍ1上における関心領域（ＲＯＩ領域）を表示部６に全画面表示させてもよい。図１４に示すように、表示制御部７３４は、操作入力部５からマップ画像Ｍ1上における関心領域を指定する指示信号が入力された場合、関心領域を示すフレームＦ２をマップ画像Ｍ1上に重畳して表示させる（図１４（ａ））。この際、ユーザが通常観察モードに顕微鏡システム１を切り替えた場合、表示制御部７３４は、マップ画像Ｍ1からフレームＦ２の領域を切り出すトリミング処理を行うことによって、関心領域の関心領域画像データを生成し、この関心領域画像データに対応する関心領域画像ＷL4を表示部６に全画面表示させる（図１４（ａ）→図１４（ｂ））。これにより、ユーザは、関心領域を拡大または縮小した画像を全画面表示で観察することができる。なお、関心領域の表示サイズは、適宜設定することができる。さらに、顕微鏡システム１は、対物レンズ２３の観察倍率を変更することによって、関心領域の拡大観察または縮小観察を行ってもよい。さらにまた、ステージ２１を移動させてもよい。 In the first embodiment of the present invention, the region of interest (ROI region) on the map image M 1 may be displayed on the display unit 6 in full screen. As shown in FIG. 14, the display control unit 734, when an instruction signal specifying a region of interest on the map image M 1 from the operation input unit 5 is input, a frame F2 indicating the region of interest on the map image M 1 The images are superimposed and displayed (FIG. 14A). In this case, if the user switches the microscope system 1 to the normal observation mode, the display control unit 734, by performing a trimming process to cut out areas of the frame F2 from the map image M 1, produces a region of interest image data of the region of interest Then, the region-of-interest image WL4 corresponding to this region-of-interest image data is displayed on the display unit 6 in full screen (FIG. 14 (a) → FIG. 14 (b)). Accordingly, the user can observe an image obtained by enlarging or reducing the region of interest on a full screen display. Note that the display size of the region of interest can be set as appropriate. Furthermore, the microscope system 1 may perform the enlarged observation or the reduced observation of the region of interest by changing the observation magnification of the objective lens 23. Furthermore, the stage 21 may be moved.

また、本発明の実施の形態１では、表示部６が表示するマップ画像の領域を超えて関心領域を指定してもよい。図１５に示すように、表示部６がマップ画像Ｍ1を表示している場合において、マップ画像Ｍ1がない領域も含まれて関心領域が指定されたとき、駆動制御部７３３は、ライブ画像ＷLを表示部６で全画面表示できるように対物レンズ２３の切り替えを行う（図１５（ａ）→図１５（ｂ））。これにより、ユーザは、現在の観察領域以外であっても、関心領域を指定することができる。 Moreover, in Embodiment 1 of this invention, you may designate a region of interest beyond the area | region of the map image which the display part 6 displays. As shown in FIG. 15, when the display unit 6 is displaying the map image M 1, when also included ROI no map image M 1 region is designated, the drive control unit 733, a live image the W L on the display unit 6 switches the objective lens 23 so as to be full screen (Fig. 15 (a) → Fig. 15 (b)). Thereby, the user can designate a region of interest even outside the current observation region.

また、本発明の実施の形態１では、ライブ画像の軌跡をマップ画像上に重畳して表示してもよい。図１６に示すように、表示制御部７３４は、ライブ画像の移動をマップ画像Ｍ1上に矩形状のフレームＨ１として表示してもよい。さらに、図１７に示すように、表示制御部７３４は、ライブ画像の移動をマップ画像Ｍ1上に軌跡Ｈ２として表示させてもよい。これにより、ユーザは、試料Ｓに対する観察領域の軌跡を直感的に把握することができる。 In Embodiment 1 of the present invention, the locus of the live image may be displayed superimposed on the map image. As shown in FIG. 16, the display control unit 734 may be displayed as a rectangular frame H1 is on the map image M 1 the movement of the live image. Furthermore, as shown in FIG. 17, the display control unit 734 may display on the map image M 1 the movement of the live image as the locus H2. Thereby, the user can intuitively grasp the trajectory of the observation region with respect to the sample S.

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１にかかる顕微鏡システムが実行するマップ画像表示処理が異なる。このため、以下においては、本実施の形態２にかかる顕微鏡システムが実行するマップ画像表示処理について説明する。なお、上述した実施の形態１にかかる顕微鏡システム１と同様の構成には同じ符号を付して説明する。 (Embodiment 2)
Next, a second embodiment of the present invention will be described. The second embodiment is different from the map image display process executed by the microscope system according to the first embodiment described above. For this reason, below, the map image display process which the microscope system concerning this Embodiment 2 performs is demonstrated. In addition, the same code | symbol is attached | subjected and demonstrated to the structure similar to the microscope system 1 concerning Embodiment 1 mentioned above.

図１８は、本実施の形態２にかかる顕微鏡システム１が実行するマップ画像表示処理の概要を説明するフローチャートである。   FIG. 18 is a flowchart for explaining the outline of the map image display process executed by the microscope system 1 according to the second embodiment.

図１８において、ステップＳ４０１〜ステップＳ４１６は、図３のステップＳ２０１〜ステップＳ２１６にそれぞれ対応する。   In FIG. 18, Steps S401 to S416 correspond to Steps S201 to S216 in FIG. 3, respectively.

ステップＳ４１７において、表示部６が表示するマップ画像に対して、操作入力部５からマップ画像の指定領域を更新する指示信号が入力された場合（ステップＳ４１７：Ｙｅｓ）において、指定領域のマップ画像データがあるとき（ステップＳ４１８：Ｙｅｓ）、顕微鏡システム１は、図２のメインルーチンへ戻る。   In step S417, when an instruction signal for updating the designated region of the map image is input from the operation input unit 5 to the map image displayed on the display unit 6 (step S417: Yes), the map image data of the designated region is displayed. When there is (step S418: Yes), the microscope system 1 returns to the main routine of FIG.

ステップＳ４１８において、指定領域のマップ画像データがないとき（ステップＳ４１８：Ｎｏ）、駆動制御部７３３は、顕微鏡制御部３を制御することによって、対物レンズ２３を高倍対物レンズ２３２から低倍対物レンズ２３１に切り替える（ステップＳ４１９）。   In step S418, when there is no map image data of the designated region (step S418: No), the drive control unit 733 controls the microscope control unit 3 to change the objective lens 23 from the high magnification objective lens 232 to the low magnification objective lens 231. (Step S419).

続いて、駆動制御部７３３は、顕微鏡制御部３を制御することによって、指定領域が観察領域の中央に位置するようにステージ２１を移動させ（ステップＳ４２０）、撮像装置４に試料Ｓの広域領域を撮影させる（ステップＳ４２１）。具体的には、図１９に示すように、駆動制御部７３３は、撮像装置４に試料Ｓの広域領域を撮影させる（図１９（ａ））。   Subsequently, the drive control unit 733 controls the microscope control unit 3 to move the stage 21 so that the designated region is located at the center of the observation region (step S420), and causes the imaging device 4 to transmit the wide region of the sample S. Is photographed (step S421). Specifically, as illustrated in FIG. 19, the drive control unit 733 causes the imaging device 4 to image a wide area of the sample S (FIG. 19A).

その後、駆動制御部７３３は、顕微鏡制御部３を制御することによって、対物レンズ２３を低倍対物レンズ２３１から高倍対物レンズ２３２に切り替え（ステップＳ４２２）、指定領域内で所望の観察に位置するようにステージ２１を移動させる（ステップＳ４２３）。   Thereafter, the drive control unit 733 controls the microscope control unit 3 to switch the objective lens 23 from the low-magnification objective lens 231 to the high-magnification objective lens 232 (step S422), so that it is positioned at a desired observation within the designated region. The stage 21 is moved to (step S423).

続いて、貼り合わせ画像生成部７３２は、撮像装置４が撮像したライブ画像データを取得し（ステップＳ４２４）、ステップ４２１で取得した広域領域の画像データ上にライブ画像データを重畳して貼り合わせするとともに、ステージ２１を移動させながら異なる位置のライブ画像データを取得して貼り合せ画像データを生成する（ステップＳ４２５）。具体的には、図１９に示すように、貼り合わせ画像生成部７３２は、広域領域の画像データ上で、マップ画像Ｍ1にライブ画像ＷLを重畳して貼り合わせ画像データを生成する（図１９（ｂ）→（図１９（ｃ））。これにより、通常観察に切り替えた場合であっても、マップ画像Ｍ1からライブ画像ＷLに滑らかに切り替えることができるので（図１９（ｃ）→（図１９（ｄ））、元の観察位置を見失ったり、元の観察状態に戻したりする手間を防止することができる。 Subsequently, the composite image generation unit 732 acquires live image data captured by the imaging device 4 (step S424), and superimposes the live image data on the wide area image data acquired in step 421 and combines the live image data. At the same time, live image data at different positions is acquired while moving the stage 21 to generate composite image data (step S425). Specifically, as shown in FIG. 19, the image generating unit 732 the bonded on the image data of the wide area, and generates the image data pasted by superimposing a live image W L in the map image M 1 (FIG. 19 (b) → (FIG 19 (c)) by. which, even when switching to the normal observation, it is possible to switch smoothly from the map image M 1 in the live image W L (FIG. 19 (c) → (FIG. 19D) It is possible to prevent the trouble of losing sight of the original observation position or returning to the original observation state.

その後、表示制御部７３４は、貼り合わせ画像生成部７３２が生成した貼り合わせ画像データに対応する貼り合わせ画像をマップ画像として表示部６に表示させる（ステップＳ４２６）。ステップＳ４２６の後、顕微鏡システム１は、図２のメインルーチンへ戻る。   Thereafter, the display control unit 734 causes the display unit 6 to display a composite image corresponding to the composite image data generated by the composite image generation unit 732 as a map image (step S426). After step S426, the microscope system 1 returns to the main routine of FIG.

以上説明した本発明の実施の形態２によれば、対物レンズ２３を高倍対物レンズ２３２に変更した後に、マップ画像Ｍ1がない領域が含まれていても、簡易な操作で試料Ｓのマップ画像を生成することができる。 According to the second embodiment of the present invention described above, after changing the objective lens 23 in the high magnification objective lens 232, also it contains no map image M 1 area, of the sample S by a simple operation map image Can be generated.

なお、本発明では、顕微鏡装置、操作入力部、表示部および制御端末を備えた顕微鏡システムを例に説明したが、たとえば試料を拡大する対物レンズ、対物レンズを介して試料を撮像する撮像機能、および画像を表示する表示機能を備えた撮像装置、たとえばビデオマイクロスコープ、走査型レーザ顕微鏡、走査型プローブ顕微鏡などであっても、本発明を適用することができる。   In the present invention, a microscope system including a microscope apparatus, an operation input unit, a display unit, and a control terminal has been described as an example. For example, an objective lens for enlarging a sample, an imaging function for imaging a sample via the objective lens, The present invention can also be applied to an imaging apparatus having a display function for displaying an image, for example, a video microscope, a scanning laser microscope, a scanning probe microscope, or the like.

また、本発明では、顕微鏡装置として正立型顕微鏡装置を例に説明したが、たとえば倒立型顕微鏡装置であっても適用することができる。さらに、顕微鏡装置を組み込んだライン装置といった各種システムにも、本発明を適用することができる。   In the present invention, the upright microscope apparatus has been described as an example of the microscope apparatus. However, the present invention can also be applied to an inverted microscope apparatus, for example. Furthermore, the present invention can be applied to various systems such as a line apparatus incorporating a microscope apparatus.

また、本発明では、制御端末、表示部および操作入力部が別々に構成されていたが、一体的に形成されたものであってもよい。   In the present invention, the control terminal, the display unit, and the operation input unit are configured separately, but may be integrally formed.

また、観察倍率の変更は、低倍対物レンズ２３２と高倍対物レンズ２３１との切り替えにて説明したが、ズームレンズ部２４３のズーム光学系２４３ａを移動させることで観察倍率を変更するようにしてもよいし、これら双方の組み合わせて観察倍率を変更するようにしてもよい。   Moreover, although the change of the observation magnification has been described by switching between the low magnification objective lens 232 and the high magnification objective lens 231, the observation magnification may be changed by moving the zoom optical system 243a of the zoom lens unit 243. Alternatively, the observation magnification may be changed by combining both of these.

１ 顕微鏡システム
２ 顕微鏡装置
３ 顕微鏡制御部
４ 撮像装置
５ 操作入力部
６ 表示部
７ 制御端末
２１ ステージ
２２ レボルバ
２３ 対物レンズ
２４ 顕微鏡本体部
２５ 落射照明用光源
４１ 撮像素子
７１ 制御通信部
７２ 記録部
７３ 制御部
２１１ ステージ駆動部
２１２ モータ
２２１ マウンタ
２２２ レボルバ駆動部
２２３ レボルバ検出部
２３１ 低倍対物レンズ
２３２ 高倍対物レンズ
２４１ 照明レンズ
２４２ ハーフミラー
２４３ ズームレンズ部
２４３ｂ ズーム駆動部
２４３ａ ズーム光学系
２４４ 結像レンズ
２５１ ファイバー
７２２ マップ画像記録部
７３１ ライブ画像生成部
７３２ 貼り合わせ画像生成部
７３３ 駆動制御部
７３４ 表示制御部 DESCRIPTION OF SYMBOLS 1 Microscope system 2 Microscope apparatus 3 Microscope control part 4 Imaging device 5 Operation input part 6 Display part 7 Control terminal 21 Stage 22 Revolver 23 Objective lens 24 Microscope main body part 25 Light source for epi-illumination 41 Image pick-up element 71 Control communication part 72 Recording part 73 Control unit 211 Stage drive unit 212 Motor 221 Mounter 222 Revolver drive unit 223 Revolver detection unit 231 Low magnification objective lens 232 High magnification objective lens 241 Illumination lens 242 Half mirror 243 Zoom lens unit 243b Zoom drive unit 243a Zoom optical system 244 Imaging lens 251 Fiber 722 Map image recording unit 731 Live image generation unit 732 Bonded image generation unit 733 Drive control unit 734 Display control unit

Claims (9)

試料を載置し、水平方向に移動可能なステージと、
前記ステージに載置された前記試料を撮像して該試料の画像データを時系列に沿って連続的に生成する撮像装置と、
前記撮像装置の視野領域を含む広い視野領域を有し、前記撮像装置が前記試料を撮像する際の前記試料に対する前記撮像装置の視野領域の位置を示す位置確認画像データを記録する位置確認画像記録部と、
前記画像データに対応する画像および／または前記位置確認画像データに対応する位置確認画像を表示可能な表示部と、
前記撮像装置の視野領域に対応する前記位置確認画像上に前記画像を重畳して前記表示部に表示させる表示制御部と、
を備えたことを特徴とする顕微鏡システム。 A stage on which a sample is placed and movable in the horizontal direction;
An imaging device that images the sample placed on the stage and continuously generates image data of the sample in time series;
A position confirmation image recording having a wide field area including the field area of the imaging device, and recording position confirmation image data indicating a position of the field area of the imaging device with respect to the sample when the imaging device images the sample And
A display unit capable of displaying an image corresponding to the image data and / or a position confirmation image corresponding to the position confirmation image data;
A display control unit that superimposes the image on the position confirmation image corresponding to the visual field region of the imaging device and displays the image on the display unit;
A microscope system comprising: 前記ステージを水平方向に移動させるステージ駆動部と、
前記表示部が表示する前記位置確認画像上における関心領域を指定する指示信号の入力を受け付ける操作入力部と、
前記操作入力部から前記指示信号が入力された場合、前記ステージ駆動部を駆動させて、前記撮像装置の視野領域が前記関心領域に対応する前記試料の領域と一致する位置に前記ステージを移動させる駆動制御部と、
をさらに備えたことを特徴とする請求項１に記載の顕微鏡システム。 A stage drive unit for moving the stage in a horizontal direction;
An operation input unit for receiving an input of an instruction signal for designating a region of interest on the position confirmation image displayed by the display unit;
When the instruction signal is input from the operation input unit, the stage driving unit is driven to move the stage to a position where the visual field region of the imaging device matches the region of the sample corresponding to the region of interest. A drive control unit;
The microscope system according to claim 1, further comprising: 前記位置確認画像記録部は、表示倍率が互いに異なる複数の前記位置確認画像データを記録し、
前記操作入力部は、前記位置確認画像の表示倍率を設定する設定信号の入力を受け付け可能であり、
前記表示制御部は、前記操作入力部から前記設定信号が入力された場合、前記設定信号に応じた表示倍率で前記位置確認画像を前記表示部に表示させるとともに、該表示倍率に応じた表示サイズで前記画像を前記位置確認画像上に重畳して前記表示部に表示させることを特徴とする請求項２に記載の顕微鏡システム。 The position confirmation image recording unit records a plurality of the position confirmation image data having different display magnifications,
The operation input unit can accept an input of a setting signal for setting a display magnification of the position confirmation image,
When the setting signal is input from the operation input unit, the display control unit displays the position confirmation image on the display unit at a display magnification according to the setting signal, and a display size according to the display magnification. The microscope system according to claim 2, wherein the image is superimposed on the position confirmation image and displayed on the display unit. 前記操作入力部は、前記表示部が表示する前記位置確認画像の表示領域を変更する変更信号の入力を受け付け可能であり、
前記表示制御部は、前記操作入力部から前記変更信号が入力された場合、前記表示領域を、前記変更信号に応じて変更して前記表示部に表示させることを特徴とする請求項３に記載の顕微鏡システム。 The operation input unit can accept an input of a change signal for changing a display area of the position confirmation image displayed by the display unit,
The said display control part changes the said display area according to the said change signal, and displays it on the said display part, when the said change signal is input from the said operation input part. Microscope system. 前記表示制御部は、前記撮像装置の光軸上に配置された前記対物レンズの観察倍率に応じた前記位置確認画像を前記表示部に表示させるとともに、前記対物レンズの観察倍率に応じた表示サイズで前記画像を前記位置確認画像上に重畳して前記表示部に表示させることを特徴とする請求項４に記載の顕微鏡システム。   The display control unit causes the display unit to display the position confirmation image according to the observation magnification of the objective lens arranged on the optical axis of the imaging device, and also displays a display size according to the observation magnification of the objective lens. 5. The microscope system according to claim 4, wherein the image is superimposed on the position confirmation image and displayed on the display unit. 観察倍率が互いに異なる複数の対物レンズを保持するレボルバと、
前記レボルバを駆動するレボルバ駆動部と、
をさらに備え、
前記駆動制御部は、前記操作入力部から前記変更信号が入力された場合、前記レボルバ駆動部を駆動させて、前記画像の表示領域が前記表示部の表示領域と一致するように前記撮像装置の光軸上における前記対物レンズを切り替えることを特徴とする請求項５に記載の顕微鏡システム。 A revolver holding a plurality of objective lenses having different observation magnifications;
A revolver drive unit for driving the revolver;
Further comprising
When the change signal is input from the operation input unit, the drive control unit drives the revolver drive unit so that the display area of the image matches the display area of the display unit. The microscope system according to claim 5, wherein the objective lens on the optical axis is switched. 前記表示制御部は、前記ステージの移動により、前記画像の一辺が前記表示部の表示領域の端部に到達した場合、前記表示部が表示する前記位置確認画像の表示領域を変更させるか、または表示倍率が異なる前記位置確認画像を前記表示部に表示させることを特徴とする請求項６に記載の顕微鏡システム。   The display control unit changes the display region of the position confirmation image displayed by the display unit when one side of the image reaches the end of the display region of the display unit due to the movement of the stage, or The microscope system according to claim 6, wherein the position confirmation images having different display magnifications are displayed on the display unit. 前記表示制御部は、前記位置確認画像上における前記画像の表示領域が予め設定された閾値を超えた場合、表示倍率が異なる前記位置確認画像を前記表示部に表示させることを特徴とする請求項６に記載の顕微鏡システム。   The display control unit causes the display unit to display the position confirmation image having a different display magnification when a display area of the image on the position confirmation image exceeds a preset threshold. 6. The microscope system according to 6. 前記位置確認画像は、複数の前記画像を貼り合わせて生成された貼り合わせ画像、または前記試料の全体を撮像した全体画像であることを特徴とする請求項１〜８のいずれか一つに記載の顕微鏡システム。   The position confirmation image is a composite image generated by combining a plurality of the images, or an entire image obtained by imaging the entire sample. Microscope system.
JP2012236063A 2012-10-25 2012-10-25 Microscope system Active JP6061614B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012236063A JP6061614B2 (en) 2012-10-25 2012-10-25 Microscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012236063A JP6061614B2 (en) 2012-10-25 2012-10-25 Microscope system

Publications (2)

Publication Number Publication Date
JP2014085598A true JP2014085598A (en) 2014-05-12
JP6061614B2 JP6061614B2 (en) 2017-01-18

Family

ID=50788679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012236063A Active JP6061614B2 (en) 2012-10-25 2012-10-25 Microscope system

Country Status (1)

Country Link
JP (1) JP6061614B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008245A (en) * 2009-05-29 2011-01-13 Olympus Corp In-vivo examination apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008245A (en) * 2009-05-29 2011-01-13 Olympus Corp In-vivo examination apparatus

Also Published As

Publication number Publication date
JP6061614B2 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
US8922639B2 (en) Microscope system
JP5875812B2 (en) Microscope system and illumination intensity adjustment method
EP2804145B1 (en) Microscope system and stitched area decision method
US9798129B2 (en) Microscope system and method for deciding stitched area
US20110063327A1 (en) Display and imager displaying and magnifying images on their screen
JP5893314B2 (en) Display device and microscope system
JP5875813B2 (en) Microscope system
JP2015197623A (en) microscope system
JP2010112969A (en) Confocal microscope
JP6238574B2 (en) Observation device
JP6253509B2 (en) Image display method, control device, microscope system
JP5860649B2 (en) Microscope system
JP2010079035A (en) Microscope system, control program, and control method thereof
JP2019166156A (en) Medical observation system
JP6061614B2 (en) Microscope system
JP2012150142A (en) Microscope control apparatus, microscope system and control method thereof
JP5904737B2 (en) Microscope system
US10560635B2 (en) Control device, control method, and program
JP6150504B2 (en) Imaging system
JP5532318B2 (en) Microscope device and recording medium
JP5893315B2 (en) Microscope system
JP6013100B2 (en) Imaging apparatus and microscope system
JP6173032B2 (en) Microscope system
JP2013072995A (en) Microscope system
JP5881356B2 (en) Microscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161213

R151 Written notification of patent or utility model registration

Ref document number: 6061614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250