[go: up one dir, main page]

WO2018190132A1 - 顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラ - Google Patents

顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラ Download PDF

Info

Publication number
WO2018190132A1
WO2018190132A1 PCT/JP2018/012893 JP2018012893W WO2018190132A1 WO 2018190132 A1 WO2018190132 A1 WO 2018190132A1 JP 2018012893 W JP2018012893 W JP 2018012893W WO 2018190132 A1 WO2018190132 A1 WO 2018190132A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
microscope
optical
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/012893
Other languages
English (en)
French (fr)
Inventor
山宮　広之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to CN201880023673.5A priority Critical patent/CN110494787A/zh
Priority to EP18783910.5A priority patent/EP3611551A1/en
Priority to US16/604,150 priority patent/US20200116990A1/en
Publication of WO2018190132A1 publication Critical patent/WO2018190132A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Definitions

  • the present invention relates to a microscope system, a microscope, a processing apparatus, and a microscope camera.
  • Patent Document 1 discloses an example in which an image is captured while moving a focal plane by moving a stage on which a sample to be observed by a microscope is moved by a motor or the like.
  • an inverted microscope that observes a sample to be observed from below is known as a microscope for observing a living organism. In this inverted microscope, the objective lens is moved up and down with a motor or the like with respect to the observation target and imaged.
  • phase contrast microscope image By recovering the phase from a plurality of images thus captured, an image similar to a phase contrast microscope image can be captured.
  • this method it is not necessary to use special illumination or an objective lens unlike conventional phase contrast microscopes, and a simple configuration is required.
  • contrast is stronger than phase contrast microscope images, and images suitable for image analysis are captured. be able to.
  • Patent Document 2 discloses an example in which focusing is controlled by moving an image sensor in addition to a lens (advancement / retraction movement).
  • Patent Document 3 discloses an example in which an image having a deep depth of field is synthesized by moving (moving forward and backward) an image sensor to capture a plurality of images.
  • Patent Document 1 discloses an example in which an imaging element is moved (advanced / retracted) in addition to a lens in order to control focusing.
  • Patent Document 3 discloses an example of synthesizing an image having a deep depth of field by capturing a plurality of images obtained by moving (advancing and retreating) an image sensor. I can't do it.
  • One aspect of the present invention has been made in view of the above circumstances, a microscope system, a microscope, a processing apparatus, and a microscope that can construct a phase-recovered image from microscope images having different focal planes with a simpler configuration than before. It is to provide a microscope camera.
  • one aspect of the present invention is a microscope system that is mounted on a microscope and includes a microscope camera that captures an image observed by the microscope, and the observation is performed through an imaging lens of the microscope.
  • An image sensor on which an image is incident and a plurality of images of the observation image having different optical distances from the imaging lens to the image sensor and having different focal planes using the image sensor
  • a microscope system including an imaging unit.
  • the microscope system includes a distance changing unit that can change an optical distance from the imaging lens to the imaging element, and the imaging unit is configured to perform the optical operation by the distance changing unit.
  • a plurality of images of the observation images having different optical distances are picked up using the image pickup device in response to a change in target distance.
  • the distance changing unit changes the optical distance by moving the image sensor in an optical axis direction from the imaging lens to the image sensor. .
  • the distance changing unit changes the optical distance by changing an optical system provided between the imaging lens and the imaging element.
  • the distance changing unit in the microscope system, can move an optical lens provided as the optical system between the imaging lens and the imaging element in the optical axis direction.
  • the optical distance is changed by moving the optical lens in the optical axis direction.
  • One embodiment of the present invention is the microscope system, wherein the distance changing unit inserts and removes an optical lens provided as the optical system between the imaging lens and the imaging element. By doing so, the optical distance is changed.
  • the microscope camera in the microscope system, is provided so as to be movable in an optical axis direction from the imaging lens to the imaging element, and the distance changing unit includes the microscope The optical distance is changed by relatively moving the camera or the imaging lens in the optical axis direction.
  • the microscope system includes a plurality of the imaging elements on which the observation image is incident via the imaging lens, and the plurality of imaging elements have different optical distances.
  • the imaging unit captures the images of the observation images having different optical distances simultaneously using the plurality of imaging elements.
  • the microscope system includes at least one beam splitter that causes the observation image to enter the plurality of imaging elements.
  • One embodiment of the present invention includes a stage on which an observation target is installed, an objective lens, an imaging lens that forms an image of the observation target incident through the objective lens, and the imaging lens.
  • An image pickup unit that picks up an image using an image pickup device; and an image processing unit that restores phase information of the observation image using the plurality of images picked up by the image pickup unit and enhances the contrast of the observation image.
  • Another embodiment of the present invention is a processing device that controls a microscope camera that is mounted on a microscope and captures an observation image obtained by the microscope, and is observed from the imaging lens of the microscope through the imaging lens.
  • a distance change control unit that performs control to change an optical distance to an image sensor on which an image is incident, and the optical distance is different depending on the change of the optical distance by the distance change control unit.
  • An imaging control unit that performs control to capture a plurality of images of the observation image, which are images of observation images and have different focal planes of the microscope, using the imaging device, and the plurality of images captured by the control of the imaging control unit
  • An image processing unit that restores the phase information of the observation image using a single image and enhances the contrast of the observation image.
  • the processing apparatus includes a magnification correction unit that corrects magnification of at least some of the captured images of the plurality of images obtained by capturing the observation images having different optical distances.
  • One embodiment of the present invention is a microscope camera that is mounted on a microscope and captures an observation image by the microscope, and the imaging element on which the observation image is incident through an imaging lens of the microscope;
  • An image pickup unit that picks up a plurality of images of the observation image having different optical distances from the imaging lens to the image pickup device, and having different focal planes of the microscope using the image pickup device; This is a microscope camera.
  • the microscope camera includes a distance changing unit that can change an optical distance from the imaging lens to the imaging element, and the imaging unit is configured to change the distance by the distance changing unit.
  • a plurality of images of the observation images having different optical distances are picked up using the image pickup device in accordance with the change in the optical distance.
  • the distance changing unit changes the optical distance by moving the image sensor in an optical axis direction from the imaging lens to the image sensor. To do.
  • One embodiment of the present invention is the above-described microscope camera, wherein the distance changing unit changes the optical distance by changing an optical system provided between the imaging lens and the imaging element. To do.
  • the distance changing unit can move an optical lens provided as the optical system between the imaging lens and the imaging element in the optical axis direction. Yes, the optical distance is changed by moving the optical lens in the optical axis direction.
  • One embodiment of the present invention is the microscope camera, wherein the distance changing unit inserts an optical lens provided as the optical system between the imaging lens and the imaging element into the optical system. The optical distance is changed by removing.
  • the microscope camera is provided so as to be movable in an optical axis direction from the imaging lens to the imaging element, and the distance changing unit includes the microscope camera or the connection.
  • the optical distance is changed by relatively moving the image lens in the optical axis direction.
  • the microscope camera includes a plurality of the imaging elements on which the observation image is incident through the imaging lens, and the plurality of imaging elements have different optical distances.
  • the imaging unit images the images of the observation images having different optical distances simultaneously using the plurality of imaging elements.
  • FIG. 3 is a detailed view showing an example of the configuration of a microscope camera according to the first embodiment.
  • 5 is a flowchart illustrating an example of a microscope image capturing process according to the first embodiment.
  • Explanatory drawing about the optical distance when the position of the image sensor which concerns on 1st Embodiment is an initial state.
  • Explanatory drawing about the optical distance when the image pick-up element which concerns on 1st Embodiment is moved to an optical axis direction (front).
  • Explanatory drawing about the optical distance when the image pick-up element which concerns on 1st Embodiment is moved to an optical axis direction (back).
  • the figure explaining the example which images simultaneously the image of the observation image from which the optical distance which concerns on 5th Embodiment differs differs.
  • FIG. 1 is a diagram illustrating an example of a configuration of a microscope system 1 according to the first embodiment.
  • the illustrated microscope system 1 includes a microscope 10 that is a microscope body, a microscope camera 20 attached to the microscope 10, a processing device 30 that controls the microscope camera 20, and a monitor 40 attached to the processing device 30. ing.
  • the microscope 10 includes a transmission illumination 11, a sample stage 12, an objective lens 13, a bending mirror 14, and an imaging lens 15.
  • the transmitted illumination 11 irradiates the sample stage 12 with light for observation.
  • a sample to be observed with the microscope 10 is placed on the sample stage 12.
  • the objective lens 13 enlarges the image of the observation target installed on the sample stage 12.
  • the bending mirror 14 guides the parallel light of the observation target image magnified by the objective lens 13 to the imaging lens 15.
  • the parallel light guided from the objective lens 13 through the bending mirror 14 is imaged by the imaging lens 15.
  • the image of the observation object imaged by the imaging lens 15 is also referred to as an observation image.
  • an eyepiece lens is not attached after the imaging lens 15.
  • the microscope camera 20 is attached to the microscope 10 and captures an observation image incident from the microscope 10.
  • the microscope camera 20 shown in the figure includes an imaging element 21 on which an observation image is incident through the imaging lens 15 of the microscope 10.
  • the observation image is formed on the imaging surface of the imaging element 21 by the imaging lens 15.
  • the microscope camera 20 captures an image observed by the microscope 10 using the image sensor 21.
  • an alternate long and short dash line indicated by a symbol K indicates an optical axis of light incident on the image sensor 21 through the objective lens 13, the bending mirror 14, and the imaging lens 15, and the same applies to other drawings. It is.
  • FIG. 2 is a detailed diagram illustrating an example of the configuration of the microscope camera 20 according to the first embodiment.
  • the microscope camera 20 includes an imaging device 21, an imaging unit 22 that captures an image observed by the microscope 10 using the imaging device 21, and a distance changing unit that can change the optical distance from the imaging lens 15 to the imaging device 21. 23.
  • the distance changing unit 23 changes the optical distance from the imaging lens 15 to the image sensor 21 by moving the image sensor 21 in the optical axis direction.
  • the optical axis direction is a direction along the optical axis of light incident on the image sensor 21 via the imaging lens 15 (that is, the optical axis direction from the imaging lens 15 to the image sensor 21).
  • the optical axis direction includes both a direction in which the imaging element 21 approaches and a direction in which the imaging element 21 moves away from the imaging lens 15.
  • the distance changing unit 23 includes a linear guide 231, a stage unit 232, a ball screw 233, a fixed block 234, and a stepping motor 235.
  • the image sensor 21 is fixed to the stage portion 232 on the linear guide 231 and can be translated in the direction indicated by the arrow 100 (optical axis direction).
  • a fixed block 234 is connected to the linear guide 231, and a stepping motor 235 is fixed to the fixed block 234.
  • a ball screw 233 is rotatably supported on the fixed block 234 by a bearing (not shown).
  • the ball screw 233 is connected to the stepping motor 235 by a coupling (not shown).
  • a ball nut (not shown) is disposed inside the stage portion 232 and is screwed with the ball screw 233.
  • the ball screw 233 is rotated by driving the stepping motor 235, and the image sensor 21 is translated along with the stage portion 232 in the direction (optical axis direction) indicated by the arrow 100.
  • the imaging unit 22 that captures an image using the imaging element 21 and the stepping motor 235 are connected to the processing device 30.
  • the processing device 30 is a computer device used by a user, and a PC (Personal Computer), a tablet PC, a mobile phone such as a smartphone or a feature phone, a personal digital assistant (PDA: Personal Digital Assistant), or the like can be applied.
  • PC Personal Computer
  • PDA Personal Digital Assistant
  • the processing device 30 moves the imaging device 21 in the optical axis direction by controlling the imaging unit 22 and the stepping motor 235 of the microscope camera 20.
  • the processing device 30 translates the image pickup device 21 in the optical axis direction, and obtains a plurality of images of observation images having different optical distances from the imaging lens 15 to the image pickup device 21 (that is, different focal planes).
  • the microscope camera 20 is controlled so as to capture an image.
  • the processing device 30 constructs (generates) a captured image (phase recovered image) obtained by recovering (restoring) the phase information from a plurality of images having different optical distances.
  • FIG. 3 is a flowchart illustrating an example of the microscope image capturing process according to the first embodiment.
  • FIG. 4 is an explanatory diagram of the optical distance when the position of the image sensor 21 is in the initial state.
  • 5 and 6 are explanatory diagrams of the optical distance when the image sensor 21 is moved in the optical axis direction.
  • Step S100 First, the light from the transmission illumination 11 illuminates the sample placed on the sample stage 12.
  • the light that has passed through the sample is incident on the objective lens 13, changed in direction by the bending mirror 14, and incident on the imaging element 21 of the microscope camera 20 by the imaging lens 15.
  • an enlarged image is formed on the image sensor 21.
  • the position of the image sensor 21 is at a preset position, and when the sample is placed on the stage 7, the image sensor 21 is adjusted so that the sample generally comes to the focal plane.
  • the observer manually moves the position of the objective lens 13 of the microscope 10 while taking an image of the image sensor 21 to focus.
  • the distance from the principal point of the imaging lens 15 to the image sensor 21 is Ft0
  • the distance from the principal point of the objective lens 13 to the focal plane 120 is Fo0
  • the magnification is Ft0 / Fo0 (see FIG. 4).
  • Step S102 In this initial state, the processing device 30 causes the microscope camera 20 to capture an image of an observation image obtained by the microscope 10.
  • Step S104 Next, as shown in FIG. 5, the processing device 30 captures an image from the initial state to the front (in the direction of the arrow 101) from the initial state by a predetermined amount set in advance according to the objective lens 13 being used.
  • the stepping motor 235 is driven so that the element 21 moves in translation.
  • the distance from the principal point of the imaging lens 15 to the image sensor 21 is Ft1
  • the distance from the principal point of the objective lens 13 to the focal plane 120a is Fo1. Therefore, the enlargement magnification is Ft1 / Fo1, and the enlargement magnification is slightly smaller than that in the initial state shown in FIG.
  • the focus may be finely adjusted using an autofocus function provided in the microscope camera 20 using the contrast of the observation image.
  • Step S106 The processing device 30 causes the microscope camera 20 to capture an image of an observation image by the microscope 10 in a state where the imaging element 21 is translated forward.
  • Step S108 Next, as shown in FIG. 6, the processing device 30 captures an image from the initial state to the rear (in the direction of the arrow 102) by a predetermined amount set in advance according to the objective lens 13 being used.
  • the stepping motor 235 is driven so that the element 21 moves in translation.
  • the distance from the principal point of the imaging lens 15 to the image sensor 21 is Ft2
  • the distance from the principal point of the objective lens 13 to the focal plane 120b is Fo2. Therefore, the enlargement magnification is Ft2 / Fo2, and the enlargement magnification is slightly larger than that in the initial state shown in FIG. 4 (see FIG. 6).
  • the focus may be finely adjusted using an autofocus function provided in the microscope camera 20 using the contrast of the observation image.
  • Step S110 Then, the processing device 30 causes the microscope camera 20 to capture an image of an observation image by the microscope 10 in a state where the image sensor 21 is translated backward.
  • Step S112 Next, among the images captured in Steps S102, S106, and S110, the images captured in Steps S106 and S110 are slightly different in magnification from the image captured in Step S102.
  • the processing device 30 corrects those magnifications. For example, the processing device 30 corrects the image captured in steps S106 and S110 to be the same magnification as the image captured in step S102 by enlarging or reducing the image. Specifically, the processing device 30 enlarges the image captured in step S106 so as to have the same magnification as the image captured in step S102. In addition, the processing device 30 reduces the image captured in step S110 so as to have the same magnification as the image captured in step S102.
  • Step S112 Subsequently, the processing device 30 performs a Fourier transform process, an image calculation process, and an inverse Fourier transform process as described in the prior art document on each image captured in steps S102, S106, and S110. And a phase-recovered image whose phase is recovered (restored) is constructed. Then, the processing device 30 stores the constructed phase recovery image in the storage device and displays it on the monitor 40.
  • the storage device may be built in the processing device 30 or an external device connected by a cable or the like. The storage device may be connected to the processing device 30 via the Internet.
  • the processing device 30 may drive the stepping motor 235 to obtain the initial position of the image sensor 21 that maximizes the contrast of the image.
  • FIG. 7 is a block diagram illustrating an example of the functional configuration of the processing device 30 according to the first embodiment.
  • the illustrated processing device 30 includes a CPU (Central Processing Unit) 31, a storage unit 32, an input unit 33, a display output unit 34, and a communication unit 35. These components are connected via a bus so that they can communicate with each other.
  • the CPU 31 executes various programs stored in the storage unit 32 and controls each unit of the processing device 30.
  • the storage unit 32 includes, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), an EEPROM (Electrically Erasable Programmable Read-Only Memory), and a ROM (Read-Only Memory).
  • Various information, images, programs, and the like processed by the processing device 30 are stored.
  • the storage unit 32 is not limited to a built-in unit in the processing device 30 and may be an external storage device connected by a digital input / output port such as a USB.
  • the input unit 33 is a keyboard, a mouse, a touch pad, a microphone to which various instructions are input by voice, or the like.
  • the input unit 33 may be integrated with the display of the monitor 40 as a touch panel.
  • the display output unit 34 outputs information to be displayed on the monitor 40.
  • the communication unit 35 is connected to the microscope camera 20 in a wired or wireless manner, and transmits or receives various data to and from the microscope camera 20.
  • the communication unit 35 transmits control information for controlling the microscope camera 20 or receives image data of an image captured by the microscope camera 20.
  • the processing device 30 may include a speaker (not shown), an audio output terminal, and the like.
  • the processing device 30 includes a distance change control unit 311, an imaging control, and the like as a functional configuration realized by the CPU 31 executing a control program (a program for controlling the microscope camera 20) stored in the storage unit 32.
  • the distance change control unit 311 performs control to change the optical distance from the imaging lens 15 of the microscope 10 to the image sensor 21 through which the observation image is incident via the imaging lens 15. For example, the distance change control unit 311 changes the optical distance from the imaging lens 15 to the image sensor 21 by driving the stepping motor 235 to move (translate) the image sensor 21 in the optical axis direction.
  • the imaging control unit 312 controls the imaging unit 22 in accordance with the change of the optical distance by the distance change control unit 311 to capture a plurality of images of observation images having different optical distances.
  • the magnification correction unit 313 corrects the magnification of at least some of the captured images among the plurality of images obtained by capturing observation images having different optical distances. For example, the magnification correction unit 313 picks up the image obtained by moving the image sensor 21 forward (translational movement) in the optical axis direction from the position in the initial state and moves backward (translational movement) in the optical axis direction. The image is enlarged or reduced so as to have the same magnification as the image captured at the initial position. Specifically, the magnification correction unit 313 sets an image captured by moving the image sensor 21 forward (translational movement) from the position in the initial state in the optical axis direction to the same magnification as the image captured at the position in the initial state. Enlarge to become. In addition, the magnification correction unit 313 reduces an image captured by moving backward (translational movement) in the optical axis direction so that the image has the same magnification as the image captured at the initial position.
  • the image processing unit 314 performs image processing from a plurality of images (for example, images after correction by the magnification correction unit 313) obtained by imaging observation images having different optical distances from the imaging lens 15 of the microscope 10 to the imaging element 21.
  • a plurality of images for example, images after correction by the magnification correction unit 313
  • the phase information is recovered (restored), and a captured image (phase recovered image) with enhanced contrast is constructed (generated).
  • the microscope camera 20 is a camera that is attached to the microscope 10 and captures an observation image by the microscope 10, and is connected via the imaging lens 15 of the microscope 10.
  • a plurality of images of the observation image having different optical distances from the imaging lens 15 to the imaging device 21 are picked up using the imaging device 21.
  • An imaging unit 22 is included in the microscope camera 20.
  • the microscope camera 20 includes a distance changing unit 23 that can change the optical distance from the imaging lens 15 to the imaging element 21, and the imaging unit 22 changes the optical distance by the distance changing unit 23. Accordingly, a plurality of images of observation images having different optical distances are picked up using the image pickup device 21.
  • the distance changing unit 23 moves (translates) the image sensor 21 in the optical axis direction (both directions along the optical axis) from the imaging lens 15 to the image sensor 21, thereby changing the optical distance. change.
  • the processing device 30 includes an image processing unit 314 that restores phase information of an observation image using a plurality of images captured by the imaging unit 22 of the microscope camera 20 and enhances the contrast of the observation image. ing.
  • the microscope camera 20 translates the image sensor 21 in the optical axis direction, thereby allowing a plurality of focal planes to be observed using the general-purpose microscope 10 without driving the stage of the microscope 10 or the like.
  • An image can be captured. Therefore, according to the present embodiment, for example, it is only necessary to mount the microscope camera 20 on an inexpensive manual microscope. Can be built.
  • conventional motorized microscopes are generally expensive, and it is expensive to configure a system that captures a microscope image by controlling a camera for imaging while sending a signal for controlling the electric microscope from the outside. There was a problem of becoming. However, in this embodiment, since a phase recovery image can be constructed from images (microscopic images) of observation images having different focal planes with a simple configuration, an inexpensive system can be obtained.
  • the processing device 30 that controls the microscope camera 20 includes a distance change control unit 311 that performs control to change the optical distance from the imaging lens 15 of the microscope 10 to the image pickup device 21, and an optical system using the distance change control unit 311. And an imaging control unit 312 that performs control to capture a plurality of images of observation images having different optical distances using the imaging device 21 in accordance with the change of the target distance.
  • the distance change control unit 311 controls the optical distance by moving (translating) the image sensor 21 in the optical axis direction (both directions along the optical axis) from the imaging lens 15 to the image sensor 21. To change.
  • the processing device 30 changes the optical distance from the imaging lens 15 of the microscope camera 20 to the image sensor 21 (for example, by translating the image sensor 21 in the optical axis direction).
  • a plurality of images (microscopic images) of observation images having different focal planes can be captured. Therefore, according to the present embodiment, it is possible to acquire images (microscope images) of observation images having different focal planes using only the microscope camera 20 as a control target using the general-purpose microscope 10. Therefore, according to the present embodiment, it is possible to construct a phase-recovered image from observation image images (microscopic images) having different focal planes with a simpler and less expensive configuration than in the past.
  • the processing device 30 restores phase information by image processing from a plurality of images obtained by imaging observation images having different optical distances from the imaging lens 15 of the microscope 10 to the imaging device 21, and performs imaging with enhanced contrast.
  • An image processing unit 314 for constructing an image is provided.
  • the processing device 30 can construct a phase-recovered image with contrast from observation image images (microscopic images) having different focal planes with a simpler and less expensive configuration than the conventional one.
  • the processing device 30 includes a magnification correction unit 315 that corrects the magnification of at least some of the captured images of the plurality of images obtained by capturing observation images having different optical distances.
  • the processing device 30 can suppress the influence due to the magnification change between captured images caused by different focal planes, and a fine image can be obtained.
  • the image sensor 21 is moved (translated) in the optical axis direction as a method of changing the optical distance from the imaging lens 15 to the image sensor 21.
  • the optical distance from the imaging lens 15 to the imaging device 21 is changed by changing the optical system provided between the imaging lens 15 and the imaging device 21. .
  • FIG. 8 is a diagram for explaining an example of changing the optical distance from the imaging lens 15 to the image sensor 21 according to the second embodiment.
  • the microscope camera 20A shown in the drawing is provided with an optical system including variable power optical elements 25a and 25b for changing the focal length between the imaging lens 15 and the image sensor 21 in the first embodiment. Unlike the microscope camera 20, the other configurations are the same.
  • the microscope camera 20 ⁇ / b> A moves an optical system (variable magnification optical elements 25 a and 25 b) provided between the imaging lens 15 and the imaging element 21 to move from the imaging lens 15 to the imaging element 21.
  • a distance changing unit 23A capable of changing the optical distance is provided.
  • the distance changing unit 23A includes a stepping motor (not shown), a linear guide, and the like corresponding to each of the variable magnification optical elements 25a and 25b so as to be movable in the optical axis direction (the direction of the arrow 103 shown). Yes.
  • the processing device 30 moves the variable power optical elements 25a and 25b independently in the optical axis direction by independently driving stepping motors corresponding to the variable power optical elements 25a and 25b.
  • the processing device 30 can change the focal plane for the observation image by translating each of the variable magnification optical elements 25a and 25b to an arbitrary position in the optical axis direction.
  • the optical lenses (variable magnification optical elements 25a and 25b) provided as an optical system between the imaging lens 15 and the imaging element 21 move in the optical axis direction.
  • the optical distance from the imaging lens 15 to the image sensor 21 is changed by moving the optical lens in the optical axis direction (translational movement).
  • the microscope camera 20A translates the optical system (variable magnification optical elements 25a and 25b) between the imaging lens 15 and the imaging element 21 in the direction of the optical axis, and is the same as in the first embodiment.
  • a phase recovery image can be constructed.
  • the optical distance from the imaging lens 15 to the imaging device 21 is changed by changing the optical system provided between the imaging lens 15 and the imaging device 21.
  • the method of changing the optical system is different.
  • FIG. 9 is a diagram illustrating an example of changing the optical distance from the imaging lens 15 to the image sensor 21 according to the third embodiment.
  • the illustrated microscope camera 20B includes an optical system including variable magnification optical elements 26a and 26b for changing the focal length between the imaging lens 15 and the image pickup element 21. This is different from the microscope camera 20A of the second embodiment in that it can be inserted and removed. Inserting and removing from the optical system means that the variable magnification optical elements 26a and 26b are placed in a range of light in which the observation image enters the imaging element 21 via the imaging lens 15 (a predetermined range centered on the optical axis).
  • the distance changing unit 23B includes an actuator (not shown), a linear guide, and the like corresponding to each of the variable magnification optical elements 26a and 26b so that they can be inserted into and removed from the optical system.
  • the processing device 30 drives the actuators corresponding to the variable power optical elements 26a and 26b independently to insert and remove the variable power optical elements 26a and 26b from the optical system. That is, the processing device 30 can insert and remove each of the variable magnification optical elements 25a and 25b with respect to the optical system, and can change the focal plane for the observation image.
  • the microscope camera 20B uses the variable power optical elements 26a and 26b (an example of an optical lens) provided as an optical system between the imaging lens 15 and the imaging element 21 as an optical system.
  • the optical distance from the imaging lens 15 to the image sensor 21 is changed by inserting and removing.
  • the microscope camera 20B inserts and removes the optical system (variable magnification optical elements 26a and 26b) between the imaging lens 15 and the image pickup element 21 with respect to the optical system, whereby the first and second embodiments are implemented.
  • the optical system variable magnification optical elements 26a and 26b
  • observation images having different optical distances from the imaging lens 15 to the image sensor 21 that is, different focal planes
  • the observation image (microscope image) having a different focal plane can be obtained with a simpler and less expensive configuration than the conventional one.
  • a phase recovery image can be constructed.
  • FIG. 10 is a diagram for explaining an example of changing the optical distance from the imaging lens 15 to the image sensor 21 according to the fourth embodiment.
  • the microscope camera 20C shown in the figure is provided so as to be movable (translatable) in the optical axis direction (both directions along the optical axis) from the imaging lens 15 to the imaging device 21.
  • the processing device 30 moves (translates) the main body of the microscope camera 20C relative to the imaging lens 15 in the direction of the optical axis (in the direction of the arrow 105) by driving an actuator (not shown). Move).
  • the imaging lens 15 is moved relative to the microscope camera 20C in the optical axis direction. Accordingly, the optical distance from the imaging lens 15 to the image sensor 21 may be changed.
  • the optical distance from the imaging lens 15 to the image sensor 21 is obtained by relatively translating the main body of the microscope camera 20C or the imaging lens 15 in the optical axis direction. To change.
  • the microscope camera 20C can capture images of observation images having different optical distances from the imaging lens 15 to the image sensor 21 (that is, different focal planes), as in the first to third embodiments. become. Therefore, according to the present embodiment, since it is only necessary to attach the camera 20C for the present microscope to an inexpensive manual microscope, for example, from an image of an observation image (microscope image) having a different focal plane with a simpler and less expensive configuration than before. A phase recovery image can be constructed.
  • FIG. 11 is a diagram for explaining an example of simultaneously capturing a plurality of images of observation images having different optical distances according to the fifth embodiment.
  • the microscope camera 20D shown in the figure includes three image sensors 21a, 21b, and 21c, and beam splitters 27a and 27b.
  • the child optical path is branched by the beam splitters 27a and 27b.
  • the beam splitters 27a and 27b are, for example, pellicle beam splitters, which are formed of a thin cellulose film or the like and have a feature that does not generate a ghost image generated by an optical element having a normal thickness.
  • the beam splitters 27a and 27b are installed in the order of the beam splitters 27a and 27b on the optical axis from the imaging lens 15 to the imaging device 21a.
  • the beam splitter 27a reflects 1 / of the light incident from the imaging lens 15 upward (in the direction in which the imaging element 21c is installed) in FIG. 11, and the remaining light is reflected to the left (the beam splitter 27b and the imaging). The light is transmitted in the direction in which the element 21a is installed.
  • the beam splitter 27b is installed between the beam splitter 27a and the image sensor 21a, reflects 50% of the light transmitted through the beam splitter 27a upward (in the direction in which the image sensor 21b is installed), and the remaining 50 % Light is transmitted to the left (the direction in which the image sensor 21a is installed).
  • the image pickup device 21c is arranged farther from the imaging lens 15 than the image pickup device 21a, and the image pickup device 21b is arranged closer to the imaging lens 15 than the image pickup device 21a. That is, in this embodiment, images of observation images having different optical distances from the imaging lens 15 to the image sensor 21 (that is, different focal planes) are simultaneously obtained using the three image sensors 21a, 21b, and 21c. Imaging is possible.
  • the microscope camera 20D includes the plurality of imaging elements 21a, 21b, and 21c on which the observation image is incident via the imaging lens 15.
  • the microscope camera 20D includes a plurality of beam splitters 27a and 27b that allow an observation image to be incident on the plurality of imaging elements 21a, 21b, and 21c.
  • the plurality of image pickup devices 21a, 21b, and 21c are provided so that the optical distances from the imaging lens 15 to the image pickup device 21 are different.
  • the imaging unit 22 of the microscope camera 20D simultaneously captures images of observation images having different optical distances using the plurality of imaging elements 21a, 21b, and 21c.
  • images of observation images having different optical distances can be obtained without changing the optical distance in time series as in the first to fourth embodiments.
  • images can be captured simultaneously.
  • it is possible to reduce the time required for imaging.
  • the structure which moves an image pick-up element, an optical system, or the camera body for microscopes etc. is unnecessary, it can be set as a simple structure and can also reduce the load of failure and precision management.
  • the processing apparatus 30 has described the example of constructing the phase recovery image in which the phase information is restored from the images of the observation images having different optical distances (that is, different focal planes).
  • the microscope cameras 20, 20A, 20B, 20C, and 20D may perform this.
  • the microscope cameras 20, 20 ⁇ / b> A, 20 ⁇ / b> B, 20 ⁇ / b> C, and 20 ⁇ / b> D can enhance the contrast of the observation image by constructing the phase recovery image.
  • the microscope cameras 20, 20 ⁇ / b> A, 20 ⁇ / b> B, 20 ⁇ / b> C, and 20 ⁇ / b> D may be configured as a phase contrast microscope integrated with the microscope 10.
  • This phase-contrast microscope includes, for example, a sample stage 12 on which an observation target is set, an objective lens 13, an imaging lens 15 that forms an image of the observation target incident through the objective lens 13, and an imaging lens.
  • the imaging element 21 that receives the observation image formed by the image 15 and the imaging unit 22 that uses the imaging element 21 to capture images of a plurality of observation images having different optical distances from the imaging lens 15 to the imaging element 21. And at least. Any of the first to fifth embodiments can be applied as means for capturing images of a plurality of observation images having different optical distances.
  • the processing apparatus 30 in embodiment mentioned above may make it implement
  • a program for realizing the above-described function is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to realize the above-described function.
  • the “computer system” is a computer system built in the processing device 30 and includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, In this case, a volatile memory inside a computer system that serves as a server or a client may be included that holds a program for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • a part or all of the processing device 30 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the processing device 30 may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an integrated circuit based on the technology may be used.
  • unit is used to indicate a component, unit, hardware, or a portion of software programmed to perform a desired function.
  • Typical examples of hardware are devices and circuits, but are not limited to these.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

顕微鏡に装着され、顕微鏡による観察像を撮像する顕微鏡用カメラを備える顕微鏡システムであって、顕微鏡の結像レンズを介して観察像が入射される撮像素子と、結像レンズから撮像素子までの光学的距離が異なる観察像の画像であって顕微鏡の焦点面が異なる観察像の画像を撮像素子を用いて複数枚撮像する撮像部と、撮像部が撮像した複数枚の画像を用いて観察像の位相情報を復元するとともに、前記観察像のコントラストを増強する画像処理部と、を備える。

Description

顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラ
　本発明は、顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラに関する。
　顕微鏡画像の撮像及び画像処理に関する技術として、顕微鏡の焦点面の異なる画像を複数枚撮像を行い、それらの画像にフーリエ変換や画像演算を行って位相情報を回復させた画像を得る手法が開示されている（例えば、特許文献１）。この特許文献１では、顕微鏡の観察対象の試料を載せるステージをモータなどで移動させることにより、焦点面を移動させながら画像を撮像する例が開示されている。また、一般に生物を観察する顕微鏡などでは観察対象の試料を下方から観察する倒立型顕微鏡が知られている。この倒立型顕微鏡では、対物レンズを観察対象に対してモータなどで上下させて撮像される。
　このように、観察対象と対物レンズの相対距離を変化させて画像を観察することが一般的である。このようにして撮像された複数枚の画像から位相を回復させることによって、位相差顕微鏡画像に類似した画像を撮像することができる。この方式では、従来の位相差顕微鏡のように特殊な照明や対物レンズを使う必要が無く簡便な構成で済む上に、位相差顕微鏡画像よりもコントラストが強く、画像解析に適した画像を撮像することができる。
　また、特許文献２には、レンズに加えて撮像素子を移動（進退移動）させることにより合焦を制御する例が開示されている。また、特許文献３には、撮像素子を移動（進退移動）させて画像を複数枚撮像することにより、被写界深度の深い画像を合成する例が開示されている。
特表２００２－５２９６８９号公報 特開平８－２９６６８号公報 特開２００３－７８８０２公報
　しかしながら、特許文献１に開示されている構成では、顕微鏡の観察対象の試料を載せるステージを駆動するモータと顕微鏡画像を撮像するカメラとを同期させながら顕微鏡画像の撮像を行う必要があり、構成が煩雑であった。また、特許文献２には、合焦を制御するために、レンズに加えて撮像素子を移動（進退移動）させる例が開示されているが、焦点面を移動させながら画像を撮像することはできない。また、特許文献３には、撮像素子を移動（進退移動）させた画像を複数枚撮像することにより、被写界深度の深い画像を合成する例が開示されているが、位相回復画像を構築することはできない。
　本発明の一つの態様は、上記した事情に鑑みてなされたもので、従来より簡便な構成で焦点面の異なる顕微鏡画像から位相回復画像を構築することができる顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラを提供することである。
　上記課題を解決するために、本発明の一態様は、顕微鏡に装着され、前記顕微鏡による観察像を撮像する顕微鏡用カメラを備える顕微鏡システムであって、前記顕微鏡の結像レンズを介して前記観察像が入射される撮像素子と、前記結像レンズから前記撮像素子までの光学的距離が異なる前記観察像の画像であって焦点面が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する撮像部と、を備える顕微鏡システムである。
　また、本発明の一態様は、上記顕微鏡システムが、前記結像レンズから前記撮像素子までの光学的距離を変更可能な距離変更部、を備え、前記撮像部が、前記距離変更部により前記光学的距離が変更されることに応じて、前記光学的距離が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する。
　また、本発明の一態様は、上記顕微鏡システムにおいて、前記距離変更部が、前記結像レンズから前記撮像素子への光軸方向に前記撮像素子を移動することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡システムにおいて、前記距離変更部が、前記結像レンズから前記撮像素子までの間に設けられた光学系を変更することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡システムにおいて、前記距離変更部が、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズが光軸方向に移動可能であり、当該光学レンズを前記光軸方向に移動することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡システムにおいて、前記距離変更部が、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズを前記光学系に対して挿脱することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡システムにおいて、前記顕微鏡用カメラが、前記結像レンズから前記撮像素子への光軸方向に移動可能に設けられており、前記距離変更部が、前記顕微鏡用カメラまたは前記結像レンズを前記光軸方向に相対的に移動することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡システムが、前記結像レンズを介して前記観察像が入射される複数の前記撮像素子を備え、複数の前記撮像素子が、前記光学的距離が異なるように設けられており、前記撮像部は、前記光学的距離が異なる前記観察像の画像を複数の前記撮像素子を用いて同時に撮像する。また、本発明の一態様は、上記顕微鏡システムが、前記観察像を、複数の前記撮像素子に入射させる少なくとも一つのビームスプリッタを備える。
　また、本発明の一態様は、観察対象が設置されるステージと、対物レンズと、前記対物レンズを介して入射される前記観察対象の像を結像する結像レンズと、前記結像レンズにより結像された観察像が入射される撮像素子と、前記結像レンズから前記撮像素子までの光学的距離が異なる複数の前記観察像の画像であって焦点面が異なる前記観察像の画像を前記撮像素子を用いて撮像する撮像部と、前記撮像部が撮像した前記複数枚の画像を用いて前記観察像の位相情報を復元するとともに、前記観察像のコントラストを増強する画像処理部と、を備える顕微鏡である。
　また、本発明の一態様は、顕微鏡に装着され、前記顕微鏡による観察像を撮像する顕微鏡用カメラを制御する処理装置であって、前記顕微鏡の結像レンズから、前記結像レンズを介して観察像が入射される撮像素子までの光学的距離を変更させる制御を行う距離変更制御部と、前記距離変更制御部により前記光学的距離が変更されることに応じて、前記光学的距離が異なる前記観察像の画像であって前記顕微鏡の焦点面が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像させる制御を行う撮像制御部と、前記撮像制御部の制御によって撮像された前記複数枚の画像を用いて前記観察像の位相情報を復元するとともに、前記観察像のコントラストを増強する画像処理部と、を備える処理装置である。
　また、本発明の一態様は、上記処理装置において、前記光学的距離が異なる前記観察像を撮像した複数枚の画像のうち少なくとも一部の撮像画像の倍率を補正する倍率補正部、を備える。
　また、本発明の一態様は、顕微鏡に装着され、前記顕微鏡による観察像を撮像する顕微鏡用カメラであって、前記顕微鏡の結像レンズを介して前記観察像が入射される撮像素子と、前記結像レンズから前記撮像素子までの光学的距離が異なる前記観察像の画像であって前記顕微鏡の焦点面が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する撮像部と、を備える顕微鏡用カメラである。
　また、本発明の一態様は、上記顕微鏡用カメラが、前記結像レンズから前記撮像素子までの光学的距離を変更可能な距離変更部、を備え、前記撮像部が、前記距離変更部により前記光学的距離が変更されることに応じて、前記光学的距離が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する。
　また、本発明の一態様は、上記顕微鏡用カメラにおいて、前記距離変更部が、前記結像レンズから前記撮像素子への光軸方向に前記撮像素子を移動することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡用カメラにおいて、前記距離変更部が、前記結像レンズから前記撮像素子までの間に設けられた光学系を変更することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡用カメラにおいて、前記距離変更部が、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズが光軸方向に移動可能であり、当該光学レンズを前記光軸方向に移動することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡用カメラにおいて、前記距離変更部が、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズを前記光学系に対して挿脱することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡用カメラが、前記結像レンズから前記撮像素子への光軸方向に移動可能に設けられており、前記距離変更部が、前記顕微鏡用カメラまたは前記結像レンズを前記光軸方向に相対的に移動することにより、前記光学的距離を変更する。
　また、本発明の一態様は、上記顕微鏡用カメラが、前記結像レンズを介して前記観察像が入射される複数の前記撮像素子を備え、複数の前記撮像素子が、前記光学的距離が異なるように設けられており、前記撮像部は、前記光学的距離が異なる前記観察像の画像を複数の前記撮像素子を用いて同時に撮像する。
　本発明によれば、従来より簡便な構成で焦点面の異なる顕微鏡画像から位相回復画像を構築することができる。
第１の実施形態に係る顕微鏡システムの構成の一例を示す図。 第１の実施形態に係る顕微鏡用カメラの構成の一例を示す詳細図。 第１の実施形態に係る顕微鏡画像撮像処理の一例を示すフローチャート。 第１の実施形態に係る撮像素子の位置が初期状態のときの光学的距離についての説明図。 第１の実施形態に係る撮像素子を光軸方向（前方）へ移動させたときの光学的距離についての説明図。 第１の実施形態に係る撮像素子を光軸方向（後方）へ移動させたときの光学的距離についての説明図。 第１の実施形態に係る処理装置の機能構成の一例を示すブロック図。 第２の実施形態に係る光学的距離を変更する例を説明する図。 第３の実施形態に係る光学的距離を変更する例を説明する図。 第４の実施形態に係る光学的距離を変更する例を説明する図。 第５の実施形態に係る光学的距離が異なる観察像の画像を同時に複数枚撮像する例を説明する図。
　以下、図面を参照して、本発明の実施の形態について説明する。
　なお、以下の各実施形態の説明で用いる図面は、説明を分かりやすくするため、要部となる部分を主に記載し、他の記載を適宜省略している。また、便宜上、要部となる部分を拡大して示している場合があり、各構成要素の寸法比率などについては実際と同じであるとは限らない。また、各図において、共通する構成には同じ符号を付しており、その説明を省略する。
　［第１の実施形態］
　まず、本発明の第１の実施形態について説明する。
　（顕微鏡システムの構成）
　図１は、第１の実施形態に係る顕微鏡システム１の構成の一例を示す図である。図示する顕微鏡システム１は、顕微鏡本体である顕微鏡１０と、顕微鏡１０に装着される顕微鏡用カメラ２０と、顕微鏡用カメラ２０を制御する処理装置３０と、処理装置３０に付属するモニタ４０とを備えている。
　顕微鏡１０は、透過照明１１、試料ステージ１２、対物レンズ１３、折り曲げミラー１４、及び結像レンズ１５を備えている。透過照明１１は、試料ステージ１２に対して観察のための光を照射する。試料ステージ１２には、この顕微鏡１０で観察する観察対象となる試料が設置される。対物レンズ１３は、試料ステージ１２に設置された観察対象の像を拡大する。折り曲げミラー１４は、対物レンズ１３により拡大された観察対象の像の平行光を結像レンズ１５へ導く。対物レンズ１３から折り曲げミラー１４を介して導かれる平行光は、結像レンズ１５により結像される。以下の説明において、結像レンズ１５により結像される観察対象の像を観察像ともいう。なお、本図では、人が顕微鏡１０を観察するのではなく、顕微鏡用カメラ２０が装着されるため、結像レンズ１５の後段に接眼レンズは装着されていない。
　顕微鏡用カメラ２０は、顕微鏡１０に装着され、顕微鏡１０から入射される観察像を撮像する。図示する顕微鏡用カメラ２０は、顕微鏡１０の結像レンズ１５を介して観察像が入射される撮像素子２１を備えている。例えば、結像レンズ１５により観察像が撮像素子２１の撮像面に結像される。顕微鏡用カメラ２０は、撮像素子２１を用いて顕微鏡１０による観察像を撮像する。なお、本図において符号Ｋが示す一点鎖線は、対物レンズ１３、折り曲げミラー１４、及び結像レンズ１５を介して撮像素子２１に入射される光の光軸を示しており、他の図でも同様である。
　次に、図２を参照して、顕微鏡用カメラ２０の構成について詳しく説明する。図２は、第１の実施形態に係る顕微鏡用カメラ２０の構成の一例を示す詳細図である。顕微鏡用カメラ２０は、撮像素子２１と、撮像素子２１を用いて顕微鏡１０による観察像を撮像する撮像部２２と、結像レンズ１５から撮像素子２１までの光学的距離を変更可能な距離変更部２３とを備えている。
　距離変更部２３は、光軸方向に撮像素子２１を移動することにより結像レンズ１５から撮像素子２１までの光学的距離を変更する。ここで、光軸方向とは、結像レンズ１５を介して撮像素子２１に入射される光の光軸に沿った方向（即ち、結像レンズ１５から撮像素子２１への光軸方向）である。光軸方向は、結像レンズ１５に対して撮像素子２１が近づく方向と遠ざかる方向との両方向を含む。例えば、距離変更部２３は、リニアガイド２３１、ステージ部２３２、ボールねじ２３３、固定ブロック２３４、ステッピングモータ２３５を備えている。撮像素子２１は、リニアガイド２３１上のステージ部２３２に固定されており、矢印１００が示す方向（光軸方向）に並進可能である。リニアガイド２３１には固定ブロック２３４が連結されており、固定ブロック２３４にはステッピングモータ２３５が固定されている。さらに、固定ブロック２３４には図示しないベアリングにより、ボールねじ２３３が回転自在に支持されている。ボールねじ２３３は、ステッピングモータ２３５と図示しないカップリングにより連結されている。また、ステージ部２３２内部には図示しないボールナットが配置されており、ボールねじ２３３と螺合されている。これらの構成により、ステッピングモータ２３５を駆動させることによってボールねじ２３３が回転し、ステージ部２３２とともに撮像素子２１が矢印１００によって示される方向（光軸方向）へ並進する。また、撮像素子２１を用いて撮像する撮像部２２とステッピングモータ２３５とは、処理装置３０に接続されている。
　処理装置３０は、ユーザが利用するコンピュータ装置であり、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、スマートフォンやフィーチャーフォン等の携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等を適用できる。
　例えば、処理装置３０は、顕微鏡用カメラ２０の撮像部２２とステッピングモータ２３５とを制御することにより、光軸方向に撮像素子２１を移動させる。例えば、処理装置３０は、光軸方向に撮像素子２１を並進移動させて、結像レンズ１５から撮像素子２１までの光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を複数枚撮像させるよう、顕微鏡用カメラ２０を制御する。また、処理装置３０は、光学的距離が異なる複数枚の画像から、位相情報を回復（復元）した撮像画像（位相回復画像）を構築（生成）する。
　（顕微鏡画像撮像処理の動作）
　次に、図３～図６を参照して、処理装置３０が、顕微鏡用カメラ２０の撮像素子２１を光軸方向へ移動（並進移動）させることにより、光学的距離が異なる観察像の画像を複数枚撮像させ、位相回復画像を構築する顕微鏡画像撮像処理の動作について説明する。図３は、第１の実施形態に係る顕微鏡画像撮像処理の一例を示すフローチャートである。また、図４は、撮像素子２１の位置が初期状態のときの光学的距離についての説明図である。図５及び図６は、撮像素子２１を光軸方向へ移動させたときの光学的距離についての説明図である。
　ステップＳ１００：まず、透過照明１１からの光は試料ステージ１２に設置された試料を照明する。ここで試料を通過した光は、対物レンズ１３に入射し、折り曲げミラー１４によって向きを変えられて、結像レンズ１５によって顕微鏡用カメラ２０の撮像素子２１に入射する。これによって、撮像素子２１上に拡大像が結像される。初期状態では、撮像素子２１の位置は予め設定された位置にあり、ステージ７に試料が設置された場合に概ね試料が焦点面に来るように調節されている。ここで、観察者は撮像素子２１の画像を撮像しながら、顕微鏡１０の対物レンズ１３の位置を手動で移動させて焦点を合わせる。このとき、結像レンズ１５の主点から撮像素子２１までの距離はＦｔ０となり、対物レンズ１３の主点から焦点面１２０までの距離はＦo０となり、拡大倍率はＦｔ０／Ｆo０となる（図４参照）。
　ステップＳ１０２：そして、この初期状態で、処理装置３０は、顕微鏡用カメラ２０に、顕微鏡１０による観察像の画像を撮像させる。
　ステップＳ１０４：次に、処理装置３０は、図５に示すように、使用されている対物レンズ１３に応じて予め設定された所定量だけ初期状態から前方（矢印１０１の方向）となる位置へ撮像素子２１が並進移動するように、ステッピングモータ２３５を駆動する。この場合、結像レンズ１５の主点から撮像素子２１までの距離はＦｔ１となり、対物レンズ１３の主点から焦点面１２０ａまでの距離はＦo１となる。よって、拡大倍率はＦｔ１／Ｆo１となり、図４に示す初期状態の場合よりも若干拡大倍率は小さくなる。なお、このとき、観察像のコントラストを利用して顕微鏡用カメラ２０が備えるオートフォーカス機能を用いて、焦点を微調整してもよい。
　ステップＳ１０６：そして、この撮像素子２１が前方へ並進移動した状態で、処理装置３０は、顕微鏡用カメラ２０に、顕微鏡１０による観察像の画像を撮像させる。
　ステップＳ１０８：次に、処理装置３０は、図６に示すように、使用されている対物レンズ１３に応じて予め設定された所定量だけ初期状態から後方（矢印１０２の方向）となる位置へ撮像素子２１が並進移動するように、ステッピングモータ２３５を駆動する。この場合、結像レンズ１５の主点から撮像素子２１までの距離はＦｔ２となり、対物レンズ１３の主点から焦点面１２０ｂまでの距離はＦo２となる。よって、拡大倍率はＦｔ２／Ｆo２となり、図４に示す初期状態の場合よりも若干拡大倍率は大きくなる（図６参照）。なお、このとき、観察像のコントラストを利用して顕微鏡用カメラ２０が備えるオートフォーカス機能を用いて、焦点を微調整してもよい。
　ステップＳ１１０：そして、この撮像素子２１が後方へ並進移動した状態で、処理装置３０は、顕微鏡用カメラ２０に、顕微鏡１０による観察像の画像を撮像させる。
　ステップＳ１１２：次に、ステップＳ１０２、Ｓ１０６、Ｓ１１０において撮像された各画像のうち、ステップＳ１０６、Ｓ１１０で撮像された画像は、ステップＳ１０２で撮像された画像と倍率が若干異なる画像となっているため、処理装置３０は、それらの倍率補正を行う。例えば、処理装置３０は、ステップＳ１０６、Ｓ１１０で撮像された画像を拡大または縮小することで、ステップＳ１０２で撮像された画像と同じ倍率になるように補正する。具体的には、処理装置３０は、ステップＳ１０６で撮像された画像を、ステップＳ１０２で撮像された画像と同じ倍率になるように拡大する。また、処理装置３０は、ステップＳ１１０で撮像された画像を、ステップＳ１０２で撮像された画像と同じ倍率になるように縮小する。
　ステップＳ１１２：続いて、処理装置３０は、ステップＳ１０２、Ｓ１０６、Ｓ１１０において撮像された各画像に対して、先行技術文献に記載されているようなフーリエ変換処理や画像演算処理や逆フーリエ変換処理を行い、位相を回復（復元）した位相回復画像を構築する。そして、処理装置３０は、構築された位相回復画像を記憶装置に保存するとともに、モニタ４０に表示する。記憶装置は、処理装置３０に内蔵されてもよいし、ケーブル等で接続される外部装置であってもよい。また、記憶装置は、処理装置３０とインターネットを介して接続されるものであってもよい。
　なお、上記の処理例では、初期状態の焦点合わせを手動で行う例を紹介したが、これに限られない。例えば、処理装置３０は、ステッピングモータ２３５を駆動して、画像のコントラストが最大になる撮像素子２１の初期位置を求めてもよい。
　（処理装置３０の構成）
　次に、図７を参照して、処理装置３０の構成について説明する、図７は、第１の実施形態に係る処理装置３０の機能構成の一例を示すブロック図である。図示する処理装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３１、記憶部３２、入力部３３、表示出力部３４、及び通信部３５を備えている。これらの構成要素は、バス（Ｂｕｓ）を介して相互に通信可能に接続されている。ＣＰＵ３１は、記憶部３２に記憶された各種プログラムを実行し、処理装置３０の各部を制御する。
　記憶部３２は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ-Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ-Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含み、処理装置３０が処理する各種情報や画像、プログラム等を記憶する。なお、記憶部３２は、処理装置３０に内蔵されるものに限らず、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。
　入力部３３は、キーボードやマウス、タッチパッドや、音声により各種の指示が入力されるマイクロホンなどである。なお、入力部３３は、タッチパネルとしてモニタ４０のディスプレイと一体化されてもよい。
　表示出力部３４は、モニタ４０へ表示させる情報を出力する。通信部３５は、顕微鏡用カメラ２０と有線または無線で接続され、顕微鏡用カメラ２０と各種データの送信または受信が行われる。例えば、通信部３５は、顕微鏡用カメラ２０を制御する制御情報を送信したり、顕微鏡用カメラ２０で撮像された画像の画像データを受信したりする。また、処理装置３０は、不図示のスピーカや、音声出力端子などを含んでもよい。
　また、処理装置３０は、記憶部３２に記憶されている制御プログラム（顕微鏡用カメラ２０を制御するプログラム）をＣＰＵ３１が実行することにより実現される機能構成として、距離変更制御部３１１と、撮像制御部３１２と、倍率補正部３１３と、画像処理部３１４とを備えている。
　距離変更制御部３１１は、顕微鏡１０の結像レンズ１５から、結像レンズ１５を介して観察像が入射される撮像素子２１までの光学的距離を変更させる制御を行う。例えば、距離変更制御部３１１は、ステッピングモータ２３５を駆動して撮像素子２１を光軸方向へ移動（並進移動）させることにより、結像レンズ１５から撮像素子２１までの光学的距離を変更させる。
　撮像制御部３１２は、距離変更制御部３１１により上記光学的距離が変更されることに応じて、撮像部２２を制御して、上記光学的距離が異なる観察像の画像を複数枚撮像させる。
　倍率補正部３１３は、上記光学的距離が異なる観察像を撮像した複数枚の画像のうち少なくとも一部の撮像画像の倍率を補正する。例えば、倍率補正部３１３は、撮像素子２１を初期状態の位置より光軸方向の前方へ移動（並進移動）させて撮像した画像と、光軸方向の後方へ移動（並進移動）させて撮像した画像とを、初期状態の位置で撮像した画像と同じ倍率になるように、拡大または縮小する。具体的には、倍率補正部３１３は、撮像素子２１を初期状態の位置より光軸方向の前方へ移動（並進移動）させて撮像した画像を、初期状態の位置で撮像した画像と同じ倍率になるように拡大する。また、倍率補正部３１３は、光軸方向の後方へ移動（並進移動）させて撮像した画像を、初期状態の位置で撮像した画像と同じ倍率になるように縮小する。
　画像処理部３１４は、顕微鏡１０の結像レンズ１５から撮像素子２１までの光学的距離が異なる観察像を撮像した複数枚の画像（例えば、倍率補正部３１３による補正後の画像）から、画像処理によって位相情報を回復（復元）し、コントラストを増強した撮像画像（位相回復画像）を構築（生成）する。
　以上説明したように、本実施形態に係る顕微鏡システム１において、顕微鏡用カメラ２０は、顕微鏡１０に装着され、顕微鏡１０による観察像を撮像するカメラであって、顕微鏡１０の結像レンズ１５を介して観察像が入射される撮像素子２１と、結像レンズ１５から撮像素子２１までの光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を撮像素子２１を用いて複数枚撮像する撮像部２２と、を備えている。例えば、顕微鏡用カメラ２０は、結像レンズ１５から撮像素子２１までの光学的距離を変更可能な距離変更部２３、を備えており、撮像部２２は、距離変更部２３により光学的距離が変更されることに応じて、該光学的距離が異なる観察像の画像を撮像素子２１を用いて複数枚撮像する。具体的には、距離変更部２３は、結像レンズ１５から撮像素子２１への光軸方向（光軸に沿った両方向）に撮像素子２１を移動（並進移動）することにより、光学的距離を変更する。また、処理装置３０は、顕微鏡用カメラ２０の撮像部２２が撮像した複数枚の画像を用いて、観察像の位相情報を復元するとともに、前記観察像のコントラストを増強する画像処理部３１４を備えている。
　このように、顕微鏡用カメラ２０は、撮像素子２１を光軸方向に並進移動することにより、顕微鏡１０のステージ等を駆動しなくとも、汎用的な顕微鏡１０を用いて複数の焦点面の異なる観察像の画像（顕微鏡画像）を撮像可能となる。よって、本実施形態よれば、例えば安価な手動用顕微鏡に本顕微鏡用カメラ２０を装着するのみでよいため、従来より簡便な構成で焦点面の異なる観察像の画像（顕微鏡画像）から位相回復画像を構築することができる。また、従来の電動化された顕微鏡は一般的に高額であり、この電動顕微鏡を制御する信号を外部から送りつつ一方では撮像用のカメラを制御して顕微鏡画像を取り込むシステムを構成すると高額なシステムになるという問題があった。しかしながら、本実施形態では、簡便な構成で焦点面の異なる観察像の画像（顕微鏡画像）から位相回復画像を構築することができるため、安価なシステムとすることができる。
　また、顕微鏡用カメラ２０を制御する処理装置３０は、顕微鏡１０の結像レンズ１５から撮像素子２１までの光学的距離を変更させる制御を行う距離変更制御部３１１と、距離変更制御部３１１により光学的距離が変更されることに応じて、光学的距離が異なる観察像の画像を撮像素子２１を用いて複数枚撮像させる制御を行う撮像制御部３１２と、を備えている。例えば、距離変更制御部３１１は、結像レンズ１５から撮像素子２１への光軸方向（光軸に沿った両方向）に撮像素子２１を移動（並進移動）させる制御を行うことにより、光学的距離を変更する。
　このように、処理装置３０は、顕微鏡用カメラ２０の結像レンズ１５から撮像素子２１までの光学的距離を変更させることにより（例えば、撮像素子２１を光軸方向に並進移動させることにより）、顕微鏡１０のステージ等を駆動しなくとも、複数の焦点面の異なる観察像の画像（顕微鏡画像）を複数枚撮像させることができる。よって、本実施形態によれば、汎用的な顕微鏡１０を用いて、顕微鏡用カメラ２０のみを制御対象として、焦点面の異なる観察像の画像（顕微鏡画像）を取得できる。従って、本実施形態によれば、従来より簡便且つ安価な構成で焦点面の異なる観察像の画像（顕微鏡画像）から位相回復画像を構築することができる。
　また、処理装置３０は、顕微鏡１０の結像レンズ１５から撮像素子２１までの光学的距離が異なる観察像を撮像した複数枚の画像から、画像処理によって位相情報を復元し、コントラストを増強した撮像画像を構築する画像処理部３１４を備えている。
　これにより、処理装置３０は、従来より簡便且つ安価な構成で焦点面の異なる観察像の画像（顕微鏡画像）からコントラストを付けた位相回復画像を構築することができる。
　また、処理装置３０は、上記光学的距離が異なる観察像を撮像した複数枚の画像のうち少なくとも一部の撮像画像の倍率を補正する倍率補正部３１５を備えている。
　これにより、処理装置３０は、焦点面が異なることによって生じる撮像画像間の倍率変化による影響を抑制することができ、精細な画像が得られる。
　［第２の実施形態］
　次に、本発明の第２の実施形態について説明する。
　上記第１の実施形態では、結像レンズ１５から撮像素子２１までの光学的距離を変更する方法として光軸方向に撮像素子２１を移動（並進移動）させた。これに対し、第２の実施形態では、結像レンズ１５から撮像素子２１までの間に設けられた光学系を変更することで、結像レンズ１５から撮像素子２１までの光学的距離を変更する。
　図８は、第２の実施形態に係る、結像レンズ１５から撮像素子２１までの光学的距離を変更する例を説明する図である。図示する顕微鏡用カメラ２０Ａは、焦点距離を変えるための変倍光学素子２５ａ、２５ｂを含む光学系を、結像レンズ１５から撮像素子２１までの間に備えている点が、第１の実施形態の顕微鏡用カメラ２０と異なり、その他の構成は同様である。
　例えば、顕微鏡用カメラ２０Ａは、結像レンズ１５から撮像素子２１までの間に設けられた光学系（変倍光学素子２５ａ、２５ｂ）を移動させることにより、結像レンズ１５から撮像素子２１までの光学的距離を変更可能な距離変更部２３Ａを備えている。例えば、距離変更部２３Ａは、変倍光学素子２５ａ、２５ｂを光軸方向（図示する矢印１０３の方向）へ移動可能なように、各々に対応する不図示のステッピングモータやリニアガイド等を備えている。
　処理装置３０は、変倍光学素子２５ａ、２５ｂの各々に対応するステッピングモータを独立に駆動させることで、変倍光学素子２５ａ、２５ｂを光軸方向へ独立に移動させる。
例えば、処理装置３０は、変倍光学素子２５ａ、２５ｂの各々を光軸方向に任意の位置へ並進移動させることで、観察画像に対する焦点面を変更することができる。
　このように、本実施形態に係る顕微鏡用カメラ２０Ａは、結像レンズ１５から撮像素子２１までの間に光学系として設けられた光学レンズ（変倍光学素子２５ａ、２５ｂ）が光軸方向に移動可能（並進可能）であり、当該光学レンズを光軸方向に移動（並進移動）することにより、結像レンズ１５から撮像素子２１までの光学的距離を変更する。
　これにより、顕微鏡用カメラ２０Ａは、結像レンズ１５から撮像素子２１までの間の光学系（変倍光学素子２５ａ、２５ｂ）を光軸方向に並進移動することで、第１の実施形態と同様に、結像レンズ１５から撮像素子２１までの光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を撮像可能になる。よって、本実施形態よれば、例えば安価な手動用顕微鏡に本顕微鏡用カメラ２０Ａを装着するのみでよいため、従来より簡便且つ安価な構成で、焦点面の異なる観察像の画像（顕微鏡画像）から位相回復画像を構築することができる。
　［第３の実施形態］
　次に、本発明の第３の実施形態について説明する。
　本実施形態は、第２の実施形態と同様に、結像レンズ１５から撮像素子２１までの間に設けられた光学系を変更することで、結像レンズ１５から撮像素子２１までの光学的距離を変更するが、光学系の変更方法が異なる。
　図９は、第３の実施形態に係る、結像レンズ１５から撮像素子２１までの光学的距離を変更する例を説明する図である。図示する顕微鏡用カメラ２０Ｂは、焦点距離を変えるための変倍光学素子２６ａ、２６ｂを含む光学系を、結像レンズ１５から撮像素子２１までの間に備えているが、それらを光学系に対して挿脱することが可能な点が第２の実施形態の顕微鏡用カメラ２０Ａと異なる。光学系に対して挿脱するとは、結像レンズ１５を介して観察像が撮像素子２１入射される光の範囲（光軸を中心とした所定の範囲）に、変倍光学素子２６ａ、２６ｂを挿入したり、該光の範囲（光軸を中心とした所定の範囲）の外に変倍光学素子２６ａ、２６ｂを移動させたりすることである（図示する矢印１０４の方向へ移動）。結像レンズ１５から撮像素子２１までの光学的距離は、変倍光学素子２６ａを挿入したときと、変倍光学素子２６ｂを挿入したときと、両方とも外したときとでそれぞれ異なる。例えば、距離変更部２３Ｂは、変倍光学素子２６ａ、２６ｂを光学系に対して挿脱可能なように、各々に対応する不図示のアクチュエータやリニアガイド等を備えている。
　処理装置３０は、変倍光学素子２６ａ、２６ｂの各々に対応するアクチュエータを独立に駆動させることで、変倍光学素子２６ａ、２６ｂを光学系に対して挿脱させる。つまり、処理装置３０は、変倍光学素子２５ａ、２５ｂの各々を光学系に対して挿脱させることができ、観察画像に対する焦点面を変更することができる。
　このように、本実施形態に係る顕微鏡用カメラ２０Ｂは、結像レンズ１５から撮像素子２１までの間に光学系として設けられた変倍光学素子２６ａ、２６ｂ（光学レンズの一例）を光学系に対して挿脱することにより、結像レンズ１５から撮像素子２１までの光学的距離を変更する。
　これにより、顕微鏡用カメラ２０Ｂは、結像レンズ１５から撮像素子２１までの間の光学系（変倍光学素子２６ａ、２６ｂ）を光学系に対して挿脱させることで、第１、２の実施形態と同様に、結像レンズ１５から撮像素子２１までの光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を撮像可能になる。よって、本実施形態よれば、例えば安価な手動用顕微鏡に本顕微鏡用カメラ２０Ｂを装着するのみでよいため、従来より簡便且つ安価な構成で、焦点面の異なる観察像の画像（顕微鏡画像）から位相回復画像を構築することができる。
　［第４の実施形態］
　次に、本発明の第４の実施形態について説明する。
　本実施形態では、顕微鏡用カメラ自体が光軸方向に移動することで、結像レンズ１５から撮像素子２１までの光学的距離を変更する構成を説明する。
　図１０は、第４の実施形態に係る、結像レンズ１５から撮像素子２１までの光学的距離を変更する例を説明する図である。図示する顕微鏡用カメラ２０Ｃは、結像レンズ１５から撮像素子２１への光軸方向（光軸に沿った両方向）に移動可能（並進可能）に設けられている。例えば、処理装置３０は、顕微鏡用カメラ２０Ｃの本体を、不図示のアクチュエータを駆動することによって、結像レンズ１５に対して相対的に光軸方向（図示する矢印１０５の方向）へ移動（並進移動）させる。
　なお、顕微鏡用カメラ２０Ｃ本体を結像レンズ１５に対して相対的に光軸方向へ移動させるのに代えて、結像レンズ１５を顕微鏡用カメラ２０Ｃに対して相対的に光軸方向へ移動させることにより、結像レンズ１５から撮像素子２１までの光学的距離を変更してもよい。
　このように、本実施形態によれば、顕微鏡用カメラ２０Ｃの本体、または結像レンズ１５を光軸方向に相対的に並進移動することにより、結像レンズ１５から撮像素子２１までの光学的距離を変化させる。
　これにより、顕微鏡用カメラ２０Ｃは、第１～３の実施形態と同様に、結像レンズ１５から撮像素子２１までの光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を撮像可能になる。よって、本実施形態よれば、例えば安価な手動用顕微鏡に本顕微鏡用カメラ２０Ｃを装着するのみでよいため、従来より簡便且つ安価な構成で、焦点面の異なる観察像の画像（顕微鏡画像）から位相回復画像を構築することができる。
　［第５の実施形態］
　次に、本発明の第５の実施形態について説明する。
　第１から４の実施形態では、結像レンズ１５から撮像素子２１までの光学的距離を変更しながら、光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を複数枚撮像する例について説明した。これに対し、本実施形態では、光学的距離が異なる観察像の画像を複数の撮像素子２１を用いて同時に撮像する例について説明する。
　図１１は、第５の実施形態に係る、光学的距離が異なる観察像の画像を同時に複数枚撮像する例を説明する図である。図示する顕微鏡用カメラ２０Ｄは、３枚の撮像素子２１ａ、２１ｂ、２１ｃと、ビームスプリッタ２７ａ、２７ｂを備えており。ビームスプリッタ２７ａ、２７ｂによって子光路が分岐される。ビームスプリッタ２７ａ、２７ｂは、例えば、ペリクルビームスプリッタであり、薄いセルロース膜などで構成され、通常の厚みを有する光学素子で生じるゴースト像を生じない特徴がある。
　ビームスプリッタ２７ａ、２７ｂは、結像レンズ１５から撮像素子２１ａへの光軸上に、ビームスプリッタ２７ａ、２７ｂの順に設置されている。ビームスプリッタ２７ａは、図１１において上方（撮像素子２１ｃが設置されている方向）へ結像レンズ１５から入射される光の１／３を反射させ、残りの光を左方（ビームスプリッタ２７ｂ及び撮像素子２１ａが設置されている方向）に透過させる。ビームスプリッタ２７ｂは、ビームスプリッタ２７ａと撮像素子２１ａとの間に設置されており、ビームスプリッタ２７ａを透過した光の５０％を上方（撮像素子２１ｂが設置されている方向）へ反射させ、残り５０％の光を左方（撮像素子２１ａが設置されている方向）に透過させる。
　また、撮像素子２１ｃは撮像素子２１ａよりも結像レンズ１５に対して遠位に配置され、撮像素子２１ｂは撮像素子２１ａよりも結像レンズ１５に対して近位に配置されている。つまり、本実施形態では、結像レンズ１５から撮像素子２１までの光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を、３枚の撮像素子２１ａ、２１ｂ、２１ｃを用いて同時に撮像可能である。
　このように、本実施形態に係る顕微鏡用カメラ２０Ｄは、結像レンズ１５を介して観察像が入射される複数の撮像素子２１ａ、２１ｂ、２１ｃを備えている。また、顕微鏡用カメラ２０Ｄは、観察像を、複数の撮像素子２１ａ、２１ｂ、２１ｃに入射させる複数のビームスプリッタ２７aおよび２７ｂを備える。この複数の撮像素子２１ａ、２１ｂ、２１ｃは、結像レンズ１５から撮像素子２１までの光学的距離が異なるように設けられている。そして、顕微鏡用カメラ２０Ｄの撮像部２２は、光学的距離が異なる観察像の画像を複数の撮像素子２１ａ、２１ｂ、２１ｃを用いて同時に撮像する。
　これにより、本実施形態では、第１～４の実施形態のように光学的距離を変更しながら時系列に撮像しなくとも、光学的距離が異なる（即ち、焦点面が異なる）観察像の画像を同時に撮像できるというメリットがある。例えば、本実施形態では、撮像に係る時間を短縮できる。また、本実施形態では、撮像素子や光学系、或いは顕微鏡用カメラ本体等を移動させる構成が不要であるため、簡易な構成とすることができ、故障や精度管理の負荷も低減できる。
　［変形例］
　なお、上記実施形態では、処理装置３０が、光学的距離が異なる（即ち、焦点面が異なる）観察像の画像から位相情報を復元した位相回復画像を構築する例を説明したが、この処理を顕微鏡用カメラ２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ（例えば、撮像部２２）が行ってもよい。この場合、顕微鏡用カメラ２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ（例えば、撮像部２２）は、上記位相回復画像を構築することにより、観察像の画像のコントラストを増強することができる。
　また、顕微鏡用カメラ２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄは、顕微鏡１０と一体となった位相差顕微鏡として構成されてもよい。この位相差顕微鏡は、例えば、観察対象が設置される試料ステージ１２と、対物レンズ１３と、対物レンズ１３を介して入射される観察対象の像を結像する結像レンズ１５と、結像レンズ１５により結像された観察像が入射される撮像素子２１と、結像レンズ１５から撮像素子２１までの光学的距離が異なる複数の観察像の画像を撮像素子２１を用いて撮像する撮像部２２とを少なくとも備えている。上記光学的距離が異なる複数の観察像の画像を撮像する手段としては、第１～５の実施形態のいずれも適用できる。
　なお、上述した実施形態における処理装置３０が備える各部の一部または全部の機能をコンピュータで実現するようにしてもよい。その場合、上述の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって上述の機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、処理装置３０に内蔵されたコンピュータシステムであってＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　また、上述した実施形態における処理装置３０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。処理装置３０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　本明細書において「前、後ろ、上、下、右、左、垂直、水平、縦、横、行および列」などの方向を示す言葉は、本発明の装置におけるこれらの方向について言及する。従って、本発明の明細書におけるこれらの言葉は、本発明の装置において相対的に解釈されるべきである。
　「構成される」という言葉は、本発明の機能を実行するために構成され、または装置の構成、要素、部分を示すために使われる。
　さらに、クレームにおいて「ミーンズ・プラス・ファンクション」として表現されている言葉は、本発明に含まれる機能を実行するために利用することができるあらゆる構造を含むべきものである。
　「ユニット」という言葉は、構成要素、ユニット、ハードウェアや所望の機能を実行するためにプログラミングされたソフトウェアの一部分を示すために用いられる。ハードウェアの典型例はデバイスや回路であるが、これらに限られない。
　以上、本発明の好ましい実施例を説明したが、本発明はこれら実施例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
　１　顕微鏡システム、１０　顕微鏡、２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ　顕微鏡用カメラ、１１　透過照明、１２　試料ステージ、１３　対物レンズ、１４　折り曲げミラー、１５　結像レンズ、２１　撮像素子、２２　撮像部、２３，２３Ａ，２３Ｂ　距離変更部、３０　処理装置、３１　ＣＰＵ、３２　記憶部、３３　入力部、３４　表示出力部、４０　モニタ、２３１　リニアガイド、２３２　ステージ部、２３３　ボールねじ、２３４　固定ブロック、２３５　ステッピングモータ、３１１　距離変更制御部、３１２　撮像制御部、３１３　倍率補正部、３１４　画像処理部

Claims (20)

  1. 　顕微鏡に装着され、前記顕微鏡による観察像を撮像する顕微鏡用カメラを備える顕微鏡システムであって、
    　前記顕微鏡の結像レンズを介して前記観察像が入射される撮像素子と、
    　前記結像レンズから前記撮像素子までの光学的距離が異なる前記観察像の画像であって前記顕微鏡の焦点面が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する撮像部と、
    　前記撮像部が撮像した前記複数枚の画像を用いて前記観察像の位相情報を復元するとともに、前記観察像のコントラストを増強する画像処理部と、
    　を備える顕微鏡システム。
  2. 　前記結像レンズから前記撮像素子までの光学的距離を変更可能な距離変更部、を備え、
    　前記撮像部は、
    　前記距離変更部により前記光学的距離が変更されることに応じて、前記光学的距離が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する、
    　請求項１に記載の顕微鏡システム。
  3. 　前記距離変更部は、
    　前記結像レンズから前記撮像素子への光軸方向に前記撮像素子を移動することにより、前記光学的距離を変更する、
    　請求項２に記載の顕微鏡システム。
  4. 　前記距離変更部は、前記結像レンズから前記撮像素子までの間に設けられた光学系を変更することにより、前記光学的距離を変更する、
    　請求項２に記載の顕微鏡システム。
  5. 　前記距離変更部は、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズが光軸方向に移動可能であり、当該光学レンズを前記光軸方向に移動することにより、前記光学的距離を変更する、
    　請求項４に記載の顕微鏡システム。
  6. 　前記距離変更部は、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズを前記光学系に対して挿脱することにより、前記光学的距離を変更する、
    　請求項４に記載の顕微鏡システム。
  7. 　前記顕微鏡用カメラは、前記結像レンズから前記撮像素子への光軸方向に移動可能に設けられており、
    　前記距離変更部は、前記顕微鏡用カメラまたは前記結像レンズを前記光軸方向に相対的に移動することにより、前記光学的距離を変更する、
    　請求項２に記載の顕微鏡システム。
  8. 　前記結像レンズを介して前記観察像が入射される複数の前記撮像素子を備え、
    　複数の前記撮像素子は、前記光学的距離が異なるように設けられており、
    　前記撮像部は、前記光学的距離が異なる前記観察像の画像を複数の前記撮像素子を用いて同時に撮像する、
    　請求項１に記載の顕微鏡システム。
  9. 　前記観察像を、複数の前記撮像素子に入射させる少なくとも一つのビームスプリッタを備える
    　請求項８に記載の顕微鏡システム。
  10. 　観察対象が設置されるステージと、
    　対物レンズと、
    　前記対物レンズを介して入射される前記観察対象の像を結像する結像レンズと、
    　前記結像レンズにより結像された観察像が入射される撮像素子と、
    　前記結像レンズから前記撮像素子までの光学的距離が異なる複数の前記観察像の画像であって焦点面が異なる前記観察像の画像を前記撮像素子を用いて撮像する撮像部と、
    　前記撮像部が撮像した前記複数枚の画像を用いて前記観察像の位相情報を復元するとともに、前記観察像のコントラストを増強する画像処理部と、
    　を備える顕微鏡。
  11. 　顕微鏡に装着され、前記顕微鏡による観察像を撮像する顕微鏡用カメラを制御する処理装置であって、
    　前記顕微鏡の結像レンズから、前記結像レンズを介して観察像が入射される撮像素子までの光学的距離を変更させる制御を行う距離変更制御部と、
    　前記距離変更制御部により前記光学的距離が変更されることに応じて、前記光学的距離が異なる前記観察像の画像であって前記顕微鏡の焦点面が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像させる制御を行う撮像制御部と、
    　前記撮像制御部の制御によって撮像された前記複数枚の画像を用いて前記観察像の位相情報を復元するとともに、前記観察像のコントラストを増強する画像処理部と、
    　を備える処理装置。
  12. 　前記光学的距離が異なる前記観察像を撮像した複数枚の画像のうち少なくとも一部の撮像画像の倍率を補正する倍率補正部、
    　を備える請求項１１に記載の処理装置。
  13. 　顕微鏡に装着され、前記顕微鏡による観察像を撮像する顕微鏡用カメラであって、
    　前記顕微鏡の結像レンズを介して前記観察像が入射される撮像素子と、
    　前記結像レンズから前記撮像素子までの光学的距離が異なる前記観察像の画像であって前記顕微鏡の焦点面が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する撮像部と、
    　を備える顕微鏡用カメラ。
  14. 　前記結像レンズから前記撮像素子までの光学的距離を変更可能な距離変更部、を備え、
    　前記撮像部は、
    　前記距離変更部により前記光学的距離が変更されることに応じて、前記光学的距離が異なる前記観察像の画像を前記撮像素子を用いて複数枚撮像する、
    　請求項１３に記載の顕微鏡用カメラ。
  15. 　前記距離変更部は、
    　前記結像レンズから前記撮像素子への光軸方向に前記撮像素子を移動することにより、前記光学的距離を変更する、
    　請求項１４に記載の顕微鏡用カメラ。
  16. 　前記距離変更部は、前記結像レンズから前記撮像素子までの間に設けられた光学系を変更することにより、前記光学的距離を変更する、
    　請求項１４に記載の顕微鏡用カメラ。
  17. 　前記距離変更部は、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズが光軸方向に移動可能であり、当該光学レンズを前記光軸方向に移動することにより、前記光学的距離を変更する、
    　請求項１６に記載の顕微鏡用カメラ。
  18. 　前記距離変更部は、前記結像レンズから前記撮像素子までの間に前記光学系として設けられた光学レンズを前記光学系に対して挿脱することにより、前記光学的距離を変更する、
    　請求項１６に記載の顕微鏡用カメラ。
  19. 　前記顕微鏡用カメラは、前記結像レンズから前記撮像素子への光軸方向に移動可能に設けられており、
    　前記距離変更部は、前記顕微鏡用カメラまたは前記結像レンズを前記光軸方向に相対的に移動することにより、前記光学的距離を変更する、
    　請求項１４に記載の顕微鏡用カメラ。
  20. 　前記結像レンズを介して前記観察像が入射される複数の前記撮像素子を備え、
    　複数の前記撮像素子は、前記光学的距離が異なるように設けられており、
    　前記撮像部は、前記光学的距離が異なる前記観察像の画像を複数の前記撮像素子を用いて同時に撮像する、
    　請求項１３に記載の顕微鏡用カメラ。
PCT/JP2018/012893 2017-04-13 2018-03-28 顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラ Ceased WO2018190132A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880023673.5A CN110494787A (zh) 2017-04-13 2018-03-28 显微镜系统、显微镜、处理装置以及显微镜用照相机
EP18783910.5A EP3611551A1 (en) 2017-04-13 2018-03-28 Microscope system, microscope, processing device, and camera for microscopes
US16/604,150 US20200116990A1 (en) 2017-04-13 2018-03-28 Microscope system, microscope, processing device, and camera for microscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-079985 2017-04-13
JP2017079985A JP2018180296A (ja) 2017-04-13 2017-04-13 顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラ

Publications (1)

Publication Number Publication Date
WO2018190132A1 true WO2018190132A1 (ja) 2018-10-18

Family

ID=63792686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012893 Ceased WO2018190132A1 (ja) 2017-04-13 2018-03-28 顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラ

Country Status (5)

Country Link
US (1) US20200116990A1 (ja)
EP (1) EP3611551A1 (ja)
JP (1) JP2018180296A (ja)
CN (1) CN110494787A (ja)
WO (1) WO2018190132A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
JP7227604B2 (ja) * 2019-03-20 2023-02-22 株式会社日立ハイテクサイエンス 三次元形状測定方法および三次元形状測定装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075370A (ja) * 1993-06-14 1995-01-10 Nikon Corp 多数面同時測定顕微鏡装置
JPH07333511A (ja) * 1994-06-08 1995-12-22 Nikon Corp 顕微鏡
JPH0829668A (ja) 1994-07-18 1996-02-02 Olympus Optical Co Ltd 光学素子移動装置
US20020044346A1 (en) * 2000-01-21 2002-04-18 Nguyen Lam K. Multiparallel three dimensional optical microscopy system
US6433325B1 (en) * 1999-08-07 2002-08-13 Institute Of Microelectronics Apparatus and method for image enhancement
JP2002529689A (ja) 1998-11-02 2002-09-10 ザ ユニバーシティ オブ メルボルン 放射波動場の位相決定
JP2003078802A (ja) 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> 撮像装置
JP2008102294A (ja) * 2006-10-18 2008-05-01 Olympus Corp 位相物体の可視化方法とその顕微鏡システム
WO2008069220A1 (ja) * 2006-11-30 2008-06-12 Nikon Corporation 結像装置及び顕微鏡
JP2011007872A (ja) * 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
JP2013084152A (ja) * 2011-10-11 2013-05-09 Acutelogic Corp 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム
JP2016180675A (ja) * 2015-03-24 2016-10-13 オリンパス株式会社 光検出機構、アライメント機構、観測システム、及び観測方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981261B (zh) * 2012-11-30 2015-03-11 山东大学 一种激光相干衍射显微成像装置及应用
JP6010450B2 (ja) * 2012-12-20 2016-10-19 浜松ホトニクス株式会社 光観察装置及び光観察方法
JP5376076B1 (ja) * 2013-01-22 2013-12-25 株式会社高岳製作所 共焦点スキャナおよびそれを用いた光学的計測装置
CN104089573B (zh) * 2014-07-03 2017-03-15 佛山市南海区欧谱曼迪科技有限责任公司 基于正交偏振光的多通道白光共路干涉显微层析系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075370A (ja) * 1993-06-14 1995-01-10 Nikon Corp 多数面同時測定顕微鏡装置
JPH07333511A (ja) * 1994-06-08 1995-12-22 Nikon Corp 顕微鏡
JPH0829668A (ja) 1994-07-18 1996-02-02 Olympus Optical Co Ltd 光学素子移動装置
JP2002529689A (ja) 1998-11-02 2002-09-10 ザ ユニバーシティ オブ メルボルン 放射波動場の位相決定
US6433325B1 (en) * 1999-08-07 2002-08-13 Institute Of Microelectronics Apparatus and method for image enhancement
US20020044346A1 (en) * 2000-01-21 2002-04-18 Nguyen Lam K. Multiparallel three dimensional optical microscopy system
JP2003078802A (ja) 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> 撮像装置
JP2008102294A (ja) * 2006-10-18 2008-05-01 Olympus Corp 位相物体の可視化方法とその顕微鏡システム
WO2008069220A1 (ja) * 2006-11-30 2008-06-12 Nikon Corporation 結像装置及び顕微鏡
JP2011007872A (ja) * 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
JP2013084152A (ja) * 2011-10-11 2013-05-09 Acutelogic Corp 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム
JP2016180675A (ja) * 2015-03-24 2016-10-13 オリンパス株式会社 光検出機構、アライメント機構、観測システム、及び観測方法

Also Published As

Publication number Publication date
EP3611551A1 (en) 2020-02-19
CN110494787A (zh) 2019-11-22
JP2018180296A (ja) 2018-11-15
US20200116990A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
JP5755188B2 (ja) 撮像装置およびレンズ装置
CN108377342B (zh) 双摄像头拍照方法、装置、存储介质及终端
US11988851B2 (en) Lens system with optical actuator
JP2013246313A (ja) カメラおよび携帯端末装置
WO2017019795A1 (en) Imaging assemblies with rapid sample auto-focusing
JP2012095186A (ja) 電子機器
JP5771218B2 (ja) ２位置ズームフォーカスを提供するためのシステム
JP2012065257A (ja) 顕微鏡用撮像装置
JP2016024489A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2009145645A (ja) 光学機器
JP6300606B2 (ja) 顕微鏡システム
JP6061619B2 (ja) 顕微鏡システム
WO2014041820A1 (ja) 顕微鏡
JP2018046535A (ja) 撮像装置
JP5875813B2 (ja) 顕微鏡システム
WO2018190132A1 (ja) 顕微鏡システム、顕微鏡、処理装置、及び顕微鏡用カメラ
JP2010169968A (ja) 顕微鏡システム及び該制御方法
JP2007286613A (ja) 内視鏡装置
JP6188407B2 (ja) 交換レンズ
JP2018148383A (ja) 撮像装置および撮像ユニット
JP2009239460A (ja) 焦点制御方法、測距装置、撮像装置
EP3443400A1 (en) Variable working distance microscope
JP2005266718A (ja) 顕微鏡画像撮影システム
JP2019204027A (ja) 顕微鏡用光学システム及び処理装置
JP7699586B2 (ja) デジタル顕微鏡を用いて合成画像を提供する方法、デジタル顕微鏡システム、およびデジタル顕微鏡を用いて合成画像を提供するプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18783910

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018783910

Country of ref document: EP

Effective date: 20191113