JP2022516038A - 顕微鏡画像の圧縮された入手 - Google Patents
顕微鏡画像の圧縮された入手 Download PDFInfo
- Publication number
- JP2022516038A JP2022516038A JP2021536395A JP2021536395A JP2022516038A JP 2022516038 A JP2022516038 A JP 2022516038A JP 2021536395 A JP2021536395 A JP 2021536395A JP 2021536395 A JP2021536395 A JP 2021536395A JP 2022516038 A JP2022516038 A JP 2022516038A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wavelength
- sample
- spatial frequency
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/251—Colorimeters; Construction thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18124—Extraction of features or characteristics of the image related to illumination properties, e.g. according to a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Abstract
Description
本願は、その開示が、本明細書に参照することによってその全体として組み込まれる、2018年12月21日に出願された米国仮特許出願第62/783,527号の第35 U.S.C. § 119(e)条に基づく利益を主張する。
算出撮像では、物体の高分解能の算出的に再構築された画像が、様々な照明を用いて撮影された一連の低分解能画像から生成され得る。本アプローチは、より低い分解能を伴う撮像システムからサンプルの高分解能の算出的に再構築された画像を提供する利益を有する。算出撮像は、低分解能画像から高分解能の算出的に再構築された色画像を発生させるために使用されることができる。しかしながら、複数の低分解能画像を収集し、収集された情報から高分解能画像を算出的に生成するために要求される時間のため、算出撮像と関連付けられるオーバーヘッドは、理想的ではない。低分解能画像の数は、典型的には、出力される高分解能画像の品質および分解能を判定し得るため、少なくともいくつかの事例では、出力画像を実質的に劣化させることなくオーバーヘッドを低減させることは、困難であり得る。複数の視野を要求する用途に関して、オーバーヘッドは、特に有意であり得る。
下記により詳細に説明されるであろうように、本開示は、第1の波長に関する照明条件の第1のセットを使用して、サンプルの第1の画像データセットを入手し、第2の波長に関する照明条件の第2のセットを使用して、サンプルの第2の画像データセットを入手することによる、顕微鏡画像の圧縮された入手のための種々のシステムおよび方法を説明する。照明条件の第1のセットは、照明条件の第2のセットを上回る数の照明条件を含んでもよい。第1および第2の画像データセットは、サンプルの算出的に再構築された画像に組み合わせられてもよい。照明条件の第2のセットは、照明条件の第1のセットよりも少ないため、本アプローチは、従来のアプローチと比較すると、入手時間、再構築時間、記憶要件、および他の費用を減少させ得る。加えて、第1の波長は、第2の波長の画像よりも多くの情報を含有する画像を生成するように選択され得るため、結果として生じる再構築された画像は、従来のアプローチから再構築された画像よりも有意に少ない情報を含有し得ない。
本明細書に参照および識別される全ての特許、出願、ならびに刊行物は、参照することによってそれらの全体として本明細書に組み込まれ、本願の他の場所で参照されたとしても、参照することによって完全に組み込まれると見なされるものとする。
以下の発明を実施するための形態は、本明細書に開示される実施形態による、本開示に説明される本発明の特徴および利点のより深い理解を提供する。発明を実施するための形態は、多くの具体的実施形態を含むが、これらは、実施例としてのみ提供され、本明細書に開示される本発明の範囲を限定するものとして解釈されるべきではない。
Claims (59)
- 算出的に再構築された画像を発生させるための方法であって、
画像センサを用いて、それぞれが第1の波長を備える、第1の数の照明条件を備える照明条件の第1のセットを使用して照明されたサンプルから第1の画像データセットを入手することと、
前記画像センサを用いて、それぞれが第2の波長を備える、第2の数の照明条件を備える照明条件の第2のセットを使用して照明された前記サンプルから第2の画像データセットを入手することであって、前記第1の数は、前記第2の数よりも大きい、ことと、
前記第1の画像データセットおよび前記第2の画像データセットを前記サンプルの算出的に再構築された画像に組み合わせることと
を含む、方法。 - 前記算出的に再構築された画像は、前記第1の波長に対応する第1の空間周波数帯域幅と、前記第2の波長に対応する第2の空間周波数帯域幅とを備え、前記第1の空間周波数帯域幅は、前記第2の空間周波数帯域幅を上回る、請求項1に記載の方法。
- 前記第1の空間周波数帯域幅は、前記第1の波長における前記照明条件の第1のセットを用いて前記画像センサによって入手された1つ以上の画像の空間周波数帯域幅を上回る、請求項2に記載の方法。
- 前記第2の空間周波数帯域幅は、前記第2の波長における前記照明条件の第2のセットを用いて前記画像センサによって入手された1つ以上の画像の空間周波数帯域幅を上回る、請求項2に記載の方法。
- 前記算出的に再構築された画像は、少なくとも部分的に、前記第1の波長からの前記第1の画像データセットに基づいて、前記第2の波長に関する増加されたコントラストまたは収差補正のうちの1つ以上を備える、請求項2に記載の方法。
- 前記再構築された画像を、前記第1の波長に対応する第1の空間周波数帯域幅および第1のユーザ知覚可能な色と前記第2の波長に対応する第2の空間周波数帯域幅および第2のユーザ知覚可能な色とを用いてディスプレイ上に提供することをさらに含み、前記第1の空間周波数帯域幅は、前記第2の空間周波数帯域幅と前記第1の波長における前記照明条件の第1のセットを用いて前記画像センサによって入手された1つ以上の画像の空間周波数帯域幅とを上回る、請求項1に記載の方法。
- 前記第1の数は、前記第2の数よりも少なくとも2倍大きく、前記第2の画像データセットと関連付けられる第2の入手時間は、前記第1の画像データセットと関連付けられる第1の入手時間の半分以下であり、前記算出的に再構築された画像の空間周波数帯域幅は、前記照明条件の第1のセットを用いて入手された複数の画像のそれぞれの空間周波数帯域幅を少なくとも1.5倍上回る、請求項1に記載の方法。
- 前記第1の画像データセットは、前記サンプルの複数の画像を備え、前記第2の画像データセットは、前記サンプルの1つ以上の画像を備え、前記第2の画像データセットは、前記第1の画像データセットよりも少ない前記サンプルの画像を備える、請求項1に記載の方法。
- 前記算出的に再構築された画像は、増加された空間周波数帯域幅、光学収差に関する補正、または画像コントラストの増加のうちの1つ以上を備える、請求項1に記載の方法。
- 前記第1の画像データセットは、空間周波数空間に変換され、前記照明条件の第1のセットに基づいて前記空間周波数空間内の空間周波数にマッピングされ、前記照明条件の第1のセットを用いて入手された複数の画像のそれぞれの第1の空間周波数帯域幅と比べて、前記算出的に再構築された画像の前記増加された空間周波数帯域幅を提供する、請求項9に記載の方法。
- 前記画像センサは、ある空間周波数帯域幅を備え、前記算出的に再構築された画像の前記増加された空間周波数帯域幅は、前記画像センサの空間周波数帯域幅を前記画像センサ上への前記サンプルの画像の倍率で除算したものを上回る、請求項9に記載の方法。
- 前記第1の画像データセットは、それぞれが第1の空間周波数帯域幅を備える、第1の複数の画像を備え、前記算出的に再構築された画像の前記増加された空間周波数帯域幅は、前記第1の複数の画像の前記それぞれの第1の空間周波数帯域幅を上回る、請求項9に記載の方法。
- 前記第1の複数の画像は、前記第1の複数の画像の前記それぞれの第1の空間周波数帯域幅を用いて分解されない前記サンプルの特徴を備え、前記算出的に再構築された画像は、前記算出的に再構築された画像の前記増加された空間周波数帯域幅を用いて分解される前記サンプルの特徴を備える、請求項12に記載の方法。
- 前記光学収差の補正は、前記算出的に再構築された画像上の光学収差の効果を減少させるように、サンプル情報から収差情報を分離することによって提供され、随意に、前記収差情報は、前記画像センサ上に前記サンプルを撮像するために使用される光学系と関連付けられる収差空間周波数および位相を備え、随意に、前記サンプル情報は、前記サンプルの構造と関連付けられるサンプル空間周波数および位相を備える、請求項9に記載の方法。
- 前記算出的に再構築された画像の前記増加された画像コントラストは、前記サンプルをより良好に表すために、前記再構築された画像の高空間周波数を算出的に増幅することによって提供される、請求項9に記載の方法。
- 前記算出的に再構築された画像は、前記増加されたコントラストを備え、前記増加されたコントラストは、前記第1の画像データセットの複数の画像のそれぞれの高空間周波数と低空間周波数との比率と比べて、前記算出的に再構築された画像における高空間周波数と低空間周波数との増加された比率を備える、請求項9に記載の方法。
- 前記第1の画像データセットおよび前記第2の画像データセットは、前記第1の画像データセットから第1の算出的に再構築された画像を発生させ、前記第2のデータセットから第2の算出的に再構築された画像を発生させるために、別個に処理され、前記第1の算出的に再構築された画像は、前記算出的に再構築された画像を発生させるために、前記第2の算出的に再構築された画像と組み合わせられる、請求項1に記載の方法。
- 前記第1の画像データセットは、第1の複数の画像を備え、前記第2の画像データセットは、1つ以上の画像を備え、前記第1の複数の画像および前記1つ以上の画像は、前記算出的に再構築された画像を発生させるために、ともに処理される、請求項1に記載の方法。
- 前記1つ以上の画像は、前記照明条件の第2のセットを用いて入手された単一の画像を備える、請求項18に記載の方法。
- 前記1つ以上の画像は、第2の複数の画像を備える、請求項18に記載の方法。
- 前記算出的に再構築された画像は、色画像を備え、前記色画像は、赤色チャネル、緑色チャネル、または青色チャネルのうちの2つ以上を備える、請求項1に記載の方法。
- 前記第1の波長は、前記赤色チャネル、前記緑色チャネル、または前記青色チャネルのうちの1つに対応し、前記第2の波長は、前記赤色チャネル、前記青色チャネル、または前記緑色チャネルのうちの別のものに対応する、請求項21に記載の方法。
- 前記再構築された画像は、前記第1の波長に対応する第1の色チャネルに関する第1の空間周波数帯域幅を用いて、かつ前記第2の波長に対応する第2の色チャネルに関する第2の空間周波数帯域幅を用いて前記ディスプレイ上に示され、前記第1の空間周波数帯域幅は、前記第2の空間周波数帯域幅を上回る、請求項22に記載の方法。
- 前記第1の波長は、緑色光を備え、前記第1のチャネルは、前記緑色チャネルを備え、前記第2の波長は、赤色光または青色光を備え、前記第2の色チャネルは、前記赤色チャネルまたは前記青色チャネルを備え、前記緑色チャネルは、前記第1の空間周波数帯域幅を用いて前記ディスプレイ上に示され、前記赤色チャネルまたは前記青色チャネルは、前記第2の空間周波数帯域幅を用いて前記ディスプレイ上に示される、請求項23に記載の方法。
- 前記算出的に再構築された画像は、前記赤色チャネルと、前記緑色チャネルと、前記青色チャネルとを備え、前記第2の波長は、前記赤色チャネルに対応する赤色光を備え、第3の波長は、第3のチャネルに対応する青色光を備え、前記第3のチャネルは、前記第1の空間周波数帯域幅を下回る第3の空間周波数帯域幅を用いて前記ディスプレイ上に示される、請求項24に記載の方法。
- 前記画像センサは、ピクセルの2次元アレイを備えるセンサを備え、前記第1の画像データセットの第1の色は、前記第1の波長に対応し、前記第2の画像データセットの第2の色は、前記第2の波長に対応し、前記算出的に再構築された画像は、前記第1の波長および前記第2の波長に基づいて、前記赤色チャネル、前記緑色チャネル、および前記青色チャネルにマッピングされる、請求項21に記載の方法。
- 前記画像センサは、前記ピクセルの2次元アレイを備えるグレースケール画像センサを備える、請求項26に記載の方法。
- 前記画像センサは、ピクセルの2次元アレイを備える色画像センサと、前記2次元アレイにわたって配列された複数の色フィルタを備える色フィルタアレイとを備える、請求項26に記載の方法。
- 前記第1の画像データセットは、前記第1の波長と前記第1の波長における前記色フィルタの第1の吸収特性とに基づいて判定され、前記第2の画像データセットは、前記第2の波長と前記第2の波長における第2の吸収特性とに基づいて判定される、請求項28に記載の方法。
- 前記第1の画像データセットおよび前記第2の画像データセットは、前記算出的に再構築された画像を発生させるために、前記第1の波長における前記色フィルタの第1の吸収特性および前記第2の波長における前記色フィルタの第2の吸収特性に従って組み合わせられる、請求項28に記載の方法。
- 前記第1の波長は、前記第2の波長と異なり、第1の画像データセットの一部および前記第2の画像データセットの一部は、前記サンプルが、前記照明条件の第2のセットのうちの1つ以上を用いて照明されるとき、前記サンプルを照明する前記照明条件のセットのうちの1つ以上を用いて実質的に同時に入手される、請求項28に記載の方法。
- 前記第1の波長は、前記第2の波長と異なる、請求項1に記載の方法。
- 前記第1の波長は、第1の色を備え、前記第2の波長は、前記第1の色と異なる第2の色を備える、請求項32に記載の方法。
- 前記第1の波長は、波長の第1の分布を放出する第1の照明源の第1のピークを備え、前記波長の第1の分布は、第1の全幅半値を備え、前記第2の波長は、波長の第2の分布の第2のピークを備え、前記波長の第2の分布は、第2の全幅半値を備え、前記第1の全幅半値は、前記第2の全幅半値と重複しない、請求項32に記載の方法。
- 前記第1の波長は、以下の範囲のうちの1つの中にあり、前記第2の波長は、以下の範囲のうちの異なるものの中にあり、すなわち、約200~約380ナノメートル(nm)の紫外範囲、約380~約450nmの紫色範囲、約450~約485nmの青色範囲、約485~500nmのシアン色範囲、約500~565nmの緑色範囲、約565~約590nmの黄色範囲、約590~625nmの橙色範囲、約625~約740nmの赤色範囲、または約700nm~約1100nmの近赤外範囲内にある、請求項32に記載の方法。
- 前記第1の波長は、前記範囲のうちの1つの中にあり、前記第2の波長は、前記範囲のうちの異なるものの中にある、請求項33に記載の方法。
- 前記画像センサを用いて、照明条件の第3のセットを使用して、第3の波長を用いて照明された前記サンプルから第3の画像データセットを入手することをさらに含み、
前記第3のデータセットは、前記算出的に再構築された画像を発生させるために、前記第1の画像データセットおよび前記第2の画像データセットと組み合わせられる、請求項1に記載の方法。 - 前記照明条件の第3のセットは、前記第1の数の照明条件を下回る第3の数の照明条件を備える、請求項37に記載の方法。
- 前記画像センサを用いて、照明条件のN個の付加的セットを使用して、N個の付加的波長を用いて照明された前記サンプルからN個の付加的画像データセットを入手することをさらに含み、
前記N個の付加的データセットは、前記算出的に再構築された画像を発生させるために、前記第1の画像データセット、前記第2の画像データセット、および前記第3の画像データセットと組み合わせられ、
Nは、少なくとも1の整数を備える、請求項37に記載の方法。 - Nは、約10~100の範囲内の整数を備える、請求項39に記載の方法。
- 前記算出的に再構築された画像は、ハイパースペクトル画像を備える、請求項39に記載の方法。
- 前記算出的に再構築された画像は、2D画像、3D画像、2D強度画像、3D強度画像、2D位相画像、3D位相画像、2D蛍光画像、3D蛍光画像、2Dハイパースペクトル画像、または3Dハイパースペクトル画像のうちの1つ以上を備える、請求項1に記載の方法。
- 前記第1のデータセットおよび前記第2のデータセットは、前記サンプルの第1の深度に対応し、前記方法はさらに、
前記顕微鏡の焦点を調節し、複数の深度において前記サンプルを撮像することと、
前記算出的に再構築された画像を発生させるために、前記入手するステップおよび組み合わせるステップを繰り返すことであって、前記算出的に再構築された画像は、前記複数の深度に対応する異なる深度における複数の算出的に再構築された画像を備える、ことと
を含む、請求項1に記載の方法。 - 前記第1の波長を判定することをさらに含む、請求項1に記載の方法。
- 前記第1の波長は、ユーザ定義される、請求項44に記載の方法。
- 前記第1の波長を判定することはさらに、
前記画像センサを用いて、複数の波長を用いて照明された前記サンプルの初期画像データセットを入手することと、
前記初期画像データセットの第1の画像が、前記初期画像データセットの第2の画像よりも多くの情報を含むと判定することと、
前記第1の波長として、前記第1の画像に対応する前記複数の波長の第1の波長を選択することと、
前記第2の波長として、前記第2の画像に対応する前記複数の波長の第2の波長を選択することと
を含む、請求項44に記載の方法。 - 前記情報は、空間周波数情報を備える、請求項46に記載の方法。
- 前記初期画像データセットから識別された情報に基づいて、前記照明条件の第1のセットを判定することをさらに含む、請求項46に記載の方法。
- 前記照明条件の第1のセットを判定することは、光源の数、光源の場所、複数の光源の場所の組み合わせ、照明角度、照明角度の組み合わせ、照明の数、拡散器の位置、光のパターン、フィルタ、マスク、または前記サンプルの焦点のうちの1つ以上を判定することを含む、請求項48に記載の方法。
- 前記初期画像データセットに基づいて、前記第1の画像を再構築するための算出プロセスを判定することをさらに含む、請求項46に記載の方法。
- 前記算出的に再構築された画像は、3次元画像を備える、請求項1に記載の方法。
- 前記照明条件の第2のセットは、前記照明条件の第1のセットと異なる、請求項1に記載の方法。
- 前記第2の画像データセットは、前記第1の画像データセットよりも小さい、請求項1に記載の方法。
- 前記第1の画像データセットは、前記第2の画像データセットの後に入手される、請求項1に記載の方法。
- 画像再構築のための顕微鏡であって、
複数の角度における複数の波長を用いてサンプルを照明するように構成された照明源と、
画像センサと、
前記照明アセンブリを用いて照明されたサンプルを前記画像センサ上に撮像するための対物レンズと、
前記照明アセンブリおよび前記画像センサに動作的に結合されたプロセッサであって、前記プロセッサは、前記請求項のうちのいずれか1項に記載の方法を実施するための命令とともに構成されている、プロセッサと
を備える、顕微鏡。 - 前記複数の波長は、約380~約450ナノメートル(nm)の範囲内の紫色波長、約450~約485nmの範囲内の青色波長、約485~500nmの範囲内のシアン色波長、約500~565nmの範囲内の緑色波長、約565~約590nmの範囲内の黄色波長、約590~625nmの範囲内の橙色波長、約625~約740nmの範囲内の赤色波長、700nmを上回る赤外波長、または約700nm~約1100nmの範囲内の近赤外波長のうちの1つ以上を備える、請求項55に記載の顕微鏡。
- 前記照明アセンブリは、前記サンプルの異なる照明角度に対応する複数の場所において、複数の光源を用いて前記サンプルを照明するように構成されている、請求項55に記載の顕微鏡。
- 前記画像センサ上に前記サンプルの画像を形成するために使用される、前記サンプルの深度を調節するために前記プロセッサに結合されている、焦点アクチュエータをさらに備える、請求項55に記載の顕微鏡。
- 前記焦点アクチュエータは、第1の深度において前記サンプルを撮像するための第1の構成に移動し、第2の深度において前記サンプルを撮像するための第2の構成に移動するように構成されている、請求項58に記載の顕微鏡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2025159081A JP2025186481A (ja) | 2018-12-21 | 2025-09-25 | 顕微鏡画像の圧縮された入手 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862783527P | 2018-12-21 | 2018-12-21 | |
| US62/783,527 | 2018-12-21 | ||
| PCT/IL2019/051388 WO2020129064A1 (en) | 2018-12-21 | 2019-12-19 | Compressed acquisition of microscopic images |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025159081A Division JP2025186481A (ja) | 2018-12-21 | 2025-09-25 | 顕微鏡画像の圧縮された入手 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022516038A true JP2022516038A (ja) | 2022-02-24 |
| JPWO2020129064A5 JPWO2020129064A5 (ja) | 2022-11-02 |
Family
ID=71102075
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021536395A Pending JP2022516038A (ja) | 2018-12-21 | 2019-12-19 | 顕微鏡画像の圧縮された入手 |
| JP2025159081A Pending JP2025186481A (ja) | 2018-12-21 | 2025-09-25 | 顕微鏡画像の圧縮された入手 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025159081A Pending JP2025186481A (ja) | 2018-12-21 | 2025-09-25 | 顕微鏡画像の圧縮された入手 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12489872B2 (ja) |
| EP (1) | EP3899621A4 (ja) |
| JP (2) | JP2022516038A (ja) |
| CN (1) | CN113454511B (ja) |
| WO (1) | WO2020129064A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019077610A1 (en) | 2017-10-19 | 2019-04-25 | Scopio Labs Ltd. | DEPTH DETECTION BASED ON DEPTH |
| WO2019097523A1 (en) | 2017-11-20 | 2019-05-23 | Scopio Labs Ltd. | Multi/parallel scanner |
| WO2019097524A1 (en) | 2017-11-20 | 2019-05-23 | Scopio Labs Ltd. | Accelerating digital microscopy scans using empty/dirty area detection |
| CN113454511B (zh) | 2018-12-21 | 2023-11-14 | 斯科皮奥实验室有限公司 | 显微图像的压缩获取 |
| US11650405B2 (en) | 2019-11-15 | 2023-05-16 | Scopio Labs Ltd. | Microscope and method for computational microscopic layer separation |
| CN114863427B (zh) * | 2022-05-12 | 2025-02-07 | 长沙协大生物科技有限公司 | 一种基于图像融合的体液显微视频精益表达方法 |
| CN116033033B (zh) * | 2022-12-31 | 2024-05-17 | 西安电子科技大学 | 一种联合显微图像和rna的空间组学数据压缩和传输方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5928144A (ja) * | 1982-08-09 | 1984-02-14 | Fuji Photo Film Co Ltd | 放射線画像再生装置 |
| JPH06331906A (ja) * | 1993-05-26 | 1994-12-02 | Asahi Optical Co Ltd | 電子内視鏡装置 |
| US5965875A (en) * | 1998-04-24 | 1999-10-12 | Foveon, Inc. | Color separation in an active pixel cell imaging array using a triple-well structure |
| JP2006304036A (ja) * | 2005-04-22 | 2006-11-02 | Matsushita Electric Ind Co Ltd | カメラモジュール |
| JP2009053455A (ja) * | 2007-08-28 | 2009-03-12 | Hitachi Ltd | 画像表示装置、画像処理回路およびその方法 |
| JP2009253413A (ja) * | 2008-04-02 | 2009-10-29 | Sharp Corp | 撮像装置及び光軸制御方法 |
| JP2015219282A (ja) * | 2014-05-14 | 2015-12-07 | ソニー株式会社 | 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム |
| JP2016213715A (ja) * | 2015-05-11 | 2016-12-15 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理方法 |
| WO2018163500A1 (ja) * | 2017-03-10 | 2018-09-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10148897B2 (en) * | 2005-07-20 | 2018-12-04 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
| JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
| US8520970B2 (en) | 2010-04-23 | 2013-08-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| WO2011052172A1 (ja) * | 2009-10-27 | 2011-05-05 | パナソニック株式会社 | 撮像装置およびそれを用いた測距装置 |
| DE102012214472B4 (de) * | 2012-08-14 | 2020-10-01 | Siemens Healthcare Gmbh | Verfahren zur Ermittlung von Dualenergie-Bilddatensätzen und eine Röntgeneinrichtung dazu |
| US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
| JP2015216619A (ja) * | 2014-04-25 | 2015-12-03 | パナソニックIpマネジメント株式会社 | 撮像システム、撮像装置、撮像方法および符号化方法 |
| US9817224B2 (en) * | 2014-04-30 | 2017-11-14 | University Of Connecticut | Methods and systems for Fourier ptychographic imaging |
| US10473916B2 (en) * | 2014-09-30 | 2019-11-12 | Washington University | Multiple-view compressed-sensing ultrafast photography (MV-CUP) |
| WO2016084310A1 (ja) * | 2014-11-27 | 2016-06-02 | パナソニックIpマネジメント株式会社 | 画像取得装置、画像形成システムおよび画像形成方法 |
| US9774765B2 (en) * | 2015-09-15 | 2017-09-26 | Mitutoyo Corporation | Chromatic aberration correction in imaging system including variable focal length lens |
| WO2017081540A1 (en) | 2015-11-11 | 2017-05-18 | Scopio Lab Ltd. | Scanning microscope with real time response |
| WO2017081541A1 (en) | 2015-11-11 | 2017-05-18 | Scopio Lab Ltd. | Microscope having a refractive index matching material |
| EP3374816A2 (en) | 2015-11-11 | 2018-09-19 | Scopio Labs Ltd. | Computational microscopes and methods for generating an image under different illumination conditions |
| US20170168285A1 (en) * | 2015-12-14 | 2017-06-15 | The Regents Of The University Of California | Systems and methods for image reconstruction |
| EP3394579B1 (en) * | 2015-12-21 | 2023-09-20 | Verily Life Sciences LLC | Systems and methods for determining an identity of a probe in a target based on colors and locations of two or more fluorophores in the probe and in the target |
| WO2018078448A1 (en) | 2016-10-27 | 2018-05-03 | Scopio Labs Ltd. | Methods and systems for diagnostic platform |
| US10558029B2 (en) * | 2016-10-27 | 2020-02-11 | Scopio Labs Ltd. | System for image reconstruction using a known pattern |
| WO2018078447A1 (en) | 2016-10-27 | 2018-05-03 | Scopio Labs Ltd. | Digital microscope which operates as a server |
| WO2019077610A1 (en) | 2017-10-19 | 2019-04-25 | Scopio Labs Ltd. | DEPTH DETECTION BASED ON DEPTH |
| WO2019097524A1 (en) | 2017-11-20 | 2019-05-23 | Scopio Labs Ltd. | Accelerating digital microscopy scans using empty/dirty area detection |
| WO2019097523A1 (en) | 2017-11-20 | 2019-05-23 | Scopio Labs Ltd. | Multi/parallel scanner |
| CN113454511B (zh) | 2018-12-21 | 2023-11-14 | 斯科皮奥实验室有限公司 | 显微图像的压缩获取 |
| EP4058801A4 (en) | 2019-11-15 | 2023-11-29 | Scopio Labs Ltd. | METHOD AND DEVICE FOR VISUALIZING BONE MARROW CELL POPULATIONS |
-
2019
- 2019-12-19 CN CN201980092754.5A patent/CN113454511B/zh active Active
- 2019-12-19 JP JP2021536395A patent/JP2022516038A/ja active Pending
- 2019-12-19 WO PCT/IL2019/051388 patent/WO2020129064A1/en not_active Ceased
- 2019-12-19 EP EP19901062.0A patent/EP3899621A4/en active Pending
-
2021
- 2021-06-18 US US17/304,331 patent/US12489872B2/en active Active
-
2025
- 2025-09-25 JP JP2025159081A patent/JP2025186481A/ja active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5928144A (ja) * | 1982-08-09 | 1984-02-14 | Fuji Photo Film Co Ltd | 放射線画像再生装置 |
| JPH06331906A (ja) * | 1993-05-26 | 1994-12-02 | Asahi Optical Co Ltd | 電子内視鏡装置 |
| US5965875A (en) * | 1998-04-24 | 1999-10-12 | Foveon, Inc. | Color separation in an active pixel cell imaging array using a triple-well structure |
| JP2006304036A (ja) * | 2005-04-22 | 2006-11-02 | Matsushita Electric Ind Co Ltd | カメラモジュール |
| JP2009053455A (ja) * | 2007-08-28 | 2009-03-12 | Hitachi Ltd | 画像表示装置、画像処理回路およびその方法 |
| JP2009253413A (ja) * | 2008-04-02 | 2009-10-29 | Sharp Corp | 撮像装置及び光軸制御方法 |
| JP2015219282A (ja) * | 2014-05-14 | 2015-12-07 | ソニー株式会社 | 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム |
| JP2016213715A (ja) * | 2015-05-11 | 2016-12-15 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理方法 |
| WO2018163500A1 (ja) * | 2017-03-10 | 2018-09-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020129064A1 (en) | 2020-06-25 |
| EP3899621A1 (en) | 2021-10-27 |
| US20210392304A1 (en) | 2021-12-16 |
| CN113454511A (zh) | 2021-09-28 |
| US12489872B2 (en) | 2025-12-02 |
| EP3899621A4 (en) | 2022-09-28 |
| JP2025186481A (ja) | 2025-12-23 |
| CN113454511B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12489872B2 (en) | Compressed acquisition of microscopic images | |
| US11704775B2 (en) | Bright spot removal using a neural network | |
| Rerabek et al. | New light field image dataset | |
| US20210149170A1 (en) | Method and apparatus for z-stack acquisition for microscopic slide scanner | |
| US20230005281A1 (en) | Adaptive sensing based on depth | |
| CN106456070B (zh) | 成像装置和方法 | |
| CN108351504A (zh) | 用于在不同照射条件下生成图像的计算显微镜及方法 | |
| US11828927B2 (en) | Accelerating digital microscopy scans using empty/dirty area detection | |
| CN111866387B (zh) | 深度图像成像系统和方法 | |
| JP2013535931A (ja) | 圧縮撮像装置の画像取得時間の減少 | |
| US11650405B2 (en) | Microscope and method for computational microscopic layer separation | |
| US9438814B2 (en) | Method, lens assembly and camera for reducing stray light | |
| US12445746B2 (en) | Systems, methods, and media for high dynamic range imaging using single-photon and conventional image sensor data | |
| WO2023164271A1 (en) | Hyperspectral recovery from two images | |
| Liu et al. | Future-proof imaging: computational imaging | |
| CN108648144B (zh) | 一种基于深度学习算法的fpm高分辨率彩色图像重建方法 | |
| JP2015536482A (ja) | 顕微鏡デバイスを非同期的にシーケンス処理しながらローリングシャッタカメラを用いて画像を取得するシステムおよび方法 | |
| Oberdörster et al. | Digital focusing and refocusing with thin multi-aperture cameras | |
| Guo et al. | Research on multi-sensor high dynamic range imaging technology and application | |
| Sun | End-to-end Optics Design for Computational Cameras | |
| Foley et al. | Spectral DefocusCam: Super-Resolved Hyperspectral Imaging Through Defocus | |
| EP4405747A1 (en) | Dynamic vision sensor color camera | |
| WO2025245172A1 (en) | Split-aperture 2-in-1 computational imaging devices | |
| CN120762218A (zh) | 一种多图像源共出瞳重叠显示系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221025 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240925 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20241213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20250527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250925 |