JP7288141B2 - 顕微鏡画像撮像方法および顕微鏡画像撮像装置 - Google Patents

Description

本発明は、顕微鏡画像撮像方法および顕微鏡画像撮像装置に関する。

液体中の細胞などの微粒子の形状を測定する方法には、主に光の散乱を解析する光散乱法と、粒子を顕微鏡などで撮像する画像イメージング法とがある。

光散乱法は、高濃度の粒子の大きさや個数を簡便に測定できるため、細胞や細菌に対する薬剤活性を検査する手法として、一般に用いられている。例えば、細菌が含まれている液体に光を照射し、細菌によって入射光が散乱され、透過した光量の減衰を測定する。これにより、細菌の増殖状態を計測する。

この原理を用いた細菌に関しての医療機器として、抗菌剤の細菌への効果、つまり抗菌剤により細菌の増殖が抑制される効果を検査する装置（感受性検査装置）が存在する。例えば、感受性検査装置では、光散乱法を用いて、細菌の数を計数する。

しかし、光散乱法は感度が低く、一昼夜の培養が必要になる。このように長時間の培養が必要となるので、近年、感受性検査装置の迅速化が盛んに研究されている。

迅速化を達成する方法として、感度を向上させる必要がある。高感度化には、細菌の培養初期濃度を上げる方法が考えられるが、細菌の初期濃度はＣＬＳＩ（the Clinical and Laboratory Standards Institute）などの組織により、５×１０^５ＣＦＵ／ｍｌという低濃度に定められおり、細菌濃度を変更することはできない。

細胞および細菌の検出の高感度化に関して、画像イメージング法は、細胞の大きさや個数を高感度に検出することができる。また、情報量に関して、細胞の大きさや個数だけではなく、細胞の形状まで計測できるため、細胞の状態について光散乱法よりも多くの情報を得ることができる。

細胞の状態を画像イメージング法により観察する手法として、光学顕微鏡観察、蛍光顕微鏡観察、ＣＡＲＳ（コヒーレントアンチストークスラマン散乱）顕微鏡、ＯＣＴ（３次元光干渉断層計）などが知られている。

これらの画像イメージング法では、正確な細胞形状を解析することが重要となり、細胞に焦点を正確に合わせることが必須となる。焦点を合わせるために、研究段階では、人の手によるマニュアルフォーカスが多く用いられている。創薬および医療などの膨大な量の画像を取得する必要がある分野においては、高速かつ高精度なオートフォーカスが必須となる。

細胞の顕微鏡画像を取得する場合、細胞が液体サンプルに懸濁され、液体サンプルを収容するサンプル容器は観察する光に関して透明である容器が用いられる。

対物レンズはサンプル容器の下側に配置することが適切とされている。その理由は、観察対象となる細胞はサンプル液とサンプル容器の境界（たとえばサンプル容器の底面内側）に接着しているので、サンプルをサンプル容器の上側から観察すると、サンプル液を通して細胞を観察することになり、液体の液面が複雑な曲面であることや、振動や空気の対流によって液面のゆれが発生することなどにより、収差補正が困難になるためである。

サンプルをサンプル容器の下側から観察する場合には、サンプル容器は固体であり底面の厚みが固定されているため、収差補正を容易に行うことができる。サンプル容器の下側から観察する倒立顕微鏡は、細胞観察では一般的に用いられている。また、下側の対物レンズのフォーカス位置は、細胞が懸濁された液体サンプルがサンプル容器に接する位置の近傍となる。

対物レンズのフォーカス位置を自動的に合わせるオートフォーカス方式には、大きく分けて２つの方式が存在し、顕微鏡画像のコントラストからフォーカス位置を算出する画像方式と、レーザーなどオートフォーカス用の光を照射し、その反射光からフォーカス位置を算出する光学方式との２つが存在する。

画像方式のオートフォーカスでは、対物レンズの位置を変化させながら複数枚の顕微鏡画像を取得し、コントラストが最大となる位置を計測する。この方式では、高速にオートフォーカスを完了するには、複数枚の顕微鏡画像についてコントラストを高速に計算するプログラムまたはデバイスが必要となり、原理的にオートフォーカス速度を向上させることが困難である。また、オートフォーカスに用いる顕微鏡画像では、コントラストが得られる物体を観察対象に用いる必要があり、極端に希薄な細胞の懸濁液では、オートフォーカスを行うことができない。

一方、光学方式のオートフォーカスでは、サンプル容器とサンプル液との境界面に、レーザーなどの光を照射し、その境界面から反射された光の位置や位相などの情報（たとえば１つの数値または数スカラー量）から、オートフォーカスを行う。したがって、数十万ピクセルの顕微鏡画像を取得する場合には、光学方式の計算量は画像方式の１０万分の一以下となり、高速なオートフォーカスを実施できる。

また、サンプル容器とサンプル液との境界面の反射光のみでオートフォーカスを行うため、細胞などのコントラストが得られる物体が存在しない状態でも、オートフォーカスを実施できる。

ここで、光学方式のオートフォーカスを顕微鏡に適用することに関して、サンプル容器のオートフォーカス面で光を反射させるために、オートフォーカス面は平滑な部分であることが重要である。したがって、オートフォーカス用のレーザーなどの光が照射されるフォーカス面に欠陥（パターン中の突起など）があった場合には、フォーカスの位置が目的のフォーカス面から大きく外れるという問題があった。

このため、フォーカス面に欠陥がある部分を回避し、欠陥がない部分でオートフォーカスを行うために、様々な方法が考案されている。このような方法の例は、特許文献１および２に記載される。

たとえば特許文献１の方法では、実際に撮像するフォーカス面とは別の、欠陥が無い面でオートフォーカスを行うことで、表面形状をあらかじめ取得および記憶しておき、その表面形状データに基づいて、実際に撮像するフォーカス面を撮像する。

また、特許文献２の方法では、オートフォーカスを行うフォーカス面に、オートフォーカス用のレーザーなどの光の照射点を４点設けることにより、欠陥がある部分に照射点が重なった１点を無効として、他の点に基づき適正なオートフォーカス制御を行う。

特開２０００－２９４６０８号公報 特開２００１－３０５４２０号公報

しかしながら、従来の技術では、欠陥がない部分でオートフォーカスを行うための処理に改善の余地があった。

たとえば特許文献１の方法では、あらかじめ表面形状を取得する必要があるため、スループットが低い。

また、特許文献１の方法は、欠陥が無い面が存在しない場合には適用できない。

特許文献２の方法では、判定できる欠陥の種類が限られる。たとえば、欠陥が設計されたパターンなどの突起である場合には、照射点が無効データであることが、照射点からの反射光を受け取る受光部の信号から判別できたが、欠陥がフォーカス面の微小な割れや夾雑物などである場合には、その欠陥の３次元的な形状や光学特性が異なるため、反射光の信号から欠陥を判別することは困難である。

また、特許文献２の方法では、１度のオートフォーカス制御を完了するために、４点での光照射および判定を行う必要があるため、スループットが低い。

本発明はこのような課題を解決するためになされたものであり、欠陥がない部分でオートフォーカスを行うための処理を改善する顕微鏡画像撮像方法および顕微鏡画像撮像装置を提供することを目的とする。

本発明に係る顕微鏡画像撮像方法の一例は、
顕微鏡画像撮像装置を用いて顕微鏡画像を撮像する、顕微鏡画像撮像方法であって、
前記顕微鏡画像は、容器の底面内側と接するサンプルとしての細胞または粒子の顕微鏡画像であり、
前記顕微鏡画像撮像装置は、
‐サンプルを収容する透明の容器と、
‐顕微鏡撮像用光源と、
‐前記容器の底面内側に向けて光ビームを照射する光ビーム光源と、
‐前記サンプルまたは前記容器によって反射された光ビームのスポット像を結像するために用いられる対物レンズと、
‐結像された前記スポット像を検出する検出器と、
‐前記容器および前記対物レンズを相対的に移動させる移動機構と、
を備える、
方法において、
前記顕微鏡画像撮像装置は、さらに、前記スポット像に基づき、前記光ビームが欠陥に照射されているか否かを判定する判定部を備え、
前記方法は、
‐前記光ビーム光源が前記光ビームを照射する工程と、
‐前記検出器が前記スポット像を検出する工程と、
‐前記移動機構が前記対物レンズを前記容器に対して前記光ビームの光軸方向に移動させることにより、前記スポット像の焦点を合わせる工程と、
‐スポット像に基づき、前記判定部が、光ビームが欠陥に照射されているか否かを判定する工程と、
‐ａ）光ビームが欠陥に照射されていると判定された場合に、所定の条件に応じ、前記移動機構が前記容器を前記対物レンズに対して前記光ビームの光軸と直交する方向に移動する工程と、
‐ｂ）光ビームが欠陥に照射されていないと判定された場合に、前記顕微鏡撮像用光源を用いて前記サンプルの顕微鏡画像を撮像する工程と、
を備えること特徴とする。

本発明に係る顕微鏡画像撮像装置の一例は、上述の方法を実行することを特徴とする。

本発明に係る顕微鏡画像撮像方法および顕微鏡画像撮像装置によれば、欠陥がない部分でオートフォーカスを行うための処理が改善される。

たとえば、本発明の一実施例によれば、欠陥があるフォーカス面においても、欠陥を回避することにより高精度のオートフォーカスを維持できる。また、様々な欠陥に対応することができ、予期しないランダムな欠陥にも対応できる場合がある。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の第１、第２および第３実施例に係る装置の構成を示す模式図。 図１の装置の光学系を示す模式図。 図１の装置による測定法を示す模式図。 第１実施例に係る装置のオートフォーカス処理のフローチャート。 スポット像のバリエーションを示す図。 第１実施例に係る判定基準の例。 第１実施例に係る判定基準の別の例。 第２実施例に係る装置の学習段階における処理のフローチャート。 オートフォーカス処理の実行中の経過画像の例。 第２実施例に係る教師データの構成例。 第２実施例に係る装置のオートフォーカス処理のフローチャート。 第３実施例に係る装置のオートフォーカス処理のフローチャート。

以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

以下の各実施例は、顕微鏡画像撮像装置に関する。顕微鏡画像撮像装置は、顕微鏡画像を撮像するために用いられる装置であり、たとえばサンプルを観察するための観察装置である。また、各実施例は、顕微鏡画像撮像装置によって実行される顕微鏡画像撮像方法に関する。

顕微鏡画像の撮像対象となるサンプルは、細胞または粒子である。ここで、粒子のサイズは任意であり、微小粒子には限定されない。サンプルは、透明のサンプル容器に収容され、サンプル容器の底面内側と接する。サンプルは液体に含まれてサンプル液を構成してもよい。

以下の各実施例は、サンプル容器内においてサンプル液とサンプル容器底面との境界面に存在する細胞の顕微鏡画像を、オートフォーカスによって自動的に取得する装置に関する。また、以下では、まず各実施例に共通する観察装置の概略を説明し、次に、各実施例における観察装置を用いた測定方法を説明する。

以下の説明においては、ＸＹＺ直交座標系を設定する。水平面内の所定方向をＸ方向、水平面内においてＸ方向と直交する方向をＹ方向、Ｘ方向及びＹ方向のそれぞれに直交する方向（すなわち鉛直方向）をＺ方向とする。Ｚ方向は、以下の例では対物レンズの光軸に一致する。

１．観察装置の概略
図１に観察装置の全体の外観を示す。観察装置は顕微鏡画像撮像装置として機能し、顕微鏡画像撮像方法を実行する。

図１に示すように、観察装置はサンプル容器１００（容器）と、撮像ユニット２００と、ＸＹステージ３００（移動機構）と、制御ＰＣ４００を備えている。ＸＹステージ３００は、撮像ユニット２００の光軸と直交する平面内で、サンプル容器１００と撮像ユニット２００（とくに後述する対物レンズ２０２）とを相対的に移動させる。ＸＹステージ３００は、サンプル容器１００を移動させてもよいし、撮像ユニット２００を移動させてもよいし、双方を移動させてもよい。

サンプル容器１００は、たとえば９６ウェルマイクロタイタープレートであってもよく、サンプル保持部１０１を複数有してもよい。より多くのサンプル保持部１０１を有する３８４ウェルプレート、１５３６ウェルプレートなどを用いてもよい。

撮像ユニット２００は、倒立顕微鏡の光学系であり、対物レンズ２０２と、対物レンズアクチュエータ２０３（移動機構）と、カメラ２０４と、結像レンズ２０５と、オートフォーカスユニット２０６と、フォーカス制御部２０７と、反射面判別部２０８と、照明２０９（顕微鏡撮像用光源）とを備える。

対物レンズ２０２は、サンプルまたはサンプル容器１００によって反射された光ビームのスポット像を結像するために用いられる。また、対物レンズ２０２は、サンプルの顕微鏡画像を撮像するためにも用いられる。

対物レンズアクチュエータ２０３は、オートフォーカスを行うために、サンプル容器１００と対物レンズ２０２とを相対的に移動させる。移動はたとえば対物レンズ２０２の光軸と平行に行われる。対物レンズアクチュエータ２０３は、サンプル容器１００を移動させてもよいし、対物レンズ２０２を移動させてもよいし、双方を移動させてもよい。

結像レンズ２０５は、対物レンズ２０２の焦点位置の像をカメラ２０４に結像させる。カメラ２０４はこの像を電気信号に変換することにより、たとえば光ビームの結像されたスポット像を検出する。

オートフォーカスユニット２０６は、オートフォーカスを行なうための信号を取得する光学ユニットである。オートフォーカスユニット２０６は、サンプル容器１００の底面内側に向けて光ビームを照射する光ビーム光源２１５（図２等を用いて後述）を備える。

フォーカス制御部２０７は、オートフォーカスユニット２０６からの信号に基づき、サンプル容器１００の底面内側（たとえばサンプル保持部１０１の底面内側）に対物レンズ２０２の焦点位置を合わせる。

反射面判別部２０８（判定部）は、光ビームが欠陥に照射されているか否かを判定する。たとえば、オートフォーカス処理が完了した時点で、カメラ２０４の顕微鏡像上の光ビームのスポット像から、オートフォーカスが正常か、または欠陥に照射されているかを判別する。

照明２０９は、サンプル容器１００の上方に設けられる。照明２０９は白色または単色のＬＥＤが望ましい。照明２０９は、図１では透過照明であるが、対物レンズ２０２の直下からビームスプリッタなどによりサンプルに照射する、反射照明であっても良い。照明２０９は、サンプル容器１００の底面内側に向けて光ビームを照射する。

オートフォーカスユニット２０６のオートフォーカス原理として、レーザー干渉法、レーザー反射法、非点収差法、偏心補助光束法（skew beam method）などを用いることができる。また、オートフォーカスユニット２０６は、レーザー等の光をサンプル保持部１０１の底面に対物レンズ２０２を通して照射し、サンプル保持部１０１の底面からの反射光を検出する。

フォーカス制御部２０７は、オートフォーカスユニットが出力する対物レンズ２０２の焦点２０１が、反射面に対して、対物レンズ２０２から近すぎるか、遠すぎるか、または合っているかを判別し、判別結果に応じて対物レンズアクチュエータ２０３を移動させる。

ＸＹステージ３００は、サンプル容器１００を移動する。とくに、対物レンズ２０２の光軸に垂直な平面内で移動することが望ましい。

制御ＰＣ４００には、フォーカス制御部２０７、反射面判別部２０８、ＸＹステージ３００、およびカメラ２０４が接続され、所定のプロセスにしたがって、オートフォーカス処理を行い、サンプル容器１００内のサンプル液の細胞の顕微鏡画像を自動的に取得することにより、観察を行う。制御ＰＣ４００には、ＰＬＣ制御や制御基板などを用いても良い。

図２に、オートフォーカスが完了した状態での光学系を示す。サンプル容器１００の複数あるサンプル保持部１０１の一つの底面にフォーカスが合っている状態を示す。サンプル保持部１０１の底面（観察面）のフォーカス部には欠陥１０４が存在している。

欠陥１０４は、オートフォーカスの適切な動作を妨げるものであり、たとえばサンプル容器１００の割れ、サンプル容器１００の底面の湾曲、サンプル液内の析出物または不純物、サンプルが構成するパターンの凹凸、等を含む。

顕微鏡像を得るための照明２０９からフォーカス面の視野に対して均一な輝度分布の照明光が照射され、フォーカス面からの光は対物レンズ２０２により取り込まれる。

ダイクロイックミラー２１６により、照明２０９の可視領域の光は反射され、結像レンズ２０５によりカメラ２０４のセンサ上にフォーカス面の顕微鏡像が結像される。

オートフォーカスの原理に非点収差方式を利用する場合、オートフォーカス用の光ビームは光ビーム光源２１５から照射され、コリメートレンズ２１４によって平行光になり、ビームスプリッタ２１３を通って、ダイクロイックミラー２１６の下方から照射され、対物レンズ２０２を通過してサンプル保持部１０１の底面に照射される。

照射された光ビームはサンプル保持部１０１の底部でほとんどが反射し、一部の光ビームが欠陥１０４で散乱される。反射した光ビームはダイクロイックミラー２１６およびビームスプリッタ２１３で反射される。

ダイクロイックミラー２１６で反射した光ビームは顕微鏡像と同様にカメラ２０４のセンサ上に結像される。

ビームスプリッタ２１３で反射した光ビームは、結像レンズ２１１およびシリンドリカルレンズ２１２を通って、フォトダイオード２１０（検出器）上に結像される。このようにして、フォトダイオード２１０は、光ビームの結像されたスポット像を検出する。なお、この例では、カメラ２０４およびフォトダイオード２１０の双方が光ビームのスポット像を検出する検出器として機能するが、変形例としていずれか一方のみが検出器として機能するよう構成してもよい。

２．観察装置の測定方法
［第１実施例］
図３に、複数のサンプル溶液１０２が収納された、サンプル保持部１０１の観察面１０３を連続で撮像する方法を説明する。

図３（ａ）は、複数あるサンプル保持部１０１のうち１つの観察面１０３に対してオートフォーカス処理が開始された時点の状態である。オートフォーカスユニット２０６が、光ビームをサンプル容器１００に照射する。対物レンズアクチュエータ２０３を駆動し、焦点２０１を上方に移動させながら走査する。走査している間、オートフォーカスユニット２０６から照射される光の反射光の輝度を検出しつづける。この際、照明２０９（顕微鏡撮像用光源）は消灯していることが望ましい。

図３（ｂ）に示すように、観察面１０３からの反射光の輝度のピークをオートフォーカスユニット２０６が検出した時点で、フォーカス制御部２０７により正確なフォーカス動作を行ってもよい。この正確なフォーカス動作は、たとえば公知技術によるフォーカス動作であってもよい。

たとえば、対物レンズアクチュエータ２０３が対物レンズ２０２をサンプル容器１００に対して光ビームの光軸方向に移動させることにより、スポット像の焦点を合わせる。

スポット像の焦点が合った状態で、光ビームのスポット像をカメラ２０４により検出し、撮像する。反射面判別部２０８は、撮像したスポット像に基づき、光ビームが欠陥に照射されているか否かを判定する。光ビームが欠陥に照射されている状態は、オートフォーカスが正常に行われていない状態であるということができ、光ビームが欠陥に照射されていない状態（すなわち、光ビームが欠陥でない部分に照射されている状態）は、オートフォーカスが正常に行われた状態であるということができる。

図３（ｃ）において、光ビームが欠陥に照射されているとする。この場合には、反射面判別部２０８は、光ビームが欠陥に照射されていると判定し、所定の条件に応じ、ＸＹステージ３００が、サンプル容器１００を対物レンズ２０２に対して光ビームの光軸と直交する方向に移動する。これにより、焦点２０１が、観察面１０３に対して、ＸＹ平面内で移動する。

なお、本実施形態では、上記の「所定の条件」はとくに定義しない。すなわち、光ビームが欠陥に照射されていると判定された場合には、他の条件に関わらずＸＹステージ３００がサンプル容器１００を移動する。変形例として、この「所定の条件」を適宜定義してもよい（一例は後述の第３実施例において説明する）。

移動後は、再度判定を行ってもよい。たとえば、オートフォーカスユニット２０６が光ビームをサンプル容器１００に照射し、カメラ２０４が光ビームのスポット像を検出し、対物レンズアクチュエータ２０３が対物レンズ２０２を移動させることにより焦点を合わせ、焦点が合った状態のスポット像に基づき、反射面判別部２０８が、光ビームが欠陥に照射されているか否かを判定する。このようにすると、欠陥を回避して適切な部分を探索することができる。

また、光ビームが欠陥に照射されていると判定された場合には、処理を終了してもよい。たとえば、所定のエラー処理を行い、次の撮像対象（たとえば次のサンプル保持部１０１）について上記処理を行ってもよい。

また、光ビームが欠陥に照射されていないと判定されるまで、所定の上限回数だけ判定を繰り返すようにしてもよい。たとえば、同じ撮像対象について２回繰り返して光ビームが欠陥に照射されていると判定された場合には処理を終了してもよい。

反射面判別部２０８により、欠陥に照射されていないと判定された場合には、照明２０９を用いてサンプルの顕微鏡画像を撮像する。たとえば図３（ｄ）に示すように、対物レンズアクチュエータ２０３を固定し、対物レンズ２０２と観察面１０３の距離を固定し、照明２０９から照明を観察面１０３に照射して、カメラ２０４で顕微鏡画像を取得する。

また、この場合には、観察装置（たとえば反射面判別部２０８であるが、別の構成要素であってもよい）がその時点の移動機構の状態（たとえばＸＹステージ３００および／または対物レンズアクチュエータ２０３の位置）を記憶してもよい。このようにすると、後に同じ位置で再び顕微鏡画像を取得することができるので、サンプルの経時変化を観察する場合等に好適である。

図４に、上記の測定法の動作フローチャートを示す。このフローチャートは、上述の測定法において実行される各工程を含む。経時変化を観察する場合（たとえばサンプルが生体サンプルである場合に有用である）には、一連の動作を任意の時間間隔で繰り返してもよい。

図５に、光ビームのスポット像のバリエーションを示す。図５（ａ）は、光ビームが欠陥に照射されていない場合（すなわちオートフォーカスが正常に動作した場合）の光ビームのスポット像の例である。光ビームのスポット像のパターンが図５（ａ）のパターンから逸脱する場合には、光ビームが欠陥に照射されていると考えることができる。

図５（ｂ）および図５（ｃ）は、図５（ａ）に比べて、スポット像の大きさが異なる。図５（ｄ）はスポット像内に欠陥の像が映り込んでいる状態である。図５（ｅ）はスポット像が楕円になっており、光ビームが照射されている面が歪んでいることを示す。図５（ｆ）は、スポット像が平行移動しており、光ビームが照射されている面が傾いていることを示す。

図６に、光ビームが欠陥に照射されているか否かに係る判定基準の例を示す。この例ではスポット像の輝度分布を用いる。このような判定基準は、図４に示すように、処理の開始時点で取得することができる。

図１のカメラ２０４で撮像した光ビームスポット像の画像５０１は、個々の画素５０２の輝度値を２次元に配列したデータによって表される。この図６における光ビームの外形５０５は、図５（ａ）に示すように光ビームが欠陥に照射されていない状態に対応して予め定義される。

また、外形５０５に関連して、外形５０５の内側の画素５０３と、外形５０５の外側の画素５０４とが定義される。この例では、内側の画素５０３は外形５０５から内側に所定距離以上離れた画素であり、外側の画素５０４は外形５０５から外側に所定距離以上離れた画素である。

光ビームが欠陥に照射されていない状態では、内側の画素５０３の輝度は高く、外側の画素５０４の輝度は低いと考えられる。このため、内側の画素５０３すべてについて輝度が所定の内側輝度閾値以上であり、かつ外側の画素５０４すべてについて輝度が所定の外側輝度閾値以下であれば、光ビームが欠陥に照射されていないと判定することができる。

そうでない場合、すなわち、内側の画素５０３いずれかについて輝度が内側輝度閾値未満となるか、または、外側の画素５０４いずれかについて輝度が外側輝度閾値を超えた場合には、光ビームが欠陥に照射されていると判定することができる。

このような判定方法により、図５（ｂ）～（ｆ）のように光ビームが欠陥に照射されている状態を検出することができる。

なお、スポット像の画素数は顕微鏡画像の画素数に比べて少ないので、判定を効率的に行うことができる。

判定基準の別の例として、スポット像の円形度を用いてもよい。たとえば、スポット像について外形５０５を取得し、その円形度を評価する。円形度の評価は、任意の公知の方法を用いることができる。円形度が高い場合には、光ビームが欠陥に照射されていないと判定され、円形度が低い場合には、光ビームが欠陥に照射されていると判定される。

図７に、判定基準のさらに別の例を示す。この例ではスポット像の輝度分布を用いる。図７（ａ）において、横軸は画素の位置をスポット像の中央からの距離で表し、縦軸は輝度を表す。光ビームが欠陥に照射されていない状態では、中央の画素の輝度が高く、中央からの距離が大きくなるにつれて輝度が低くなると考えられる。このため、図７（ａ）の例では、中央の画素の輝度の適正範囲は輝度が高い範囲であり、周辺の画素の輝度の適正範囲は輝度が低い範囲であるように定義されている。

すべての画素について、輝度が適正範囲内にある場合には、光ビームが欠陥に照射されていないと判定される。そうでない場合、すなわちいずれかの画素について輝度が不適正（過大または過小）となる場合には、光ビームが欠陥に照射されていると判定される。

図７（ｂ）の例は、さらにスポット像における回折像の影響を考慮した例である。スポット像には同心円状の回折像が重畳して現れる場合があり、回折像による輝度の変化を考慮して適正範囲が階段状に変化するようになっている。このように、輝度分布にスポット像における同心円状の回折像の輝度を含めることにより、より精度の高い判定を行うことができる。

これらの判定基準は、それぞれ単独で用いることもでき、２つ以上を組み合わせて用いることもできる。また、これらの判定基準は、不等号を含む判別式として表現することができる。

なお、反射面判別部２０８は、オートフォーカス処理の実行中に検出される複数のスポット像（たとえば図９を用いて後述するもの）に基づいて、光ビームが欠陥に照射されているか否かを判定してもよい。その場合には、各スポット像について個別に判定を行い、その結果に基づいて最終的な判定を行ってもよいし、各スポット像の輝度分布または円形度に基づいて一度の判定を行ってもよい。このように複数のスポット像を用いることにより、判定の精度が高まる。

以上説明するように、第１実施例に係る顕微鏡画像撮像方法および顕微鏡画像撮像装置によれば、欠陥がない部分でオートフォーカスを行うための処理が改善される。

たとえば、欠陥があるフォーカス面においても、欠陥を回避することにより高精度のオートフォーカスを維持できる。また、様々な欠陥に対応することができ、予期しないランダムな欠陥にも対応できる場合がある。

［第２実施例］
第１実施例では、光ビームが欠陥に照射されているか否かに係る判定基準は事前に準備されたものを用いた。第２実施例では、判定基準を機械学習により生成することにより、より適切な判定基準を取得することができる。以下、第２実施例について説明する。なお、第１実施例と同様の点については説明を省略する場合がある。

第２実施例において、反射面判別部２０８は、顕微鏡画像および光ビームのスポット像を含む複数の教師データに基づき、光ビームが欠陥に照射されているか否かを判定するための基準を学習する。

まず、学習段階の処理について説明する。学習段階では、まず教師データを生成し、生成された教師データを用いて学習を行う。

図８に、第２実施例に係る装置の学習段階における処理のフローチャートを示す。観察装置は、Ｎ個（ただしＮは１より大きい整数）の教師データを生成する。Ｎは１０００以上であることが望ましい。

教師データの生成において、装置は、各教師データについて、１枚の顕微鏡画像と、その顕微鏡画像に対応する１枚以上の光ビームのスポット像とを取得する。１枚の顕微鏡画像に複数枚のスポット像が対応する場合には、それらのスポット像は、オートフォーカスの動作に関する異なる段階（オートフォーカス動作の進行中、完了時点、等）における一連の画像（経過画像）であってもよい。このような構成とすると、様々な段階におけるスポット像を用いた学習が可能になる。

図９に、オートフォーカス処理の実行中の経過画像の例を示す。図９（ａ）はオートフォーカスが正常に動作した場合の経過画像であり、すなわち光ビームが欠陥に照射されていない場合の教師データに対応する。図９（ａ）（１）はオートフォーカス完了時（たとえば対物レンズ２０２が適切な位置にある場合）のスポット像である。図９（ａ）（２）は対物レンズ２０２がオートフォーカス完了位置より１０μｍ前にある場合のスポット像である。図９（ａ）（３）は対物レンズ２０２がオートフォーカス完了位置より２０μｍ前にある場合のスポット像である。

図９（ｂ）は光ビームが欠陥に照射された場合の経過画像の例であり、すなわち光ビームが欠陥に照射されている場合の教師データに対応する。図９（ｂ）における各画像とオートフォーカス処理との関係は図９（ａ）と同様である。このように、図９の例では、各教師データは、１枚の顕微鏡画像と、対物レンズ２０２の位置を異ならせた複数のスポット像とを含む。

オートフォーカス処理が完了するまでの経過画像については、それぞれ、対物レンズアクチュエータ２０３の位置（たとえばオートフォーカス処理が完了する位置に対する相対的位置）または時刻（たとえばオートフォーカス処理の完了時点に対する相対的時刻）を関連付けて記録しておくことが望ましい。

図１０に、以上のようにして構成される、第２実施例に係る教師データの例を示す。各教師データは、光ビームが欠陥に照射されている（図１０では「欠陥」）か、そうでない（図１０では「正常」）かを表すラベル（正解ラベル）を含む。このラベルの決定方法は任意であり、人間が付与してもよいし、反射面判別部２０８または他の構成要素が自動的に決定してもよい。本実施例では、以下のようにして反射面判別部２０８が自動的に決定する。

本実施例では、反射面判別部２０８は、各教師データについて、その教師データに含まれる顕微鏡画像に基づき、その教師データのラベルを決定する。たとえば、顕微鏡画像の輝度分布（輝度重心に係る情報を含んでもよい）、コントラスト、円形度、等のうち１以上に基づいてラベルを決定する。このようにすると、各教師データのラベルを適切に決定することができる。

具体例として、コントラストを用いる場合について説明する。反射面判別部２０８は、教師データに含まれる顕微鏡画像のコントラストを計算する。コントラストの計算は、たとえば公知技術を用いて行うことができる。次に、反射面判別部２０８は、計算されたコントラストを所定の閾値と比較する。この閾値は、たとえばオートフォーカスが正常に動作した場合に対応する基準値として事前に指定しておくことができる。

計算されたコントラストが閾値より高い場合は、その顕微鏡画像を含む教師データについて、光ビームが欠陥に照射されていない場合のものである（すなわち正常にオートフォーカスが完了する）とラベルする。一方、計算されたコントラストが閾値以下である場合は、その顕微鏡画像を含む教師データについて、光ビームが欠陥に照射されているとラベルする。

以上のようにして、Ｎ個の教師データが生成される。なお、教師データにラベルが付与された後は、顕微鏡画像を教師データから除外してもよい。

反射面判別部２０８は、生成された教師データを用いて学習を行う。たとえば、教師データに含まれるスポット像のそれぞれを入力とし、ラベルを出力とし、入力に対して正しい出力が行われるように（すなわち、そのスポット像に対して反射面判別部２０８が出力したラベルと、そのスポット像に関連付けられた正解ラベルとが一致するように）学習を行う。

学習用モデルの具体的な構成および学習の具体的な処理は当業者が任意に設計可能であるが、たとえば、ＳＶＭ（サポートベクターマシン）、ニューラルネットワーク、ディープラーニング、等を用いることができる。

このようにして学習が行われ、学習済みモデルが生成される。反射面判別部２０８は、この生成された学習済みモデルを含む。

図１１に、第２実施例に係る装置のオートフォーカス処理のフローチャートを示す。第２実施例に係る処理は、用いられる判定基準（判別式）が上記のように機械学習によって生成されたものである点を除き、第１実施例と同様に実行することができる。

以上説明するように、第２実施例に係る顕微鏡画像撮像方法および顕微鏡画像撮像装置によれば、機械学習によって適切な判定基準を学習することができる。また、第２実施例でも、第１実施例と同様の効果を得ることができる。

［第３実施例］
第３実施例は、第１実施例または第２実施例において、光ビームが欠陥に照射されていると判定された場合の動作を一部変更するものである。以下、第３実施例について説明する。なお、第１実施例または第２実施例と同様の点については説明を省略する場合がある。

反射面判別部２０８による判定精度が厳密に１００％でない限り、実際には正常にオートフォーカスが完了していても、光ビームが欠陥に照射されていると誤って判定される場合がある。このような場合には、ＸＹステージ３００によるサンプル容器１００の移動は実際には不要であるが、第１実施例ではそのような移動が行われることになる。第３実施例は、このような不要な移動を低減させるものである。

図１２に、第３実施例に係る装置のオートフォーカス処理のフローチャートを示す。反射面判別部２０８は、光ビームが欠陥に照射されていると判定した場合に、さらに顕微鏡画像に基づく再判定を行う。

具体的には、再判定処理において、反射面判別部２０８は、照明２０９（顕微鏡撮像用光源）を用いてサンプルの顕微鏡画像を撮像する。そして、反射面判別部２０８は、顕微鏡画像に基づき、欠陥が撮像されているか否かを判定する。

この判定は、たとえば、顕微鏡画像の輝度分布（輝度重心に係る情報を含んでもよい）、コントラストまたは円形度に基づいて、欠陥が撮像されているか否かを判定することができる。この際の判定基準は、第２実施例において教師データのラベルを決定する際に用いた基準と同様に決定することができる。このような判定基準を用いると、欠陥が撮像されているか否かを適切に判定することができる。

欠陥が撮像されていない（すなわち撮像が正常に完了している）と判定された場合には、観察装置はそのサンプルに対する撮像処理を終了する（たとえば照明２０９を消灯する）。なお、この場合に、あらためてサンプルの顕微鏡画像を撮像してもよい。

一方、欠陥が撮像されていると判定された場合には、移動機構（たとえばＸＹステージ３００および／または対物レンズアクチュエータ２０３）が、サンプル容器１００を、対物レンズ２０２に対して光ビームの光軸と直交する方向に移動する。この処理は、第１実施例において光ビームが欠陥に照射されていると判定された場合の処理に対応する。その後、再度、オートフォーカス処理が行われる。

以上説明するように、第３実施例に係る顕微鏡画像撮像方法および顕微鏡画像撮像装置によれば、実際にはオートフォーカスが正常に動作しているにも関わらず、光ビームが欠陥に照射されていると誤って判定された場合に、不要な再オートフォーカス処理を省略することができる。また、第３実施例でも、第１実施例と同様の効果を得ることができる。

１００…サンプル容器（容器）
１０１…サンプル保持部
１０２…サンプル溶液
１０３…観察面
１０４…欠陥
２００…撮像ユニット
２０１…焦点
２０２…対物レンズ
２０３…対物レンズアクチュエータ（移動機構）
２０４…カメラ（検出器）
２０５，２１１…結像レンズ
２０６…オートフォーカスユニット
２０７…フォーカス制御部
２０８…反射面判別部（判定部）
２０９…照明（顕微鏡撮像用光源）
２１０…フォトダイオード（検出器）
２１２…シリンドリカルレンズ
２１３…ビームスプリッタ
２１４…コリメートレンズ
２１５…光ビーム光源
２１６…ダイクロイックミラー
３００…ＸＹステージ（移動機構）
５０１…画像
５０２，５０３，５０４…画素
５０５…外形

Claims (12)

1. 顕微鏡画像撮像装置を用いて顕微鏡画像を撮像する、顕微鏡画像撮像方法であって、
   前記顕微鏡画像は、容器の底面内側と接するサンプルとしての細胞または粒子の顕微鏡画像であり、
   前記顕微鏡画像撮像装置は、
   ‐サンプルを収容する透明の容器と、
   ‐顕微鏡撮像用光源と、
   ‐前記容器の底面内側に向けて光ビームを照射する光ビーム光源と、
   ‐前記サンプルまたは前記容器によって反射された光ビームのスポット像を結像するために用いられる対物レンズと、
   ‐結像された前記スポット像を検出する検出器と、
   ‐前記容器および前記対物レンズを相対的に移動させる移動機構と、
   を備える、
   方法において、
   前記顕微鏡画像撮像装置は、さらに、前記スポット像に基づき、前記光ビームが欠陥に照射されているか否かを判定する判定部を備え、
   前記方法は、
   ‐前記光ビーム光源が前記光ビームを照射する工程と、
   ‐前記検出器が前記スポット像を検出する工程と、
   ‐前記移動機構が前記対物レンズを前記容器に対して前記光ビームの光軸方向に移動させることにより、前記スポット像の焦点を合わせる工程と、
   ‐スポット像の輝度分布または円形度に基づき、前記判定部が、光ビームが欠陥に照射されているか否かを判定する工程と、
   ‐ａ）光ビームが欠陥に照射されていると判定された場合に、所定の条件に応じ、前記移動機構が前記容器を前記対物レンズに対して前記光ビームの光軸と直交する方向に移動する工程と、
   ‐ｂ）光ビームが欠陥に照射されていないと判定された場合に、前記顕微鏡撮像用光源を用いて前記サンプルの顕微鏡画像を撮像する工程と、
   を備えること特徴とする、顕微鏡画像撮像方法。
2. 請求項１において、ａ）光ビームが欠陥に照射されていると判定された場合には、前記方法は、
   前記移動機構が前記容器を前記対物レンズに対して前記光ビームの光軸と直交する方向に移動する前記工程の後に、
   ‐前記光ビーム光源が前記光ビームを照射する工程と、
   ‐前記検出器が前記スポット像を検出する工程と、
   ‐前記移動機構が前記対物レンズを前記容器に対して前記光ビームの光軸方向に移動させることにより、前記スポット像の焦点を合わせる工程と、
   ‐スポット像に基づき、前記判定部が、光ビームが欠陥に照射されているか否かを判定する工程と、
   を備えることを特徴とする、顕微鏡画像撮像方法。
3. 請求項１において、前記輝度分布は、前記スポット像における同心円状の回折像の輝度を含む輝度分布であることを特徴とする、顕微鏡画像撮像方法。
4. 請求項１において、前記判定部は、顕微鏡画像および前記スポット像を含む複数の教師データに基づき、光ビームが欠陥に照射されているか否かを判定するための基準を学習することを特徴とする、顕微鏡画像撮像方法。
5. 請求項４において、各前記教師データは、１枚の顕微鏡画像と、前記対物レンズの位置を異ならせた複数のスポット像とを含むことを特徴とする、顕微鏡画像撮像方法。
6. 請求項４において、各教師データは、光ビームが欠陥に照射されているか否かを表すラベルを含み、
   前記判定部は、各教師データについて、その教師データに含まれる顕微鏡画像に基づき、その教師データの前記ラベルを決定する、
   ことを特徴とする、顕微鏡画像撮像方法。
7. 請求項６において、前記判定部は、前記顕微鏡画像の輝度分布、コントラストまたは円形度に基づいて前記ラベルを決定することを特徴とする、顕微鏡画像撮像方法。
8. 請求項１において、ｂ）光ビームが欠陥に照射されていないと判定された場合には、前記顕微鏡画像撮像装置がその時点の前記移動機構の状態を記憶することを特徴とする、顕微鏡画像撮像方法。
9. 請求項１において、前記判定部は、オートフォーカス処理の実行中に検出される複数のスポット像に基づいて、光ビームが欠陥に照射されているか否かを判定することを特徴とする、顕微鏡画像撮像方法。
10. 請求項１において、ａ）光ビームが欠陥に照射されていると判定された場合には、
    前記顕微鏡撮像用光源を用いて前記サンプルの顕微鏡画像を撮像する工程と、
    前記判定部が、前記顕微鏡画像に基づき、欠陥が撮像されているか否かを判定する工程と、
    欠陥が撮像されていると判定された場合に、前記移動機構が前記容器を前記対物レンズに対して前記光ビームの光軸と直交する方向に移動する工程と、
    を備えることを特徴とする、顕微鏡画像撮像方法。
11. 請求項１０において、前記判定部は、前記顕微鏡画像の輝度分布、コントラストまたは円形度に基づいて、欠陥が撮像されているか否かを判定することを特徴とする、顕微鏡画像撮像方法。
12. 顕微鏡画像撮像装置において、請求項１に記載の方法を実行することを特徴とする、顕微鏡画像撮像装置。

Images