JP2024059329A - 顕微鏡システム - Google Patents

Abstract

【課題】顕微鏡の視野内に存在する対象物を見逃すことなく素早く発見する。【解決手段】顕微鏡システム１は、対象物を含む試料を試料の鉛直上方から観察する顕微鏡１００と、試料を試料の鉛直上方から撮影するカメラ２００と、試料を試料の鉛直下方から撮影するカメラ３００と、カメラ２００で取得した第１画像とカメラ３００で取得した第２画像の少なくとも一方に対して物体検出を行い、対象物の存在が推定された存在領域を特定する情報を含む補助画像を出力する処理装置５００と、顕微鏡１００の光路上に形成される試料の光学画像上に処理装置５００が出力した補助画像を重ねるＡＲディスプレイ４００と、を備える。【選択図】図１

Description

本明細書の開示は、顕微鏡システムに関する。

晩婚化・晩産化が進む現在、不妊治療を受ける患者の数は増加しており、生殖補助医療（ＡＲＴ：Ａｓｓｉｓｔｅｄ Ｒｅｐｒｏｄｕｃｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙ）の需要もますます高まっている。

ＡＲＴは、体外受精（ＩＶＦ：Ｉｎ ｖｉｔｒｏ ｆｅｒｔｉｌｉｚａｔｉｏｎ）や、卵細胞質内精子注入法（ＩＣＳＩ：Ｉｎｔｒａｃｙｔｏｐｌａｓｍｉｃ ｓｐｅｒｍ ｉｎｊｅｃｔｉｏｎ）に代表される顕微授精など、ヒトから取り出した卵子と精子を体外で受精させる技術の総称であり、採取した精子を子宮に注入し体内で卵子と受精させる一般的な人工授精とは区別される。

ＡＲＴに関連する技術は、例えば、特許文献１に記載されている。特許文献１には、ＡＲＴの一種である顕微授精に好適な顕微鏡が記載されている。

国際公開第２０１２／１５０６８９号

ところで、卵子と精子を体外で受精させるＡＲＴでは、予め母体から卵子を取り出す必要がある。このため、医師が卵巣内の卵胞から卵胞液を採取し（これを採卵という。）、胚培養士が採取された卵胞液から卵子を見つけ出して回収する（これを検卵という）、といった作業が行われる。

採卵において採取された卵胞液中から卵子を見逃すことなく見つけ出して回収することは容易ではない。これは、卵胞から採取された卵胞液には卵子以外にも血液やその他の組織片など様々な細胞が含まれているためである。このため、卵子を正しく認識して回収することは熟練者であっても必ずしも容易ではなく、経験の浅い胚培養士にとっては困難な作業である。

また、検卵には実体顕微鏡が用いられるため、卵子を含む卵胞液は、検卵中インキュベータから取り出されて室内の雰囲気下で暴露される。卵子が暴露される期間は短ければ短いほどよい。従って、胚培養士には、検卵を可能な限り素早く、且つ、確実に行うことが求められる。

検卵を例に説明したが、上記のような顕微鏡の視野内から素早く確実に対象物を発見するという技術的な課題は、検卵に限らず、生体試料中から任意の対象物を探し出す作業において生じ得る。以上のような実情を踏まえ、本発明の一側面に係る目的は、顕微鏡の視野内に存在する対象物を見逃すことなく素早く発見することを可能とする技術を提供することである。

本発明の一態様に係る顕微鏡システムは、対象物を含む試料を前記試料の鉛直上方から観察する顕微鏡と、前記試料を前記試料の鉛直上方から撮影する第１イメージング装置と、前記試料を前記試料の鉛直下方から撮影する第２イメージング装置と、前記第１イメージング装置で取得した第１画像と前記第２イメージング装置で取得した第２画像の少なくとも一方に対して物体検出を行い、前記対象物の存在が推定された存在領域を特定する情報を含む補助画像を出力する処理装置と、前記顕微鏡の光路上に形成される前記試料の光学画像上に前記処理装置が出力した前記補助画像を重ねる重畳装置と、を備える。

上記の態様によれば、顕微鏡の視野内に存在する対象物を見逃すことなく素早く発見することができる。

第１の実施形態に係る顕微鏡システムを例示した図である。 容器内の試料を例示した図である。 図２に示す試料観察時における補助画像の表示例を示した図である。 容器内の試料を別の例を示した図である。 図４に示す試料観察時における補助画像の表示例を示した図である。 容器内の試料をさらに別の例を示した図である。 図６に示す試料観察時における補助画像の表示例を示した図である。 ＡＲサポート設定の変更例を示した図である。 第２の実施形態に係る顕微鏡システムを例示した図である。 図９に示す顕微鏡システムにおける照明と露光に関するタイミングチャートの一例を示した図である。 第３の実施形態に係る顕微鏡システムの照明光の波長について説明するための図である。 第４の実施形態に係る顕微鏡システムを例示した図である。 処理装置を実現するためのコンピュータのハードウェア構成を例示した図である。 教師データについて説明するための図である。

（第１の実施形態）
図１は、本実施形態に係る顕微鏡システム１を例示した図である。顕微鏡システム１は、接眼レンズ１１１を覗いて試料を観察するためのシステムであり、図１に示すように、顕微鏡１００と、２つのカメラ（カメラ２００、カメラ３００）と、ＡＲディスプレイ４００と、処理装置５００を備えている。以下では、検卵に用いる場合を例にして顕微鏡システム１を説明する。この場合、試料は、容器Ｃに収容された卵胞液である。顕微鏡システム１は、卵胞液の中から卵子を見つけ出す利用者の作業を接眼レンズ１１１の視野内へのＡＲ表示を用いて支援する。

顕微鏡１００は、卵子を含む卵胞液を試料の鉛直上方から観察する正立顕微鏡である。顕微鏡１００は、より具体的には、双眼鏡筒１１０を備える実体顕微鏡であり、対物レンズ１０２によって作られる互いに平行な２つの観察光路（右目用光路と左目用光路）を有している。顕微鏡１００は、接眼レンズ１１１を覗くことで試料を立体的に観察することが可能なため、検卵における卵子のピックアップ作業に好適である。

カメラ２００とカメラ３００は、それぞれ撮像素子を備えたデジタルカメラである。撮像素子は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの二次元イメージセンサである。

カメラ２００は、試料を試料の鉛直上方から撮影する第１イメージング装置である。カメラ２００は、対物レンズ１０２と接眼レンズ１１１の間の光路上に配置されたビームスプリッタ２０１を用いることで、顕微鏡１００と同じ方向から試料を撮影する。一方で、カメラ３００は、試料を試料の鉛直下方から撮影する第２イメージング装置である。カメラ２００とカメラ３００で取得した画像は、処理装置５００へ出力される。

処理装置５００は、カメラ２００で取得した第１の画像とカメラ３００で取得した第２の画像の少なくとも一方に基づいて補助画像を生成し、生成した補助画像をＡＲディスプレイ４００へ出力する。補助画像は、対象物の存在が推定された存在領域を特定する情報を含んでいる。具体的には、処理装置５００は、第１の画像と第２の画像の少なくとも一方に対して物体検出を行い、対象物（この例では卵子）の存在が推定された存在領域を特定する情報を含む補助画像を出力する。

処理装置５００が行う物体検出は、深層学習で対象物を学習したニューラルネットワークを用いた学習済みモデルを用いて行われる。なお、学習済みモデルは、ＣＮＮなどのニューラルネットワークを用いていればよく、さらに、ＳＶＭなどを用いてもよい。検卵作業を行う例では、処理装置５００は、卵子を学習した学習済みモデルを用いて物体検出を行えばよい。処理装置５００は、第１の画像と第２の画像の少なくとも一方に対して物体検出を行い、卵子の存在が推定された存在領域を特定する情報を含む補助画像を出力すればよい。ただし、後述するように、様々な環境で高い精度の推定を行うためには、第１の画像と第２の画像のそれぞれに対して物体検出を行い、存在領域を特定する情報を含む補助画像を出力することが望ましい。なお、物体検出のアルゴリズムは、特に限定しない。既知の任意のアルゴリズムが採用され得る。

ＡＲディスプレイ４００は、顕微鏡１００の光路上に形成される試料の光学画像上に処理装置５００が出力した補助画像を重ねる重畳装置である。より具体的には、ＡＲディスプレイ４００は、卵胞液から卵子を見つけ出す検卵作業中に、卵子が存在する領域を特定する情報を含む補助画像を、卵胞液の光学画像上に重畳する。これにより、検卵作業中の胚培養士が卵子を探す作業を支援する。

ＡＲディスプレイ４００は、例えば、液晶ディスプレイであるが、例えば、デジタルミラーデバイスなどのＭＥＭＳであってもよい。ＡＲディスプレイ４００は、図示しない投影光学系とともに、ＡＲディスプレイ４００に表示した補助画像を観察光路上の像面に投影する投影装置を構成してもよい。なお、観察光路上の像面は、試料の光学画像が形成される面であり、例えば、結像レンズ１１２と接眼レンズ１１１の間にある。

図１では、ＡＲディスプレイ４００は観察光路から分岐した光路上に配置され、ＡＲディスプレイ４００から出射した光が観察光路上に配置されたビームスプリッタ４０１によって観察光路に合流する例を示した。しかしながら、ＡＲディスプレイ４００は、像面に補助画像を重畳するものであればよく、投影装置を構成するものに限らない。例えば、ＡＲディスプレイ４００が透過型液晶ディスプレイであれば、像面に配置されてもよい。この場合、ＡＲディスプレイ４００が像面に直接表示した補助画像が光学画像上に重なることになる。

以下、顕微鏡１００の構成についてさらに詳細に説明する。顕微鏡１００は、ステージ１０１と、対物レンズ１０２と、コンデンサレンズ１０３と、結像レンズ１０４と、双眼鏡筒１１０と、照明装置１２０と、照明装置１３０と、ズームレンズ１４０を備えている。

照明装置１２０は、試料の鉛直下方から試料に照明光を照射する第１照明装置である。照明装置１２０は、光源１２１とビームスプリッタ１２２を備えている。光源１２１から出射した照明光は、ビームスプリッタ１２２及びコンデンサレンズ１０３を経由して、試料を下方から照明する。

顕微鏡１００では、照明装置１２０による透過照明光を利用して試料を観察する。これは、対象物である卵子が透明な位相物体だからである。具体的には、試料を透過し対物レンズ１０２へ入射した光は、ズームレンズ１４０へ経由して双眼鏡筒１１０に入射し、双眼鏡筒１１０に設けられた結像レンズ１１２によって結像する。これにより、顕微鏡システム１の利用者は、接眼レンズ１１１を覗くことで、結像レンズ１１２が像面に形成した試料の光学画像を接眼レンズ１１１で拡大して観察することができる。

また、カメラ２００でも、照明装置１２０による透過照明光を利用して試料を撮影する。透過光を利用する理由は、顕微鏡１００と同様である。具体的には、試料を透過し対物レンズ１０２へ入射した光の一部が、ズームレンズ１４０とビームスプリッタ２０１を経由してカメラ２００へ入射し、カメラ２００での撮影に利用される。

照明装置１３０は、試料の鉛直上方から試料に照明光を照射する第２照明装置である。照明装置１３０は、光源１３１とビームスプリッタ１３２を備えている。光源１３１から出射した照明光は、ビームスプリッタ１３２、ズームレンズ１４０及び対物レンズ１０２を経由して、試料を上方から照明する。

カメラ３００では、照明装置１３０による透過照明光を利用して試料を撮影する。透過光を利用する理由は、顕微鏡１００と同様である。具体的には、試料を透過しコンデンサレンズ１０３へ入射した光を結像レンズ１０４でカメラ３００上に結像する。カメラ３００は、結像レンズ１０４経由で入射した光を利用して試料を撮影する。

以上の様に構成された顕微鏡システム１は、試料を鉛直上方から撮影するカメラ２００と試料を鉛直下方から撮影するカメラ３００を有している。このように２方向、特に、鉛直上方と下方の２方向にカメラを有することで、顕微鏡システム１の利用者は、顕微鏡１００の視野内に存在する対象物（卵子）を見逃すことなく素早く発見することが可能である。以下、この点について図２から図７を参照しながら説明する。

図２は、容器内の試料を例示した図である。図２は、卵胞液Ｓ２内において卵子Ｓ１と組織片Ｓ３が観察方向（鉛直方向）において重なっていない場合を例示している。この場合、図３に示すように、カメラ２００で取得した画像Ｄ１とカメラ３００で取得した画像Ｄ２は、どちらも卵子Ｓ１を比較的高いコントラストで捉えることができる。このため、処理装置５００では、どちらの画像に対して物体検出を行っても卵子Ｓ１を高い精度で検出可能であり、図３に示すような卵子Ｓ１の位置や大きさを示すバウンディングボックスを含む補助画像Ｄ３を生成することができる。

ＡＲディスプレイ４００が処理装置５００から出力された補助画像Ｄ３を試料Ｓの光学画像に重畳することで、利用者が接眼レンズ１１１を覗いてみる図３に示す顕微鏡１００の視野Ｆ内において、光学画像とバウンディングボックスＢが重なって表示される。これにより、胚培養士などの利用者は、顕微鏡１００の視野内に存在する卵子Ｓ１を見逃すことなく素早く発見することができる。

なお、図２に示すように、組織片Ｓ３が卵子Ｓ１を遮る位置にない場合には、光学画像だけでも利用者は卵子Ｓ１を発見可能である。ただし、バウンディングボックスＢが表示されることでより素早く卵子Ｓ１の存在に気付くことができる。

また、組織片Ｓ３が重なっていない場合でも、卵胞液Ｓ２に血液などが混じっているなどの理由で卵子Ｓ１が見えづらいといった事態も生じ得る。処理装置５００が行う物体検出に深層学習などで十分に卵子の特徴を学習したモデルを利用することで、人間であれば熟練者でなければ卵子と特定することが難しい画像からでも高精度に卵子の存在を推定することができる。従って、組織片Ｓ３が卵子Ｓ１を遮る位置にない場合でも、補助画像を用いることで利用者の検卵作業を支援することができる。

図４は、容器内の試料の別の例を示した図である。図４は、卵胞液Ｓ２内において卵子Ｓ１と組織片Ｓ３が観察方向において重なっている場合、特に、卵子Ｓ１に対して組織片Ｓ３が鉛直上方に位置する場合を例示している。卵子Ｓ１は採取された卵胞液Ｓ２内において、底面に沈んでいることが多い。これに対して、検卵では、卵子Ｓ１をピックアップするために卵子Ｓ１を立体視可能な実体顕微鏡が用いられるため、観察は鉛直上方向から行われる。このような観察環境においては、卵胞液Ｓ２の表面に浮遊している組織片Ｓ３が容器Ｃ底面付近に沈んだ卵子Ｓ１の上方に位置すると、光学画像上では、卵子Ｓ１が組織片Ｓ３の影に隠れてしまい、全く見えない又はコントラスト良く観察できない。

この点は、図５に示すように、カメラ２００で取得した画像Ｄ１１についても同様である。しかしながら、図５に示すように、カメラ３００で取得した画像Ｄ１２では、卵子Ｓ１と組織片Ｓ３の深さ方向の位置関係が画像Ｄ１１とは逆転しているため、卵子Ｓ１を比較的高いコントラストで捉えることができる。従って、処理装置５００では、少なくとも画像Ｄ１２に対する物体検出を行うことで卵子Ｓ１を高い精度で検出可能であり、図５に示すような卵子Ｓ１の位置や大きさを示すバウンディングボックスを含む補助画像Ｄ１３を生成することができる。

ＡＲディスプレイ４００が処理装置５００から出力された補助画像Ｄ１３を試料Ｓの光学画像に重畳することで、利用者が接眼レンズ１１１を覗いてみる図５に示す顕微鏡１００の視野Ｆ内において、光学画像とバウンディングボックスＢが重なって表示される。これにより、胚培養士などの利用者は、光学画像上では組織片Ｓ３の存在によって卵子Ｓ１が視認しづらい状態であっても卵子Ｓ１の存在に容易に気付くことが可能である。このため、組織片Ｓ３などをよけて卵子Ｓ１をピペットなどで素早く採取することが可能できる。

図６は、容器内の試料のさらに別の例を示した図である。図６は、卵胞液Ｓ２内において卵子Ｓ１の鉛直上下両方向に組織片（組織片Ｓ３、組織片Ｓ４）が重なっている場合を例示している。組織片Ｓ４は卵子Ｓ１と同様に底面に沈んでいる場合があるため、図６に示すように、卵子Ｓ１の上下に組織片が位置する状況も起こり得る。このような観察環境においては、図７に示すように、光学画像上だけではなくカメラで撮影した画像（画像Ｄ２１、画像Ｄ２２）上でも、卵子Ｓ１が組織片Ｓ３の影に隠れてしまい、コントラスト良く観察できない。

しかしながら、処理装置５００では、卵子Ｓ１の一部でも見えれば卵子Ｓ１の存在を推定可能である。また、画像Ｄ２１、画像Ｄ２２に対する物体検出で得られた存在領域の確率が低い場合であっても、２枚の画像から得られた存在領域が実質的に一致している場合には、それぞれで算出された確率よりも高い確率で卵子が存在すると見做し得る。このように、処理装置５００は、上下両方から撮影した画像に対するそれぞれの物体検出結果を合成して存在領域（卵子Ｓ１の位置や大きさ）を特定してもよい。処理装置５００は、特定した卵子Ｓ１の位置や大きさを示すバウンディングボックスを含む補助画像Ｄ２３を生成してもよい。

ＡＲディスプレイ４００が処理装置５００から出力された補助画像Ｄ２３を試料Ｓの光学画像に重畳することで、利用者が接眼レンズ１１１を覗いてみる図７に示す顕微鏡１００の視野Ｆ内において、光学画像とバウンディングボックスＢが重なって表示される。これにより、胚培養士などの利用者は、光学画像上では組織片Ｓ３、Ｓ４の存在によって卵子Ｓ１が視認しづらい状態であっても卵子Ｓ１の存在に容易に気付くことが可能である。このため、組織片Ｓ３、Ｓ４などをよけて卵子Ｓ１をピペットなどで素早く採取することが可能できる。

以上の例で示すように、卵子をコントラスト良く撮影できる方向は、試料の状態によって異なり得る。この点に関して、顕微鏡システム１では、鉛直上方から撮影するカメラ２００と鉛直下方から撮影するカメラ３００の両方を備えることで、コントラスト良く卵子を撮影できる可能性を大幅に高めることができる。さらに、顕微鏡システム１では、カメラ２００で取得した画像とカメラ３００で取得した画像の両方に対して物体検出を行って存在領域を特定してもよい。図２、図４、図６では、卵子はシャーレの下に沈んでいる例で説明した。卵子は卵胞液よりも重いためシャーレの下側にいることが多いが、上方にいることもある。その場合、卵胞液に血液が混入していると卵子を下側から見るより、上側から見る方が見やすい場合もありえる。このような場合、鉛直下方から撮影するカメラ２００と鉛直下方から撮影するカメラ３００の両方を持つことでより卵子の見落としを防ぐことができる。これにより、特に、それぞれの画像単体からでは高い精度の検出結果が得られにくい環境においても、２枚の画像の物体検出結果を用いてそれぞれの画像から得られる検出結果よりも高精度な結果を得ることができる。従って、顕微鏡システム１によれば、試料内における卵子の状況によらず、卵子を高い確率で素早く発見することが可能であり、従来に比べて卵子の見逃しを大幅に減らすことができる。

本実施形態では、カメラ２００で撮影した画像とカメラ３００で撮影した画像の両方に対して物体検出を行う例を示したが、物体検出結果を用いた検卵支援の内容は、適宜切り替わってもよい。即ち、補助画像に含まれる情報が、顕微鏡システム１の設定に応じて、少なくとも、第１画像に対する物体検出により存在領域を特定した第１情報と、第２画像に対する物体検出により存在領域を特定した第２情報と、第１画像に対する物体検出と第２画像に対する物体検出の両方により存在領域を特定した第３情報、の間で切り替わってもよい。これらは、例えば、予め決められた作業内容や観察対象に応じて自動的に切り替わってもよい。例えば、検卵のように対象物が静止している場合には、処理装置５００は、第３情報を含む補助画像を生成してもよい。一方で、精子の選別作業のように対象物（精子）が動くものの場合には、処理装置５００は、第１情報又は第２情報を含む補助画像を生成することで、処理装置５００の計算量を抑えてもよい。

また、このような切り替えは利用者の操作に従って行われてもよい。顕微鏡システム１は、少なくとも、試料の鉛直上方からの撮影による第１サポートと、試料の鉛直下方からの撮影による第２サポートと、試料の鉛直上方からの撮影と前記試料の鉛直下方からの撮影による第３サポート、の中からの利用者による選択を受け付ける操作装置を備えてもよい。そして、処理装置５００は、利用者が操作装置を用いて行う選択に応じて、補助画像に含まれる情報を上述した第１情報、第２情報、第３情報の間で切り替えてもよい。

なお、操作装置は、例えば、処理装置５００に接続される任意の入力装置であってもよく、例えば、キーボードやマウスなどであってもよい。また、操作装置は、顕微鏡１００に設けられてもよく、例えば、接眼レンズ１１１を覗きながら操作しやすいように双眼鏡筒１１０に設けられてもよい。顕微鏡１００に設けられた操作装置への入力を処理装置５００へ出力することで、処理装置５００が利用者による選択を検出してもよい。

また、補助画像に現在のサポート設定を表す情報を含めることで、顕微鏡１００の視野内にサポート設定を表示してもよい。図８は、サポート設定の変更例を示した図である。処理装置５００は、顕微鏡システム１により検卵支援が行われているかどうかを示す情報Ｃ１と、検卵支援の種類を示す情報Ｃ２を含む補助画像を生成し、ＡＲディスプレイ４００へ出力してもよい。これにより、図８に示すように、利用者は、接眼レンズ１１１から目を離すことなく現在の支援状況を把握することができる。また、情報Ｃ２をソフトウェアボタンとして利用してもよい。情報Ｃ２を上述した操作装置（例えば、マウス）を用いて押下することで、図８に示すように、「上方」、「下方」、「両方」などサポート設定の種類が切り替わってもよい。例えば、処理装置５００に接続されたマウスを操作することで、マウスポインターが視野内に表示されてもよく、マウスポインターを情報Ｃ２に合わせた状態でクリック操作を行うことでサポート設定が切り替わってもよい。

（第２の実施形態）
図９は、本実施形態に係る顕微鏡システム２を例示した図である。本実施形態に係る顕微鏡システム２は、照明装置１２０と照明装置１３０の発光が処理装置５００によって制御される点が、顕微鏡システム１とは異なっている。その他の点は、顕微鏡システム１と同様である。

顕微鏡システム１では、検卵時に照明装置（照明装置１２０、照明装置１３０）の電源をＯＮにすると、その後、照明装置（照明装置１２０、照明装置１３０）が常時発光し、顕微鏡１００での観察と２方向からの撮影が同時に行われる例を示した。これに対して、顕微鏡システム２では、処理装置５００が照明装置１２０と照明装置１３０を制御することで、照明装置１２０と照明装置１３０を同時に発光させない。この点が、顕微鏡システム１とは大きく異なっている。このような発光制御を行う理由は、反射光（迷光）による画像のコントラスト低下を避けるためである。

図１０は、図９に示す顕微鏡システム２における照明と露光に関するタイミングチャートの一例を示した図である。以下、図１０を参照しながら、以下、顕微鏡システム２で行われる発光制御と露光制御について説明する。

顕微鏡システム２では、処理装置５００は、図１０に示すように、照明装置１２０と照明装置１３０が試料に照明光を交互に照射するように、照明装置１２０と照明装置１３０を制御する。図１０には、光源１２１と光源１３１が時間的に交互に発光している様子が示されている。さらに、処理装置５００は、図１０に示すように、カメラ２００とカメラ３００の露光期間を照明装置１２０と照明装置１３０の発光期間に合わせて制御する。つまり、カメラ２００は、照明装置１２０の発光期間中に試料を撮影し、カメラ３００は、照明装置１３０の発光期間中に試料を撮影する。

照明装置１３０からの照明光の殆どは試料に照射される。しかし、一部の光は、試料に至る途中の光学素子で反射する。例えば、ズームレンズ１４０や対物レンズ１０２で反射した光（迷光）がビームスプリッタ２０１を反射してカメラ２００に入射すると、透過照明を用いてカメラ２００で撮影した試料の画像のコントラストが低下してしまう。なお、この点は、照明装置１２０から照明光を発光中にカメラ３００で撮影する場合も同様である。

画像のコントラストの低下は物体検出に悪影響を及ぼし兼ねないため、迷光によるコントラスト低下は避けることが望ましい。この点を踏まえて、顕微鏡システム２では、処理装置５００で発光制御を行うことにより、カメラ２００の撮影期間中に照明装置１３０の発光が停止される。また、カメラ３００の撮影期間中に照明装置１２０の発光が停止される。従って、顕微鏡システム２によれば、迷光による撮影画像のコントラスト低下を避けることが可能であり、ひいては補助画像によるＡＲ表示の信頼性を高めることができる。

なお、図１０では、カメラ２００の露光期間と照明装置１２０の発光期間が一致し、カメラ３００の露光期間と照明装置１３０の発光期間が一致する例を示したが、カメラの露光期間は、照明装置の発光期間内に収まっていればよく、必ずしも一致しなくてもよい。

また、顕微鏡システム２では、処理装置５００は、図１０に示すように、照明装置１２０の発光期間ｄ１が照明装置１３０の発光期間ｄ２よりも長くなるように、照明装置１２０と照明装置１３０を制御する。照明装置１２０の発光期間ｄ１中は、カメラ２００による撮影だけではなく顕微鏡１００による観察も行うことができる。発光期間ｄ１を発光期間ｄ２よりも長くなるように制御することで、利用者の観察用の照明が停止される期間を短くすることができる。なお、発光期間ｄ２を利用者が消灯を把握できない程度に短くすることで観察に及ぼす悪影響を実質的に回避することができる。

（第３の実施形態）
図１１は、本実施形態に係る顕微鏡システムの照明光の波長について説明するための図である。本実施形態に係る顕微鏡システムは、カメラ２００とカメラ３００で撮影に用いる光の波長が異なる点が顕微鏡システム１とは異なっている。その他の点は、顕微鏡システム１と同様である。

本実施形態に係る顕微鏡システムでは、顕微鏡システム１と同様に、検卵時に照明装置１２０と照明装置１３０が常時発光し、顕微鏡１００での観察と２方向からの撮影が同時に行われる。ただし、照明装置１２０と照明装置１３０が異なる波長の照明光を試料に照射する。具体的には、照明装置１２０は、試料の鉛直下方から試料に可視光（図１１に示すラインＬ１参照）を照射し、カメラ２００は、その可視光で試料を撮影する。また、照明装置１３０は、試料の鉛直上方から試料に、近赤外光（図１１に示すラインＬ２参照）を照射し、カメラ３００は、その近赤外光で試料を撮影する。なお、カメラ２００は、可視域に高い感度を有するカメラであり、カメラ３００は、近赤外域に高い感度を有するカメラである。

カメラ２００とカメラ３００で撮影に使用する波長を分けることで、一方のカメラに他方のカメラで撮影に使用する光が迷光として入射した場合であっても、カメラに設けられたフィルタ等で迷光を遮断することが可能である。また、カメラ２００の前に近赤外光カットフィルタを配置し、カメラ３００の前に可視光カットフィルタを配置してもよい。フィルタを配置することでよりコントラストの高いカメラ画像を得ることが可能となる。このため、顕微鏡システム１の場合とは異なり、２方向から同時に照明及び撮影を行っても、画像のコントラストが低下することを防止することができる。

また、本実施形態に係る顕微鏡システムでは、検卵中に照明光が停止することがないため、接眼レンズ１１１を介した観察中に利用者が違和感を感じる虞がない。また、接眼レンズ１１１に入射する迷光は人間の目が感度を有しない近赤外光であるため、目視観察の光学画像のコントラストの低下も生じない。

本実施形態に係る顕微鏡システムによれば、顕微鏡システム１と顕微鏡システム２と同様に、利用者による検卵を支援することができる。さらに、本実施形態に係る顕微鏡システムによれば、観察と２方向からの撮影を同時に行っても、観察と撮影の何れにおいても画像のコントラスト低下を引き起こすことなく、良好な画像を得ることができる。

なお、本実施形態では、可視光と近赤外光を使用する例を示したが、可視光と非可視光とを組み合わせて使用すればよく、近赤外光の代わりにその他の非可視光、例えば、紫外光を用いられてもよい。

（第４の実施形態）
図１２は、本実施形態に係る顕微鏡システム４を例示した図である。本実施形態に係る顕微鏡システム４は、ズームカプラ１４１が処理装置５００に接続されている点が、顕微鏡システム１とは異なっている。その他の点は、顕微鏡システム１と同様である。ズームカプラ１４１が処理装置５００で接続されることで、顕微鏡システム４では、利用者がズームカプラ１４１を操作して行ったズーム倍率の変更を処理装置５００が把握することができる。

ズーム倍率が変更されると、顕微鏡１００の光学倍率（光学画像の倍率）とカメラ２００で取得した第１画像の倍率は同じだけ変化するが、カメラ３００で取得した第２画像の倍率は変化しない。このため、３つの画像間の倍率の関係が変化してしまう。

そこで、顕微鏡システム４では、処理装置５００は、第２画像に対して顕微鏡１００の光学倍率に応じた範囲をトリミングして拡大するデジタルズーム処理を実行し、第２画像の倍率を調整する。これにより、ズーム倍率変更前における光学画像と第１画像と第２画像の倍率比とズーム倍率変更後における光学画像と第１画像と第２画像の倍率比を一定に保つことができる。倍率比が一定であれば、ズーム倍率が変更されても、第２画像上で発見された卵子の位置を光学画像上の正しい位置に容易に変換することができる。従って、倍率が変わっても正しい位置にバウンディングボックスを表示することができる。

本実施形態に係る顕微鏡システムによれば、第１から第３の実施形態に係る顕微鏡システム１と同様に、利用者による検卵を支援することができる。さらに、本実施形態に係る顕微鏡システム４によれば、顕微鏡１００の光学倍率の変更に伴う混乱を回避することが可能であり、光学倍率によらず、検卵を正しく支援することができる。

なお、本実施形態では、ズーム倍率を変更することで、顕微鏡１００の光学倍率を変更する例を示したが、光学倍率の変更は対物レンズを変更することで行われてもよい。この場合も、対物レンズを保持するレボルバに対物レンズを検出する構成を設けて検出結果を処理装置５００へ出力することで、同様の効果を得ることができる。

また、本実施形態では、デジタルズーム処理を処理装置５００が行う例を示したが、デジタルズーム処理は、カメラ３００で行われてもよい。この場合、処理装置５００は、顕微鏡１００の光学倍率に応じたデジタルズーム倍率を、カメラ３００に設定すればよく、デジタルズーム処理が行われた後の第２画像をカメラ３００から取得してもよい。カメラ３００でデジタルズーム処理が行われた場合も処理装置５００で行われた場合と同様の効果を得ることができる。

図１３は、処理装置５００を実現するためのコンピュータ１０００のハードウェア構成を例示した図である。図１３に示すハードウェア構成は、例えば、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７を備える。なお、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７は、例えば、バス１００８を介して互いに接続されている。

プロセッサ１００１は、任意の電気回路であり、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ１００１は、記憶装置１００３に格納されているプログラムを読み出して実行することで、上述した補助画像をＡＲ表示する処理を行ってもよい。

メモリ１００２は、例えば、半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１００３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。

読取装置１００４は、例えば、プロセッサ１００１の指示に従って記憶媒体１００５にアクセスする。記憶媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ等（Ｂｌｕ－ｒａｙは登録商標）である。

通信インタフェース１００６は、例えば、プロセッサ１００１の指示に従って、他の装置と通信する。入出力インタフェース１００７は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどの操作装置であってもよい。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。

プロセッサ１００１が実行するプログラムは、例えば、下記の形態でコンピュータ１０００に提供される。
（１）記憶装置１００３に予めインストールされている。
（２）記憶媒体１００５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図１３を参照して述べた処理装置を実現するためのコンピュータ１０００のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の電気回路の一部または全部の機能がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによるハードウェアとして実装されてもよい。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

上述した実施形態では、物体検出モデルについて深層学習で卵子を学習したモデルとして説明したが、検卵時の卵子は、卵子単独で存在せず、通常は放射冠細胞と卵丘細胞に覆われている。このため、物体検出モデルの学習に用いられた教師データは、図１４に示すような、卵子Ｅ１とともに放射冠細胞Ｅ３や卵丘細胞Ｅ４が写っている画像データ（画像データＴ１、画像データＴ２）であることが望ましい。より具体的には、教師データは、アノテーションツールを用いて画像中の放射冠細胞Ｅ３に囲まれた卵子Ｅ１がラベル付けされた画像データであることが望ましい。なお、Ｅ２は透明帯である。このような教師データを用いることで、検卵作業における卵子の検出精度がより高まることが期待できる。

本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。

１、２、４ ：顕微鏡システム
１００ ：顕微鏡
１１１ ：接眼レンズ
１２０、１３０ ：照明装置
１２１、１３１ ：光源
２００、３００ ：カメラ
４００ ：ＡＲディスプレイ
５００ ：処理装置
１０００ ：コンピュータ
１００１ ：プロセッサ
１００２ ：メモリ
Ｄ３、Ｄ１３、Ｄ２３：補助画像
Ｓ ：試料
Ｓ１ ：卵子
Ｓ２ ：卵胞液
Ｓ３、Ｓ４ ：組織片

Claims (15)

1. 対象物を含む試料を前記試料の鉛直上方から観察する顕微鏡と、
   前記試料を前記試料の鉛直上方から撮影する第１イメージング装置と、
   前記試料を前記試料の鉛直下方から撮影する第２イメージング装置と、
   前記第１イメージング装置で取得した第１画像と前記第２イメージング装置で取得した第２画像の少なくとも一方に対して物体検出を行い、前記対象物の存在が推定された存在領域を特定する情報を含む補助画像を出力する処理装置と、
   前記顕微鏡の光路上に形成される前記試料の光学画像上に前記処理装置が出力した前記補助画像を重ねる重畳装置と、を備える
   ことを特徴とする顕微鏡システム。
2. 請求項１に記載の顕微鏡システムにおいて、
   前記処理装置は、前記第１画像と前記第２画像に対して前記物体検出を行い、前記存在領域を特定する前記情報を含む前記補助画像を出力する
   ことを特徴とする顕微鏡システム。
3. 請求項１に記載の顕微鏡システムにおいて、
   前記補助画像に含まれる前記情報が、前記顕微鏡システムの設定に応じて、少なくとも、前記第１画像に対する前記物体検出により前記存在領域を特定した第１情報と、前記第２画像に対する前記物体検出により前記存在領域を特定した第２情報と、前記第１画像に対する前記物体検出と前記第２画像に対する前記物体検出の両方により前記存在領域を特定した第３情報、の間で切り替わる
   ことを特徴とする顕微鏡システム。
4. 請求項３に記載の顕微鏡システムにおいて、さらに、
   少なくとも、前記試料の鉛直上方からの撮影による第１サポートと、前記試料の鉛直下方からの撮影による第２サポートと、前記試料の鉛直上方からの撮影と前記試料の鉛直下方からの撮影による第３サポート、の中からの利用者による選択を受け付ける操作装置を備え、
   前記処理装置は、前記利用者が前記操作装置を用いて行う選択に応じて、前記補助画像に含まれる前記情報を前記第１情報、前記第２情報、前記第３情報の間で切り替える
   ことを特徴とする顕微鏡システム。
5. 請求項１に記載の顕微鏡システムにおいて、
   前記処理装置は、前記第２画像に対して前記顕微鏡の光学倍率に応じた範囲をトリミングして拡大するデジタルズーム処理を実行する
   ことを特徴とする顕微鏡システム。
6. 請求項１に記載の顕微鏡システムにおいて、
   前記処理装置は、前記顕微鏡の光学倍率に応じたデジタルズーム倍率を、前記第２イメージング装置に設定する
   ことを特徴とする顕微鏡システム。
7. 請求項１に記載の顕微鏡システムにおいて、
   前記顕微鏡は、
   前記試料の鉛直下方から前記試料に照明光を照射する第１照明装置と、
   前記試料の鉛直上方から前記試料に照明光を照射する第２照明装置と、を備え、
   前記第１イメージング装置は、前記第１照明装置の発光期間中に前記試料を撮影し、
   前記第２イメージング装置は、前記第２照明装置の発光期間中に前記試料を撮影する
   ことを特徴とする顕微鏡システム。
8. 請求項７に記載の顕微鏡システムにおいて、
   前記処理装置は、前記第１照明装置と前記第２照明装置が前記試料に前記照明光を交互に照射するように、前記第１照明装置と前記第２照明装置を制御する
   ことを特徴とする顕微鏡システム。
9. 請求項８に記載の顕微鏡システムにおいて、
   前記処理装置は、前記第１照明装置の発光期間が前記第２照明装置の発光期間よりも長くなるように、前記第１照明装置と前記第２照明装置を制御する
   ことを特徴とする顕微鏡システム。
10. 請求項１に記載の顕微鏡システムにおいて、
    前記顕微鏡は、
    前記試料の鉛直下方から前記試料に可視光を照射する第１照明装置と、
    前記試料の鉛直上方から前記試料に非可視光を照射する第２照明装置と、を備え、
    前記第１イメージング装置は、前記可視光で前記試料を撮影し、
    前記第２イメージング装置は、前記非可視光で前記試料を撮影する
    ことを特徴とする顕微鏡システム。
11. 請求項１０に記載の顕微鏡システムにおいて、
    前記第２照明装置が前記試料に照射する前記非可視光は、近赤外光を含む
    ことを特徴とする顕微鏡システム。
12. 請求項１に記載の顕微鏡システムにおいて、
    前記試料は、卵胞液であり、
    前記対象物は、卵子であり、
    前記重畳装置は、前記卵胞液から前記卵子を見つけ出す検卵作業中に、前記卵子が存在する領域を特定する情報を含む前記補助画像を、前記卵胞液の光学画像上に重畳する
    ことを特徴とする顕微鏡システム。
13. 請求項１２に記載の顕微鏡システムにおいて、
    前記顕微鏡は、実体顕微鏡である
    ことを特徴とする顕微鏡システム。
14. 請求項１に記載の顕微鏡システムにおいて、
    前記処理装置が行う前記物体検出は、深層学習で前記対象物を学習したニューラルネットワークを用いた学習済みモデルを用いて行われる
    ことを特徴とする顕微鏡システム。
15. 請求項１４に記載の顕微鏡システムにおいて、
    前記学習済みモデルの学習に用いられた教師データは、画像中の放射冠細胞に囲まれた卵子がラベル付けされた画像データである
    ことを特徴とする顕微鏡システム。

Images