JP6061619B2

JP6061619B2 - 顕微鏡システム

Info

Publication number: JP6061619B2
Application number: JP2012239143A
Authority: JP
Inventors: 宗拓柴田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2017-01-18
Anticipated expiration: 2032-10-30
Also published as: JP2014089321A; US20140118499A1; EP2728392A1; US9482855B2

Description

本発明は、顕微鏡システム、特に、観察対象である標本の３次元画像を構築することが可能な顕微鏡システムに関するものである。

標本の高さ方向の所定間隔毎に撮像された画像に基づいて３次元画像を構築することにより、観察対象である標本全体の把握を行う顕微鏡装置が知られている（例えば、特許文献１）。このような３次元画像を構築する方法として、例えば、ＤＦＦ（ＤｅｐｔｈＦｒｏｍＦｏｃｕｓ）法がある。このＤＦＦ法は、観察対象の高さ方向に焦点位置の異なる複数の画像における同一位置の各画素（注目画素）について、近傍の画素とでの輝度の微分値が最大となるものを特定する。そして、特定された各画素が属している画像の取得時における焦点位置を、その注目画素の高さ情報とすることで、各画像における高さ方向の座標が把握できるため、座標から算出される距離に基づいて３次元画像を得ることができる。この他、ボケを解析して焦点を推定するＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）法によっても３次元画像を構築することができる。
ところで、画像における焦点の検出の際に、標本の濃淡等によるばらつきがノイズ等の異常値として構築する３次元画像に現れるため、平滑化処理を行うことにより異常値の出現を低減させている。

特開２０１０−１１７２２９号公報

しかしながら、上記したＤＦＦ法やＤＦＤ法による焦点検出は、その精度が焦点深度に依存するため、異常値の大きさも焦点深度に依存して変化することとなる。特許文献１に開示された顕微鏡では、異常値の大きさの変化について考慮されていないため、一律に平滑化を行うと標本の観察条件によって平滑化が強すぎてエッジ構造がなまってしまったり、その反対に、平滑化が弱過ぎて異常値が顕著に現れたりして、見栄えの良い３次元画像を構築することができない。

本発明は、上述した事情に鑑みてなされたものであって、焦点深度に応じた適切な平滑化を行い、３次元画像の見栄えを向上させることのできる顕微鏡システムを提供することを目的とする。

上記目的を達成するために、本発明は以下の手段を採用する。
本発明の一態様は、焦点の異なる複数の観察画像を取得する顕微鏡装置と、複数の前記観察画像に基づいて３次元の画像データを構築する３次元画像データ構築部と、前記顕微鏡装置の光学情報に基づいて前記３次元の画像データを平滑化する平滑化強度を算出する平滑化強度算出部と、該平滑化強度算出部により算出された平滑化強度に基づいて、前記３次元の画像データを平滑化する平滑化部と、を備え、前記平滑化強度が、（１）式に基づいて算出される顕微鏡システムを提供する。
α＝焦点深度／視野 …（１）
但し、αは平滑化強度である。

本発明によれば、顕微鏡装置によって取得された焦点の異なる複数の観察画像に基づいて３次元の画像データを構築した際に、３次元画像データの元となる観察画像を取得した顕微鏡装置の光学情報に基づいて平滑化強度を算出するので、焦点深度に応じた適切な平滑化強度によって３次元画像データを平滑化することができる。

このようにすることで、ＸＹ平面の大きさである視野とＺ方向の異常値の大きさである焦点深度の比に基づく平滑化強度によって平滑化するので、３次元画像データが見た目の異常値の大きさに合わせて適切に補正され、見栄えの良い３次元画像を構築することができる。

本発明の他の態様は、焦点の異なる複数の観察画像を取得する顕微鏡装置と、複数の前記観察画像に基づいて３次元の画像データを構築する３次元画像データ構築部と、前記顕微鏡装置の光学情報に基づいて前記３次元の画像データを平滑化する平滑化強度を算出する平滑化強度算出部と、該平滑化強度算出部により算出された平滑化強度に基づいて、前記３次元の画像データを平滑化する平滑化部と、を備え、前記平滑化強度が、（２）式に基づいて算出される顕微鏡システムを提供する。
α＝焦点深度／分解能 …（２）
但し、αは平滑化強度である。
このようにすることで、ＸＹ方向の分解能とＺ方向の分解能である焦点深度の比に基づく平滑化強度によって平滑化するので、ＸＹ方向とＺ方向の分解能の違いによる違和感を軽減させ、見栄えの良い３次元画像を構築することができる。

上記した発明において、前記平滑化部が、（３）式のガウシアンフィルタであることが好ましい。

但し、σはガウシアン強度であって、σ＝ｋα（ｋは定数）である。
このようにすることで、ガウシアン強度σの値に応じて適切に平滑化することができる。

上記した発明において、前記平滑化部は、前記ガウシアン強度σが所定の閾値ｍよりも大きい場合、σ＝ｍを用いた前記（３）式のガウシアンフィルタであることが好ましい。
このようにすることで、ガウシアン強度σの値に応じて適切に平滑化することができる。

本発明によれば、焦点深度に応じた適切な平滑化を行い、３次元画像の見栄えを向上させることができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムの概略構成を示す模式図である。本発明の一実施形態に係る顕微鏡システムにより３次元画像を構築する場合の作用に係るフローチャートである。本発明の一実施形態に係る顕微鏡システムにおいて、ＤＦＦ法により３次元画像を構築する際のフローチャートである。

本発明の一実施形態に係る顕微鏡システムについて、図面を参照して説明する。
図１に示すように、本実施形態に係る顕微鏡システムは、顕微鏡装置１と、顕微鏡装置１と相互に情報を伝送可能に接続され顕微鏡装置１を制御すると共に、顕微鏡装置１において撮像された標本の画像に対して所定の画像処理を行うホストシステム２とを備えている。

顕微鏡装置１は、標本Ｓが載置される電動ステージ６と、電動ステージ６を支持すると共にレボルバ９を介して対物レンズ５を保持する顕微鏡本体８と、標本Ｓに対して所定波長の照明光を出射する光源（例えばハロゲン光源やＬＥＤ光源）７を備え、標本Ｓの標本像を撮像する撮像装置３を備えている。なお、以下の説明において、図１に示す対物レンズ５の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。

電動ステージ６は、標本Ｓを載置する載置面を、この載置面に垂直な方向（Ｚ方向）に移動させるモータ（図示せず）を備え、後述する焦点変更機構制御部１５によってモータを駆動すること載置面をＺ方向に移動させる。

顕微鏡本体８は、標本Ｓを落射照明するための照明光学系を有している。照明光学系は、例えば、光源７から照射された照明光を反射するハーフミラー４等の光学素子が照明光の光路に沿って配置された構成となっている。

レボルバ９は、顕微鏡本体８に対して回転自在に保持され、倍率の異なる複数種類の対物レンズ５を支持している。レボルバ９を回転させることにより所望の対物レンズ５を標本Ｓの上方、かつ、観察光の光路上に配置させることができる。各対物レンズ５は、互いに倍率などの光学特性が異なり、レボルバ９に対して着脱自在となっている。

なお、本実施形態では、レボルバ９は、対物レンズ５として、例えば２倍、５倍といった比較的倍率の低い対物レンズ（以下、適宜「低倍対物レンズ」と呼ぶ）と、２０倍、４０倍、５０倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ（以下、適宜「高倍対物レンズ」と呼ぶ）と、を少なくとも１つずつ保持していることとする。なお、倍率の変更は、対物レンズ５の切り替えに限られず、例えば、ズーム光学系や、ズーム光学系と対物レンズの切り替えによって倍率を変更する構成とすることもできる。

撮像装置３は、標本像を撮像するＣＣＤやＣＭＯＳ等の撮像素子を備えており、撮像装置制御部１４による制御に基づいて、光源７から出射した照明光が、照明光学系によって標本Ｓに照射され、対物レンズに入射する標本Ｓからの戻り光を電気信号に変換することによって標本Ｓの観察像を撮像する。撮像装置３は、撮像した観察像を画像データとして後述するホストシステム２に出力する。

ホストシステム２は、入力部１０、表示部１１、記憶部１２、制御部１３及び画像処理部１６を備えている。
入力部１０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１３に出力する。
表示部１１は、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置を適用することができ、制御部１３から入力される表示信号に基づいて各種画面を表示する。なお、表示部１１がタッチパネル機能を有する場合には、表示部１１を入力部１０として機能させることもできる。

記憶部１２は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の記憶媒体およびその読書装置等を適用することができる。記憶部１２には、ホストシステム２を動作させ、ホストシステム２が備える種々の機能を実現するためのプログラム、例えば、本実施の形態にかかる画像処理プログラムや、このプログラムの実行中に使用されるデータ等が記憶される。

制御部１３は、ホストシステム２を構成する入力部１０、表示部１１、記憶部１２、画像処理部１６への動作タイミングの指示やデータ転送等を行い、各部の動作を統括的に制御すると共に、撮像装置３を制御する撮像装置制御部１４及び電動ステージ６を駆動し制御する焦点変更機構制御部１５を備えている。

撮像装置制御部１４は、顕微鏡装置１の撮像装置３におけるゲインの設定、自動露出制御のＯＮ／ＯＦＦの切り替え、露光時間の設定等を行って撮像装置３を駆動し、撮像装置３の撮像動作を制御する。

焦点変更機構制御部１５は、図示しない原点センサによって電動ステージ６のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータの駆動量を制御する。これにより、所定の高さ範囲内の任意のＺ方向の位置に標本Ｓを移動させて、標本Ｓの焦点を調節する。そして、電動ステージ６のＺ方向の位置は適宜焦点変更機構制御部１５に出力される。

画像処理部１６は、画像処理装置として機能し、制御部１３を介して顕微鏡装置１で撮像された標本画像をＺ位置、撮像設定や対物レンズ情報等の観察情報とともに取得し、撮像時の観察情報に応じて標本画像を画像処理する。具体的には、得られた標本画像に観察情報に応じた画像処理を施して制御部１３を介して記憶部１２に記憶させ、あるいは表示部１１に表示出力させる。

また、画像処理部１６は、撮像装置３によって取得された複数の観察像に基づいて３次元の画像データを構築する３次元画像構築部１７と、顕微鏡装置１の光学情報に基づいて構築された３次元の画像データを平滑化するための平滑化強度αを算出する平滑化強度算出部１８と、算出された平滑化強度αに基づいて、３次元の画像データを平滑化する平滑化部１９とを備えている。

なお、ホストシステム２は、ＣＰＵやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインタフェース装置等を備えた公知のハードウェア構成により実現でき、例えばワークステーションやパソコン等の汎用コンピュータを適用することができる。

次に、本実施形態にかかる顕微鏡システムにおいて３次元画像を構築する場合の作用について図２のフローチャートを参照して説明する。
まず、入力部１０から取得した画像処理に関する条件に従って、制御部１３が顕微鏡装置１によって観察像を取得するための条件設定を行う（ステップＳ２０１）。ここでの条件設定としては、光学情報としての焦点深度、視野の大きさ、標本ＳのＺ方向の範囲、Ｚ方向のピッチ（撮像間隔）を設定する。

次のステップＳ２０２において、制御部１３は、焦点変更機構制御部１５および撮像装置制御部１４に対して、標本Ｓを撮像するための指令信号を出力する。この指令信号に基づいて焦点変更機構制御部１５が電動ステージ６を駆動させ、撮像装置制御部１４が、所定撮像領域においてＺ方向が異なる観察像をステップＳ２０１で設定されたピッチに従って、複数のＸＹ平面毎に画像データ（以下、便宜的に「スライス画像」という）として取得する。

より詳細には、焦点変更機構制御部１５は、標本ＳのＺ方向における一端と焦点が一致する位置まで電動ステージ６を移動した後、電動ステージ６をステップＳ２０１で設定されたＺ方向の範囲で移動させる。ここで、焦点変更機構制御部１５は、ステップＳ２０１で設定されたピッチごとに移動と停止を繰返して電動ステージ６を移動させてもよいし、ある一定の速度で電動ステージ６を連続的に移動させてもよい。なお、電動ステージ６が移動するＺ方向の範囲は、対物レンズ５を含む拡大光学系の焦点深度以下が好ましい。

撮像装置３は、電動ステージ６が停止した際に又は所定の時間間隔毎に標本Ｓのスライス画像を記憶部１２に保存する（ステップＳ２０３）。このとき、各スライス画像に少なくとも当該スライス画像を撮像したＺ座標を対応付けて記憶する。

画像処理部１６は、記憶部１２に記憶された各スライス画像に対して所定の補正を行う（ステップＳ２０４）。この補正には、例えば、顕微鏡の振動や、真直度の低さによるスライス画像間のＸＹ平面でのずれや回転、またテレセントリックでない光学系に対するスライス画像間の倍率の不一致の補正が含まれる。補正の手法としては、テンプレートマッチングや、コーナー検出等の特徴点を利用したマッチングまたは顕微鏡装置１の倍率変動情報などの校正値を用いた手法が適用される。

次のステップＳ２０５では、３次元画像構築部１７により、所謂ＤＦＦ法を用いて３次元画像の構築を行う。
ここで、図３のフローチャートを参照してＤＦＦ法による３次元画像構築について説明する。３次元画像構築部１７は、記憶部１２に記憶された全てのスライス画像の全ての画素に対して焦点が合っているかを評価するための合焦評価値を算出する（ステップＳ３０１）。
この合焦評価値にはラプラシアンフィルタや、Ｓｏｂｅｌフィルタ等のエッジ強調フィルタ、またはフーリエ変換やウェーブレット変換等を用いた空間周波数解析によって求められる。

次にスライス画像の任意画素の合焦評価値について、全てのスライス画像の同一画素の合焦評価値の中から最大値を算出する（ステップＳ３０２）。ここで、最大値の算出は２次関数等でフィッティングを行って求めるようにしてもよい。最大値が求まると最大値の画素を含む画像に対応するＺ座標を割り当てる（ステップＳ３０３）。これにより全ての画素にＺ座標が割り当てられた３次元画像が得られる。

次のステップＳ３０４では、ステップＳ３０３で取得した３次元画像について、コントラストがない画素では焦点を検出できないため、周囲のコントラストがある画素のＺ座標を用いて補間される（ステップＳ３０４）。ここで、コントラストがあるかどうかは合焦評価値の最大値が所定の閾値より低いかどうかで判断できる。また、補間処理は線形補間やスプライン補間が用いられる。また、このときスライス画像の合焦部分を合成して全体に焦点が合った全焦点画像を作成することができるため、３次元画像だけでなく全焦点画像を構築してもよい。

３次元画像が構築されると、平滑化強度算出部１８により３次元画像を平滑化する際の強度である平滑化強度αを算出する（ステップＳ２０６）。平滑化強度αは焦点深度の情報に基づいて算出され、具体的には以下の（４）式に基づいて算出される。
α＝焦点深度／視野 …（４）

ここで、視野とは標本画像に映し出される視野であり、具体的には（撮像素子の対角の長さ）／（光学倍率）で求めることができる。
また、焦点深度ＤＯＦは対物レンズの開口数をＮＡ、波長をλとしたとき、例えば、以下の（５）式により算出される。

次のステップ２０７では、算出された平滑化強度αに基づいて、平滑化部１９により３次元画像に対して平滑化を行う。平滑化部１９は、平滑化強度αを基にした強度を設定したフィルタリング処理等で３次元画像データの平滑化を行う。

例えば、以下の（６）式で示されるガウシアン重みを用いた平滑化の場合、（７）式で示すように平滑化強度αをｋで定数倍したものをガウシアン強度σに設定した後、３次元画像に畳み込み演算を施すことで平滑化される。なお、ｉ、ｊはそれぞれフィルタ中心からのＸ方向距離、Ｙ方向距離を表す。

σ＝ｋα （ｋは定数） …（７）

つまり、３次元画像の任意の１画素を（ｘ、ｙ）とし、座標（ｘ、ｙ）におけるＺ座標をｚ（ｘ、ｙ）とすると、平滑化後の３次元画像ｚ’（ｘ、ｙ）は以下の（８）式に示されるように、ｚとｈの畳み込み演算によって計算される。
ここで、フィルタ中心からの畳み込み最大距離を窓サイズｗとすると、窓サイズｗはσをもとに設定され、例えば３σの値に設定される。

ガウシアンフィルタ以外にも例えば、バイラテラルフィルタ、メディアンフィルタ、平均化フィルタ等を用いることができ、平滑化強度αの設定はガウシアンフィルタと同様にσを用いた設定、フィルタの大きさによる設定ができる。

さらに、ステップＳ２０７ではあまりに焦点深度が大きい場合に平滑化強度が大きくなりすぎるため、平滑化強度αに閾値を設定する。例えば、ガウシアンフィルタの場合、以下の（９）式で示されるようにσが所定の閾値ｍを超える場合にはｍの値に設定する。
σ＝ｋα …（９）
但し、σ＞ｍのときは、σ＝ｍ

画像処理部１６による３次元画像の構築が終了すると、ステップＳ２０８において、制御部１３により、構築された３次元画像を記憶部１２に記憶させるとともに、３次元画像および／または全焦点画像を表示するよう表示部１１に指示する。また、制御部１３は、全焦点画像を構築した場合にも、同様に記憶部１２に記憶させると共に、表示部１１に表示させるよう指示する。表示部１１は、制御部１３の指示に従って、３次元画像および全焦点画像において、入力部１０からの指示により、指示のあった画像の表示を行う。

このように、上述した本実施形態によれば、３次元画像の構築において、ＸＹ平面の大きさである視野とＺ方向の異常値の大きさである焦点深度の比に基づく強度の平滑化強度を算出し、これに基づいて３次元画像を平滑化するので、３次元画像を表示する際の見た目の異常値の大きさに合わせて適切に補正され、見栄えの良い３次元画像を構築することができる。

上記した実施形態において、平滑化強度αを（４）式により算出することとしたが、これに限られず、以下の（１０）式により算出することもできる。
α＝焦点深度／分解能 …（１０）
ここで分解能は、物体側のＸＹ方向の分解能を指し、波長λと開口数ＮＡを用いて以下の（１１）式により算出される。

このような平滑化強度αを適用することで、ＸＹ方向の分解能とＺ方向の分解能である焦点深度の比に基づく強度の平滑化強度により３次元画像を平滑化するので、ＸＹ方向とＺ方向の分解能の違いによる違和感を軽減させ、見栄えの良い３次元画像を構築することができる。

１顕微鏡装置
２ホストシステム
３撮像装置
６電動ステージ
１３制御部
１４撮像装置制御部
１５焦点変更機構制御部
１６画像処理部
１７３次元画像構築部
１８平滑化強度算出部
１９平滑化部

Claims

焦点の異なる複数の観察画像を取得する顕微鏡装置と、
複数の前記観察画像に基づいて３次元の画像データを構築する３次元画像データ構築部と、
前記顕微鏡装置の光学情報に基づいて前記３次元の画像データを平滑化する平滑化強度を算出する平滑化強度算出部と、
該平滑化強度算出部により算出された平滑化強度に基づいて、前記３次元の画像データを平滑化する平滑化部と、
を備え、
前記平滑化強度が、（１）式に基づいて算出される顕微鏡システム。
α＝焦点深度／視野 …（１）
但し、αは平滑化強度である。
焦点の異なる複数の観察画像を取得する顕微鏡装置と、
複数の前記観察画像に基づいて３次元の画像データを構築する３次元画像データ構築部と、
前記顕微鏡装置の光学情報に基づいて前記３次元の画像データを平滑化する平滑化強度を算出する平滑化強度算出部と、
該平滑化強度算出部により算出された平滑化強度に基づいて、前記３次元の画像データを平滑化する平滑化部と、
を備え、
前記平滑化強度が、（２）式に基づいて算出される顕微鏡システム。
α＝焦点深度／分解能 …（２）
但し、αは平滑化強度である。
前記平滑化部が、（３）式のガウシアンフィルタである請求項１又は請求項２に記載の顕微鏡システム。

但し、σはガウシアン強度であって、σ＝ｋα（ｋは定数）である。
前記平滑化部は、前記ガウシアン強度σが所定の閾値ｍよりも大きい場合、σ＝ｍを用いた前記（３）式のガウシアンフィルタである請求項３に記載の顕微鏡システム。