JP4664871B2 - 自動焦点検出装置 - Google Patents

Description

本発明は実質的に透明な被写体に対する自動焦点装置に係り、特に顕微鏡の自動焦点装置に関する。

従来、例えば顕微鏡などの画像観察装置において、ＣＣＤなどの撮像素子で撮像された観察像を画像処理してコントラストを判定することによりオートフォーカス動作を行う装置、いわゆるコントラストＡＦ方式のオートフォーカス装置が知られている。

このような装置では、フォーカシングする画像領域において、例えば、隣接する画素の差分自乗和などで定義されるコントラスト値を演算できるようになっており、焦点位置を可変して、それぞれのコントラスト値を評価し、コントラスト値が最大となる位置を合焦位置と判定する。

例えば、特許文献１には、撮像された全画素またはその一部の画素によりコンラスト値を演算するコントラストＡＦ方式の焦点調節装置が記載されている。
特開２００２−１６２５５８号公報

しかし、無染色細胞のような位相物体の観察においては、合焦点位置での画像はむしろコントラスト値が最小（あるいは極小）になるという現象から、上記のようなオートフォーカス方式を適用できないという問題が起こる。そしてこの問題により、無染色細胞のような被写体に適応できるオートフォーカス方式は今まで存在していなかった。

一方、生細胞を染色せずに観察したいという需要は大きい。その為のひとつの観察手法として蛍光観測が挙げられる。蛍光観測は通常の染色に比べてはるかに細胞へのダメージが少ない。しかし、蛍光物質は励起光を当て続けると、褪色現象を起こしてしまう。そこで、焦点を合わせる段階では励起光を使わずに、実際の観測の段階のみに励起光を使いたいという需要も存在する。

本発明では実質的に透明である無染色細胞等の位相物体に対して活用できるオートフォーカス装置を提供する。

本発明の上記課題は、光透過性と屈折率差を持つ被写体を写す撮像装置の自動焦点装置において、等間隔で隣り合った焦点位置での画像から差分画像を取得する差分画像取得手段と、前記差分画像のコントラスト値を算出するコントラスト算出手段と、算出された前記コントラスト値の最大値を与える焦点位置を合焦点位置として決定する合焦点位置決定手段を備えることを特徴とする自動焦点装置を使うことによって達成される。

前記差分画像取得手段は、画像を撮像する撮像手段と、撮像された前記画像を少なくとも１画面分記憶する記憶手段と、記憶された前記画像と新たに撮像された画像の差を求める差分手段を備えることによって構成することができる。

また、前記差分画像取得手段は、第一の焦点位置での画像を撮像する第一撮像手段と、前記第一の焦点位置から一定間隔ずれた第二の焦点位置での画像を撮像する第二撮像手段と、前記第一撮像手段によって撮像された画像と前記第二撮像手段によって撮像された画像の差をとり差分画像を生成する差分手段を備えることによっても構成することができる。

また、前記差分画像取得手段は、互いに一定の光路差を持たせた第一の光路と第二の光路を共通の撮像手段に導くことによって差分画像を取得することによって構成することができる。

前記撮像手段はCCD（Charge Coupled Devices）であることが望ましく、ラインセンサであることも考えられる。
前記合焦点位置決定手段は、山登り法により前記コントラスト値の最大値をもとめることが考えられる。また、前記差分画像を取得する焦点位置は合焦制御中に計算されるように構成してもよい。

上記自動焦点装置は光学顕微鏡に実装されることが望ましい。また、生細胞観察装置や精密計測装置にも実装できる。

本発明によれば、合焦点位置では極小となるコントラスト値が差分画像のコントラスト値では最大になり、その結果、無染色細胞等の位相物体を被写体とする撮像装置においても正しく機能する自動焦点装置が提供される。

また、その応用として、蛍光染色された被写体を蛍光観測する際にも、焦点を合わせる段階には励起光を照射せずにすむので、褪色現象を可能な限り抑えることができる。

以下では、図面を参照しながら本発明の実施例について説明する。
図１は本発明の全体の構成図である。本発明に係る実施例の一つである顕微鏡は一般的な光学顕微鏡で実施可能であり、同図においては本発明に直接的に係る部位のみが記載されている。つまり本発明の実施に利用される顕微鏡には、同図に示されないレンズ、プリズム、接眼部等の部位を含み得る。

図１に示される顕微鏡の一例では、ステージ３上に置かれた試料（被写体）２は光源１に照らされ、観測光は対物レンズ４を通じて画像取得部５に導かれる。画像取得部５に達した観測光は、CCD等の撮像素子によって電気信号に変換される。

後述するように本発明の実施例では、画像取得部５で異なる焦点での画像の差分画像を取得するが、画像取得部５で通常の画像も取得する構成をしてもよい。その構成においては、取得された画像を試料の観察データの取得あるいは画面表示等にも利用する方法が考えられる。

画像取得部５で得られた差分画像の電気信号は、画像処理部６に受け渡され、コントラスト値が計算される。計算されたコントラスト値は、図示されない画像処理部内のメモリ等に保持され、後述する図８に代表される方法によって最大値が計算される。

制御部７では、画像処理部６で計算されたコントラスト値を基に、焦点位置を制御する。このとき、ステージ３を制御する方法と対物レンズ４を制御する方法が考えられるが、本発明ではどちらの方法を採用しても構わない。

図２は合焦位置前後での無染色細胞の見え方を示す模式図である。同図において（ｃ）は合焦位置での無染色細胞の見え方を示し、（ｂ）は合焦位置の手前での見え方（前ピン像）であり（ａ）はさらに手前での見え方を示している。同様に、（ｄ）と（ｅ）は合焦位置の後ろでの見え方（後ピン像）である。

同図に示されるように、無染色細胞においては、合焦位置での観察ではむしろコントラスト値が低く、その前後でコントラスト値が最大となる。つまり、焦点位置とコントラスト値のグラフを図示すると図３のようになる。

図２から理解されるもう一つの現象として、前ピン像（ｂ）と後ピン像（ｄ）では明暗の位置が反転していることが挙げられる。つまり、前ピン像（ｂ）と後ピン像（ｄ）の差を取った差分画像では明暗が増幅され、前ピン像（ａ）と前ピン像（ｂ）の差分画像では明暗が打ち消しあう。この現象をグラフにすると図４のようになる。同図では、等間隔の焦点位置での差分画像のコントラスト値をグラフ化したものである。この図から解るように、単なるコントラスト値では極小であったものが、差分画像のコントラスト値では合焦位置で最大となる。

この現象の理由を簡単に説明すると次のようになる。特開２００５−２１８３７９号公報に示されているように、細胞表面で回折する光線（あるいは散乱する光線）と直進する光線は合焦位置では位相差がないので干渉が起きない。しかし、焦点位置をずらすことによって光路差が生まれた場合、これらの光線に干渉が起こる。一方、無染色細胞は実質的に透明であるが、内部に屈折率の違いを持っている。このことにより、細胞内を通過した光線は通過した部分に応じて位相分布を持っている。その結果、焦点位置のずれによる位相差が無染色細胞の持つ位相分布に相関した明暗を生み、無染色細胞が可視化される。また、焦点位置をずらすことによって生じる位相差は、合焦位置では位相差が０になることからも解るように、合焦点位置の前後で反転する。このことをコントラストいう視点で説明すると、合焦点位置の前後で無染色細胞のコントラストが反転することを意味する。

本発明ではこの現象を利用することによって、無染色細胞のような、実質的に透明な被写体においても合焦位置を決定できるオートフォーカス機能を実現する。なお上述の現象は、位相差を発生させる被写体ならばすべてに当てはまる。よって、本発明の適応範囲は無染色細胞に制限されるものではない。例えば、半導体基板、金属表面やガラス基板上に形成された微細な凹凸を観察する計測器にも利用できる。

図５は本発明の実施例における、画像取得部５の第一実施形態について説明する図である。入射された観測光はＣＣＤ等の撮像素子８によって電気情報に変換される。その画像情報は後段の画像バッファ９に一時記憶される。その後、観察ステージ３あるいは対物レンズ４等を制御することによって、等間隔で隣り合った焦点位置での画像情報を取得する。このように取得された異なる焦点での画像情報を画像差分処理部１０に通して差分画像を取得する。この繰り返しをすることによって差分画像を取得する。この構成の利点は、比較的高価なデバイスであるＣＣＤ等の設置個数を一つにとどめることができることにある。また、ＣＣＤから出力を差分画像処理部に通さずに、そのまま別の観察装置へと抜き出す構成も容易にできる。

図６は本発明の実施例における、画像取得部５の第二実施形態について説明する図である。入射された観測光はビームスプリッタ１１によって二つの光路に分離される。それぞれ一定の光路差を持った異なる焦点位置にCCD等の撮像素子８を設け、２つの焦点位置における画像情報を同時に取得する。後段にて、２つの画像情報を差分画像処理部に通して差分画像を取得する。この構成の利点はステージ移動せずに等間隔で隣り合った焦点位置での画像を取得して差分画像を取得できるという点で、合焦時間の短縮が期待できることにある。

図７は本発明の実施例における、画像取得部５の第三実施形態について説明する図である。入射された観測光はビームスプリッタ１１によって二つの光路に分離される。その後、分離された二つの光路はレンズやプリズムやミラー等によって光路差を付けられ、同一の撮像素子８に入力される。このとき、二つの光路が撮像素子８の半画面ずつを使うように設定する。そして、後段の差分画像処理部１０において、二つの画像から差分画像を生成する。この構成の利点は、比較的高価なデバイスであるＣＣＤ等の設置個数を一つにとどめることができながら、一回の焦点位置移動で差分画像取得ができることにある。また、ＣＣＤ等の個体差を排除して正確な測定にも適うことが期待される。

図８では本発明の実施例における差分画像のコントラスト値の最大値を求める方法を説明する。この方法はいわゆる山登り法と呼ばれる方法を使ったものである。
まず、CCD等のセンサを読み込み、焦点位置の異なる画像を取得する（S1）。次に取得した画像から画素ごとの差分データ（差分画像）を作成する（S2）。その後、差分画像のコントラスト値を計算し（S3）、その結果をメモリへ保管する（S4）。

次の段階として、ステージや対物レンズなどを制御して、焦点位置を移動させる（S5）。そして同様に、画像を取得し、差分データを作成し、コントラスト値を計算する（S6−S8）。その後、メモリに保管されているコントラスト値と比較をし、この値より大きければ（S9がNo）、S4へ戻り保管されているコントラスト値を更新する。

もし、コントラスト値がメモリに保管されているものよりも小さければ（S9がYes）、一段階前の焦点位置がコントラスト値の最大であったことが解る。よって、焦点位置を一段階戻すことによって、合焦点を見つけ出すことができる。

なお、本発明におけるコントラスト値の最大値を決定する方法は、上記の山登り法に限定されるものではない。例えば、上記の山登り法を実行した後に、画像を取得する焦点位置の間隔を狭めてコントラスト値を計測することにより、合焦点位置の精度を高める方法も考えられる。また、計測されたコントラスト値の変化から合焦点位置を予測して、画像を取得する焦点位置の間隔を制御すれば、合焦時間を短縮する方法も考えられる。さらに、等間隔の焦点位置での画像を最初にすべて取得してから、それぞれの差分画像を生成し、これらのコントラスト値の最大を求めてもよい。この方法は確実に最大点を割り出すことができると期待される。

最後にコントラスト値の計算方法に関して補足する。コントラスト値と呼ばれる数値の定義は様々なものがある。簡単な例では、最も明るい部分の輝度と最も暗い部分の輝度の差をもってコントラスト値とするものがある。つまり、コントラスト値Ｃは次式で与えられる。

ただし、I_jは各画素ごとの輝度を表す。この定義に限らず一般に、コントラストの定義には絶対値や最大値を含む。その結果、図8のフローチャートにおけるＳ２とＳ３（あるいはＳ７とＳ８）は順序を変えることができない。つまり、「２つの画像の差分画像のコントラスト値」と「２つの画像のコントラスト値の差」は異なる。

以上の構成によって、無染色細胞等の実質的に透明である物体を被写体とする撮像装置においても、自動焦点装置が提供される。

本発明の実施例の全体構成図である。 無染色細胞の前ピン、合焦位置、後ピンでの見え方を示す図である。 焦点位置とコントラスト値の関係を説明するグラフである。 焦点位置と差分画像のコントラスト値の関係を説明するグラフである。 画像取得部の第一実施形態について説明する図である。 画像取得部の第二実施形態について説明する図である。 画像取得部の第三実施形態について説明する図である。 本発明の実施例における山登り法を説明する図である。

符号の説明

１・・・光源
２・・・試料（被写体）
３・・・ステージ
４・・・対物レンズ
５・・・画像取得部
６・・・画像処理部
７・・・制御部
８・・・撮像素子
９・・・画像バッファ
１０・・・差分画像処理部
１１・・・ビームスプリッタ
１２・・・レンズ／プリズム

Claims (12)

1. 光透過性と屈折率差を持つ被写体を写す撮像装置の自動焦点装置において、
   等間隔で隣り合った焦点位置での画像から差分画像を取得する差分画像取得手段と、
   前記差分画像のコントラスト値を算出するコントラスト算出手段と、
   算出された前記コントラスト値の最大値を与える焦点位置を合焦点位置として決定する合焦点位置決定手段を
   備えることを特徴とする自動焦点装置。
2. 前記差分画像取得手段は、
   画像を撮像する撮像手段と、
   撮像された前記画像を少なくとも１画面分記憶する記憶手段と、
   記憶された前記画像と新たに撮像された画像の差を求める差分手段を
   備えることを特徴とする、上記請求項１に記載の自動焦点装置。
3. 前記差分画像取得手段は、
   第一の焦点位置での画像を撮像する第一撮像手段と、
   前記第一の焦点位置から一定間隔ずれた第二の焦点位置での画像を撮像する第二撮像手段と、
   前記第一撮像手段によって撮像された画像と前記第二撮像手段によって撮像された画像の差をとり差分画像を生成する差分手段を
   備えることを特徴とする、上記請求項１に記載の自動焦点装置。
4. 前記差分画像取得手段は、
   互いに一定の光路差を持たせた第一の光路と第二の光路を共通の撮像手段に導くことによって差分画像を取得する
   ことを特徴とする、上記請求項１に記載の自動焦点装置。
5. 前記撮像手段はCCD（Charge Coupled Devices）であることを特徴とする、上記請求項２から４の何れかに記載の自動焦点装置。
6. 前記撮像手段はラインセンサであることを特徴とする、上記請求項２から４の何れかに記載の自動焦点装置。
7. 前記合焦点位置決定手段は、山登り法により前記コントラスト値の最大値をもとめることを特徴とする、上記請求項１から６の何れかに記載の自動焦点装置。
8. 前記差分画像を取得する焦点位置は合焦制御中に計算されることを特徴とする、上記請求項１から６の何れかに記載の自動焦点装置。
9. 上記請求項１から８の何れかに記載の自動焦点装置を備えることを特徴とする光学顕微鏡。
10. 上記請求項１から８の何れかに記載の自動焦点装置を備えることを特徴とする生細胞観察装置。
11. 上記請求項１から８の何れかに記載の自動焦点装置を備えることを特徴とする精密計測装置。
12. 光透過性を持ち、内部に屈折率差を持つ被写体を写す撮像装置の合焦点位置を決定する方法において、
    複数の焦点位置での画像を撮像し、
    前記画像のうち隣り合った焦点位置での二枚の画像から差分画像を生成し、
    生成された前記差分画像のコントラストを算出し、
    算出された前記コントラストが最大となる差分画像を決定することによって、
    合焦点位置を決定する方法。