JP2013179581A

JP2013179581A - 画像生成装置及びその制御方法

Info

Publication number: JP2013179581A
Application number: JP2013015743A
Authority: JP
Inventors: Toru Sasaki; 亨佐々木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-02-07
Filing date: 2013-01-30
Publication date: 2013-09-09
Also published as: US20140362205A1; WO2013118903A1

Abstract

【課題】複数の駆動機構を有し、駆動機構によって撮像対象及び撮像素子を移動させながら複数回撮像して得られる小画像を合成して撮像対象の全体画像を生成する撮像装置において、小画像の合成処理に要する時間を短縮する。
【解決手段】撮像素子及び保持部材の少なくともいずれかを駆動してそれらの位置を変更する駆動機構と、小画像の撮像毎に、撮像素子及び保持部材の位置が所定の位置になるように駆動機構を駆動する駆動制御手段と、駆動機構による駆動後の撮像素子及び保持部材の位置の少なくともいずれかを駆動後位置情報として測定又は推定により取得する取得手段と、駆動後位置情報に基づき、目標の撮像位置と実際の撮像位置とのずれに起因する小画像の変形を補正する補正手段と、補正後の小画像を繋ぎ合わせて被写体の全体の画像を生成する生成手段と、を備える。
【選択図】図1

Description

本発明は、画像生成装置及びその制御方法に関する。

近年、病理医の不足や遠隔地医療等の問題を解消するため、病理標本画像を用いた診断の重要性が高まっている。病理標本画像は、電動ステージを備えた顕微鏡や医療用スライドスキャナ（以下、この種の撮像装置をデジタル顕微鏡と呼ぶ）により取得されるが、診断に耐えうる高精度な画像を取得するためには多くの技術課題を克服する必要がある。

技術課題の一つとして、画像の繋ぎ合わせに関する問題が知られている。デジタル顕微鏡の対物レンズで結像できる標本の範囲は、標本全体と比べて小さく、通常は100分の1以下である。そのため、標本全体を取得するには、位置の異なる複数の画像を撮像して繋ぎ合わせる必要がある。

一回の撮像で取得される画像データ（以下、小画像と呼ぶ）は、電動ステージにより標本を一定間隔ずつ動かしながら取得されるが、ステージのガタ等の影響で位置ずれが生じ、像が影響を受ける。その結果、小画像を並べるだけでは繋ぎ目において画像に差異が生じて全体を表す画像データ（以下、全体画像と呼ぶ）が得られない。そのため、通常は、隣接する小画像の周辺部が重なるように小画像を取得し、重複箇所における標本の形状が一致するように位置ずれ補正を行ってから全体画像を合成するのが一般的である。

デジタル顕微鏡では多数の小画像を扱うため、位置ずれ量推定の計算負荷が大きく、全体の処理時間に影響する。特許文献1に開示されている手法では、画像とステージの位置
関係をあらかじめキャリブレーションデータとして測定し、キャリブレーションデータに従って位置ずれ量を求める。位置ずれ量推定を行わないため、全体の処理時間を短縮できる。

特許文献1に開示されている手法の問題点は、上記キャリブレーションデータの精度が
ステージの状態に応じて変化するため、キャリブレーション回数が多くなることである。特許文献2には、隣接する小画像の取得時に位置ずれ量の推定を行い、位置ずれ量に基づ
いてキャリブレーションデータの精度を改善することで、キャリブレーション回数を減らす手法が開示されている。

特許文献3に開示されている位置ずれ補正方法では、位置ずれ量の推定をステージ移動
中に逐次行うことで、全体の処理時間を低減している。

デジタル顕微鏡以外の撮像機器においても、繋ぎ合わせに関する問題は知られている。カメラ等の撮像機器においてステレオ画像を取得する際には、ステージなどの駆動機構以外の要因で画像の繋ぎ合わせが困難になることが多い。特許文献4に開示されている撮像
装置では、手でカメラ等の撮像装置を振りながら連続撮像し、得られた小画像を合成することで、広範囲の写真を生成する。この場合は、ステージではなく手によってカメラを振った状態で撮像するため、画像解析による位置ずれの推定自体が困難となるくらいの大きな位置ずれが発生する。この問題に対しては、ジャイロセンサ等により撮像時のカメラの姿勢を推定し、推定値により画像補正をしてから隣接画像間の位置ずれ推定を行っている。

特許第4175597号公報特開2010-020997号公報特開2007-327907号公報特開2010-147635号公報

R. Szeliski, Image alignment and stitching: a tutorial, Tech. Rep. MSR-TR-2004-92, Microsoft Research, December 2004. S. Rao, Engineering optimization, A Wiely-Interscience Publication 1996.

ここで、本明細書におけるデジタル顕微鏡に備えられている駆動機構の駆動方向（x, y, z軸）について定義を説明する。光軸に並行な軸をz軸、光軸に垂直な面内で直交する二軸をx, y軸と呼ぶこととする。図中に記載する際には、紙面に並行な軸をx軸、垂直な軸
をy軸とする。途中、ミラー挿入により光軸が折り曲げられる箇所があるデジタル顕微鏡
について説明する際はx, y軸の説明を追加することとする。

本発明は、多数の駆動機構を持つデジタル顕微鏡に関するものである。例えば、標本側に三軸（x, y, z軸）ステージを備え、撮像素子側にはz軸方向への駆動とx、y軸周りの回転（受光面のチルト）を行うアクチュエータを備える。撮像素子側の駆動機構は、受光面のチルト角を変えて標本表面にピントを合わせるために備えられたものである。また、多数の駆動機構導入による価格上昇を抑えるために、各々の駆動機構として安価で精度の低い部品が採用されている。

このようにデジタル顕微鏡が多数の駆動機構を有し、各駆動機構が位置ずれを生じる場合、画像の繋ぎ合わせには、位置ずれに関する多数のパラメータの推定が必要であり、推定のために長い計算時間を要するという課題がある。

一方、デジタル画像による診断の需要は増加傾向にあり、大病院で使用される高級機種においては、撮像時間の大幅な短縮が望まれている。将来はスライド全面を数秒程度（体感的に待ち時間が無い状態）で取得する必要がある。しかしながら、画像の類似性を利用した位置ずれ推定処理は、最適化等を使った探索処理になるため、高速な処理には本質的に向いていない。本発明のように、多数の位置ずれ推定が要求されると、速度面での要求に答えるのがさらに困難になる。

特許文献1, 2に開示されているキャリブレーションを用いた手法では、計算時間の短縮は難しい。多数の駆動機構が存在するデジタル顕微鏡でキャリブレーションデータを作成した場合、多次元のキャリブレーションデータを作成することになる。上記デジタル顕微鏡には、駆動機構が６種類存在するが、画像内での動きに換算すると、各駆動機構の位置ずれは独立ではない。非独立の６次元変数に対するキャリブレーションデータの作成は、データ作成時間が長くなってしまう。

特許文献3に開示されている位置ずれ補正方法を用いても、計算時間の短縮は難しい。
上記デジタル顕微鏡で得られる小画像には、像面内での位置ずれ以外に、画像の回転およびチルトによる倍率変化も加えられている。特許文献3に開示されている位置ずれ補正方
法を、左上に位置する小画像から順番に適用したとすると、左上の小画像に加えられている回転、倍率変化の影響で右下の画像がつながらない場合（隙間があいてしまう場合）が
発生する。この問題はグローバルアライメント問題（非特許文献1に記載あり）として、
知られている。

また、特許文献4に開示されている手法のように、撮像素子が自由に動いていると仮定
し、ジャイロセンサで姿勢を推定する方法も考えられる。しかしながら、通常、駆動機構の精度の方がジャイロセンサの精度よりも高く、上記の課題の解決策にはならない。

本発明は、複数の駆動機構を有し、駆動機構によって撮像対象及び撮像素子を移動させながら複数回撮像して得られる小画像を合成して撮像対象の全体画像を生成する画像生成装置において、小画像の合成処理に要する時間を短縮することを目的とする。

本発明は、撮像位置を異ならせながら被写体を複数回撮像して得られる複数の小画像を繋ぎ合わせて被写体の全体の画像を生成する画像生成装置であって、
一又は複数の撮像素子と、
被写体を保持する保持部材と、
撮像素子を一又は複数の方向に駆動して撮像素子の位置を変更する駆動機構、及び、保持部材を一又は複数の方向に駆動して保持部材の位置を変更する駆動機構、の少なくともいずれかと、
小画像の撮像毎に、撮像素子及び保持部材の位置が、目標の撮像位置の撮像が行われるように定められた所定の位置になるように、前記駆動機構を駆動する駆動制御手段と、
前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうちの少なくともいずれかを駆動後位置情報として測定又は推定により取得する取得手段と、
前記駆動後位置情報に基づき、目標の撮像位置と実際の撮像位置とのずれに起因する小画像の変形を補正する補正手段と、
補正後の小画像を繋ぎ合わせて被写体の全体の画像を生成する生成手段と、
を備える画像生成装置である。

本発明は、一又は複数の撮像素子と、被写体を保持する保持部材と、撮像素子を一又は複数の方向に駆動して撮像素子の位置を変更する駆動機構、及び、保持部材を一又は複数の方向に駆動して保持部材の位置を変更する駆動機構、の少なくともいずれかと、を備え、撮像位置を異ならせながら被写体を複数回撮像して得られる複数の小画像を繋ぎ合わせて被写体の全体の画像を生成する画像生成装置の制御方法であって、
小画像の撮像毎に、撮像素子及び保持部材の位置が、目標の撮像位置の撮像が行われるように定められた所定の位置になるように、前記駆動機構を駆動する駆動制御工程と、
前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうちの少なくともいずれかを駆動後位置情報として測定又は推定により取得する取得工程と、
前記駆動後位置情報に基づき、目標の撮像位置と実際の撮像位置とのずれに起因する小画像の変形を補正する補正工程と、
補正後の小画像を繋ぎ合わせて被写体の全体の画像を生成する生成工程と、
を有する画像生成装置の制御方法である。

本発明によれば、複数の駆動機構を有し、駆動機構によって撮像対象及び撮像素子を移動させながら複数回撮像して得られる小画像を合成して撮像対象の全体画像を生成する画像生成装置において、小画像の合成処理に要する時間を短縮することができる。

実施例1のデジタル顕微鏡の構成図実施例1のデジタル顕微鏡の制御に用いられる状態テーブルの例を示す図実施例1のデジタル顕微鏡で行われる小画像取得工程の流れ図実施例1のデジタル顕微鏡で取得される小画像の位置の例を示す図実施例1のデジタル顕微鏡で行われる画像処理の流れ図補正後小画像の重複領域における処理を示した図実施例2のデジタル顕微鏡の構成図実施例3のステージ位置ずれ推定処理の流れ図実施例3の位置ずれテーブルについて説明する図実施例4のデジタル顕微鏡で行われる画像処理の流れ図実施例4の補正パラメータ最適化工程の流れ図画素ブロックと推定用小画像の関係を示した図補正後小画像の重複領域における処理を示した図実施例5のデジタル顕微鏡の構成図実施例5の補正パラメータ最適化工程（ブロックマッチング法）の流れ図実施例5の補正パラメータ算出に用いられる画素ブロックと小画像の関係実施例5の補正パラメータ算出時の隣接小画像対の選択順序の例を示す図実施例6のデジタル顕微鏡で行われる画像処理の流れ図

本発明は、撮像位置を異ならせながら被写体を複数回撮像して得られる複数の小画像を繋ぎ合わせて被写体の全体の画像を生成する画像生成装置に関するものである。特に、本発明はデジタル顕微鏡に適用して好適であるがそれに限られない。本実施例はデジタル顕微鏡への適用例を説明する。実施例に係るデジタル顕微鏡は、一又は複数の撮像素子を有する。また、被写体（標本）を保持する保持部材（標本を移動させるステージ）を有する。保持部材は、駆動機構（アクチュエータ）により一又は複数の方向に駆動されてその位置が変更される。また、デジタル顕微鏡は、撮像素子、対物レンズの像面等の傾きと高さを制御し、焦点位置合わせを行うアクチュエータ、標本を撮像素子の受光面に結像する対物レンズ、を備える。撮像素子にはラインセンサやイメージセンサのような複数画素（受光器）を備えたセンサが用いられる。撮像素子自体の個数が複数の構成もある。

一般に、ステージやアクチュエータといった駆動機構は、一回の駆動毎に位置ずれを伴った動きをする。駆動は基本的に小画像の撮像毎に行われる。駆動機構は、撮像素子やステージの位置が、目標の撮像位置の撮像が行われるように定められた所定の位置になるように駆動される。位置ずれは、目標の撮像位置と実際の撮像位置とのずれを表す。ステージにおける位置ずれの大きさは、繰り返し精度と言う名称でカタログや製品仕様書に書かれている値に相当する。位置ずれの大きさは、撮像素子受光面上での大きさで表わす場合もある。例えば、標本上の一点が撮像素子の受光面上の一点に結像する状況を考えたとき、ステージやアクチュエータの位置ずれにより、受光面上の点の位置が微小距離移動する。以後、撮像素子の受光面上における移動距離で表した位置ずれの大きさを、位置ずれの撮像素子受光面上換算値と呼ぶ。

上記デジタル顕微鏡は、精度が低い駆動機構、すなわち、位置ずれの撮像素子受光面上換算値が１画素の大きさよりも大きい、あるいは、撮像後の画像を表示した際に問題とならない許容限度を超える程度に大きい駆動機構、を二つ以上備える。本発明で提示する画像合成手法は、これらの低精度の駆動機構による位置ずれの補正を行い、撮像により得られた小画像を補正し、補正後の小画像を繋ぎ合わせて画像合成する。また、低精度の駆動機構には、位置ずれを含むステージやアクチュエータの駆動後位置を精度良く測定できる計測器を備える場合がある。そのような計測器には、変位計やリニアエンコーダ、ロータリーエンコーダがある。

本発明を構成する、駆動後位置を取得する工程では、低精度の駆動機構を動作させる際に、位置ずれを含む駆動後位置を取得する。駆動後位置の取得は、上記計測器による計測、又は、駆動後位置の予測値を事前に作成したテーブル若しくは関数から取得することにより行われる。低精度の駆動機構により駆動される方向の位置の全てについてセンサ等の測定器により駆動後位置を取得すると良い。或いは、低精度の駆動機構により駆動される方向のうちの一部についてセンサ等の測定器により駆動後位置を取得し、残りの方向については推定により取得するようにしても良い。これにより測定器の数を削減できる。

本発明を構成する、位置ずれ・変形量を求める工程では、駆動後位置を取得する工程で取得した「位置ずれを含む駆動後位置」を基に、小画像の位置ずれ・変形量を求める。位置ずれを含む駆動後位置は、駆動機構による駆動後の撮像素子及び／又は保持部材の少なくとも１つの方向の位置を表す駆動後位置情報である。位置ずれ・変形量の計算モデルとして、アフィン変換、射影変換、対物レンズの歪曲の効果を加えたアフィン変換、があり、デジタル顕微鏡の構成により決められる。位置ずれ・変形量の推定は、「位置ずれを含む駆動後位置」のみを使用して推定する場合と、その他の情報を総合して推定する場合がある。その他の情報には、画像への影響を無視できるくらい位置ずれが小さい駆動機構の駆動後位置、がある。小画像の補正は、デジタル顕微鏡に備わる光学部材の特性に起因する小画像の変形を更に補正するようにしても良い。

本発明のデジタル顕微鏡は、複数の駆動機構を有し、いくつかの駆動機構は比較的大きい位置ずれを発生する。通常のデジタル顕微鏡においては、「隣接小画像の重複領域の類似度」を計算により推定して位置ずれ量を推定するが、大きい位置ずれを生じる駆動機構数が増加すると、画像の変形を伴うようになり、計算時間が長くなる。本発明では、駆動後位置を取得する工程において、位置ずれを含む駆動後位置を取得することで、画像解析に基づく変形量推定を省略することができるので、待ち時間を抑制して全体画像を生成することが可能になる。

本発明を構成する、位置ずれ・変形量を求める工程では、駆動後位置を取得する工程で取得した「位置ずれを含む駆動後位置」と「隣接小画像の重複領域の類似度」を基に、小画像の位置ずれ・変形量を推定する。位置ずれを含む駆動後位置は、駆動機構による駆動後の撮像素子及び／又は保持部材の少なくとも１つの方向の位置を表す駆動後位置情報である。隣接小画像の重複領域の類似度は、隣接する小画像同士の重複部分における画像の類似度を表す。位置ずれ・変形量の計算モデルとして、アフィン変換、射影変換、対物レンズの歪曲の効果を加えたアフィン変換、があり、デジタル顕微鏡の構成により決められる。位置ずれ・変形量の推定は、「位置ずれを含む駆動後位置」と「隣接小画像の重複領域の類似度」を使用して推定する場合と、その他の情報を総合して推定する場合がある。その他の情報には、位置ずれを含まない駆動後位置、がある。小画像の補正は、デジタル顕微鏡に備わる光学部材の特性に起因する小画像の変形を更に補正するようにしても良い。

本発明のデジタル顕微鏡は、複数の駆動機構を有し、いくつかの駆動機構は比較的大きい位置ずれを発生する。通常のデジタル顕微鏡においては、「隣接小画像の重複領域の類似度」を計算により推定して位置ずれ量を推定するが、大きい位置ずれを生じる駆動機構数が増加すると、画像の変形を伴うようになり、計算時間が長くなる。本発明では、位置ずれ・変形量を求める工程において、一部の駆動機構において位置ずれを含む駆動後位置を取得することで、変形量の探索空間を狭め、変形量推定にかかる時間を短縮することができる。

（実施例１）
本発明の実施例１について、図1を用いて説明する。本実施例のデジタル顕微鏡は、対
物レンズ101、標本保持部102、三軸ステージ103、イメージセンサ104、チルト角制御アクチュエータ105、奥行き制御アクチュエータ106、変位計107、制御装置108、画像処理装置109、コンピュータ110、標本選択部111、光源113、電動フィルタホイール114より構成さ
れる。チルト角制御アクチュエータ105、奥行き制御アクチュエータ106は、リニアエンコーダ120を内蔵している。イメージセンサ104とチルト角制御アクチュエータ105、奥行き
制御アクチュエータ106は撮像ユニットを構成する。撮像ユニットはアレイ上にP×Q個（P, Qはイメージセンサの画素数やレンズの画角により決まり、2〜30程度の値である）配置されている。また、電動フィルタホイール114は内部にS種類のカラーフィルタを備えている。通常、Sは3であり、カラーフィルタはRGB三色に対応させる。

本発明のデジタル顕微鏡における撮像の流れについて説明する。利用者は、まず、撮像対象となる全ての標本を標本選択部111に挿入する。挿入後、標本選択部111において、各標本のサムネール画像データ130および標本の表面形状データ131が取得され、コンピュータ110に送られる。標本の表面形状データ131は、標本選択部111に内蔵される測距計112により、標本上の数点において測定した表面高さ情報である。コンピュータ110において、
表面形状データ131は、三軸ステージ103、チルト角制御アクチュエータ105、奥行き制御
アクチュエータ106の状態テーブル132に変換される。ここで、状態テーブル132は、初期
状態（状態番号0）から最終状態（状態番号N）までの三軸ステージ103、チルト角制御ア
クチュエータ105、奥行き制御アクチュエータ106の絶対位置（設定目標値）を保持したテーブルである。ただし、Nは状態番号の最大値であり、画像取得回数に相当する。状態テ
ーブルの例を図2に示す。各絶対位置は、各状態において実行される撮像において、標本
の表面にピントが合うように計算されている。

利用者は、コンピュータ110のディスプレーに表示されるGUI上の標本のサムネール画像130をマウスで選択し、撮像する標本の番号を指示する。その結果、コンピュータ110から標本選択番号133と対応する状態テーブル132が、制御装置108と画像処理装置109に送信され、内部メモリに保持される。制御装置108は、標本選択番号133を標本選択部111に送信
し、標本選択部111はロボットアーム116を用いて標本選択番号133に対応する標本を標本
保持部102に乗せて固定する。

＜小画像取得処理＞
次に、制御装置108は、図3に記載されている手順に従い、小画像データの取得を実行する。まず、制御装置108は、状態番号を初期化し（S150）、制御装置108が保持している状態テーブル132から、状態番号0における駆動機構の設定情報を取得する（S151)。そして
、制御装置108は、三軸ステージ103、チルト角制御アクチュエータ105、奥行き制御アク
チュエータ106へ駆動制御信号134を送る（S152）。

次に、制御装置108は、色番号を初期化し（S153）、イメージセンサ104と電動フィルタホイール114に取得制御信号135を送信する。色番号は電動フィルタホイールの保持する複数のカラーフィルタの色の識別番号である。電動フィルタホイール114は、光源113から発せられる白色光に色付けするためのカラーフィルタを複数保持し、切り替えるための部品である。取得制御信号135が送信された後、電動フィルタホイール114によるフィルタ切り替え（S154）と、イメージセンサ104による画像データの取得（S155）が続けて実行され
る。取得制御信号135は、色数回送信され（S156,S157）、その都度、色の異なる小画像データ136が取得され、画像処理装置109に送信される。

一方、制御装置108は、最初の取得制御信号135を送信するのと同時に、測定開始信号137を変位計107とリニアエンコーダ120に送信する（S158）。変位計107は、三軸ステージ103のx, y方向の動きを測定できるように二つ備えられており、x, y方向における駆動後位
置測定値138を取得する。z方向については、位置ずれが20nm以下と小さく、画像に影響しないため、計測器による測定は行わない。リニアエンコーダ120は、チルト角制御アクチ
ュエータ105と奥行き制御アクチュエータ106に内蔵されおり、各々の駆動後位置を測定する。リニアエンコーダ120は、通常のアクチュエータに付属するスケールとは異なり、ア
クチュエータ駆動後に発生する位置ずれを正確に測定できるだけの精度を持つことを特徴とする。変位計107とリニアエンコーダ120から得られた駆動後位置測定値138は、画像処
理装置109に送信される。

画像処理装置109では、色と位置の異なる小画像データ136と駆動後位置測定値138を内
部メモリ115に蓄積する。

次に、制御装置108は、状態番号を1とし、制御装置108が保持している状態テーブル132から駆動機構の設定情報を取得する。制御装置108は、駆動機構の設定、データの取得を
状態番号0の場合と同様に繰り返し、画像処理装置109の内部メモリ115に小画像データ136と駆動後位置測定値138を蓄積する。制御装置108は、状態番号がN-1になるまで番号を繰
り上げながら、同様の処理を繰り返す（S159, n<N, S160）。

データ取得により得られる小画像の位置の例を図4に示す。小画像に付けられている番
号は、取得時の状態番号である。隣接する小画像間には100画素程度の重複領域が与えら
れる。撮像素子のチルト等により、小画像には微小な位置ずれと変形が加えられるが、重複領域を設けることで隙間なく広範囲を取得できる。

最終状態（状態番号N）では、駆動機構を初期化して小画像データの取得を終了する（S159, n==N）。

＜画像処理＞
画像処理装置109では、図5に示す流れに沿って画像処理が実行される。撮像された小画像データ136は、ノイズ除去工程（S201）、ムラ補正工程（S202）、カラーバランス工程
（S203）を経て、単色小画像データ220に加工される。これらの工程は一般的に行われる
ものであるため、説明を省略する。同じ部位で色の異なる単色小画像データ220は、一つ
のデータに纏められ、得られたデータをカラー小画像データ221と呼ぶ。

カラー小画像データ221を構成する全ての単色小画像データ220は、同じ状態番号において撮像されているため、同じ位置ずれと変形が与えられている。

＜補正パラメータ算出工程＞
次に、画像処理装置109は、補正パラメータ算出工程（S204）において、カラー小画像
データ221に対して行う位置ずれ・変形補正処理のパラメータを計算する。ここで、位置
ずれと変形は、数式1で与えられる射影変換により一括して扱う。

------(数式1)
ただし、x, yは繋ぎ合された全体画像上での座標値（つまり、標本上での座標値）であ
る。また、x^(k), y^(k)はk番目のカラー小画像中での座標値、a_k、b_k、c_k、d_k、e_k、f_k、g_k、h_kはk番目のカラー小画像データに対して行われる補正処理のパラメータである。

実施例１では、射影変換により位置ずれ・変形を近似するが、これは対物レンズによる結像時に小画像に掛けられる倍率が、歪曲収差の影響で緩やかに変化するためである。歪曲収差の影響が十分に小さい対物レンズを使用する場合はアフィン変換（数式1の係数g_k,
h_kを0とした変換）で近似することで、計算時間を短縮できる。

補正処理パラメータの計算では、画像処理装置109は、まず、全体画像上のn点と、それに対応するカラー小画像のn点の座標値を数式2で与えられる関数に従って計算する。

------(数式2)
ただし、z_obは三軸ステージ103に指示したz方向駆動後位置、u_x, u_yはリニアエンコーダ120により取得したチルト角制御アクチュエータ105の駆動後位置測定値138である。z_imは
、リニアエンコーダ120により取得した奥行き制御アクチュエータ106の駆動後位置測定値138である。t_x, t_yは、変位計107により測定した三軸ステージ103のx, y方向の駆動後位
置測定値138である。選択する点数nは4以上であれば良く、通常はカラー小画像の四隅付
近の点を選択する。

関数T_imは、イメージセンサ面から対物レンズの像面（対物レンズ設計時に目標とした
像面であり、アクチュエータで制御されるイメージセンサ面とは異なる）への並行投影を行う関数であり、以下の数式で与えられる。

------(数式3)
ただし、θ_z, m_x, m_y, s_x, s_yはcos(u_x), cos(u_y), z_imの中で、少なくとも一つを変数に持つ関数、または定数である。これらは、イメージセンサ面の回転角（θ_z）、傾きによ
り変化した倍率（m_x, m_y）、並行移動（s_x, s_y）を表している。θ_z, m_x, m_y, s_x, s_yは
、チルト角制御アクチュエータ105や奥行き制御アクチュエータ106を駆動した際に発生するガタが問題になる程度（駆動後位置の平均を関数により正確に近似できる程度）の高い精度を持つ必要がある。近似精度の向上については多様な手法がある。例えば、標本保持部102にピンホールを置き、u_x, u_y, z_imを変化させながら像面上での輝点位置を複数点取得し、それらの点を用いて関数フィッティングすることで近似精度を向上させることができる。

関数T_leは、レンズの像面から物体面への位置の変換であり、以下の数式で与えられる
。

------(数式4)
ただし、c_x, c_yは像面上での光軸の位置、c_x', c_y'は物体面上での光軸の位置、rは像面上における点(x, y)と光軸の距離（つまり、像の高さ）を表す。また、関数β(r)は像の
高さrに対する横倍率を表す関数で、対物レンズの歪曲収差の設計値あるいは実測値から
得られる。

関数T_obは、対物レンズの物体面から標本面への並行投影を行う関数であり、以下の数
式で与えられる。

------(数式5)
θ'_z, m'_x, m'_y, s'_x, s'_yはt_x, t_y, z_obの中で少なくとも一つを変数とする関数、または定数である。θ'_z, m'_x, m'_y, s'_x, s'_yが駆動後位置の平均を近似できる程度の高い精度を持つのは、関数T_imの場合と同じである。

次に、数式2に従って得られた全体画像上にあるn点の座標値x_i, y_i (i = 1, 2, ... ,n
)と、k番目のカラー小画像におけるn点の座標値x_i ^(k), y_i ^(k) (i = 1, 2, ... ,n )を含む、以下の連立方程式を解く。

------(数式6)
連立方程式の解(a_k,b_k,c_k,d_k,e_k,f_k,g_k,h_k)^Tが補正処理パラメータである。方程式はQR
分解等の数値計算により解く。

全てのカラー小画像データに対して同様の処理を適用することで、補正処理パラメータa_k,b_k,c_k,d_k,e_k,f_k,g_k,h_k (k = 1, 2, ..., M)が得られる。ただし、Mはカラー小画像データ数で、撮像ユニット数P×Q、状態数Nを用いて、M = P×Q×Nである。

＜画像処理の残りの工程＞
次に、図5に記載されている画像処理の残りの工程について説明する。繋ぎ合わせ工程
（S205）では、画像処理装置109は、画像処理装置内部メモリ115からカラー小画像データを取得し、内部に持つ単色小画像データ各々に補正処理を実行し、一つの全体画像データを生成する。図6からわかるように、全体画像403における重複領域400においては、隣接
する小画像から２種類の画像データ401, 402が計算されることになる。通常は、重複領域の真中に区切りを設け、区切りを境に補正に用いる小画像が切り替えられる。重複領域内の端（図6の場合は左右の端。上下に隣接する場合は上下端）までの距離に応じた重みを
画素値に掛けて平均をとる手法を用いても良い。

現像処理工程（S206）と圧縮工程（S207）では、一般的な手法を用いるため詳細は記述しない。例えば、画像処理装置109は、sRGB色空間となるように色調整を行い、JPEG圧縮
をかけるような処理を行う。結果として、圧縮後全体画像データ139が画像処理装置109により生成される。

画像処理装置109は、圧縮後全体画像データ139をコンピュータ110に送り、所定のディ
レクトリに保存する。全てのデータが送信されたのち、コンピュータ110は、ディスプレ
ー上に表示されているGUIの読み込み状態欄を「完了」に修正し、撮像処理を終了する。

このように、本発明の実施例１は、複数の撮像素子とステージを駆動する多数の駆動機構を備えるが、駆動後に発生する位置ずれを変位計とリニアエンコーダにより測定するデジタル顕微鏡である。画像に与えられる変形・位置ずれを測定値により取得するので、画像に基づく推定計算を要しないため、画像の補正処理に係る待ち時間を抑制できることを特徴とする。

（実施例２）
本発明の実施例２について説明する。

実施例２のデジタル顕微鏡は、撮像素子自体の傾きや光軸方向の位置を制御するのではなく、対物レンズの空中像の傾きをミラーにより制御することで、検体表面にピントを合わせる。ミラーの傾きを制御するアクチュエータの駆動後位置は、ミラーに取り付けたロータリーエンコーダにより、位置ずれも含め高精度に取得できる。

図7に実施例２のデジタル顕微鏡の構成を示す。上記ミラー以外に、複数のイメージセ
ンサを用いずに単一のラインセンサとセンサ駆動用ステージを用いている点も実施例１と異なる。撮像処理は、実施例１において撮像素子数を１とし、状態数を多くした場合とほぼ同じであるので、以下では、実施例1と異なる点を中心に説明する。

実施例２であるデジタル顕微鏡は、イメージセンサの代わりにラインセンサ904を備え
る。ラインセンサ904の画素の並びと垂直な方向へラインセンサ駆動ステージ905を移動させながら一定間隔おきに撮像することで、イメージセンサと同等な２次元の画像データ（つまり、小画像）を取得できる。ピント調整用ミラー906は、対物レンズ901の像面に対し、光軸と像面の交点を中心として45度傾けて配置されたミラーであり、ミラー方向制御アクチュエータ907でミラーをチルトさせることができる。チルトさせる際の回転軸は、二
軸ある（ミラーの反射面内で、図面に並行なx軸と垂直なy軸）。ミラー方向制御アクチュエータ907の精度は低く、駆動後に位置ずれが発生するが、ロータリーエンコーダ920によりミラーの正確な回転角を測定できる。

実施例２であるデジタル顕微鏡における撮像の流れについて説明する。小画像取得処理までは、実施例１におけるチルト角制御アクチュエータ105の動きをミラー方向制御アク
チュエータ907に置き換えれば、ほぼ同じである。奥行き制御アクチュエータ106により行われていた動きは、三軸ステージ903のz方向駆動により実行できる。

画像処理の手順も図5と同じであるが、補正パラメータ算出工程S204の内容が異なる。

実施例２における位置ずれ・変形補正処理の式は、数式2を簡略化した式であり、以下
の数式で与えられる。

------(数式7)
ただし、u_x, u_yはピント調整用ミラー906のチルト角であり、t_x, t_yは、三軸ステージ903のx, y方向駆動後位置である。

関数T_leは数式4で与えられる対物レンズのディストーションを表す関数である。関数T'_imは、数式3と同じ関数であるが、z方向位置への依存性を無視して作成した関数である（数式3において、z_im = 0とすれば良い）。また、チルト角u_x, u_yについても、ミラーで制御する場合は、ミラーの回転角の二倍の角度で像面が傾くため、変数変換が必要である。数式7が駆動後位置の平均値を近似できる程度の精度を持つことは、実施例１と同様であ
る。

数式7における補正処理パラメータはu_x, u_y, t_x, t_yである。u_x, u_yはロータリーエン
コーダ920の出力値であり、t_x, t_yは変位計922の出力値であるので、補正処理パラメータが一意に決まることになる。

残りの画像処理の工程、及び、コンピュータ910への画像データの転送等は、実施例１
と同じである。

このように、本発明の実施例２は、ラインセンサとステージを駆動する多数の駆動機構を備えるが、ピント調整用ミラーの位置ずれをロータリーエンコーダで測定し、ステージの位置ずれを変位計で測定する。これにより、実施例２に係るデジタル顕微鏡では、画像の繋ぎ合わせ処理に係る待ち時間を抑制することができる。

（実施例３）
本発明の実施例３について説明する。実施例３のデジタル顕微鏡は、実施例１とほぼ同じ構成をとるが、レーザー変位計107を備えず、画像処理装置109内に三軸ステージ位置ずれ推定プログラムを有する点が異なる。実施例1と同じものについては同じ参照符号を付
して説明を省略する。このデジタル顕微鏡は、レーザー変位計107で取得していた三軸ス
テージ103の駆動後位置を、ステージ位置ずれ推定プログラムにより取得することを特徴
とする。以下では、ステージ位置ずれ推定プログラムの動作のみ説明する。

図8にステージ位置ずれ推定プログラムの処理を説明する。駆動方向履歴取得工程（S1200）では、画像処理装置109は、次回状態番号1203に基づき、過去二回のステージ駆動方
向をx, y軸毎に計算する。これらの値は画像処理装置内部メモリ115（記憶手段）に保持
している状態テーブル132から計算できる。次回状態番号0, 1の場合は過去二回の駆動方
向履歴が無いが、撮像開始直後にステージに一定の動作をさせることで駆動方向履歴を得ることができる。

位置ずれ取得工程S1201では、駆動方向履歴取得工程S1200で取得された過去２回（前回、及び前々回）の駆動方向履歴1204と、次（今回）の駆動方向と、に対応する位置ずれ量1205を、位置ずれテーブル1202から取得する。位置ずれテーブルの例を図9に示す。位置
ずれテーブル1202は、駆動方向に対する位置ずれを統計的に調べ、テーブル化したものである。ステージの位置ずれは、ステージ内部のネジや歯車のガタ（遊び）が原因で生じる。そのため、駆動する方向が前回の方向から変化する場合には、より大きくなる傾向がある。統計処理では、まず、実際に発生する位置ずれの値を種々の状況で測定し、過去２回の駆動方向と次回の駆動方向毎に分類する。測定値は、例えばピンホールをステージ上に置き、ピンホールの移動距離を画像内で調べることで得られる。分類毎の平均値が位置ずれテーブル1202に格納されている位置ずれ量である。なお、実施例３では過去2回の駆動
方向が今回の駆動による駆動後の撮像素子又は保持部材の位置に及ぼす影響の情報に基づく推定を例示したが、過去1回の情報に基づく推定でも良いし、過去2回より多い回数の情報に基づく推定であっても良い。

このように、本発明の実施例３は、多数の駆動機構を備えるが、駆動機構の位置ずれを高価な変位計ではなく推定プログラムで取得する。これにより、実施例３に係るデジタル顕微鏡では、画像の繋ぎ合わせ処理にかかる時間を低減できる。

（実施例４）
本発明の実施例４について、説明する。実施例4の構成は実施例1の構成と共通部分が多いため実施例4の説明において適宜、実施例1の説明で用いた図1〜図4を用いる。ただし、図1におけるリニアエンコーダ120は実施例4の構成には含まれない。従って、実施例4の説明において図1を参照する場合、リニアエンコーダ120の記載はないものとみなす。実施例4のデジタル顕微鏡は、対物レンズ101、標本保持部102、三軸ステージ103、イメージセンサ104、チルト角制御アクチュエータ105、奥行き制御アクチュエータ106、変位計107、制御装置108、画像処理装置109、コンピュータ110、標本選択部111、光源113、電動フィル
タホイール114より構成される。イメージセンサ104とチルト角制御アクチュエータ105、
奥行き制御アクチュエータ106は撮像ユニットを構成する。撮像ユニットはアレイ上にP×Q個（P, Qはイメージセンサの画素数やレンズの画角により決まり、2〜30程度の値である）配置されている。また、電動フィルタホイール114は内部にS種類のカラーフィルタを備えている。通常、Sは3であり、カラーフィルタはRGB三色に対応させる。

本発明のデジタル顕微鏡における撮像の流れについて説明する。利用者は、まず、撮像対象となる全ての標本を標本選択部111に挿入する。挿入後、標本選択部111において、各標本のサムネール画像データ130および標本の表面形状データ131が取得され、コンピュータ110に送られる。標本の表面形状データ131は、標本選択部111に内蔵される測距計112により、標本上の数点において測定した表面高さ情報である。コンピュータ110において、
表面形状データ131は、三軸ステージ103、チルト角制御アクチュエータ105、奥行き制御
アクチュエータ106の状態テーブル132に変換される。ここで、状態テーブル132は、初期
状態（状態番号0）から最終状態（状態番号N）までの三軸ステージ103、チルト角制御ア
クチュエータ105、奥行き制御アクチュエータ106の絶対位置を保持したテーブルである。ただし、Nは状態番号の最大値であり、画像取得回数に相当する。状態テーブルの例を図2に示す。各絶対位置は、各状態において実行される撮像において、標本の表面にピントが合うように計算されている。

利用者は、コンピュータ110のディスプレーに表示されるGUI上の標本のサムネール画像
130をマウスで選択し、撮像する標本の番号を指示する。その結果、コンピュータ110から標本選択番号133と対応する状態テーブル132が、制御装置108と画像処理装置109に送信され、内部メモリに保持される。制御装置108は、標本選択番号133を標本選択部111に送信
し、標本選択部111はロボットアーム116を用いて標本選択番号133に対応する標本を標本
保持部102に乗せて固定する。

全ての駆動機構の動作が完了した後、制御装置108は、色番号を初期化し（S153）、イ
メージセンサ104と電動フィルタホイール114に取得制御信号135を送信する。色番号は電
動フィルタホイールの保持する複数のカラーフィルタの色の識別番号である。電動フィルタホイール114は、光源113から発せられる白色光に色付けするためのカラーフィルタを複数保持し、切り替えるための部品である。取得制御信号135が送信された後、電動フィル
タホイール114によるフィルタ切り替え（S154）と、イメージセンサ104による画像データの取得（S155）が続けて実行される。取得制御信号135は、色数回送信され（S156,S157）、その都度、色の異なる小画像データ136が取得され、画像処理装置109に送信される。

一方、制御装置108は、最初の取得制御信号135を送信するのと同時に、測定開始信号137を変位計107に送信する。変位計107は、三軸ステージ103のx, y方向の動きを測定できるように二つ備えられており、x, y方向における駆動後位置測定値138を取得する。各方向
における駆動後位置測定値138は、画像処理装置109に送信される（S158）。

＜画像処理＞
画像処理装置109では、図10に示す流れに沿って画像処理が実行される。なお、図10に
おいて図5と同内容の処理には図5と同じ符号を付している。撮像された小画像データ136
は、ノイズ除去工程（S201）、ムラ補正工程（S202）、カラーバランス工程（S203）を経て、単色小画像データ220に加工される。これらの工程は一般的に行われるものであるた
め、説明を省略する。同じ部位で色の異なる単色小画像データ220は、一つのデータに纏
められ、得られたデータをカラー小画像データ221と呼ぶ。

カラー小画像データ221を構成する全ての単色小画像データ220は、同じ状態番号において撮像されているため、同じ位置ずれと変形が与えられている。画像処理装置109は、カ
ラー小画像データ221に与えられる位置ずれ・変形補正処理のパラメータは、特定の色（
通常はG）の単色小画像データを用いて推定する。以後、推定に用いる単色小画像データ
を推定用小画像データ222と呼ぶ。

＜補正パラメータ初期値算出工程＞
次に、画像処理装置109は、補正パラメータ初期値算出工程（S2041）において、カラー小画像データ221に対して行う位置ずれ・変形補正処理のパラメータの初期値を計算する
。ここで、位置ずれと変形は、数式8で与えられる射影変換により一括して扱う。

------(数式8)
ただし、x, yは繋ぎ合された全体画像上での座標値（つまり、標本上での座標値）であ
る。また、x^(k), y^(k)はk番目のカラー小画像中での座標値、a_k、b_k、c_k、d_k、e_k、f_k、g_k、h_kはk番目のカラー小画像データに対して行われる補正処理のパラメータである。

実施例４では、射影変換により位置ずれ・変形を近似するが、これは対物レンズによる結像時に小画像に掛けられる倍率が、歪曲収差の影響で緩やかに変化するためである。歪曲収差の影響が十分に小さい対物レンズを使用する場合はアフィン変換（数式8の係数g_k,
h_kを0とした変換）で近似することで、計算時間を短縮できる。

補正処理パラメータ初期値の計算では、画像処理装置109は、まず、全体画像上のn点と、それに対応するカラー小画像のn点の座標値を数式9で与えられる関数に従って計算する。

------(数式9)
ただし、z_obは三軸ステージ103に指示したz方向駆動後位置、u_x, u_yはチルト角制御アク
チュエータ105に指示したx軸、y軸周りの駆動後チルト角、z_imは、奥行き制御アクチュエータ106に指示したイメージセンサのz方向駆動後位置である。これらの値は、状態テーブル132から取得できる。また、t_x, t_yは、変位計107により測定した駆動後位置測定値138
である。選択する点数nは4以上であれば良く、通常はカラー小画像の四隅付近の点を選択
する。

------(数式10)
ただし、θ_z, m_x, m_y, s_x, s_yはcos(u_x), cos(u_y), z_imの中で、少なくとも一つを変数に持つ関数、または定数である。これらは、イメージセンサ面の回転角（θ_z）、傾きによ
り変化した倍率（m_x, m_y）、並行移動（s_x, s_y）を表している。θ_z, m_x, m_y, s_x, s_yは
、チルト角制御アクチュエータ105や奥行き制御アクチュエータ106を駆動したときのガタが問題になる程度（駆動後位置の平均を関数により正確に近似できる程度）の高い精度を持つ必要がある。近似精度の向上については多様な手法がある。例えば、標本保持部102
にピンホールを置き、u_x, u_y, z_imを変化させながら像面上での輝点位置を複数点取得し
、それらの点を用いて関数フィッティングすることで近似精度を向上させることができる。

------(数式11)
ただし、c_x, c_yは像面上での光軸の位置、c_x', c_y'は物体面上での光軸の位置、rは像面上における点(x, y)と光軸の距離（つまり、像の高さ）を表す。また、関数β(r)は像の
高さrに対する横倍率を表す関数で、対物レンズの歪曲収差の設計値あるいは実測値から
得られる。

------(数式12)
θ'_z, m'_x, m'_y, s'_x, s'_yはt_x, t_y, z_obの中で少なくとも一つを変数とする関数、また
は定数である。θ'_z, m'_x, m'_y, s'_x, s'_yが駆動後位置の平均を近似できる程度の高い精
度を持つのは、関数T_imの場合と同じである。

次に、数式9に従って得られた全体画像上にあるn点の座標値x_i, y_i (i = 1, 2, ... ,n
)と、k番目のカラー小画像におけるn点の座標値x_i ^(k), y_i ^(k) (i = 1, 2, ... ,n ) を
含む、以下の連立方程式を解く。

------(数式13)
連立方程式の解(a_k,b_k,c_k,d_k,e_k,f_k,g_k,h_k)^Tが補正処理パラメータの初期値である。方
程式はQR分解等の数値計算により解く。

初期値算出を全てのカラー小画像データに対して行うことで、補正処理パラメータ初期値a_k,b_k,c_k,d_k,e_k,f_k,g_k,h_k (k = 1, 2, ..., M)が得られる。ただし、Mはカラー小画像データの数で、撮像ユニット数P×Q、状態数Nを用いて、M = P×Q×Nである。

＜補正処理パラメータ最適化工程＞
次に、画像処理装置109は、補正パラメータ最適化工程（S2042）において、最適化処理を用いて補正パラメータを微調整する。補正パラメータ最適化工程（S2042）の処理の流
れを図11を用いて説明する。補正パラメータ最適化工程（S2042）は、変数生成処理（S314）と、最適化処理（S310）と、補正パラメータ復元処理（S317）とからなる。最適化処
理（S310）は、評価関数311を最小化する変数の値を探索する処理、である。最適化処理
（S310）については実施例４では限定しておらず、一般的な手法として非特許文献2に記
載されているSimplex法を使用する。

補正パラメータ初期値算出工程（S2041）により得られた補正パラメータ初期値313は、変数生成処理（S314）により変数初期値315に変換される。実施例４のように、位置ずれ
を測定し精度の高い数値を得ることができる場合、全ての補正パラメータを調整する必要はなくなる。変数生成処理（S314）では、調整が必要ないパラメータを最適化変数から外す、あるいは、調整間隔が細かくなるように一部の変数を正規化する等の処理がなされる。実施例４では、レーザー変位計107により三軸ステージ103のx, y方向の駆動後位置は正確に求まっており、チルト角制御アクチュエータ105によるx, y方向の変化も小さい。そ
のため、並行移動に関するパラメータ（c_k, f_k）は変数から除外できる。変数の数を減らすことにより、変数空間の次元を低下させることができ、計算時間が短縮されることになる。

最適化処理（S310）では、画像処理装置109は、Simplex法により評価関数311を最小化
できるよう変数を調整する。評価関数311について説明する。まず、画像処理装置109は、画像処理装置内部メモリ115から推定用小画像データ222を取得し、推定用小画像データ222と、変数から復元した補正パラメータから画素ブロック300を計算する。

画素ブロック300と推定用小画像データ222の関係を図12を用いて説明する。画素ブロッ
ク300は、推定用小画像222を射影変換により補正した補正後小画像301内の長方形領域の
ことである。補正後小画像301は、隣接する補正後小画像302と一定の幅で重複する。画素ブロック300は、重複領域に形成されるため、隣接する補正後小画像からも同じ位置のブ
ロックが生成されることになる。画素ブロック300は、重複領域内であればどの位置から
選択しても良いが、その画素ブロック内には何らかの模様が存在している必要がある。

画像処理装置109は、画素ブロック300を各推定用小画像データ222から求めた後、以下
の数式に従って評価値を計算する。

------(数式14)
ここで、Vは異なる推定用小画像データから生成した同じ位置の画素ブロックの番号対の集合である。図12の例を基に説明すると、画素ブロックには番号A₁, A₂, ..., D₃, D₄が
割り当てられており、番号対(A₃, B₁)や、番号対(A₄, C₂)がVの要素となる。Xは画素ブロック300内の画素番号の集合である。f_i,xはi番目の画素ブロックにおけるx番目の画素値
を表す。

数式14により、全ての画素ブロック対の画素値の差の二乗和が計算される。この数値は、補正が成功すると0になるため、補正処理の品質の良否を評価できる数値である。

最適化処理（S310）により調整された調整後変数316は、補正パラメータ復元処理（S317）により調整後補正パラメータ318に変換され、補正パラメータ最適化工程205の出力値
となる。

＜画像処理の残りの工程＞
次に、図10に記載されている画像処理の残りの工程について説明する。繋ぎ合わせ工程（S205）では、画像処理装置109は、画像処理装置内部メモリ115からカラー小画像データ221を取得し、内部に持つ単色小画像データ220各々に補正処理を実行し、一つの全体画像データ223を生成する。図13からわかるように、全体画像223における重複領域400におい
ては、隣接する小画像から２種類の画像データ401, 402が計算されることになる。通常は、重複領域の真中に区切りを設け、区切りを境に補正に用いる小画像が切り替えられる。重複領域内の端（図13の場合は左右の端。上下に隣接する場合は上下端）までの距離に応じた重みを画素値に掛けて平均をとる手法を用いても良い。

このように、本発明の実施例４は、複数の撮像素子とステージを駆動する多数の駆動機構を備えるが、ステージの位置ずれをレーザー変位計により測定することで、画像の繋ぎ
合わせ処理にかかる時間を低減したデジタル顕微鏡、である。

（実施例５）
本発明の実施例５について説明する。
実施例５は、ミラーの傾きを制御するアクチュエータの駆動後位置を、ミラーに取り付けたロータリーエンコーダにより取得し、補正パラメータの自由度を減らすことを特徴とする。

図14に示されるデジタル顕微鏡の構成は、実施例４とよく似た構成ではあるが、複数のイメージセンサを用いずに単一のラインセンサとセンサ駆動用ステージを用いている点が異なる。また、撮像素子自体の傾きや光軸方向の位置を制御するのではなく、対物レンズの空中像の傾きをミラーにより制御することで、検体表面にピントを合わせる。小画像に加えられる変形の中で、歪曲収差の影響が大きい点も実施例４とは異なる。

通常の処理は、実施例４において撮像素子数を１とし、状態数を多くした場合とほぼ同じであるので、以下では、実施例4と異なる点を中心に説明する。

実施例５であるデジタル顕微鏡は、イメージセンサの代わりにラインセンサ904を備え
る。ラインセンサ904の画素の並びと垂直な方向へラインセンサ駆動ステージ905を移動させながら一定間隔おきに撮像することで、イメージセンサと同等な２次元の画像データ（つまり、小画像）を取得できる。ピント調整用ミラー906は、対物レンズ901の像面に対し、光軸と像面の交点を中心として45度傾けて配置されたミラーであり、ミラー方向制御アクチュエータ907で像をチルトさせることができる。チルトさせる際の回転軸は、二軸あ
る（ミラーの反射面内で、図面に並行なx軸と垂直なy軸）。ミラー方向制御アクチュエータ907の精度は低く、駆動後に位置ずれが発生するが、ロータリーエンコーダ920によりミラーの正確な回転角を測定できる。

実施例５であるデジタル顕微鏡における撮像の流れについて説明する。小画像取得処理までは、実施例４におけるチルト角制御アクチュエータ105の動きをミラー方向制御アク
チュエータ907に置き換えれば、ほぼ同じである。奥行き制御アクチュエータ106により行われていた動きは、三軸ステージ903のz方向駆動により実行できる。変位計107でステー
ジの駆動後位置を測定している点は、ロータリーエンコーダ920によるミラーの回転角の
測定に置き換える必要がある。

画像処理の手順も図10と同じであるが、補正パラメータ初期値算出工程(S2041)と、補
正パラメータ最適化工程(S2042)の内容が異なる。

実施例５における位置ずれ・変形補正処理の式は、数式9を簡略化した式であり、以下
の数式で与えられる。

------(数式15)
ただし、u_x, u_yはピント調整用ミラー906のチルト角であり、t_x, t_yは、三軸ステージ90
3に指示した標本のx, y方向駆動後位置である。

関数T_leは数式11で与えられる対物レンズのディストーションを表す関数である。関数T'_imは、数式10と同じ関数であるが、z方向位置への依存性を無視して作成した関数である（数式10において、z_im = 0とすれば良い）。また、チルト角u_x, u_yについても、ミラー
で制御する場合は、ミラーの回転角の二倍の角度で面が傾くため、変数変換が必要である。数式15が駆動後位置の平均値を近似できる程度の精度を持つことは、実施例４と同様である。

数式15における補正処理パラメータはu_x, u_y, t_x, t_yである。u_x, u_yはロータリーエンコーダ920の出力値を初期値とし、t_x, t_yの初期値は0とする。ロータリーエンコーダ920
の出力値は、ミラー方向制御アクチュエータ907の駆動後に生じた位置ずれの影響も含ん
でいるため、u_x, u_yの調整は行う必要がない。結果として、調整されるパラメータはt_x, t_yのみとなり、パラメータ数が減ることで計算時間が大幅に短縮される。

次に、補正パラメータ最適化工程(S2042)では、実施例４のように最適化手法は用いず
、ブロックマッチング法を用いる。ブロックマッチング法は、非特許文献1に記載されて
いるように、位置ずれを全数探索して求める手法である。

実施例５におけるブロックマッチング法の手順を図15に示す。まず、画像処理装置909
は、全体画像の左上に位置する隣接小画像の対を選択し、変形補正処理（S1000）におい
て、二つの小画像のディストーションと、ピント調整用ミラー906の傾きにより生じた倍
率変化を補正する。この処理は、数式15の右辺第一項に相当し、位置ずれは補正しない。この補正は、必ずしも小画像全体に行う必要はなく、隣接画像と重複する領域にのみ施せば良い。次に、画素ブロック生成処理（S1001）において、画像処理装置909は、補正後小画像から微小に位置がずれた複数の画素ブロックを抽出する。画素ブロックは、隣接画像の重複領域内の小領域であり、なんらかの模様を持つ（画像が全く均一ではない）ことは、実施例４と同様である。画素ブロックと小画像の位置関係を図16に示す。左側の変形補正後小画像1102からは、一つの画素ブロック1104を抽出し、右側の変形補正後小画像1103からは、位置の異なる画素ブロック1105を複数抽出する。当然ではあるが、画素ブロックを複数抽出する小画像は左右逆でも良い。図16において、符号1106は画素ブロック付近にある構造を示す。

画素ブロック比較処理（S1002）では、画像処理装置909は、左側の画素ブロックと右側の各画素ブロックに関し評価値を計算し、最も良い評価が得られる右側画素ブロックを選択する。評価値は、スティッチング処理で一般に用いられているもので良く、非特許文献１で紹介されているSSD (Sum of Squared Difference)を使用する。結果として、選択し
た画素ブロックの位置ずれ量が補正パラメータt_x, t_yとなる。

画像処理装置909は、左上に位置する隣接小画像の対について補正パラメータt_x, t_yを
推定した後、隣接小画像対の更新（S1004）を行い、他の隣接小画像対に対しても同様に
補正パラメータを求める。隣接小画像対の選択順序は任意で良いが、各小画像の補正パラメータを求められるようにする必要がある。図17に小画像の取り込み順序（番号Nで順番
を示している）の例を示している。図17において、(N, N+1) (ただし、N = 1, 2, ..., 10)の番号を持つ二つの小画像を対とすれば、ステージの移動時間中に補正パラメータを計算できるので計算の効率が良い。図17の小画像対(3, 4)、(7,8)のように、上下の小画像
が対になっている場合は、これまでの説明の右側小画像を上側に、左側小画像を下側に置き換えて補正パラメータを推定する。画像処理装置909は、終了判定（S1013）において、全ての小画像対について補正パラメータを算出したことを確認し、ブロックマッチング法の全処理を終了する。結果として、全小画像の補正パラメータが得られる。

残りの画像処理の工程、及び、コンピュータ910への画像データの転送等は、実施例４
と同じである。

このように、本発明の実施例５は、ラインセンサとステージを駆動する多数の駆動機構を備えるが、ピント調整用ミラーの位置ずれをロータリーエンコーダで測定することで、画像の繋ぎ合わせ処理にかかる時間を低減したデジタル顕微鏡、である。

（実施例６）
本発明の実施例６について説明する。
実施例６のデジタル顕微鏡は、実施例１ではデジタル顕微鏡を構成する画像処理装置109内で行っていた繋ぎ合わせの処理工程を、コンピュータ110内で行う。大容量のメモリを備え、かつ高速な処理の実現が期待できるコンピュータ110内で繋ぎ合わせの処理を実行
することで、高速かつ高精度な繋ぎ合わせを可能とする。

デジタル顕微鏡の構成は、実施例１と同じである。画像処理装置109およびコンピュー
タ110で行う処理の振り分けが実施例１と異なる。その結果、画像処理装置109からコンピュータ110に送られる画像の形態も異なる。以下では実施例1と異なる点を中心に説明する。図18（ａ）は、画像処理装置109の処理フローを示す。図18（ｂ）はコンピュータ110の処理フローを示す。

画像処理装置109では、図18（ａ）に示す流れに沿って画像処理が実行される。画像処
理の工程の内、撮像された小画像データ136を単色小画像データ220に加工する工程である、ノイズ除去工程（S201）、ムラ補正工程（S202）、カラーバランス工程（S203）は実施例１と同じである。また、カラー小画像データ221に対して行う位置ずれ・変形補正処理
のパラメータを計算する補正パラメータ算出工程（S204）、一般的な画像処理手法を用いる現像処理工程（S206）、圧縮工程（S207）も実施例１と同じである。実施例１では、補正パラメータ算出工程（S204）によるパラメータ計算後に、繋ぎ合わせ工程（S205）で一つの全体画像データを生成していた。実施例６では、繋ぎ合わせ処理適用前の単色小画像データ220に対して、現像と静止画圧縮の処理を行い、各々の圧縮された小画像データを
コンピュータ110へ送る。その際、繋ぎ合わせのための補正パラメータも合わせて送る。
コンピュータ110への送信は、圧縮画像および補正パラメータ送信工程（S1801）で行われる。

コンピュータ110では、図18(ｂ)に示す流れに沿って画像処理が実行される。画像処理
装置109が送った圧縮された小画像データと位置ずれ・変形補正処理用の補正パラメータ
は、圧縮画像および補正パラメータ受信工程（S1802）で受信される。その後、圧縮され
た小画像データは、画像伸張工程（S1803）で伸張処理され、コンピュータ110内部のメモリに展開される。
展開された小画像データと受信された補正パラメータをもとに繋ぎ合わせ工程（S205）で一つの全体画像データを生成する。繋ぎ合わせ工程（S205）の処理内容は実施例１と同じである。
以上の工程により、大容量の非圧縮画像をコンピュータ110に伝送することなく、繋ぎ
合わせた全体画像データを生成することができる。

実施例６では、補正パラメータ算出工程（S204）を画像処理装置109で行う構成とした
。本実施の形態はこれに限定されるものではなく、補正パラメータ算出工程（S204）をコンピュータ110で行う構成を取ることもできる。その場合、チルト角制御アクチュエータ105の駆動後位置測定値138、奥行き制御アクチュエータ106の駆動後位置測定値138、およ
び三軸ステージ103のx, y方向の駆動後位置測定値138をコンピュータ110へ送信すること
になる。測定値は、測定値を保持する制御装置108から送信、または圧縮された小画像デ
ータと合わせて画像処理装置109から送信の何れでも良い。

このように、本発明の実施例６は、少なくとも繋ぎ合わせ処理をコンピュータ110で実
行する。これにより、実施例６に係るデジタル顕微鏡では、画像の繋ぎ合わせに係る処理時間をさらに低減することができる。また、画像処理装置内で行う画像処理内容が一般的な撮像系処理となることで、市販の部品やプログラムが使えるようになり、より安価にデジタル顕微鏡を構成することができる。

102 標本保持部
103 三軸ステージ
104 イメージセンサ
105 チルト角制御アクチュエータ
106 奥行き制御アクチュエータ
107 レーザー変位計
108 制御装置
109 画像処理装置

Claims

撮像位置を異ならせながら被写体を複数回撮像して得られる複数の小画像を繋ぎ合わせて被写体の全体の画像を生成する画像生成装置であって、
一又は複数の撮像素子と、
被写体を保持する保持部材と、
撮像素子を一又は複数の方向に駆動して撮像素子の位置を変更する駆動機構、及び、保持部材を一又は複数の方向に駆動して保持部材の位置を変更する駆動機構、の少なくともいずれかと、
小画像の撮像毎に、撮像素子及び保持部材の位置が、目標の撮像位置の撮像が行われるように定められた所定の位置になるように、前記駆動機構を駆動する駆動制御手段と、
前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうちの少なくともいずれかを駆動後位置情報として測定又は推定により取得する取得手段と、
前記駆動後位置情報に基づき、目標の撮像位置と実際の撮像位置とのずれに起因する小画像の変形を補正する補正手段と、
補正後の小画像を繋ぎ合わせて被写体の全体の画像を生成する生成手段と、
を備える画像生成装置。
複数回の撮像により得られた複数の小画像のうち隣接する小画像同士の重複部分における画像の類似度を算出する算出手段を更に備え、
前記補正手段は、前記駆動後位置情報と前記類似度とに基づき、目標の撮像位置と実際の撮像位置とのずれに起因する小画像の変形を補正する請求項１に記載の画像生成装置。
前記補正手段は、前記画像生成装置に備わる光学部材の特性に起因する小画像の変形を更に補正する請求項１又は２に記載の画像生成装置。
前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうち少なくともいずれかを測定する測定手段を備え、
前記取得手段は、前記測定手段による測定値に基づき、駆動後位置情報を取得する請求項１〜３のいずれか１項に記載の画像生成装置。
前記駆動機構による少なくとも前回の駆動方向が今回の駆動による駆動後の撮像素子又は保持部材の位置に及ぼす影響の情報を記憶する記憶手段を更に備え、
前記取得手段は、前記記憶手段に記憶された情報と、少なくとも前回の駆動方向の情報と、に基づき、前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうち少なくともいずれかを推定することで、駆動後位置情報を取得する請求項１〜３のいずれか１項に記載の画像生成装置。
一又は複数の撮像素子と、被写体を保持する保持部材と、撮像素子を一又は複数の方向に駆動して撮像素子の位置を変更する駆動機構、及び、保持部材を一又は複数の方向に駆動して保持部材の位置を変更する駆動機構、の少なくともいずれかと、を備え、撮像位置を異ならせながら被写体を複数回撮像して得られる複数の小画像を繋ぎ合わせて被写体の全体の画像を生成する画像生成装置の制御方法であって、
小画像の撮像毎に、撮像素子及び保持部材の位置が、目標の撮像位置の撮像が行われるように定められた所定の位置になるように、前記駆動機構を駆動する駆動制御工程と、
前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうちの少なくともいずれ
かを駆動後位置情報として測定又は推定により取得する取得工程と、
前記駆動後位置情報に基づき、目標の撮像位置と実際の撮像位置とのずれに起因する小画像の変形を補正する補正工程と、
補正後の小画像を繋ぎ合わせて被写体の全体の画像を生成する生成工程と、
を有する画像生成装置の制御方法。
複数回の撮像により得られた複数の小画像のうち隣接する小画像同士の重複部分における画像の類似度を算出する算出工程を更に有し、
前記補正工程では、前記駆動後位置情報と前記類似度とに基づき、目標の撮像位置と実際の撮像位置とのずれに起因する小画像の変形を補正する請求項６に記載の画像生成装置の制御方法。
前記補正工程では、前記画像生成装置に備わる光学部材の特性に起因する小画像の変形を更に補正する請求項６又は７に記載の画像生成装置の制御方法。
前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうち少なくともいずれかを測定する測定工程を有し、
前記取得工程では、前記測定工程による測定値に基づき、駆動後位置情報を取得する請求項６〜８のいずれか１項に記載の画像生成装置の制御方法。
前記取得工程では、前記駆動機構による少なくとも前回の駆動方向が今回の駆動による駆動後の撮像素子又は保持部材の位置に及ぼす影響に関する情報と、少なくとも前回の駆動方向の情報と、に基づき、前記駆動機構による駆動後の撮像素子の前記一又は複数の方向の位置、及び、前記駆動機構による駆動後の保持部材の前記一又は複数の方向の位置、のうち少なくともいずれかを推定することで、駆動後位置情報を取得する請求項６〜８のいずれか１項に記載の画像生成装置の制御方法。