JP2014149381A - 画像取得装置および画像取得方法 - Google Patents
画像取得装置および画像取得方法 Download PDFInfo
- Publication number
- JP2014149381A JP2014149381A JP2013017488A JP2013017488A JP2014149381A JP 2014149381 A JP2014149381 A JP 2014149381A JP 2013017488 A JP2013017488 A JP 2013017488A JP 2013017488 A JP2013017488 A JP 2013017488A JP 2014149381 A JP2014149381 A JP 2014149381A
- Authority
- JP
- Japan
- Prior art keywords
- specimen
- staining
- image acquisition
- pathological specimen
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】大量の病理検体の画像を可及的に高い品質でかつ高速に取得することのできる画像取得装置を提供する。
【解決手段】スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、病理検体の染色方法を判定し、この判定の結果に応じてAF処理部に実行させるAF方式を選択する計算部とを具備する。
【選択図】図2
【解決手段】スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、病理検体の染色方法を判定し、この判定の結果に応じてAF処理部に実行させるAF方式を選択する計算部とを具備する。
【選択図】図2
Description
本技術は、デジタル顕微鏡装置などの画像取得装置および画像取得方法に関する。
従来、デジタル顕微鏡装置における拡大撮像系の対物レンズの焦点を撮影対象である病理検体に合わせる合焦方式にはオートフォーカス(AF:Auto Focus)が採用される。例えば、拡大撮像系の対物レンズの焦点位置を光軸方向に所定間隔毎に移動させ、各々の移動位置で撮像を行い、撮像された各々の画像のうち最もコントラストが高い画像を撮像したときの位置を合焦位置として検出するものなどが提案されている(例えば、特許文献1参照)。この種の合焦方式は「コントラストAF」と呼ばれる。
コントラストAFは、比較的高い焦点精度が得られるものの、焦点位置を探索するために対物レンズの焦点位置の移動および評価の繰り返しを伴う。このため焦点位置が得られるまでに比較的時間がかかる。
そこで、対物レンズを通して取り込んだ光をスプリッタレンズにより二つに分けて、二つの結像された画像の間隔から焦点の位置と方向を判断する「位相差AF」を採用した顕微鏡装置も提案されている(例えば、特許文献2参照)。この位相差AF方式は、コントラストAF方式に比べて焦点探索の必要が無いため高速に焦点位置を得ることができる。しかしその反面、撮像面内にある対象物の大きさや組織の数により精度が低下するおそれがある。
デジタル顕微鏡装置では、大量の病理検体の画像を可及的に高い品質でかつ高速に取得したいという要望があるものの、未だ十分な解決には至っていない。
以上のような事情に鑑み、本技術の目的は、大量の病理検体の画像を可及的に高い品質でかつ高速に取得することのできる画像取得装置および画像取得方法を提供することにある。
上記の目的を達成するために、本技術に係る画像取得装置は、スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部とを具備する。
病理検体は、染色方法によって、検体領域の輝度値と非検体領域の輝度値との差(コントラスト)が比較的高いものと低いものとに分けられる。そして位相差AF方式の精度は被写体のコントラストの高さに依存することが知られている。そこで、本技術に係る画像取得装置では、計算部が、病理検体の染色方法を判定し、この判定の結果に応じてAF処理部に実行させるAF方式を選択することによって、最適なAF方式での撮影が可能となり、トータル的に病理画像の取得効率を向上させることができる。
前記計算部は、前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から、前記スライドガラスに貼り付けられ、前記病理検体の染色方法の情報が記載されたラベルが存在する領域をラベル領域として検出し、前記検出されたラベル領域の画像から前記情報を読み取ることによって前記病理検体の染色方法を判定するものであってよい。
前記計算部は、前記判定された病理検体の染色方法がHE染色である場合、前記位相差AF方式を選択し、その他の染色方法である場合、前記コントラストAF方式を選択するものとしてよい。
前記計算部は、前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から前記病理検体が存在する領域を検体領域として検出し、前記検出された検体領域の色情報において赤が支配的であるかどうかを判定することによって前記病理検体の染色方法を判定してもよい。
前記計算部は、 赤が支配的であることが判定された場合には前記病理検体の染色方法がHE染色であることを判定して前記位相差AF方式を選択し、赤が支配的でないことが判定された場合には前記病理検体の染色方法がHE染色以外であることを判定して前記コントラストAF方式を選択するものであってよい。
前記計算部は、前記検体領域内のピクセル毎に赤の輝度値から緑の輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定するものであってよい。
また、前記計算部は、前記検体領域内のピクセル毎に赤の輝度値からモノトーンの輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定するようにしてもよい。
本技術に係る別の側面である画像取得方法は、スライドガラスに載置された病理検体の染色方法を判定し、前記判定の結果に応じて、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて前記対物レンズの焦点を前記病理検体に合わせ、前記病理検体を対物レンズを用いて撮影する、というものである。
以上のように、本技術によれば、大量の病理検体の画像を可及的に高い品質でかつ高速に取得することができる。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[デジタル顕微鏡装置の構成の概要]
図1は、本技術に係る第1の実施形態である画像取得装置であるデジタル顕微鏡装置のハードウェア構成を示す概念図である。
<第1の実施形態>
[デジタル顕微鏡装置の構成の概要]
図1は、本技術に係る第1の実施形態である画像取得装置であるデジタル顕微鏡装置のハードウェア構成を示す概念図である。
このデジタル顕微鏡装置1は、スライドローダ20と、システム制御装置30と、ステージ40と、マクロカメラ50と、画像キャプチャ装置60と、記憶装置70と、計算装置80と、メインカメラ90と、対物レンズ100とを具備している。
スライドローダ20は、病理検体が載置された複数のスライド10(プレパラート)を保管し、システム制御装置30からの指示により、目的のスライド10をステージ40へ供給する。
システム制御装置30は、スライドローダ20、ステージ40、画像キャプチャ装置60などを始め、デジタル顕微鏡装置1のシステム全体の動きを制御する。システム制御装置30は、対物レンズ100の焦点を撮影対象に合わせるAF処理を、コントラストAF方式と位相差AF方式との間で選択的に切り替えて実行することが可能なAF処理部31を有している。
ステージ40は、スライド10を載置可能な面を有し、この面に沿って2軸(x軸およびy軸)方向に移動可能であり、かつその面に対して直交する方向(z軸方向)に移動可能とされている。ステージ40は、2軸(x軸およびy軸)方向への移動により、例えば、スライドローダ20から供給されたスライド10をマクロカメラ50による撮影位置やメインカメラ90による撮影位置に順次移動させることが可能である。また、ステージ40は、x軸方向およびy軸方向の移動により、マクロカメラ50による撮影位置やメインカメラ90による撮影位置にスライド10の撮影領域を整合させることが可能である。さらに、ステージ40は、対物レンズ100の焦点を撮影対象に合わせるためにz軸方向に移動されることが可能である。
マクロカメラ50は、画像キャプチャ装置60の指示により、ステージ40がスライドローダ20から運んできたスライド10の全体をサムネイル画像としてマクロ撮影する。
メインカメラ90は、ステージ40によりスライドローダ20から運ばれてきたスライド10を、対物レンズ100を用いて病理診断に用いる光学倍率で撮影する。対物レンズ100は、メインカメラ90がスライド10を撮影する際に適切な倍率まで像を拡大する。メインカメラ90は本技術の特許請求の範囲の「撮影部」に相当する。
画像キャプチャ装置60は、システム制御装置30の指示により、マクロカメラ50およびメインカメラ90を用いて、スライド10の撮影を行う。画像キャプチャ装置60は、撮影されたサムネイル画像および顕微鏡画像を記憶装置70に保存する。
システム制御装置30は、上記のスライドローダ20、ステージ40、画像キャプチャ装置60などの動作を制御する。また、システム制御装置30は、対物レンズ100の焦点を撮影対象に合わせるAF処理を、コントラストAF方式と位相差AF方式との間で選択的に切り替えて実行することが可能なAF処理部31を有している。
記憶装置70は、マクロカメラ50により撮影されたサムネイル画像およびメインカメラ90により撮影された検体画像を保管し、計算装置80からの要求に応じ保管している画像を計算装置80に供給する。記憶装置70は、計算装置80に内蔵されたものであってもよい。
計算装置80は、システム制御装置30に対してスライド10の撮影手順や撮影方法などに関する指示を出す。計算装置80は、一般的なパーソナルコンピュータ(PC)やそれに準ずるものであり、CPU(Central Processing Unit)、メインメモリなどを具備している。CPUは、メインメモリに格納されたプログラムを実行することにより、後述する各機能ブロックを実現する。
以上が、本実施形態におけるデジタル顕微鏡装置1のハードウェア構成についての概要である。
以上が、本実施形態におけるデジタル顕微鏡装置1のハードウェア構成についての概要である。
[病理検体の撮影の流れの概要]
次に、図1を用いて、デジタル顕微鏡装置1における病理検体の撮影の流れについて説明する。
次に、図1を用いて、デジタル顕微鏡装置1における病理検体の撮影の流れについて説明する。
まず、ユーザがスライド10をスライドローダ20にセットする。
次に、システム制御装置30の指示により、スライドローダ20から目的のスライド10がステージ40上に供給される。この後、ステージ40の移動によりスライド10がマクロカメラ50による撮影位置まで移動される。
次に、システム制御装置30の指示により、画像キャプチャ装置60がマクロカメラ50を用いてスライド10のサムネイル画像をマクロ撮影する。撮影されたサムネイル画像は、画像キャプチャ装置60を経由して記憶装置70に保存される。
次に、計算装置80が、記憶装置70からサムネイル画像を取得し、そのサムネイル画像における病理検体が含まれる領域(検体領域)を計算する処理、その検体領域を区分する複数の小領域各々の座標を計算する処理、そしてメインカメラ90の対物レンズ100のAF方式を選択する処理などを行う。
システム制御装置30は、計算装置80からの複数の小領域の座標情報を受け、最初の小領域とメインカメラ90の撮影範囲とを合わせるようにステージ40をx軸方向およびy軸方向に移動させる。なお、移動はステージ40を移動させるのではなく、メインカメラ90を移動させて行うことも可能である。
次に、計算装置80により選択されたAF方式でスライド10の病理検体に対物レンズ100の焦点を合わせる合焦処理が行われ、合焦状態となったところでメインカメラ90による病理検体の撮影が行われる。メインカメラ90によって撮影された画像は、画像キャプチャ装置60を経由して記憶装置70に保存される。
この後、次の小領域について、メインカメラ90の撮影範囲との整合のためのステージ40の移動、選択されたAF方式による合焦処理、メインカメラ90による撮影が同様に実行され、全ての小領域について上記の処理が繰り返される。
[AF方式の選択]
図2は計算装置80においてAF方式の選択を行う機能のブロック図である。
同図に示すように、計算装置80は、計算装置80内の図示しないメインメモリに格納されたプログラムによって、サムネイル取得部81、領域検出部82およびAF選択部83として動作される。ここで、サムネイル取得部81、領域検出部82およびAF選択部83は、本技術の特許請求の範囲の「計算部」に相当する。
図2は計算装置80においてAF方式の選択を行う機能のブロック図である。
同図に示すように、計算装置80は、計算装置80内の図示しないメインメモリに格納されたプログラムによって、サムネイル取得部81、領域検出部82およびAF選択部83として動作される。ここで、サムネイル取得部81、領域検出部82およびAF選択部83は、本技術の特許請求の範囲の「計算部」に相当する。
サムネイル取得部81は、記憶装置70からスライド10ごとのサムネイル画像を計算装置80内のメインメモリに読み込む(取得する)。ここで、サムネイル画像がRAW画像である場合、サムネイル取得部81は取得したRAW画像に対して現像処理を行う。
領域検出部82は、サムネイル画像の中から最適なAF方式を判定するために必要な領域を検出する。最適なAF方式を判定するために必要な領域とは、
1.染色方法が記載されたラベルの領域(以下「ラベル領域」と呼ぶ。)、
2.検体が存在する領域(以下「検体領域」と呼ぶ。)
である。
1.染色方法が記載されたラベルの領域(以下「ラベル領域」と呼ぶ。)、
2.検体が存在する領域(以下「検体領域」と呼ぶ。)
である。
それぞれの領域の検出は、例えばエッジ検出など、輝度値が鋭敏に変化する場所の検出などによって行われる。
図3はラベルが貼り付けられたスライド10の例を示す図である。
同図に示すように、スライド10は、スライドガラス11と、このスライドガラス11との間に病理検体SPLを保持するためのカバーガラス12とで主に構成される。スライドガラス11の例えば長手方向の一端部には、必要に応じて、病理検体SPLの染色方法を始めとする、当該病理検体SPLに関する情報が記載されたラベル13が貼り付けられることがある。
同図に示すように、スライド10は、スライドガラス11と、このスライドガラス11との間に病理検体SPLを保持するためのカバーガラス12とで主に構成される。スライドガラス11の例えば長手方向の一端部には、必要に応じて、病理検体SPLの染色方法を始めとする、当該病理検体SPLに関する情報が記載されたラベル13が貼り付けられることがある。
AF選択部83は、上記の検体領域およびラベル領域の少なくともいずれか一方の領域の画像をもとに病理検体の染色方法を判定し、判定した染色方法に応じて、対物レンズ100の最適なAF方式を判定する。より具体的には、AF選択部83は、HE染色検体またはHE染色検体である可能性の高い検体に対しては位相差AFを選択し、その他の検体に対してはコントラストAFを選択する。
ここで、HE染色検体に対して位相差AFを採用する理由を説明する。
図4はHE染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。
図5は特殊染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。
図4はHE染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。
図5は特殊染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。
これらのグラフにおいて、縦軸は輝度値、横軸は位置である。両グラフのRGB毎の輝度波形では、ある位置で輝度が鋭敏に変化している。この鋭敏な輝度変化点より左側の波形は検体の存在しない領域(以下「非検体領域」と呼ぶ。)の画像に対するRGB毎の輝度波形であり、右側の波形は検体領域の画像に対するRGB毎の輝度波形である。両グラフの輝度波形を比較すると分かるように、HE染色検体においては、検体領域の輝度値と非検体領域の輝度値との差(コントラスト)が特殊染色検体のそれよりも高くなる傾向がある。また、免疫組織化学染色(IHC:Immunohistochemistry)による検体の多くもHE染色が施された検体に比べ上記のコントラストは低い。
一方、位相差AF方式の精度は被写体のコントラストの高さに依存することが知られている。位相差AF方式では、レンズからの光が2つに分割され、一対のラインセンサにそれぞれ結像された2つの画像の間隔(位相差)からデフォーカス量と向きが得られる。2つの画像の間隔(位相差)は、一対のラインセンサの互いに対応する画素位置から得られる信号値の差分の絶対値(相関値)が極小となる位相差である。しかし、被写体のコントラストが低いと上記の相関値の変位量が小さくなり、位相差の検出精度ひいてはAF精度が低下する傾向がある。
以上のような理由により、AF選択部83は、HE染色検体のスライド10であることを判定した場合には最適なAF方式として位相差AF方式を選択する。そしてAF選択部83は、選択した位相差AF方式をシステム制御装置30内のAF処理部31に設定する。
次に、本実施形態のデジタル顕微鏡装置1において、最適なAF方式の選択の動作を図6のフローチャートを用いて説明する。
まず、サムネイル取得部81は、記憶装置70からスライド10毎のサムネイル画像を計算装置80のメインメモリに読み込む。なお、読み込んだサムネイル画像がRAW画像である場合には、その場で現像処理が行われる(ステップS101)。
次に、領域検出部82は、サムネイル画像からラベル領域の検出を試みる(ステップS102)。ラベル領域の検出に成功した場合(ステップS103のY)、そのラベル領域の位置情報をAF選択部83にわたす。
(ラベル情報によるAF方式の選択)
AF選択部83は、領域検出部82から与えられたラベル領域の位置情報をもとに当該ラベル領域の画像を特定し、このラベル領域の画像に対し、文字パターンの検出および認識などを試みることによって、そのラベルに記載されている染色方法に関する情報の取得を試みる(ステップS104)。
AF選択部83は、領域検出部82から与えられたラベル領域の位置情報をもとに当該ラベル領域の画像を特定し、このラベル領域の画像に対し、文字パターンの検出および認識などを試みることによって、そのラベルに記載されている染色方法に関する情報の取得を試みる(ステップS104)。
AF選択部83は、染色方法に関する情報の取得に成功し(ステップS105のY)、かつ、その染色方法がHE染色である場合(ステップS106のY)、位相差AF方式をシステム制御装置30内のAF処理部31に設定する(ステップS107)。
AF処理部31は位相差AF方式が設定された場合、当該スライド10に対する対物レンズ100の合焦処理を位相差AF方式で行うように画像キャプチャ装置60およびステージ40を制御する。
また、AF選択部83は、染色方法に関する情報の取得に成功しても、その染色方法がHE染色以外である場合には(ステップS106のN)、コントラストAF方式をシステム制御装置30内のAF処理部31に設定する(ステップS108)。
AF処理部31はコントラストAF方式が設定された場合、当該スライド10に対する対物レンズ100の合焦処理をコントラストAF方式で行うように画像キャプチャ装置60およびステージ40を制御する。
また、領域検出部82によるラベル領域の検出に失敗した場合(ステップS103のN)、または、ラベル領域の検出に成功してもAF選択部83による染色方法に関する情報の取得に失敗した場合(ステップS105のNO)、AF選択部83は、画像の色特性によるAF方式の選択を次のように行う(ステップS109)。
(画像の色特性によるAF方式の選択)
図7は画像の色特性によるAF方式の選択に関するフローチャートである。
ここではサムネイル画像のホワイトバランスの調整がとれていない場合を想定する。この場合、領域検出部82は、サムネイル画像から非検体領域の一部を検出する。この非検体領域の一部とは、例えば、RGB各々の輝度値が非検体領域の判定用に予め決められた値以上であることを満足する、あるまとまったサイズ(ピクセル数)の領域である。続いて領域検出部82は、当該非検体領域内のRG各々の輝度平均値Ravg、Gavgを求める(ステップS201)。当該輝度平均値Ravg、Gavgの計算式を次に示す。
図7は画像の色特性によるAF方式の選択に関するフローチャートである。
ここではサムネイル画像のホワイトバランスの調整がとれていない場合を想定する。この場合、領域検出部82は、サムネイル画像から非検体領域の一部を検出する。この非検体領域の一部とは、例えば、RGB各々の輝度値が非検体領域の判定用に予め決められた値以上であることを満足する、あるまとまったサイズ(ピクセル数)の領域である。続いて領域検出部82は、当該非検体領域内のRG各々の輝度平均値Ravg、Gavgを求める(ステップS201)。当該輝度平均値Ravg、Gavgの計算式を次に示す。
ここで、Nは検出された非検体領域のピクセル数、R(x,y)は非検体領域内の1ピクセルの赤の輝度値、G(x,y)は非検体領域内の1ピクセルの緑の輝度値である。
計算された輝度平均値Ravg、GavgはAF選択部83に供給され、AF選択部83での評価計算に用いられる。この評価計算については後で説明する。
次に、領域検出部82は検体領域を判定するROI(Region of Interest)処理を行う(ステップS202)。より具体的には、領域検出部82は、例えば、輝度値が急峻に変化する画素の分布から検体領域を判定する。輝度値が急峻に変化する画素の検出には、例えばエッジ検出によって検体の境界を検出する方法などが用いられる。
図8はROI処理の例を示す図である。
領域検出部82は、例えば、病理検体SPLが存在する矩形領域などを検体領域14として特定する。但し、特定される検体領域14は、必ずしも病理検体SPLに外接する矩形領域である必要はなく、例えば、図9に示すように、病理検体SPLに外接する矩形の検体領域14から外側に所定長のマージンを加えた領域15であってもよい。
領域検出部82は、例えば、病理検体SPLが存在する矩形領域などを検体領域14として特定する。但し、特定される検体領域14は、必ずしも病理検体SPLに外接する矩形領域である必要はなく、例えば、図9に示すように、病理検体SPLに外接する矩形の検体領域14から外側に所定長のマージンを加えた領域15であってもよい。
ここで、HE染色検体のスライド10のサムネイル画像は特殊染色などの他の染色方法の検体のそれに比べて検体領域とその周辺の非検体領域との間のコントラストが高くなる傾向を有するものの、HE染色検体のすべてのスライド10がそうであるとは限らない。また、他の染色方法の検体のスライド10のサムネイル画像であってもHE染色検体と同等のコントラストを有している場合もある。したがって、領域検出部82によって判定された検体領域は、HE染色検体が含まれる可能性の高い検体領域としてAF選択部83に通知される。
これにより、AF選択部83による処理は検体領域に対する処理に絞り込まれ、AF選択部83の処理量が低減されることで、処理を高速化できる。また、非検体領域に存在するゴミ等の不要物によるAF選択への悪影響を排除することができ、判定の精度が向上する。
ここで、図4及び図5の説明に戻る。
染色によって細胞核は黒っぽくなるため、検体領域での輝度は非検体領域での輝度よりも低くなることが普通である。しかし、HE染色検体の図4の輝度波形を見ると、RGBの輝度値は検体領域において均等に低くなるのではなく、殆どの場合、G(緑)の輝度の低下分がR(赤)およびB(青)のそれに比べて顕著になることが本発明者等によって実験的に確認された。この現象は、主にHE染色を用いた場合に見られ、特殊染色、IHC染色、HER2染色では見られなかった。
染色によって細胞核は黒っぽくなるため、検体領域での輝度は非検体領域での輝度よりも低くなることが普通である。しかし、HE染色検体の図4の輝度波形を見ると、RGBの輝度値は検体領域において均等に低くなるのではなく、殆どの場合、G(緑)の輝度の低下分がR(赤)およびB(青)のそれに比べて顕著になることが本発明者等によって実験的に確認された。この現象は、主にHE染色を用いた場合に見られ、特殊染色、IHC染色、HER2染色では見られなかった。
AF選択部83による判定は、この現象の有無を定量的に捉えることによって行われる。
例えば、AF選択部83は、まず、検体領域の色情報においてR(赤)が支配的であるかどうかを下記の式により得られる評価値Eをもとに判定する(ステップS203)。
例えば、AF選択部83は、まず、検体領域の色情報においてR(赤)が支配的であるかどうかを下記の式により得られる評価値Eをもとに判定する(ステップS203)。
なお、この式は、サムネイル画像のホワイトバランスが調整されていない場合を想定したものである。ここで、Ravgは領域検出部82によって上記(1)式によって算出されたR(赤)の輝度平均値、Gavgは領域検出部82によって上記(2)式によって算出されたG(緑)の輝度平均値である。ホワイトバランスが調整されている場合には、次式(4)が採用される。
図7のフローチャートに戻り、AF選択部83は、評価値EをもとにR(赤)が支配的であることを判定した場合には(ステップS204のY)、位相差AF方式をを選択してシステム制御装置30内のAF処理部31に設定する(ステップS205)。また、AF選択部83は、評価値EをもとにR(赤)が支配的でないことを判定した場合には(ステップS204のN)、コントラストAF方式を選択してシステム制御装置30内のAF処理部31に設定する(ステップS206)。
R(赤)が支配的であるかどうの評価条件の例を表1に示す。
この例では、評価値Eが0以上である場合にR(赤)が支配的であると判定され、位相差AF方式が選択される。評価値Eが0未満である場合にはR(赤)が支配的でないと判定され、コントラストAF方式が選択される。
なお、評価値Eの計算方法および評価値EからのAF方法の決定方法は、必ずしも上記のものに限定されない。
例えば、表1において、評価値Eが0以上である場合にR(赤)が支配的であることが判定されることとしたが、0以外の値であってもよい。
また、上記の評価値Eの計算式(3)、(4)においてGをモノトーンの輝度Y(x,y)に置き換えた下記の計算式を採用してもよい。
この場合も、ホワイトバランスが調整されている場合には、次式(6)が採用される。
ここでモノトーンの輝度Y(x,y)は、例えば、
Y(x,y)=0.299R + 0.587G + 0.114B …(7)
で与えられる。
Y(x,y)=0.299R + 0.587G + 0.114B …(7)
で与えられる。
また、Yavgは次式(8)により与えられる。
[本実施形態の効果等]
以上説明したように、本実施形態のデジタル顕微鏡装置1によれば、 スライド10ごとに適切なAF方式を速やかに選択することができ、撮影の効率が向上する。
以上説明したように、本実施形態のデジタル顕微鏡装置1によれば、 スライド10ごとに適切なAF方式を速やかに選択することができ、撮影の効率が向上する。
スライド10のラベル13に染色方法に関する情報が記載されている場合には、この染色方法に関する情報をともに当該染色方法に対して適切なAF方式を選択する動作が最優先で行われる。これにより、適切なAF方式を速やかに選択することができる。
さらに、本実施形態のデジタル顕微鏡装置1によれば、画像の色特性をもとに適切なAF方式を選択することができるので、スライド10にラベル13が貼り付けられていない場合や、貼り付けられていても染色方法に関する情報の読み取りに失敗した場合にも、適切なAF方式を選択することができる。
<変形例1>
次に、変形例を説明する。
以上の説明においては、ラベル情報または画像の色特性をもとに判定されたHE染色検体に対して一意に位相差AF方式を選択することとしたが、HE染色検体であっても、例えば、脂肪細胞が大半を占める検体など、位相差AF方式で合焦位置を精度良く得るための十分なコントラストを満足しない検体もあり得る。
次に、変形例を説明する。
以上の説明においては、ラベル情報または画像の色特性をもとに判定されたHE染色検体に対して一意に位相差AF方式を選択することとしたが、HE染色検体であっても、例えば、脂肪細胞が大半を占める検体など、位相差AF方式で合焦位置を精度良く得るための十分なコントラストを満足しない検体もあり得る。
このような場合に備え、次のような変形例を挙げることができる。
例えば、AF選択部83は、ラベル情報をもとに検体がHE染色であることが判定された場合、または画像の色特性をもとに評価値Eが0以上である場合、エッジ検出により検体の境界として判定されたピクセルの数を所定の基準に従って評価する。
例えば、AF選択部83は、ラベル情報をもとに検体がHE染色であることが判定された場合、または画像の色特性をもとに評価値Eが0以上である場合、エッジ検出により検体の境界として判定されたピクセルの数を所定の基準に従って評価する。
ここで、エッジ検出により検体の境界として判定されたピクセルの数の検体領域全体のピクセル数に対する割合は、検体領域の画像の全体的なコントラストを反映した指標値と言える。そこでAF選択部83は、この指標値を、位相差AF方式での精度を考慮して予め決められた閾値を基準に評価する。AF選択部83は、指標値が閾値以上である場合には位相差AF方式を選択する。また、AF選択部83は、指標値が閾値に満たない場合には、ラベル情報に基づく判定結果や画像の色特性に基づく評価値Eにかかわらず、コントラストAF方式を選択する。
これにより、HE染色検体であるにもかかわらず十分なコントラストを満足しない検体に対する適切なAF方式を選択することができる。
なお、本技術は以下のような構成も採ることができる。
(1) スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、
前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、
前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部と、
を具備する画像取得装置。
(1) スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、
前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、
前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部と、
を具備する画像取得装置。
(2)前記(1)に記載の画像取得装置であって、
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から、前記スライドガラスに貼り付けられ、前記病理検体の染色方法の情報が記載されたラベルが存在する領域をラベル領域として検出し、前記検出されたラベル領域の画像から前記情報を読み取ることによって前記病理検体の染色方法を判定する
画像取得装置。
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から、前記スライドガラスに貼り付けられ、前記病理検体の染色方法の情報が記載されたラベルが存在する領域をラベル領域として検出し、前記検出されたラベル領域の画像から前記情報を読み取ることによって前記病理検体の染色方法を判定する
画像取得装置。
(3)前記(1)または(2)に記載の画像取得装置であって、
前記計算部は、
前記判定された病理検体の染色方法がHE染色である場合、前記位相差AF方式を選択し、その他の染色方法である場合、前記コントラストAF方式を選択する
画像取得装置。
前記計算部は、
前記判定された病理検体の染色方法がHE染色である場合、前記位相差AF方式を選択し、その他の染色方法である場合、前記コントラストAF方式を選択する
画像取得装置。
(4)前記(1)に記載の画像取得装置であって、
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から前記病理検体が存在する領域を検体領域として検出し、前記検出された検体領域の色情報において赤が支配的であるかどうかを判定することによって前記病理検体の染色方法を判定する
画像取得装置。
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から前記病理検体が存在する領域を検体領域として検出し、前記検出された検体領域の色情報において赤が支配的であるかどうかを判定することによって前記病理検体の染色方法を判定する
画像取得装置。
(5)前記(4)に記載の画像取得装置であって、
前記計算部は、
赤が支配的であることが判定された場合には前記病理検体の染色方法がHE染色であることを判定して前記位相差AF方式を選択し、赤が支配的でないことが判定された場合には前記病理検体の染色方法がHE染色以外であることを判定して前記コントラストAF方式を選択する
画像取得装置。
前記計算部は、
赤が支配的であることが判定された場合には前記病理検体の染色方法がHE染色であることを判定して前記位相差AF方式を選択し、赤が支配的でないことが判定された場合には前記病理検体の染色方法がHE染色以外であることを判定して前記コントラストAF方式を選択する
画像取得装置。
(6)前記(4)または(5)に記載の画像取得装置であって、
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値から緑の輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値から緑の輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。
(7)前記(4)または(5)に記載の画像取得装置であって、
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値からモノトーンの輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値からモノトーンの輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。
1…デジタル顕微鏡装置
10…スライド
11…スライドガラス
13…ラベル
14…検体領域
30…システム制御装置
31…AF処理部
40…ステージ
50…マクロカメラ
60…画像キャプチャ装置
70…記憶装置
80…計算装置
81…サムネイル取得部
82…領域検出部
83…AF選択部
90…メインカメラ
100…対物レンズ
10…スライド
11…スライドガラス
13…ラベル
14…検体領域
30…システム制御装置
31…AF処理部
40…ステージ
50…マクロカメラ
60…画像キャプチャ装置
70…記憶装置
80…計算装置
81…サムネイル取得部
82…領域検出部
83…AF選択部
90…メインカメラ
100…対物レンズ
Claims (8)
- スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、
前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、
前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部と
を具備する画像取得装置。 - 請求項1に記載の画像取得装置であって、
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から、前記スライドガラスに貼り付けられ、前記病理検体の染色方法の情報が記載されたラベルが存在する領域をラベル領域として検出し、前記検出されたラベル領域の画像から前記情報を読み取ることによって前記病理検体の染色方法を判定する
画像取得装置。 - 請求項2に記載の画像取得装置であって、
前記計算部は、
前記判定された病理検体の染色方法がHE染色である場合、前記位相差AF方式を選択し、その他の染色方法である場合、前記コントラストAF方式を選択する
画像取得装置。 - 請求項1に記載の画像取得装置であって、
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から前記病理検体が存在する領域を検体領域として検出し、前記検出された検体領域の色情報において赤が支配的であるかどうかを判定することによって前記病理検体の染色方法を判定する
画像取得装置。 - 請求項4に記載の画像取得装置であって、
前記計算部は、
赤が支配的であることが判定された場合には前記病理検体の染色方法がHE染色であることを判定して前記位相差AF方式を選択し、赤が支配的でないことが判定された場合には前記病理検体の染色方法がHE染色以外であることを判定して前記コントラストAF方式を選択する
画像取得装置。 - 請求項5に記載の画像取得装置であって、
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値から緑の輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。 - 請求項5に記載の画像取得装置であって、
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値からモノトーンの輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。 - スライドガラスに載置された病理検体の染色方法を判定し、
前記判定の結果に応じて、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて前記対物レンズの焦点を前記病理検体に合わせ、前記病理検体を対物レンズを用いて撮影する
画像取得方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013017488A JP2014149381A (ja) | 2013-01-31 | 2013-01-31 | 画像取得装置および画像取得方法 |
| CN201410032015.6A CN103973967A (zh) | 2013-01-31 | 2014-01-23 | 图像获取装置和图像获取方法 |
| US14/163,383 US20140210980A1 (en) | 2013-01-31 | 2014-01-24 | Image acquisition apparatus and image acquisition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013017488A JP2014149381A (ja) | 2013-01-31 | 2013-01-31 | 画像取得装置および画像取得方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014149381A true JP2014149381A (ja) | 2014-08-21 |
Family
ID=51222499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013017488A Pending JP2014149381A (ja) | 2013-01-31 | 2013-01-31 | 画像取得装置および画像取得方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20140210980A1 (ja) |
| JP (1) | JP2014149381A (ja) |
| CN (1) | CN103973967A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021177446A1 (en) | 2020-03-05 | 2021-09-10 | Sony Group Corporation | Signal acquisition apparatus, signal acquisition system, and signal acquisition method |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6019798B2 (ja) * | 2012-06-22 | 2016-11-02 | ソニー株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
| DE102020126522A1 (de) | 2020-10-09 | 2022-04-14 | Carl Zeiss Microscopy Gmbh | Mikroskopiesystem und verfahren zur übersichtsbildauswertung |
| CN114359799B (zh) * | 2021-12-29 | 2024-05-24 | 深圳乐易通医疗设备研发有限公司 | 一种病理样本的实时监测系统 |
| CN115115582B (zh) * | 2022-06-06 | 2024-10-11 | 深圳艾迪康医学检验实验室 | 一种基于视觉检测的检验室检验方法及装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0743605A (ja) * | 1993-08-02 | 1995-02-14 | Minolta Co Ltd | 自動焦点装置 |
| EP0864082B1 (en) * | 1995-11-30 | 2003-04-02 | Chromavision Medical Systems, Inc. | Method for automated image analysis of biological specimens |
| JP2000295462A (ja) * | 1999-02-04 | 2000-10-20 | Olympus Optical Co Ltd | 顕微鏡画像伝送システム |
| US6591010B1 (en) * | 1999-07-29 | 2003-07-08 | International Business Machines Corporation | System and method for image detection and qualification |
| IL132687A0 (en) * | 1999-11-01 | 2001-03-19 | Keren Mechkarim Ichilov Pnimit | System and method for evaluating body fluid samples |
| AU2003245499A1 (en) * | 2002-06-14 | 2003-12-31 | Chromavision Medical Systems, Inc. | Automated slide staining apparatus |
| BRPI0514078A (pt) * | 2004-08-04 | 2008-05-27 | Intergraph Software Tech Co | método de preparação de uma imagem composta com resolução não uniforme |
| EP1624672A1 (en) * | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
| US20070031056A1 (en) * | 2005-08-02 | 2007-02-08 | Perz Cynthia B | System for and method of focusing in automated microscope systems |
| US9008378B2 (en) * | 2006-12-20 | 2015-04-14 | The Board Of Trustees Of The Leland Stanford Junior University | Arrangement and imaging of biological samples |
| WO2008099605A1 (ja) * | 2007-02-15 | 2008-08-21 | Panasonic Corporation | 撮像装置およびカメラ本体 |
| US8369600B2 (en) * | 2008-03-25 | 2013-02-05 | General Electric Company | Method and apparatus for detecting irregularities in tissue microarrays |
| JP2011164543A (ja) * | 2010-02-15 | 2011-08-25 | Hoya Corp | 測距点選択システム、オートフォーカスシステム、およびカメラ |
| US20120127297A1 (en) * | 2010-11-24 | 2012-05-24 | Baxi Vipul A | Digital microscopy with focus grading in zones distinguished for comparable image structures |
| JP5780865B2 (ja) * | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
| JP6000520B2 (ja) * | 2011-07-25 | 2016-09-28 | キヤノン株式会社 | 撮像装置およびその制御方法およびプログラム |
| WO2013170048A1 (en) * | 2012-05-09 | 2013-11-14 | Advanced Animal Diagnostics, Inc. | Rapid detection of analytes in liquid samples |
-
2013
- 2013-01-31 JP JP2013017488A patent/JP2014149381A/ja active Pending
-
2014
- 2014-01-23 CN CN201410032015.6A patent/CN103973967A/zh active Pending
- 2014-01-24 US US14/163,383 patent/US20140210980A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021177446A1 (en) | 2020-03-05 | 2021-09-10 | Sony Group Corporation | Signal acquisition apparatus, signal acquisition system, and signal acquisition method |
| US11842555B2 (en) | 2020-03-05 | 2023-12-12 | Sony Group Corporation | Signal acquisition apparatus, signal acquisition system, and signal acquisition method |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140210980A1 (en) | 2014-07-31 |
| CN103973967A (zh) | 2014-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5154392B2 (ja) | 撮像装置 | |
| JP6448996B2 (ja) | 顕微鏡システム | |
| JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
| US8830313B2 (en) | Information processing apparatus, stage-undulation correcting method, program therefor | |
| JP6146265B2 (ja) | 顕微鏡システムおよびオートフォーカス方法 | |
| US10444486B2 (en) | Systems and methods for detection of blank fields in digital microscopes | |
| JP6414050B2 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| JP6053327B2 (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
| US10313637B2 (en) | Digital microscope apparatus for reimaging blurry portion based on edge detection | |
| JP5996334B2 (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
| CN108700733A (zh) | 用于生成生物样本的具有增强景深的合成2d图像的系统 | |
| JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
| JP2014178474A (ja) | デジタル顕微鏡装置、その合焦位置探索方法およびプログラム | |
| JP2014149381A (ja) | 画像取得装置および画像取得方法 | |
| JP2008020498A (ja) | 自動焦点検出装置 | |
| US10721413B2 (en) | Microscopy system, microscopy method, and computer readable recording medium | |
| WO2014196097A1 (ja) | 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
| Shajkofci et al. | DeepFocus: a few-shot microscope slide auto-focus using a sample invariant CNN-based sharpness function | |
| JP2015194700A (ja) | 合焦判定装置、合焦判定方法、及び撮像装置 | |
| JP5149984B2 (ja) | 撮像装置 | |
| JP5209137B2 (ja) | 撮像装置 | |
| JP5927973B2 (ja) | 撮像装置、撮像制御プログラム及び撮像方法 | |
| JP6464553B2 (ja) | レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム | |
| AU2013273789A1 (en) | Thickness estimation for Microscopy | |
| US20250113103A1 (en) | Image-based focusing for autofluorescence microscopy |