[go: up one dir, main page]

JP2014149381A - 画像取得装置および画像取得方法 - Google Patents

画像取得装置および画像取得方法 Download PDF

Info

Publication number
JP2014149381A
JP2014149381A JP2013017488A JP2013017488A JP2014149381A JP 2014149381 A JP2014149381 A JP 2014149381A JP 2013017488 A JP2013017488 A JP 2013017488A JP 2013017488 A JP2013017488 A JP 2013017488A JP 2014149381 A JP2014149381 A JP 2014149381A
Authority
JP
Japan
Prior art keywords
specimen
staining
image acquisition
pathological specimen
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013017488A
Other languages
English (en)
Inventor
Shinji Watanabe
真司 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013017488A priority Critical patent/JP2014149381A/ja
Priority to CN201410032015.6A priority patent/CN103973967A/zh
Priority to US14/163,383 priority patent/US20140210980A1/en
Publication of JP2014149381A publication Critical patent/JP2014149381A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】大量の病理検体の画像を可及的に高い品質でかつ高速に取得することのできる画像取得装置を提供する。
【解決手段】スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、病理検体の染色方法を判定し、この判定の結果に応じてAF処理部に実行させるAF方式を選択する計算部とを具備する。
【選択図】図2

Description

本技術は、デジタル顕微鏡装置などの画像取得装置および画像取得方法に関する。
従来、デジタル顕微鏡装置における拡大撮像系の対物レンズの焦点を撮影対象である病理検体に合わせる合焦方式にはオートフォーカス(AF:Auto Focus)が採用される。例えば、拡大撮像系の対物レンズの焦点位置を光軸方向に所定間隔毎に移動させ、各々の移動位置で撮像を行い、撮像された各々の画像のうち最もコントラストが高い画像を撮像したときの位置を合焦位置として検出するものなどが提案されている(例えば、特許文献1参照)。この種の合焦方式は「コントラストAF」と呼ばれる。
コントラストAFは、比較的高い焦点精度が得られるものの、焦点位置を探索するために対物レンズの焦点位置の移動および評価の繰り返しを伴う。このため焦点位置が得られるまでに比較的時間がかかる。
そこで、対物レンズを通して取り込んだ光をスプリッタレンズにより二つに分けて、二つの結像された画像の間隔から焦点の位置と方向を判断する「位相差AF」を採用した顕微鏡装置も提案されている(例えば、特許文献2参照)。この位相差AF方式は、コントラストAF方式に比べて焦点探索の必要が無いため高速に焦点位置を得ることができる。しかしその反面、撮像面内にある対象物の大きさや組織の数により精度が低下するおそれがある。
特開2011−197283号公報 特開2011−090222号公報
デジタル顕微鏡装置では、大量の病理検体の画像を可及的に高い品質でかつ高速に取得したいという要望があるものの、未だ十分な解決には至っていない。
以上のような事情に鑑み、本技術の目的は、大量の病理検体の画像を可及的に高い品質でかつ高速に取得することのできる画像取得装置および画像取得方法を提供することにある。
上記の目的を達成するために、本技術に係る画像取得装置は、スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部とを具備する。
病理検体は、染色方法によって、検体領域の輝度値と非検体領域の輝度値との差(コントラスト)が比較的高いものと低いものとに分けられる。そして位相差AF方式の精度は被写体のコントラストの高さに依存することが知られている。そこで、本技術に係る画像取得装置では、計算部が、病理検体の染色方法を判定し、この判定の結果に応じてAF処理部に実行させるAF方式を選択することによって、最適なAF方式での撮影が可能となり、トータル的に病理画像の取得効率を向上させることができる。
前記計算部は、前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から、前記スライドガラスに貼り付けられ、前記病理検体の染色方法の情報が記載されたラベルが存在する領域をラベル領域として検出し、前記検出されたラベル領域の画像から前記情報を読み取ることによって前記病理検体の染色方法を判定するものであってよい。
前記計算部は、前記判定された病理検体の染色方法がHE染色である場合、前記位相差AF方式を選択し、その他の染色方法である場合、前記コントラストAF方式を選択するものとしてよい。
前記計算部は、前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から前記病理検体が存在する領域を検体領域として検出し、前記検出された検体領域の色情報において赤が支配的であるかどうかを判定することによって前記病理検体の染色方法を判定してもよい。
前記計算部は、 赤が支配的であることが判定された場合には前記病理検体の染色方法がHE染色であることを判定して前記位相差AF方式を選択し、赤が支配的でないことが判定された場合には前記病理検体の染色方法がHE染色以外であることを判定して前記コントラストAF方式を選択するものであってよい。
前記計算部は、前記検体領域内のピクセル毎に赤の輝度値から緑の輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定するものであってよい。
また、前記計算部は、前記検体領域内のピクセル毎に赤の輝度値からモノトーンの輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定するようにしてもよい。
本技術に係る別の側面である画像取得方法は、スライドガラスに載置された病理検体の染色方法を判定し、前記判定の結果に応じて、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて前記対物レンズの焦点を前記病理検体に合わせ、前記病理検体を対物レンズを用いて撮影する、というものである。
以上のように、本技術によれば、大量の病理検体の画像を可及的に高い品質でかつ高速に取得することができる。
本技術に係る第1の実施形態である画像取得装置であるデジタル顕微鏡装置のハードウェア構成を示す概念図である。 図1のデジタル顕微鏡装置の計算装置によるAF選択のための機能ブロック図である。 ラベルが貼り付けられたスライドの例を示す図である。 HE染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。 特殊染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。 図1のデジタル顕微鏡装置において顕微鏡撮影に利用すべき最適なAF方式が選択されるまでの動作を示すフローチャートである。 画像の色特性によるAF選択に関するフローチャートである。 ROI処理の例を示す図である。 ROI処理の他の例を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[デジタル顕微鏡装置の構成の概要]
図1は、本技術に係る第1の実施形態である画像取得装置であるデジタル顕微鏡装置のハードウェア構成を示す概念図である。
このデジタル顕微鏡装置1は、スライドローダ20と、システム制御装置30と、ステージ40と、マクロカメラ50と、画像キャプチャ装置60と、記憶装置70と、計算装置80と、メインカメラ90と、対物レンズ100とを具備している。
スライドローダ20は、病理検体が載置された複数のスライド10(プレパラート)を保管し、システム制御装置30からの指示により、目的のスライド10をステージ40へ供給する。
システム制御装置30は、スライドローダ20、ステージ40、画像キャプチャ装置60などを始め、デジタル顕微鏡装置1のシステム全体の動きを制御する。システム制御装置30は、対物レンズ100の焦点を撮影対象に合わせるAF処理を、コントラストAF方式と位相差AF方式との間で選択的に切り替えて実行することが可能なAF処理部31を有している。
ステージ40は、スライド10を載置可能な面を有し、この面に沿って2軸(x軸およびy軸)方向に移動可能であり、かつその面に対して直交する方向(z軸方向)に移動可能とされている。ステージ40は、2軸(x軸およびy軸)方向への移動により、例えば、スライドローダ20から供給されたスライド10をマクロカメラ50による撮影位置やメインカメラ90による撮影位置に順次移動させることが可能である。また、ステージ40は、x軸方向およびy軸方向の移動により、マクロカメラ50による撮影位置やメインカメラ90による撮影位置にスライド10の撮影領域を整合させることが可能である。さらに、ステージ40は、対物レンズ100の焦点を撮影対象に合わせるためにz軸方向に移動されることが可能である。
マクロカメラ50は、画像キャプチャ装置60の指示により、ステージ40がスライドローダ20から運んできたスライド10の全体をサムネイル画像としてマクロ撮影する。
メインカメラ90は、ステージ40によりスライドローダ20から運ばれてきたスライド10を、対物レンズ100を用いて病理診断に用いる光学倍率で撮影する。対物レンズ100は、メインカメラ90がスライド10を撮影する際に適切な倍率まで像を拡大する。メインカメラ90は本技術の特許請求の範囲の「撮影部」に相当する。
画像キャプチャ装置60は、システム制御装置30の指示により、マクロカメラ50およびメインカメラ90を用いて、スライド10の撮影を行う。画像キャプチャ装置60は、撮影されたサムネイル画像および顕微鏡画像を記憶装置70に保存する。
システム制御装置30は、上記のスライドローダ20、ステージ40、画像キャプチャ装置60などの動作を制御する。また、システム制御装置30は、対物レンズ100の焦点を撮影対象に合わせるAF処理を、コントラストAF方式と位相差AF方式との間で選択的に切り替えて実行することが可能なAF処理部31を有している。
記憶装置70は、マクロカメラ50により撮影されたサムネイル画像およびメインカメラ90により撮影された検体画像を保管し、計算装置80からの要求に応じ保管している画像を計算装置80に供給する。記憶装置70は、計算装置80に内蔵されたものであってもよい。
計算装置80は、システム制御装置30に対してスライド10の撮影手順や撮影方法などに関する指示を出す。計算装置80は、一般的なパーソナルコンピュータ(PC)やそれに準ずるものであり、CPU(Central Processing Unit)、メインメモリなどを具備している。CPUは、メインメモリに格納されたプログラムを実行することにより、後述する各機能ブロックを実現する。
以上が、本実施形態におけるデジタル顕微鏡装置1のハードウェア構成についての概要である。
[病理検体の撮影の流れの概要]
次に、図1を用いて、デジタル顕微鏡装置1における病理検体の撮影の流れについて説明する。
まず、ユーザがスライド10をスライドローダ20にセットする。
次に、システム制御装置30の指示により、スライドローダ20から目的のスライド10がステージ40上に供給される。この後、ステージ40の移動によりスライド10がマクロカメラ50による撮影位置まで移動される。
次に、システム制御装置30の指示により、画像キャプチャ装置60がマクロカメラ50を用いてスライド10のサムネイル画像をマクロ撮影する。撮影されたサムネイル画像は、画像キャプチャ装置60を経由して記憶装置70に保存される。
次に、計算装置80が、記憶装置70からサムネイル画像を取得し、そのサムネイル画像における病理検体が含まれる領域(検体領域)を計算する処理、その検体領域を区分する複数の小領域各々の座標を計算する処理、そしてメインカメラ90の対物レンズ100のAF方式を選択する処理などを行う。
システム制御装置30は、計算装置80からの複数の小領域の座標情報を受け、最初の小領域とメインカメラ90の撮影範囲とを合わせるようにステージ40をx軸方向およびy軸方向に移動させる。なお、移動はステージ40を移動させるのではなく、メインカメラ90を移動させて行うことも可能である。
次に、計算装置80により選択されたAF方式でスライド10の病理検体に対物レンズ100の焦点を合わせる合焦処理が行われ、合焦状態となったところでメインカメラ90による病理検体の撮影が行われる。メインカメラ90によって撮影された画像は、画像キャプチャ装置60を経由して記憶装置70に保存される。
この後、次の小領域について、メインカメラ90の撮影範囲との整合のためのステージ40の移動、選択されたAF方式による合焦処理、メインカメラ90による撮影が同様に実行され、全ての小領域について上記の処理が繰り返される。
[AF方式の選択]
図2は計算装置80においてAF方式の選択を行う機能のブロック図である。
同図に示すように、計算装置80は、計算装置80内の図示しないメインメモリに格納されたプログラムによって、サムネイル取得部81、領域検出部82およびAF選択部83として動作される。ここで、サムネイル取得部81、領域検出部82およびAF選択部83は、本技術の特許請求の範囲の「計算部」に相当する。
サムネイル取得部81は、記憶装置70からスライド10ごとのサムネイル画像を計算装置80内のメインメモリに読み込む(取得する)。ここで、サムネイル画像がRAW画像である場合、サムネイル取得部81は取得したRAW画像に対して現像処理を行う。
領域検出部82は、サムネイル画像の中から最適なAF方式を判定するために必要な領域を検出する。最適なAF方式を判定するために必要な領域とは、
1.染色方法が記載されたラベルの領域(以下「ラベル領域」と呼ぶ。)、
2.検体が存在する領域(以下「検体領域」と呼ぶ。)
である。
それぞれの領域の検出は、例えばエッジ検出など、輝度値が鋭敏に変化する場所の検出などによって行われる。
図3はラベルが貼り付けられたスライド10の例を示す図である。
同図に示すように、スライド10は、スライドガラス11と、このスライドガラス11との間に病理検体SPLを保持するためのカバーガラス12とで主に構成される。スライドガラス11の例えば長手方向の一端部には、必要に応じて、病理検体SPLの染色方法を始めとする、当該病理検体SPLに関する情報が記載されたラベル13が貼り付けられることがある。
AF選択部83は、上記の検体領域およびラベル領域の少なくともいずれか一方の領域の画像をもとに病理検体の染色方法を判定し、判定した染色方法に応じて、対物レンズ100の最適なAF方式を判定する。より具体的には、AF選択部83は、HE染色検体またはHE染色検体である可能性の高い検体に対しては位相差AFを選択し、その他の検体に対してはコントラストAFを選択する。
ここで、HE染色検体に対して位相差AFを採用する理由を説明する。
図4はHE染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。
図5は特殊染色検体画像のエッジ部分のRGB毎の輝度波形を示すグラフである。
これらのグラフにおいて、縦軸は輝度値、横軸は位置である。両グラフのRGB毎の輝度波形では、ある位置で輝度が鋭敏に変化している。この鋭敏な輝度変化点より左側の波形は検体の存在しない領域(以下「非検体領域」と呼ぶ。)の画像に対するRGB毎の輝度波形であり、右側の波形は検体領域の画像に対するRGB毎の輝度波形である。両グラフの輝度波形を比較すると分かるように、HE染色検体においては、検体領域の輝度値と非検体領域の輝度値との差(コントラスト)が特殊染色検体のそれよりも高くなる傾向がある。また、免疫組織化学染色(IHC:Immunohistochemistry)による検体の多くもHE染色が施された検体に比べ上記のコントラストは低い。
一方、位相差AF方式の精度は被写体のコントラストの高さに依存することが知られている。位相差AF方式では、レンズからの光が2つに分割され、一対のラインセンサにそれぞれ結像された2つの画像の間隔(位相差)からデフォーカス量と向きが得られる。2つの画像の間隔(位相差)は、一対のラインセンサの互いに対応する画素位置から得られる信号値の差分の絶対値(相関値)が極小となる位相差である。しかし、被写体のコントラストが低いと上記の相関値の変位量が小さくなり、位相差の検出精度ひいてはAF精度が低下する傾向がある。
以上のような理由により、AF選択部83は、HE染色検体のスライド10であることを判定した場合には最適なAF方式として位相差AF方式を選択する。そしてAF選択部83は、選択した位相差AF方式をシステム制御装置30内のAF処理部31に設定する。
次に、本実施形態のデジタル顕微鏡装置1において、最適なAF方式の選択の動作を図6のフローチャートを用いて説明する。
まず、サムネイル取得部81は、記憶装置70からスライド10毎のサムネイル画像を計算装置80のメインメモリに読み込む。なお、読み込んだサムネイル画像がRAW画像である場合には、その場で現像処理が行われる(ステップS101)。
次に、領域検出部82は、サムネイル画像からラベル領域の検出を試みる(ステップS102)。ラベル領域の検出に成功した場合(ステップS103のY)、そのラベル領域の位置情報をAF選択部83にわたす。
(ラベル情報によるAF方式の選択)
AF選択部83は、領域検出部82から与えられたラベル領域の位置情報をもとに当該ラベル領域の画像を特定し、このラベル領域の画像に対し、文字パターンの検出および認識などを試みることによって、そのラベルに記載されている染色方法に関する情報の取得を試みる(ステップS104)。
AF選択部83は、染色方法に関する情報の取得に成功し(ステップS105のY)、かつ、その染色方法がHE染色である場合(ステップS106のY)、位相差AF方式をシステム制御装置30内のAF処理部31に設定する(ステップS107)。
AF処理部31は位相差AF方式が設定された場合、当該スライド10に対する対物レンズ100の合焦処理を位相差AF方式で行うように画像キャプチャ装置60およびステージ40を制御する。
また、AF選択部83は、染色方法に関する情報の取得に成功しても、その染色方法がHE染色以外である場合には(ステップS106のN)、コントラストAF方式をシステム制御装置30内のAF処理部31に設定する(ステップS108)。
AF処理部31はコントラストAF方式が設定された場合、当該スライド10に対する対物レンズ100の合焦処理をコントラストAF方式で行うように画像キャプチャ装置60およびステージ40を制御する。
また、領域検出部82によるラベル領域の検出に失敗した場合(ステップS103のN)、または、ラベル領域の検出に成功してもAF選択部83による染色方法に関する情報の取得に失敗した場合(ステップS105のNO)、AF選択部83は、画像の色特性によるAF方式の選択を次のように行う(ステップS109)。
(画像の色特性によるAF方式の選択)
図7は画像の色特性によるAF方式の選択に関するフローチャートである。
ここではサムネイル画像のホワイトバランスの調整がとれていない場合を想定する。この場合、領域検出部82は、サムネイル画像から非検体領域の一部を検出する。この非検体領域の一部とは、例えば、RGB各々の輝度値が非検体領域の判定用に予め決められた値以上であることを満足する、あるまとまったサイズ(ピクセル数)の領域である。続いて領域検出部82は、当該非検体領域内のRG各々の輝度平均値Ravg、Gavgを求める(ステップS201)。当該輝度平均値Ravg、Gavgの計算式を次に示す。
ここで、Nは検出された非検体領域のピクセル数、R(x,y)は非検体領域内の1ピクセルの赤の輝度値、G(x,y)は非検体領域内の1ピクセルの緑の輝度値である。
計算された輝度平均値Ravg、GavgはAF選択部83に供給され、AF選択部83での評価計算に用いられる。この評価計算については後で説明する。
次に、領域検出部82は検体領域を判定するROI(Region of Interest)処理を行う(ステップS202)。より具体的には、領域検出部82は、例えば、輝度値が急峻に変化する画素の分布から検体領域を判定する。輝度値が急峻に変化する画素の検出には、例えばエッジ検出によって検体の境界を検出する方法などが用いられる。
図8はROI処理の例を示す図である。
領域検出部82は、例えば、病理検体SPLが存在する矩形領域などを検体領域14として特定する。但し、特定される検体領域14は、必ずしも病理検体SPLに外接する矩形領域である必要はなく、例えば、図9に示すように、病理検体SPLに外接する矩形の検体領域14から外側に所定長のマージンを加えた領域15であってもよい。
ここで、HE染色検体のスライド10のサムネイル画像は特殊染色などの他の染色方法の検体のそれに比べて検体領域とその周辺の非検体領域との間のコントラストが高くなる傾向を有するものの、HE染色検体のすべてのスライド10がそうであるとは限らない。また、他の染色方法の検体のスライド10のサムネイル画像であってもHE染色検体と同等のコントラストを有している場合もある。したがって、領域検出部82によって判定された検体領域は、HE染色検体が含まれる可能性の高い検体領域としてAF選択部83に通知される。
これにより、AF選択部83による処理は検体領域に対する処理に絞り込まれ、AF選択部83の処理量が低減されることで、処理を高速化できる。また、非検体領域に存在するゴミ等の不要物によるAF選択への悪影響を排除することができ、判定の精度が向上する。
ここで、図4及び図5の説明に戻る。
染色によって細胞核は黒っぽくなるため、検体領域での輝度は非検体領域での輝度よりも低くなることが普通である。しかし、HE染色検体の図4の輝度波形を見ると、RGBの輝度値は検体領域において均等に低くなるのではなく、殆どの場合、G(緑)の輝度の低下分がR(赤)およびB(青)のそれに比べて顕著になることが本発明者等によって実験的に確認された。この現象は、主にHE染色を用いた場合に見られ、特殊染色、IHC染色、HER2染色では見られなかった。
AF選択部83による判定は、この現象の有無を定量的に捉えることによって行われる。
例えば、AF選択部83は、まず、検体領域の色情報においてR(赤)が支配的であるかどうかを下記の式により得られる評価値Eをもとに判定する(ステップS203)。
なお、この式は、サムネイル画像のホワイトバランスが調整されていない場合を想定したものである。ここで、Ravgは領域検出部82によって上記(1)式によって算出されたR(赤)の輝度平均値、Gavgは領域検出部82によって上記(2)式によって算出されたG(緑)の輝度平均値である。ホワイトバランスが調整されている場合には、次式(4)が採用される。
図7のフローチャートに戻り、AF選択部83は、評価値EをもとにR(赤)が支配的であることを判定した場合には(ステップS204のY)、位相差AF方式をを選択してシステム制御装置30内のAF処理部31に設定する(ステップS205)。また、AF選択部83は、評価値EをもとにR(赤)が支配的でないことを判定した場合には(ステップS204のN)、コントラストAF方式を選択してシステム制御装置30内のAF処理部31に設定する(ステップS206)。
R(赤)が支配的であるかどうの評価条件の例を表1に示す。
この例では、評価値Eが0以上である場合にR(赤)が支配的であると判定され、位相差AF方式が選択される。評価値Eが0未満である場合にはR(赤)が支配的でないと判定され、コントラストAF方式が選択される。
なお、評価値Eの計算方法および評価値EからのAF方法の決定方法は、必ずしも上記のものに限定されない。
例えば、表1において、評価値Eが0以上である場合にR(赤)が支配的であることが判定されることとしたが、0以外の値であってもよい。
また、上記の評価値Eの計算式(3)、(4)においてGをモノトーンの輝度Y(x,y)に置き換えた下記の計算式を採用してもよい。
この場合も、ホワイトバランスが調整されている場合には、次式(6)が採用される。
ここでモノトーンの輝度Y(x,y)は、例えば、
Y(x,y)=0.299R + 0.587G + 0.114B …(7)
で与えられる。
また、Yavgは次式(8)により与えられる。
[本実施形態の効果等]
以上説明したように、本実施形態のデジタル顕微鏡装置1によれば、 スライド10ごとに適切なAF方式を速やかに選択することができ、撮影の効率が向上する。
スライド10のラベル13に染色方法に関する情報が記載されている場合には、この染色方法に関する情報をともに当該染色方法に対して適切なAF方式を選択する動作が最優先で行われる。これにより、適切なAF方式を速やかに選択することができる。
さらに、本実施形態のデジタル顕微鏡装置1によれば、画像の色特性をもとに適切なAF方式を選択することができるので、スライド10にラベル13が貼り付けられていない場合や、貼り付けられていても染色方法に関する情報の読み取りに失敗した場合にも、適切なAF方式を選択することができる。
<変形例1>
次に、変形例を説明する。
以上の説明においては、ラベル情報または画像の色特性をもとに判定されたHE染色検体に対して一意に位相差AF方式を選択することとしたが、HE染色検体であっても、例えば、脂肪細胞が大半を占める検体など、位相差AF方式で合焦位置を精度良く得るための十分なコントラストを満足しない検体もあり得る。
このような場合に備え、次のような変形例を挙げることができる。
例えば、AF選択部83は、ラベル情報をもとに検体がHE染色であることが判定された場合、または画像の色特性をもとに評価値Eが0以上である場合、エッジ検出により検体の境界として判定されたピクセルの数を所定の基準に従って評価する。
ここで、エッジ検出により検体の境界として判定されたピクセルの数の検体領域全体のピクセル数に対する割合は、検体領域の画像の全体的なコントラストを反映した指標値と言える。そこでAF選択部83は、この指標値を、位相差AF方式での精度を考慮して予め決められた閾値を基準に評価する。AF選択部83は、指標値が閾値以上である場合には位相差AF方式を選択する。また、AF選択部83は、指標値が閾値に満たない場合には、ラベル情報に基づく判定結果や画像の色特性に基づく評価値Eにかかわらず、コントラストAF方式を選択する。
これにより、HE染色検体であるにもかかわらず十分なコントラストを満足しない検体に対する適切なAF方式を選択することができる。
なお、本技術は以下のような構成も採ることができる。
(1) スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、
前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、
前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部と、
を具備する画像取得装置。
(2)前記(1)に記載の画像取得装置であって、
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から、前記スライドガラスに貼り付けられ、前記病理検体の染色方法の情報が記載されたラベルが存在する領域をラベル領域として検出し、前記検出されたラベル領域の画像から前記情報を読み取ることによって前記病理検体の染色方法を判定する
画像取得装置。
(3)前記(1)または(2)に記載の画像取得装置であって、
前記計算部は、
前記判定された病理検体の染色方法がHE染色である場合、前記位相差AF方式を選択し、その他の染色方法である場合、前記コントラストAF方式を選択する
画像取得装置。
(4)前記(1)に記載の画像取得装置であって、
前記計算部は、
前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から前記病理検体が存在する領域を検体領域として検出し、前記検出された検体領域の色情報において赤が支配的であるかどうかを判定することによって前記病理検体の染色方法を判定する
画像取得装置。
(5)前記(4)に記載の画像取得装置であって、
前記計算部は、
赤が支配的であることが判定された場合には前記病理検体の染色方法がHE染色であることを判定して前記位相差AF方式を選択し、赤が支配的でないことが判定された場合には前記病理検体の染色方法がHE染色以外であることを判定して前記コントラストAF方式を選択する
画像取得装置。
(6)前記(4)または(5)に記載の画像取得装置であって、
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値から緑の輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。
(7)前記(4)または(5)に記載の画像取得装置であって、
前記計算部は、
前記検体領域内のピクセル毎に赤の輝度値からモノトーンの輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
画像取得装置。
1…デジタル顕微鏡装置
10…スライド
11…スライドガラス
13…ラベル
14…検体領域
30…システム制御装置
31…AF処理部
40…ステージ
50…マクロカメラ
60…画像キャプチャ装置
70…記憶装置
80…計算装置
81…サムネイル取得部
82…領域検出部
83…AF選択部
90…メインカメラ
100…対物レンズ

Claims (8)

  1. スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、
    前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、
    前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部と
    を具備する画像取得装置。
  2. 請求項1に記載の画像取得装置であって、
    前記計算部は、
    前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から、前記スライドガラスに貼り付けられ、前記病理検体の染色方法の情報が記載されたラベルが存在する領域をラベル領域として検出し、前記検出されたラベル領域の画像から前記情報を読み取ることによって前記病理検体の染色方法を判定する
    画像取得装置。
  3. 請求項2に記載の画像取得装置であって、
    前記計算部は、
    前記判定された病理検体の染色方法がHE染色である場合、前記位相差AF方式を選択し、その他の染色方法である場合、前記コントラストAF方式を選択する
    画像取得装置。
  4. 請求項1に記載の画像取得装置であって、
    前記計算部は、
    前記病理検体が載置されたスライドガラスのサムネイル画像を取得し、前記取得されたサムネイル画像から前記病理検体が存在する領域を検体領域として検出し、前記検出された検体領域の色情報において赤が支配的であるかどうかを判定することによって前記病理検体の染色方法を判定する
    画像取得装置。
  5. 請求項4に記載の画像取得装置であって、
    前記計算部は、
    赤が支配的であることが判定された場合には前記病理検体の染色方法がHE染色であることを判定して前記位相差AF方式を選択し、赤が支配的でないことが判定された場合には前記病理検体の染色方法がHE染色以外であることを判定して前記コントラストAF方式を選択する
    画像取得装置。
  6. 請求項5に記載の画像取得装置であって、
    前記計算部は、
    前記検体領域内のピクセル毎に赤の輝度値から緑の輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
    画像取得装置。
  7. 請求項5に記載の画像取得装置であって、
    前記計算部は、
    前記検体領域内のピクセル毎に赤の輝度値からモノトーンの輝度値を減算した値の平均値が所定の値以上であることを満足する場合に前記病理検体の染色方法がHE染色であることを判定する
    画像取得装置。
  8. スライドガラスに載置された病理検体の染色方法を判定し、
    前記判定の結果に応じて、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて前記対物レンズの焦点を前記病理検体に合わせ、前記病理検体を対物レンズを用いて撮影する
    画像取得方法。
JP2013017488A 2013-01-31 2013-01-31 画像取得装置および画像取得方法 Pending JP2014149381A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013017488A JP2014149381A (ja) 2013-01-31 2013-01-31 画像取得装置および画像取得方法
CN201410032015.6A CN103973967A (zh) 2013-01-31 2014-01-23 图像获取装置和图像获取方法
US14/163,383 US20140210980A1 (en) 2013-01-31 2014-01-24 Image acquisition apparatus and image acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013017488A JP2014149381A (ja) 2013-01-31 2013-01-31 画像取得装置および画像取得方法

Publications (1)

Publication Number Publication Date
JP2014149381A true JP2014149381A (ja) 2014-08-21

Family

ID=51222499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013017488A Pending JP2014149381A (ja) 2013-01-31 2013-01-31 画像取得装置および画像取得方法

Country Status (3)

Country Link
US (1) US20140210980A1 (ja)
JP (1) JP2014149381A (ja)
CN (1) CN103973967A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177446A1 (en) 2020-03-05 2021-09-10 Sony Group Corporation Signal acquisition apparatus, signal acquisition system, and signal acquisition method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6019798B2 (ja) * 2012-06-22 2016-11-02 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
DE102020126522A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur übersichtsbildauswertung
CN114359799B (zh) * 2021-12-29 2024-05-24 深圳乐易通医疗设备研发有限公司 一种病理样本的实时监测系统
CN115115582B (zh) * 2022-06-06 2024-10-11 深圳艾迪康医学检验实验室 一种基于视觉检测的检验室检验方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0743605A (ja) * 1993-08-02 1995-02-14 Minolta Co Ltd 自動焦点装置
EP0864082B1 (en) * 1995-11-30 2003-04-02 Chromavision Medical Systems, Inc. Method for automated image analysis of biological specimens
JP2000295462A (ja) * 1999-02-04 2000-10-20 Olympus Optical Co Ltd 顕微鏡画像伝送システム
US6591010B1 (en) * 1999-07-29 2003-07-08 International Business Machines Corporation System and method for image detection and qualification
IL132687A0 (en) * 1999-11-01 2001-03-19 Keren Mechkarim Ichilov Pnimit System and method for evaluating body fluid samples
AU2003245499A1 (en) * 2002-06-14 2003-12-31 Chromavision Medical Systems, Inc. Automated slide staining apparatus
BRPI0514078A (pt) * 2004-08-04 2008-05-27 Intergraph Software Tech Co método de preparação de uma imagem composta com resolução não uniforme
EP1624672A1 (en) * 2004-08-07 2006-02-08 STMicroelectronics Limited A method of determining a measure of edge strength and focus
US20070031056A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
US9008378B2 (en) * 2006-12-20 2015-04-14 The Board Of Trustees Of The Leland Stanford Junior University Arrangement and imaging of biological samples
WO2008099605A1 (ja) * 2007-02-15 2008-08-21 Panasonic Corporation 撮像装置およびカメラ本体
US8369600B2 (en) * 2008-03-25 2013-02-05 General Electric Company Method and apparatus for detecting irregularities in tissue microarrays
JP2011164543A (ja) * 2010-02-15 2011-08-25 Hoya Corp 測距点選択システム、オートフォーカスシステム、およびカメラ
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP6000520B2 (ja) * 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
WO2013170048A1 (en) * 2012-05-09 2013-11-14 Advanced Animal Diagnostics, Inc. Rapid detection of analytes in liquid samples

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177446A1 (en) 2020-03-05 2021-09-10 Sony Group Corporation Signal acquisition apparatus, signal acquisition system, and signal acquisition method
US11842555B2 (en) 2020-03-05 2023-12-12 Sony Group Corporation Signal acquisition apparatus, signal acquisition system, and signal acquisition method

Also Published As

Publication number Publication date
US20140210980A1 (en) 2014-07-31
CN103973967A (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5154392B2 (ja) 撮像装置
JP6448996B2 (ja) 顕微鏡システム
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
JP6146265B2 (ja) 顕微鏡システムおよびオートフォーカス方法
US10444486B2 (en) Systems and methods for detection of blank fields in digital microscopes
JP6414050B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US10313637B2 (en) Digital microscope apparatus for reimaging blurry portion based on edge detection
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
CN108700733A (zh) 用于生成生物样本的具有增强景深的合成2d图像的系统
JP2016125913A (ja) 画像取得装置及び画像取得装置の制御方法
JP2014178474A (ja) デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
JP2014149381A (ja) 画像取得装置および画像取得方法
JP2008020498A (ja) 自動焦点検出装置
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
WO2014196097A1 (ja) 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
Shajkofci et al. DeepFocus: a few-shot microscope slide auto-focus using a sample invariant CNN-based sharpness function
JP2015194700A (ja) 合焦判定装置、合焦判定方法、及び撮像装置
JP5149984B2 (ja) 撮像装置
JP5209137B2 (ja) 撮像装置
JP5927973B2 (ja) 撮像装置、撮像制御プログラム及び撮像方法
JP6464553B2 (ja) レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム
AU2013273789A1 (en) Thickness estimation for Microscopy
US20250113103A1 (en) Image-based focusing for autofluorescence microscopy