JP2004086031A - Imaging apparatus, method and program for microscope - Google Patents
Imaging apparatus, method and program for microscope Download PDFInfo
- Publication number
- JP2004086031A JP2004086031A JP2002249181A JP2002249181A JP2004086031A JP 2004086031 A JP2004086031 A JP 2004086031A JP 2002249181 A JP2002249181 A JP 2002249181A JP 2002249181 A JP2002249181 A JP 2002249181A JP 2004086031 A JP2004086031 A JP 2004086031A
- Authority
- JP
- Japan
- Prior art keywords
- balance correction
- correction
- area
- white balance
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012937 correction Methods 0.000 claims abstract description 375
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000005286 illumination Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 28
- 238000000386 microscopy Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 9
- 201000005569 Gout Diseases 0.000 description 8
- 238000004040 coloring Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010010219 Compulsions Diseases 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、顕微鏡の観察画像を撮像し表示する顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムに関する。
【0002】
【従来の技術】
顕微鏡によって標本を観察する場合、それぞれの標本に対して異なる光量の照明光を照射する。このとき照明光の調光によっては、光源の色温度が変化する。したがって、顕微鏡の観察像を撮像装置で撮像する場合、好適なカラー画像を得るためには、調光された照明光の色バランスが一定になるように撮像画像のホワイトバランスを調整する必要がある。
【0003】
従来、ホワイトバランス補正の方法としては、画面全体の色バランスの平均値を算出し、この色バランスが白色になるように常時補正を行う自動追尾方式が知られている。また、フィルタの挿脱、光源の光量変化時に、標本を撮像視野から外して画面全体を白色にし、この白色を基準ホワイトバランスとして設定し、次に設定を変えるまで基準ホワイトバランスが保たれるように補正を行ないつつ撮像する方式が知られている。
【0004】
しかし、上述したホワイトバランス補正法を顕微鏡の観察像を撮像する撮像装置に適用する場合、種々の問題が生じる。例えば、観察画面全体の色バランスの平均値が白色になるように補正を行なう方式では、画面全体を平均化した色信号が白色と等価になるという仮定が前提になっているが、顕微鏡の標本は特定の単色を多く含む場合が多い。このため、観察像の撮像にこの方式を適用すると、緑色の標本に対しては、緑色を打ち消すようにホワイトバランスを補正してしまうため、全体がマゼンダ色に着色してしまう。また、撮影条件を変えたときに撮像画面に標本像が入らないように標本を移動させて基準ホワイトバランスを設定する方式では、設定のたびに余分な操作を行なわなければならず、観察者にとっては操作性が悪い。
【0005】
上述した問題に対して、特開2001−75013号公報に開示されているホワイトバランス補正方法においては、観察画像内の所望の白色部位を指定し、その部位に対してホワイトバランス補正をする。これにより、観察画像内に単色を多く含む標本が存在しても不自然な着色を防止し、さらに、補正設定毎に標本画像を視野外に移動させる手間も不要としている。
【0006】
一方、顕微鏡観察においては、蛍光観察を行なう標本の長時間露光撮像時に、画像内の標本以外の部位に現れる自家発光による輝度成分を強制的に補正し、コントラストの良い蛍光標本像を得るための手段として、ブラックバランス補正が用いられている。
【0007】
従来、ブラックバランス補正の方法として、暗視野観察時に蛍光標本以外の特定の暗黒部位を指定し、その指定部位のブラックバランスを検出し、画像全体からその暗黒部分の輝度値をオフセットとして取り除く方法が知られている。ブラックバランス補正を行なうと、画像の黒ぬきが良くなり、自家発光等によるコントラストの低下を防止することができる。
【0008】
【発明が解決しようとする課題】
しかしながら、上述したホワイトバランス補正、ブラックバランス補正において、補正の基準となる部位を指定する際に操作者が誤って標本像上を指定した場合、不自然な着色がなされてしまう。また、自動追尾方式で常時補正を行なっているときに標本を移動させて、標本像と指定部位が重なった場合も、観察者の意図しない補正処理が行なわれて不適切な着色がなされてしまうおそれがある。
【0009】
本発明の目的は、観察画像のホワイトバランス補正またはブラックバランス補正において、誤った補正部位の指定に起因する不適切な着色を抑止し、より確実に補正処理を行なうことができる顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムを提供することにある。
【0010】
【課題を解決するための手段】
上記課題を解決し目的を達成するために、本発明の顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムは以下の如く構成されている。
【0011】
(1)本発明の顕微鏡用撮像装置は、顕微鏡による観察画像を撮像する撮像手段と、前記撮像手段で撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう画像処理手段と、前記画像処理手段によって処理された観察画像を表示する表示手段と、前記表示手段に表示する観察画像の任意の領域を指定する領域指定手段と、前記領域指定手段により指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する補正判断手段と、を具備し、前記画像処理手段は、前記補正判断手段の判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう。
【0012】
(2)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段における判断基準は、前記顕微鏡の検鏡法、照明状態、対物レンズの種類、及び挿入フィルターの少なくとも一つによって可変とする。
【0013】
(3)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段は、前記領域指定手段により指定された領域をホワイトバランス補正またはブラックバランス補正に不適切な領域と判断したとき、あらかじめ前記補正判断手段に格納された補正値によってホワイトバランス補正またはブラックバランス補正を行なう。
【0014】
(4)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段は、前記領域指定手段により指定された領域をホワイトバランス補正またはブラックバランス補正に不適切な領域と判断したとき、前記顕微鏡の検鏡法、照明状態、対物レンズの種類、及び挿入フィルターの少なくとも一つを検出し、その検出状態に応じて補正値を可変とする。
【0015】
(5)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記表示手段は、前記補正判断手段において前記領域指定手段により指定された領域がホワイトバランス補正またはブラックバランス補正に不適切な領域であると判断されたとき、所定のメッセージを表示する。
【0016】
(6)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記表示手段は、前記補正判断手段においてホワイトバランス補正またはブラックバランス補正に不適切であると判断された領域を不適切領域として表示し、前記画像処理手段は、前記不適切領域内の画像データをホワイトバランス補正またはブラックバランス補正に使用しない。
【0017】
(7)本発明の顕微鏡用撮像装置は上記(6)に記載の装置であり、かつ前記表示手段は、前記不適切領域を前記顕微鏡の標本の移動、光源の光量変化、及び検鏡法の変化のいずれかの時に消去する。
【0018】
(8)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段における判断結果に対して有効または無効を選択する選択手段を備えている。
【0019】
(9)本発明の顕微鏡用撮像装置は上記(8)に記載の装置であり、かつ前記選択手段で無効が選択されたとき、前記画像処理手段は、前記補正判断手段の判断結果に関わらず、前記領域指定手段により指定された領域の画像データを基に強制的にホワイトバランス補正またはブラックバランス補正を行なう。
【0020】
(10)本発明の顕微鏡用撮像装置は上記(8)に記載の装置であり、かつ前記補正判断手段は、前記領域指定手段により指定された領域の広さに応じて前記判断結果の有効または無効を選択する。
【0021】
(11)本発明の顕微鏡用撮像方法は、顕微鏡による観察画像を撮像する第1のステップと、前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、前記第2のステップによって処理された観察画像を表示する第3のステップと、前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、を有する。
【0022】
(12)本発明の顕微鏡用撮像プログラムは、コンピュータに、顕微鏡による観察画像を撮像する第1のステップと、前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、前記第2のステップによって処理された観察画像を表示する第3のステップと、前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、を実行させる。
【0023】
上記手段を講じた結果、それぞれ以下のような作用を奏する。
【0024】
(1)本発明の顕微鏡用撮像装置によれば、操作者が誤ってホワイトバランス補正あるいはブラックバランス補正の領域を指定したときに、観察画像に操作者の望まない着色がなされること防止することができる。
【0025】
(2)本発明の顕微鏡用撮像装置によれば、前記補正判断手段において正確な判断を下すことができる。
【0026】
(3)本発明の顕微鏡用撮像装置によれば、操作者の望まない観察画像の着色を防止しつつ、より適切なホワイトバランス補正あるいはブラックバランス補正を行なえる。
【0027】
(4)本発明の顕微鏡用撮像装置によれば、正確なホワイトバランス補正またはブラックバランス補正を行なうことができる。
【0028】
(5)本発明の顕微鏡用撮像装置によれば、操作者の再度の誤操作を防止することができる。
【0029】
(6)本発明の顕微鏡用撮像装置によれば、不適切と判断された領域は不適切領域として重ねて継続的に表示され、その領域内の画像データは、ホワイトバランス補正あるいはブラックバランス補正に再度使用しないため、操作者の再度の誤操作を防止しつつ、効率的に補正処理をすることができる。
【0030】
(7)本発明の顕微鏡用撮像装置によれば、追加表示される不適切領域を適宜消去するため、無駄に多くの不適切領域が観察画像に表示されることが抑止され、操作者は円滑に操作することができる。
【0031】
(8)本発明の顕微鏡用撮像装置によれば、操作者は、指定領域がホワイトバランス補正あるいはブラックバランス補正に適切な領域であるか否かの判断結果に対して、有効あるいは無効のいずれかを選択することができる。
【0032】
(9)本発明の顕微鏡用撮像装置によれば、判断結果が操作者の所望する観察状態に適応しない場合に、指定領域の補正判断結果を無効にすることができる。
【0033】
(10)本発明の顕微鏡用撮像装置によれば、補正処理を効率的に行なうことができる。
【0034】
(11)本発明の顕微鏡用撮像方法によれば、操作者が誤ってホワイトバランス補正あるいはブラックバランス補正の領域を指定したときに、観察画像に操作者の望まない着色がなされること防止することができる。
【0035】
(12)本発明の顕微鏡用撮像プログラムによれば、操作者が誤ってホワイトバランス補正あるいはブラックバランス補正の領域を指定したときに、観察画像に操作者の望まない着色がなされること防止することができる。
【0036】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【0037】
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る顕微鏡用撮像装置の概略構成を示すブロック図である。
【0038】
図1において、顕微鏡1の観察像は撮像部102によって撮像された後、画像データとして画像処理部104に入力される。画像処理部104は、領域指定部103で指定された領域内の画像データを補正判断部105へ送信する。補正判断部105は、画像処理部104より入力された画像データから指定領域がホワイトバランス補正あるいはブラックバランス補正に適切であるかを判断し、その結果に応じた補正値を画像処理部104へ送信する。
【0039】
画像処理部104は、補正判断部105から受信した補正値に応じて画像データに対してホワイトバランス補正あるいはブラックバランス補正を行ない、表示部106へ出力する。表示部106は、画像処理部104から入力される画像データをもとに顕微鏡1の観察像を表示する。
【0040】
図2は、上記顕微鏡用撮像装置の詳細な構成を示すブロック図である。図2において図1と同一な部分には同符号を付してある。顕微鏡1は、透過観察用光学系3、落射観察用光学系4を備えている。透過観察用光学系3では、ハロゲンランプ等の透過観察用光源5から放射された光がコレクタレンズ6、透過用フィルタユニット7、透過視野絞り8、折り曲げミラー9、コンデンサ光学素子ユニット10,11、トップレンズユニット12を通って、ステージ18上の図示しない標本に照射される。一方、落射観察用光学系4において、落射照明用光源13から放射された光は、落射フィルタユニット14、落射シャッタ15、落射視野絞り16、落射開口絞り17、キューブユニット21、対物レンズ19を通り標本に照射される。
【0041】
キューブユニット21では、明視野観察、蛍光観察など各種検鏡法に応じて設置されたダイクロイックミラーが切り替えられる。落射照明光学系4と透過照明光学系3との各光軸が重なる観察光路S上には、対物レンズ19を切り替えるためのレボルバー20、さらに観察光路Sを接眼レンズ側と撮像装置側に分岐するビームスプリッター22が配置されている。ビームスプリッター22を透過した光は、撮像部102に入射される。
【0042】
顕微鏡コントロール部24は、駆動回路部23に接続されており、図示しない入力装置からの操作者の指示に応じて、顕微鏡1の各駆動部位を駆動させるための信号を駆動回路部23へ送信する。また、顕微鏡コントロール部24は光源回路にも接続されており、光源5,13の電圧を制御し、照明の光量を変化させる。なお、顕微鏡コントロール部24は、図示しない入力装置からの操作者の指示情報を内部メモリに記憶し、顕微鏡1の検鏡法、照明、対物レンズ等の設定情報を保持している。
【0043】
駆動回路部23は、顕微鏡1の各部を駆動するための回路である。駆動回路部23は、顕微鏡コントロール部24からの指示信号を受信して、所望の検鏡法による観察ができるようにフィルタユニットを光路内外に移動させたり、シャッタ、絞りを開閉させたり、コンデンサ光学素子ユニット10、キューブユニット21に観察光路S内に入るコンデンサやキューブを切り替えさせたりする。また、駆動回路部23は、レボルバー20を回転させ、観察光路Sに入る対物レンズを所望の倍率のものに切り替える。
【0044】
撮像部102は観察光路S上に配置され、撮像素子31、A/D変換部49、前置処理部32から構成されている。撮像素子31の出力端子はA/D変換部49に、A/D変換部49の出力端子は前置処理部32に接続されている。撮像素子31上では、顕微鏡1から入射される所定の倍率で拡大された観察標本像が結像し、光電変換されアナログ電気信号としてA/D変換部49へ出力される。A/D変換部49によって、アナログ電気信号はデジタル画像信号に変換され、前置処理部32へ出力される。前置処理部32において、デジタル画像信号はR,G,B各色の信号に分離され画像処理部104へ出力される。
【0045】
画像処理部104に入力されるR,G,B各色の画像信号に対して、可変利得演算器33において、利得設定部34によって設定される利得を各色別に乗じることでホワイトバランスを補正し、減算回路37に出力する。減算回路37は、オフセット設定部38によって設定されたオフセット値を画像データから一様に引き、ブラックバランス補正を行なった後、フレームメモリ41へ画像データを出力する。フレームメモリ41は、撮像部102において撮像される観察標本像の1フレーム分の画像データを記憶するものである。
【0046】
領域指定部103は画像制御部42を介して座標データをフレームメモリ41内の画像データに挿入し、例えば図3に示す観察画像300内に矩形の領域301を表示させる。領域指定部103は図示しないマウス等の入力装置の入力に応じて領域301を移動させ、その大きさを観察画像300内で任意に変える。操作者は、観察画像300内の領域301を、ホワイトバランス補正あるいはブラックバランス補正を行なう領域として指定する。もちろん、領域301の形状は種々に変形可能である。
【0047】
画像制御部42は、領域指定部103によって指定された観察標本上の任意領域内の画像データをフレームメモリ41から読み出し、ホワイトバランス検出部35、ブラックバランス検出部39、及び補正判断部105に入力する。画像制御部42は、領域指定部103によって指定された矩形の領域301の幅、高さ情報も、同時に補正判断部105に入力する。
【0048】
ホワイトバランス検出部35は、画像制御部42から入力された指定領域内の画像データのホワイトバランスを算出し、ホワイトバランスが崩れている場合、ホワイトバランス補正のために、検出結果に応じて可変利得演算器33に設定すべき利得をホワイトバランス補正判断部46へ出力する。ホワイトバランスが保たれている場合、画像制御部42から入力された画像のR:G:Bの比は1:1:1になる。
【0049】
補正判断部105は、ホワイトバランス補正判断部46とブラックバランス補正判断部47とで構成されている。ホワイトバランス補正判断部46とブラックバランス補正判断部47には、画像制御部42から指定領域内の画像データと領域の幅、高さ情報が入力される。ホワイトバランス補正判断部46は、入力画像データ、すなわち指定領域内の全画素データを累積加算し、幅、高さにて割ることで、指定領域内の輝度平均値を算出する。
【0050】
図4は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第1の実施の形態のホワイトバランス補正に関する処理手順を図4を基に説明する。
【0051】
輝度平均値があらかじめ設定された基準値以上である場合(ステップS1)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35から入力された利得をそのまま利得設定部34に入力する(ステップS2)。輝度平均値が基準値未満である場合(ステップS1)、ホワイトバランス補正判断部46は、画像制御部42を介してフレームメモリ41内の画像データを置き換え、観察画像の特定の部位にメッセージを表示させるように(ステップS3)、あらかじめ標準として設定された照明光に対するホワイトバランス補正をするための各色の利得を利得設定部34に設定する(ステップS4)。
【0052】
ホワイトバランス設定部36は利得設定部34と接続され、操作者のトリガに応じてホワイトバランス補正実行を指示する信号を利得設定部34へ送信する。その信号を受信した利得設定部34は、設定した利得を可変利得演算器33へ出力し、画像データに対してホワイトバランス補正を行なう。可変利得演算器33に入力された利得は、次回操作者がホワイトバランス設定部36から補正タイミングのトリガをかけるまで保持される。
【0053】
一方、ブラックバランス検出部39は、画像制御部42から入力された指定領域内の画像データのブラックバランスを算出し、ブラックバランスが崩れている場合、ブラックバランス補正のために、検出結果に応じて減算回路37に設定すべきオフセット値をブラックバランス補正判断部47へ出力する。ブラックバランス補正判断部47は、入力画像データ、すなわち指定領域内の全画素データを累積加算し、幅、高さにて割ることで、指定領域内の輝度平均値を算出する。
【0054】
輝度平均値があらかじめ設定された基準値未満であるときは、ブラックバランス補正判断部47は、ブラックバランス検出部39から入力されたオフセット値をそのままオフセット設定部38に入力する。輝度平均値が基準値以上であるときは、ブラックバランス補正判断部47は、画像制御部42を介してフレームメモリ41内の画像データを置き換え、観察画像の特定の部位にメッセージを表示させ、あらかじめ標準として設定されたブラックバランス補正のオフセット値をオフセット設定部38に設定する。
【0055】
ブラックバランス設定部40はオフセット設定部38と接続され、操作者のトリガに応じてブラックバランス補正実行を指示する信号をオフセット設定部38へ送信する。その信号を受信したオフセット設定部38は、設定したオフセット値を減算回路37へ出力し、画像データに対してブラックバランス補正を行なう。減算回路37に入力されたオフセット値は、次回操作者がブラックバランス設定部40から補正タイミングのトリガをかけるまで保持される。
【0056】
以上のホワイトバランス補正、ブラックバランス補正の画像処理がなされた観察画像データがフレームメモリ41から表示部106へ出力される。表示部106に入力された画像データは、表示処理部43において表示サイズや表示速度など表示装置45に適した信号に変えられてD/A変換部44に出力される。表示装置45は、D/A変換部44によってアナログ信号に変換された観察画像データ、指定補正領域を示す枠、およびメッセージを表示する。
【0057】
以下、上記の如く構成された顕微鏡撮像装置の作用について述べる。
【0058】
図5は、従来のホワイトバランス補正機能あるいはブラックバランス補正機能を有する顕微鏡用撮像装置の構成を示す図である。図5において図2と同一な部分には同符号を付してある。図5において、ホワイトバランス補正判断部46、ブラックバランス補正判断部47以外の構成は、図2と同様である。
【0059】
ホワイトバランス検出部35、ブラックバランス検出部39において、画像制御部42から入力される指定領域内の画像データを元に算出した補正値は、ホワイトバランス設定部36、ブラックバランス設定部40からのトリガ入力に応じて、利得設定部34、オフセット設定部38に設定される。
【0060】
まず、ホワイトバランス補正について述べる。
【0061】
図5に示す従来の顕微鏡用撮像装置において、例えば図3に示す明視野観察画像上で標本303の存在しない照明部分の領域301にホワイトバランス補正を指示する。この場合、領域指定部103から操作者によって入力された領域301の座標データは、画像制御部42を介してフレームメモリ41内に入力され、その座標に対応する画像データがフレームメモリ41から画像制御部42を介してホワイトバランス検出部35に入力される。
【0062】
ホワイトバランス検出部35は、指定領域301内の画像データの各色の平均値から補正のための利得を算出し、利得設定部34へ出力する。例えば、領域301内の画像データの各色平均値が(R,G,B)=(100,90,90)(以下,輝度の最大値は100とする)である赤みがかった照明の場合、各色の利得は、(R利得,G利得,B利得)=(1,100/90,100/90)=(1,1.1,1.1)に設定される。この利得値は、ホワイトバランス設定部36からの操作者のトリガによって可変利得演算部33に入力され、可変利得演算部33において撮像部102から入力される観察画像データの各色成分に乗算される。可変利得演算器33から出力される画像データは、減算回路37、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0063】
このとき、例えば、撮像部102から入力される標本303内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(10,40,10)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(10×1,40×1.1,10×1.1)=(10,44,11)となり、入力画像と比べてR成分の比率が小さくなる。したがって、観察照明のもつ赤成分が除かれて、ホワイトバランスが(R:G:B)=(1:1:1)に補正されるため、観察者の意図する白色を再現することができる。
【0064】
また、操作者が図3に示す標本303内の領域302にホワイトバランス補正を指示した場合も、同様な動作が生じる。例えば、領域302の各色平均値が(R,G,B)=(10,60,10)の場合、前述のホワイトバランス検出部35において算出される利得は、(R利得,G利得,B利得)=(60/10,1,60/10)=(6,1,6)となる。この利得値が利得設定部34を介して可変利得演算器33へ出力され、可変利得演算器33に入力される各色の画像データに乗算され、その画像データが減算回路37、フレームメモリ41を通り、表示部106に入力され、観察画像として表示される。
【0065】
この結果、例えば標本上の特定部位の各色値が、緑成分が多く(Rin,Gin,Bin)=(10,30,10)の場合、表示装置45に出力される画像は、(Rout,Gout,Bout)=(10×6,30×1,10×6)=(60,30,60)とマゼンダ色に着色してしまう。
【0066】
一方、図2に示す本発明の顕微鏡用撮像装置において、図3に示す明視野観察画像300上で標本303の存在しない照明部分の領域301にホワイトバランス補正を指示する。この場合、ホワイトバランス検出部35は、従来の顕微鏡用撮像装置と同様に画像制御部42から入力された指定領域301内の画像データの各色の平均値から補正のための利得を算出し、ホワイトバランス補正判断部46へ出力する。例えば、標本外照明領域301内の画像データの各色平均値が(R,G,B)=(100,90,90)である場合、各色の利得(R利得,G利得,B利得)=(1,100/90,100/90)=(1,1.1,1.1)をホワイトバランス補正判断部46へ出力する。
【0067】
次に、ホワイトバランス補正判断部46は、画像制御部42から入力された指定領域301内の各色の画像データ、指定領域301の高さ、幅データから領域内の輝度平均値93≒(100+90+90)/3を算出する。ここで、あらかじめ設定された判断基準値が80であるとすれば、93(輝度平均値)>80(判断基準値)である。このため可変利得演算器33には、ホワイトバランス検出部35から入力された利得(R利得,G利得,B利得)=(1,1.1,1.1)が利得設定部34を介して設定される。この利得値が、可変利得演算器33において、撮像部102から入力される観察画像データ全体に乗算され、その画像データは、減算回路37、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0068】
ここで、上記従来例と同様に、撮像部102から入力される標本303内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(10,40,10)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(10,44,11)となる。したがって、観察照明のもつ赤成分が除かれて、ホワイトバランスが(R:G:B)=(1:1:1)に補正されるため、観察者の意図する白色が再現される。
【0069】
また、操作者が誤って図3に示す標本303内の領域302をホワイトバランス補正領域として指定したとき、例えば、緑色を多く含む領域302内の画像データの各色平均値が(R,G,B)=(10,60,10)である場合、ホワイトバランス検出部35において上述と同様な処理によって各色の利得(R利得,G利得,B利得)=(60/10,1,60/10)=(6,1,6)が算出され、ホワイトバランス補正判断部46に入力される。
【0070】
次に、ホワイトバランス補正判断部46は、入力された指定領域302内の画像データをもとに輝度平均値26≒(10+60+10)/3を算出する。このとき26(輝度平均値)<80(判断基準値)である。このためホワイトバランス補正判断部46は、画像制御部42を介してフレームメモリ41内の特定部位の画像データを置き換えることで、補正領域として不適切である旨を通知するメッセージを表示装置45に表示させる。さらにホワイトバランス補正判断部46は、あらかじめ標準として設定されている利得、例えば(R利得,G利得,B利得)=(1,1.2,1.2)を、利得設定部34を介して可変利得演算器33に設定する。
【0071】
このとき、撮像部102から入力される画像データの内、標本303内のある部位の各色平均値が、緑成分が多く(Rin,Gin,Bin)=(10,40,10)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(10×1,40×1.2,10×1.2)=(10,48,12)となり、入力画像と比べてR成分の比率が低くなる。この結果、観察照明のもつ赤成分が除かれる。
【0072】
したがって本第1の実施の形態によれば、顕微鏡用撮像装置において操作者が誤って標本内の領域にホワイトバランス補正を指示した場合、観察標本を含む領域の画像データからホワイトバランス補正をすることなく、代わりに標準的な照明時の補正値によってホワイトバランス補正を実行する。このため、観察標本像全体の色成分が大きく変化してしまうような誤った不自然な着色が画面全体になされることを防止しつつ、ホワイトバランス補正をすることができる。
【0073】
次に、ブラックバランス補正について述べる。
【0074】
図5に示す従来の顕微鏡用撮像装置において、例えば図6に示す蛍光観察画像1000上で標本1003の存在しない暗黒領域1001にブラックバランス補正を指示する。この場合、領域指定部103から操作者によって入力された領域1001の座標データは、画像制御部42を介してフレームメモリ41内に入力され、その座標に対応する画像データがフレームメモリ41から画像制御部42を介してブラックバランス検出部39に入力される。
【0075】
ブラックバランス検出部39は、指定領域1001内の画像データの各色の平均値から補正のためのオフセット値を算出し、オフセット設定部38へ出力する。例えば、領域1001内の画像データの各色平均値が(R,G,B)=(0,0,5)(以下、輝度の最大値は100とする)である青みがかった自家発光部位を含む場合、R,G,Bの最大値が一様にオフセット値(Roff,Goff,Boff)=(5,5,5)として設定される。このオフセット値は、ブラックバランス設定部40からの操作者のトリガによって減算回路37に入力され、減算回路37において、撮像部102から可変利得演算器33を介して入力される観察画像データの各色成分から減算される。減算回路37から出力される画像データは、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0076】
このとき、例えば、撮像部102から入力される蛍光標本1003内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(0,40,5)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(0−5,40−5,5−5)=(0,35,0)(Rは最小値0でクリップ処理)となり、入力画像のB成分が除かれる。その結果、自家発光による青成分が除去され、コントラストの良い蛍光標本の画像を表示することができる。
【0077】
また、操作者が図6に示す標本1003内の領域1002にブラックバランス補正を指示した場合も、同様な動作が生じる。例えば、領域1002の各色平均値が(R,G,B)=(0,30,5)の場合、前述のブラックバランス検出部39において算出されるオフセット値は、各色平均値の最大値より(Roff,Goff,Boff)=(30,30,30)となる。このオフセット値がオフセット設定部38を介して減算回路37へ出力され、減算回路37において、入力される観察画像データの各色成分から減算される。減算回路37から出力される画像データは、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0078】
この結果、例えば標本上の特定部位の各色値が、緑成分が多く(Rin,Gin,Bin)=(0,40,5)の場合、表示装置45に出力される画像は、(Rout,Gout,Bout)=(0−30,40−30,5−30)=(0,10,0)となり、青色の自家発光成分のみならず、緑の標本の輝度成分も著しく減少してしまい、標本像が暗くなってしまう。
【0079】
一方、図2に示す本発明の顕微鏡用撮像装置において、図6に示す蛍光観察画像1000上で標本1003の存在しない暗黒の領域1001にブラックバランス補正を指示する。この場合、ブラックバランス検出部39は、従来の顕微鏡用撮像装置と同様に、画像制御部42から入力された指定領域1001内の画像データの各色の平均値から補正のためのオフセット値を算出し、ブラックバランス補正判断部47へ出力する。例えば、標本外暗黒領域1001内の画像データの各色平均値が(R,G,B)=(0,0,5)である場合、各色の最大値からオフセット値(Roff,Goff,Boff)=(5,5,5)をブラックバランス補正判断部47へ出力する。
【0080】
次に、ブラックバランス補正判断部47は、画像制御部42から入力された指定領域1001内の各色の画像データ、指定領域1001の高さ、幅データから領域内の輝度平均値を算出する。ここで、あらかじめ設定された判断基準値が10であるとすれば、輝度平均値≒1<10(判断基準値)である。このため減算回路37には、ブラックバランス検出部39から入力されたオフセット値(Roff,Goff,Boff)=(5,5,5)がオフセット設定部38を介して設定される。このオフセット値が、減算回路37において、撮像部102から入力される観察画像データ全体から減算され、その画像データは、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0081】
ここで、上記従来例と同様に、撮像部102から入力される標本1003内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(0,40,5)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(0−5,40−5,5−5)=(0,35,0)となる。したがって、自家発光による青成分が除去され、コントラストの良い蛍光標本の画像を表示することができる。
【0082】
また、操作者が誤って図6に示す標本1003内の領域1002をブラックバランス補正領域として指定したとき、例えば、緑色を多く含む標本領域1002内の画像データの各色平均値が(R,G,B)=(0,30,5)である場合、ブラックバランス検出部39において上述と同様な処理によって各色のオフセット値(Roff,Goff,Boff)=(30,30,30)が算出され、ブラックバランス補正判断部47に入力される。
【0083】
次に、ブラックバランス補正判断部47は、入力された指定領域1002内の画像データをもとに輝度平均値を算出する。このとき輝度平均値≒11>10(判断基準値)である。このためブラックバランス補正判断部47は、画像制御部42を介してフレームメモリ41内の特定部位の画像データを置き換えることで、補正領域として不適切である旨を通知するメッセージを表示装置45に表示させる。さらにブラックバランス補正判断部47は、あらかじめ標準として設定されているオフセット値、例えば(Roff,Goff,Boff)=(7,7,7)を、オフセット設定部38を介して減算回路37に設定する。
【0084】
このとき、撮像部102から入力される画像データの内、標本1003内のある部位の各色平均値が、緑成分が多く(Rin,Gin,Bin)=(0,40,5)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(0−7,40−7,5−7)=(0,33,0)となり、入力画像の青成分が除去される。この結果、自家発光の青成分が除去され、コントラストの良い蛍光観察像を得ることができる。
【0085】
したがって本第1の実施の形態によれば、顕微鏡用撮像装置において操作者が観察画像の特定の領域にホワイトバランス補正、もしくはブラックバランス補正を指定したときに、その指定領域が補正に適切か否かを輝度平均値によって判断し、不適切であった場合には適切な補正値に置き換えるため、操作者が誤って標本内の領域を指定した際の不自然な着色を防止することができる。
【0086】
(第2の実施の形態)
第2の実施の形態の特徴は、顕微鏡の照明状態に応じて指定領域のホワイトバランス補正、ブラックバランス補正の判断基準を可変とすることにある。
【0087】
図7は、本発明の第2の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図7において図2と同一な部分には同符号を付してある。図7において、顕微鏡コントロール部24と補正判断部105とが互いに接続されている以外の構成は、図2と同様である。
【0088】
図8は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第2の実施の形態のホワイトバランス補正に関する処理手順を図8を基に説明する。
【0089】
まず、顕微鏡コントロール部24は、駆動回路部23に指示している照明状態の情報を補正判断部105へ送信する。ホワイトバランス補正判断部46は、顕微鏡コントロール部24からの入力データを元に、補正基準値を設定する(ステップS11)。すなわち、図9のテーブルに示すように、光源の電圧値に応じてホワイトバランスの補正輝度基準値を可変させる。例えば、光源の電圧値が11.5Vのときは100、9.6Vのときは80に判断輝度基準値を設定する。
【0090】
その後、ホワイトバランス補正指定領域内の輝度平均値が判断輝度基準値以上の場合(ステップS12)、ホワイトバランス検出部35において検出された利得を利得設定部34に入力し(ステップS13)、輝度平均値が判断輝度基準値未満場合(ステップS12)、指定領域が補正に不適切である旨を通知するメッセージを表示し(ステップS14)、あらかじめ設定された標準となる利得を利得設定部34に入力する(ステップS15)までの動作は第1の実施の形態と同様である。
【0091】
次に、本第2の実施の形態の作用について述べる。
【0092】
ホワイトバランス補正判断部46において、顕微鏡コントロール部24から入力される顕微鏡1の光源の電圧値(光量)が10.5Vで、指定領域内の各色の輝度平均値が(R,G,B)=(90,90,100)である場合、全体の輝度平均値≒93になる。このとき、図9のテーブルから90(判断輝度基準値)<93(輝度平均値)であるから、指定領域はホワイトバランス補正に適正な領域と判断され、利得(R利得,G利得,B利得)=(100/90,100/90,1)=(1.1,1.1,1)に設定され、ホワイトバランスが補正される。
【0093】
また、顕微鏡1の光源の電圧値(明るさ)が上述した例より小さく9.5Vで、入力される指定領域内の各色の輝度平均値が(R,G,B)=(80,80,90)である場合、全体の輝度平均値≒83になる。このとき、図9のテーブルから80(判断輝度基準値)<83(輝度平均値)であるから、指定領域はホワイトバランス補正に適正な領域と判断され、利得(R利得,G利得,B利得)=(90/80,90/80,1)=(1.1,1.1,1)に設定されホワイトバランスが補正される。
【0094】
もし、操作者が事前に補正領域の判断輝度基準値を90に設定した場合、前者の例では補正に適切な領域と判断されるが、後者の例では、不適切な領域と判断される。また、判断輝度輝度値を低く70程度に設定した場合、両者の例において適切な領域と判断されるが、標本内の輝度値の高い領域を補正領域として誤って選択した場合に、誤補正してしまう可能性がある。したがって、操作者は誤判断されないために、照明の光量が変動するたびに判断輝度基準値を設定し直さなければいけない。
【0095】
しかし、本第2の実施の形態によれば、顕微鏡1の照明光の光量が変化するたびに補正輝度基準値が修正されるので、操作者が輝度基準値を再三設定し直す手間を省きつつ、正確な補正領域の判断をすることができる。また、照明光量だけでなく、顕微鏡の検鏡法、対物レンズの種類、挿入されるフィルター等の情報も検出し、パラメータとして加えて図9に示すようなテーブルを作成すれば、より多くの観察状態に対して正確なホワイトバランス補正領域の判断を行なうことができる。
【0096】
なお、ブラックバランス補正に関しても、ホワイトバランス補正と同様に観察状態を顕微鏡から取得し、検鏡法等に応じて補正領域の判断基準を可変とすることで、より正確にブラックバランス補正領域の判断を行なえる。
【0097】
(第3の実施の形態)
第3の実施の形態の特徴は、指定領域の補正判断においてホワイトバランス補正、ブラックバランス補正に不適切な領域と判断された後、置換する補正値を顕微鏡の照明情報に応じて可変とすることにある。本第3の実施の形態に係る顕微鏡用撮像装置の構成は、図7と同様である。
【0098】
図10は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第3の実施の形態のホワイトバランス補正に関する処理手順を図10を基に説明する。
【0099】
まず、ホワイトバランス補正判断部46において、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された判断輝度基準値と比較し、(領域内の輝度平均値≧判断輝度基準値)の条件を満たす場合に(ステップS21)、指定領域内の画像データをもとにホワイトバランス補正を行なう(ステップS22)までの処理手順は、第1の実施の形態と同様である。
【0100】
次に、前述の判断により操作者による指定領域がホワイトバランス補正に不適切な領域であると判断された場合(ステップS21)、表示部106の表示装置45にメッセージを表示し(ステップS23)、ホワイトバランス補正判断部46は、顕微鏡コントロール部24からの光源の電圧値を元に、図11に示すテーブルにしたがって補正利得値を利得設定部34に設定する(ステップS24)。すなわち、光源の電圧値が11.5Vのときは(R,G,B)=(1,1,0.8)、8.5Vのときは(R,G,B)=(0.9,1,1)に判断輝度値を設定する。
【0101】
補正指定領域が、上記の手順に従って補正に不適切な領域と判断された場合、ホワイトバランス補正の置換利得は、光源の電圧値が大きいとき赤の利得比が小さく、電圧値が小さいときは青の利得比が小さくなる。すなわち、ホワイトバランス補正の利得が光源の色温度に応じて設定される。
【0102】
したがって本第3の実施の形態によれば、操作者によるホワイトバランス補正またはブラックバランス補正の指定領域が不適切であると判断された場合に、代替の利得値によって置換設定する際にも、観察照明の色温度に対応したより正確なホワイトバランス補正またはブラックバランス補正を行なうことができる。なお、補正に不適切な領域と判断された場合の置換利得値は、顕微鏡の検鏡法、対物レンズの種類、挿入されるフィルター等の情報もパラメータとして加えて図11に示すようなテーブルを作成すれば、さらに正確なホワイトバランス補正またはブラックバランス補正を行なうことができる。
【0103】
(第4の実施の形態)
第4の実施の形態の特徴は、操作者による補正指定領域の中で不適切な領域と判断された領域が、観察画像内に補正不可領域として表示され、再度同じ領域を指定してもその領域内の画像データは補正値として使用せず、また、その補正不可領域は、補正に適切な領域が選択された後に非表示になることにある。
【0104】
図12は、本発明の第4の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図12において図2と同一な部分には同符号を付してある。図12において、補正不可領域記憶部1501が設けられている以外の構成は、図2と同様である。補正不可領域記憶部1501は、ホワイトバランス補正判断部46、ブラックバランス補正判断部47、及び画像制御部42に接続されている。補正不可領域記憶部1501は、補正判断部46,47から入力される画像アドレス(座標)値を内部メモリに記憶し、画像制御部42からの読み出し信号に従って、記憶したアドレス値とそのアドレス値に対応する画像データを出力する。
【0105】
図13は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第4の実施の形態のホワイトバランス補正に関する処理手順を図13を基に説明する。
【0106】
まず、ホワイトバランス補正判断部46において、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された判断輝度輝度値と比較し、(領域内の輝度平均値≧判断輝度基準値)の条件を満たす場合に(ステップS31)、指定領域内の画像データをもとにホワイトバランス補正を行なう(ステップS32)までの処理手順は、第1の実施の形態と同様である。
【0107】
次に、上記の判断により操作者による指定領域がホワイトバランス補正に不適切な領域であると判断された場合(ステップS31)、表示部106の表示装置45にメッセージを表示し(ステップS33)、ホワイトバランス補正判断部46は、そのときの指定領域内に含まれる画像のアドレスを補正不可領域記憶部1501へ出力する。画像制御部42は、補正不可領域記憶部1501に格納されたアドレスを読み取り、フレームメモリ41内の画像データにおける読み取ったアドレスに対応する領域の画像データをグレー色の画素で一様に置換することで、一度補正に不適切な領域と判断された領域をグレー色で表示する(ステップS34)。
【0108】
次に、操作者が図14に示す画像1900上で補正不適切領域1901を含む領域1903を指定した場合、画像制御部42は、補正不可領域記憶部1501に記憶されたアドレスを参照し、指定領域1903内の画像データから不適切領域1901の画像データを取り除いて、ホワイトバランス補正判断部46に入力する。この入力画像データが、ホワイトバランス補正判断部46において補正不適切領域であると判断された場合(ステップS35)、再度上述した手順にしたがって、指定領域がグレー色の補正不適切領域として画像内に追加表示される(ステップS34)。一方、補正適正領域であると判断された場合(ステップS35)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35によって算出される利得を利得設定部34に設定し、補正を行なったのち、補正不可領域記憶部1501の内部メモリの値をリセットする(ステップS36)。このとき、補正不適切領域と判断された領域のアドレス値は消滅する。
【0109】
上述した手順に従いホワイトバランス補正を行なうと(ステップS37)、一度ホワイトバランス補正に不適切と判断された領域は、表示画像内においてグレー色に着色され、そのグレー色領域は、再度の領域指定により適切な領域が検出されるまで、観察画像内に追加表示される。したがって、操作者が同じ不適切な領域を誤って再度指定してしまうことを防止することができる。また、一度不適切な領域と判断された領域内の画像データは、再度指定しても取り除かれて補正が判断されるため、効率的にホワイトバランス補正を行なうことができる。
【0110】
なお、本第4の実施の形態においては、グレー色に表示される補正不適切領域は、操作者が補正に適切な領域を指定した時点で消えるが、第2の実施の形態に示すように顕微鏡コントロール部24とホワイトバランス補正判断部46とを接続し、顕微鏡1の光源の電圧値(光量)や検鏡法が変化したときに消去するようにすることもできる。あるいは、標本を載せるステージ18にエンコーダを取り付けて顕微鏡コントロール部24に接続し、ステージ18の移動状態を顕微鏡コントロール部24を介してホワイトバランス補正判断部46に信号として送信したとき、標本の移動に応じてグレー色の不適切領域を消去させることもできる。
【0111】
このとき、種々の観察条件の変化時に、補正領域の指定に対してリセットをかけることができるため、多くのグレー色の不適切領域が無駄に観察画像内に表示されることを抑止でき、操作者は円滑に操作することができる。
【0112】
なお、ブラックバランス補正に関しても、ホワイトバランス補正と同様な構成をとることで、補正に不適切な領域を画像内に重ねて表示、消去させることができ、ホワイトバランス補正と同様な効果を得ることができる。
【0113】
(第5の実施の形態)
第5の実施の形態の特徴は、操作者の指定した補正領域が適切であるか否かを判断せずに強制的に補正をかけるスイッチを設けたことにある。
【0114】
図15は、本発明の第5の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図15において図2と同一な部分には同符号を付してある。図15において、補正強制スイッチ1601が設けられている以外の構成は、図2と同様である。補正強制スイッチ1601は、ホワイトバランス補正判断部46とブラックバランス補正判断部47に接続されている。操作者は、図示しない入力装置によって補正強制スイッチ1601のON/OFFを切り替え、補正強制スイッチ1601はその状態を信号としてホワイトバランス補正判断部46とブラックバランス補正判断部47へ出力する。
【0115】
図16は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第5の実施の形態のホワイトバランス補正に関する処理手順を図16を基に説明する。
【0116】
まず、操作者が補正強制スイッチ1601をONに設定している場合(ステップS41)、ホワイトバランス補正判断部46は、第1の実施の形態と同様に、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された輝度判断値と比較し、(領域内の平均輝度値≧判断輝度基準値)の条件を満たす場合に(ステップS42)、指定領域内の画像データをもとにホワイトバランス補正を行なう(ステップS43)。上記条件を満たさない場合(ステップS42)、指定領域が補正に不適切である旨を通知するメッセージを表示し(ステップS44)、あらかじめ設定された標準となる利得を利得設定部34に入力する(ステップS45)。
【0117】
一方、操作者が補正強制スイッチ1601をOFFに設定している場合(ステップS41)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35から入力された利得を強制的に利得設定部34に設定する(ステップS46)。
【0118】
したがって本第5の実施の形態によれば、操作者は、指定領域がホワイトバランス補正またはブラックバランス補正に適切、不適切のどちらに判断されても、画像処理部104で指定領域の画像データをもとに強制的に補正をすることができ、ホワイトバランス補正判断部46またはブラックバランス補正判断部47による判断が操作者の所望する観察状態に適応しない場合に、補正判断機能を無効にすることができる。
【0119】
(第6の実施の形態)
第6の実施の形態の特徴は、指定領域が補正に適切か否かを輝度平均値によって判断する前に、指定領域の大きさ(広さ)に応じて強制的に補正することにある。
【0120】
図17は、本発明の第6の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図17において図2と同一な部分には同符号を付してある。図17において、領域サイズ演算部1701が設けられている以外の構成は、図2と同様である。領域サイズ演算部1701は、ホワイトバランス補正判断部46、ブラックバランス補正判断部47、及び画像制御部42に接続されている。領域サイズ演算部1701は、画像制御部42から操作者による補正指定領域内の画像データを受け取り、その画像データに含まれる画素数をカウントしホワイトバランス補正判断部46へ出力する。
【0121】
図18は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第6の実施の形態のホワイトバランス補正に関する処理手順を図18を基に説明する。
【0122】
まず、ホワイトバランス補正判断部46は、領域サイズ演算部1701から入力される観察画像内の操作者による指定領域の画像データに含まれる画素数、すなわち指定領域のサイズが、あらかじめ設定された基準サイズを超えるか否かを判断する。基準サイズを超える場合(ステップS51)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35から入力される利得値を利得設定部34に設定し、強制的にホワイトバランス補正を行なう(ステップS52)。一方、基準サイズ以下である場合(ステップS51)、ホワイトバランス補正判断部46は、第1の実施の形態と同様に、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された輝度判断値と比較し、(領域内の平均輝度値≧判断輝度基準値)の条件を満たす場合には(ステップS53)、指定領域内の画像データをもとにホワイトバランス補正を行ない(ステップS54)、条件を満たさない場合には(ステップS53)、メッセージを表示させ(ステップS55)、あらかじめ設定された代替の補正利得を利得設定部34に設定してホワイトバランス補正を行なう(ステップS56)。
【0123】
このように本第6の実施の形態によれば、ある広さ以上の領域を操作者が指定した場合、強制的にその領域の画像データによってホワイトバランス補正またはブラックバランス補正を行なう。
【0124】
顕微鏡の明視野観察において、図3に示すように標本が観察画像の多くを占める場合に、操作者は狭い範囲の照明の白色部分に対してホワイトバランス補正の指定領域を設定する。一方、図19に示すように、標本1802が点在し、照明の白色部分が観察画像1800の大部分を占める場合、操作者は広い照明の白色部分に対してホワイトバランス補正の指定領域1803を設定する。
【0125】
前者の場合、画面全体に対して標本画像の占める割合が大きいため、操作者が誤った領域を指定する可能性が高い。一方、後者の場合、画面全体に対して照明の白色部分の占める割合が大きいため、操作者が誤って標本内の領域を指定しまう可能性は低い。仮に、標本を含む範囲を選択しても、広い範囲に対してホワイトバランス補正またはブラックバランス補正の指定領域を設定していれば、指定領域内の各色輝度平均値に含まれる標本の誤差は小さくなるので、画面全体に極端に不自然な着色がなされる可能性は低い。
【0126】
したがって本第6の実施の形態によれば、低倍率時など観察画像の中で標本の占める割合が小さい場合に、指定領域が補正に適切か否かの判断処理を行なわないため、補正処理を効率的に行なうことができる。
【0127】
(第7の実施の形態)
第7の実施の形態の特徴は、撮像部102の出力画像データをI/F装置を介してパーソナルコンピュータ(以下、PCと略す)に入力し、ホワイトバランス補正、ブラックバランス補正処理をPCを用いて実現することにある。
【0128】
図20は、本発明の第7の実施の形態に係る顕微鏡用撮像装置の構成を示すブロック図である。図20に示すように、撮像部102がI/F部2001を介してPC2002に接続されている。
【0129】
PC2002では、図示しないCPUにて図1に示した画像処理部104、補正判断部105、制御部107の処理が行なわれる。これらの処理は、PC2002の図示しないメモリに記憶されている各処理プログラムに沿って上記CPUにより実行される。また、PC2002には図1に示す表示部106が内蔵されており、これはPC2002の図示しないモニターに相当する。また、図1の領域指定部103は、PC2002の図示しないマウスとキーボードに相当する。
【0130】
このような構成において、撮像部102のA/D変換部49によりデジタル信号に変換された観察画像データは、I/F部2001を介してPC2002に入力される。PC2002では、図示しないモニター上に観察画像が表示されるとともに、マウス、キーボード等による観察画像上の指定領域に対して、図示しないCPUの制御により、第1の実施の形態に示したホワイトバランス、ブラックバランスの検出と、輝度平均値の算出及び算出結果に応じた補正値の設定が行なわれる。
【0131】
このような構成とした場合も、第1の実施の形態と同様の効果が得られる。また、第1の実施の形態では撮像部102から出力される動画像の観察を対象としていたが、本第7の実施の形態ではPC2002内の図示しないメモリに撮像部102から出力される画像を記憶することができ、静止画の観察画像を有効に利用することができる。
【0132】
なお、本発明は上記各実施の形態のみに限定されず、要旨を逸脱しない範囲で適宜変形して実施できる。
【0133】
【発明の効果】
本発明によれば、顕微鏡から得られる観察標本の撮像画像に対するホワイトバランス補正とブラックバランス補正処理について、操作者が誤って不適切な領域に対して補正を指示した場合にも、適切に補正されるため、効率的に観察、撮像を行なうことができる。
【0134】
すなわち本発明によれば、観察画像のホワイトバランス補正またはブラックバランス補正において、誤った補正部位の指定に起因する不適切な着色を抑止し、より確実に補正処理を行なうことができる顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムを提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る顕微鏡用撮像装置の概略構成を示すブロック図。
【図2】本発明の第1の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図3】本発明の第1の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図4】本発明の第1の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図5】従来のホワイトバランス補正機能あるいはブラックバランス補正機能を有する顕微鏡用撮像装置の構成を示す図。
【図6】本発明の第1の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図7】本発明の第2の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図8】本発明の第2の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図9】本発明の第2の実施の形態に係る顕微鏡光源の電圧値に対する判断輝度基準値を示すテーブル。
【図10】本発明の第3の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図11】本発明の第3の実施の形態に係る顕微鏡光源の電圧値に対するホワイトバランス補正利得を示すテーブル。
【図12】本発明の第4の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図13】本発明の第4の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図14】本発明の第4の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図15】本発明の第5の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図16】本発明の第5の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図17】本発明の第6の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図18】本発明の第6の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図19】本発明の第6の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図20】本発明の第7の実施の形態に係る顕微鏡用撮像装置の構成を示すブロック図。
【符号の説明】
1…顕微鏡
3…透過観察用光学系
4…落射観察用光学系
5…透過照明用光源
6…コレクタレンズ
7…透過用フィルタユニット
8…透過視野絞り
9…折曲げミラー
10…コンデンサ光学素子ユニット
11…コンデンサ光学素子ユニット
12…トップレンズユニット
13…落射照明用光源
14…落射用フィルタユニット
15…落射シャッタ
16…落射視野絞り
17…落射開口絞り
18…試料ステージ
19…対物レンズ
20…レボルバ
21…キューブユニット
22…ビームスプリッタ
23…駆動回路部
24…顕微鏡コントロール部
31…撮像素子
32…前置処理部
33…可変利得増幅器
34…利得設定部
35…ホワイトバランス検出部
36…ホワイトバランス設定部
37…減算回路
38…オフセット値指定部
39…ブラックバランス検出部
40…ブラックバランス設定部
41…フレームメモリ
42…画像制御部
43…表示処理部
44…D/A変換部
45…表示装置
46…ホワイトバランス補正判断部
47…ブラックバランス補正判断部
49…A/D変換部
102…撮像部
103…領域指定部
104…画像処理部
105…補正判断部
106…表示部
107…制御部
300…画像
301…指定領域
302…指定領域
303…標本
1000…画像
1001…指定領域
1002…指定領域
1003…標本
1501…補正不可領域記憶部
1601…補正強制スイッチ
1701…領域サイズ演算部
1800…画像
1802…標本
1803…指定領域
1900…画像
1901…指定領域
1902…標本
1903…指定領域
2001…I/F部
2002…パーソナルコンピュータ(PC)[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a microscope imaging device that captures and displays observation images of a microscope, a microscope imaging method, and a microscope imaging program.
[0002]
[Prior art]
When observing a sample with a microscope, each sample is irradiated with different amounts of illumination light. At this time, the color temperature of the light source changes depending on the dimming of the illumination light. Therefore, when an observation image of a microscope is taken by an imaging device, in order to obtain a suitable color image, it is necessary to adjust the white balance of the taken image so that the color balance of the dimmed illumination light is constant. .
[0003]
Conventionally, as an example of a white balance correction method, there is known an automatic tracking method in which an average value of a color balance of the entire screen is calculated and correction is constantly performed so that the color balance becomes white. In addition, when the filter is inserted or removed, or when the light amount of the light source changes, the sample is removed from the imaging field of view to make the entire screen white, and this white is set as the reference white balance, so that the reference white balance is maintained until the setting is next changed. There is known a method of performing imaging while performing correction.
[0004]
However, when the above-described white balance correction method is applied to an imaging device that captures an observation image of a microscope, various problems occur. For example, in the method of performing correction so that the average value of the color balance of the entire observation screen becomes white, it is assumed that the color signal obtained by averaging the entire screen becomes equivalent to white. Often contains many specific single colors. For this reason, if this method is applied to the imaging of the observation image, the white balance of the green sample is corrected so as to cancel the green color, so that the whole is colored magenta. Also, in the method of setting the reference white balance by moving the sample so that the sample image does not enter the imaging screen when the imaging conditions are changed, extra operations must be performed each time the setting is performed, and the Has poor operability.
[0005]
In order to solve the above-mentioned problem, in a white balance correction method disclosed in Japanese Patent Application Laid-Open No. 2001-75013, a desired white portion in an observation image is specified, and white balance correction is performed on the portion. This prevents unnatural coloring even if a sample containing a large number of single colors exists in the observation image, and further eliminates the need to move the sample image out of the field of view for each correction setting.
[0006]
On the other hand, in microscopic observation, during long-time exposure imaging of a specimen to be subjected to fluorescence observation, forcibly correcting the luminance component due to self-emission that appears in a part other than the specimen in the image, to obtain a fluorescent specimen image with good contrast. As a means, black balance correction is used.
[0007]
Conventionally, as a method of black balance correction, a method of designating a specific dark part other than a fluorescent sample during dark field observation, detecting the black balance of the specified part, and removing the luminance value of the dark part as an offset from the entire image as an offset. Are known. When black balance correction is performed, blackening of an image is improved, and a decrease in contrast due to self light emission or the like can be prevented.
[0008]
[Problems to be solved by the invention]
However, in the above-described white balance correction and black balance correction, when an operator erroneously specifies a sample image when specifying a portion to be a reference for correction, unnatural coloring is performed. In addition, when the specimen is moved while the automatic tracking method is constantly performing the correction and the specimen image and the designated part overlap, an unintended correction process by the observer is performed and improper coloring is performed. There is a risk.
[0009]
An object of the present invention is to provide a microscope imaging apparatus capable of suppressing inappropriate coloring caused by designation of an incorrect correction portion in white balance correction or black balance correction of an observed image and performing correction processing more reliably. An object of the present invention is to provide a microscope imaging method and a microscope imaging program.
[0010]
[Means for Solving the Problems]
In order to solve the above problems and achieve the object, a microscope imaging apparatus, a microscope imaging method, and a microscope imaging program of the present invention are configured as follows.
[0011]
(1) An imaging apparatus for a microscope according to the present invention includes: an imaging unit that captures an image observed by a microscope; an image processing unit that performs white balance correction or black balance correction on the observation image captured by the imaging unit; Display means for displaying the observation image processed by the processing means; area designation means for designating an arbitrary area of the observation image to be displayed on the display means; and an area designated by the area designation means for white balance correction or black. Correction judgment means for judging whether or not the area is suitable for performing the balance correction based on a specific judgment criterion, the image processing means comprising: White balance correction or black balance correction.
[0012]
(2) The imaging apparatus for a microscope according to the present invention is the apparatus according to the above (1), and the criterion of the correction determining means is a microscopy method, an illumination state, a type of an objective lens, and an insertion filter of the microscope. Variable by at least one of
[0013]
(3) The imaging apparatus for a microscope according to the present invention is the apparatus according to the above (1), and the correction judging unit sets the area specified by the area specifying unit unsuitable for white balance correction or black balance correction. When it is determined that the area is the area, white balance correction or black balance correction is performed using a correction value stored in advance in the correction determination unit.
[0014]
(4) The imaging apparatus for a microscope according to the present invention is the apparatus according to the above (1), and the correction judging unit sets the area specified by the area specifying unit unsuitable for white balance correction or black balance correction. When it is determined that the area is the area, at least one of the microscopy method, the illumination state, the type of the objective lens, and the insertion filter of the microscope is detected, and the correction value is made variable according to the detection state.
[0015]
(5) The imaging apparatus for a microscope according to the present invention is the apparatus according to the above (1), and the display means is configured such that the area specified by the area specifying means in the correction determining means is white balance correction or black balance correction. When it is determined that the area is inappropriate, a predetermined message is displayed.
[0016]
(6) The microscope imaging apparatus according to the present invention is the apparatus described in (1) above, and the display unit is configured to determine a region in which the correction determination unit determines that the white balance correction or the black balance correction is inappropriate. Is displayed as an inappropriate area, and the image processing means does not use the image data in the inappropriate area for white balance correction or black balance correction.
[0017]
(7) The imaging apparatus for a microscope according to the present invention is the apparatus according to the above (6), and the display means is configured to move the inappropriate area by moving a specimen of the microscope, changing a light amount of a light source, and performing a microscopic method. Erase on any of the changes.
[0018]
(8) An imaging apparatus for a microscope according to the present invention is the apparatus described in (1) above, and further includes a selection unit that selects valid or invalid for a determination result of the correction determination unit.
[0019]
(9) The image pickup apparatus for a microscope according to the present invention is the apparatus according to the above (8), and when invalid is selected by the selection means, the image processing means is irrespective of the judgment result of the correction judgment means. The white balance correction or the black balance correction is forcibly performed based on the image data of the area specified by the area specifying means.
[0020]
(10) The imaging apparatus for a microscope according to the present invention is the apparatus according to the above (8), and the correction determining unit determines whether the determination result is valid or invalid according to the size of the area specified by the area specifying unit. Select Disable.
[0021]
(11) In the imaging method for a microscope according to the present invention, a first step of capturing an observation image by a microscope and a second step of performing white balance correction or black balance correction on the observation image captured in the first step. Step, a third step of displaying the observation image processed in the second step, a fourth step of designating an arbitrary region of the observation image to be displayed in the third step, and A fifth step of determining whether the area designated in the step is an area suitable for performing white balance correction or black balance correction based on a specific determination criterion, and based on a determination result of the fifth step. And performing a white balance correction or a black balance correction on the observed image.
[0022]
(12) The microscope imaging program of the present invention causes a computer to perform a first step of capturing an image observed by a microscope and to perform white balance correction or black balance correction on the observation image captured in the first step. A second step, a third step of displaying the observation image processed in the second step, a fourth step of specifying an arbitrary region of the observation image to be displayed in the third step, A fifth step of determining, based on a specific criterion, whether or not the area specified in the fourth step is an area suitable for performing white balance correction or black balance correction; and a determination in the fifth step. Performing a white balance correction or a black balance correction on the observed image based on the result. Make.
[0023]
As a result of taking the above-described means, the following effects are obtained.
[0024]
(1) According to the imaging apparatus for a microscope of the present invention, when an operator erroneously designates an area for white balance correction or black balance correction, it is possible to prevent an observation image from being undesirably colored. Can be.
[0025]
(2) According to the imaging device for a microscope of the present invention, the correction judging means can make an accurate judgment.
[0026]
(3) According to the imaging device for a microscope of the present invention, it is possible to perform more appropriate white balance correction or black balance correction while preventing coloring of an observation image that is not desired by an operator.
[0027]
(4) According to the imaging device for a microscope of the present invention, accurate white balance correction or black balance correction can be performed.
[0028]
(5) According to the imaging device for a microscope of the present invention, it is possible to prevent the operator from performing erroneous operations again.
[0029]
(6) According to the imaging apparatus for a microscope of the present invention, an area determined to be inappropriate is continuously displayed as an inappropriate area in an overlapping manner, and image data in the area is used for white balance correction or black balance correction. Since it is not used again, the correction process can be performed efficiently while preventing the operator from performing erroneous operations again.
[0030]
(7) According to the imaging device for a microscope of the present invention, since an inappropriate area to be additionally displayed is appropriately deleted, unnecessary display of many inappropriate areas in the observation image is suppressed, and the operator can smoothly operate. Can be operated.
[0031]
(8) According to the microscope imaging apparatus of the present invention, the operator can determine whether the specified area is an area appropriate for white balance correction or black balance correction, whether the area is valid or invalid. Can be selected.
[0032]
(9) According to the microscope imaging apparatus of the present invention, when the determination result does not match the observation state desired by the operator, the correction determination result of the designated area can be invalidated.
[0033]
(10) According to the imaging device for a microscope of the present invention, correction processing can be performed efficiently.
[0034]
(11) According to the microscope imaging method of the present invention, it is possible to prevent the observation image from being colored undesired by the operator when the operator erroneously specifies the white balance correction or the black balance correction area. Can be.
[0035]
(12) According to the microscope imaging program of the present invention, when an operator erroneously specifies an area for white balance correction or black balance correction, it is possible to prevent an observation image from being colored undesired by the operator. Can be.
[0036]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0037]
(First Embodiment)
FIG. 1 is a block diagram illustrating a schematic configuration of a microscope imaging apparatus according to a first embodiment of the present invention.
[0038]
In FIG. 1, an observation image of the
[0039]
The
[0040]
FIG. 2 is a block diagram showing a detailed configuration of the microscope imaging device. In FIG. 2, the same parts as those in FIG. 1 are denoted by the same reference numerals. The
[0041]
In the
[0042]
The
[0043]
The
[0044]
The
[0045]
The image signal of each color of R, G, and B input to the
[0046]
The
[0047]
The
[0048]
The white
[0049]
The
[0050]
FIG. 4 is a flowchart illustrating a processing procedure relating to white balance correction. Hereinafter, a processing procedure regarding the white balance correction according to the first embodiment will be described with reference to FIG.
[0051]
When the average luminance value is equal to or greater than the preset reference value (step S1), the white balance
[0052]
The white
[0053]
On the other hand, the black
[0054]
When the average luminance value is less than the preset reference value, the black balance
[0055]
The black
[0056]
Observation image data that has been subjected to the above-described white balance correction and black balance correction image processing is output from the
[0057]
Hereinafter, the operation of the microscope imaging device configured as described above will be described.
[0058]
FIG. 5 is a diagram showing a configuration of a conventional microscope imaging apparatus having a white balance correction function or a black balance correction function. 5, the same parts as those in FIG. 2 are denoted by the same reference numerals. In FIG. 5, the configuration other than the white balance
[0059]
In the white
[0060]
First, white balance correction will be described.
[0061]
In the conventional microscope imaging apparatus shown in FIG. 5, white balance correction is instructed, for example, in a bright field observation image shown in FIG. In this case, the coordinate data of the
[0062]
The white
[0063]
At this time, for example, when each color average value of a certain part in the
[0064]
A similar operation occurs when the operator instructs the
[0065]
As a result, for example, when each color value of a specific portion on the sample has a large green component (Rin, Gin, Bin) = (10, 30, 10), the image output to the
[0066]
On the other hand, in the microscope imaging apparatus of the present invention shown in FIG. 2, white balance correction is instructed on the bright
[0067]
Next, the white balance
[0068]
Here, as in the above-described conventional example, each color average value of a certain part in the
[0069]
When the operator erroneously designates the
[0070]
Next, the white balance
[0071]
At this time, among the image data input from the
[0072]
Therefore, according to the first embodiment, when an operator erroneously instructs white balance correction to an area in a sample in a microscope imaging apparatus, white balance correction is performed from image data of an area including an observation sample. Instead, white balance correction is performed using a standard illumination correction value. For this reason, it is possible to perform white balance correction while preventing erroneous and unnatural coloring such as a large change in the color components of the entire observation sample image from being made on the entire screen.
[0073]
Next, the black balance correction will be described.
[0074]
In the conventional microscope imaging apparatus shown in FIG. 5, for example, black balance correction is instructed in a
[0075]
The black
[0076]
At this time, for example, when each color average value of a certain part in the
[0077]
A similar operation occurs when the operator instructs the
[0078]
As a result, for example, when each color value of a specific portion on the sample has a large green component (Rin, Gin, Bin) = (0, 40, 5), the image output to the
[0079]
On the other hand, in the microscope imaging apparatus of the present invention shown in FIG. 2, black balance correction is instructed in a
[0080]
Next, the black balance
[0081]
Here, similarly to the above-described conventional example, each color average value of a certain part in the
[0082]
When the operator mistakenly designates the
[0083]
Next, the black balance
[0084]
At this time, in the case where the color average value of a certain part in the
[0085]
Therefore, according to the first embodiment, when the operator specifies white balance correction or black balance correction for a specific area of an observation image in the microscope imaging apparatus, whether the specified area is appropriate for correction is determined. This is determined based on the average luminance value, and if inappropriate, it is replaced with an appropriate correction value. Therefore, it is possible to prevent unnatural coloring when the operator erroneously specifies an area in the sample.
[0086]
(Second embodiment)
The feature of the second embodiment resides in that the criterion for white balance correction and black balance correction of a designated area is made variable according to the illumination state of the microscope.
[0087]
FIG. 7 is a block diagram showing a detailed configuration of the imaging device for a microscope according to the second embodiment of the present invention. 7, the same parts as those in FIG. 2 are denoted by the same reference numerals. 7, the configuration other than the
[0088]
FIG. 8 is a flowchart illustrating a processing procedure relating to white balance correction. Hereinafter, a processing procedure relating to the white balance correction according to the second embodiment will be described with reference to FIG.
[0089]
First, the
[0090]
Thereafter, when the average luminance value in the white balance correction designated area is equal to or greater than the judgment luminance reference value (step S12), the gain detected by the white
[0091]
Next, the operation of the second embodiment will be described.
[0092]
In the white balance
[0093]
Further, the voltage value (brightness) of the light source of the
[0094]
If the operator previously sets the judgment brightness reference value of the correction area to 90, it is determined that the area is appropriate for correction in the former example, but is inappropriate in the latter example. In addition, when the determined luminance value is set to a low value of about 70, it is determined that the region is appropriate in both examples. However, when a region having a high luminance value in the sample is erroneously selected as a correction region, an incorrect correction is performed. Could be Therefore, the operator has to reset the judgment brightness reference value every time the light amount of the illumination changes so as not to make an erroneous judgment.
[0095]
However, according to the second embodiment, the corrected luminance reference value is corrected each time the amount of illumination light of the
[0096]
As for the black balance correction, as in the case of the white balance correction, the observation state is acquired from the microscope, and the criterion of the correction area is made variable according to the microscopic method or the like, so that the determination of the black balance correction area can be performed more accurately. Can be performed.
[0097]
(Third embodiment)
The feature of the third embodiment is that, when it is determined in the correction determination of the designated area that the area is inappropriate for white balance correction and black balance correction, the correction value to be replaced is made variable according to the illumination information of the microscope. It is in. The configuration of the microscope imaging apparatus according to the third embodiment is the same as that in FIG.
[0098]
FIG. 10 is a flowchart illustrating a processing procedure relating to white balance correction. Hereinafter, a processing procedure regarding white balance correction according to the third embodiment will be described with reference to FIG.
[0099]
First, the white balance
[0100]
Next, when it is determined that the area designated by the operator is an area inappropriate for white balance correction (step S21), a message is displayed on the
[0101]
When the correction designation area is determined to be inappropriate for the correction according to the above procedure, the replacement gain of the white balance correction is such that the red gain ratio is small when the voltage value of the light source is large, and blue when the voltage value is small. Becomes smaller. That is, the gain of the white balance correction is set according to the color temperature of the light source.
[0102]
Therefore, according to the third embodiment, when it is determined that the designated area of the white balance correction or the black balance correction by the operator is inappropriate, even when the replacement setting is performed with the alternative gain value, the observation is performed. More accurate white balance correction or black balance correction corresponding to the color temperature of illumination can be performed. The replacement gain value when it is determined that the region is inappropriate for correction is obtained by adding a table such as that shown in FIG. 11 by adding information such as the microscopic method of the microscope, the type of the objective lens, and the filter to be inserted as parameters. If created, more accurate white balance correction or black balance correction can be performed.
[0103]
(Fourth embodiment)
The feature of the fourth embodiment is that an area determined to be inappropriate in the correction designated area by the operator is displayed as an uncorrectable area in the observation image, and even if the same area is designated again, The image data in the area is not used as a correction value, and the non-correctable area is hidden after an area suitable for correction is selected.
[0104]
FIG. 12 is a block diagram showing a detailed configuration of an imaging device for a microscope according to the fourth embodiment of the present invention. 12, the same parts as those in FIG. 2 are denoted by the same reference numerals. In FIG. 12, the configuration other than that the non-correctable
[0105]
FIG. 13 is a flowchart illustrating a processing procedure relating to white balance correction. Hereinafter, a processing procedure regarding the white balance correction according to the fourth embodiment will be described with reference to FIG.
[0106]
First, the white balance
[0107]
Next, if it is determined that the area designated by the operator is an area inappropriate for white balance correction (step S31), a message is displayed on the
[0108]
Next, when the operator specifies an
[0109]
When the white balance correction is performed according to the above-described procedure (step S37), the area once determined to be inappropriate for the white balance correction is colored gray in the display image, and the gray area is designated again by the area specification. Until an appropriate area is detected, it is additionally displayed in the observation image. Therefore, it is possible to prevent the operator from mistakenly specifying the same inappropriate area again. Further, the image data in the area once determined to be inappropriate is removed even if it is designated again and the correction is determined, so that the white balance correction can be performed efficiently.
[0110]
In the fourth embodiment, the improper correction area displayed in gray disappears when the operator designates an appropriate area for correction. However, as shown in the second embodiment, The
[0111]
At this time, when various observation conditions are changed, it is possible to reset the designation of the correction area, so that it is possible to prevent many gray inappropriate areas from being displayed in the observation image unnecessarily. Can operate smoothly.
[0112]
In addition, regarding the black balance correction, by adopting the same configuration as the white balance correction, an area inappropriate for the correction can be displayed and erased in the image in an overlapping manner, and the same effect as the white balance correction can be obtained. Can be.
[0113]
(Fifth embodiment)
A feature of the fifth embodiment is that a switch is provided for forcibly performing correction without determining whether the correction area specified by the operator is appropriate.
[0114]
FIG. 15 is a block diagram showing a detailed configuration of the imaging device for a microscope according to the fifth embodiment of the present invention. 15, the same parts as those in FIG. 2 are denoted by the same reference numerals. In FIG. 15, the configuration other than that the
[0115]
FIG. 16 is a flowchart illustrating a processing procedure relating to white balance correction. Hereinafter, a processing procedure relating to white balance correction according to the fifth embodiment will be described with reference to FIG.
[0116]
First, when the operator has set the correction
[0117]
On the other hand, when the operator has set the correction
[0118]
Therefore, according to the fifth embodiment, regardless of whether the designated area is determined to be appropriate or inappropriate for the white balance correction or the black balance correction, the operator can use the
[0119]
(Sixth embodiment)
The feature of the sixth embodiment resides in that correction is forcibly performed in accordance with the size (width) of the designated area before determining whether or not the designated area is appropriate for correction based on the average luminance value.
[0120]
FIG. 17 is a block diagram showing a detailed configuration of an imaging device for a microscope according to the sixth embodiment of the present invention. 17, the same parts as those in FIG. 2 are denoted by the same reference numerals. In FIG. 17, the configuration other than that the area
[0121]
FIG. 18 is a flowchart illustrating a processing procedure relating to white balance correction. Hereinafter, a processing procedure relating to white balance correction according to the sixth embodiment will be described with reference to FIG.
[0122]
First, the white balance
[0123]
As described above, according to the sixth embodiment, when the operator specifies an area larger than a certain size, the white balance correction or the black balance correction is forcibly performed based on the image data of the area.
[0124]
In bright field observation with a microscope, when the specimen occupies most of the observation image as shown in FIG. 3, the operator sets a designated area for white balance correction for a white portion of illumination in a narrow range. On the other hand, as shown in FIG. 19, when the
[0125]
In the former case, since the proportion of the sample image to the entire screen is large, there is a high possibility that the operator specifies an incorrect area. On the other hand, in the latter case, since the white portion of the illumination occupies a large portion of the entire screen, it is unlikely that the operator erroneously designates an area in the sample. Even if the range including the sample is selected, if the specified area of white balance correction or black balance correction is set for a wide range, the error of the sample included in each color luminance average value in the specified area is small. Therefore, the possibility of extremely unnatural coloring on the entire screen is low.
[0126]
Therefore, according to the sixth embodiment, when the ratio of the sample in the observation image is small, such as at low magnification, the process of determining whether the designated area is appropriate for correction is not performed. It can be performed efficiently.
[0127]
(Seventh embodiment)
A feature of the seventh embodiment is that the output image data of the
[0128]
FIG. 20 is a block diagram showing a configuration of a microscope imaging device according to the seventh embodiment of the present invention. As shown in FIG. 20, the
[0129]
In the
[0130]
In such a configuration, observation image data converted into a digital signal by the A /
[0131]
Even in such a configuration, the same effect as in the first embodiment can be obtained. In the first embodiment, observation of a moving image output from the
[0132]
Note that the present invention is not limited to the above embodiments, and can be appropriately modified and implemented without departing from the gist.
[0133]
【The invention's effect】
According to the present invention, white balance correction and black balance correction processing on a captured image of an observation sample obtained from a microscope are appropriately corrected even when an operator instructs correction to an inappropriate area by mistake. Therefore, observation and imaging can be performed efficiently.
[0134]
That is, according to the present invention, in white balance correction or black balance correction of an observation image, an inappropriate coloration caused by designation of an incorrect correction portion can be suppressed, and a correction process can be performed more reliably. , A microscope imaging method, and a microscope imaging program.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a microscope imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a detailed configuration of a microscope imaging apparatus according to the first embodiment of the present invention.
FIG. 3 is a diagram showing an example of an output image of the imaging device for a microscope according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a processing procedure regarding white balance correction according to the first embodiment of the present invention.
FIG. 5 is a diagram showing a configuration of a conventional microscope imaging apparatus having a white balance correction function or a black balance correction function.
FIG. 6 is a diagram showing an example of an output image of the microscope imaging device according to the first embodiment of the present invention.
FIG. 7 is a block diagram showing a detailed configuration of an imaging device for a microscope according to a second embodiment of the present invention.
FIG. 8 is a flowchart illustrating a processing procedure relating to white balance correction according to the second embodiment of the present invention.
FIG. 9 is a table showing a reference luminance value for a voltage value of a microscope light source according to the second embodiment of the present invention.
FIG. 10 is a flowchart illustrating a processing procedure relating to white balance correction according to a third embodiment of the present invention.
FIG. 11 is a table showing a white balance correction gain with respect to a voltage value of a microscope light source according to the third embodiment of the present invention.
FIG. 12 is a block diagram showing a detailed configuration of an imaging device for a microscope according to a fourth embodiment of the present invention.
FIG. 13 is a flowchart showing a processing procedure regarding white balance correction according to a fourth embodiment of the present invention.
FIG. 14 is a diagram illustrating an example of an output image of the imaging device for a microscope according to the fourth embodiment of the present invention.
FIG. 15 is a block diagram showing a detailed configuration of an imaging device for a microscope according to a fifth embodiment of the present invention.
FIG. 16 is a flowchart showing a processing procedure regarding white balance correction according to a fifth embodiment of the present invention.
FIG. 17 is a block diagram showing a detailed configuration of an imaging device for a microscope according to a sixth embodiment of the present invention.
FIG. 18 is a flowchart showing a processing procedure regarding white balance correction according to a sixth embodiment of the present invention.
FIG. 19 is a diagram showing an example of an output image of the microscope imaging device according to the sixth embodiment of the present invention.
FIG. 20 is a block diagram showing a configuration of a microscope imaging device according to a seventh embodiment of the present invention.
[Explanation of symbols]
1. Microscope
3. Optical system for transmission observation
4: Optical system for epi-illumination observation
5. Light source for transmitted illumination
6 ... Collector lens
7 ... Transmission filter unit
8: Transmission field stop
9… Bending mirror
10. Condenser optical element unit
11 Condenser optical element unit
12 Top lens unit
13. Light source for epi-illumination
14. Epi-illumination filter unit
15: Epi-shutter
16 ... Epi-illumination field stop
17 ... Epi-aperture stop
18 ... Sample stage
19 ... Objective lens
20 ... Revolver
21 ... Cube unit
22 ... Beam splitter
23 ... Drive circuit section
24 ... Microscope control unit
31 ... Image sensor
32: Pre-processing unit
33… Variable gain amplifier
34 ... Gain setting unit
35 ... White balance detector
36 ... White balance setting section
37 ... Subtraction circuit
38: Offset value specification section
39: Black balance detector
40: Black balance setting section
41 ... Frame memory
42 ... Image control unit
43 ... Display processing unit
44 ... D / A converter
45 Display device
46 ... White balance correction judgment unit
47: Black balance correction judgment unit
49 ... A / D converter
102 ... Imaging unit
103: Area designation section
104 ... Image processing unit
105: Correction judgment unit
106 ... Display unit
107 ... Control unit
300 ... image
301 ... designated area
302 ... designated area
303 ... sample
1000 ... image
1001 ... Specified area
1002 ... Designated area
1003 ... specimen
1501... Non-correctable area storage unit
1601 ... Forced correction switch
1701 area size calculation unit
1800 ... Image
1802 ... sample
1803 ... Specified area
1900 ... Image
1901: Designated area
1902 ... Specimen
1903: Designated area
2001: I / F section
2002: Personal computer (PC)
Claims (12)
前記撮像手段で撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう画像処理手段と、
前記画像処理手段によって処理された観察画像を表示する表示手段と、
前記表示手段に表示する観察画像の任意の領域を指定する領域指定手段と、
前記領域指定手段により指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する補正判断手段と、を具備し、
前記画像処理手段は、前記補正判断手段の判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なうことを特徴とする顕微鏡用撮像装置。Imaging means for capturing an image observed by a microscope;
Image processing means for performing white balance correction or black balance correction on the observation image captured by the imaging means,
Display means for displaying the observation image processed by the image processing means,
Area specifying means for specifying an arbitrary area of the observation image displayed on the display means,
Correction determining means for determining whether the area specified by the area specifying means is an area suitable for performing white balance correction or black balance correction based on a specific determination criterion,
An image pickup apparatus for a microscope, wherein the image processing unit performs white balance correction or black balance correction on the observed image based on a result of the determination by the correction determining unit.
前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、
前記第2のステップによって処理された観察画像を表示する第3のステップと、
前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、
前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、
前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、
を有することを特徴とする顕微鏡用撮像方法。A first step of capturing an observation image by a microscope;
A second step of performing white balance correction or black balance correction on the observation image captured in the first step;
A third step of displaying the observation image processed by the second step;
A fourth step of designating an arbitrary region of the observation image to be displayed in the third step;
A fifth step of determining whether the area specified in the fourth step is an area suitable for performing white balance correction or black balance correction based on a specific determination criterion;
A sixth step of performing white balance correction or black balance correction on the observed image based on the determination result of the fifth step;
An imaging method for a microscope, comprising:
顕微鏡による観察画像を撮像する第1のステップと、
前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、
前記第2のステップによって処理された観察画像を表示する第3のステップと、
前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、
前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、
前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、
を実行させるための顕微鏡用撮像プログラム。On the computer,
A first step of capturing an observation image by a microscope;
A second step of performing white balance correction or black balance correction on the observation image captured in the first step;
A third step of displaying the observation image processed by the second step;
A fourth step of designating an arbitrary region of the observation image to be displayed in the third step;
A fifth step of determining whether the area specified in the fourth step is an area suitable for performing white balance correction or black balance correction based on a specific determination criterion;
A sixth step of performing white balance correction or black balance correction on the observed image based on the determination result of the fifth step;
A microscope imaging program for executing the program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249181A JP2004086031A (en) | 2002-08-28 | 2002-08-28 | Imaging apparatus, method and program for microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249181A JP2004086031A (en) | 2002-08-28 | 2002-08-28 | Imaging apparatus, method and program for microscope |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004086031A true JP2004086031A (en) | 2004-03-18 |
Family
ID=32056371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002249181A Pending JP2004086031A (en) | 2002-08-28 | 2002-08-28 | Imaging apparatus, method and program for microscope |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004086031A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006218204A (en) * | 2005-02-14 | 2006-08-24 | Olympus Corp | Microscope for operation |
| JP2007054342A (en) * | 2005-08-25 | 2007-03-08 | Pentax Corp | Electronic endoscope system |
| JP2008278320A (en) * | 2007-05-01 | 2008-11-13 | Canon Inc | White balance adjustment device, information processing device, white balance adjustment method, white balance setting method, and program |
| JP2010098719A (en) * | 2008-09-16 | 2010-04-30 | Olympus Corp | Microscope system, observation image correction program, and observation image correction method |
| JP2012129955A (en) * | 2010-12-17 | 2012-07-05 | Canon Inc | Imaging device and video processing method |
| US8471924B2 (en) | 2009-08-31 | 2013-06-25 | Canon Kabushiki Kaisha | Information processing apparatus for remote operation of an imaging apparatus and control method therefor |
| JP2015018266A (en) * | 2004-11-26 | 2015-01-29 | オリンパス株式会社 | Analysis method |
| JP2015105964A (en) * | 2013-11-28 | 2015-06-08 | オリンパス株式会社 | Microscope system |
| US9294656B2 (en) | 2013-11-19 | 2016-03-22 | Sony Corporation | Image processing apparatus and image processing method |
| JP2023136957A (en) * | 2022-03-17 | 2023-09-29 | キヤノン株式会社 | Image processing device, image processing method, program, and storage medium |
| US12332421B2 (en) | 2022-06-27 | 2025-06-17 | Carl Zeiss Microscopy Gmbh | Microscopy system and method for the color correction of microscope images |
-
2002
- 2002-08-28 JP JP2002249181A patent/JP2004086031A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015018266A (en) * | 2004-11-26 | 2015-01-29 | オリンパス株式会社 | Analysis method |
| JP2006218204A (en) * | 2005-02-14 | 2006-08-24 | Olympus Corp | Microscope for operation |
| JP2007054342A (en) * | 2005-08-25 | 2007-03-08 | Pentax Corp | Electronic endoscope system |
| JP2008278320A (en) * | 2007-05-01 | 2008-11-13 | Canon Inc | White balance adjustment device, information processing device, white balance adjustment method, white balance setting method, and program |
| JP2010098719A (en) * | 2008-09-16 | 2010-04-30 | Olympus Corp | Microscope system, observation image correction program, and observation image correction method |
| US8471924B2 (en) | 2009-08-31 | 2013-06-25 | Canon Kabushiki Kaisha | Information processing apparatus for remote operation of an imaging apparatus and control method therefor |
| JP2012129955A (en) * | 2010-12-17 | 2012-07-05 | Canon Inc | Imaging device and video processing method |
| US9294656B2 (en) | 2013-11-19 | 2016-03-22 | Sony Corporation | Image processing apparatus and image processing method |
| US9826124B2 (en) | 2013-11-19 | 2017-11-21 | Sony Corporation | Image processing apparatus and method for correcting color components |
| JP2015105964A (en) * | 2013-11-28 | 2015-06-08 | オリンパス株式会社 | Microscope system |
| US9829694B2 (en) | 2013-11-28 | 2017-11-28 | Olympus Corporation | Microscope system |
| JP2023136957A (en) * | 2022-03-17 | 2023-09-29 | キヤノン株式会社 | Image processing device, image processing method, program, and storage medium |
| JP7516446B2 (en) | 2022-03-17 | 2024-07-16 | キヤノン株式会社 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND STORAGE MEDIUM |
| US12332421B2 (en) | 2022-06-27 | 2025-06-17 | Carl Zeiss Microscopy Gmbh | Microscopy system and method for the color correction of microscope images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4512278B2 (en) | Microscope system | |
| JP4624513B2 (en) | Microscope imaging device | |
| US20090185034A1 (en) | Imaging device for microscope | |
| JP2004086031A (en) | Imaging apparatus, method and program for microscope | |
| JP6289044B2 (en) | Observation device | |
| WO2020049688A1 (en) | Light source control device, endoscopy system, and dimming control method | |
| JP4906442B2 (en) | Microscope imaging system, microscope imaging method, and recording medium | |
| JP2013229706A (en) | Image acquisition apparatus, image acquisition method, and image acquisition program | |
| JP6253509B2 (en) | Image display method, control device, microscope system | |
| JP3783790B2 (en) | Laser microscope | |
| JP4128405B2 (en) | Microscope imaging device | |
| JP2009171010A (en) | projector | |
| JP3804527B2 (en) | Microscope system | |
| JP2004343358A (en) | Image processing system, image processing control method, and program | |
| JP2010122623A (en) | Microscope control device and microscope system | |
| JP2005037683A (en) | Imaging device for microscope, its control method and program for control method | |
| JP4563693B2 (en) | Microscope photographing apparatus, brightness adjustment method, and brightness adjustment program | |
| JP2009115681A (en) | Image acquisition and display device | |
| JP4420650B2 (en) | Defective pixel detection device, defective pixel detection method, and defective pixel detection program | |
| JPWO2021140766A5 (en) | ||
| US10649197B2 (en) | Magnified observation apparatus | |
| JPH06351027A (en) | Color television device for microscope | |
| JP5776056B2 (en) | Electron beam apparatus and sample observation method using electron microscope | |
| JP2020168164A (en) | Endoscope system | |
| JP2011066752A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091006 |