JP2004086031A - 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム - Google Patents
顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム Download PDFInfo
- Publication number
- JP2004086031A JP2004086031A JP2002249181A JP2002249181A JP2004086031A JP 2004086031 A JP2004086031 A JP 2004086031A JP 2002249181 A JP2002249181 A JP 2002249181A JP 2002249181 A JP2002249181 A JP 2002249181A JP 2004086031 A JP2004086031 A JP 2004086031A
- Authority
- JP
- Japan
- Prior art keywords
- balance correction
- correction
- area
- white balance
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012937 correction Methods 0.000 claims abstract description 375
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000005286 illumination Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 28
- 238000000386 microscopy Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 9
- 201000005569 Gout Diseases 0.000 description 8
- 238000004040 coloring Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010010219 Compulsions Diseases 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】顕微鏡(1)による観察画像を撮像する撮像手段(102)と、前記撮像手段で撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう画像処理手段(104)と、前記観察画像を表示する表示手段(106)と、前記観察画像の任意の領域を指定する領域指定手段(103)と、指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する補正判断手段(105)と、を具備し、前記補正判断手段の判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、顕微鏡の観察画像を撮像し表示する顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムに関する。
【0002】
【従来の技術】
顕微鏡によって標本を観察する場合、それぞれの標本に対して異なる光量の照明光を照射する。このとき照明光の調光によっては、光源の色温度が変化する。したがって、顕微鏡の観察像を撮像装置で撮像する場合、好適なカラー画像を得るためには、調光された照明光の色バランスが一定になるように撮像画像のホワイトバランスを調整する必要がある。
【0003】
従来、ホワイトバランス補正の方法としては、画面全体の色バランスの平均値を算出し、この色バランスが白色になるように常時補正を行う自動追尾方式が知られている。また、フィルタの挿脱、光源の光量変化時に、標本を撮像視野から外して画面全体を白色にし、この白色を基準ホワイトバランスとして設定し、次に設定を変えるまで基準ホワイトバランスが保たれるように補正を行ないつつ撮像する方式が知られている。
【0004】
しかし、上述したホワイトバランス補正法を顕微鏡の観察像を撮像する撮像装置に適用する場合、種々の問題が生じる。例えば、観察画面全体の色バランスの平均値が白色になるように補正を行なう方式では、画面全体を平均化した色信号が白色と等価になるという仮定が前提になっているが、顕微鏡の標本は特定の単色を多く含む場合が多い。このため、観察像の撮像にこの方式を適用すると、緑色の標本に対しては、緑色を打ち消すようにホワイトバランスを補正してしまうため、全体がマゼンダ色に着色してしまう。また、撮影条件を変えたときに撮像画面に標本像が入らないように標本を移動させて基準ホワイトバランスを設定する方式では、設定のたびに余分な操作を行なわなければならず、観察者にとっては操作性が悪い。
【0005】
上述した問題に対して、特開2001−75013号公報に開示されているホワイトバランス補正方法においては、観察画像内の所望の白色部位を指定し、その部位に対してホワイトバランス補正をする。これにより、観察画像内に単色を多く含む標本が存在しても不自然な着色を防止し、さらに、補正設定毎に標本画像を視野外に移動させる手間も不要としている。
【0006】
一方、顕微鏡観察においては、蛍光観察を行なう標本の長時間露光撮像時に、画像内の標本以外の部位に現れる自家発光による輝度成分を強制的に補正し、コントラストの良い蛍光標本像を得るための手段として、ブラックバランス補正が用いられている。
【0007】
従来、ブラックバランス補正の方法として、暗視野観察時に蛍光標本以外の特定の暗黒部位を指定し、その指定部位のブラックバランスを検出し、画像全体からその暗黒部分の輝度値をオフセットとして取り除く方法が知られている。ブラックバランス補正を行なうと、画像の黒ぬきが良くなり、自家発光等によるコントラストの低下を防止することができる。
【0008】
【発明が解決しようとする課題】
しかしながら、上述したホワイトバランス補正、ブラックバランス補正において、補正の基準となる部位を指定する際に操作者が誤って標本像上を指定した場合、不自然な着色がなされてしまう。また、自動追尾方式で常時補正を行なっているときに標本を移動させて、標本像と指定部位が重なった場合も、観察者の意図しない補正処理が行なわれて不適切な着色がなされてしまうおそれがある。
【0009】
本発明の目的は、観察画像のホワイトバランス補正またはブラックバランス補正において、誤った補正部位の指定に起因する不適切な着色を抑止し、より確実に補正処理を行なうことができる顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムを提供することにある。
【0010】
【課題を解決するための手段】
上記課題を解決し目的を達成するために、本発明の顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムは以下の如く構成されている。
【0011】
(1)本発明の顕微鏡用撮像装置は、顕微鏡による観察画像を撮像する撮像手段と、前記撮像手段で撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう画像処理手段と、前記画像処理手段によって処理された観察画像を表示する表示手段と、前記表示手段に表示する観察画像の任意の領域を指定する領域指定手段と、前記領域指定手段により指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する補正判断手段と、を具備し、前記画像処理手段は、前記補正判断手段の判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう。
【0012】
(2)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段における判断基準は、前記顕微鏡の検鏡法、照明状態、対物レンズの種類、及び挿入フィルターの少なくとも一つによって可変とする。
【0013】
(3)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段は、前記領域指定手段により指定された領域をホワイトバランス補正またはブラックバランス補正に不適切な領域と判断したとき、あらかじめ前記補正判断手段に格納された補正値によってホワイトバランス補正またはブラックバランス補正を行なう。
【0014】
(4)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段は、前記領域指定手段により指定された領域をホワイトバランス補正またはブラックバランス補正に不適切な領域と判断したとき、前記顕微鏡の検鏡法、照明状態、対物レンズの種類、及び挿入フィルターの少なくとも一つを検出し、その検出状態に応じて補正値を可変とする。
【0015】
(5)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記表示手段は、前記補正判断手段において前記領域指定手段により指定された領域がホワイトバランス補正またはブラックバランス補正に不適切な領域であると判断されたとき、所定のメッセージを表示する。
【0016】
(6)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記表示手段は、前記補正判断手段においてホワイトバランス補正またはブラックバランス補正に不適切であると判断された領域を不適切領域として表示し、前記画像処理手段は、前記不適切領域内の画像データをホワイトバランス補正またはブラックバランス補正に使用しない。
【0017】
(7)本発明の顕微鏡用撮像装置は上記(6)に記載の装置であり、かつ前記表示手段は、前記不適切領域を前記顕微鏡の標本の移動、光源の光量変化、及び検鏡法の変化のいずれかの時に消去する。
【0018】
(8)本発明の顕微鏡用撮像装置は上記(1)に記載の装置であり、かつ前記補正判断手段における判断結果に対して有効または無効を選択する選択手段を備えている。
【0019】
(9)本発明の顕微鏡用撮像装置は上記(8)に記載の装置であり、かつ前記選択手段で無効が選択されたとき、前記画像処理手段は、前記補正判断手段の判断結果に関わらず、前記領域指定手段により指定された領域の画像データを基に強制的にホワイトバランス補正またはブラックバランス補正を行なう。
【0020】
(10)本発明の顕微鏡用撮像装置は上記(8)に記載の装置であり、かつ前記補正判断手段は、前記領域指定手段により指定された領域の広さに応じて前記判断結果の有効または無効を選択する。
【0021】
(11)本発明の顕微鏡用撮像方法は、顕微鏡による観察画像を撮像する第1のステップと、前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、前記第2のステップによって処理された観察画像を表示する第3のステップと、前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、を有する。
【0022】
(12)本発明の顕微鏡用撮像プログラムは、コンピュータに、顕微鏡による観察画像を撮像する第1のステップと、前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、前記第2のステップによって処理された観察画像を表示する第3のステップと、前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、を実行させる。
【0023】
上記手段を講じた結果、それぞれ以下のような作用を奏する。
【0024】
(1)本発明の顕微鏡用撮像装置によれば、操作者が誤ってホワイトバランス補正あるいはブラックバランス補正の領域を指定したときに、観察画像に操作者の望まない着色がなされること防止することができる。
【0025】
(2)本発明の顕微鏡用撮像装置によれば、前記補正判断手段において正確な判断を下すことができる。
【0026】
(3)本発明の顕微鏡用撮像装置によれば、操作者の望まない観察画像の着色を防止しつつ、より適切なホワイトバランス補正あるいはブラックバランス補正を行なえる。
【0027】
(4)本発明の顕微鏡用撮像装置によれば、正確なホワイトバランス補正またはブラックバランス補正を行なうことができる。
【0028】
(5)本発明の顕微鏡用撮像装置によれば、操作者の再度の誤操作を防止することができる。
【0029】
(6)本発明の顕微鏡用撮像装置によれば、不適切と判断された領域は不適切領域として重ねて継続的に表示され、その領域内の画像データは、ホワイトバランス補正あるいはブラックバランス補正に再度使用しないため、操作者の再度の誤操作を防止しつつ、効率的に補正処理をすることができる。
【0030】
(7)本発明の顕微鏡用撮像装置によれば、追加表示される不適切領域を適宜消去するため、無駄に多くの不適切領域が観察画像に表示されることが抑止され、操作者は円滑に操作することができる。
【0031】
(8)本発明の顕微鏡用撮像装置によれば、操作者は、指定領域がホワイトバランス補正あるいはブラックバランス補正に適切な領域であるか否かの判断結果に対して、有効あるいは無効のいずれかを選択することができる。
【0032】
(9)本発明の顕微鏡用撮像装置によれば、判断結果が操作者の所望する観察状態に適応しない場合に、指定領域の補正判断結果を無効にすることができる。
【0033】
(10)本発明の顕微鏡用撮像装置によれば、補正処理を効率的に行なうことができる。
【0034】
(11)本発明の顕微鏡用撮像方法によれば、操作者が誤ってホワイトバランス補正あるいはブラックバランス補正の領域を指定したときに、観察画像に操作者の望まない着色がなされること防止することができる。
【0035】
(12)本発明の顕微鏡用撮像プログラムによれば、操作者が誤ってホワイトバランス補正あるいはブラックバランス補正の領域を指定したときに、観察画像に操作者の望まない着色がなされること防止することができる。
【0036】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【0037】
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る顕微鏡用撮像装置の概略構成を示すブロック図である。
【0038】
図1において、顕微鏡1の観察像は撮像部102によって撮像された後、画像データとして画像処理部104に入力される。画像処理部104は、領域指定部103で指定された領域内の画像データを補正判断部105へ送信する。補正判断部105は、画像処理部104より入力された画像データから指定領域がホワイトバランス補正あるいはブラックバランス補正に適切であるかを判断し、その結果に応じた補正値を画像処理部104へ送信する。
【0039】
画像処理部104は、補正判断部105から受信した補正値に応じて画像データに対してホワイトバランス補正あるいはブラックバランス補正を行ない、表示部106へ出力する。表示部106は、画像処理部104から入力される画像データをもとに顕微鏡1の観察像を表示する。
【0040】
図2は、上記顕微鏡用撮像装置の詳細な構成を示すブロック図である。図2において図1と同一な部分には同符号を付してある。顕微鏡1は、透過観察用光学系3、落射観察用光学系4を備えている。透過観察用光学系3では、ハロゲンランプ等の透過観察用光源5から放射された光がコレクタレンズ6、透過用フィルタユニット7、透過視野絞り8、折り曲げミラー9、コンデンサ光学素子ユニット10,11、トップレンズユニット12を通って、ステージ18上の図示しない標本に照射される。一方、落射観察用光学系4において、落射照明用光源13から放射された光は、落射フィルタユニット14、落射シャッタ15、落射視野絞り16、落射開口絞り17、キューブユニット21、対物レンズ19を通り標本に照射される。
【0041】
キューブユニット21では、明視野観察、蛍光観察など各種検鏡法に応じて設置されたダイクロイックミラーが切り替えられる。落射照明光学系4と透過照明光学系3との各光軸が重なる観察光路S上には、対物レンズ19を切り替えるためのレボルバー20、さらに観察光路Sを接眼レンズ側と撮像装置側に分岐するビームスプリッター22が配置されている。ビームスプリッター22を透過した光は、撮像部102に入射される。
【0042】
顕微鏡コントロール部24は、駆動回路部23に接続されており、図示しない入力装置からの操作者の指示に応じて、顕微鏡1の各駆動部位を駆動させるための信号を駆動回路部23へ送信する。また、顕微鏡コントロール部24は光源回路にも接続されており、光源5,13の電圧を制御し、照明の光量を変化させる。なお、顕微鏡コントロール部24は、図示しない入力装置からの操作者の指示情報を内部メモリに記憶し、顕微鏡1の検鏡法、照明、対物レンズ等の設定情報を保持している。
【0043】
駆動回路部23は、顕微鏡1の各部を駆動するための回路である。駆動回路部23は、顕微鏡コントロール部24からの指示信号を受信して、所望の検鏡法による観察ができるようにフィルタユニットを光路内外に移動させたり、シャッタ、絞りを開閉させたり、コンデンサ光学素子ユニット10、キューブユニット21に観察光路S内に入るコンデンサやキューブを切り替えさせたりする。また、駆動回路部23は、レボルバー20を回転させ、観察光路Sに入る対物レンズを所望の倍率のものに切り替える。
【0044】
撮像部102は観察光路S上に配置され、撮像素子31、A/D変換部49、前置処理部32から構成されている。撮像素子31の出力端子はA/D変換部49に、A/D変換部49の出力端子は前置処理部32に接続されている。撮像素子31上では、顕微鏡1から入射される所定の倍率で拡大された観察標本像が結像し、光電変換されアナログ電気信号としてA/D変換部49へ出力される。A/D変換部49によって、アナログ電気信号はデジタル画像信号に変換され、前置処理部32へ出力される。前置処理部32において、デジタル画像信号はR,G,B各色の信号に分離され画像処理部104へ出力される。
【0045】
画像処理部104に入力されるR,G,B各色の画像信号に対して、可変利得演算器33において、利得設定部34によって設定される利得を各色別に乗じることでホワイトバランスを補正し、減算回路37に出力する。減算回路37は、オフセット設定部38によって設定されたオフセット値を画像データから一様に引き、ブラックバランス補正を行なった後、フレームメモリ41へ画像データを出力する。フレームメモリ41は、撮像部102において撮像される観察標本像の1フレーム分の画像データを記憶するものである。
【0046】
領域指定部103は画像制御部42を介して座標データをフレームメモリ41内の画像データに挿入し、例えば図3に示す観察画像300内に矩形の領域301を表示させる。領域指定部103は図示しないマウス等の入力装置の入力に応じて領域301を移動させ、その大きさを観察画像300内で任意に変える。操作者は、観察画像300内の領域301を、ホワイトバランス補正あるいはブラックバランス補正を行なう領域として指定する。もちろん、領域301の形状は種々に変形可能である。
【0047】
画像制御部42は、領域指定部103によって指定された観察標本上の任意領域内の画像データをフレームメモリ41から読み出し、ホワイトバランス検出部35、ブラックバランス検出部39、及び補正判断部105に入力する。画像制御部42は、領域指定部103によって指定された矩形の領域301の幅、高さ情報も、同時に補正判断部105に入力する。
【0048】
ホワイトバランス検出部35は、画像制御部42から入力された指定領域内の画像データのホワイトバランスを算出し、ホワイトバランスが崩れている場合、ホワイトバランス補正のために、検出結果に応じて可変利得演算器33に設定すべき利得をホワイトバランス補正判断部46へ出力する。ホワイトバランスが保たれている場合、画像制御部42から入力された画像のR:G:Bの比は1:1:1になる。
【0049】
補正判断部105は、ホワイトバランス補正判断部46とブラックバランス補正判断部47とで構成されている。ホワイトバランス補正判断部46とブラックバランス補正判断部47には、画像制御部42から指定領域内の画像データと領域の幅、高さ情報が入力される。ホワイトバランス補正判断部46は、入力画像データ、すなわち指定領域内の全画素データを累積加算し、幅、高さにて割ることで、指定領域内の輝度平均値を算出する。
【0050】
図4は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第1の実施の形態のホワイトバランス補正に関する処理手順を図4を基に説明する。
【0051】
輝度平均値があらかじめ設定された基準値以上である場合(ステップS1)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35から入力された利得をそのまま利得設定部34に入力する(ステップS2)。輝度平均値が基準値未満である場合(ステップS1)、ホワイトバランス補正判断部46は、画像制御部42を介してフレームメモリ41内の画像データを置き換え、観察画像の特定の部位にメッセージを表示させるように(ステップS3)、あらかじめ標準として設定された照明光に対するホワイトバランス補正をするための各色の利得を利得設定部34に設定する(ステップS4)。
【0052】
ホワイトバランス設定部36は利得設定部34と接続され、操作者のトリガに応じてホワイトバランス補正実行を指示する信号を利得設定部34へ送信する。その信号を受信した利得設定部34は、設定した利得を可変利得演算器33へ出力し、画像データに対してホワイトバランス補正を行なう。可変利得演算器33に入力された利得は、次回操作者がホワイトバランス設定部36から補正タイミングのトリガをかけるまで保持される。
【0053】
一方、ブラックバランス検出部39は、画像制御部42から入力された指定領域内の画像データのブラックバランスを算出し、ブラックバランスが崩れている場合、ブラックバランス補正のために、検出結果に応じて減算回路37に設定すべきオフセット値をブラックバランス補正判断部47へ出力する。ブラックバランス補正判断部47は、入力画像データ、すなわち指定領域内の全画素データを累積加算し、幅、高さにて割ることで、指定領域内の輝度平均値を算出する。
【0054】
輝度平均値があらかじめ設定された基準値未満であるときは、ブラックバランス補正判断部47は、ブラックバランス検出部39から入力されたオフセット値をそのままオフセット設定部38に入力する。輝度平均値が基準値以上であるときは、ブラックバランス補正判断部47は、画像制御部42を介してフレームメモリ41内の画像データを置き換え、観察画像の特定の部位にメッセージを表示させ、あらかじめ標準として設定されたブラックバランス補正のオフセット値をオフセット設定部38に設定する。
【0055】
ブラックバランス設定部40はオフセット設定部38と接続され、操作者のトリガに応じてブラックバランス補正実行を指示する信号をオフセット設定部38へ送信する。その信号を受信したオフセット設定部38は、設定したオフセット値を減算回路37へ出力し、画像データに対してブラックバランス補正を行なう。減算回路37に入力されたオフセット値は、次回操作者がブラックバランス設定部40から補正タイミングのトリガをかけるまで保持される。
【0056】
以上のホワイトバランス補正、ブラックバランス補正の画像処理がなされた観察画像データがフレームメモリ41から表示部106へ出力される。表示部106に入力された画像データは、表示処理部43において表示サイズや表示速度など表示装置45に適した信号に変えられてD/A変換部44に出力される。表示装置45は、D/A変換部44によってアナログ信号に変換された観察画像データ、指定補正領域を示す枠、およびメッセージを表示する。
【0057】
以下、上記の如く構成された顕微鏡撮像装置の作用について述べる。
【0058】
図5は、従来のホワイトバランス補正機能あるいはブラックバランス補正機能を有する顕微鏡用撮像装置の構成を示す図である。図5において図2と同一な部分には同符号を付してある。図5において、ホワイトバランス補正判断部46、ブラックバランス補正判断部47以外の構成は、図2と同様である。
【0059】
ホワイトバランス検出部35、ブラックバランス検出部39において、画像制御部42から入力される指定領域内の画像データを元に算出した補正値は、ホワイトバランス設定部36、ブラックバランス設定部40からのトリガ入力に応じて、利得設定部34、オフセット設定部38に設定される。
【0060】
まず、ホワイトバランス補正について述べる。
【0061】
図5に示す従来の顕微鏡用撮像装置において、例えば図3に示す明視野観察画像上で標本303の存在しない照明部分の領域301にホワイトバランス補正を指示する。この場合、領域指定部103から操作者によって入力された領域301の座標データは、画像制御部42を介してフレームメモリ41内に入力され、その座標に対応する画像データがフレームメモリ41から画像制御部42を介してホワイトバランス検出部35に入力される。
【0062】
ホワイトバランス検出部35は、指定領域301内の画像データの各色の平均値から補正のための利得を算出し、利得設定部34へ出力する。例えば、領域301内の画像データの各色平均値が(R,G,B)=(100,90,90)(以下,輝度の最大値は100とする)である赤みがかった照明の場合、各色の利得は、(R利得,G利得,B利得)=(1,100/90,100/90)=(1,1.1,1.1)に設定される。この利得値は、ホワイトバランス設定部36からの操作者のトリガによって可変利得演算部33に入力され、可変利得演算部33において撮像部102から入力される観察画像データの各色成分に乗算される。可変利得演算器33から出力される画像データは、減算回路37、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0063】
このとき、例えば、撮像部102から入力される標本303内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(10,40,10)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(10×1,40×1.1,10×1.1)=(10,44,11)となり、入力画像と比べてR成分の比率が小さくなる。したがって、観察照明のもつ赤成分が除かれて、ホワイトバランスが(R:G:B)=(1:1:1)に補正されるため、観察者の意図する白色を再現することができる。
【0064】
また、操作者が図3に示す標本303内の領域302にホワイトバランス補正を指示した場合も、同様な動作が生じる。例えば、領域302の各色平均値が(R,G,B)=(10,60,10)の場合、前述のホワイトバランス検出部35において算出される利得は、(R利得,G利得,B利得)=(60/10,1,60/10)=(6,1,6)となる。この利得値が利得設定部34を介して可変利得演算器33へ出力され、可変利得演算器33に入力される各色の画像データに乗算され、その画像データが減算回路37、フレームメモリ41を通り、表示部106に入力され、観察画像として表示される。
【0065】
この結果、例えば標本上の特定部位の各色値が、緑成分が多く(Rin,Gin,Bin)=(10,30,10)の場合、表示装置45に出力される画像は、(Rout,Gout,Bout)=(10×6,30×1,10×6)=(60,30,60)とマゼンダ色に着色してしまう。
【0066】
一方、図2に示す本発明の顕微鏡用撮像装置において、図3に示す明視野観察画像300上で標本303の存在しない照明部分の領域301にホワイトバランス補正を指示する。この場合、ホワイトバランス検出部35は、従来の顕微鏡用撮像装置と同様に画像制御部42から入力された指定領域301内の画像データの各色の平均値から補正のための利得を算出し、ホワイトバランス補正判断部46へ出力する。例えば、標本外照明領域301内の画像データの各色平均値が(R,G,B)=(100,90,90)である場合、各色の利得(R利得,G利得,B利得)=(1,100/90,100/90)=(1,1.1,1.1)をホワイトバランス補正判断部46へ出力する。
【0067】
次に、ホワイトバランス補正判断部46は、画像制御部42から入力された指定領域301内の各色の画像データ、指定領域301の高さ、幅データから領域内の輝度平均値93≒(100+90+90)/3を算出する。ここで、あらかじめ設定された判断基準値が80であるとすれば、93(輝度平均値)>80(判断基準値)である。このため可変利得演算器33には、ホワイトバランス検出部35から入力された利得(R利得,G利得,B利得)=(1,1.1,1.1)が利得設定部34を介して設定される。この利得値が、可変利得演算器33において、撮像部102から入力される観察画像データ全体に乗算され、その画像データは、減算回路37、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0068】
ここで、上記従来例と同様に、撮像部102から入力される標本303内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(10,40,10)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(10,44,11)となる。したがって、観察照明のもつ赤成分が除かれて、ホワイトバランスが(R:G:B)=(1:1:1)に補正されるため、観察者の意図する白色が再現される。
【0069】
また、操作者が誤って図3に示す標本303内の領域302をホワイトバランス補正領域として指定したとき、例えば、緑色を多く含む領域302内の画像データの各色平均値が(R,G,B)=(10,60,10)である場合、ホワイトバランス検出部35において上述と同様な処理によって各色の利得(R利得,G利得,B利得)=(60/10,1,60/10)=(6,1,6)が算出され、ホワイトバランス補正判断部46に入力される。
【0070】
次に、ホワイトバランス補正判断部46は、入力された指定領域302内の画像データをもとに輝度平均値26≒(10+60+10)/3を算出する。このとき26(輝度平均値)<80(判断基準値)である。このためホワイトバランス補正判断部46は、画像制御部42を介してフレームメモリ41内の特定部位の画像データを置き換えることで、補正領域として不適切である旨を通知するメッセージを表示装置45に表示させる。さらにホワイトバランス補正判断部46は、あらかじめ標準として設定されている利得、例えば(R利得,G利得,B利得)=(1,1.2,1.2)を、利得設定部34を介して可変利得演算器33に設定する。
【0071】
このとき、撮像部102から入力される画像データの内、標本303内のある部位の各色平均値が、緑成分が多く(Rin,Gin,Bin)=(10,40,10)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(10×1,40×1.2,10×1.2)=(10,48,12)となり、入力画像と比べてR成分の比率が低くなる。この結果、観察照明のもつ赤成分が除かれる。
【0072】
したがって本第1の実施の形態によれば、顕微鏡用撮像装置において操作者が誤って標本内の領域にホワイトバランス補正を指示した場合、観察標本を含む領域の画像データからホワイトバランス補正をすることなく、代わりに標準的な照明時の補正値によってホワイトバランス補正を実行する。このため、観察標本像全体の色成分が大きく変化してしまうような誤った不自然な着色が画面全体になされることを防止しつつ、ホワイトバランス補正をすることができる。
【0073】
次に、ブラックバランス補正について述べる。
【0074】
図5に示す従来の顕微鏡用撮像装置において、例えば図6に示す蛍光観察画像1000上で標本1003の存在しない暗黒領域1001にブラックバランス補正を指示する。この場合、領域指定部103から操作者によって入力された領域1001の座標データは、画像制御部42を介してフレームメモリ41内に入力され、その座標に対応する画像データがフレームメモリ41から画像制御部42を介してブラックバランス検出部39に入力される。
【0075】
ブラックバランス検出部39は、指定領域1001内の画像データの各色の平均値から補正のためのオフセット値を算出し、オフセット設定部38へ出力する。例えば、領域1001内の画像データの各色平均値が(R,G,B)=(0,0,5)(以下、輝度の最大値は100とする)である青みがかった自家発光部位を含む場合、R,G,Bの最大値が一様にオフセット値(Roff,Goff,Boff)=(5,5,5)として設定される。このオフセット値は、ブラックバランス設定部40からの操作者のトリガによって減算回路37に入力され、減算回路37において、撮像部102から可変利得演算器33を介して入力される観察画像データの各色成分から減算される。減算回路37から出力される画像データは、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0076】
このとき、例えば、撮像部102から入力される蛍光標本1003内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(0,40,5)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(0−5,40−5,5−5)=(0,35,0)(Rは最小値0でクリップ処理)となり、入力画像のB成分が除かれる。その結果、自家発光による青成分が除去され、コントラストの良い蛍光標本の画像を表示することができる。
【0077】
また、操作者が図6に示す標本1003内の領域1002にブラックバランス補正を指示した場合も、同様な動作が生じる。例えば、領域1002の各色平均値が(R,G,B)=(0,30,5)の場合、前述のブラックバランス検出部39において算出されるオフセット値は、各色平均値の最大値より(Roff,Goff,Boff)=(30,30,30)となる。このオフセット値がオフセット設定部38を介して減算回路37へ出力され、減算回路37において、入力される観察画像データの各色成分から減算される。減算回路37から出力される画像データは、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0078】
この結果、例えば標本上の特定部位の各色値が、緑成分が多く(Rin,Gin,Bin)=(0,40,5)の場合、表示装置45に出力される画像は、(Rout,Gout,Bout)=(0−30,40−30,5−30)=(0,10,0)となり、青色の自家発光成分のみならず、緑の標本の輝度成分も著しく減少してしまい、標本像が暗くなってしまう。
【0079】
一方、図2に示す本発明の顕微鏡用撮像装置において、図6に示す蛍光観察画像1000上で標本1003の存在しない暗黒の領域1001にブラックバランス補正を指示する。この場合、ブラックバランス検出部39は、従来の顕微鏡用撮像装置と同様に、画像制御部42から入力された指定領域1001内の画像データの各色の平均値から補正のためのオフセット値を算出し、ブラックバランス補正判断部47へ出力する。例えば、標本外暗黒領域1001内の画像データの各色平均値が(R,G,B)=(0,0,5)である場合、各色の最大値からオフセット値(Roff,Goff,Boff)=(5,5,5)をブラックバランス補正判断部47へ出力する。
【0080】
次に、ブラックバランス補正判断部47は、画像制御部42から入力された指定領域1001内の各色の画像データ、指定領域1001の高さ、幅データから領域内の輝度平均値を算出する。ここで、あらかじめ設定された判断基準値が10であるとすれば、輝度平均値≒1<10(判断基準値)である。このため減算回路37には、ブラックバランス検出部39から入力されたオフセット値(Roff,Goff,Boff)=(5,5,5)がオフセット設定部38を介して設定される。このオフセット値が、減算回路37において、撮像部102から入力される観察画像データ全体から減算され、その画像データは、フレームメモリ41を通って表示部106に入力され、表示装置45において観察画像として表示される。
【0081】
ここで、上記従来例と同様に、撮像部102から入力される標本1003内のある部位の各色平均値が、緑成分が多く、例えば(Rin,Gin,Bin)=(0,40,5)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(0−5,40−5,5−5)=(0,35,0)となる。したがって、自家発光による青成分が除去され、コントラストの良い蛍光標本の画像を表示することができる。
【0082】
また、操作者が誤って図6に示す標本1003内の領域1002をブラックバランス補正領域として指定したとき、例えば、緑色を多く含む標本領域1002内の画像データの各色平均値が(R,G,B)=(0,30,5)である場合、ブラックバランス検出部39において上述と同様な処理によって各色のオフセット値(Roff,Goff,Boff)=(30,30,30)が算出され、ブラックバランス補正判断部47に入力される。
【0083】
次に、ブラックバランス補正判断部47は、入力された指定領域1002内の画像データをもとに輝度平均値を算出する。このとき輝度平均値≒11>10(判断基準値)である。このためブラックバランス補正判断部47は、画像制御部42を介してフレームメモリ41内の特定部位の画像データを置き換えることで、補正領域として不適切である旨を通知するメッセージを表示装置45に表示させる。さらにブラックバランス補正判断部47は、あらかじめ標準として設定されているオフセット値、例えば(Roff,Goff,Boff)=(7,7,7)を、オフセット設定部38を介して減算回路37に設定する。
【0084】
このとき、撮像部102から入力される画像データの内、標本1003内のある部位の各色平均値が、緑成分が多く(Rin,Gin,Bin)=(0,40,5)であった場合、表示装置45に表示される出力画像は(Rout,Gout,Bout)=(0−7,40−7,5−7)=(0,33,0)となり、入力画像の青成分が除去される。この結果、自家発光の青成分が除去され、コントラストの良い蛍光観察像を得ることができる。
【0085】
したがって本第1の実施の形態によれば、顕微鏡用撮像装置において操作者が観察画像の特定の領域にホワイトバランス補正、もしくはブラックバランス補正を指定したときに、その指定領域が補正に適切か否かを輝度平均値によって判断し、不適切であった場合には適切な補正値に置き換えるため、操作者が誤って標本内の領域を指定した際の不自然な着色を防止することができる。
【0086】
(第2の実施の形態)
第2の実施の形態の特徴は、顕微鏡の照明状態に応じて指定領域のホワイトバランス補正、ブラックバランス補正の判断基準を可変とすることにある。
【0087】
図7は、本発明の第2の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図7において図2と同一な部分には同符号を付してある。図7において、顕微鏡コントロール部24と補正判断部105とが互いに接続されている以外の構成は、図2と同様である。
【0088】
図8は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第2の実施の形態のホワイトバランス補正に関する処理手順を図8を基に説明する。
【0089】
まず、顕微鏡コントロール部24は、駆動回路部23に指示している照明状態の情報を補正判断部105へ送信する。ホワイトバランス補正判断部46は、顕微鏡コントロール部24からの入力データを元に、補正基準値を設定する(ステップS11)。すなわち、図9のテーブルに示すように、光源の電圧値に応じてホワイトバランスの補正輝度基準値を可変させる。例えば、光源の電圧値が11.5Vのときは100、9.6Vのときは80に判断輝度基準値を設定する。
【0090】
その後、ホワイトバランス補正指定領域内の輝度平均値が判断輝度基準値以上の場合(ステップS12)、ホワイトバランス検出部35において検出された利得を利得設定部34に入力し(ステップS13)、輝度平均値が判断輝度基準値未満場合(ステップS12)、指定領域が補正に不適切である旨を通知するメッセージを表示し(ステップS14)、あらかじめ設定された標準となる利得を利得設定部34に入力する(ステップS15)までの動作は第1の実施の形態と同様である。
【0091】
次に、本第2の実施の形態の作用について述べる。
【0092】
ホワイトバランス補正判断部46において、顕微鏡コントロール部24から入力される顕微鏡1の光源の電圧値(光量)が10.5Vで、指定領域内の各色の輝度平均値が(R,G,B)=(90,90,100)である場合、全体の輝度平均値≒93になる。このとき、図9のテーブルから90(判断輝度基準値)<93(輝度平均値)であるから、指定領域はホワイトバランス補正に適正な領域と判断され、利得(R利得,G利得,B利得)=(100/90,100/90,1)=(1.1,1.1,1)に設定され、ホワイトバランスが補正される。
【0093】
また、顕微鏡1の光源の電圧値(明るさ)が上述した例より小さく9.5Vで、入力される指定領域内の各色の輝度平均値が(R,G,B)=(80,80,90)である場合、全体の輝度平均値≒83になる。このとき、図9のテーブルから80(判断輝度基準値)<83(輝度平均値)であるから、指定領域はホワイトバランス補正に適正な領域と判断され、利得(R利得,G利得,B利得)=(90/80,90/80,1)=(1.1,1.1,1)に設定されホワイトバランスが補正される。
【0094】
もし、操作者が事前に補正領域の判断輝度基準値を90に設定した場合、前者の例では補正に適切な領域と判断されるが、後者の例では、不適切な領域と判断される。また、判断輝度輝度値を低く70程度に設定した場合、両者の例において適切な領域と判断されるが、標本内の輝度値の高い領域を補正領域として誤って選択した場合に、誤補正してしまう可能性がある。したがって、操作者は誤判断されないために、照明の光量が変動するたびに判断輝度基準値を設定し直さなければいけない。
【0095】
しかし、本第2の実施の形態によれば、顕微鏡1の照明光の光量が変化するたびに補正輝度基準値が修正されるので、操作者が輝度基準値を再三設定し直す手間を省きつつ、正確な補正領域の判断をすることができる。また、照明光量だけでなく、顕微鏡の検鏡法、対物レンズの種類、挿入されるフィルター等の情報も検出し、パラメータとして加えて図9に示すようなテーブルを作成すれば、より多くの観察状態に対して正確なホワイトバランス補正領域の判断を行なうことができる。
【0096】
なお、ブラックバランス補正に関しても、ホワイトバランス補正と同様に観察状態を顕微鏡から取得し、検鏡法等に応じて補正領域の判断基準を可変とすることで、より正確にブラックバランス補正領域の判断を行なえる。
【0097】
(第3の実施の形態)
第3の実施の形態の特徴は、指定領域の補正判断においてホワイトバランス補正、ブラックバランス補正に不適切な領域と判断された後、置換する補正値を顕微鏡の照明情報に応じて可変とすることにある。本第3の実施の形態に係る顕微鏡用撮像装置の構成は、図7と同様である。
【0098】
図10は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第3の実施の形態のホワイトバランス補正に関する処理手順を図10を基に説明する。
【0099】
まず、ホワイトバランス補正判断部46において、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された判断輝度基準値と比較し、(領域内の輝度平均値≧判断輝度基準値)の条件を満たす場合に(ステップS21)、指定領域内の画像データをもとにホワイトバランス補正を行なう(ステップS22)までの処理手順は、第1の実施の形態と同様である。
【0100】
次に、前述の判断により操作者による指定領域がホワイトバランス補正に不適切な領域であると判断された場合(ステップS21)、表示部106の表示装置45にメッセージを表示し(ステップS23)、ホワイトバランス補正判断部46は、顕微鏡コントロール部24からの光源の電圧値を元に、図11に示すテーブルにしたがって補正利得値を利得設定部34に設定する(ステップS24)。すなわち、光源の電圧値が11.5Vのときは(R,G,B)=(1,1,0.8)、8.5Vのときは(R,G,B)=(0.9,1,1)に判断輝度値を設定する。
【0101】
補正指定領域が、上記の手順に従って補正に不適切な領域と判断された場合、ホワイトバランス補正の置換利得は、光源の電圧値が大きいとき赤の利得比が小さく、電圧値が小さいときは青の利得比が小さくなる。すなわち、ホワイトバランス補正の利得が光源の色温度に応じて設定される。
【0102】
したがって本第3の実施の形態によれば、操作者によるホワイトバランス補正またはブラックバランス補正の指定領域が不適切であると判断された場合に、代替の利得値によって置換設定する際にも、観察照明の色温度に対応したより正確なホワイトバランス補正またはブラックバランス補正を行なうことができる。なお、補正に不適切な領域と判断された場合の置換利得値は、顕微鏡の検鏡法、対物レンズの種類、挿入されるフィルター等の情報もパラメータとして加えて図11に示すようなテーブルを作成すれば、さらに正確なホワイトバランス補正またはブラックバランス補正を行なうことができる。
【0103】
(第4の実施の形態)
第4の実施の形態の特徴は、操作者による補正指定領域の中で不適切な領域と判断された領域が、観察画像内に補正不可領域として表示され、再度同じ領域を指定してもその領域内の画像データは補正値として使用せず、また、その補正不可領域は、補正に適切な領域が選択された後に非表示になることにある。
【0104】
図12は、本発明の第4の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図12において図2と同一な部分には同符号を付してある。図12において、補正不可領域記憶部1501が設けられている以外の構成は、図2と同様である。補正不可領域記憶部1501は、ホワイトバランス補正判断部46、ブラックバランス補正判断部47、及び画像制御部42に接続されている。補正不可領域記憶部1501は、補正判断部46,47から入力される画像アドレス(座標)値を内部メモリに記憶し、画像制御部42からの読み出し信号に従って、記憶したアドレス値とそのアドレス値に対応する画像データを出力する。
【0105】
図13は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第4の実施の形態のホワイトバランス補正に関する処理手順を図13を基に説明する。
【0106】
まず、ホワイトバランス補正判断部46において、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された判断輝度輝度値と比較し、(領域内の輝度平均値≧判断輝度基準値)の条件を満たす場合に(ステップS31)、指定領域内の画像データをもとにホワイトバランス補正を行なう(ステップS32)までの処理手順は、第1の実施の形態と同様である。
【0107】
次に、上記の判断により操作者による指定領域がホワイトバランス補正に不適切な領域であると判断された場合(ステップS31)、表示部106の表示装置45にメッセージを表示し(ステップS33)、ホワイトバランス補正判断部46は、そのときの指定領域内に含まれる画像のアドレスを補正不可領域記憶部1501へ出力する。画像制御部42は、補正不可領域記憶部1501に格納されたアドレスを読み取り、フレームメモリ41内の画像データにおける読み取ったアドレスに対応する領域の画像データをグレー色の画素で一様に置換することで、一度補正に不適切な領域と判断された領域をグレー色で表示する(ステップS34)。
【0108】
次に、操作者が図14に示す画像1900上で補正不適切領域1901を含む領域1903を指定した場合、画像制御部42は、補正不可領域記憶部1501に記憶されたアドレスを参照し、指定領域1903内の画像データから不適切領域1901の画像データを取り除いて、ホワイトバランス補正判断部46に入力する。この入力画像データが、ホワイトバランス補正判断部46において補正不適切領域であると判断された場合(ステップS35)、再度上述した手順にしたがって、指定領域がグレー色の補正不適切領域として画像内に追加表示される(ステップS34)。一方、補正適正領域であると判断された場合(ステップS35)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35によって算出される利得を利得設定部34に設定し、補正を行なったのち、補正不可領域記憶部1501の内部メモリの値をリセットする(ステップS36)。このとき、補正不適切領域と判断された領域のアドレス値は消滅する。
【0109】
上述した手順に従いホワイトバランス補正を行なうと(ステップS37)、一度ホワイトバランス補正に不適切と判断された領域は、表示画像内においてグレー色に着色され、そのグレー色領域は、再度の領域指定により適切な領域が検出されるまで、観察画像内に追加表示される。したがって、操作者が同じ不適切な領域を誤って再度指定してしまうことを防止することができる。また、一度不適切な領域と判断された領域内の画像データは、再度指定しても取り除かれて補正が判断されるため、効率的にホワイトバランス補正を行なうことができる。
【0110】
なお、本第4の実施の形態においては、グレー色に表示される補正不適切領域は、操作者が補正に適切な領域を指定した時点で消えるが、第2の実施の形態に示すように顕微鏡コントロール部24とホワイトバランス補正判断部46とを接続し、顕微鏡1の光源の電圧値(光量)や検鏡法が変化したときに消去するようにすることもできる。あるいは、標本を載せるステージ18にエンコーダを取り付けて顕微鏡コントロール部24に接続し、ステージ18の移動状態を顕微鏡コントロール部24を介してホワイトバランス補正判断部46に信号として送信したとき、標本の移動に応じてグレー色の不適切領域を消去させることもできる。
【0111】
このとき、種々の観察条件の変化時に、補正領域の指定に対してリセットをかけることができるため、多くのグレー色の不適切領域が無駄に観察画像内に表示されることを抑止でき、操作者は円滑に操作することができる。
【0112】
なお、ブラックバランス補正に関しても、ホワイトバランス補正と同様な構成をとることで、補正に不適切な領域を画像内に重ねて表示、消去させることができ、ホワイトバランス補正と同様な効果を得ることができる。
【0113】
(第5の実施の形態)
第5の実施の形態の特徴は、操作者の指定した補正領域が適切であるか否かを判断せずに強制的に補正をかけるスイッチを設けたことにある。
【0114】
図15は、本発明の第5の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図15において図2と同一な部分には同符号を付してある。図15において、補正強制スイッチ1601が設けられている以外の構成は、図2と同様である。補正強制スイッチ1601は、ホワイトバランス補正判断部46とブラックバランス補正判断部47に接続されている。操作者は、図示しない入力装置によって補正強制スイッチ1601のON/OFFを切り替え、補正強制スイッチ1601はその状態を信号としてホワイトバランス補正判断部46とブラックバランス補正判断部47へ出力する。
【0115】
図16は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第5の実施の形態のホワイトバランス補正に関する処理手順を図16を基に説明する。
【0116】
まず、操作者が補正強制スイッチ1601をONに設定している場合(ステップS41)、ホワイトバランス補正判断部46は、第1の実施の形態と同様に、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された輝度判断値と比較し、(領域内の平均輝度値≧判断輝度基準値)の条件を満たす場合に(ステップS42)、指定領域内の画像データをもとにホワイトバランス補正を行なう(ステップS43)。上記条件を満たさない場合(ステップS42)、指定領域が補正に不適切である旨を通知するメッセージを表示し(ステップS44)、あらかじめ設定された標準となる利得を利得設定部34に入力する(ステップS45)。
【0117】
一方、操作者が補正強制スイッチ1601をOFFに設定している場合(ステップS41)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35から入力された利得を強制的に利得設定部34に設定する(ステップS46)。
【0118】
したがって本第5の実施の形態によれば、操作者は、指定領域がホワイトバランス補正またはブラックバランス補正に適切、不適切のどちらに判断されても、画像処理部104で指定領域の画像データをもとに強制的に補正をすることができ、ホワイトバランス補正判断部46またはブラックバランス補正判断部47による判断が操作者の所望する観察状態に適応しない場合に、補正判断機能を無効にすることができる。
【0119】
(第6の実施の形態)
第6の実施の形態の特徴は、指定領域が補正に適切か否かを輝度平均値によって判断する前に、指定領域の大きさ(広さ)に応じて強制的に補正することにある。
【0120】
図17は、本発明の第6の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図である。図17において図2と同一な部分には同符号を付してある。図17において、領域サイズ演算部1701が設けられている以外の構成は、図2と同様である。領域サイズ演算部1701は、ホワイトバランス補正判断部46、ブラックバランス補正判断部47、及び画像制御部42に接続されている。領域サイズ演算部1701は、画像制御部42から操作者による補正指定領域内の画像データを受け取り、その画像データに含まれる画素数をカウントしホワイトバランス補正判断部46へ出力する。
【0121】
図18は、ホワイトバランス補正に関する処理手順を示すフローチャートである。以下、本第6の実施の形態のホワイトバランス補正に関する処理手順を図18を基に説明する。
【0122】
まず、ホワイトバランス補正判断部46は、領域サイズ演算部1701から入力される観察画像内の操作者による指定領域の画像データに含まれる画素数、すなわち指定領域のサイズが、あらかじめ設定された基準サイズを超えるか否かを判断する。基準サイズを超える場合(ステップS51)、ホワイトバランス補正判断部46は、ホワイトバランス検出部35から入力される利得値を利得設定部34に設定し、強制的にホワイトバランス補正を行なう(ステップS52)。一方、基準サイズ以下である場合(ステップS51)、ホワイトバランス補正判断部46は、第1の実施の形態と同様に、操作者の指定領域に対する平均輝度値を算出し、あらかじめ設定された輝度判断値と比較し、(領域内の平均輝度値≧判断輝度基準値)の条件を満たす場合には(ステップS53)、指定領域内の画像データをもとにホワイトバランス補正を行ない(ステップS54)、条件を満たさない場合には(ステップS53)、メッセージを表示させ(ステップS55)、あらかじめ設定された代替の補正利得を利得設定部34に設定してホワイトバランス補正を行なう(ステップS56)。
【0123】
このように本第6の実施の形態によれば、ある広さ以上の領域を操作者が指定した場合、強制的にその領域の画像データによってホワイトバランス補正またはブラックバランス補正を行なう。
【0124】
顕微鏡の明視野観察において、図3に示すように標本が観察画像の多くを占める場合に、操作者は狭い範囲の照明の白色部分に対してホワイトバランス補正の指定領域を設定する。一方、図19に示すように、標本1802が点在し、照明の白色部分が観察画像1800の大部分を占める場合、操作者は広い照明の白色部分に対してホワイトバランス補正の指定領域1803を設定する。
【0125】
前者の場合、画面全体に対して標本画像の占める割合が大きいため、操作者が誤った領域を指定する可能性が高い。一方、後者の場合、画面全体に対して照明の白色部分の占める割合が大きいため、操作者が誤って標本内の領域を指定しまう可能性は低い。仮に、標本を含む範囲を選択しても、広い範囲に対してホワイトバランス補正またはブラックバランス補正の指定領域を設定していれば、指定領域内の各色輝度平均値に含まれる標本の誤差は小さくなるので、画面全体に極端に不自然な着色がなされる可能性は低い。
【0126】
したがって本第6の実施の形態によれば、低倍率時など観察画像の中で標本の占める割合が小さい場合に、指定領域が補正に適切か否かの判断処理を行なわないため、補正処理を効率的に行なうことができる。
【0127】
(第7の実施の形態)
第7の実施の形態の特徴は、撮像部102の出力画像データをI/F装置を介してパーソナルコンピュータ(以下、PCと略す)に入力し、ホワイトバランス補正、ブラックバランス補正処理をPCを用いて実現することにある。
【0128】
図20は、本発明の第7の実施の形態に係る顕微鏡用撮像装置の構成を示すブロック図である。図20に示すように、撮像部102がI/F部2001を介してPC2002に接続されている。
【0129】
PC2002では、図示しないCPUにて図1に示した画像処理部104、補正判断部105、制御部107の処理が行なわれる。これらの処理は、PC2002の図示しないメモリに記憶されている各処理プログラムに沿って上記CPUにより実行される。また、PC2002には図1に示す表示部106が内蔵されており、これはPC2002の図示しないモニターに相当する。また、図1の領域指定部103は、PC2002の図示しないマウスとキーボードに相当する。
【0130】
このような構成において、撮像部102のA/D変換部49によりデジタル信号に変換された観察画像データは、I/F部2001を介してPC2002に入力される。PC2002では、図示しないモニター上に観察画像が表示されるとともに、マウス、キーボード等による観察画像上の指定領域に対して、図示しないCPUの制御により、第1の実施の形態に示したホワイトバランス、ブラックバランスの検出と、輝度平均値の算出及び算出結果に応じた補正値の設定が行なわれる。
【0131】
このような構成とした場合も、第1の実施の形態と同様の効果が得られる。また、第1の実施の形態では撮像部102から出力される動画像の観察を対象としていたが、本第7の実施の形態ではPC2002内の図示しないメモリに撮像部102から出力される画像を記憶することができ、静止画の観察画像を有効に利用することができる。
【0132】
なお、本発明は上記各実施の形態のみに限定されず、要旨を逸脱しない範囲で適宜変形して実施できる。
【0133】
【発明の効果】
本発明によれば、顕微鏡から得られる観察標本の撮像画像に対するホワイトバランス補正とブラックバランス補正処理について、操作者が誤って不適切な領域に対して補正を指示した場合にも、適切に補正されるため、効率的に観察、撮像を行なうことができる。
【0134】
すなわち本発明によれば、観察画像のホワイトバランス補正またはブラックバランス補正において、誤った補正部位の指定に起因する不適切な着色を抑止し、より確実に補正処理を行なうことができる顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラムを提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る顕微鏡用撮像装置の概略構成を示すブロック図。
【図2】本発明の第1の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図3】本発明の第1の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図4】本発明の第1の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図5】従来のホワイトバランス補正機能あるいはブラックバランス補正機能を有する顕微鏡用撮像装置の構成を示す図。
【図6】本発明の第1の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図7】本発明の第2の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図8】本発明の第2の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図9】本発明の第2の実施の形態に係る顕微鏡光源の電圧値に対する判断輝度基準値を示すテーブル。
【図10】本発明の第3の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図11】本発明の第3の実施の形態に係る顕微鏡光源の電圧値に対するホワイトバランス補正利得を示すテーブル。
【図12】本発明の第4の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図13】本発明の第4の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図14】本発明の第4の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図15】本発明の第5の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図16】本発明の第5の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図17】本発明の第6の実施の形態に係る顕微鏡用撮像装置の詳細な構成を示すブロック図。
【図18】本発明の第6の実施の形態に係るホワイトバランス補正に関する処理手順を示すフローチャート。
【図19】本発明の第6の実施の形態に係る顕微鏡用撮像装置の出力画像の例を示す図。
【図20】本発明の第7の実施の形態に係る顕微鏡用撮像装置の構成を示すブロック図。
【符号の説明】
1…顕微鏡
3…透過観察用光学系
4…落射観察用光学系
5…透過照明用光源
6…コレクタレンズ
7…透過用フィルタユニット
8…透過視野絞り
9…折曲げミラー
10…コンデンサ光学素子ユニット
11…コンデンサ光学素子ユニット
12…トップレンズユニット
13…落射照明用光源
14…落射用フィルタユニット
15…落射シャッタ
16…落射視野絞り
17…落射開口絞り
18…試料ステージ
19…対物レンズ
20…レボルバ
21…キューブユニット
22…ビームスプリッタ
23…駆動回路部
24…顕微鏡コントロール部
31…撮像素子
32…前置処理部
33…可変利得増幅器
34…利得設定部
35…ホワイトバランス検出部
36…ホワイトバランス設定部
37…減算回路
38…オフセット値指定部
39…ブラックバランス検出部
40…ブラックバランス設定部
41…フレームメモリ
42…画像制御部
43…表示処理部
44…D/A変換部
45…表示装置
46…ホワイトバランス補正判断部
47…ブラックバランス補正判断部
49…A/D変換部
102…撮像部
103…領域指定部
104…画像処理部
105…補正判断部
106…表示部
107…制御部
300…画像
301…指定領域
302…指定領域
303…標本
1000…画像
1001…指定領域
1002…指定領域
1003…標本
1501…補正不可領域記憶部
1601…補正強制スイッチ
1701…領域サイズ演算部
1800…画像
1802…標本
1803…指定領域
1900…画像
1901…指定領域
1902…標本
1903…指定領域
2001…I/F部
2002…パーソナルコンピュータ(PC)
Claims (12)
- 顕微鏡による観察画像を撮像する撮像手段と、
前記撮像手段で撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう画像処理手段と、
前記画像処理手段によって処理された観察画像を表示する表示手段と、
前記表示手段に表示する観察画像の任意の領域を指定する領域指定手段と、
前記領域指定手段により指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する補正判断手段と、を具備し、
前記画像処理手段は、前記補正判断手段の判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なうことを特徴とする顕微鏡用撮像装置。 - 前記補正判断手段における判断基準は、前記顕微鏡の検鏡法、照明状態、対物レンズの種類、及び挿入フィルターの少なくとも一つによって可変とすることを特徴とする請求項1に記載の顕微鏡用撮像装置。
- 前記補正判断手段は、前記領域指定手段により指定された領域をホワイトバランス補正またはブラックバランス補正に不適切な領域と判断したとき、あらかじめ前記補正判断手段に格納された補正値によってホワイトバランス補正またはブラックバランス補正を行なうことを特徴とする請求項1に記載の顕微鏡用撮像装置。
- 前記補正判断手段は、前記領域指定手段により指定された領域をホワイトバランス補正またはブラックバランス補正に不適切な領域と判断したとき、前記顕微鏡の検鏡法、照明状態、対物レンズの種類、及び挿入フィルターの少なくとも一つを検出し、その検出状態に応じて補正値を可変とすることを特徴とする請求項1に記載の顕微鏡用撮像装置。
- 前記表示手段は、前記補正判断手段において前記領域指定手段により指定された領域がホワイトバランス補正またはブラックバランス補正に不適切な領域であると判断されたとき、所定のメッセージを表示することを特徴とする請求項1に記載の顕微鏡用撮像装置。
- 前記表示手段は、前記補正判断手段においてホワイトバランス補正またはブラックバランス補正に不適切であると判断された領域を不適切領域として表示し、前記画像処理手段は、前記不適切領域内の画像データをホワイトバランス補正またはブラックバランス補正に使用しないことを特徴とする請求項1に記載の顕微鏡用撮像装置。
- 前記表示手段は、前記不適切領域を前記顕微鏡の標本の移動、光源の光量変化、及び検鏡法の変化のいずれかの時に消去することを特徴とする請求項6に記載の顕微鏡用撮像装置。
- 前記補正判断手段における判断結果に対して有効または無効を選択する選択手段を備えたことを特徴とする請求項1に記載の顕微鏡用撮像装置。
- 前記選択手段で無効が選択されたとき、前記画像処理手段は、前記補正判断手段の判断結果に関わらず、前記領域指定手段により指定された領域の画像データを基に強制的にホワイトバランス補正またはブラックバランス補正を行なうことを特徴とする請求項8に記載の顕微鏡用撮像装置。
- 前記補正判断手段は、前記領域指定手段により指定された領域の広さに応じて前記判断結果の有効または無効を選択することを特徴とする請求項8に記載の顕微鏡用撮像装置。
- 顕微鏡による観察画像を撮像する第1のステップと、
前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、
前記第2のステップによって処理された観察画像を表示する第3のステップと、
前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、
前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、
前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、
を有することを特徴とする顕微鏡用撮像方法。 - コンピュータに、
顕微鏡による観察画像を撮像する第1のステップと、
前記第1のステップで撮像した観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第2のステップと、
前記第2のステップによって処理された観察画像を表示する第3のステップと、
前記第3のステップで表示する観察画像の任意の領域を指定する第4のステップと、
前記第4のステップで指定された領域がホワイトバランス補正またはブラックバランス補正を行なうのに適した領域か否かを特定の判断基準に基づいて判断する第5のステップと、
前記第5のステップの判断結果に基づいて前記観察画像に対してホワイトバランス補正またはブラックバランス補正を行なう第6のステップと、
を実行させるための顕微鏡用撮像プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249181A JP2004086031A (ja) | 2002-08-28 | 2002-08-28 | 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249181A JP2004086031A (ja) | 2002-08-28 | 2002-08-28 | 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004086031A true JP2004086031A (ja) | 2004-03-18 |
Family
ID=32056371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002249181A Pending JP2004086031A (ja) | 2002-08-28 | 2002-08-28 | 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004086031A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006218204A (ja) * | 2005-02-14 | 2006-08-24 | Olympus Corp | 手術用顕微鏡 |
| JP2007054342A (ja) * | 2005-08-25 | 2007-03-08 | Pentax Corp | 電子内視鏡システム |
| JP2008278320A (ja) * | 2007-05-01 | 2008-11-13 | Canon Inc | ホワイトバランス調整装置、情報処理装置、ホワイトバランス調整方法、ホワイトバランス設定方法、及びプログラム |
| JP2010098719A (ja) * | 2008-09-16 | 2010-04-30 | Olympus Corp | 顕微鏡システム、観察画像補正プログラム、及び観察画像補正方法 |
| JP2012129955A (ja) * | 2010-12-17 | 2012-07-05 | Canon Inc | 撮像装置及び映像処理方法 |
| US8471924B2 (en) | 2009-08-31 | 2013-06-25 | Canon Kabushiki Kaisha | Information processing apparatus for remote operation of an imaging apparatus and control method therefor |
| JP2015018266A (ja) * | 2004-11-26 | 2015-01-29 | オリンパス株式会社 | 解析方法 |
| JP2015105964A (ja) * | 2013-11-28 | 2015-06-08 | オリンパス株式会社 | 顕微鏡システム |
| US9294656B2 (en) | 2013-11-19 | 2016-03-22 | Sony Corporation | Image processing apparatus and image processing method |
| JP2023136957A (ja) * | 2022-03-17 | 2023-09-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| US12332421B2 (en) | 2022-06-27 | 2025-06-17 | Carl Zeiss Microscopy Gmbh | Microscopy system and method for the color correction of microscope images |
-
2002
- 2002-08-28 JP JP2002249181A patent/JP2004086031A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015018266A (ja) * | 2004-11-26 | 2015-01-29 | オリンパス株式会社 | 解析方法 |
| JP2006218204A (ja) * | 2005-02-14 | 2006-08-24 | Olympus Corp | 手術用顕微鏡 |
| JP2007054342A (ja) * | 2005-08-25 | 2007-03-08 | Pentax Corp | 電子内視鏡システム |
| JP2008278320A (ja) * | 2007-05-01 | 2008-11-13 | Canon Inc | ホワイトバランス調整装置、情報処理装置、ホワイトバランス調整方法、ホワイトバランス設定方法、及びプログラム |
| JP2010098719A (ja) * | 2008-09-16 | 2010-04-30 | Olympus Corp | 顕微鏡システム、観察画像補正プログラム、及び観察画像補正方法 |
| US8471924B2 (en) | 2009-08-31 | 2013-06-25 | Canon Kabushiki Kaisha | Information processing apparatus for remote operation of an imaging apparatus and control method therefor |
| JP2012129955A (ja) * | 2010-12-17 | 2012-07-05 | Canon Inc | 撮像装置及び映像処理方法 |
| US9294656B2 (en) | 2013-11-19 | 2016-03-22 | Sony Corporation | Image processing apparatus and image processing method |
| US9826124B2 (en) | 2013-11-19 | 2017-11-21 | Sony Corporation | Image processing apparatus and method for correcting color components |
| JP2015105964A (ja) * | 2013-11-28 | 2015-06-08 | オリンパス株式会社 | 顕微鏡システム |
| US9829694B2 (en) | 2013-11-28 | 2017-11-28 | Olympus Corporation | Microscope system |
| JP2023136957A (ja) * | 2022-03-17 | 2023-09-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| JP7516446B2 (ja) | 2022-03-17 | 2024-07-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| US12332421B2 (en) | 2022-06-27 | 2025-06-17 | Carl Zeiss Microscopy Gmbh | Microscopy system and method for the color correction of microscope images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4512278B2 (ja) | 顕微鏡システム | |
| JP4624513B2 (ja) | 顕微鏡用撮像装置 | |
| US20090185034A1 (en) | Imaging device for microscope | |
| JP2004086031A (ja) | 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム | |
| JP6289044B2 (ja) | 観察装置 | |
| WO2020049688A1 (ja) | 光源制御装置、内視鏡システム、及び、調光制御方法 | |
| JP4906442B2 (ja) | 顕微鏡撮像システム、顕微鏡撮像方法、及び、記録媒体 | |
| JP2013229706A (ja) | 画像取得装置、画像取得方法、および画像取得プログラム | |
| JP6253509B2 (ja) | 画像表示方法、制御装置、顕微鏡システム | |
| JP3783790B2 (ja) | レーザー顕微鏡 | |
| JP4128405B2 (ja) | 顕微鏡用撮像装置 | |
| JP2009171010A (ja) | プロジェクタ | |
| JP3804527B2 (ja) | 顕微鏡システム | |
| JP2004343358A (ja) | 画像処理システム、画像処理制御方法、及びプログラム | |
| JP2010122623A (ja) | 顕微鏡制御装置及び顕微鏡システム | |
| JP2005037683A (ja) | 顕微鏡用撮像装置とその制御方法、及び制御方法に係るプログラム | |
| JP4563693B2 (ja) | 顕微鏡撮影装置、明るさ調整方法および明るさ調整プログラム | |
| JP2009115681A (ja) | 画像取得表示装置 | |
| JP4420650B2 (ja) | 欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラム | |
| JPWO2021140766A5 (ja) | ||
| US10649197B2 (en) | Magnified observation apparatus | |
| JPH06351027A (ja) | 顕微鏡用カラーテレビジョン装置 | |
| JP5776056B2 (ja) | 電子線装置、及び電子顕微鏡を用いた試料の観察方法 | |
| JP2020168164A (ja) | 内視鏡システム | |
| JP2011066752A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091006 |