JP4020465B2

JP4020465B2 - Detection device and method for tumor shadow in image and recording medium recording tumor shadow detection program

Info

Publication number: JP4020465B2
Application number: JP25727697A
Authority: JP
Inventors: 文行白谷; 幹彦寺島
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1997-09-22
Filing date: 1997-09-22
Publication date: 2007-12-12
Anticipated expiration: 2017-09-22
Also published as: JPH1196339A

Description

【０００１】
【発明の属する技術分野】
本発明は、Ｘ線写真等により撮影された画像中から腫瘤影を認識し検出する腫瘤影検出装置とその検出方法に関する。
【０００２】
【従来の技術】
一般に、Ｘ線写真等により撮影された画像から腫瘤影を認識する技術としては、次のような２段階処理により行われている。第１段階では、フィルタ処理により腫瘤影候補点を抽出し、第２段階では、連結処理を施した後、腫瘤影を残したまま拾いすぎた正常領域を削減する。
【０００３】
これらの第１段階、第２段階における従来の技術について説明する。
この第１段階の腫瘤影を抽出するためのフィルタとして、２階方向差分フィルタ出力の全方向中での最小値を出力するＭin‐ＤＤフィルタが知られている。
【０００４】
このＭin‐ＤＤフィルタは、血管等の筋状領域の像影部分を抑制し、全方向の傾きの変化が比較的大きな画素強度曲面からのみ構成されるタイプの腫瘤影を相対的に強調する優れた作用を有しており、詳しくは、電子情報通信学会論文誌、Vol ．J67-D-II、No.2，pp.241-249,1993 に記載されている。
【０００５】
また、腫瘤影候補領域あるいは画像に対して、悪性や良性の分類を行うニューラルネットワークの利用方法は、いくつか提案されており、例えば、米国特許 U.S.P.No.5463548(1995) ，N.Asada and K.Doi に詳しく開示されている。
【０００６】
この第２段階の拾いすぎた正常領域を削減するための方法として、２値画像として得られた領域の面積や円形度等の２次元形状解析が行われている。また、原画像にもどって、領域内の画素強度値の標準偏差や領域と周囲とのコントラスト等の評価尺度を用いた絞り込みがなされており、例えば米国特許 U.S.P.No557-9360,1996，Mohamed.Abdel-Mottalebに詳しく開示されている。
【０００７】
【発明が解決しようとする課題】
前述したＭin‐ＤＤフィルタは、傾きの変化がどの方向に対しても比較的大きい画素強度曲面からのみ構成されるタイプの腫瘤影をそのままに保つ一方で、乳線や血管等を抑制する作用を有してはいるが、それと同時に、傾きの変化がどの方向に対しても小さいような腫瘤影中の画素強度曲面をも抑制してしまう。実際、腫瘤影の中には、傾きの変化がどの方向に対しても小さいような画素強度曲面を有するものも存在する。
【０００８】
しかしＭin‐ＤＤフィルタは、そのような部分をも抑制してしまうため、腫瘤影候補点の抽出時に欠落が発生することがある。
また、候補領域の判定のためでなく、候補点の判定のためにニューラルネットワークを利用しているものは見あたらない。さらに、候補点の判定のためにニューラルネットワークを用いる場合に、腫瘤影の周辺部と内部の点に対して、同一の教師信号を与え、血管等の筋状領域の構成点に対しては、それと別の教師信号を与えて学習させると、腫瘤影の構成点と血管等の筋状領域の構成点との識別率が悪くなってしまう。
【０００９】
さらに、第１段階のフィルタ処理により抽出された腫瘤影候補点は、腫瘤影を構成している点と特徴量が似ているとして拾い上げられたものであり、それらの点が形成する連結領域の画素強度曲面が、腫瘤影領域の３次元形状と似ているか否かを第２段階の処理によって判断しなければならない。
【００１０】
しかしながら、従来技術においては、２値画像として得られた連結領域の２次元形状の解析や原画像にもどっての平均的な画素強度値の統計的な解析は、なされているものの、３次元形状を調べるため画素強度曲面の微分情報を利用して、その領域内でのバランスを詳しく調べているものは見あたらない。
【００１１】
さらに、拾い上げられた点が小領域を形成している場合には、２次元デジタル画像処理に特有の円と矩形の違いが微妙になるため、２次元形状の評価尺度はあまり有効でない。
【００１２】
よって、小領域に対する判定基準も、やはり画素強度曲面の３次元形状に基づいてなされなければならない。
そこで本発明は、方向性の無い類円形領域を線状領域あるいは背景から抽出し識別が可能で並びに、拾い上げられた腫瘤影候補点が形成する連結領域が腫瘤影領域と画素強度曲面のなす３次元形状との類似性判定方法及びその組合せによって、見落としや拾いすぎの領域が少ない、画像中の腫瘤影の検出装置及び方法並びに腫瘤影検出プログラムを記録した記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は上記目的を達成するために、入力された画像データ内の各画素（ｘｉ，ｙｉ）の強度と方向の異なる複数のフィルタとの合成積演算を行うフィルタ演算手段と、前記フィルタ演算手段の方向毎の複数の出力を成分とする前記各画素（ｘｉ，ｙｉ）でのベクトルと、各成分が等しい基準ベクトルとのなす角を偏角（θｉ）としてその偏り量を求める方向バランス算出手段と、前記方向バランス演算手段の出力に基づいて腫瘤影を検出する腫瘤影候補点決定手段とを備える腫瘤影検出装置を提供する。
【００１４】
また、入力された画像データ内の各画素（ｘｉ，ｙｉ）の強度と方向の異なる複数のフィルタとの合成積演算を行うフィルタ演算行程と、前記フィルタの方向毎の複数の出力を成分とする前記各画素（ｘｉ，ｙｉ）でのベクトルと、各成分が等しい基準ベクトルとのなす角を偏角（θｉ）としてその偏り量を求める方向バランス算出行程と、得られた前記偏り量に基づき腫瘤影を検出する腫瘤影候補点決定行程と、を備える腫瘤影検出方法を提供する。
【００１５】
さらに、コンピュータによって入力画像データから腫瘤影を検出するための腫瘤影検出プログラムを記録した記録媒体であって、入力された画像データ内の各画素（ｘｉ，ｙｉ）の強度と方向の異なる複数のフィルタとの合成積演算を行い、前記フィルタの方向毎の複数の出力を成分とする前記各画素（ｘｉ，ｙｉ）でのベクトルと、各成分が等しいベクトルとのなす角を偏角（θｉ）としてその偏り量を求め、得られた前記偏り量に基づき、腫瘤影候補点を決定することを特徴とする腫瘤影検出をコンピュータに実行させるプログラムを記録する腫瘤影検出プログラムを記録した記録媒体を提供する。
【００１６】
以上のような構成の腫瘤影検出装置及び腫瘤影検出方法は、腫瘤影候補点抽出部により、方向性の無い類円形領域を方向性を有する線状領域あるいは背景から識別され、拾いすぎ候補領域削減部により、拾い上げられた腫瘤影候補点が形成する連結領域に対し、方向微分の連結領域における方向バランス解析や２次元形状解析等を行うことによって、拾いすぎた正常を削減する。
【００１７】
また、前述した腫瘤影検出方法を実施するための腫瘤影検出プログラムを記録した記録媒体により、腫瘤影検出が汎用的なコンピュータ等の機器であっても実現する。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
本発明の腫瘤影検出装置は、大別すれば従来とは処理方法が異なる、フィルタ処理により腫瘤影候補点を抽出する腫瘤影候補点抽出部１と、連結処理を施した後、腫瘤影を残し拾いすぎた正常領域を削減する拾いすぎ候補領域削減部２とで構成される。尚、本実施形態において、画像として例えば、乳房Ｘ線画像を対象として、その乳房Ｘ線画像中から腫瘤影を構成している点と類似の特徴を有する腫瘤影候補点とを抽出する処理を例にとって説明する。勿論、処理を行う対象画像は、実施形態で説明した画像と同様な画像であれば、乳房Ｘ線画像に限定されるものではない。
【００１９】
図１には、本発明による腫瘤影検出装置の第１実施形態として、画像から腫瘤影候補点を抽出する腫瘤影候補点抽出部を示し説明する。
この腫瘤影候補点抽出部１は、Ｘ線フィルム上の乳房Ｘ線画像をＣＣＤカメラ若しくは、スキャナ等で光学的に取り込む画像入力データ部１１と、取り込んだ各画像内の画素強度と種々のサイズと方向からなる方向微分作用を有する関数との合成積を算出するフィルタ演算部１２と、ガボールコサインフィルタの方向別出力値の偏角や標準偏差等を算出する方向バランス算出部１３と、算出された偏角や標準偏差等を利用して特徴ベクトルを生成する特徴ベクトル算出部１４と、後述するようなコホネンニューラルネットワーク等のニューラルネットワークを利用して腫瘤影候補点の特徴ベクトルと類似の特徴ベクトルを有する点を拾い上げる腫瘤影候補点決定部１５とで構成される。
【００２０】
この腫瘤影候補点抽出部１で抽出された腫瘤影候補点は、後述する正常領域を削減する拾いすぎ候補領域削減部２に送出される。
まず、ＣＣＤカメラあるいはスキャナ等の画像入力装置からなる画像入力データ部１１から画像を取り込む。
【００２１】
次に、フィルタ演算部１２において、各画像中の画素強度と種々のサイズと方向からなる方向微分作用を有する関数との合成積を算出する。ここでは、そのような関数として、方向微分作用を持ったガボール関数を用いる。２次元ガボール関数は、次の式（１）、
【００２２】
【数１】

で与えられる。ここで、ｘ，ｙ：空間変数、ｕ，ｖ：空間周波数、σ：スケール変数とする。
【００２３】
【数２】

ここでは、２階方向微分の作用を有する形のガボールコサイン関数、及び１階方向微分の作用を有する形のガボールサイン関数を種々のサイズと方向に対して用いる。フィルタ演算部１２における合成積の計算は、入力画像とガボール関数各々のフーリエ変換の積を逆フーリエ変換して求められる。これをｓ個のサイズ及びｄ個の方向からなるガボール関数に対して行う。
【００２４】
次に、方向バランス算出部１３において、ガボールコサインフィルタの方向別出力値の偏りを以下のように算出する。
サイズを任意に固定して考え、画素（ｘｉ，ｙｉ）での、フィルタ通過後の方向別出力の絶対値ｇ，ｋ（ｘｉ，ｙｉ）を成分とするベクトルに着目する。ここでｋは、方向を表す添字である。このベクトルの長さ（Ｌ２ノルム）は、次式で表される。
【００２５】
【数３】

まず、各成分が等しい値からなるｄ次元ベクトル( 1,1,…,1,1 )と前述したベクトルとのなす角をθｉ（以下、θｉを偏角と称する）として、そのｃｏｓ値（方向別出力値の偏り量）を算出する。
【００２６】
【数４】

【００２７】
例えば、図２に示すように３次元ベクトルを想定すると、仮想基準ベクトルである３次元ベクトル( 1,1,1 ) に対して、１つの候補点（画素）のベクトルαと成す偏角θαのときに、偏り量は、ｃｏｓθαとなる。
【００２８】
この偏り量は、前記３次元ベクトルに対して、乳腺上の点（画素）のベクトルと成す偏角θβは大きくなり、一方、腫瘤影の候補点のベクトルと成す偏角θαは小さくなる。
【００２９】
さらに、方向バランス算出部１３において、ガボールコサインフィルタの出力の方向に関する標準偏差を算出する。
次に、特徴ベクトル算出部１４において、方向バランス算出部１３で算出された偏角や標準偏差等を利用して特徴ベクトルを生成する。画素強度値をｆ（ｘｉ，ｙｉ）で表すとき、偏角と画素強度に関する第１の特徴量 feature１とガボールコサインフィルタ出力の方向についての標準偏差に関する第２の特徴量 feature２を下記の式に従って、各サイズについて算出する。
【００３０】
【数５】

尚、ここでは、第２の特徴量として標準偏差を用いたが、分散を用いてもよい。この時、例えば、４つのフィルタサイズを設定した場合には、８個の特徴量が得られることになる。
【００３１】
腫瘤影の内部の点では、方向別フィルタ出力の偏りが小さいため偏角σｉは小さくなる。一方、乳線や血管等は、ある特定方向のフィルタ出力が大きくなるため偏角σｉは大きくなる。
【００３２】
よって、腫瘤影を乳線や血管等から分離するための尺度として偏角σｉを利用することが有効となる。ところが、背景の点においても、方向別フィルタ出力の偏りが小さいため偏角σｉは小さくなる。
【００３３】
そこで、腫瘤影を背景から分離するには、偏角σｉは無効であり、画素強度値やフィルタ出力の大きさの尺度が必要になる。例えば、上記のような２つの特徴量を用いた場合、腫瘤影を乳線や血管等、背景の値は、それぞれ次の表に示されるような大きさとなる。
【００３４】
【表１】

【００３５】
第１の特徴量もしくは、第２の特徴量のみを用いてもある程度の分離は可能であるが、２つの特徴量を組含せて用いた方がより効果が高い。
尚、次の腫瘤影候補点決定部１５において、例えば、コホネンニューラルネットワークを利用する場合、以上のような特徴変換処理を利用せずに、方向性を有するフィルタ出力値をそのまま特徴量として用いてしまうと、方向の数に等しい次元を持つ特徴空間で分離曲面を仮想的に構築せねばならず、それだけ多くのニューロン素子が必要になってしまう。
【００３６】
従って、前記特徴変換処理は、コホネンニューラルネットワークを利用する場合のニューロン素子数を少なくする効果をも有している。続いて、腫瘤影候補点決定部１５において、腫瘤影候補点の特徴ベクトルと類似の特徴ベクトルを有する点を拾い上げる。
【００３７】
以下、この手順をコホネンニューラルネットワークを利用して行う例について説明する。
まず、腫瘤影候補点の特徴ベクトルの集合からランダムに入力ベクトルを選ぶ。次に、入力ベクトルと各ニューロン素子のベクトルの類似性を調べる。この類似性判断の計算は、通常ユークリッド距離、もしくは内積演算によって行う。
【００３８】
続いて、上記算出された類似度が最大となる、すなわち最近接のニューロン素子を選出する。類似性判断の計算が、ユークリッド距離の場合、最近接ニューロン素子の選出は、次式で表されるｃに基づいて行われる。
【００３９】
【数６】

【００４０】
次に、選出されたニューロン素子及びその近傍に位置するニューロン素子の重みベクトルを入力された特徴ベクトルに近づける。（ニューロン素子の重みベクトルの更新）
【００４１】
【数７】

ここで、Ｎｃ：最近接ニューロン素子の近傍、α(t) ：正の数、ｔ：更新回数を表す。更新を繰り返していきながら、Ｎｃの大きさとα（ｔ）の値を徐々に小さくしていく。
【００４２】
まず、自己組織化特徴マップで、重みベクトルを空間に配置させる。これは、入力ベクトルが属するカテゴリーの情報を用いない教師なし学習である。
次に、ニューロン素子にラベル付けを行う。続いて、学習ベクトル量子化（ＬＶＱ：Lerning Vctor Quantization ）により、入力ベクトルが属するカテゴリーの情報も加味して重みベクトルの更新を行う教師付き学習を行う。
【００４３】
自己組織化特徴マップでは、最近接ニューロン素子の近傍に位置するニューロン素子も重みベクトルを更新したが、ＬＶＱでは、近傍のニューロン素子は更新しない。
【００４４】
このＬＶＱの学習において、腫瘤影の境界近傍の点と境界近傍を除いた内部の点に異なった教師信号を与える。例えば、腫瘤影が円形であれば、円の中心からの２次元距離が半径の０．７倍以内の点のみ１のラベルを与え、それ以外の点には０のラベルを与える。学習終了後の未学習データに対して、１のラベルが付与されたものを腫瘤影候補点として抽出する。また、前記２次元距離を半径の０．７倍以内の点のみとしたが、この０．７倍は、試験的に処理を行った際に、好適となった数値であり、実際の処理にあたって０．７倍を超える数値であっても、或いはそれ以下の数値であっても適正に処理できるのであれば用いても良い。
【００４５】
なお、以上説明したプロセスは、コンピュータ上で実行してもよいし、あるいは、その一部を光学的あるいは、専用のデジタルシグナルプロセッサ（ＤＳＰ：Digital Signal Processor ）あるいは、電気回路で置き換えても実現される。例えば、フィルタ演算部１２においては、種々のサイズ及び位置の異なる円形開口の透過型空間光変調素子に保持し、画像をレンズで変換し、焦点位置で透過型空間光変調素子を透過するように配置しても良い。
【００４６】
このとき、ガボール関数のフーリエ変換を近似的に実現する円形開ロフィルタは、図３に示すような形で与えられる。ここでは、４種類のサイズ、４種類の方向を持つフィルタを例として示した。
【００４７】
また、winner-take-all 回路を利用して、最近接重みベクトルを決定することができる。二ューロン素子の重みベクトルは、その値に応じて光強度を変調すれば良く、重みベクトルの更新も書き換え型の空間光変調素子を採用すれば実現される。
【００４８】
次に本発明による腫瘤影検出装置における第２実施形態として、拾いすぎ候補領域削減部２について詳細に説明する。本実施形態においても対象画像は、乳房Ｘ線画像における腫瘤影検出を例として説明する。
【００４９】
本実施形態は、図４に示すように、腫瘤影候補点抽出部１により抽出された侯補点に対し連結処理を行い、各点が属する連結領域のラベルをつける連結処理部２１と、ラベルが付けられた各連結領域内で算出した方向バランスの評価及び各連結領域に対して伸長度の算出を行う領域評価部２２と、領域評価部２２から得られる数値に対して、予め定められた閾値に基づき、領域を削除する領域削除部２３とで構成される。
【００５０】
前記領域評価部２２は、ラベルが付けられた各連結領域内での方向バランスを算出し評価する領域内方向バランス算出評価部２２ａと、伸長度の値を各連結領域に対して算出する２次元形状評価部２２ｂとで構成される。
【００５１】
このように構成された拾いすぎ候補領域削減部２の作用について説明する。
最初に連結処理部２１において、抽出された侯補点に対し連結処理を行い、各点がどの連結領域に属しているかのラベルをつける。続いて、領域評価部２２の領域内方向バランス算出評価部２２ａにおいて、各連結領域に対し、各領域内での方向バランスを算出し評価する。以下、この評価尺度について説明する。
【００５２】
まず、領域内方向バランス算出評価部２２ａにおける第１の評価尺度として、画素強度曲面の傾きの領域での方向バランスを算出及び評価する。これには、勾配ベクトルを利用することが考えられるが、ここでは、腫瘤影候補点抽出部１のガボールサインフィルタの出力値を１階方向微分値として利用する。
【００５３】
最初に、画素（ｘｉ，ｙｉ）でのガボールサインフィルタの出力値が最大となる向きを見い出す。ここでは、２ｄ個の向きに対してガボールサインフィルタが用意されているとして説明する。
【００５４】
続いて、各向きに関して、その向きのガボールサインフィルタの出力となる画素の連結領域内での数をカウントする。それをもとに、各向きに対して画素数分の長さを持つベクトルＰj を作成する。
【００５５】
この時、図５に示されるようにベクトルが放射状に配置されることになるが、腫瘤影候補領域に関しては、図５（ａ）に示すように、方向バランスのとれた形が得られ、図５（ｂ）に示すような方向バランスの悪い領域は、腫瘤影候補領域から削除されることになる。このバランスの良し悪しの評価は、以下のようになされる。
【００５６】
放射状に配置されたベクトルの始点を原点とし、原点を通過するある方向ｋの分離直線によって２分される２つの半平面においてそれぞれ、前記のベクトルのベクトル和をとり、そのベクトルの２つの長さの比（式（１０））が１以下になる比の値を採用する（式（１１））。
【００５７】
この分離直線を（３６０度／２ｄ）づつ回転させて値の算出を行い、その最小値（バランスの悪さ）を求める（式（１２））。
一般に、腫瘤影の画素強度値の等高線は、同心円に近い形になるので、Gabor-sin-balance-measure の値は大きな値が得られる。
【００５８】
これに対して、胸筋領域の画素強度値の等高線は、円状ではなく平行な直線群に近いので、Gabor-sin-balance-measure の値は小さな値が得られる。従って、方向バランスの値がある閾値以下のものを腫瘤影侯補領域から除くことによって、胸筋領域の削除にも役立てることができる。
【００５９】
【数８】

【００６０】
次に、領域内方向バランス算出評価部２２ａにおける第２の評価尺度について説明する。
これは中程度以上の腫瘤影のやや方向バランスが悪い部分と特徴量が似ているとして拾い上げられた点であって、その点がバランスが悪い場合に、その点が含まれる領域を削除するものである。これは、小さな腫瘤影は均整がとれており、極めて方向バランスが良いという推定に基づいている。
最大内接円の面積が小さな連結領域の中で、次式で定義される回転対称評価尺度 rotational-symmetry-measure の値が閾値以下のものを除外する。
【００６１】
【数９】

【００６２】
尚、ここでのｃｏｓ値は、第１の実施形態にて説明した方向バランス算出部１３で算出された偏角のｃｏｓ値を利用している。
さて、２次元形状評価部２２ｂにおいて、次式で定義される伸長度の値を各連結領域に対して算出する。
【００６３】
伸長度＝（連結領域の面積）／（最大内接円の面積） …（１４）
ここで、連結領域の面積は、領域を構成する画素数の総数であり、最大内接円の面積 maximum-inscribed-aera は、次式で計算される。
【００６４】
【数１０】

但し、Ｉ，Ｂはそれぞれ、連結領域の内点の集合及び境界点の集合を表す添字集合である。
【００６５】
よく知られた伸長度の計算は、領域の面積をモフォロジーにおける縮退回数の２乗で割るものであり、領域の細長さを算出するものだが、ここで用いる伸長度は、細長さだけでなく、円形度も表現できる。つまり、図６（ａ）に示すように、細長い領域において、伸長度は大きくなり、図６（ｂ）に示すように腫瘤影（類円形領域）は、伸長度が小さく（１に近い）なる。
【００６６】
この他にも、必要であれば、複雑度等のよく知られた２次元形状評価尺度を採用してもよい。領域削除部２３において、領域内方向バランス算出評価部２２ａ及び２次元形状評価部２２ｂから得られる数値に基づき、前者については予め定められた閾値以下の数値の領域を削除し、後者については予め定められた閾値以上の領域を削除する。
予め定められた閾値以下の数値の領域を削除する。
【００６７】
このような削除により残った領域が腫瘤影候補領域である。
なお、第１、第２の実施形態を組み合わせて用いれば、いっそうの効果がでることはいうまでもない。
【００６８】
図７のフローチャートを参照して、これらの一連の処理について説明する。
まず、画像を入力し（ステップＳ１）、これをフーリエ変換した後（ステップＳ２）、方向性フィルタを積算させ（ステップＳ３）、その出力を逆フーリエ変換させる（ステップＳ４）。これらの処理は、合成積演算と等価である。
【００６９】
次に、方向別出力の偏りを算出し（ステップＳ５）、これから特徴ベクトルを生成する（ステップＳ６）。この特徴ベクトルをニューラルネットに入力し、腫瘤影候補点を抽出（ステップＳ７）して、これに連結性処理を施す（ステップＳ８）。
【００７０】
次に、小領域とそれ以外の領域に対して異なる処理を行うため、最大内接円の直径がある閾値εと比較し判定する（ステップＳ９）。
この判定は、画素数によって小領域を選定してもよいが、ここでは、後の処理との関係から最大内接円の直径を利用する。最大内接円の直径がある閾値εより小さい小領域に対しては（ＮＯ）、２階方向微分の点での偏り（偏角）を調べる（ステップＳ１０）。そして、その領域内で最も偏っている値と予め定めた閾値との比較によって、均整のとれた小領域以外を削除する（ステップＳ１１）。
【００７１】
一方、最大内接円の直径がある閾値以上の領域に対しては（ＹＥＳ）、１階方向微分の領域での方向バランスを調べる（ステップＳ１２）。さらに、２次元形状処理を行い（ステップＳ１３）、拾いすぎ候補領域を削除する（ステップＳ１１）。
【００７２】
これらの処理の結果、腫瘤影候補領域が抽出される（ステップＳ１４）。
以上説明したように本実施形態の腫瘤影候補点抽出部によれば、方向性の無い類円形領域を方向性を有する線状領域あるいは背景からの識別が可能となる。また拾いすぎ候補領域削減部によれば、拾い上げられた腫瘤影候補点が形成する連結領域に対し、方向微分の連結領域における方向バランス解析や２次元形状解析等を行うことによって、拾いすぎた正常領域を削減することができる。
【００７３】
さらに腫瘤影候補点抽出部と拾いすぎ候補領域削減部とを組合せて、腫瘤影の見落とし率及び正常領域の拾いすぎ率をかなり小さな値に抑えることが可能である。
【００７４】
また、前述した第１，第２の実施形態は、コンピュータによって入力画像データから腫瘤影を検出するための腫瘤影検出プログラムとして構築し、この腫瘤影検出プログラムを光磁気ディスクや半導体記憶装置などの記録媒体に記憶し実施することもできる。
【００７５】
この腫瘤影検出プログラムとしては、例えば、入力された画像データに対して方向の異なる複数のフィルタとの合成積演算を行い、前記フィルタの方向毎の複数の出力を成分とするベクトルと、各成分が等しいベクトル（仮想基準ベクトル）とのなす角に基づき、方向バランス情報を求め、得られた方向バランス情報に基づき、腫瘤影候補点を決定することにより腫瘤影の検出を実現するソフトウェアでよい。
【００７６】
以上の実施形態について説明したが、本明細書には以下のような発明も含まれている。
（１）．入力された画像データに対して方向の異なる複数のフィルタとの合成積演算を行うフィルタ演算手段と、
前記フィルタ演算手段の方向毎の複数の出力を成分とするベクトルと、各成分が等しいベクトル（仮想基準ベクトル）とのなす角を求める方向バランス演算手段と、
前記方向バランス演算手段の出力に基づいて腫瘤影を検出する腫瘤影候補点決定手段と、
を有することを特徴とする腫瘤影検出装置。
【００７７】
（２）．前記フィルタ演算手段の方向毎の複数の出力の標準偏差を求める標準偏差演算手段をさらに有し、
前記腫瘤影候補点決定手段は、前記標準偏差演算手段と前記方向バランス演算手段との出力に基づいて腫瘤影を検出することを特徴とする前記（１）項に記載の腫瘤影検出装置。
【００７８】
（３）．画素の強度に基づいて特徴量を演算する特徴ベクトル演算手段を更に有し、前記腫瘤影候補点決定手段は、前記方向バランス演算手段と前記特徴ベクトル演算手段の出力に基づいて、腫瘤影を検出することを特徴とする前記（１）項又は前記（２）項のいずれか１項に記載の腫瘤影検出装置。
【００７９】
（４）．前記腫瘤影候補点決定手段は、学習機能を有するニューラルネットワークを含み、腫瘤影候補点の学習は、腫瘤影境界近傍と境界近傍を除いた内部の点に対して、それぞれ異なる教師信号を与えることを特徴とする前記（１）項乃至前記（３）項のいずれか１項に記載の腫瘤影検出装置。
【００８０】
（５）．前記腫瘤影候補点決定手段によって検出された腫瘤影の領域内において、複数の方向について、その方向で前記フィルタ出力が最大となる画素数を求める画素数演算手段と、
前記画素数演算手段によって求められた画素数を長さ、対応する方向を向きとしてベクトルを構成したときに、前記複数の方向を２つの半平面に分割しそれぞれの半平面において、前記ベクトルのベクトル和を求め、さらに該ベクトル和の長さの比を求めるベクトル比演算手段と、
前記ベクトル比演算手段の出力に基づき腫瘤影を検出する腫瘤影決定手段と、をさらに有することを特徴とする前記（１）項乃至前記（４）項のいずれか１項に記載の腫瘤影検出装置。
【００８１】
（６）．前記腫瘤影候補決定手段によって検出された腫瘤影の領域について、該領域に内接する最大内接円の面積を求める面積計算手段を、さらに有し、
前記面積計算手段の出力が所定の値よりも小さいときに、前記方向バランス演算手段の出力に基づいて腫瘤影を検出することを特徴とする前記（１）項乃至前記（５）項のいずれか１項に記載の腫瘤影検出装置。
【００８２】
（７）．前記腫瘤影候補決定手段によって検出された腫瘤影の領域について、該領域の面積と該領域に内接する最大内接円の面積との比を求める面積比計算手段をさらに有し、
前記面積比計算手段の出力に基づき腫瘤影を検出することを特徴とする前記（１）項乃至前記（６）項のいずれか１項に記載の腫瘤影倹出装置。
【００８３】
（８）．入力された画像データに対して方向の異なる複数のフィルタとの合成積演算を行うフィルタ演算行程と、
前記フィルタの方向毎の複数の出力を成分とするベクトルと、各成分が等しいベクトル（仮想基準ベクトル）とのなす角に基づき方向バランス情報を求める方向バランス演算行程と、
得られた方向バランス情報に基づき腫瘤影を検出する腫瘤影候補点決定行程と、を有することを特徴とする腫瘤影検出方法。
【００８４】
（９）．前記フィルタの方向毎の複数の出力の標準偏差を求める標準偏差演算行程を有し、前記腫瘤影候補点決定行程は、演算された標準偏差と前記方向バランス情報とに基づいて腫瘤影を検出することを特徴とする前記（８）項の腫瘤影検出方法。
【００８５】
（１０）．画素の強度に基づいて特徴量を演算する特徴ベクトル演算行程を有し、前記腫瘤影候補点決定行程は、前記方向バランス情報と前記特徴量とに基づき腫瘤影を検出することを特徴とする前記（８）項又は前記（９）項のいずれか１項に記載の腫瘤影検出方法。
【００８６】
（１１）．前記腫瘤影候補点決定行程は、腫瘤影境界近傍点と境界近傍を除いた内部の点とに対しそれぞれ異なる教師信号を与えて腫瘤影候補点の学習を行った学習機能を有するニューラルネットワークにより、腫瘤影候補点決定を行うことを特徴とする前記（８）項乃至前記（１０）項のいずれか１項に記載の腫瘤影検出方法。
【００８７】
（１２）．前記腫瘤影候補点決定行程によって検出された腫瘤影の領域内において複数の方向について、その方向で前記フィルタ出力が最大となる画素数を求める画素数演算行程と、
前記画素数演算行程によって求められた画素数を長さ、対応する方向を向きとしてベクトルを構成したときに、前記複数の方向を２つの半平面に分割し、それぞれの半平面において前記ベクトルのベクトル和を求め、さらに該ベクトル和の長さの比を求めるベクトル比演算行程と、
求められたベクトル比に基づいて腫瘤影を検出する腫瘤影決定行程と、
を有することを特徴とする前記（８）項乃至前記（１１）項のいずれか１項に記載の腫瘤影検出方法。
【００８８】
（１３）．前記腫瘤影候補点決定行程によって検出された腫瘤影の領域について、該領域に内接する最大内接円の面積を求める面積計算行程を有し、
求められた面積が所定の値よりも小さいときに、前記方向バランス情報に基づいて腫瘤影を検出することを特徴とする前記（８）項乃至前記（１２）項のいずれか１項に記載の腫瘤影検出方法。
【００８９】
（１４）．前記腫瘤影候補決定行程によって検出された腫瘤影の領域について、該領域の面積と該領域に内接する最大内接円の面積との比を求める面積比計算行程をさらに有し、
求められた面積比に基づいて腫瘤影を検出することを特徴とする前記（８）項乃至前記（１３）項のいずれか１項に記載の腫瘤影検出方法。
【００９０】
（１５）．コンピュータによって入力画像データから腫瘤影を検出するための腫瘤影検出プログラムを記録した記録媒体であって、
入力された画像データに対して方向の異なる複数のフィルタとの合成積演算を行い、
前記フィルタの方向毎の複数の出力を成分とするベクトルと、各成分が等しいベクトル（仮想基準ベクトル）とのなす角に基づき、方向バランス情報を求め、得られた方向バランス情報に基づき、腫瘤影候補点を決定することを特徴とする腫瘤影検出をコンピュータに実行させるプログラムを記録した有することを特徴とする腫瘤影検出プログラムを記録した記録媒体。
【００９１】
（１６）．前記フィルタの方向毎の複数の出力の標準偏差を求め、
求められた標準偏差と前記方向バランス情報とに基づいて、腫瘤影候補点を決定することを特徴とする前記（１５）項の腫瘤影検出プログラムを記録した記録媒体。
【００９２】
（１７）．画素の強度に基づいて特徴量を演算し、
前記方向バランス情報と前記特徴量とに基づき腫瘤影候補点を決定することを特徴とする前記（１５）項又は前記（１６）項のいずれか１項に記載の腫瘤影検出プログラムを記録した記録媒体。
【００９３】
（１８）．腫瘤影境界近傍点と境界近傍を除いた内部の点とに対し、それぞれ異なる教師信号を与えて腫瘤影候補点の学習を行った学習機能を有するニューラルネットワークにより、腫瘤影候補点決定を行うことを特徴とする前記（１５）項乃至前記（１７）項のいずれか１項に記載の腫瘤影検出プログラムを記録した記録媒体。
【００９４】
（１９）．腫瘤影の領域内において複数の方向について、その方向で前記フィルタ出力が最大となる画素数を求め、
求められた画素数を長さ、対応する方向を向きとしてベクトルを構成したときに、前記複数の方向を２つの半平面に分割し、それぞれの半平面において前記ベクトルのベクトル和を求め、該ベクトル和の長さの比を求め、
求められたベクトル比に基づいて腫瘤影を検出することを特徴とする前記（１５）項乃至前記（１８）項のいずれか１項に記載の腫瘤影検出プログラムを記録した記録媒体。
【００９５】
（２０）．検出された腫瘤影の領域について、該領域に内接する最大内接円の面積を求め、
求められた面積が所定の値よりも小さいときに、前記方向バランス情報に基づいて腫瘤影を検出することを特徴とする前記（１５）項乃至前記（１９）項のいずれか１項に記載の腫瘤影検出プログラムを記録した記録媒体。
【００９６】
（２１）．腫瘤影の領域について、該領域の面積と該領域に内接する最大内接円の面積との比を求め、
求められた面積比に基づいて腫瘤影を検出することを特徴とする前記（１５）項乃至前記（１９）項のいずれか１項に記載の腫瘤影検出プログラムを記録した記録媒体。
【００９７】
【発明の効果】
以上詳述したように本発明によれば、方向性の無い類円形領域を線状領域あるいは背景から抽出し識別が可能で並びに、拾い上げられた腫瘤影候補点が形成する連結領域が腫瘤影領域と画素強度曲面のなす３次元形状との類似性判定方法及びその組合せによって、見落としや拾いすぎの領域が少ない、画像中の腫瘤影の検出装置及び方法並びに腫瘤影検出プログラムを記録した記録媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明による腫瘤影検出装置の第１実施形態として、画像から腫瘤影候補点を抽出する腫瘤影候補点抽出部の構成を示す図である。
【図２】本発明による腫瘤影検出装置に利用するガボール関数について説明するための図である。
【図３】第１の実施形態に用いる円形開ロフィルタの例を示す図である。
【図４】本発明による腫瘤影検出装置の第２実施形態として、拾いすぎ候補領域削減部の構成を示す図である。
【図５】第２の実施形態における領域内方向バランス算出評価部による評価尺度腫瘤影候補領域における方向バランスについて説明するための図である。
【図６】第２の実施形態における領域削除部による伸長度について説明するための図である。
【図７】本発明の腫瘤影検出の処理について説明するためのフローチャートである。
【符号の説明】
１…腫瘤影候補点抽出部
２…拾いすぎ候補領域削減部
１１…画像入力データ部
１２…フィルタ演算部
１３…方向バランス算出部
１４…特徴ベクトル算出部
１５…腫瘤影候補点決定部
２１…連結処理部
２２…領域評価部
２２ａ…領域内方向バランス算出評価部
２２ｂ…２次元形状評価部
２３…領域削除部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a tumor shadow detection apparatus and method for detecting and detecting a tumor shadow from an image taken by an X-ray photograph or the like.
[0002]
[Prior art]
In general, as a technique for recognizing a tumor shadow from an image taken by an X-ray photograph or the like, the following two-stage processing is performed. In the first stage, tumor shadow candidate points are extracted by the filtering process, and in the second stage, after the connection process is performed, the normal region that has been picked up with the tumor shadow remaining is reduced.
[0003]
The conventional technology in the first stage and the second stage will be described.
As a filter for extracting the first stage tumor shadow, a Min-DD filter that outputs a minimum value in all directions of the second-order differential filter output is known.
[0004]
This Min-DD filter is excellent in suppressing image shadows of streak areas such as blood vessels and relatively enhancing the shadow of a type of tumor that consists only of a pixel intensity curved surface with a relatively large change in inclination in all directions. For details, see IEICE Transactions, Vol. J67-D-II, No.2, pp.241-249,1993.
[0005]
Several methods of using a neural network for classifying malignant or benign to a tumor shadow candidate region or image have been proposed. For example, US Pat. No. 5,463,548 (1995), N. Asada and K. It is disclosed in detail in Doi.
[0006]
As a method for reducing the normal region that has been picked up excessively in the second stage, two-dimensional shape analysis such as the area and circularity of the region obtained as a binary image is performed. Further, returning to the original image, narrowing down is performed using an evaluation scale such as the standard deviation of the pixel intensity value in the region and the contrast between the region and the surroundings. For example, US Pat. It is disclosed in detail in Mottaleb.
[0007]
[Problems to be solved by the invention]
The Min-DD filter described above has the effect of suppressing breast lines, blood vessels, etc., while maintaining a mass shadow of a type composed only of a pixel intensity curved surface with a relatively large change in inclination in any direction. At the same time, it also suppresses the pixel intensity curved surface in the tumor shadow in which the change in inclination is small in any direction. In fact, some tumor shadows have a pixel intensity curved surface whose inclination change is small in any direction.
[0008]
However, since the Min-DD filter also suppresses such a part, a missing portion may occur when extracting a tumor shadow candidate point.
In addition, no neural network is used for determining candidate points, not for determining candidate areas. Furthermore, when using a neural network for the determination of candidate points, the same teacher signal is given to the peripheral and internal points of the tumor shadow, and for the constituent points of the muscular region such as blood vessels, If learning is performed by giving another teacher signal, the discrimination rate between the constituent points of the tumor shadow and the constituent points of the streak region such as a blood vessel is deteriorated.
[0009]
Furthermore, the tumor shadow candidate points extracted by the first-stage filtering process are picked up because the feature amount is similar to the points constituting the tumor shadow, and the connected region formed by these points is selected. Whether or not the pixel intensity curved surface is similar to the three-dimensional shape of the tumor shadow region must be determined by the second stage process.
[0010]
However, in the prior art, although the analysis of the two-dimensional shape of the connected region obtained as a binary image and the statistical analysis of the average pixel intensity value back to the original image have been made, the three-dimensional shape In order to investigate the above, there is no one that uses the differential information of the pixel intensity curved surface to examine the balance in the region in detail.
[0011]
Furthermore, when the picked up points form a small area, the difference between a circle and a rectangle peculiar to the two-dimensional digital image processing becomes subtle, so that the two-dimensional shape evaluation scale is not very effective.
[0012]
Therefore, the criterion for the small area must also be based on the three-dimensional shape of the pixel intensity curved surface.
Therefore, according to the present invention, a circular region having no directionality can be extracted and identified from a linear region or a background, and the connected region formed by the picked-up tumor shadow candidate points forms a tumor shadow region and a pixel intensity curved surface 3. An object of the present invention is to provide a detection device and method for detecting a tumor shadow in an image, and a recording medium recording a tumor shadow detection program, with a method for determining similarity to a three-dimensional shape and a combination thereof, in which there are few overlooked and overextracted areas. .
[0013]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides input image data. The intensity of each pixel (xi, yi) Filter operation means for performing a product operation with a plurality of filters having different directions, and a plurality of outputs for each direction of the filter operation means as components. In each pixel (xi, yi) Each component is equal to the vector Standard Angle with vector Is the angle of deviation (θi) Seeking direction balance Calculation There is provided a tumor shadow detection apparatus comprising: means and tumor shadow candidate point determination means for detecting a tumor shadow based on an output of the direction balance calculation means.
[0014]
The input image data The intensity of each pixel (xi, yi) A filter operation process for performing a product operation with a plurality of filters having different directions and a plurality of outputs for each direction of the filter as components. In each pixel (xi, yi) Each component is equal to the vector Standard Angle with vector Is the angle of deviation (θi) Seeking direction balance Calculation The journey and obtained The amount of bias And a tumor shadow candidate point determination step of detecting a tumor shadow based on the method.
[0015]
Further, a recording medium on which a tumor shadow detection program for detecting a tumor shadow from input image data by a computer is recorded, and the input image data The intensity of each pixel (xi, yi) Performs product operation with multiple filters in different directions, and uses multiple outputs for each filter direction as components In each pixel (xi, yi) Angle between vector and vector with equal components Is the angle of deviation (θi) Sought and obtained The amount of bias The present invention provides a recording medium recording a tumor shadow detection program for recording a program for causing a computer to execute tumor shadow detection, which is characterized in that a tumor shadow candidate point is determined based on the above.
[0016]
The tumor shadow detection apparatus and the tumor shadow detection method configured as described above are configured such that a tumor shadow candidate point extraction unit identifies a similar circular region having no directionality from a linear region or background having directionality, and an excessively picked candidate region The reduction unit reduces the normality that has been picked up excessively by performing direction balance analysis, two-dimensional shape analysis, or the like in the connected region of the directional differentiation with respect to the connected region formed by the picked-up tumor shadow candidate points.
[0017]
Further, the mass shadow detection can be realized even by a general-purpose computer or the like by a recording medium in which a mass shadow detection program for executing the above-described tumor shadow detection method is recorded.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
The tumor shadow detection apparatus according to the present invention is roughly classified into a tumor shadow candidate point extraction unit 1 that extracts a tumor shadow candidate point by filter processing, which is different from the conventional processing method. This is composed of an excessively picked up candidate area reducing unit 2 that reduces the excessively picked up normal areas. In the present embodiment, for example, for a breast X-ray image, processing for extracting a point constituting a tumor shadow and a tumor shadow candidate point having similar characteristics from the breast X-ray image is performed as an image. Let's take an example. Of course, the target image to be processed is not limited to the breast X-ray image as long as the image is similar to the image described in the embodiment.
[0019]
FIG. 1 shows and describes a tumor shadow candidate point extraction unit that extracts a tumor shadow candidate point from an image as a first embodiment of a tumor shadow detection apparatus according to the present invention.
This tumor shadow candidate point extraction unit 1 includes an image input data unit 11 for optically capturing a breast X-ray image on an X-ray film with a CCD camera or a scanner, and the pixel intensity and various sizes in each captured image. And a filter operation unit 12 for calculating a product of a function having a directional differential action consisting of a direction and a direction balance calculating unit 13 for calculating a declination, a standard deviation, and the like of an output value for each direction of the Gabor cosine filter. A feature vector calculation unit 14 that generates a feature vector using a declination, a standard deviation, and the like, and a feature similar to a feature vector of a tumor shadow candidate point using a neural network such as a Kohonen neural network as described later It is comprised with the tumor shadow candidate point determination part 15 which picks up the point which has a vector.
[0020]
The tumor shadow candidate points extracted by this tumor shadow candidate point extraction unit 1 are sent to the over-pickup candidate region reduction unit 2 that reduces the normal region described later.
First, an image is captured from an image input data unit 11 including an image input device such as a CCD camera or a scanner.
[0021]
Next, the filter calculation unit 12 calculates a composite product of the pixel intensity in each image and a function having a directional differential action composed of various sizes and directions. Here, a Gabor function having a directional differential action is used as such a function. The two-dimensional Gabor function is expressed by the following equation (1):
[0022]
[Expression 1]

Given in. Here, x, y are spatial variables, u, v are spatial frequencies, and σ is a scale variable.
[0023]
[Expression 2]

Here, a Gabor cosine function having a second-order differential action and a Gabor sine function having a first-order differential action are used for various sizes and directions. The calculation of the combined product in the filter operation unit 12 is obtained by performing an inverse Fourier transform on the product of the Fourier transform of each of the input image and the Gabor function. This is performed for a Gabor function consisting of s sizes and d directions.
[0024]
Next, the direction balance calculation unit 13 calculates the bias of the output value for each direction of the Gabor cosine filter as follows.
Considering the size arbitrarily fixed, attention is paid to a vector having the absolute value g, k (xi, yi) of the output by direction after the filter at the pixel (xi, yi) as a component. Here, k is a subscript representing a direction. The length of this vector (L2 norm) is expressed by the following equation.
[0025]
[Equation 3]

First, an angle formed by a d-dimensional vector (1,1,..., 1,1) having the same value in each component and the vector described above is defined as θi (hereinafter, θi is referred to as a declination angle), and its cos value (direction) (Bias amount of another output value) is calculated.
[0026]
[Expression 4]

[0027]
For example, assuming a three-dimensional vector as shown in FIG. 2, a deviation angle θα formed with a vector α of one candidate point (pixel) with respect to a three-dimensional vector (1,1,1) that is a virtual reference vector. Sometimes, the bias amount is cos θα.
[0028]
With respect to the deviation amount, the deviation angle θβ formed with the vector of points (pixels) on the mammary gland is larger than that of the three-dimensional vector, while the deviation angle θα formed with the vector of candidate points of the tumor shadow is reduced.
[0029]
Further, the direction balance calculation unit 13 calculates a standard deviation related to the output direction of the Gabor cosine filter.
Next, the feature vector calculation unit 14 generates a feature vector using the declination, standard deviation, or the like calculated by the direction balance calculation unit 13. When the pixel intensity value is represented by f (xi, yi), the first feature quantity feature1 relating to the deflection angle and the pixel intensity and the second feature quantity feature2 relating to the standard deviation with respect to the direction of the Gabor cosine filter output are expressed by the following equations. Calculate for each size.
[0030]
[Equation 5]

Here, the standard deviation is used as the second feature quantity, but variance may be used. At this time, for example, when four filter sizes are set, eight feature amounts are obtained.
[0031]
At a point inside the tumor shadow, the deviation of the filter output by direction is small, so the deviation angle σi is small. On the other hand, the declination σi increases for milk lines, blood vessels, and the like because the filter output in a specific direction increases.
[0032]
Therefore, it is effective to use the declination σi as a scale for separating the tumor shadow from the breast line, blood vessel and the like. However, even at the background point, the deviation of the direction-specific filter output is small, so the deviation angle σi is small.
[0033]
Therefore, in order to separate the mass shadow from the background, the argument σi is invalid, and a measure of the pixel intensity value and the size of the filter output is required. For example, when the two feature quantities as described above are used, the values of the background, such as a mass shadow, a breast line, a blood vessel, etc., have the sizes as shown in the following table.
[0034]
[Table 1]

[0035]
Even if only the first feature quantity or the second feature quantity is used, a certain degree of separation is possible, but it is more effective to use two feature quantities in combination.
In the next tumor shadow candidate point determination unit 15, for example, when using a Kohonen neural network, a filter output value having directionality is directly used as a feature amount without using the feature conversion processing as described above. In other words, it is necessary to virtually construct a separation curved surface in a feature space having a dimension equal to the number of directions, and so many neuron elements are required.
[0036]
Therefore, the feature conversion process has an effect of reducing the number of neuron elements when the Kohonen neural network is used. Subsequently, the tumor shadow candidate point determination unit 15 picks up points having a feature vector similar to the feature vector of the tumor shadow candidate point.
[0037]
Hereinafter, an example in which this procedure is performed using a Kohonen neural network will be described.
First, an input vector is selected at random from a set of feature vectors of tumor shadow candidate points. Next, the similarity between the input vector and the vector of each neuron element is examined. The similarity determination is usually performed by Euclidean distance or inner product calculation.
[0038]
Subsequently, the nearest neuron element having the maximum calculated similarity is selected. When the similarity determination is the Euclidean distance, the nearest neuron element is selected based on c expressed by the following equation.
[0039]
[Formula 6]

[0040]
Next, the weight vector of the selected neuron element and the neuron element located in the vicinity thereof is brought close to the input feature vector. (Update of neuron element weight vector)
[0041]
[Expression 7]

Here, Nc represents the vicinity of the nearest neuron element, α (t) represents a positive number, and t represents the number of updates. While repeatedly updating, the magnitude of Nc and the value of α (t) are gradually reduced.
[0042]
First, weight vectors are arranged in a space using a self-organizing feature map. This is unsupervised learning that does not use the category information to which the input vector belongs.
Next, the neuron element is labeled. Subsequently, supervised learning is performed in which the weight vector is updated by learning vector quantization (LVQ) in consideration of the category information to which the input vector belongs.
[0043]
In the self-organizing feature map, the neuron element located in the vicinity of the nearest neuron element also updates the weight vector, but in LVQ, the neighboring neuron element is not updated.
[0044]
In this LVQ learning, different teacher signals are given to the points near the boundary of the tumor shadow and the internal points excluding the boundary. For example, if the tumor shadow is circular, a label of 1 is given only to a point whose two-dimensional distance from the center of the circle is within 0.7 times the radius, and a label of 0 is given to the other points. For the unlearned data after completion of the learning, the one assigned with the label 1 is extracted as a tumor shadow candidate point. In addition, although the two-dimensional distance is only a point within 0.7 times the radius, this 0.7 times is a numerical value that is suitable when processing is performed on a trial basis. Even a numerical value exceeding 0.7 times or a numerical value less than that may be used as long as it can be appropriately processed.
[0045]
The process described above may be executed on a computer, or may be realized by replacing a part thereof with an optical or dedicated digital signal processor (DSP) or an electric circuit. The For example, in the filter calculation unit 12, the transmission type spatial light modulation elements having various sizes and positions with different circular openings are held, the image is converted by the lens, and the transmission type spatial light modulation element is transmitted at the focal position. It may be arranged.
[0046]
At this time, the circular open filter that approximately realizes the Fourier transform of the Gabor function is given in the form shown in FIG. Here, filters having four sizes and four directions are shown as examples.
[0047]
In addition, the nearest weight vector can be determined using a winner-take-all circuit. The weight vector of the duron element only needs to modulate the light intensity according to the value, and the update of the weight vector can be realized by adopting a rewritable spatial light modulator.
[0048]
Next, as a second embodiment of the tumor shadow detection apparatus according to the present invention, the over-pickup candidate area reduction unit 2 will be described in detail. In the present embodiment as well, the target image will be described with an example of detecting a tumor shadow in a breast X-ray image.
[0049]
In the present embodiment, as shown in FIG. 4, a connection processing unit 21 that performs connection processing on the complement points extracted by the tumor shadow candidate point extraction unit 1 and labels the connection region to which each point belongs, and a label The area evaluation unit 22 that evaluates the directional balance calculated in each connected region and the extension degree for each connected region, and the numerical value obtained from the region evaluation unit 22 are predetermined. The area deletion unit 23 is configured to delete an area based on a threshold value.
[0050]
The region evaluation unit 22 calculates a direction balance in each connected region with a label, and calculates and evaluates an intra-region direction balance calculation evaluation unit 22a. It is comprised with the shape evaluation part 22b.
[0051]
The operation of the over-pickup candidate area reducing unit 2 configured in this way will be described.
First, the connection processing unit 21 performs connection processing on the extracted compensation points, and labels each connection region to which each point belongs. Subsequently, the intra-region direction balance calculation evaluation unit 22a of the region evaluation unit 22 calculates and evaluates the direction balance in each region for each connected region. Hereinafter, this evaluation scale will be described.
[0052]
First, as a first evaluation scale in the in-region direction balance calculation evaluation unit 22a, the direction balance in the region of the slope of the pixel intensity curved surface is calculated and evaluated. For this, it is conceivable to use a gradient vector. Here, the output value of the Gabor sine filter of the tumor shadow candidate point extraction unit 1 is used as a first-order direction differential value.
[0053]
First, the direction in which the output value of the Gabor sine filter at the pixel (xi, yi) is maximized is found. Here, a description will be given assuming that a Gabor sine filter is prepared for 2d directions.
[0054]
Subsequently, for each direction, the number of pixels in the connected region that are output from the Gabor sine filter in that direction is counted. Based on this, a vector Pj having a length corresponding to the number of pixels in each direction is created.
[0055]
At this time, the vectors are arranged in a radial pattern as shown in FIG. 5, but with respect to the tumor shadow candidate region, as shown in FIG. 5 (a), a shape in which the direction is balanced is obtained. A region with poor direction balance as shown in FIG. 5B is deleted from the tumor shadow candidate region. Evaluation of this balance is made as follows.
[0056]
The vector sum of the vectors is taken at each of two half-planes divided by a separation line in a certain direction k passing through the origin, with the starting point of the radially arranged vector as the origin, and the two lengths of the vector The ratio value (equation (10)) is 1 or less is adopted (equation (11)).
[0057]
The separation straight line is rotated by (360 degrees / 2d) to calculate a value, and its minimum value (bad balance) is obtained (formula (12)).
In general, the contour line of the pixel intensity value of a tumor shadow has a shape close to a concentric circle, so that a large value of Gabor-sin-balance-measure can be obtained.
[0058]
On the other hand, the contour lines of the pixel intensity values in the pectoral muscle region are not circular but are close to parallel straight lines, so that a small value is obtained for Gabor-sin-balance-measure. Therefore, by removing those whose direction balance value is equal to or less than a certain threshold value from the tumor shadow compensation region, it can also be used to delete the pectoral muscle region.
[0059]
[Equation 8]

[0060]
Next, the second evaluation scale in the in-region direction balance calculation evaluation unit 22a will be described.
This is a point picked up because the feature amount is similar to the part of the medium or larger tumor shadow that is slightly unbalanced, and if the point is unbalanced, the area that contains the point is deleted It is. This is based on the assumption that a small mass shadow is well-balanced and has a very good directional balance.
Of the connected regions where the area of the maximum inscribed circle is small, those whose value of the rotational symmetry evaluation measure rotational-symmetry-measure defined by the following formula is below the threshold are excluded.
[0061]
[Equation 9]

[0062]
The cos value here uses the cos value of the declination calculated by the direction balance calculation unit 13 described in the first embodiment.
Now, in the two-dimensional shape evaluation unit 22b, the extension value defined by the following equation is calculated for each connected region.
[0063]
Degree of elongation = (area of connected region) / (area of maximum inscribed circle) (14)
Here, the area of the connected region is the total number of pixels constituting the region, and the maximum inscribed circle area maximum-inscribed-aera is calculated by the following equation.
[0064]
[Expression 10]

Here, I and B are subscript sets representing a set of inner points and a set of boundary points in the connected region, respectively.
[0065]
The well-known calculation of the degree of expansion is to divide the area of the region by the square of the number of times of degeneration in the morphology, and to calculate the length of the region, but the degree of extension used here is not only the length, Circularity can also be expressed. That is, as shown in FIG. 6A, the degree of elongation is large in the elongated region, and as shown in FIG. 6B, the mass shadow (similar circular region) has a small degree of elongation (close to 1). .
[0066]
In addition, if necessary, a well-known two-dimensional shape evaluation scale such as complexity may be adopted. In the region deletion unit 23, based on the numerical values obtained from the in-region direction balance calculation evaluation unit 22a and the two-dimensional shape evaluation unit 22b, a region having a numerical value equal to or less than a predetermined threshold is deleted for the former, and the latter is determined in advance. The area above the specified threshold is deleted.
An area having a numerical value equal to or smaller than a predetermined threshold is deleted.
[0067]
The region remaining after such deletion is a tumor shadow candidate region.
Needless to say, if the first and second embodiments are used in combination, a further effect can be obtained.
[0068]
A series of these processes will be described with reference to the flowchart of FIG.
First, an image is input (step S1), Fourier-transformed (step S2), a directional filter is integrated (step S3), and the output is subjected to inverse Fourier transform (step S4). These processes are equivalent to a composite product operation.
[0069]
Next, the deviation of the output for each direction is calculated (step S5), and a feature vector is generated from this (step S6). This feature vector is input to the neural network, and a tumor shadow candidate point is extracted (step S7), and connectivity processing is performed on it (step S8).
[0070]
Next, since different processing is performed on the small region and the other regions, the diameter of the maximum inscribed circle is compared with a certain threshold value ε and determined (step S9).
For this determination, a small region may be selected depending on the number of pixels, but here, the diameter of the maximum inscribed circle is used in relation to the subsequent processing. For a small region where the diameter of the maximum inscribed circle is smaller than a certain threshold value ε (NO), the deviation (deflection angle) at the second-order differential point is examined (step S10). Then, by comparing the most biased value in the area with a predetermined threshold value, areas other than the balanced small area are deleted (step S11).
[0071]
On the other hand, for a region where the diameter of the maximum inscribed circle is equal to or larger than a certain threshold value (YES), the direction balance in the first-order direction differential region is examined (step S12). Furthermore, a two-dimensional shape process is performed (step S13), and an excessively picked candidate area is deleted (step S11).
[0072]
As a result of these processes, a tumor shadow candidate region is extracted (step S14).
As described above, according to the tumor shadow candidate point extraction unit of the present embodiment, it is possible to identify a similar circular region having no directionality from a linear region or background having directionality. Further, according to the over picked candidate area reduction unit, the normal area that has been picked up excessively by performing the direction balance analysis or the two-dimensional shape analysis in the connected area of the directional differentiation with respect to the connected area formed by the picked up tumor shadow candidate points. The area can be reduced.
[0073]
Furthermore, it is possible to combine the tumor shadow candidate point extraction unit and the over-pick-up candidate region reduction unit to suppress the overlook rate of the tumor shadow and the over-pickup rate of the normal region to a considerably small value.
[0074]
The first and second embodiments described above are constructed as a tumor shadow detection program for detecting a tumor shadow from input image data by a computer, and this tumor shadow detection program is applied to a magneto-optical disk, a semiconductor storage device, or the like. It can also be stored in a recording medium and implemented.
[0075]
As this tumor shadow detection program, for example, a composite product operation with a plurality of filters having different directions is performed on input image data, and a vector having a plurality of outputs for each direction of the filter as components, and each component Software that realizes detection of a tumor shadow by obtaining direction balance information based on an angle formed by a vector (virtual reference vector) having the same and determining a tumor shadow candidate point based on the obtained direction balance information.
[0076]
Although the above embodiments have been described, the present invention includes the following inventions.
(1). Filter operation means for performing a product operation with a plurality of filters having different directions on input image data;
Direction balance calculation means for obtaining an angle formed by a vector having a plurality of outputs in each direction of the filter calculation means as components and a vector (virtual reference vector) in which each component is equal;
Tumor shadow candidate point determining means for detecting a tumor shadow based on the output of the direction balance calculating means;
A mass shadow detection apparatus comprising:
[0077]
(2). A standard deviation calculating means for obtaining a standard deviation of a plurality of outputs for each direction of the filter calculating means;
The tumor shadow detection apparatus according to (1), wherein the tumor shadow candidate point determination unit detects a tumor shadow based on outputs from the standard deviation calculation unit and the direction balance calculation unit.
[0078]
(3). The image processing apparatus further includes a feature vector calculation unit that calculates a feature amount based on pixel intensity, and the tumor shadow candidate point determination unit detects a tumor shadow based on outputs of the direction balance calculation unit and the feature vector calculation unit. The mass shadow detection apparatus according to any one of (1) or (2), wherein:
[0079]
(4). The tumor shadow candidate point determining means includes a neural network having a learning function, and the learning of the tumor shadow candidate point gives different teacher signals to the points adjacent to the tumor shadow boundary and internal points excluding the boundary vicinity. The mass shadow detection device according to any one of (1) to (3), characterized in that:
[0080]
(5). In the area of the tumor shadow detected by the tumor shadow candidate point determining means, for a plurality of directions, a pixel number calculating means for obtaining the number of pixels that maximizes the filter output in that direction;
When a vector is constructed with the number of pixels obtained by the pixel number calculation means as a length and a corresponding direction as a direction, the plurality of directions are divided into two half planes, and the vector vector is divided into each half plane. Vector ratio calculating means for obtaining a sum and further obtaining a ratio of lengths of the vector sums;
The mass shadow detection unit according to any one of (1) to (4), further comprising a mass shadow determination unit that detects a mass shadow based on an output of the vector ratio calculation unit. apparatus.
[0081]
(6). For the area of the tumor shadow detected by the tumor shadow candidate determining means, further comprising an area calculating means for determining the area of the maximum inscribed circle inscribed in the area,
Any of (1) to (5) above, wherein when the output of the area calculation means is smaller than a predetermined value, a tumor shadow is detected based on the output of the direction balance calculation means. The tumor shadow detection apparatus according to Item 1.
[0082]
(7). An area ratio calculating means for obtaining a ratio of the area of the tumor shadow detected by the tumor shadow candidate determining means to the area of the maximum inscribed circle inscribed in the area;
The mass shadow extraction apparatus according to any one of (1) to (6), wherein a mass shadow is detected based on an output of the area ratio calculation means.
[0083]
(8). A filter operation step for performing a product operation with a plurality of filters having different directions on the input image data;
A direction balance calculation step for obtaining direction balance information based on an angle formed by a vector having a plurality of outputs for each direction of the filter as components and a vector (virtual reference vector) in which each component is equal;
A tumor shadow candidate point determination step for detecting a tumor shadow based on the obtained direction balance information.
[0084]
(9). A standard deviation calculation step of obtaining a standard deviation of a plurality of outputs for each direction of the filter, and the tumor shadow candidate point determination step detects a mass shadow based on the calculated standard deviation and the direction balance information The tumor shadow detection method according to item (8), characterized in that:
[0085]
(10). A feature vector calculation step of calculating a feature amount based on pixel intensity, wherein the tumor shadow candidate point determination step detects a tumor shadow based on the direction balance information and the feature amount (8) The tumor shadow detection method according to any one of (9) and (9).
[0086]
(11). The above-described tumor shadow candidate point determination step is performed by a neural network having a learning function for learning a tumor shadow candidate point by giving different teacher signals to a tumor shadow boundary neighboring point and an internal point excluding the boundary neighborhood, respectively. The tumor shadow detection method according to any one of the items (8) to (10), wherein a tumor shadow candidate point is determined.
[0087]
(12). For a plurality of directions in the region of the tumor shadow detected by the tumor shadow candidate point determination step, a pixel number calculation step for obtaining the number of pixels that maximizes the filter output in that direction;
When a vector is constructed with the number of pixels obtained by the pixel number calculation step as a length and the corresponding direction as a direction, the plurality of directions are divided into two half planes, and the vector vector is divided into each half plane. A vector ratio calculation step of obtaining a sum and further obtaining a ratio of lengths of the vector sums;
A mass shadow determination step of detecting a mass shadow based on the determined vector ratio;
The method of detecting a tumor shadow according to any one of (8) to (11), wherein:
[0088]
(13). An area calculation step for obtaining an area of a maximum inscribed circle inscribed in the region of the tumor shadow detected in the step of determining the tumor shadow candidate point;
The mass shadow is detected based on the direction balance information when the obtained area is smaller than a predetermined value, according to any one of (8) to (12), Mass shadow detection method.
[0089]
(14). An area ratio calculation step for obtaining a ratio of the area of the tumor shadow detected by the tumor shadow candidate determination step to the area of the region and the maximum inscribed circle inscribed in the region;
The tumor shadow detection method according to any one of (8) to (13), wherein a tumor shadow is detected based on the obtained area ratio.
[0090]
(15). A recording medium recording a tumor shadow detection program for detecting a tumor shadow from input image data by a computer,
Perform composite product operation with multiple filters with different directions on the input image data,
Direction balance information is obtained based on an angle formed by a vector having a plurality of outputs for each direction of the filter as components and a vector (virtual reference vector) in which each component is equal, and a tumor shadow is obtained based on the obtained direction balance information. A recording medium having recorded thereon a tumor shadow detection program, characterized in that a program for causing a computer to perform tumor shadow detection characterized by determining candidate points is recorded.
[0091]
(16). Obtaining a standard deviation of a plurality of outputs for each direction of the filter;
A tumor shadow candidate point is determined based on the obtained standard deviation and the direction balance information. A recording medium on which the tumor shadow detection program according to (15) is recorded.
[0092]
(17). Calculate feature values based on pixel intensity,
A tumor shadow detection program according to any one of (15) and (16), wherein a tumor shadow candidate point is determined based on the direction balance information and the feature amount. Medium.
[0093]
(18). To determine tumor shadow candidate points using a neural network that has a learning function that gives different teacher signals to the tumor shadow boundary neighboring points and the internal points excluding the boundary neighborhood to learn the tumor shadow candidate points. A recording medium in which the tumor shadow detection program according to any one of (15) to (17) is recorded.
[0094]
(19). For a plurality of directions within the area of the tumor shadow, find the number of pixels that maximizes the filter output in that direction,
When a vector is constructed with the obtained number of pixels as a length and a corresponding direction as a direction, the plurality of directions are divided into two half planes, and a vector sum of the vectors is obtained in each half plane, Find the ratio of the sum length,
A recording medium on which the mass shadow detection program according to any one of (15) to (18) is recorded, wherein the mass shadow is detected based on the obtained vector ratio.
[0095]
(20). For the detected shadow area, find the area of the maximum inscribed circle inscribed in the area,
Any one of the items (15) to (19), wherein a tumor shadow is detected based on the direction balance information when the determined area is smaller than a predetermined value. A recording medium on which a tumor shadow detection program is recorded.
[0096]
(21). For the area of the tumor shadow, find the ratio of the area of the area and the area of the maximum inscribed circle inscribed in the area
A recording medium that records a tumor shadow detection program according to any one of (15) to (19), wherein a tumor shadow is detected based on the determined area ratio.
[0097]
【The invention's effect】
As described above in detail, according to the present invention, a circular region having no directionality can be extracted and identified from a linear region or background, and the connected region formed by the picked-up tumor shadow candidate points is a tumor shadow region. And a method of determining similarity between a pixel intensity curved surface and a three-dimensional shape formed by a pixel intensity curved surface, and a combination thereof, and a detection device and method for detecting a tumor shadow in an image with a small number of overlooked and overextracted regions, and a recording medium recording a tumor shadow detection program Can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a tumor shadow candidate point extraction unit that extracts tumor shadow candidate points from an image as a first embodiment of a tumor shadow detection apparatus according to the present invention;
FIG. 2 is a diagram for explaining a Gabor function used in a tumor shadow detection apparatus according to the present invention.
FIG. 3 is a diagram illustrating an example of a circular open filter used in the first embodiment.
FIG. 4 is a diagram showing a configuration of an over-pickup candidate area reducing unit as a second embodiment of a tumor shadow detection apparatus according to the present invention.
FIG. 5 is a diagram for explaining direction balance in an evaluation scale tumor shadow candidate region by an intra-region direction balance calculation evaluation unit according to the second embodiment;
FIG. 6 is a diagram for explaining a degree of expansion by a region deletion unit in the second embodiment.
FIG. 7 is a flowchart for explaining the process of detecting a tumor shadow according to the present invention;
[Explanation of symbols]
1 ... Mass shadow candidate point extraction unit
2 ... Over picking candidate area reduction section
11. Image input data part
12 ... Filter operation unit
13 ... Direction balance calculation part
14: Feature vector calculation unit
15 ... Mass shadow candidate point determination unit
21. Connection processing unit
22 ... Area evaluation section
22a ... In-region direction balance calculation evaluation unit
22b ... Two-dimensional shape evaluation unit
23 ... Area deletion part

Claims

Filter arithmetic means for performing a composite product operation with a plurality of filters having different intensities and directions of pixels (xi, yi) in input image data;
The angle between the vector at each pixel (xi, yi) having a plurality of outputs in each direction of the filter calculation means as the component and the reference vector having the same component as the angle of deviation (θi) is obtained . Direction balance calculation means;
Tumor shadow candidate point determining means for detecting a tumor shadow based on the output of the direction balance calculating means;
A mass shadow detection apparatus comprising:

The tumor shadow detection apparatus according to claim 1, wherein the filter has a direction differential action.

2. The tumor shadow detection apparatus according to claim 1, wherein the direction balance calculation unit calculates a standard deviation or variance of a plurality of outputs for each direction of the filter calculation unit and outputs them.

A first feature amount related to the bias amount and the intensity of the pixel and a second feature amount related to the standard deviation or variance using the bias amount and the standard deviation or variance obtained by the balance calculating means. And a feature vector calculation unit that outputs a result obtained by performing the feature conversion process by combining the first and second feature amounts to the tumor shadow candidate point determination unit. Item 4. The tumor shadow detection device according to Item 3.

A filter operation step of performing a product operation of a plurality of filters having different intensities and directions of each pixel (xi, yi) in the input image data;
Directional balance for determining the amount of deviation with the angle formed between the vector at each pixel (xi, yi) having a plurality of outputs in each direction of the filter as components and the reference vector having the same component as the angle of deviation (θi) The calculation process,
A tumor shadow candidate point determination step of detecting a tumor shadow based on the obtained bias amount;
A method for detecting a tumor shadow, comprising:

A recording medium recording a tumor shadow detection program for detecting a tumor shadow from input image data by a computer,
Performing a composite product operation with a plurality of filters having different intensities and directions of each pixel (xi, yi) in the input image data;
The angle between the vector at each pixel (xi, yi) whose components are a plurality of outputs for each direction of the filter and the vector where each component is equal is used as a declination angle (θi) to obtain the amount of deviation. A recording medium on which is recorded a mass shadow detection program, which records a program for causing a computer to perform mass shadow detection, which is characterized by determining a mass shadow candidate point based on the bias amount.