JP2019030575A - 超音波画像処理装置及びボリュームデータ処理方法 - Google Patents

Abstract

【課題】ボリュームレンダリングにより生成された組織画像及び深さ画像からカラー組織画像を生成する場合に、カラー処理の条件（特に深さパラメータ）が自動的に最適化されるようにする。
【解決手段】ボリュームデータ２００に対するテンプレートマッチング処理により（符号２１０参照）注目部位データが特定される。注目部位データとの繋がり関係を利用して注目組織データ２０２が抽出される。注目組織データ２０２中の最深ボクセルの深さとして代表深さが特定される。代表深さに基づいて、組織画像に基づく２つのカラー組織画像を重み付け合成する際のカラー処理条件が定められる（符号２２２参照）。
【選択図】図５

Description

本発明は超音波画像処理装置に関し、特に、ボリュームデータの処理に関する。

超音波画像処理装置は、超音波ボリュームデータ（以下、単に「ボリュームデータ」という。）を処理する装置であり、それは、例えば、超音波診断装置、情報処理装置、等によって構成される。超音波画像処理装置においては、ボリュームデータに基づくボリュームレンダリングにより、対象組織を立体的に表現した組織画像（三次元超音波画像）が生成される。

ボリュームレンダリングにおいては、通常、ボリュームデータに対して、複数のレイ（視線）が設定される。複数のレイは、組織画像を構成する複数の画素に対応する。個々のレイごとに、レンダリング演算が実行され、その結果として画素値が求められる。より詳しくは、個々のレイ上において、演算開始点から、奥行き方向に沿って、ボクセル単位でオパシティ（不透明度）を利用した出力光量演算（ボクセル演算）が繰り返し実行される。所定の終了条件が満たされた時点での出力光量つまり演算終了点での出力光量が画素値（輝度）とされる。例えば、レイに沿ったレンダリング演算の途中で、オパシティ累積値が１．０又はそれに近い所定値に到達した場合に、レンダリング演算が終了する（第１の終了条件）。また、出力光量演算が最終ボクセルまで到達した場合に、レンダリング演算が終了する（第２の終了条件）。上記のオパシティ累積値は、一般に、出力光量演算ごとにそこで利用されたオパシティを順次加算することによって求められるものである。出力光量演算式としては各種の演算式が知られている。複数のレイについて求められた複数の輝度が組織画像を構成する。

上記のような一般的なボリュームレンダリング法を発展させた特別なボリュームレンダリング法として、組織画像（輝度マップ）と共に深さ画像（深さマップ）を生成し、それらの画像に基づいてカラー組織画像（カラー三次元超音波画像）を生成するボリュームレンダリング法が知られている。その具体例を説明すると、レイ単位でのレンダリング演算の結果として、演算終了点での出力光量つまり輝度と、演算終了点の深さ（演算開始点から演算終了点までの距離）と、が特定される。これによって、複数のレイに対応する複数の輝度からなる組織画像と、複数のレイに対応する複数の深さからなる深さ画像と、が生成される。深さ画像は、典型的には、対象組織の表面（それに相当する面（例えば表面に沿った内面）を含む）の三次元形態を表す。組織画像のカラー処理に際して、画素ごとの深さに応じて画素ごとのカラー（例えばＲＧＢ値の組み合わせ）を変化させることにより、奥行き表現に優れたカラー組織画像が生成される。例えば、カラー組織画像上において、子宮内の胎児が暖色系の色で表現され、胎児の奥側に存在する子宮壁（胎盤を含む）が寒色系の色で表現される。このような表現により、カラー組織画像上において、胎児を子宮壁から区別することが容易となる。

特許文献１、２は、超音波画像処理において、演算終了点の深さに応じた色付けを提案するものである。なお、本願に関連する特許出願であって本願出願時点で未公開の特許出願として、特願２０１６−１３５１８８号、特願２０１７−４７０８５号、特願２０１７−５４７５１号、及び、特願２０１７−９２８５３号がある。

特許第５１１７４９０号公報 特許第５５２５９３０号公報

ボリュームレンダリングにより生成される組織画像及び深さ画像に基づいてカラー組織画像を生成する場合において、カラー処理条件をマニュアルで設定するのは面倒である。例えば、胎児を暖色系の色で表現し、且つ、胎児の奥側にある子宮壁を寒色系の色で表現したい場合、色分け基準をなす深さパラメータとして、胎児における最も深い位置にあるボクセルの深さ（あるいはそれに代わる特定の深さ）を指定することが望まれる。しかしながら、一般に、ユーザーにおいて深さパラメータの最適値を即座に指定することは困難であり、それ故、試行錯誤等を行って最適値を見出す必要がある。これはユーザーにとっての大きな負担となる。深さパラメータが適切に指定されない場合、胎児の一部が寒色系の色で表示されてしまい、観察者に不自然な印象を与えてしまう不都合が生じ、あるいは、胎児の奥側にある子宮壁の一部が胎児と同様に暖色系の色で表示されてしまい、胎児を子宮壁から視覚的に識別し難くなるという不都合が生じる。

本発明の目的は、カラー処理条件の設定に際し、ユーザーの負担を軽減し、あるいは、カラー処理条件を規定する深さパラメータを最適化できるようにすることにある。

実施形態に係る超音波画像処理装置は、三次元空間に対する超音波の送受波により得られたボリュームデータの解析により、前記三次元空間に含まれる組織中の注目組織について代表深さを求める解析手段と、前記ボリュームデータに基づいて、前記組織を立体的に表現した組織画像、及び、前記組織の表面の深さを表した深さ画像を生成する画像生成手段と、前記深さ画像に基づいて前記組織画像をカラー処理することによりカラー組織画像を生成する手段であって、前記代表深さに基づいて前記カラー処理の条件を定めるカラー処理手段と、を含む。

上記構成によれば、ボリュームデータに基づいて組織画像及び深さ画像が生成され、それらに基づいてカラー組織画像が生成される。カラー組織画像を生成する際のカラー処理の条件が注目組織についての代表深さに基づいて定められる。このように、注目組織についての深さに関する情報に基づいて、カラー処理の条件を適応的に設定できるから、ユーザーの負担を軽減でき、あるいは、注目組織に適合したカラー処理条件を設定し得る。

実施形態において、画像生成手段は、ボリュームデータに対するボリュームレンダリングにより組織画像及び深さ画像を生成する。例えば、ボリュームデータに対して複数のレイが設定され、個々のレイごとに、レイに沿って深さ方向にレンダリング演算が実行される。複数のレイに対応する複数のレンダリング演算結果から、組織画像及び深さ画像が構成される。深さ画像は、組織の表面を表した画像であり、ここで、組織の表面の概念には、表面に相当する面又は層が含まれ得る。

実施形態において、前記カラー処理手段は、前記深さ画像に基づいて、前記組織画像に基づく第１のカラー組織画像及び第２のカラー組織画像を重み付け合成することにより、前記カラー組織画像を生成し、前記カラー処理の条件は、前記重み付け合成の条件である。第１のカラー組織画像は、例えば暖色系の色によって表現された組織画像であり、第２のカラー組織画像は、例えば寒色系の色によって表現された組織画像である。それらの重み付け合成の条件が注目組織について求められた代表深さに従って設定される。例えば、代表深さが注目組織における最も深い位置を示す場合、注目組織の全体が第１のカラーによって表現され、注目組織の奥側に存在している非注目組織が第２のカラーによって表現される。そのような場合、注目組織と非注目組織とを視覚的に弁別し易くなる。

実施形態において、前記重み付け合成の条件は重み付け関数に従って定められ、前記重み付け関数は深さパラメータを含み、前記深さパラメータが前記代表深さに基づいて設定される。深さパラメータは、例えば、第１のカラーによる表現が優先される第１の深さ範囲と第２のカラーによる表現が優先される第２の深さ範囲との境界を指定するパラメータである。もっとも、深さパラメータは、重み付け関数における深さ方向に沿って変化する作用を規定する他のパラメータであってもよい。

実施形態において、前記解析手段は、前記ボリュームデータに含まれる注目部位データを探索する手段と、前記注目部位データと繋がり関係を有するデータとして注目組織データを抽出する手段と、前記注目組織データに基づいて前記代表深さを決定する手段と、を含む。この構成によれば、ボリュームデータから注目組織データを直接的に抽出することが困難であっても、注目組織データに含まれる注目部位データを探索し、その注目部位データに基づいて注目組織データを抽出することができる。その注目組織データに基づいて代表深さが決定される。

実施形態において、前記注目部位データを探索する手段は、２次元又は３次元のテンプレートを利用したテンプレートマッチング処理により前記注目部位データを探索する。テンプレートマッチング処理によれば、注目部位及びその周囲が有する構造的又は形態的な特徴を利用して注目部位データを探索することが可能である。

実施形態において、前記注目組織データは胎児の頭部に相当するデータであり、前記注目部位データは前記胎児の頭部に含まれる注目部位に相当するデータである。注目部位は頭部に含まれる顔パーツであって、例えば、目、鼻、口等である。

実施形態において、前記代表深さは、前記胎児の頭部に相当するデータに含まれる代表ボクセルの深さである。実施形態において、前記代表ボクセルは、前記胎児の頭部に相当するデータに含まれ且つ最も深い位置にあるボクセルである。この構成によれば、胎児の頭部の全体が特定のカラーによって表現され易くなる。

実施形態に係る画像処理方法は、三次元空間に対する超音波の送受波により得られたボリュームデータの解析により、前記三次元空間に含まれる組織中の注目組織について代表深さを求める工程と、前記ボリュームデータに対するボリュームレンダリングにより、前記組織を立体的に表現した組織画像、及び、前記組織の表面の深さを表した深さ画像を生成する工程と、前記深さ画像に基づいて前記組織画像をカラー処理することによりカラー組織画像を生成する工程であって、前記代表深さに基づいて前記カラー処理の条件を定める工程と、を含む。

上記画像処理方法は、ソフトウエアの機能として、又は、ハードウエアの機能として、実現され得る。前者の場合には、画像処理方法を実行するプログラムが、ネットワークを介して又は可搬型記憶媒体を介して、超音波診断装置、情報処理装置等の超音波画像処理装置へインストールされる。

本発明によれば、カラー処理条件の設定に際し、ユーザーの負担を軽減できる。あるいは、カラー処理条件を規定する深さパラメータを自動的に最適化できる。

実施形態に係る超音波画像処理装置を示すブロック図である。 ボリュームレンダリングにより生成される組織画像及び深さ画像を示す図である。 図１に示したカラー処理部の構成例を示す図である。 重み付け関数の一例を示す図である。 カラー組織画像の生成を説明するための概念図である。 図１に示した解析部の構成例を示す図である。 テンプレートの第１例を示す図である。 パーツ探索時の動作を示すフローチャートである。 ボリュームデータからの面データの切り出しを示す図である。 テンプレートの第２例を示す図である。 テンプレートの第３例を示す図である。 一連の画像処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

図１には、超音波画像処理装置としての超音波診断装置がブロック図として示されている。超音波診断装置は、病院等の医療機関に設置され、生体に対する超音波の送受波により得られた受信信号に基づいて超音波画像を形成及び表示する装置である。本実施形態においては、被検者は妊婦であり、胎児の頭部（特に顔）を立体的にしかもカラーで表現したカラー組織画像（カラー三次元超音波画像）が生成される。なお、組織画像は、物理的には、二次元の画像である。

図１において、超音波診断装置は、３Ｄプローブ１０を有する。３Ｄプローブ１０は、プローブヘッド、ケーブル及びコネクタによって構成される。コネクタが超音波診断装置本体に対して着脱可能に装着される。プローブヘッドが妊婦の腹部表面上に当接される。プローブヘッドは、二次元配列された複数の振動素子からなる２Ｄアレイ振動子を有している。２Ｄアレイ振動子によって超音波ビームが形成され、それが二次元的に電子走査される。これにより、子宮内の胎児（特にその顔面）を包含する三次元データ取込空間（三次元空間）が形成される。その三次元空間からボリュームデータが取得される。

２Ｄアレイ振動子に代えて、１Ｄアレイ振動子及びそれを機械走査する機構を設けてもよい。そのような構成を採用する場合、１Ｄアレイ振動子によりビーム走査面が形成され、１Ｄアレイ振動子の機械走査によりビーム走査面が走査され、その結果として、上記の三次元空間が形成される。

送受信部１２は、送信ビームフォーマー及び受信ビームフォーマーとして機能する電子回路である。送信時において、送受信部１２から２Ｄアレイ振動子へ複数の送信信号が供給される。これにより送信ビームが形成される。受信時において、生体内からの反射波が２Ｄアレイ振動子で受波される。これにより２Ｄアレイ振動子から送受信部１２へ複数の受信信号が並列的に出力される。送受信部１２は、複数のアンプ、複数のＡ／Ｄ変換器、複数の遅延回路、加算回路等を有する。送受信部１２において、複数の受信信号が整相加算（遅延加算）されて、受信ビームに相当するビームデータが形成される。

一般に、ボリュームデータは、複数の受信フレームデータにより構成され、各受信フレームデータは複数のビームデータにより構成される。各ビームデータは深さ方向に並ぶ複数のエコーデータにより構成される。

ビームデータ処理部１４は、各ビームデータに対して各種の処理を適用する手段であって、それは電子回路により構成される。各種の処理には、検波、対数変換、相関処理、フィルタ処理等が含まれる。ビームデータ処理部１４から出力されたビームデータを構成する個々のエコーデータが３Ｄメモリ１６に格納される。３Ｄメモリ１６は、生体内の三次元空間に対応したデータ記憶空間を有している。個々のエコーデータは、それが取得された三次元座標に対応するメモリ座標にマッピングされる。図示の構成例では、３Ｄメモリ１６への各エコーデータの書き込み時に、座標変換が実行されている。その座標変換が二段階で実行されてもよい。例えば、個々の受信フレームデータに対して二次元座標変換を実行して個々の断面データを生成し、それらをデータ記憶空間内に配置することにより、ボリュームデータを構成してもよい。

図示の構成例では、制御部３４が座標変換機能を発揮している。もちろん、座標変換用の専用プロセッサを設けてもよい。いずれにしても、３Ｄメモリ１６には、生体内の三次元空間から取得されたボリュームデータが格納される。

断層画像を表示する場合、３Ｄメモリ１６内のボリュームデータから切り出された断面データが表示処理部１８へ送られる。断面データはスライスデータであり、それは二次元配列された複数のエコーデータ（複数のボクセル値又は複数の画素値）からなるものである。複数の断層画像が同時に表示されてもよい。三次元画像を形成するために、３Ｄメモリ１６から読み出されたボリュームデータが画像処理部２０へ送られている。

画像処理部２０は、ボリュームデータを処理する処理手段である。画像処理部２０は、画像処理用プロセッサを含む電子回路である。画像処理部２０は、組織画像生成手段として機能する組織画像生成部２２、深さ画像生成手段として機能する深さ画像生成部２４、及び、解析手段として機能する解析部２６を有している。それらがそれぞれ専用プロセッサによって構成されてもよい。また、それらがそれぞれＣＰＵにおいて実行される動作プログラムの機能として実現されてもよい。組織画像生成部２２及び深さ画像生成部２４は、画像生成手段又はボリュームレンダリング手段を構成する。

具体的には、組織画像生成部２２は、ボリュームデータ又はボリュームデータに対して設定された三次元関心領域内の部分データ（それもボリュームデータと言い得る）に対して、仮想的な視点から出る複数のレイを設定し、レイ単位でレンダリング演算を実行する。具体的には、レイに沿って、演算開始点から奥行き方向に、ボクセル単位で、出力光量演算を繰り返し実行する。

出力光量演算においては、例えば、以下の式(1)が用いられる。以下の(2)式は、ｉ番目のボクセルについての入力光量Ｃ_INiを定義する式である。(1)式及び(2)式はいずれも例示である。出力光量演算式として、多様な式が知られている。

上記の(1)式において、Ｃ_OUTiはｉ番目のボクセルについての光量演算結果つまり出力光量を表している。C_INiは、上記のように、ｉ番目のボクセルについての入力光量を表しており、実際には、それはｉ−１番目のボクセルの出力光量である。Ｏ_iはｉ番目のボクセルについて定められたオパシティ（不透明度）である。ｅ_iはｉ番目のボクセルについてのエコー値（ボクセル値）である。オパシティ関数（又はオパシティカーブ）に従って、ｅiからＯiが定められる。

レンダリング演算においては２つの終了条件が定められている。あるレイに沿ってレンダリング演算を行っている過程において、第１に、オパシティ累積値が１．０又はそれに近い所定値に到達した場合に当該レイについてのボクセル演算が終了となる（第１の終了条件）。第２に、当該レイ上の最終ボクセルについてボクセル演算が完了した場合に当該レイについてのボクセル演算が終了となる（第２の終了条件）。複数のレイに対応する複数の画素値によって組織画像（輝度マップ）が構成される。輝度画像が平滑化処理されてもよい。上記２つの終了条件に代えて他の１又は複数の終了条件が定められてもよい。また、上記２つの終了条件に加えて他の１又は複数の終了条件が定められてもよい。

深さ画像生成部２４は、レイごとに、終了条件が満たされた時点で、ボクセルの深さ（つまり演算開始点から演算終了点までの距離）を特定する。複数のレイに対応する複数の深さによって深さ画像が構成される。深さ画像は、概ね、組織（胎児の顔）の表面又はそれに相当する面（例えば表層内の面）の三次元形状を表すものである。オパシティ関数の形態及びオパシティ累積値と比較される閾値の大きさによって、深さ画像の具体的な内容は変化する。例外的には、三次元関心領域又はボリュームデータの底面の一部が深さ画像に現れ得る。

解析部２６は、パーツ探索手段、顔データ抽出手段及び代表深さ決定手段として機能する。ここで、画像化対象と注目組織として定義した場合、パーツは注目組織に属する注目部位（探索対象部位）と言い得る。具体的には、解析部２６は、ボリュームデータ内において、胎児の顔に含まれる特定のパーツ（目、鼻、口等）及びその周囲を模擬したテンプレートを利用して、顔データに含まれる特定のパーツデータを探索する。例えば、目及びその周囲に相当するデータを探索する。続いて、解析部２６は、ボリュームデータ内において、目データとの繋がり関係を利用して顔データを抽出する。その際には、三次元ラベリング処理、三次元ペイント処理、等が利用される。更に、解析部２６は、顔データにおいて、視点から見て最も深い位置にあるボクセル、つまりもっとも大きな距離を有するボクセルを特定し、その注目ボクセルの深さを代表深さとして決定する。この代表深さは、後述する深さパラメータの自動設定において利用されるものである。

メモリ２８には、複数のパーツに対応した複数のテンプレートが格納されている。個々のテンプレートは、探索対象となるパーツを模擬した二次元データ又は三次元データである。テンプレートを利用して胎児のサイズ（例えば顔のサイズ）や胎児の位置（例えば顔の位置）が特定されてもよい。更には、胎児の向き（例えば顔の向き）が特定されてもよい。テンプレートを利用したマッチング処理（テンプレートマッチング処理）においては、テンプレートの位置及びサイズがそれぞれ段階的に変更される。場合によっては、テンプレートの向きも段階的に変更される。

なお、顔データ中の最も深い位置にあるボクセルの深さではなく、探索したパーツに含まれる特定のボクセルの深さ、探索したパーツについての平均深さ、顔データの平均深さ、その平均深さから一定距離離れた深さ、等を代表深さとして定めるようにしてもよい。いずれにしても、顔データ又はパーツデータに応じて深さパラメータが定められれば、ユーザーの負担を軽減できる。

表示処理部１８は、断層画像形成手段、グラフィック画像生成手段、画像合成手段、カラー処理手段、等として機能する。表示処理部１８は、専用のプロセッサで実現され、あるいは、ＣＰＵ上で実行される動作プログラムが発揮する機能として実現される。表示処理部１８は、カラー処理手段として機能するカラー処理部３０を有する。

カラー処理部３０は、組織画像に基づいてフロントカラー組織画像及びバックカラー組織画像を生成する機能と、深さ画像に従ってフロントカラー組織画像及びバックカラー組織画像を重み付け合成してカラー組織画像を生成する機能と、を有する。フロントカラー組織画像は第１の仮のカラー組織画像であり、本実施形態において、フロントカラーは胎児を表現するためのカラーであって例えば暖色系のカラーである。バックカラー組織画像は第２の仮のカラー組織画像であり、本実施形態において、バックカラーは胎児の奥側に存在する子宮壁を表現するためのカラーであって例えば寒色系のカラーである。フロントカラー組織画像は複数の画素に対応した複数のフロントカラー画素値からなるものであり、バックカラー組織画像は複数の画素に対応した複数のバックカラー画素値からなるものである。なお、フロントカラー組織画像及びバックカラー組織画像を実際に生成することなく、組織画像及び深さ画像から直接的にカラー組織画像が生成されてもよい。

フロントカラー組織画像及びバックカラー組織画像の重み付け合成は、重み付け関数（色付け関数）に従って実行される。重み付け関数は、本実施形態において、深さパラメータを有する。深さパラメータは、本実施形態において、フロントカラーによる表現が優先される手前側の深さ範囲とバックカラーによる表現が優先される奥側の深さ範囲との間の境界を規定するパラメータである。もっとも、これは例示であり、他の条件を既定する深さパラメータを採用してもよい。本実施形態では、深さパラメータが注目組織についての代表深さに従って自動的に適応的に設定される。具体的には、代表深さが深さパラメータに代入される。これにより、ユーザーの負担が軽減され、また注目組織に応じて深さパラメータを最適化することが可能となる。

上記重み付け合成により生じたカラー組織画像が表示器３２に表示される。表示器３２は、ＬＣＤ又は有機ＥＬデバイス等によって構成される。ちなみに、カラー組織画像において、個々の画素の輝度値は演算終了時点での出力光量によって定められる。視点に近い組織は明るく表現され、視点から遠い組織は暗く表現される。

制御部３４は、図１に示されている各構成を制御する制御手段として機能し、ＣＰＵ及び動作プログラムにより構成される。制御部３４には操作パネル３６が接続されている。操作パネル３６は、トラックボール、スイッチ、キーボード等の多様な入力デバイスを有する。

図２には、組織画像及び深さ画像の生成方法が模式的に示されている。図示の例では、三次元関心領域（ボリュームデータ）４０に対して、互いに並行に複数のレイ４２が設定される。Ｘ−Ｙ−Ｚは直交座標系を表している。Ｚ方向が深さ方向である。符号４４で示す矢印は視点から出る投影方向を示している。その方向に対して複数のレイ４２が平行に設定されている。なお、ボリュームデータに対してその周囲における任意の位置に視点を設定することが可能である。

符号４０Ａは演算開始面を示している。それは平面として描かれている。実際には演算開始面４０Ａの形状等を自在に変更することが可能である。演算開始面４０Ａとは別に、深さ（距離）を定義するための基準面を定めるようにしてもよい。個々のレイ４２上において、演算開始面４０Ａ上の演算開始点から奥行き方向（図示の例ではＺ方向）へレンダリング演算が実行される。具体的には、レイ４２上に存在するボクセルごとに（又は補間演算で生成されたボクセルごとに）、上記(1)式に示した出力光量演算が繰り返し実行される。出力光量演算の都度、オパシティが累積加算される。上述したいずれかの終了条件が満たされた時点で、出力光量演算が終了し、つまり、レンダリング演算が終了する。これによって、レイ４２ごとに演算終了点４８が特定される。その演算終了点４８は例えば胎児の表面（又は表層内のある深さ）に相当する。レンダリング演算終了時点での出力光量が輝度としてメモリ上にマッピングされる。複数のレイ４２に対応する複数の輝度のマッピング結果として組織画像５２が構成される。それは白黒のボリュームレンダリング画像である。

一方、レイ単位で、演算終了点４８の深さ（演算開始点から演算終了点までの距離）がメモリ上にマッピングされる。複数のレイ４２に対応する複数の距離のマッピング結果として深さ画像５０が構成される。グレースケール５４として示されているように、図２においては、最小深さから最大深さまでが輝度の変化として表現されている。もちろん、これは例示に過ぎないものである。組織画像５２及び深さ画像５０は、互いに同じ二次元画素配列を有する。組織画像５２及び深さ画像５０に基づいて、カラー組織画像が生成される。

図３には、図１に示したカラー処理部３０の構成例が示されている。カラー処理部３０は、２つの変換テーブル７０，７２と、重み付け合成器７４と、を有している。第１変換テーブル７０は、フロントカラー変換テーブルであり、輝度Ｉに応じて、胎児表現用カラーとしてのフロントカラー（ＲＧＢ値）Ｃｆを決定するルックアップテーブルである。例えば、フロントカラーとして、温かみを感じられるオレンジ系のカラーが採用される。視点に近い側に存在する組織がそのようなカラーによって表現される。第２変換テーブル７２は、バックカラー変換テーブルであり、輝度Ｉに応じて、子宮壁表現用カラーとしてのバックカラー（ＲＧＢ値）Ｃｂを決定するルックアップテーブルである。例えば、子宮壁表現用カラーとして、胎児表現用カラーへの混色によって遠近感を増大できる、あるいは、胎児から子宮壁を視覚的に識別するための、ブルー系のカラーが採用される。第１変換テーブル７０及び第２変換テーブル７２はそれぞれ画素単位で動作するものである。第１変換テーブル７０から順次出力される複数のカラー画素値がフロントカラー組織画像を構成し、第２変換テーブル７２から順次出力される複数のカラー画素値がバックカラー組織画像を構成する。

重み付け合成器７４は、重み付け関数（色付け関数）７６を有する。重み付け関数７６は、深さＺから規定される２つの重みをカラーＣｆ、Ｃｂに与えた上で、それらを加算することにより、合成後のカラーＣを求めるものである。重み付け関数７６は、深さパラメータＺｓと範囲パラメータΔＺとを有し、それらに代入される値を操作することにより、重み付け関数７６の作用が変更される。

パラメータ設定部７８は、代表深さＺｒに基づいて、深さパラメータＺｓを自動的に設定する。具体的には、代表深さＺｒを深さパラメータＺｓに代入する。上記のように、深さパラメータＺｓの変更により、フロントカラーにより優先的に表現する深さ範囲とバックカラーにより優先的に表現する深さ範囲との境界を深さ方向に変更し得る。範囲パラメータΔＺは、必要に応じて、マニュアルで調整される。なお、代表深さＺｒ等に基づいて、範囲パラメータΔＺが自動的に設定されてもよい。重み付け合成の結果、複数のカラー画素値からなるカラー組織画像が生成される。なお、輝度Ｉ及び深さＺの組み合わせから、直ちにカラーＣが特定されてもよい。もっとも、そのような態様をルックアップテーブルで実現する場合、その構成がかなり複雑になる。これに対し、図３に示した構成によれば、構成を簡易化できる。

図４には、重み付け関数の一例が示されている。重み付け関数は、Ｃｆに対する重みを規定する関数８０と、Ｃｂに対する重みを規定する関数８２と、からなる。横軸は深さＺを示している。縦軸は重みを示している。

０からＺ１までの範囲においては、Ｃｆに対する重みが１．０とされており、Ｃｂに対する重みが０とされている。Ｚ１からＺ２までの範囲においては、Ｃｆに対する重みが１．０から０まで変化しており、Ｃｂに対する重みが０から１．０まで変化している。Ｚ２からＭａｘＺの範囲においては、Ｃｆに対する重みが０とされており、Ｃｂに対する重みが１．０とされている。ここで、Ｚｓは、Ｚ１とＺ２との間の中点であり、図示の例では、２つの関数８０，８２のクロス点に相当している。ΔＺはＺ１とＺ２の間の範囲である。０からＺｓまでの範囲がフロントカラーによるカラー表現が優先される深さ範囲であり、ＺｓからＭａｘＺまでの範囲がバックカラーによるカラー表現が優先される深さ範囲である。

深さパラメータＺｓを増減すると、関数８０，８２が横方向にシフトすることから、深さパラメータZsをシフトパラメータと称することもできる。範囲パラメータΔZを増減すると、カラー組織画像において重み１．０が与えられた２つのカラーの存在割合が変化することから、範囲パラメータΔZをコントラストパラメータと称することもできる。

深さパラメータＺｓとして、顔データに含まれる最も深い位置にあるボクセルの深さが設定された場合、そこから手前側（視点側）に存在する組織については専らフロントカラーによって表現され、そこから奥側（非視点側）に存在する組織については専らバックカラーによって表現される。よって、胎児の顔が不自然なカラーで表現されてしまう問題を回避でき、かつ、奥側にある子宮壁が胎児同様の色で表現されてしまう問題を回避できる。つまり、深さ方向における胎児の顔の存在範囲に応じて、深さパラメータＺｓを最適化できる。なお、例えば、深さパラメータとしてＺ２を指定するパラメータを採用してもよい。

図５には、本実施形態に係るボリュームデータ処理の全体が模式的に描かれている。ボリュームデータ２００には、胎児データ（顔データ）２０２と子宮壁データ２０４とが含まれる。ボリュームデータ２００に対して複数のレイ２０６が設定され、レイ単位でレンダリング演算が実行される。その結果、組織画像２１４及び深さ画像２１６が生成される。一方、後に詳述するように、ボリュームデータ２００に対して、テンプレート２１０を利用したパーツ探索が実行される。これにより、顔データに含まれる注目データ（例えば、目及びその周囲に相当するデータ、口及びその周囲に相当するデータ）が特定される。続いて、ボリュームデータ内において、注目部位データとの繋がり関係を利用して、注目部位データを含む注目組織データとしての顔データが抽出される。更に、その顔データに含まれる最も深いボクセル２１２が特定される。そのボクセル２１２が存在する深さが代表深さＺｒとされる。その代表深さＺｒが深さパラメータＺｓに代入される。次に、組織画像２１４からフロントカラー組織画像２１８及びバックカラー組織画像２２０が生成される。符号２２２で示すように、それらの画像２１８、２２０が深さ画像２１６に従って重み付け合成され、これによりカラー組織画像２２４が生成される。重み付け合成２２２においては、深さパラメータＺｓを有する重み付け関数が利用される。

図６には、図１に示した解析部２６の構成例が示されている。解析部２６は、テンプレートマッチング部９４、顔データ抽出部９６、及び、代表深さ決定部９８を有している。テンプレートマッチング部９４は、テンプレート９２を利用してボリュームデータ９０に含まれる注目部位データ（特定のパーツデータ）を探索するモジュールである。顔データ抽出部９６は、ボリュームデータの中において、注目部位データとの繋がり関係を利用して、それを包含する顔データを抽出する。代表深さ決定部９８は、抽出された顔データにおける最も深いボクセルを特定し、その深さを代表深さＺｒとして定義する。なお、顔データが子宮壁データに接触している場合には顔データを抽出することが困難となる。その場合には、注目部位データの深さから、注目組織データについての代表深さを定めてもよい。

次に、図７及び図８に基づいてテンプレートマッチング処理について説明する。図７において、母体内の三次元空間から、ボリュームデータ１００が取得される。ボリュームデータ１００には、胎児データ、羊水データ、子宮壁データ等が含まれる。ボリュームデータ１００から順次切り出された面データ（スライスデータ）１０２Ａが順次、処理対象となる。符号１０３で示すように、面データ１０２に対して縮小処理が施されてもよい。

処理対象となった面データ１０２Ａは、図示の例において、概ね高い輝度をもった子宮壁データ１０６、概ね低い輝度をもった羊水データ１０８、及び、概ね高い輝度をもった頭部データ（顔データ）１０４を含んでいる。頭部データ１０４の中には、周囲よりも輝度が落ち込んだ円形の眼球部分１１６が含まれる。階調数は例えば２５６であり、その場合、輝度は０から２５５の間で変化する。

テンプレート１１０は、図示の例において、二次元テンプレートであり、それは矩形の形態を有している。具体的には、テンプレート１１０は円形領域１１２と周囲領域１１４とからなる。円形領域１１２は眼球を模擬した領域であり、周囲領域１１４は眼球周囲組織を模擬した領域である。円形領域１１２が有する輝度は低く、例えば０である。周囲領域１１４が有する輝度は高く、例えば１００である。本願明細書上に記載する各数値はいずれも例示である。

個々の面データ１０２Ａにおける各位置において、テンプレートを利用したパターンマッチングが実行される。具体的には、面データ１０２Ａに対してテンプレート１１０をラスター走査させながら、各走査位置において面データ１０２Ａとテンプレート１１０との間での類似度合い（評価値）が計算される。面データ１０２Ａごとに最も良い評価値が特定され、その評価値及びそれが求められた時点でのテンプレート１１０の三次元座標情報が一時的に記憶される。すべての面データ１０２Ａに対して上記処理が適用された後、記憶されていた複数の評価値の中から、最良評価値が判定される。最良評価値は、右目又は左目に対応する。最良評価値に対応する三次元座標情報（例えば、最良マッチング状態でのテンプレート１１０の周囲領域１１４）が顔データ抽出に際しての出発点とされる。

パターンマッチング処理においては、注目する部位（又は部位種別）ごとに専用のテンプレートが用意される。後述するように、複数の部位を同時に特定するテンプレートを利用することも可能である。必要に応じて、テンプレートのサイズ、輝度、回転角度、等を変化させながら、パターンマッチングが遂行される。二値化テンプレートを利用することも可能である。パターンマッチングに先立って面データに対して間引き処理を施すようにしてもよい。図７に示したテンプレート１１０は基本的に角度依存性を有していないので、その回転は不要である。上記パターンマッチングでは二次元画像に対して二次元テンプレートが適用されるので、処理時間を短縮化できる。もちろん、後に示すように、ボリュームデータに対して三次元テンプレートを適用するようにしてもよい。

図８には、テンプレートマッチング処理が流れ図として示されている。Ｓ３０では、テンプレートサイズを規定する変数Ｓに初期値Ｓ０が代入される。Ｓ３２では、変数Ｓに従って、テンプレートサイズが設定される。Ｓ３４では、Ｚ方向（面データ並び方向）の位置を規定する変数Ｚに初期値Ｚ０が代入され、Ｓ３６で位置Ｚにおいて面データの切り出しが行われる。Ｓ３８及びＳ４０では、Ｙ方向の位置及びＸ方向の位置を規定する変数Ｙ，Ｘにそれぞれ初期値Ｙ０，Ｘ０が代入される。Ｓ４２では、切り出されたＺの位置にある面データにおける座標（Ｘ，Ｙ）の位置に、上記サイズをもったテンプレートが設定される。Ｓ４４ではパターンマッチングが実行され、つまり評価値が演算される。その評価値が三次元座標情報と共に記録される。

Ｓ４６において、ＸがＸmaxに到達していないと判断された場合、Ｓ４８においてＸが１つインクリメントされた上で、Ｓ４２以降の工程が繰り返し実行される。Ｓ４６において、ＸがＸmaxに到達していると判断された場合、Ｓ５０が実行される。Ｓ５０において、ＹがＹmaxに到達していないと判断された場合、Ｓ５２においてＹが１つインクリメントされた上で、Ｓ４０以降の工程が繰り返し実行される。Ｓ５０において、ＹがＹmaxに到達していると判断された場合、Ｓ５４が実行される。Ｓ５４において、ＺがＺmaxに到達していないと判断された場合、Ｓ５６においてＺが１つインクリメントされた上で、Ｓ３６以降の工程が繰り返し実行される。Ｓ５４において、ＺがＺmaxに到達していると判断された場合、Ｓ５８が実行される。Ｓ５８において、ＳがＳmaxに到達していないと判断された場合、Ｓ６０においてＳが１つインクリメントされた上で、Ｓ３２以降の工程が繰り返し実行される。Ｓ５８において、ＳがＳmaxに到達していると判断された場合、Ｓ６２が実行される。Ｓ６２では、最良評価値となった時点でのテンプレートの三次元座標情報が特定される。図示の例ではＳ６２が最終工程である。

図８に示した流れ図には示されていないが、更に、テンプレートの輝度を段階的に可変してもよい。あるいは、テンプレートの向き又は姿勢を段階的に可変してもよい。テンプレートの運動にｎ個の自由度がある場合、ｎ個のパラメータを個別的に段階的に可変させてもよい。

次に、図９及び図１０に基づいてテンプレートマッチング処理の第２例について説明する。図９に示すボリュームデータ１２０において、位置及び角度を変化させながら、断面１２２が繰り返し設定される。これにより、断面１２２ごとに断面データ１２８が切り出される（符号１２４参照）。演算量を削減するため、断面データ１２８の切り出しに先立ってボリュームデータ１２０が縮小処理され、あるいは、切り出された断面データ１２８が縮小処理される（符号１２６参照）。

図１０には１つの断面データが示されている。その断面データには胎児頭部像１３０が含まれる。胎児頭部像１３０は、図示の例において、胎児頭部の水平断面（頭部中心軸に平行な断面であって正面を向く断面）に相当するものである。胎児頭部像１３０には、３つの低輝度部分が含まれ、具体的には、左目部分（低輝度部分）１４２、右目部分（低輝度部分）１４４及び鼻腔部分（低輝度部分）１４６が含まれる。それらの部分１４２，１４４，１４６はそれぞれ、ほぼ円形の領域である。左目部分１４２及び右目部分１４４のサイズよりも、鼻腔部分１４６のサイズの方がやや小さい。鼻腔部分１４６は、左目部分１４２及び右目部分１４４を結ぶラインよりも、口の側にシフトした位置にある。

それら３つの部位を同時に探索するためのツールがテンプレート１３２である。テンプレート１３２は、３つの円形領域１３４，１３６，１３８とそれらの周囲の領域とからなるイメージである。断面の位置、断面の角度、テンプレート１３２の位置、テンプレート１３２のサイズ、及び、テンプレート１３２の傾斜角度をそれぞれ独立して可変させながら、パターンマッチングが繰り返し実行される。最良相関値を得た時点でのテンプレート１３２の三次元座標、傾斜角度、及び、サイズ（倍率）が特定される。図１０においては、２つの目に相当する低輝度部分及び鼻腔に相当する低輝度部分に対して適合した（つまり最良相関値を生じさせた）テンプレートが符号１４０で示されている。その時点でのテンプレート１４０のサイズは胎児の顔の大きさを表し、それが必要に応じてサイズ情報として利用される。具体的には、２つの目の間の距離をサイズ情報として利用してもよい。

図１１に示すように、三次元テンプレート１５０を利用して、ボリュームデータ１４８に含まれる注目部位データを探索するようにしてもよい。注目部位データが検出された場合、その注目部位データに基づいて三次元ラベリング処理その他の手法により顔データが抽出される。顔データに基づいて代表深さが特定される。その代表深さに基づいて深さパラメータが自動的に設定される。

図１２には、図１に示した装置の動作例が示されている。

Ｓ７６では、超音波ビームが二次元走査され、ボリュームデータが取得される。Ｓ７８では、複数の注目部位に対応した複数のテンプレートが利用されつつ、ボリュームデータに含まれる複数の注目部位データが探索される。それらの全部又は一部に基づいて、繋がり関係を利用して顔データ（頭部データ）が抽出される。Ｓ８０では、ボリュームデータに対して複数のレイが設定され、レイごとにレンダリング演算を実行することにより、組織画像及び深さ画像が生成される。その過程では、注目部位に応じてレンダリング条件が最適化される。例えば、注目部位に応じて、オパシティカーブが選択され、また、平滑化条件が変更される。これにより組織画像等の画質を高められる。

Ｓ８２においては、Ｓ７８で抽出された顔データに基づいて代表深さが特定される。Ｓ８４では、代表深さに基づいて重み付け関数が定義される。つまり、代表深さに基づいて重み付け関数に含まれる深さパラメータが設定される。Ｓ８６では、組織画像からフロントカラー組織画像及びバックカラー組織画像が生成され、それらを重み付け合成することにより、カラー組織画像が生成される。

Ｓ８８では、サイズ情報に基づいてカラー組織画像の拡大率が定められ、また、目の位置等に基づいてズーム範囲の中心が特定される。ズーム範囲に対して、拡大率に基づくズーム処理を適用することにより、表示画像が生成される。Ｓ９０ではその表示画像が画面上に表示される。

以上のように、テンプレートマッチング処理を様々な目的に利用することができる。顔データを直接的に特定することは一般に困難であるが、顔データに含まれる（比較的に特定容易な）パーツデータに注目し、まずそれを抽出することにより、そのパーツデータから顔データを抽出することは比較的に容易である。顔データが子宮壁データに繋がっている場合には、顔データを代表するデータとしてパーツデータを利用することも可能である。上記実施形態によれば、カラー処理条件を規定する深さパラメータの設定に際し、ユーザーの負担を軽減でき、また、その深さパラメータを最適化できる。

上記の実施形態では、注目組織データから１つの代表深さが特定され、それが利用されていたが、注目組織データから複数の代表深さが特定され、それらが利用されるようにしてもよい。

２０ 画像処理部、２２ 組織画像生成部、２４ 深さ画像生成部、２６ 解析部、３０ カラー処理部、５０ 組織画像、５２ 深さ画像、７０ 第１変換テーブル、７２ 第２変換テーブル、７４ 重み付け合成器、７６ 関数（重み付け関数）、７８ パラメータ設定部、９４ テンプレートマッチング部、９６ 顔データ抽出部、９８ 代表深さ決定部。

Claims (9)

1. 三次元空間に対する超音波の送受波により得られたボリュームデータの解析により、前記三次元空間に含まれる組織中の注目組織について代表深さを求める解析手段と、
   前記ボリュームデータに基づいて、前記組織を立体的に表現した組織画像、及び、前記組織の表面の深さを表した深さ画像を生成する画像生成手段と、
   前記深さ画像に基づいて前記組織画像をカラー処理することによりカラー組織画像を生成する手段であって、前記代表深さに基づいて前記カラー処理の条件を定めるカラー処理手段と、
   を含むことを特徴とする超音波画像処理装置。
2. 請求項１記載の装置において、
   前記カラー処理手段は、前記深さ画像に基づいて、前記組織画像に基づく第１のカラー組織画像及び第２のカラー組織画像を重み付け合成することにより、前記カラー組織画像を生成し、
   前記カラー処理の条件は前記重み付け合成の条件である、
   ことを特徴とする超音波画像処理装置。
3. 請求項２記載の装置において、
   前記重み付け合成の条件は重み付け関数に従って定められ、
   前記重み付け関数は深さパラメータを含み、
   前記深さパラメータが前記代表深さに基づいて設定される、
   ことを特徴とする超音波画像処理装置。
4. 請求項１記載の装置において、
   前記解析手段は、
   前記ボリュームデータに含まれる注目部位データを探索する手段と、
   前記注目部位データと繋がり関係を有するデータとして注目組織データを抽出する手段と、
   前記注目組織データに基づいて前記代表深さを決定する手段と、
   を含むことを特徴とする超音波画像処理装置。
5. 請求項４記載の装置において、
   前記注目部位データを探索する手段は、２次元又は３次元のテンプレートを利用したテンプレートマッチング処理により前記注目部位データを探索する、
   ことを特徴とする超音波画像処理装置。
6. 請求項４記載の装置において、
   前記注目組織データは胎児の頭部に相当するデータであり、
   前記注目部位データは前記胎児の頭部に含まれる注目部位に相当するデータである、
   ことを特徴とする超音波画像処理装置。
7. 請求項６記載の装置において、
   前記代表深さは、前記胎児の頭部に相当するデータに含まれる代表ボクセルの深さである、
   ことを特徴とする超音波画像処理装置。
8. 請求項７記載の装置において、
   前記代表ボクセルは、前記胎児の頭部に相当するデータに含まれ且つ最も深い位置にあるボクセルである、
   ことを特徴とする超音波画像処理装置。
9. 超音波画像処理装置において超音波画像処理方法を実行するためのプログラムであって、
   前記超音波画像処理方法が、
   三次元空間に対する超音波の送受波により得られたボリュームデータの解析により、前記三次元空間に含まれる組織中の注目組織について代表深さを求める工程と、
   前記ボリュームデータに対するボリュームレンダリングにより、前記組織を立体的に表現した組織画像、及び、前記組織の表面の深さを表した深さ画像を生成する工程と、
   前記深さ画像に基づいて前記組織画像をカラー処理することによりカラー組織画像を生成する工程であって、前記代表深さに基づいて前記カラー処理の条件を定める工程と、
   を含むことを特徴とするプログラム。