JP4299015B2 - 超音波画像処理装置 - Google Patents
超音波画像処理装置 Download PDFInfo
- Publication number
- JP4299015B2 JP4299015B2 JP2003023185A JP2003023185A JP4299015B2 JP 4299015 B2 JP4299015 B2 JP 4299015B2 JP 2003023185 A JP2003023185 A JP 2003023185A JP 2003023185 A JP2003023185 A JP 2003023185A JP 4299015 B2 JP4299015 B2 JP 4299015B2
- Authority
- JP
- Japan
- Prior art keywords
- movement amount
- frame
- rotational movement
- calculating
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004364 calculation method Methods 0.000 claims description 148
- 238000000034 method Methods 0.000 claims description 26
- 239000000523 sample Substances 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims 3
- 230000003252 repetitive effect Effects 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、超音波画像処理装置に関し、特にパノラマ画像を形成する超音波画像処理装置に関する。
【０００２】
【従来の技術】
超音波探触子を生体表面上で移動させながら得られる複数の二次元超音波画像を位置合わせして合成することでパノラマ画像を形成する装置が知られている。
【０００３】
従来の装置では、連続する二つのフレームの一つを複数のサブイメージ領域に分割し、このサブイメージ領域の局部移動ベクトルから包括的イメージ移動を推定評価し、この包括的イメージ移動に基づいて二つのフレームを合成することでパノラマ画像を形成している（特許文献１参照）。
【０００４】
また、他の従来の装置では、連続する二つのフレームについて指定領域内の垂直方向の投影分布をそれぞれ求め、両フレームの投影分布のマッチングを行うことでフレーム間の水平方向の移動量を評価している。さらに、指定領域を垂直方向に分割して分割領域ごとに水平方向の移動量を求めて、分割領域間の移動量の差からフレーム間の回転移動量を評価している（特許文献２参照）。
【０００５】
【特許文献１】
特開平８−２８０６８８号公報
【特許文献２】
特開２０００−２１７８１５号公報
【０００６】
【発明が解決しようとする課題】
一般的に、相関法などによる画像間のマッチング演算は、その演算量が膨大であるため処理時間が大きくなる。特許文献１に記載の装置のように、画像を分割して局部の移動ベクトルを求めるには、各局部ごとにマッチング演算を行う必要があるため演算量がさらに膨大になる。従って、パノラマ画像を形成するための演算処理時間が大きくなり、リアルタイムでパノラマ画像を形成するのが困難であった。
【０００７】
また、特許文献２に記載の装置は、フレーム間における水平方向の移動量を評価しているものの垂直方向の移動量を評価していない。従って、超音波探触子の移動が、垂直方向への移動を伴う場合に画像合成精度上の問題があった。
【０００８】
本発明はこのような従来の装置における問題点に鑑みてなされたものであり、本発明の目的は、パノラマ画像形成における画像合成性能を向上させることにある。
【０００９】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明に係る超音波画像処理装置は、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段とを有するものとする。
【００１０】
上記構成において、超音波探触子は三次元超音波画像を取得し得る二次元アレイ探触子でもよく、あるいは、二次元超音波画像取得用の探触子でもよい。三次元超音波画像の場合、フレームとは立体的なボリュームを意味する。また、一方フレーム上の参照領域の並進移動や回転移動は、他方フレームに対する相対的な移動である。また、対応領域は、他方フレーム上における参照領域の各移動位置に対応した参照領域と略同一形状の領域である。そして参照領域は、並進移動量演算手段と回転移動量演算手段において同一の領域でもよく、あるいは、異なる領域であってもよい。上記構成によれば、既に演算された並進移動量が考慮された状態で参照領域を逐次回転移動させつつ回転移動量のマッチング演算が行われている。このため、不必要な並進移動位置における回転移動量のマッチング演算が無くなり、回転移動量のマッチング演算の演算量を少なくすることができ、延いては移動量演算の演算量を少なくすることができる。
【００１１】
望ましくは、前記並進移動量および前記回転移動量の各移動量演算はそれぞれ少なくとも一回実行され、各移動量演算はそれ以前に演算された移動量に基づく合成位置関係にある対応領域において実行されるものとする。さらに 望ましくは、前記並進移動量および前記回転移動量の各移動量演算はそれぞれ複数回実行されるものとする。上記構成によれば、各移動量演算がそれぞれ複数回実行されるため、移動量の演算結果がより精度の高いものになる。
【００１２】
望ましくは、前記マッチング演算は、前記参照領域内の複数画素データと前記対応領域内の複数画素データとの相関関係に基づいた演算であるものとする。または、前記マッチング演算は、最小和絶対差（ＭＳＡＤ）法に基づいた演算であるものとする。
【００１３】
望ましくは、前記並進移動量演算手段は、設定されたサーチ領域内において前記参照領域を逐次並進移動させるものとする。上記構成において、サーチ領域は、参照領域の並進移動位置を見越した上で設定される。例えば、参照領域の周辺を取り囲むように設定される。上記構成によれば、サーチ領域内においてマッチング演算が行われるため、演算精度を確保しつつ、フレーム全体を対象とするマッチング演算に比べて演算量を少なくすることができる。
【００１４】
望ましくは、前記サーチ領域は、各移動量演算の回数を重ねるに従って小さい領域に設定されるものとする。さらに望ましくは、複数回実行される前記並進移動量および前記回転移動量の演算終了判定を行う繰り返し終了判定手段をさらに有するものとする。上記構成によれば、繰り返し終了のための判定条件を適宜設定することができるため、演算精度および演算速度のバランスを考慮した演算が可能になる。
【００１５】
望ましくは、前記繰り返し終了判定手段は、前記最小和絶対差（ＭＳＡＤ）法による演算において算出されるＭＳＡＤ値に基づいて前記演算終了判定を行うものとする。さらに望ましくは、前記繰り返し終了判定手段は、前記ＭＳＡＤ値の変化率に基づいて前記演算終了判定を行うものとする。さらに望ましくは、前記繰り返し終了判定手段は、前記並進移動量および前記回転移動量の演算回数が所定回数に達した場合に演算終了と判定するものとする。
【００１６】
望ましくは、前記各移動量演算ごとの参照領域の少なくとも一つは矩形領域であるものとする。さらに望ましくは、前記回転移動量演算手段における参照領域は円状領域であるものとする。上記構成において、円状領域は、円中心部が刳り貫かれたドーナツ形状領域や、円周部分のみのリング状領域や部分円状の円弧領域でもよい。
【００１７】
（２）また、上記目的を達成するために、本発明に係る超音波画像処理装置は、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、前記二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の前記回転移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段とを有するものとする。
【００１８】
（３）また、上記目的を達成するために、本発明に係るコンピュータのプログラムは、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成するためのコンピュータのプログラムであって、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段、前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段としてコンピュータを機能させるものとする。
【００１９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
【００２０】
図１には、本発明に係る超音波画像処理装置の好適な実施形態が示されており、図１はその全体構成を示すブロック図である。探触子１０は、生体体表に当接されて目標組織、例えば血管を含む生体内の空間に対して超音波を送受波する。送受信部１２は、探触子１０を介して超音波を送受波することで、生体内からエコーデータを取得する。エコーデータの取得は、探触子１０を生体体表上で例えば血管に沿って移動しながら行われる。従って送受信部１２は探触子１０の生体体表上の位置に対応するフレーム単位でエコーデータを取得する。なお、探触子１０の移動は、ユーザにより手動で行われてもよくあるいは機械的に行われてもよい。
【００２１】
信号処理部１４は、送受信部１２が取得するエコーデータに対してＢモード用信号処理を実行することで、二次元Ｂモード画像をフレーム単位で形成する。信号処理部１４はその他、各種動作モードに応じた所定の処理を実行してもよい。具体的には、ドプラ用信号処理、カラードプラ信号処理などを実行してもよい。移動量演算部２０は、信号処理部１４で形成されたフレーム毎の超音波画像、例えば、フレーム毎の二次元Ｂモード画像に対して、フレーム間における移動量を演算する。移動量演算部２０は、並進移動量演算部２２、回転移動量演算部２４および演算終了判定部２６で構成される。
【００２２】
並進移動量演算部２２は、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する。また、回転移動量演算部２４は、二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する。これら並進移動量の演算および回転移動量の演算は、所定の終了条件を満たすまで繰り返し実行される。演算終了判定部２６は、所定の終了条件に基づいて演算終了判定を行い、終了条件を満たした場合に移動量演算を終了させる。なお、並進移動量演算部２２、回転移動量演算部２４および演算終了判定部２６の動作については後に詳述する。
【００２３】
画像合成部３０は、移動量演算部２０において演算された移動量に基づいて、各フレームに対して並進および回転移動を行い、複数フレームの合成によるパノラマ画像を形成する。形成されたパノラマ画像は、表示部３４に表示される。
【００２４】
図２は、図１の超音波画像処理装置で形成されるパノラマ画像を示す図である。図２に示すパノラマ画像は、生体内における血管４０に対するパノラマ画像である。つまり、探触子を生体体表上で血管４０に沿って移動して得られるフレーム毎の超音波画像４２ａ，４２ｂ，４２ｃ，４２ｄが、フレーム毎に演算された移動量に基づいてその位置が補正された上で複数枚重ねられた画像である。図２に示すように、各フレームにおける血管４０の画像は、探触子の位置によって徐々にずれて取得されており、複数のフレームが重ね合わされることで、長い血管４０の画像が一続きの一枚の画像として形成される。
【００２５】
図３は、図１の超音波画像処理装置の移動量演算部２０において実行される移動量演算の演算手法を説明するための図である。図３において、信号処理部（図１の符号１４）で形成されたフレーム毎の超音波画像に対して、その取得時刻に応じた番号ｎを付して画像ｎと表すことにする。つまり、画像ｎ−１は画像ｎより一つ前の時刻におけるフレームに対応する。
【００２６】
並進移動量演算部（図１の符号２２）は、図３の（ａ）に示されるように、画像ｎ−１内において矩形の参照領域５０を設定する。参照領域５０は、例えば、ユーザ操作に基づいて画像ｎ−１の中央部に設定される。参照領域５０は装置により自動設定されてもよい。次に、並進移動量演算部２２は、図３の（ｂ）に示されるように、画像ｎ内においてサーチ領域５２を設定する。サーチ領域５２は、例えば、ユーザ操作に基づいて設定され、画像ｎの中央部に位置する参照領域位置に相当する矩形領域５６を囲むように設定される。サーチ領域５２は装置により自動設定されてもよい。
【００２７】
並進移動量演算部２２は、設定されたサーチ領域５２内において参照領域５０に相当する矩形領域５６を並進移動させ、矩形領域５６の各移動位置において参照領域５０内の画像と矩形領域５６内の画像とのマッチング演算を行い、マッチ領域５４を特定する。マッチング演算としては、ＭＳＡＤ（Ｍｉｎｉｍｕｍ−Ｓｕｍ−Ａｂｓｏｌｕｔｅ−Ｄｉｆｆｅｒｅｎｃｅ：最小和絶対差）法が用いられる。つまり、図３の（ｂ）に示されるサーチ領域５２内において、矩形領域５６を上下左右に移動させて、各移動位置においてＳＡＤ（Ｓｕｍ−Ａｂｓｏｌｕｔｅ−Ｄｉｆｆｅｒｅｎｃｅ：和絶対差）値を算出し、ＳＡＤ値が最小となる領域をマッチ領域５４として特定する。
【００２８】
ここでＳＡＤ値とは、画像ｎ−１の参照領域５０と画像ｎの矩形領域５６との間において、互いに相当するピクセル同士のピクセル値間の絶対差の和である。ピクセル値とは各ピクセルに対応する値であり、例えば、各ピクセルの輝度値がピクセル値となる。ピクセル値が各ピクセルの輝度値の場合、ＳＡＤ値は、参照領域５０内の各ピクセルの輝度値と、矩形領域５６内の相当するピクセルの輝度値との差の絶対値を、領域内全てのピクセルに対して総和した結果となる。すなわち、参照領域５０内の画像と矩形領域５６内の画像が完全に一致すれば、ＳＡＤ値は０となり、一般的にＳＡＤ値が小さくなるほど両画像の近似度が高いことになる。なお、並進移動量演算部２２において行われるマッチング演算は、ＭＳＡＤ法に限定されるものではなく、一般的に画像のマッチングに利用される相関法を利用して最も相関の高い矩形領域５６をマッチ領域５４と判断してもよい。
【００２９】
次に、並進移動量演算部２２は、図３の（ｂ）に示されるように、参照領域位置に相当する並進移動前の矩形領域５６とマッチ領域５４との間の並進移動差ベクトルＶを演算する。つまり、マッチ領域５４の重心点のＸ座標と矩形領域５６の重心点のＸ座標の差であるΔＸと、マッチ領域５４の重心点のＹ座標と矩形領域５６の重心点のＹ座標の差であるΔＹとを演算する。このように、並進移動差ベクトルＶが特定されることで、画像ｎ−１における参照領域５０内の画像が、画像ｎ内においてどの位置に並進移動したのかを特定することができ、従って、画像ｎ−１と画像ｎとの並進移動関係が特定される。
【００３０】
並進移動量演算部２２において並進移動差ベクトルＶが演算されると、回転移動量演算部（図１の符号２４）は、図３の（ｃ）に示されるように、画像ｎ内において、参照領域が並進移動差ベクトルＶだけ並進移動した矩形領域５８を回転移動させ、矩形領域５８の各回転移動位置において参照領域５０内の画像と矩形領域５８内の画像とのマッチング演算を行い、マッチ領域６０を特定する。回転移動量演算部２４は、矩形領域５８を、その重心点Ｐを回転中心点として＋θ方向および−θ方向に所定単位角度、例えば、＋３°から−３°のサーチ範囲内に０．１°単位で回転させ、各回転位置において、参照領域５０内の画像と矩形領域５８内の画像とのマッチング演算を行う。
【００３１】
マッチング演算としては、前述のＭＳＡＤ法が用いられる。つまり、図３の（ｃ）に示される矩形領域５８を所定角度単位で回転移動させて、各回転移動位置においてＳＡＤ値を算出し、ＳＡＤ値が最小となる領域をマッチ領域６０として特定する。なお、回転移動量演算部２４において行われるマッチング演算は、ＭＳＡＤ法に限定されるものではなく、一般的に画像のマッチングに利用される相関法を利用して最も相関の高い矩形領域をマッチ領域６０と判断してもよい。マッチ領域６０が特定されると、図３の（ｃ）に示されるように、回転移動前の矩形領域５８とマッチ領域６０との回転移動差Δθが決定し、画像ｎ−１と画像ｎとの回転移動関係が特定される。（後に図７および図８で説明するように、回転移動関係が特定された後、さらに並進移動関係を演算することも可能である。）
【００３２】
なお、上記説明では並進移動量演算部２２が並進移動差ベクトルＶを演算した後、この演算結果に基づいて回転移動量演算部２４が回転移動差Δθを決定したが、回転移動量演算部２４が回転移動差Δθを演算した後、この演算結果に基づいて並進移動量演算部２２が並進移動差ベクトルＶを決定する構成でもよい。
【００３３】
また、上記説明において、回転移動量演算部２４は矩形領域５８を回転移動させることで回転移動差Δθを決定したが、矩形領域５８の代わりに回転移動に特有の領域を設定することも可能である。
【００３４】
図４は、図１の超音波画像処理装置の回転移動量演算部２４において実行される回転移動量演算の別の演算手法を説明するための図である。回転移動量演算部２４は、図４の（ａ）に示されるように、画像ｎ−１内において参照領域としてリング状領域７０を設定する。リング状領域７０は、任意に設定可能な半径ｒの円周上のピクセル集合である。さらに、回転移動量演算部２４は並進移動量演算部２２で演算された並進移動差ベクトルＶに基づいて、画像ｎ内においてリング状領域７０が並進移動差ベクトルＶだけ並進移動した位置にリング状の対応領域７２を設定する（図４の（ｂ）参照）。そして、回転移動量演算部２４はリング状領域７０および対応領域７２のそれぞれの円周に沿って、円周上のピクセルのピクセル値である輝度値を抽出する。
【００３５】
図５は、図４のリング状領域７０および対応領域７２のそれぞれの円周上のピクセルの輝度値を示す図である。図５において、横軸は図４における角度θを、縦軸は輝度値をそれぞれ示している。また、上段（ａ）の輝度値はリング状領域７０に対応し、下段（ｂ）の輝度値は対応領域７２に対応する。図５に示すように、上段（ａ）のリング状領域７０の輝度値と、下段（ｂ）の対応領域７２の輝度値との間には角度Δθのずれが存在する。したがって、マッチング演算により図５におけるΔθを算出することで、リング状領域７０と対応領域７２のずれであるΔθが決定される。このように、リング状領域７０を利用することで、回転移動におけるマッチング演算を、図５に示す一次元のデータに対するマッチング演算に簡略化することが可能になる。
【００３６】
図６は、図１の超音波画像処理装置の回転移動量演算部２４において利用される参照領域の別の形状を示す図である。図６の（Ａ）はドーナツ形状の参照領域であり、回転移動量演算部２４は、ドーナツ形状領域において、中心点から放射状の投影データを求める。投影データとしては、例えば、同一半径方向のピクセルの輝度値を全て加算した値である。回転移動量演算部２４は、図４のリング状領域７０および対応領域７２の輝度値を、ドーナツ形状領域の投影データに置き換えて、マッチング演算を実施する。つまり、図５の縦軸が投影データに相当することになる。また、図６の（Ｂ）は円形状の参照領域であり、やはり、中心点から放射状の投影データを求めて、ドーナツ形状領域の場合と同様な手法でマッチング演算を実施する。
【００３７】
参照領域はこの他にも様々な設定位置や形状が考えられる。例えば、参照領域内に生体組織のエッジや輪郭などの特徴部位を含めることで、参照領域を小さくして処理時間を低減させることができる。つまり、超音波画像内において、局所画像の分散や差分などの統計値を評価し、例えば、分散が大きい局所領域に参照領域を設定することで、演算処理時間の短縮を目的とした参照領域の設定が可能になる。
【００３８】
図７は、図１の超音波画像処理装置によるパノラマ画像形成の処理動作を示すフローチャートである。図７を利用してパノラマ画像形成の処理動作を説明する。なお、図１に記載した構成については図１の符号を付して説明する。
【００３９】
ステップ１において、制御部３２は送受信部１２および信号処理部１４を制御してフレームごとに超音波画像を取得する。この際、探触子１０は移動しながら各移動位置に対応するフレームを取得する。ステップ２において、移動量演算部２０は、超音波画像に対してサーチ領域を設定する（図３参照）。この際、サーチ領域は参照領域の周辺を取り囲むように設定される。ステップ３において、移動量演算部２０は移動量ΔＸ，ΔＹ，Δθを演算する（図３参照）。
【００４０】
次に、ステップ４において、演算終了判定部２６は、移動量演算の繰り返しの要否を判定する。繰り返し判定の基準として、ステップ３の移動量演算におけるマッチング演算としてＭＳＡＤ法を利用した場合、規格化ＭＳＡＤ値を利用する。つまり、規格化ＭＳＡＤ値が所定閾値よりも大きければ繰り返し演算が必要と判定し、規格化ＭＳＡＤ値が所定閾値以下であれば繰り返し演算が不要と判定する。ここで規格化ＭＳＡＤ値は、（ＭＳＡＤ／参照領域のピクセル値の平均値）として算出される。また、マッチング演算に相関法を利用した場合、相関係数が所定閾値よりも小さければ繰り返し演算が必要と判定し、相関係数が所定閾値以上であれば繰り返し演算が不要と判定してもよい。
【００４１】
この他、繰り返し演算を重ねることにより、ＭＳＡＤ値や相関係数が一定値に落ち着いてくることを利用して、ＭＳＡＤ値や相関係数の変化率に基づいて繰り返し演算の要否を判定してもよい。さらに、繰り返し回数に上限値を設けることで繰り返し回数に基づいて、例えば、繰り返し回数が３回で演算終了と判定してもよい。演算終了判定部２６において、繰り返し演算が必要と判定されれば、ステップ５に進み、繰り返し演算が不要と判定されればステップ６へ進む。
【００４２】
ステップ５において、移動量演算部２０は、次の移動量演算のためのサーチ領域を設定する。ステップ３においてマッチ領域が決定しているため、サーチ領域はマッチ領域の周辺を取り囲むように設定される。また、再設定のサーチ領域を前回設定したサーチ領域より小さく設定することもできる。そして、ステップ３に戻り、再設定されたサーチ領域内で新たにマッチ領域を決定して移動量ΔＸ，ΔＹ，Δθを演算する。このように、ステップ３からステップ５を繰り返すことで、移動量演算が重ねられ、より精度の高い移動量演算結果が得られることになる。
【００４３】
ステップ４において、繰り返し演算が不要と判定された場合、ステップ６に進み、ステップ６において、画像合成部３０は移動量ΔＸ，ΔＹ，Δθの演算結果に基づいて画像の合成を行い、合成によって得られたパノラマ画像が表示部３４に表示される（図２参照）。そして、パノラマ画像形成に必要な全てのフレームについての合成が終了したか否かを判定し、合成が終了していないと判定した場合には、ステップ１に戻り、次のフレームについての移動量演算が再び実施される。全てのフレームについての合成が終了したと判定した場合にはフローを終了する。なお、ステップ６においてパノラマ画像の形成終了を判定する場合、ユーザの終了ボタンの指示により終了を判定してもよく、また、探触子１０が生体体表から離れた時に終了と判定してもよい。つまり、探触子１０が生体体表から離れ超音波が空中放射されると超音波画像が真っ暗になるため、参照領域の平均輝度値が０に近い値と判断される場合に、探触子１０が生体体表から離れたと自動判定する。
【００４４】
図８は、図１の超音波画像処理装置によるパノラマ画像形成の別の処理動作を示すフローチャートである。図８を利用してパノラマ画像形成の処理動作を説明する。なお、図１に記載した構成については図１の符号を付して説明する。
【００４５】
ステップ１において、制御部３２は送受信部１２および信号処理部１４を制御してフレームごとに超音波画像を取得する。この際、探触子１０は移動しながら各移動位置に対応するフレームを取得する。ステップ２において、移動量演算部２０は、超音波画像に対してサーチ領域を設定する（図３参照）。この際、サーチ領域は参照領域の周辺を取り囲むように設定される。ステップ３において、移動量演算部２０は移動量ΔＸ，ΔＹ，Δθを演算する（図３参照）。
【００４６】
次に、ステップ４において、演算終了判定部２６は、移動量演算の繰り返しの要否を判定する。繰り返し判定は、図７のステップ４と同様に、規格化ＭＳＡＤ値、相関係数、繰り返し回数に基づいて行われる。演算終了判定部２６において、繰り返し演算が必要と判定されれば、ステップ５に進み、繰り返し演算が不要と判定されればステップ１０へ進む。
【００４７】
ステップ５において、移動量演算部２０は、次の移動量演算のためのサーチ領域を設定する。ステップ３においてマッチ領域が決定しているため、サーチ領域はマッチ領域の周辺を取り囲むように設定される。そして、ステップ６に進み、再設定されたサーチ領域内で新たにマッチ領域を決定して移動量ΔＸ，ΔＹを演算する。さらに、ステップ７において、ステップ４と同様に、演算終了判定部２６が移動量演算の繰り返しの要否を判定する。ここで、繰り返し演算が必要と判定されれば、ステップ８に進み、繰り返し演算が不要と判定されればステップ１０へ進む。
【００４８】
ステップ８において、ステップ５で再設定されたサーチ領域内で新たにマッチ領域を決定して移動量Δθを演算する。そして、ステップ９において、ステップ４と同様に、演算終了判定部２６が移動量演算の繰り返しの要否を判定する。ここで、繰り返し演算が必要と判定されれば、ステップ５に戻り、繰り返し演算が不要と判定されればステップ１０へ進む。このように、ステップ５からステップ９を繰り返すことで、移動量演算が重ねられ、より精度の高い移動量演算結果が得られることになる。
【００４９】
ステップ４、ステップ７またはステップ９において、繰り返し演算が不要と判定された場合、ステップ１０に進み、ステップ１０において、画像合成部３０は移動量ΔＸ，ΔＹ，Δθの演算結果に基づいて画像の合成を行い、合成によって得られたパノラマ画像が表示部３４に表示される（図２参照）。そして、パノラマ画像形成に必要な全てのフレームについての合成が終了したか否かを判定し、合成が終了していないと判定した場合には、ステップ１に戻り、次のフレームについての移動量演算が再び実施される。全てのフレームについての合成が終了したと判定した場合にはフローを終了する。
【００５０】
なお、ステップ３では、並進移動量ΔＸ，ΔＹおよび回転移動量Δθが一度に演算されているが、並進移動量ΔＸ，ΔＹのみ、あるいは、回転移動量Δθのみを演算してもよい。
【００５１】
以上のようにして、図１の超音波画像処理装置によりパノラマ画像が形成される。なお、図１の超音波画像処理装置は超音波診断装置内に形成されてもよく、あるいは、図１の構成の一部がコンピュータ内に形成されてもよい。例えば、移動量演算部２０および画像合成部３０をコンピュータ内で機能させ、超音波診断装置から得られるフレーム毎のＢモード画像に対して合成処理を実施してパノラマ画像を形成し、超音波診断装置の表示部に表示させてもよい。
【００５２】
また、パノラマ画像の形成に利用されるフレーム毎の超音波画像は、通常のＢモード画像に限定されるものではなく、ハーモニック画像やカラードップラ画像や造影剤による超音波造影画像であってもよい。
【００５３】
【発明の効果】
以上説明したように、本発明に係る超音波画像処理装置により、パノラマ画像形成における画像合成性能を向上させることが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る超音波画像処理装置の全体構成を示すブロック図である。
【図２】 図１の超音波画像処理装置で形成されるパノラマ画像を示す図である。
【図３】 移動量演算部において実行される移動量演算の演算手法を説明するための図である。
【図４】 回転移動量演算部において実行される回転移動量演算の別の演算手法を説明するための図である。
【図５】 図４のリング状領域および対応領域それぞれの円周上のピクセルの輝度値を示す図である。
【図６】 回転移動量演算部において利用される参照領域の別の形状を示す図である。
【図７】 図１の超音波画像処理装置の処理動作を示すフローチャートである。
【図８】 図１の超音波画像処理装置の別の処理動作を示すフローチャートである。
【符号の説明】
２２ 並進移動量演算部、２４ 回転移動量演算部、２６ 演算終了判定部、３０ 画像合成部、５０ 参照領域、５２ サーチ領域。
【発明の属する技術分野】
本発明は、超音波画像処理装置に関し、特にパノラマ画像を形成する超音波画像処理装置に関する。
【０００２】
【従来の技術】
超音波探触子を生体表面上で移動させながら得られる複数の二次元超音波画像を位置合わせして合成することでパノラマ画像を形成する装置が知られている。
【０００３】
従来の装置では、連続する二つのフレームの一つを複数のサブイメージ領域に分割し、このサブイメージ領域の局部移動ベクトルから包括的イメージ移動を推定評価し、この包括的イメージ移動に基づいて二つのフレームを合成することでパノラマ画像を形成している（特許文献１参照）。
【０００４】
また、他の従来の装置では、連続する二つのフレームについて指定領域内の垂直方向の投影分布をそれぞれ求め、両フレームの投影分布のマッチングを行うことでフレーム間の水平方向の移動量を評価している。さらに、指定領域を垂直方向に分割して分割領域ごとに水平方向の移動量を求めて、分割領域間の移動量の差からフレーム間の回転移動量を評価している（特許文献２参照）。
【０００５】
【特許文献１】
特開平８−２８０６８８号公報
【特許文献２】
特開２０００−２１７８１５号公報
【０００６】
【発明が解決しようとする課題】
一般的に、相関法などによる画像間のマッチング演算は、その演算量が膨大であるため処理時間が大きくなる。特許文献１に記載の装置のように、画像を分割して局部の移動ベクトルを求めるには、各局部ごとにマッチング演算を行う必要があるため演算量がさらに膨大になる。従って、パノラマ画像を形成するための演算処理時間が大きくなり、リアルタイムでパノラマ画像を形成するのが困難であった。
【０００７】
また、特許文献２に記載の装置は、フレーム間における水平方向の移動量を評価しているものの垂直方向の移動量を評価していない。従って、超音波探触子の移動が、垂直方向への移動を伴う場合に画像合成精度上の問題があった。
【０００８】
本発明はこのような従来の装置における問題点に鑑みてなされたものであり、本発明の目的は、パノラマ画像形成における画像合成性能を向上させることにある。
【０００９】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明に係る超音波画像処理装置は、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段とを有するものとする。
【００１０】
上記構成において、超音波探触子は三次元超音波画像を取得し得る二次元アレイ探触子でもよく、あるいは、二次元超音波画像取得用の探触子でもよい。三次元超音波画像の場合、フレームとは立体的なボリュームを意味する。また、一方フレーム上の参照領域の並進移動や回転移動は、他方フレームに対する相対的な移動である。また、対応領域は、他方フレーム上における参照領域の各移動位置に対応した参照領域と略同一形状の領域である。そして参照領域は、並進移動量演算手段と回転移動量演算手段において同一の領域でもよく、あるいは、異なる領域であってもよい。上記構成によれば、既に演算された並進移動量が考慮された状態で参照領域を逐次回転移動させつつ回転移動量のマッチング演算が行われている。このため、不必要な並進移動位置における回転移動量のマッチング演算が無くなり、回転移動量のマッチング演算の演算量を少なくすることができ、延いては移動量演算の演算量を少なくすることができる。
【００１１】
望ましくは、前記並進移動量および前記回転移動量の各移動量演算はそれぞれ少なくとも一回実行され、各移動量演算はそれ以前に演算された移動量に基づく合成位置関係にある対応領域において実行されるものとする。さらに 望ましくは、前記並進移動量および前記回転移動量の各移動量演算はそれぞれ複数回実行されるものとする。上記構成によれば、各移動量演算がそれぞれ複数回実行されるため、移動量の演算結果がより精度の高いものになる。
【００１２】
望ましくは、前記マッチング演算は、前記参照領域内の複数画素データと前記対応領域内の複数画素データとの相関関係に基づいた演算であるものとする。または、前記マッチング演算は、最小和絶対差（ＭＳＡＤ）法に基づいた演算であるものとする。
【００１３】
望ましくは、前記並進移動量演算手段は、設定されたサーチ領域内において前記参照領域を逐次並進移動させるものとする。上記構成において、サーチ領域は、参照領域の並進移動位置を見越した上で設定される。例えば、参照領域の周辺を取り囲むように設定される。上記構成によれば、サーチ領域内においてマッチング演算が行われるため、演算精度を確保しつつ、フレーム全体を対象とするマッチング演算に比べて演算量を少なくすることができる。
【００１４】
望ましくは、前記サーチ領域は、各移動量演算の回数を重ねるに従って小さい領域に設定されるものとする。さらに望ましくは、複数回実行される前記並進移動量および前記回転移動量の演算終了判定を行う繰り返し終了判定手段をさらに有するものとする。上記構成によれば、繰り返し終了のための判定条件を適宜設定することができるため、演算精度および演算速度のバランスを考慮した演算が可能になる。
【００１５】
望ましくは、前記繰り返し終了判定手段は、前記最小和絶対差（ＭＳＡＤ）法による演算において算出されるＭＳＡＤ値に基づいて前記演算終了判定を行うものとする。さらに望ましくは、前記繰り返し終了判定手段は、前記ＭＳＡＤ値の変化率に基づいて前記演算終了判定を行うものとする。さらに望ましくは、前記繰り返し終了判定手段は、前記並進移動量および前記回転移動量の演算回数が所定回数に達した場合に演算終了と判定するものとする。
【００１６】
望ましくは、前記各移動量演算ごとの参照領域の少なくとも一つは矩形領域であるものとする。さらに望ましくは、前記回転移動量演算手段における参照領域は円状領域であるものとする。上記構成において、円状領域は、円中心部が刳り貫かれたドーナツ形状領域や、円周部分のみのリング状領域や部分円状の円弧領域でもよい。
【００１７】
（２）また、上記目的を達成するために、本発明に係る超音波画像処理装置は、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、前記二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の前記回転移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段とを有するものとする。
【００１８】
（３）また、上記目的を達成するために、本発明に係るコンピュータのプログラムは、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成するためのコンピュータのプログラムであって、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段、前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段としてコンピュータを機能させるものとする。
【００１９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
【００２０】
図１には、本発明に係る超音波画像処理装置の好適な実施形態が示されており、図１はその全体構成を示すブロック図である。探触子１０は、生体体表に当接されて目標組織、例えば血管を含む生体内の空間に対して超音波を送受波する。送受信部１２は、探触子１０を介して超音波を送受波することで、生体内からエコーデータを取得する。エコーデータの取得は、探触子１０を生体体表上で例えば血管に沿って移動しながら行われる。従って送受信部１２は探触子１０の生体体表上の位置に対応するフレーム単位でエコーデータを取得する。なお、探触子１０の移動は、ユーザにより手動で行われてもよくあるいは機械的に行われてもよい。
【００２１】
信号処理部１４は、送受信部１２が取得するエコーデータに対してＢモード用信号処理を実行することで、二次元Ｂモード画像をフレーム単位で形成する。信号処理部１４はその他、各種動作モードに応じた所定の処理を実行してもよい。具体的には、ドプラ用信号処理、カラードプラ信号処理などを実行してもよい。移動量演算部２０は、信号処理部１４で形成されたフレーム毎の超音波画像、例えば、フレーム毎の二次元Ｂモード画像に対して、フレーム間における移動量を演算する。移動量演算部２０は、並進移動量演算部２２、回転移動量演算部２４および演算終了判定部２６で構成される。
【００２２】
並進移動量演算部２２は、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する。また、回転移動量演算部２４は、二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する。これら並進移動量の演算および回転移動量の演算は、所定の終了条件を満たすまで繰り返し実行される。演算終了判定部２６は、所定の終了条件に基づいて演算終了判定を行い、終了条件を満たした場合に移動量演算を終了させる。なお、並進移動量演算部２２、回転移動量演算部２４および演算終了判定部２６の動作については後に詳述する。
【００２３】
画像合成部３０は、移動量演算部２０において演算された移動量に基づいて、各フレームに対して並進および回転移動を行い、複数フレームの合成によるパノラマ画像を形成する。形成されたパノラマ画像は、表示部３４に表示される。
【００２４】
図２は、図１の超音波画像処理装置で形成されるパノラマ画像を示す図である。図２に示すパノラマ画像は、生体内における血管４０に対するパノラマ画像である。つまり、探触子を生体体表上で血管４０に沿って移動して得られるフレーム毎の超音波画像４２ａ，４２ｂ，４２ｃ，４２ｄが、フレーム毎に演算された移動量に基づいてその位置が補正された上で複数枚重ねられた画像である。図２に示すように、各フレームにおける血管４０の画像は、探触子の位置によって徐々にずれて取得されており、複数のフレームが重ね合わされることで、長い血管４０の画像が一続きの一枚の画像として形成される。
【００２５】
図３は、図１の超音波画像処理装置の移動量演算部２０において実行される移動量演算の演算手法を説明するための図である。図３において、信号処理部（図１の符号１４）で形成されたフレーム毎の超音波画像に対して、その取得時刻に応じた番号ｎを付して画像ｎと表すことにする。つまり、画像ｎ−１は画像ｎより一つ前の時刻におけるフレームに対応する。
【００２６】
並進移動量演算部（図１の符号２２）は、図３の（ａ）に示されるように、画像ｎ−１内において矩形の参照領域５０を設定する。参照領域５０は、例えば、ユーザ操作に基づいて画像ｎ−１の中央部に設定される。参照領域５０は装置により自動設定されてもよい。次に、並進移動量演算部２２は、図３の（ｂ）に示されるように、画像ｎ内においてサーチ領域５２を設定する。サーチ領域５２は、例えば、ユーザ操作に基づいて設定され、画像ｎの中央部に位置する参照領域位置に相当する矩形領域５６を囲むように設定される。サーチ領域５２は装置により自動設定されてもよい。
【００２７】
並進移動量演算部２２は、設定されたサーチ領域５２内において参照領域５０に相当する矩形領域５６を並進移動させ、矩形領域５６の各移動位置において参照領域５０内の画像と矩形領域５６内の画像とのマッチング演算を行い、マッチ領域５４を特定する。マッチング演算としては、ＭＳＡＤ（Ｍｉｎｉｍｕｍ−Ｓｕｍ−Ａｂｓｏｌｕｔｅ−Ｄｉｆｆｅｒｅｎｃｅ：最小和絶対差）法が用いられる。つまり、図３の（ｂ）に示されるサーチ領域５２内において、矩形領域５６を上下左右に移動させて、各移動位置においてＳＡＤ（Ｓｕｍ−Ａｂｓｏｌｕｔｅ−Ｄｉｆｆｅｒｅｎｃｅ：和絶対差）値を算出し、ＳＡＤ値が最小となる領域をマッチ領域５４として特定する。
【００２８】
ここでＳＡＤ値とは、画像ｎ−１の参照領域５０と画像ｎの矩形領域５６との間において、互いに相当するピクセル同士のピクセル値間の絶対差の和である。ピクセル値とは各ピクセルに対応する値であり、例えば、各ピクセルの輝度値がピクセル値となる。ピクセル値が各ピクセルの輝度値の場合、ＳＡＤ値は、参照領域５０内の各ピクセルの輝度値と、矩形領域５６内の相当するピクセルの輝度値との差の絶対値を、領域内全てのピクセルに対して総和した結果となる。すなわち、参照領域５０内の画像と矩形領域５６内の画像が完全に一致すれば、ＳＡＤ値は０となり、一般的にＳＡＤ値が小さくなるほど両画像の近似度が高いことになる。なお、並進移動量演算部２２において行われるマッチング演算は、ＭＳＡＤ法に限定されるものではなく、一般的に画像のマッチングに利用される相関法を利用して最も相関の高い矩形領域５６をマッチ領域５４と判断してもよい。
【００２９】
次に、並進移動量演算部２２は、図３の（ｂ）に示されるように、参照領域位置に相当する並進移動前の矩形領域５６とマッチ領域５４との間の並進移動差ベクトルＶを演算する。つまり、マッチ領域５４の重心点のＸ座標と矩形領域５６の重心点のＸ座標の差であるΔＸと、マッチ領域５４の重心点のＹ座標と矩形領域５６の重心点のＹ座標の差であるΔＹとを演算する。このように、並進移動差ベクトルＶが特定されることで、画像ｎ−１における参照領域５０内の画像が、画像ｎ内においてどの位置に並進移動したのかを特定することができ、従って、画像ｎ−１と画像ｎとの並進移動関係が特定される。
【００３０】
並進移動量演算部２２において並進移動差ベクトルＶが演算されると、回転移動量演算部（図１の符号２４）は、図３の（ｃ）に示されるように、画像ｎ内において、参照領域が並進移動差ベクトルＶだけ並進移動した矩形領域５８を回転移動させ、矩形領域５８の各回転移動位置において参照領域５０内の画像と矩形領域５８内の画像とのマッチング演算を行い、マッチ領域６０を特定する。回転移動量演算部２４は、矩形領域５８を、その重心点Ｐを回転中心点として＋θ方向および−θ方向に所定単位角度、例えば、＋３°から−３°のサーチ範囲内に０．１°単位で回転させ、各回転位置において、参照領域５０内の画像と矩形領域５８内の画像とのマッチング演算を行う。
【００３１】
マッチング演算としては、前述のＭＳＡＤ法が用いられる。つまり、図３の（ｃ）に示される矩形領域５８を所定角度単位で回転移動させて、各回転移動位置においてＳＡＤ値を算出し、ＳＡＤ値が最小となる領域をマッチ領域６０として特定する。なお、回転移動量演算部２４において行われるマッチング演算は、ＭＳＡＤ法に限定されるものではなく、一般的に画像のマッチングに利用される相関法を利用して最も相関の高い矩形領域をマッチ領域６０と判断してもよい。マッチ領域６０が特定されると、図３の（ｃ）に示されるように、回転移動前の矩形領域５８とマッチ領域６０との回転移動差Δθが決定し、画像ｎ−１と画像ｎとの回転移動関係が特定される。（後に図７および図８で説明するように、回転移動関係が特定された後、さらに並進移動関係を演算することも可能である。）
【００３２】
なお、上記説明では並進移動量演算部２２が並進移動差ベクトルＶを演算した後、この演算結果に基づいて回転移動量演算部２４が回転移動差Δθを決定したが、回転移動量演算部２４が回転移動差Δθを演算した後、この演算結果に基づいて並進移動量演算部２２が並進移動差ベクトルＶを決定する構成でもよい。
【００３３】
また、上記説明において、回転移動量演算部２４は矩形領域５８を回転移動させることで回転移動差Δθを決定したが、矩形領域５８の代わりに回転移動に特有の領域を設定することも可能である。
【００３４】
図４は、図１の超音波画像処理装置の回転移動量演算部２４において実行される回転移動量演算の別の演算手法を説明するための図である。回転移動量演算部２４は、図４の（ａ）に示されるように、画像ｎ−１内において参照領域としてリング状領域７０を設定する。リング状領域７０は、任意に設定可能な半径ｒの円周上のピクセル集合である。さらに、回転移動量演算部２４は並進移動量演算部２２で演算された並進移動差ベクトルＶに基づいて、画像ｎ内においてリング状領域７０が並進移動差ベクトルＶだけ並進移動した位置にリング状の対応領域７２を設定する（図４の（ｂ）参照）。そして、回転移動量演算部２４はリング状領域７０および対応領域７２のそれぞれの円周に沿って、円周上のピクセルのピクセル値である輝度値を抽出する。
【００３５】
図５は、図４のリング状領域７０および対応領域７２のそれぞれの円周上のピクセルの輝度値を示す図である。図５において、横軸は図４における角度θを、縦軸は輝度値をそれぞれ示している。また、上段（ａ）の輝度値はリング状領域７０に対応し、下段（ｂ）の輝度値は対応領域７２に対応する。図５に示すように、上段（ａ）のリング状領域７０の輝度値と、下段（ｂ）の対応領域７２の輝度値との間には角度Δθのずれが存在する。したがって、マッチング演算により図５におけるΔθを算出することで、リング状領域７０と対応領域７２のずれであるΔθが決定される。このように、リング状領域７０を利用することで、回転移動におけるマッチング演算を、図５に示す一次元のデータに対するマッチング演算に簡略化することが可能になる。
【００３６】
図６は、図１の超音波画像処理装置の回転移動量演算部２４において利用される参照領域の別の形状を示す図である。図６の（Ａ）はドーナツ形状の参照領域であり、回転移動量演算部２４は、ドーナツ形状領域において、中心点から放射状の投影データを求める。投影データとしては、例えば、同一半径方向のピクセルの輝度値を全て加算した値である。回転移動量演算部２４は、図４のリング状領域７０および対応領域７２の輝度値を、ドーナツ形状領域の投影データに置き換えて、マッチング演算を実施する。つまり、図５の縦軸が投影データに相当することになる。また、図６の（Ｂ）は円形状の参照領域であり、やはり、中心点から放射状の投影データを求めて、ドーナツ形状領域の場合と同様な手法でマッチング演算を実施する。
【００３７】
参照領域はこの他にも様々な設定位置や形状が考えられる。例えば、参照領域内に生体組織のエッジや輪郭などの特徴部位を含めることで、参照領域を小さくして処理時間を低減させることができる。つまり、超音波画像内において、局所画像の分散や差分などの統計値を評価し、例えば、分散が大きい局所領域に参照領域を設定することで、演算処理時間の短縮を目的とした参照領域の設定が可能になる。
【００３８】
図７は、図１の超音波画像処理装置によるパノラマ画像形成の処理動作を示すフローチャートである。図７を利用してパノラマ画像形成の処理動作を説明する。なお、図１に記載した構成については図１の符号を付して説明する。
【００３９】
ステップ１において、制御部３２は送受信部１２および信号処理部１４を制御してフレームごとに超音波画像を取得する。この際、探触子１０は移動しながら各移動位置に対応するフレームを取得する。ステップ２において、移動量演算部２０は、超音波画像に対してサーチ領域を設定する（図３参照）。この際、サーチ領域は参照領域の周辺を取り囲むように設定される。ステップ３において、移動量演算部２０は移動量ΔＸ，ΔＹ，Δθを演算する（図３参照）。
【００４０】
次に、ステップ４において、演算終了判定部２６は、移動量演算の繰り返しの要否を判定する。繰り返し判定の基準として、ステップ３の移動量演算におけるマッチング演算としてＭＳＡＤ法を利用した場合、規格化ＭＳＡＤ値を利用する。つまり、規格化ＭＳＡＤ値が所定閾値よりも大きければ繰り返し演算が必要と判定し、規格化ＭＳＡＤ値が所定閾値以下であれば繰り返し演算が不要と判定する。ここで規格化ＭＳＡＤ値は、（ＭＳＡＤ／参照領域のピクセル値の平均値）として算出される。また、マッチング演算に相関法を利用した場合、相関係数が所定閾値よりも小さければ繰り返し演算が必要と判定し、相関係数が所定閾値以上であれば繰り返し演算が不要と判定してもよい。
【００４１】
この他、繰り返し演算を重ねることにより、ＭＳＡＤ値や相関係数が一定値に落ち着いてくることを利用して、ＭＳＡＤ値や相関係数の変化率に基づいて繰り返し演算の要否を判定してもよい。さらに、繰り返し回数に上限値を設けることで繰り返し回数に基づいて、例えば、繰り返し回数が３回で演算終了と判定してもよい。演算終了判定部２６において、繰り返し演算が必要と判定されれば、ステップ５に進み、繰り返し演算が不要と判定されればステップ６へ進む。
【００４２】
ステップ５において、移動量演算部２０は、次の移動量演算のためのサーチ領域を設定する。ステップ３においてマッチ領域が決定しているため、サーチ領域はマッチ領域の周辺を取り囲むように設定される。また、再設定のサーチ領域を前回設定したサーチ領域より小さく設定することもできる。そして、ステップ３に戻り、再設定されたサーチ領域内で新たにマッチ領域を決定して移動量ΔＸ，ΔＹ，Δθを演算する。このように、ステップ３からステップ５を繰り返すことで、移動量演算が重ねられ、より精度の高い移動量演算結果が得られることになる。
【００４３】
ステップ４において、繰り返し演算が不要と判定された場合、ステップ６に進み、ステップ６において、画像合成部３０は移動量ΔＸ，ΔＹ，Δθの演算結果に基づいて画像の合成を行い、合成によって得られたパノラマ画像が表示部３４に表示される（図２参照）。そして、パノラマ画像形成に必要な全てのフレームについての合成が終了したか否かを判定し、合成が終了していないと判定した場合には、ステップ１に戻り、次のフレームについての移動量演算が再び実施される。全てのフレームについての合成が終了したと判定した場合にはフローを終了する。なお、ステップ６においてパノラマ画像の形成終了を判定する場合、ユーザの終了ボタンの指示により終了を判定してもよく、また、探触子１０が生体体表から離れた時に終了と判定してもよい。つまり、探触子１０が生体体表から離れ超音波が空中放射されると超音波画像が真っ暗になるため、参照領域の平均輝度値が０に近い値と判断される場合に、探触子１０が生体体表から離れたと自動判定する。
【００４４】
図８は、図１の超音波画像処理装置によるパノラマ画像形成の別の処理動作を示すフローチャートである。図８を利用してパノラマ画像形成の処理動作を説明する。なお、図１に記載した構成については図１の符号を付して説明する。
【００４５】
ステップ１において、制御部３２は送受信部１２および信号処理部１４を制御してフレームごとに超音波画像を取得する。この際、探触子１０は移動しながら各移動位置に対応するフレームを取得する。ステップ２において、移動量演算部２０は、超音波画像に対してサーチ領域を設定する（図３参照）。この際、サーチ領域は参照領域の周辺を取り囲むように設定される。ステップ３において、移動量演算部２０は移動量ΔＸ，ΔＹ，Δθを演算する（図３参照）。
【００４６】
次に、ステップ４において、演算終了判定部２６は、移動量演算の繰り返しの要否を判定する。繰り返し判定は、図７のステップ４と同様に、規格化ＭＳＡＤ値、相関係数、繰り返し回数に基づいて行われる。演算終了判定部２６において、繰り返し演算が必要と判定されれば、ステップ５に進み、繰り返し演算が不要と判定されればステップ１０へ進む。
【００４７】
ステップ５において、移動量演算部２０は、次の移動量演算のためのサーチ領域を設定する。ステップ３においてマッチ領域が決定しているため、サーチ領域はマッチ領域の周辺を取り囲むように設定される。そして、ステップ６に進み、再設定されたサーチ領域内で新たにマッチ領域を決定して移動量ΔＸ，ΔＹを演算する。さらに、ステップ７において、ステップ４と同様に、演算終了判定部２６が移動量演算の繰り返しの要否を判定する。ここで、繰り返し演算が必要と判定されれば、ステップ８に進み、繰り返し演算が不要と判定されればステップ１０へ進む。
【００４８】
ステップ８において、ステップ５で再設定されたサーチ領域内で新たにマッチ領域を決定して移動量Δθを演算する。そして、ステップ９において、ステップ４と同様に、演算終了判定部２６が移動量演算の繰り返しの要否を判定する。ここで、繰り返し演算が必要と判定されれば、ステップ５に戻り、繰り返し演算が不要と判定されればステップ１０へ進む。このように、ステップ５からステップ９を繰り返すことで、移動量演算が重ねられ、より精度の高い移動量演算結果が得られることになる。
【００４９】
ステップ４、ステップ７またはステップ９において、繰り返し演算が不要と判定された場合、ステップ１０に進み、ステップ１０において、画像合成部３０は移動量ΔＸ，ΔＹ，Δθの演算結果に基づいて画像の合成を行い、合成によって得られたパノラマ画像が表示部３４に表示される（図２参照）。そして、パノラマ画像形成に必要な全てのフレームについての合成が終了したか否かを判定し、合成が終了していないと判定した場合には、ステップ１に戻り、次のフレームについての移動量演算が再び実施される。全てのフレームについての合成が終了したと判定した場合にはフローを終了する。
【００５０】
なお、ステップ３では、並進移動量ΔＸ，ΔＹおよび回転移動量Δθが一度に演算されているが、並進移動量ΔＸ，ΔＹのみ、あるいは、回転移動量Δθのみを演算してもよい。
【００５１】
以上のようにして、図１の超音波画像処理装置によりパノラマ画像が形成される。なお、図１の超音波画像処理装置は超音波診断装置内に形成されてもよく、あるいは、図１の構成の一部がコンピュータ内に形成されてもよい。例えば、移動量演算部２０および画像合成部３０をコンピュータ内で機能させ、超音波診断装置から得られるフレーム毎のＢモード画像に対して合成処理を実施してパノラマ画像を形成し、超音波診断装置の表示部に表示させてもよい。
【００５２】
また、パノラマ画像の形成に利用されるフレーム毎の超音波画像は、通常のＢモード画像に限定されるものではなく、ハーモニック画像やカラードップラ画像や造影剤による超音波造影画像であってもよい。
【００５３】
【発明の効果】
以上説明したように、本発明に係る超音波画像処理装置により、パノラマ画像形成における画像合成性能を向上させることが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る超音波画像処理装置の全体構成を示すブロック図である。
【図２】 図１の超音波画像処理装置で形成されるパノラマ画像を示す図である。
【図３】 移動量演算部において実行される移動量演算の演算手法を説明するための図である。
【図４】 回転移動量演算部において実行される回転移動量演算の別の演算手法を説明するための図である。
【図５】 図４のリング状領域および対応領域それぞれの円周上のピクセルの輝度値を示す図である。
【図６】 回転移動量演算部において利用される参照領域の別の形状を示す図である。
【図７】 図１の超音波画像処理装置の処理動作を示すフローチャートである。
【図８】 図１の超音波画像処理装置の別の処理動作を示すフローチャートである。
【符号の説明】
２２ 並進移動量演算部、２４ 回転移動量演算部、２６ 演算終了判定部、３０ 画像合成部、５０ 参照領域、５２ サーチ領域。
Claims (3)
- 超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、
二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、
前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、
前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段と、
を有し、
前記並進移動量および前記回転移動量の各移動量演算はそれぞれ複数回実行され、
複数回実行される前記並進移動量および前記回転移動量の演算終了判定を行う繰り返し終了判定手段をさらに有し、
前記マッチング演算は、最小和絶対差（ＭＳＡＤ）法に基づいた演算であり、
前記繰り返し終了判定手段は、前記最小和絶対差（ＭＳＡＤ）法による演算において算出されるＭＳＡＤ値の変化率に基づいて前記演算終了判定を行うことを特徴とする超音波画像処理装置。 - 超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、
二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、
前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、
前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段と、
を有し、
前記回転移動量演算手段における参照領域は円状領域であることを特徴とする超音波画像処理装置。 - 超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、
二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、
前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上のリング状またはドーナツ形状の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、
前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段と、
を有する、超音波画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023185A JP4299015B2 (ja) | 2003-01-31 | 2003-01-31 | 超音波画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023185A JP4299015B2 (ja) | 2003-01-31 | 2003-01-31 | 超音波画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004229958A JP2004229958A (ja) | 2004-08-19 |
| JP4299015B2 true JP4299015B2 (ja) | 2009-07-22 |
Family
ID=32952053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003023185A Expired - Fee Related JP4299015B2 (ja) | 2003-01-31 | 2003-01-31 | 超音波画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4299015B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10210653B2 (en) | 2011-08-09 | 2019-02-19 | Samsung Electronics Co., Ltd. | Method and apparatus to generate a volume-panorama image |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4750429B2 (ja) * | 2005-02-08 | 2011-08-17 | 株式会社日立メディコ | 画像表示装置 |
| JP5016911B2 (ja) * | 2006-12-20 | 2012-09-05 | 株式会社日立メディコ | 超音波診断装置 |
| JP4969273B2 (ja) * | 2007-03-09 | 2012-07-04 | オリンパス株式会社 | 蛍光観察装置 |
| JP5835680B2 (ja) * | 2007-11-05 | 2015-12-24 | 株式会社東芝 | 画像位置合わせ装置 |
| JP5159803B2 (ja) * | 2008-06-18 | 2013-03-13 | キヤノン株式会社 | 被検体情報取得装置 |
| JP5461845B2 (ja) * | 2009-02-05 | 2014-04-02 | 株式会社東芝 | 超音波診断装置及び超音波診断装置の制御プログラム |
| JP5596940B2 (ja) * | 2009-06-30 | 2014-09-24 | 株式会社東芝 | 超音波診断装置 |
| GB2473248A (en) * | 2009-09-04 | 2011-03-09 | Sony Corp | Determining image misalignment by comparing image characteristics at points along a line |
| JP5935344B2 (ja) * | 2011-05-13 | 2016-06-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体、および、画像処理システム |
| JP5729237B2 (ja) * | 2011-09-26 | 2015-06-03 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR101797042B1 (ko) | 2015-05-15 | 2017-11-13 | 삼성전자주식회사 | 의료 영상 합성 방법 및 장치 |
| EP3323352B1 (en) | 2015-07-13 | 2022-03-30 | Furuno Electric Co., Ltd. | Probe adapter, ultrasonic imaging device, ultrasonic imaging method, and ultrasonic imaging program |
-
2003
- 2003-01-31 JP JP2003023185A patent/JP4299015B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10210653B2 (en) | 2011-08-09 | 2019-02-19 | Samsung Electronics Co., Ltd. | Method and apparatus to generate a volume-panorama image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004229958A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4299015B2 (ja) | 超音波画像処理装置 | |
| JP4426530B2 (ja) | 超音波撮像装置および超音波撮像方法 | |
| JP6367425B2 (ja) | 超音波診断装置 | |
| US10242450B2 (en) | Coupled segmentation in 3D conventional ultrasound and contrast-enhanced ultrasound images | |
| CN109069119B (zh) | 用于超声胎儿成像的3d图像合成 | |
| JP2000217815A (ja) | 超音波像を合成しパノラマ画像を合成する方法及び装置 | |
| US6238345B1 (en) | Image memory for extended field of view ultrasonic diagnostic imaging | |
| CN110992411B (zh) | 图像配准模型的训练方法和装置 | |
| JP2000107183A (ja) | 臓器容積計測方法および装置 | |
| CN1859872A (zh) | 心脏容积超声定量法 | |
| US11406362B2 (en) | Providing user interface in ultrasound system | |
| JP2004507298A (ja) | 空間的に合成されたパノラマ画像を持つ超音波診断システム | |
| JP2003132356A (ja) | 二つの３次元画像データセットを位置合わせする方法及び装置 | |
| JP2003204963A (ja) | 複数の２ｄスライスから画像を作成するための超音波診断方法及び装置 | |
| CN114693838B (zh) | 用于调整描绘的轮廓的绘制方法、设备及介质 | |
| KR101183017B1 (ko) | 중심선에 기초하여 초음파 공간 합성 영상을 제공하는 초음파 시스템 및 방법 | |
| KR101118549B1 (ko) | 의료용 융합영상 획득장치 및 획득방법 | |
| JP2015144623A (ja) | 超音波診断装置および画像評価表示方法 | |
| JP7294996B2 (ja) | 超音波診断装置及び表示方法 | |
| CN112634191A (zh) | 医学影像分析方法、超声成像设备及计算机存储介质 | |
| JPH0428354A (ja) | 超音波診断装置 | |
| CN112386282B (zh) | 一种超声自动容积扫描成像方法与系统 | |
| CN112927274A (zh) | 双能减影图像配准方法、装置、设备及可读存储介质 | |
| JP2003334194A (ja) | 画像処理装置及び超音波診断装置 | |
| JP2003079620A (ja) | 超音波パノラマ画像形成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |