JP2012000135A - マルチモダリティ動画像診断装置 - Google Patents

Abstract

【課題】複数の診断装置で撮影される動画像を心電図波形などの同期信号に同期させて同時に表示画面上で参照しながら読影することが可能なシステムを提供する。
【解決手段】異なるフレームレートを有する繰り返し画像を撮影する第１の診断装置と、連続画像を撮影する第２の診断装置のそれぞれで撮像された画像データを取り込んで画像処理を行う画像診断装置において、画像診断装置にデータを入力する入力手段と、繰り返し画像および連続画像を含むデータを記憶する記憶手段と、繰り返し画像および連続画像を含む画像を表示する表示手段と、連続画像の撮影に連動させて同期信号を発生させる同期信号発生手段と、繰り返し画像のフレームレートを同期信号に同期するように該フレームレートを補正処理する処理手段と、を有し、表示装置に前記繰り返し画像と連続画像と同期させながら同時に表示することを特徴とする。
【選択図】図１

Description

本発明は、画像診断装置に係り、例えば、異なる画像診断装置により取得された複数の互いに同期させた画像データ情報を同時に表示させ、該表示画面を参照しながら診断を可能とするマルチモダリティ動画像診断装置に関する。

各種画像診断装置（モダリティ）、例えば、ＣＴ(Computed Tomography)装置やＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、さらにはＵＳ（超音波診断）装置による生体内の形態画像の取得技術が進歩し、リアルタイムに２次元画像は言うに及ばず、３次元（３Ｄ）画像の撮影、収集が可能となっている。さらに、ネットワークの高速化やストレージの大容量化に伴い、長時間の動画を記録し、またそれらを読影に利用できるようになって来ている。

一方、一つの画像診断装置から得られる情報には限界があり、複数の画像診断装置から得られた情報を同時に参照しながら診断を行うニーズも強くなってきている。

超音波診断装置によれば、生体内の形態観察の他に、例えば、血流量あるいは血流速度などの時間変化等の、他の画像診断装置では取得困難な生体機能の情報を、簡単な操作でリアルタイムに得られる。

反面、現状の超音波診断装置では、広範囲で空間分解能と時間分解能が十分高い画質の画像を得ることは困難である。そこで、視野角度を小さくして観察領域を絞り、空間分解能と時間分解能の高い小領域の画像を収集する撮影条件の設定が必要となる。

他方、他の画像診断装置、例えば、ＣＴ装置によれば被検者の生体内の広範囲にわたる画像データを得ることができる。しかし、ＣＴ装置の画像データからは臓器の形態や位置に関する情報しか得られない。

したがって、医師は、複数の診断装置で得られた画像データを並べて、それぞれの形態を見比べて観察しなければならない。しかも、時系列で変化する動画像データを観察しなければならない。

そこで、一つの診断装置で撮影された画像を参照画像として、他の診断装置で撮影された画像と同期を取ることが求められている。

動画像間の同期を取る手法として、一つの画像診断装置、たとえば超音波診断装置で以前に撮影された画像と、現在撮影している画像との同期を取り、両画像の比較を容易にする工夫が提案されている（例えば、特許文献１を参照）。

特開２００３−６１９６１号公報

上述したように、種々の画像診断装置で得られた画像データを確認しながら診断を行うニーズも強くなってきている。しかも、それらの画像データは、動画である。これらの動画は、画像診断装置によって形態が様々である。例えば、ＵＳ装置により撮影された画像は、連続画像であり、フレームレートが種々存在する。あるいは、心電図同期心筋ＳＰＥＣＴ装置やＣＴ装置で撮影された画像は、繰り返し画像であって、心拍や呼吸などに同期した１周期分の動画であり、これもフレームレートはまちまちである。

ところで、診断に用いる画像データは、同時期に種々の画像診断装置で撮影された画像の場合や、手術の前後などに撮影され、その撮影間隔が非常に開いている画像の場合などがある。

これらの画像データは、画像診断装置ごとにフレームレートが異なり、また同じ画像診断装置でも撮影方法や撮影時期が異なるのでフレームレートがまちまちとなってしまう。

医師などは、フレームレートがまちまちな画像を比較して読影する必要があるが、得られる情報が増加しても、読影にかけられる時間は増えることはないのが現状である。

現状では、フレームレートが異なる種々の画像診断装置で得られた画像と同期を取って比較することが困難である。

そこで、本発明の目的は、複数の画像診断装置で撮影される動画像を心電図波形などの同期信号に同期させて同時に表示画面上で参照しながら読影することが可能なシステムを提供することである。

上記課題を解決するために、本願発明になる画像診断装置の主たるものは、異なるフレームレートを有する繰り返し画像を撮影する第１の診断装置と、連続画像を撮影する第２の診断装置のそれぞれで撮像された画像データを取り込んで画像処理を行う画像診断装置において、画像診断装置にデータを入力する入力手段と、繰り返し画像および連続画像を含むデータを記憶する記憶手段と、繰り返し画像および連続画像を含む画像を表示する表示手段と、連続画像の撮影に連動させて同期信号を発生させる同期信号発生手段と、繰り返し画像のフレームレートを同期信号に同期するように該フレームレートを補正処理する処理手段と、を有し、表示装置に前記繰り返し画像と連続画像と同期させながら同時に表示することを特徴とする。

または、異なるフレームレートを有する繰り返し画像を撮影する第１の診断装置と、連続画像を撮影する第２の診断装置のそれぞれで撮像された画像データを取り込んで画像処理を行う画像診断装置において、画像診断装置にデータを入力する入力手段と、繰り返し画像および連続画像を含むデータを記憶する記憶手段と、繰り返し画像および連続画像を含む画像を表示する表示手段と、繰り返し画像から同期に必要な情報を抽出する情報抽出手段と、繰り返し画像のフレームレートを該抽出した情報に同期するように該フレームレートを補正処理する処理手段とを有し、表示装置に繰り返し画像と連続画像とを同期させながら同時に表示することを特徴とする。

または、連続画像を含む画像データを取り込んで画像処理を行う画像診断装置において、画像診断装置にデータを入力する入力手段と、連続画像を含む画像を表示する表示手段と、連続画像の撮影に連動させて同期信号を発生させる同期信号発生手段と、同期信号に同期した連続画像の特定時相において撮影された静止画を含むデータを記憶する記憶手段と、を有し、特定時相に同期させながら静止画を表示手段に表示することを特徴とする。

すなわち、
１）心電図のような同期信号を用いる場合であって、連続画像の心電図に同期させて、繰り返し画像を何度も繰り返しながら同時に表示させる。

また、最もフレームレートの高い、すなわち１心拍当りのフレーム数が多い画像に合わせて他の画像を補間して表示する。このような構成により、一般的な画像と異なり、情報の欠落防止を図ることができる。

また、心拍数の変化に応じて、補間して生成する画像数を自動的に変更して、変化に追随させることができる。
２）心電図のような同期信号がない場合であって、画像上から同期に必要な情報を自動的に抽出する。例えば、注目領域の面積や体積の周期的変化、あるいは、画像全体の周期的な濃度変化、あるいはドップラ信号の周期的変化を用いる。これらを同期信号の代わりに利用することができる。
３）同期信号上に予め設定されたタイミングで静止画像を自動的に作成する。このような構成により、撮影間隔が開いているために心拍数などが大きく異なる画像間での比較を容易にすることができる。

本発明によれば、フレームレートの異なる種々の画像データを同期させて、画像同士を比較することが可能となる。これにより、読影時間の短縮が可能となり、さらに見落としの防止に繋げることができる。

本発明を適用した画面表示の一例を示す図。 心電図波形に対応したＳＰＥＣＴ繰り返し画像の撮影間隔を示す図。 心電図波形に対応したＣＴ繰り返し画像の撮影間隔を示す図。 心電図波形に対応したＵＳ連続画像の撮影間隔を示す図。 １心拍間における各種撮影画像の撮影間隔をＵＳ画像の撮影間隔に同期させる処理手順を示すフローチャート。 実施例１で示す繰り返し画像とＵＳ画像のそれぞれの撮影間隔を示す図。 図４で示す連続画像（ＵＳ撮影間隔）の心電図を基準として繰り返し画像を同期させた場合のタイミングを示す図。 実施例１で示す繰り返し画像とＵＳ画像のそれぞれの撮影間隔を示す図。 図６で示す連続画像（ＵＳ撮影間隔）の心電図を基準として繰り返し画像を同期させた場合のタイミングを示す図。 実施例１で示すハイレートを有する繰り返し画像とＵＳ画像のそれぞれの撮影間隔を示す図。 図８で示す連続画像（ＵＳ撮影間隔）の心電図を基準として繰り返し画像を同期させた場合のタイミングを示す図。 実施例１で示すハイレートを有する繰り返し画像とＵＳ画像のそれぞれの撮影間隔を示す図。 図１０で示す繰り返し画像（ＣＴ撮影間隔）を基準として繰り返し画像を同期させた場合のタイミングを示す図。 本発明の画像診断装置の概略構成を示す図。 繰り返し画像のデータ構造を示す図。 繰り返し画像のフレームごとのデータ構造を示す図。 連続画像のデータ構造を示す図。 連続画像のフレームごとのデータ構造を示す図。 実施例２で示す同期に必要な情報を抽出する一例を示す図。 実施例２で示す同期に必要な情報を抽出する別の一例を示す図。 実施例２で示す同期に必要な情報を抽出する別の一例を示す図。 心電図波形の特定時相の説明図。 実施例２で示す同期に必要な情報を抽出する別の一例を示す図。 事前設定された心拍タイミングでの静止画像の自動抽出の例を示す図（心拍が進むごとに表示が更新される場合）。 事前設定された心拍タイミングでの静止画像の自動抽出の例を示す図（異なる時期に撮影された画像の比較）。 実施例３で示す繰り返し画像の同期手順を示すフローチャート。

以下に、図面を用いて実施例を詳述する。

図１は、本発明を適用した場合の画像表示画面の例を示す図である。表示画面１には、各種画像診断装置にて撮影した画像が表示されている。すなわち、上段にはＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置を用いて撮影した画像（各種ＳＰＥＣＴ画像２ａ〜２ｃ）が表示され、中段にはＣＴ（Computed Tomography）により撮影した画像（３Ｄ像１３ａやスライス像１４ａ）が表示され、さらに下段にはＵＳ（超音波）診断装置にて撮影した画像（Ｂモードやドプラ）１３および現在検査中の検査技師または医師、被検者およびプローブの位置などの検査中動画１２が表示されている。

なお、各画像の左側には、上記のそれぞれの画像に対応して同期がとれた心電図の波形３、５、６が表示されている。それぞれの波形は、表示タイミングを微徴する調節手段４で調整が可能である。又、下段には連続した心電図波形７の表示がされる。

さらに、表示画面１の右下には、検査技師または医師がデータ入力できる入力部が設けられていて、例えば、「画像選択」１１、「同期方法選択」１０、「静止画像自動生成」９を適宜選択することが可能である。

「画像選択」１１では、患者の指定や検査日に対応する患者の画像データの選択と、どのモダリティ（ＣＴ装置やＳＰＥＣＴ装置など）画像と同期を採るかを選択することができ、また「同期方法選択」１０ではどのような方法（心電図や画像上からなど）で同期を採るかを選択することができ、「静止画自動生成」９を選択すると、一定のタイミング（例えば、心臓が拡張した時）の静止画像を生成させることもできる。

なお、表示される画像診断装置は、ＳＰＥＣＴ装置とＣＴ装置とＵＳ装置の場合を示したが、その他のモダリティ、例えば、ＭＲＩ装置などを用いたシステムにも適用でき、画面表示にも当然、ＭＲＩ装置で撮影した画像を表示することができる。

以下に、複数のモダリティ画像を同期させて表示画面１に表示する処理手順を説明する。
≪心電図波形を利用できる場合≫
図２Ａから図２Ｃまでの図は、本発明で対象とする画像診断装置の取得画像の一例を示している。
先ず、図２Ａで示す上側の波形は、心電図波形を示している。下側には、心電図波形のＲ波ピークに同期してＳＰＥＣＴ画像を順次撮影する撮影間隔（フレームレート）が示されている。ＳＰＥＣＴ画像は心電図に同期して取得される。すなわち、心電図に同期した１心拍内におけるＳＰＥＣＴ撮影間隔を示しており、この場合は撮影間隔が等間隔で、１心拍内に１６画像を撮影する場合を示している。この画像は、心臓の周期ごとに特定時相の１又は複数のフレームを繰り返して表示する繰り返し画像である。

次に、図２Ｂの上側の波形は、心電図波形を示している。下側には、心電図波形のＲ波ピークに同期してＣＴ画像を順次撮影する撮影間隔（フレームレート）が示されている。ＣＴ画像は心電図に同期して取得される。すなわち、心電図に同期した１心拍内におけるＣＴ撮影間隔を示しており、この場合は撮影間隔が等間隔で、１心拍内に１２画像を撮影する場合を示している。この画像も、ＳＰＥＣＴ画像と同様に、同じ撮影間隔で繰り返される繰り返し画像である。

さらに、図２Ｃの上側の波形は、心電図波形を示していて、この例では２心拍までが示されている。下側には、ＵＳ撮影間隔（フレームレート）を示している。

図に示すように、心拍数は一定ではなく、最初の１心拍と次の１心拍とでは変化している。本図では、初めの心拍数が約７５回の場合で、それに続く心拍数は、９０回の場合を示している。

ＵＳ画像は、動画像として収集した一連の画像データであり、連続画像である。この連続画像は、１秒当たり３０フレームで撮影される。各心拍数に対応して、ＵＳ画像のフレームレートは、心拍数が約７５回の場合が２４フレームで、心拍数が約９０回の場合は２０フレームとなっている。従って、最初の１心拍目では、ＵＳ画像は、約０．８秒間で２４フレームが撮影され、次の１心拍では、約０．６６秒間に２０フレームが撮影される。

図３は、図２Ｃで示す連続画像に同期した心電図波形と図２Ａ、図２Ｂで示す繰り返し画像の撮影タイミングを同期させて、それぞれのモダリティで撮影された画像を同時に同一画面に表示する手順を示すフローチャートである。

図３のフローチャートを、図４および図５を併用して説明する。

図４は、図２Ｃで示すＵＳ画像の連続画像の最初の１心拍に対応するＳＰＥＣＴ画像およびＣＴ画像のそれぞれの撮影間隔（フレームレート）を一つの図に配置したものである。上段に示す心電図波形ＢＣは、図２Ｃ中の心拍数約７５回の場合に対応する。

図４中の点線で示す枠Ｘ１の範囲内のＳＰＥＣＴ画像、ＣＴ画像、ＵＳ画像のそれぞれの撮影間隔を拡大して示したものが、図５である。

先ず、図３に示すＳＴＥＰ２において、まずｉの初期設定を行う。次に、Ｓｔｅｐ３では、連続画像Ｂと連動して同期している心電図ＢＣから心電図波形のＲ波ピーク（Ｒ時）位置を検出する（図４を参照）。次に、Ｓｔｅｐ４では、Ｒ時点から次のＲ時点までの１心拍分の連続画像であって、フレームのｉ番目の画像Ｂ（ｉ）を読み込む（図５を参照）。ここで、図５では、Ｂ（ｉ）は、フレーム番号が“２”の時を例に示している。さらに、Ｓｔｅｐ５では、繰り返し画像の画像を補完して、ｉ番目の連続画像Ｂ（ｉ）と同じタイミングの１心拍分の連続画像ＡＡ（ｉ）を作成する（図５を参照）。次に、Ｓｔｅｐ６では、連続画像Ｂ（ｉ）と連続画像ＡＡ（ｉ）とをフレームを同期させながら１心拍分表示する（図５を参照）。これを所定の回数だけ繰り返して行う。

上記Ｓｔｅｐ３−６を図５で実際に当て嵌めてみると、ＵＳ撮影間隔のフレーム番号、例えば、フレーム番号２に対応する時間に、新たにＣＴ撮影間隔のフレーム番号２_２を設定し、同様に、ＳＰＥＣＴ撮影間隔のフレーム番号２_１を設定する。同様にして、各フレーム番号に対応して、３_１と３_２、４_１と４_２、・・・と新しくＣＴ撮影間隔とＳＰＥＣＴ撮影間隔のフレーム番号を設定していく。なお、本手順は、ＵＳ撮影間隔（フレームレート）を基準(Ref1)としている。

新しく設定されたフレーム番号に対応した画像データを既に撮影された画像データを補間して作成する。この補間方法は、種々あるが、例えば、フレーム番号２_２場合、フレーム番号１における画像データと、フレーム番号２における画像データを用いて算出される。

ここで、各モダリティで既に撮影した画像は、図１９で示すフレームバッファ２６あるいは記憶装置２７に予め記録、保管されるデータでも、またはリアルタイムに入力されるデータを用いてもよい。通常は、リアルタイムに入力されるデータは、フレームバッファに保管されている。予め記録、保管されるデータとは、手術前に既に撮影された画像データを意味する。また、リアルタイムに入力されるデータとは、例えば、術後の検査中の画像データを意味する。なお、連続画像ＡＡ（ｉ）の画像の補間方法は、後述する。

図６は、図２Ｃで示すＵＳ画像の連続画像の次の１心拍に対応するＳＰＥＣＴ画像およびＣＴ画像のそれぞれの撮影間隔（フレームレート）を一つの図に配置したものである。上段に示す心電図波形ＢＣは、図２Ｃ中の心拍数約９０回の場合に対応する。

図６中の点線で示す枠Ｘ２の範囲内のＳＰＥＣＴ画像、ＣＴ画像、ＵＳ画像のそれぞれの撮影間隔を拡大して示したものが、図７である。

連続画像ＡＡ（ｉ）を求める方法は、ＵＳ撮影間隔（フレームレート）を基準(Ref2)としていて、図５の場合と同様である。
≪ハイレートな繰り返し画像≫
図８は、図２Ｃで示すＵＳ画像の連続画像の最初の１心拍に対応するＳＰＥＣＴ画像およびＣＴ画像のそれぞれの撮影間隔（フレームレート）を一つの図に配置したものである。上段に示す心電図波形ＢＣは、図２Ｃ中の心拍数約７５回の場合に対応する。

図８中の点線で示す枠Ｘ３の範囲内のＳＰＥＣＴ画像、ＣＴ画像、ＵＳ画像のそれぞれの撮影間隔を拡大して示したものが、図９である。図４と同様に心拍数が７５回の時であるが、ＣＴ撮影間隔がハイレートになっている。具体的には、１心拍内のＣＴ撮影が２２フレームとなっており、図４で示す場合の１２フレームに比べて、２倍近いフレームレートになっている。なお、ＳＰＥＣＴ撮影間隔やＵＳ撮影間隔は、図４の場合と同様である。

連続画像ＡＡ（ｉ）を求める方法は、ＵＳ撮影間隔（フレームレート）を基準(Ref3)としていて、図３のフローチャートを用いて求めることができる。なお、連続画像ＡＡ（ｉ）の画像の補間方法は、後述する。

図１０は、図２Ｃで示すＵＳ画像の連続画像の次の１心拍に対応するＳＰＥＣＴ画像およびＣＴ画像のそれぞれの撮影間隔（フレームレート）を一つの図に配置したものである。上段に示す心電図波形ＢＣは、図２Ｃ中の心拍数約９０回の場合に対応する。

図１０中の点線で示す枠Ｘ４の範囲内のＳＰＥＣＴ画像、ＣＴ画像、ＵＳ画像のそれぞれの撮影間隔を拡大して示したものが、図１１である。

図１１では、図４と同様に心拍数が９０回の時であるが、ＣＴ撮影間隔がハイレートになっている。具体的には、１心拍内のＣＴ撮影が２２フレームとなっており、図４で示す場合の１２フレームに比べて、２倍近いフレームレートになっている。なお、ＳＰＥＣＴ撮影間隔やＵＳ撮影間隔は、図４の場合と同様である。ここで、図９と異なる点は、図９では、ＵＳ撮影間隔を基準としていたが、ＣＴ撮影間隔を基準(Ref4)としている点である。なお、本説明では、ＣＴ撮影間隔がハイレートな場合について行ったが、一つの繰返し画像のフレームレートを基準として、他の異なるフレームレートを有する繰返し画像と同期することもできる。

連続画像ＡＡ（ｉ）を求める方法は、図３のフローチャートを適宜読み替えて求めることができる。すなわち、連続画像ＢはＣＴ画像、繰返し画像ＡはＳＰＥＣＴ画像またはＵＳ画像の１心拍分として処理を行い、連続画像ＡＡはＳＰＥＣＴ画像またはＵＳ画像の１心拍分の画像を補完して作成する。なお、連続画像ＡＡ（ｉ）の画像の補間方法は、後述する。

図１０、１１で示すハイレートな繰り返し画像を基準にして他の画像を補間して表示する方法は、情報の欠落を防止できる効果がある。
≪画像の補間方法および表示方法≫
（１）上述した連続画像ＡＡ（ｉ）の補間方法の一つを以下に述べる。ここで、簡単のために、ｉ＝２の場合、すなわち、ＡＡ（２）を求める場合について説明する。例えば、図５においてフレーム番号２_２におけるＣＴ画像データの求め方は、フレーム番号１におけるＣＴ画像データと、フレーム番号２におけるＣＴ画像データを用いて算出される。

フレーム番号１におけるＣＴ画像に対応するボリュームデータＶ１は、ボクセル位置１とボクセル値１を含むデータで構成される。同様に、フレーム番号２におけるＣＴ画像に対応するボリュームデータＶ２には、ボクセル位置２とボクセル値２が与えられている。

フレーム番号１およびフレーム番号２において、既に撮影が完了している場合は、撮影された画像データは、図１９に示すフレームバッファ２６や記憶装置２７などの記憶手段に保管されている。

補間して求めようとする連続画像ＡＡ（２）は、この保管された２つの画像データのボクセル位置１とボクセル位置２の間に存在すると推測できるので、ボクセル位置１におけるボクセル値１とボクセル位置２におけるボクセル値２とを補間して、フレーム番号２_２におけるボクセル位置２_２とボクセル値２_２を求めることができる。この際、補間に用いる関数は、線形または非線形のいずれも用いることができる。

以上の説明は、フレーム番号１とフレーム番号２との間における補間方法を述べたが、
フレーム番号２とフレーム番号３などフレーム番号ｎとフレーム番号ｎ＋１との間の補間にも適用できることは言うまでもない。また、ＣＴ画像の場合を例にして、説明したがＳＰＥＣＴ画像に関しても同様の手法が適用可能である。また、フレーム番号ｎとフレーム番号ｎ＋１だけでなく、フレーム番号ｎ−１の画像も利用してより高次の補間を用いることも可能である。

次に、上記の補間方法により求めた各フレーム番号における画像の表示の方法を述べる。
ここでは、連続して時系列的に表示する場合を想定する。画像データが過去に撮影完了している既存データを用いての表示か、あるいは現在、被検体の撮影と同時に画像を表示するかにより、表示する際に処理装置におけるデータ処理が異なる。

具体的に言えば、前回の検査画像（例えば、術前に撮影した検査画像）を用いて、ＣＴの連続画像ＡＡ（２）を表示する場合を述べる。各フレーム番号における画像データは、既に記憶装置２７などに保管されている。フレーム番号１におけるＣＴ画像に対応するボリュームデータＶ１をＵＳ画像のフレーム番号１に対応するタイミングで表示し、次に、ボリュームデータＶ１とボリュームデータＶ２とを用いて、フレーム番号２_２のボリュームデータＶ２_２を上記補間方法により求め、その結果をＵＳ画像のフレーム番号２に対応するタイミングで表示する。ボリュームデータＶ２の画像は表示することなく、フレーム番号３_２のボリュームデータＶ３_２をＵＳ画像のフレーム番号３に対応するタイミングで表示する。引き続き、同様な方法で、ＵＳ画像のフレーム番号４以降を表示していく。

一方、現在検査中の検査画像を用いて、ＣＴの連続画像ＡＡ（２）を表示する場合を述べる。先ず、フレーム番号１におけるＣＴ画像を撮影し、フレームバッファ２６などの記憶手段に保管する。そのフレーム番号１に対応するボリュームデータＶ１をＵＳ画像のフレーム番号１に対応するタイミングで表示し、次に、フレーム番号２に対応するＣＴ画像データ（ボリュームデータＶ２）を取得し、そのデータをフレームバッファ２６などの記憶手段に保管する。このボリュームデータＶ２とすでに保管されているボリュームデータＶ１とを用いて、上記の補間方法でボリュームデータＶ２_２を求め、その結果をＵＳ画像のフレーム番号２に対応するタイミングで表示する。ボリュームデータＶ２の画像は表示することなく、同様な補間方法で求めたフレーム番号３_２のボリュームデータＶ３_２をＵＳ画像のフレーム番号３に対応するタイミングで表示する。引き続き、同様な方法で、ＵＳ画像のフレーム番号４以降を表示していく。

（２）上述した連続画像ＡＡ（ｉ）の補間方法の別な補間方法として、フレーム番号２_２のボリュームデータＶ２_２としてフレーム番号１のボリュームデータＶ１あるいはフレーム番号２のボリュームデータＶ２を流用することもできる。

例えば、図９に示すように、ＣＴ撮影間隔とＵＳ撮影間隔との差が少ない場合には、フレーム番号２_２におけるＣＴ画像データの求め方は、フレーム番号２におけるＣＴ画像データを用いて算出することもできる。この方法は、補間に要する処理時間やフレームバッファ２６などの記憶容量を節約できるという効果が期待できる。

以上の説明は、フレーム番号２_２の補間方法を述べたが、フレーム番号３_２、およびそれ以降のフレーム番号ｎ_２の補間方法に適用できることは言うまでもない。
また、ＣＴ画像の場合を例にして、説明したがＳＰＥＣＴ画像に関しても同様の手法が適用可能である。また、ハイレートな繰返し画像の例で述べたＵＳ画像にも適用可能である。
≪画像診断装置の構成≫
図１２は、本実施例で示す画像診断装置の構成の一例を示す。本図では、診断装置としては、診断装置（１）２０と、診断装置（２）２１と、診断装置（３）２２の３種類の診断装置から構成されている。本例では、診断装置（１）はＳＰＥＣＴ装置を、診断装置（２）はＣＴ装置を、診断装置（１）はＵＳ装置を示す。

各診断装置１−３は、処理装置２４と信号の授受が出来るように電気的に接続され、処理装置２４にはそれぞれ、入力装置２５、表示装置２３および記憶装置２７が接続されている。表示装置２３には、フレームバッファ２６が接続され、動画を表示するときなどには、このフレームバッファ２６に画像データを一時的に保管しておく。

表示装置２３には、図１で示す本願発明になる同期を取ったモダリティごとの動画像が表示される。
≪データ構造≫
図１３には、撮影した画像のデータ構造の一例を示す。データベースには、撮影装置を識別するモダリティＩＤ、患者ＩＤ、撮影時刻、撮影部位、撮影方法、画像データ、心電図データ、撮影時間が記憶される。

また、機器毎に撮影時刻の表現方法が異なる。例えば、取得開始時点を撮影時点とする機器Ｘや、取得開始から取得終了までの期間の中央値を撮影時点とする機器Ｙなどがある。そこで、機器毎にどの表現方法を用いているかを表現するために、データベースには、モダリティＩＤ毎に撮影時刻定義のデータが記憶される。

撮影時刻定義において、取得開始時点を撮影時点とする機器と、中央値を撮影時点とする機器が混在する場合、撮影時刻の表現を補正する処理を行う。具体的には、中央値を撮影時点とする機器における撮影時刻は、撮影時刻から撮影時間Ｔの１／２を引いた値を用いて、中央値を撮影時点とする機器の撮影時刻を表現をあわせた上で，画像の補間や表示の処理を行う。

図１４は、繰り返し画像および連続画像のデータ構造を示す。各フレームのデータ構造を示す。
すなわち、データ構造には画像サイズ、画像データ数、および画像データが入力される。この例では、画像データのデータ数は１６個である。つまり、１心拍の間に１６フレームの撮影がなされる。

図１５は、心電図データのデータ構造を示す。図が示すように、サンプリングレート、総データ数および各データが入力される。総入力データ数（ｎ）に対応させて、データ（１）からデータ（ｎ）まで、撮影された画像データを入力していく。

図１６は、ＵＳ装置の場合のデータ構造を示す。各フレームのデータ構造を示す。すなわち、データ構造には画像サイズ、画像データ数、および画像データが入力される。この例では、画像データのデータ数はＮ個である。

≪心電図波形を利用できない場合≫
以下に、図１７−図２１を用いて、図２Ａ−２Ｃに示すようなＵＳ画像に同期した心電図波形がない場合の同期方法を示す。

図１７の上段には、ＵＳ装置で撮影したＵＳ画像を示す。図の中段には、心電図波形が示されているが、これは説明のために図示したもので、本実施例の場合には、ＵＳ画像に同期した心電図波形はないものとする。
図中の下段には、縦軸に心臓の左心室の大きさ（例えば、面積または体積）を取り、横軸に時間軸を取っている。左心室の大きさを時系列に撮影して取得していき、それをプロットすることで図に示すカーブが得られる。画像の取得は、必ずしも連続的に得られないので、離散的なデータの場合は、適宜線形補間のような補間方法で、図のカーブを得るものとする。
図中の下段のカーブを幾つかの特定な時相を有しているので、その時相から図の中段に示すような心電図波形の各特定時相と対応図けることが可能である。例えば、Ｒ波ピークなどである。図の下段に示すカーブから、周期性および拡張末期タイミングを求めることができる。これにより、１心拍の時間や画像撮影のトリガとできるＲ波ピーク（拡張末期タイミング）を特定することができる。すなわち、実施例１で述べたような心電図波形を同期信号として用いる代替手法とすることができる。
具体的には、図中○印が実際に取得された左心室の大きさを示している。例えば、１心拍あたり２０フレーム撮影された場合は、１心拍あたり最大２０個の測定点が得られる。実際には、画像上のノイズや撮影中の探触子の移動などの影響により、測定結果は誤差を含んでいる。このため、時間軸に沿った測定点の移動平均や１次、２次の補間処理を行う。あるいは、左心室の大きさが最大の測定点とその前後の測定点から、左心室の大きさが最大になった時点をより正確に推定し、この時点を拡張末期と設定する。これらの処理により、この誤差の影響をできるだけ防止することができる効果がある。

図１８は、拡張末期タイミングを利用した他の適用例を示す。すなわち、心臓のスライス間の濃度変化の平均（動き量）を用いることもできる。心臓の動きに応じた各ステージにおいて、スライス画像を求め、各画像の濃度の平均を求め、その平均値の変化に対応させて心電図波形に対応する位置を求める。これにより、ＵＳ画像に同期した心電図波形の代わりに同期信号として用いることができる。

図１９は、拡張末期タイミングを利用したさらに他の適用例を示す。心臓を流れる血流、あるいは血流速度をドップラ信号の強度で捕らえ、そのドップラ信号の変化により、心電図波形に対応する位置を求めることが可能である。これにより、ＵＳ画像に同期した心電図波形の代わりに同期信号として用いることができる。

図２０は、人の心臓から取得した心電図（ＥＣＧ：Electrocardiography）波形を示す。ＥＣＧは、心房及び心室の活動から生じる振れを、時間につれて電圧の大きさ及び極性の変化として示すスカラー表現である。これらの振れは「波」と呼ばれる。ＥＣＧの１サイクルは、Ｐ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波、Ｕ波より構成される。Ｐ波からＱ波までが心房の興奮を、Ｑ波からＴ波までが心室の興奮を表し、Ｔ波の終末からＵ波までが心室の弛緩期を表す。
ＥＣＧのうち、特定の関心のある一つは、ＱＲＳ間隔またはＱＲＳ波群であり、特にＲ波ピークである。Ｒ波ピークは、ＱＲＳトリガとも呼ばれる。

また、心臓サイクルは、一心拍動の開始点から次の心拍動の開始点までの周期として定義される。各々の心臓サイクル中には２つの重要な時間間隔、すなわち、収縮期と拡張期がある。図２０では、Ｒ波の直前に示されているのが拡張末期であり、またＳ波−Ｔ波間、またはＴ波−Ｕ波間に収縮末期が示されている。収縮末期の前者を収縮末期（１）、後者を収縮末期（２）と称することにする。拡張期の間、左心室が血流で満たされる。収縮期の間、左心室は収縮して、心臓から血液を送り出す。収縮期の間は、解剖学的に運動量が大きく、これに対して拡張期の間は運動量は少ない。診断の面からは、収縮期の解剖学的な構造に関心がもたれている。ＱＲＳトリガ（Ｒ波ピーク）は収縮期の開始を検出するのに便利な手段である。超音波スキャナー制御、画像データの取得に使用される。

図２１は、図２０で示す収縮末期を利用した例を示す。上述した拡張末期タイミングと合わせて、収縮末期タイミングも用いることができる。図中では、拡張末期のタイミングは（ｂ）で示され、収縮末期タイミングは、（ｃ）で示されている。

図２２は、表示画面１の左下には、連続する心電図波形３１が図示され、その波形図の上には、さらに、１心拍分を拡大した図が示されている。この１心拍分の心電図波形３２には、タイミングに応じて（１）−（３）の番号が付されており、それぞれの番号に対応したＵＳ静止画像３０が図中の右側に表示されている。図中の左は、現在より一つ前の時点（図中３３の１心拍分）で撮影されたＵＳ静止画像３４が表示され、右には現在のＵＳ静止画像３０が表示されている。

このＵＳ静止画像３０は、同期信号上で予め設定されたタイミング（本例では、上記の心電図波形（１）−（３）に対応）で撮影された画像が自動的に表示される。自動作成するプログラムは、適宜、図１９で示す記憶装置２７などの保存して置けばよい。また、自動表示されたＵＳ静止画像３０は、フレームバッファ２６、あるいは記憶装置２７に保存される。

図２３が図２２と異なる点は、ＵＳ静止画像３０を撮影する時期が異なることである。すなわち、図中の左には、前回の検査画像が示され、右には今回の検査画像が示されている。それぞれの画像は、図中の左側に示す前回と今回の心電図波形３１に対応して予め設定されたタイミング（図中では、心電図波形（１）−（３））に対応したタイミングで撮影されたＵＳ静止画像である。前回と今回の心電図波形とは異なるのが通常である（図２３の心電図波形を参照）。本例の場合、（１）のタイミングは、拡張末期に、（２）は収縮末期（１）に、（３）は収縮末期（２）にそれぞれ対応する。

本実施例は、撮影間隔が開いているために心拍数などが大きく異なる画像間での比較を行う時に、その開いている間隔を補完することができ、比較を容易にできる効果がある。

図２４は、図３と異なる連続画像に同期させた繰り返し画像の生成手順を示すフローチャートである。すなわち、繰り返し画像の再生速度を、心電図の周期性から求めて、その速度により、繰返し速度を再生していくものである。ここで、繰り返し画像が自由な速度で表示可能な機能を備える診断装置を前提としている。

先ず、図２４に示すＳＴＥＰ２において、まずｉの初期設定を行う。次に、連続画像Ｂと連動して同期している心電図ＢＣから心電図波形のＲ波ピーク（Ｒ時）位置を検出する（ＳＴＥＰ３）。次に、Ｒ時点から次のＲ時点までの１心拍分の連続画像であって、フレームのｉ番目の画像Ｂ（ｉ）と心電図ＢＣ（ｉ）を読み込む（ＳＴＥＰ４）。心電図ＢＣ（ｉ）から１心拍のＲ−Ｒ間の時間ｔを算出する（ＳＴＥＰ５）。繰り返し画像の１心拍の経過時間をｔで割り、その値を再生速度Ｖとする（ＳＴＥＰ６）。繰り返し画像Ａの再生速度をＶに設定し、連続画像Ｂ（ｉ）と繰り返し画像Ａを同時に１心拍分表示する（ＳＴＥＰ７）。これを所定の回数、繰り返して行う。

本実施例の効果は、図４、５などで示した画像の補間処理を用いる必要がないことである。また、撮影間隔が空いているために心拍数などが大きく異なる画像間での比較をする場合、補間による画像のぼけや偽像の発生を防止できる効果がある。

１…表示画面、
２ａ,２ｂ,２ｃ…ＳＰＥＣＴ画像、
３…心電図波形、
４…表示タイミング調節手段、
５…心電図波形、
６…心電図波形、
７…連続心電図波形、
８…全動画タイミング微調整部、
９…静止画自動生成指示部、
１０…同期方法選択部、
１１…画像選択部、
１２…検査中動画、
１３…ＵＳ画像、
１４ａ,１４ｂ…ＣＴ画像、
２０…診断装置１（ＳＰＥＣＴ装置）、
２１…診断装置２（ＣＴ装置）、
２２…診断装置３（ＵＳ装置）、
２３…表示装置、
２４…処理装置、
２５…入力装置、
２６…フレームバッファ、
２７…記憶装置、
３０…ＵＳ静止画像、
３１…心電図波形、
３２…心電図波形（１心拍分）、
３３…一つ前の時点で撮影されたＵＳ静止画像、
Ａ…繰り返し画像、
Ｂ…連続画像、
ＢＣ…心電図波形、
Ｔ…画像取得に要する時間、
Ｘ…取得開始時点を撮影時刻とする機器、
Ｙ…取得中の中央の時点を撮影時刻とする機器。

Claims (11)

1. 異なるフレームレートを有する繰り返し画像を撮影する第１の診断装置と、連続画像を撮影する第２の診断装置のそれぞれで撮像された画像データを取り込んで画像処理を行う画像診断装置において、
   前記画像診断装置にデータを入力する入力手段と、
   前記繰り返し画像および前記連続画像を含むデータを記憶する記憶手段と、
   前記繰り返し画像および前記連続画像を含む画像を表示する表示手段と、
   前記連続画像の撮影に連動させて同期信号を発生させる同期信号発生手段と、
   前記繰り返し画像のフレームレートを前記同期信号に同期するように該フレームレートを補正処理する処理手段と、を有し、
   前記繰り返し画像と前記連続画像とを同期させながら同時に前記表示装置に表示することを特徴とする画像診断装置。
2. 請求項１記載の画像診断装置において、
   前記処理手段は、前記フレームレートが一番高い繰り返し画像に合わせて、他の繰り返し画像を前記連続画像に同期させることを特徴とする画像診断装置。
3. 請求項１記載の画像診断装置において、
   前記入力手段は、複数の前記第１の診断装置から異なるフレームレートで撮影された画像を取り込み、
   前記処理手段は、前記フレームレートの異なる繰り返し画像の内の一つのフレームレートに合わせて、他のフレームレートを有する繰り返し画像を同期させることを特徴とする画像診断装置。
4. 請求項１記載の画像診断装置において、
   同期信号発生手段が、心電図であることを特徴とする画像診断装置。
5. 異なるフレームレートを有する繰り返し画像を撮影する第１の診断装置と、連続画像を撮影する第２の診断装置のそれぞれで撮像された画像データを取り込んで画像処理を行う画像診断装置において、
   前記画像診断装置にデータを入力する入力手段と、
   前記繰り返し画像および前記連続画像を含むデータを記憶する記憶手段と、
   前記繰り返し画像および前記連続画像を含む画像を表示する表示手段と、
   前記繰り返し画像から同期に必要な情報を抽出する情報抽出手段と、
   前記繰り返し画像のフレームレートを該抽出した情報に同期するように該フレームレートを補正処理する処理手段とを有し、
   前記繰り返し画像と前記連続画像とを同期させながら同時に前記表示装置に表示することを特徴とする画像診断装置。
6. 請求項５記載の画像診断装置において、
   前記情報抽出手段は、前記連続画像から得られる生体情報の特定時相の変化量に基づいて同期に必要な情報を算出することを特徴とする画像診断装置。
7. 請求項６記載の画像診断装置において、
   前記処理手段は、前記フレームレートが一番高い繰り返し画像に合わせて、他の繰り返し画像を前記連続画像に同期させることを特徴とする画像診断装置。
8. 請求項６記載の画像診断装置において、
   前記入力手段は、複数の前記第１の診断装置から異なるフレームレートで撮影された画像を取り込み、
   前記処理手段は、前記フレームレートの異なる繰り返し画像の内の一つのフレームレートに合わせて、他のフレームレートを有する繰り返し画像を同期させることを特徴とする画像診断装置。
9. 請求項６記載の画像診断装置において、
   前記生体情報が、超音波装置により撮影された心臓の左心室の面積あるいは体積、または、超音波装置により撮影された心臓スライス間の濃度の変化の平均値、または、超音波装置により撮影された心臓のドプラ信号の強度のいずれかであることを特徴とする画像診断装置。
10. 連続画像を含む画像データを取り込んで画像処理を行う画像診断装置において、
    前記画像診断装置にデータを入力する入力手段と、
    前記連続画像を含む画像を表示する表示手段と、
    前記連続画像の撮影に連動させて同期信号を発生させる同期信号発生手段と、
    前記同期信号に同期した前記連続画像の特定時相において撮影された静止画像を含むデータを記憶する記憶手段と、を有し、
    前記特定時相に同期させながら前記静止画像を前記表示手段に表示することを特徴とする画像診断装置。
11. 請求項１０記載の画像診断装置において、
    異なる時期に撮影された複数の静止画像を、それぞれが有する前記特定時相に同期させながら前記表示手段に並列して表示することを特徴とする画像診断装置。

Images