JP2018011928A

JP2018011928A - 制御装置、制御方法、制御システム及びプログラム

Info

Publication number: JP2018011928A
Application number: JP2016229312A
Authority: JP
Inventors: 浩荒井; Hiroshi Arai; 由香里中小司; Yukari Nakashoji
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-07-08
Filing date: 2016-11-25
Publication date: 2018-01-25

Abstract

【課題】超音波画像と光音響画像とを取得可能な装置であって、一方の画像を観察中に、一方の画像に基づいて他方の画像を表示させることができる装置を提供する。
【解決手段】第１の手法により取得された第１の信号に基づいて第１の画像を取得し、第１の画像を解析して関心領域を検出し、第２の手法により取得された第２の信号に基づいて関心領域を含む第２の画像を取得するために、第２の信号の取得を制御し、第１の画像と第２の画像とを比較可能に表示部に表示させる。
【選択図】図３

Description

本明細書の開示は、制御装置、制御方法、制御システム及びプログラムに関する。

被検体内部の状態を低侵襲に画像化する撮像装置として、超音波撮像装置や光音響撮像装置が利用されている。特許文献１には、超音波信号と光音響信号とを取得する装置において、超音波画像に基づいて同定された特定の領域については光音響信号から光音響画像を生成する処理を行い、当該特定の領域以外の領域については光音響信号から光音響画像を生成する処理を行わないことが開示されている。

特開２０１５―１９８６８８号公報

光音響信号は、被検体に照射された光により、被検体内部で生じた膨張によって発生した音響波に基づく。したがって、光音響画像を取得したい領域のみ光音響信号から光音響画像を生成するようにするのみでは、光音響画像を取得しない領域に対しても光が照射されることになる。

本明細書が開示する制御装置は、被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブから、前記超音波信号と前記光音響信号とのうち少なくともいずれかを取得する信号取得手段と、前記超音波信号に基づいて超音波画像を生成する生成手段と、前記生成された前記超音波画像に基づいて前記プローブの前記光照射を制御する照射制御手段と、を有することを特徴とする。

本発明によれば、異なる種類の撮像を制御することができる制御装置において、一方の種類の撮像で得られた画像に基づいて、他方の種類の撮像を行うか否かを制御することができ、ユーザや被検体にとって冗長でない検査を行うことができる。

第１の実施形態に係る制御装置の構成の一例を示す図である。第１の実施形態に係る制御装置により行われる処理の一例を示すフローチャートである。第１の実施形態に係る制御装置により表示される画像の一例を示す図である。第２の実施形態に係る制御装置により表示される画像の一例を示す図である。第２の実施形態に係る制御装置により行われる処理の一例を示すフローチャートである。第３の実施形態に係る制御装置により表示される画像の一例を示す図である。第３の実施形態に係る制御装置により行われる処理の一例を示すフローチャートである。第４の実施形態に係る制御装置により行われる検査の一例を示す図である。第４の実施形態に係る制御装置により行われる処理の一例を示すフローチャートである。本発明の実施形態に係る制御装置を含むシステムの構成の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。

［第１の実施形態］
本願明細書では、被検体に光を照射し、被検体内部で生じた膨張によって発生する音響波を光音響波と称する。また、トランスデューサから送信された音響波または当該送信された音響波が被検体内部で反射した反射波（エコー）を超音波と称する。

被検体内部の状態を低侵襲に画像化する方法として、超音波を用いた画像化の方法や光音響波を用いた画像化の手法が利用されている。超音波を用いた画像化の方法は、たとえばトランスデューサから発振された超音波が被検体内部の組織で音響インピーダンスの差に応じて反射され、反射波がトランスデューサに到達するまでの時間や反射波の強度に基づいて画像を生成する方法である。超音波を用いて画像化された画像を以下では超音波画像と称する。ユーザはプローブの角度等を変えながら操作し、様々な断面の超音波画像をリアルタイムに観察することができる。超音波画像には臓器や組織の形状が描出され、腫瘍の発見等に活用されている。また、光音響波を用いた画像化の方法は、たとえば光を照射された被検体内部の組織が断熱膨張することにより発生する光音響波に基づいて画像を生成する方法である。光音響波を用いて画像化された画像を以下では光音響画像と称する。光音響画像には各組織の光の吸収の度合いといった光学特性に関連した情報が描出される。光音響画像では、たとえばヘモグロビンの光学特性により血管を描出できることが知られており、腫瘍の悪性度の評価等への活用が検討されている。

診断の精度を高めるために、被検体の同一部位を、異なる原理に基づいて異なる現象を画像化することにより、様々な情報を収集する場合がある。たとえば、ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）画像で得られた形態情報と、ＰＥＴ（ｐｏｓｉｔｒｏｎｅｍｉｓｓｉｏｎｔｏｍｏｇｒａｐｈｙ）画像で得られた代謝に関する機能情報とを組み合わせて、がんに関する診断を行う場合がある。このように、異なる原理に基づいて異なる現象を画像化して得られた情報を用いて診断を行うことは、診断の精度向上に有効であると考えられる。

上述した超音波画像と光音響画像に関しても、それぞれの特性を組み合わせた画像を得るための撮像装置が検討されている。特に、超音波画像も光音響画像も被検体からの超音波を利用して画像化されることから、超音波画像の撮像と光音響画像の撮像とを同じ撮像装置で行うことも可能である。より具体的には、被検体に照射した反射波と光音響波とを同じトランスデューサで受信する構成とすることができる。これにより、超音波信号と光音響信号とを一つのプローブで取得することができ、ハードウェア構成が複雑にならずに、超音波画像の撮像と光音響画像の撮像とを行う撮像装置を実現できる。

超音波画像の撮像と光音響画像の撮像とを行う撮像装置において、ユーザは従来の超音波画像の撮像と同様にプローブの操作を行いたい場合が想定される。すなわちユーザはプローブを被検体の表面に接触させ、当該プローブにより取得された情報に基づいて表示される画像を観察しながらプローブを操作することが考えられる。その際に、信号取得や画像表示に関する動作モードの切り替えを、たとえばプローブに設けられたスイッチや、当該撮像装置の操作卓に設けられた入力デバイスを介して行うと、ユーザは画像を観察しながらのプローブ操作を中断する必要がある。そのため、スイッチや操作卓の入力デバイスへの操作入力の間に被検体の体動が生じたり、プローブ位置がずれたりすることが考えられる。

たとえば、上述の例のように超音波画像と光音響画像とを組み合わせて観察し、腫瘍の悪性度を評価する場合を考える。ユーザは超音波画像を観察しながらプローブを操作したところ、腫瘍の可能性がある部位を発見し、光音響画像を取得して血管の情報を収集したいとする。このとき、光音響画像を表示するための動作モードに切り替えるために上述したスイッチや操作卓の入力デバイスへの操作入力の間に、腫瘍の可能性があると考えた部位を観察できる位置からプローブがずれてしまうおそれがある。第１の実施形態は、ユーザが画像を観察する際の操作性を低下させずに、表示させる画像を切り替えることができる制御装置を提供することを目的とする。

図１０は、第１の実施形態に係る制御装置１０１を含むシステムの構成の一例を示す図である。超音波画像と光音響画像とを生成可能な撮像システム１００は、ネットワーク１１０を介して各種の外部装置と接続されている。撮像システム１００に含まれる各構成及び各種の外部装置は、同じ施設内に設置されている必要はなく、通信可能に接続されていればよい。

撮像システム１００は、制御装置１０１、プローブ１０２、検知部１０３、表示部１０４、操作部１０５を含む。制御装置１０１は、プローブ１０２から超音波信号と光音響信号とを取得し、たとえば超音波画像に基づいて光音響信号の取得を制御し、当該制御に基づいて光音響画像を生成する装置である。また、制御装置１０１は、超音波画像ならびに光音響画像の撮像を含む検査に関する情報をオーダリングシステム１１２から取得し、当該検査が行われる際にプローブ１０２や検知部１０３や表示部１０４を制御する。制御装置１０１は、生成された超音波画像、光音響画像、超音波画像に光音響画像を重畳した重畳画像をＰＡＣＳ１１３に出力する。制御装置１０１は、ＨＬ７（Ｈｅａｌｔｈｌｅｖｅｌ７）及びＤＩＣＯＭ（ＤｉｇｉｔａｌＩｍａｇｉｎｇａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎｓｉｎＭｅｄｉｃｉｎｅ）といった規格に準じて、オーダリングシステム１１２やＰＡＣＳ１１３といった外部装置との間で情報の送受信を行う。制御装置１０１により行われる処理についての詳細は、後述する。

撮像システム１００で超音波画像を撮像される被検体内の領域は、たとえば循環器領域、乳房、肝臓、膵臓といった領域である。また、撮像システム１００では、たとえば微小気泡を利用した超音波造影剤を投与した被検体の超音波画像を撮像してもよい。

また、撮像システム１００で光音響画像を撮像される被検体内の領域は、たとえば循環器領域、乳房、径部、腹部、手指および足指を含む四肢といった領域である。特に、被検体内の光吸収に関する特性に応じて、新生血管や血管壁のプラークを含む血管領域を、光音響画像の撮像の対象としてもよい。以下では、超音波画像を撮像しながら光音響画像を撮像する場合を例に説明するが、撮像システム１００で光音響画像を撮像される被検体内の領域は必ずしも超音波画像を撮像される領域と一致していなくてもよい。撮像システム１００では、たとえばメチレンブルー（ｍｅｔｈｙｌｅｎｅｂｌｕｅ）やインドシアニングリーン（ｉｎｄｏｃｙａｎｉｎｅｇｒｅｅｎ）といった色素や、金微粒子、それらを集積あるいは化学的に修飾した物質を造影剤として投与した被検体の光音響画像を撮像してもよい。

プローブ１０２は、ユーザにより操作され、超音波信号と光音響信号とを制御装置１０１に送信する。プローブ１０２は、送受信部１０６と照射部１０７とを含む。プローブ１０２は、送受信部１０６から超音波を送信し、反射波を送受信部１０６で受信する。また、プローブ１０２は照射部１０７から被検体に光を照射し、光音響波を送受信部１０６で受信する。プローブ１０２は受信した反射波ならびに光音響波を電気信号に変換し、超音波信号ならびに光音響信号として制御装置１０１に送信する。プローブ１０２は、被検体との接触を示す情報を受信したときに、超音波信号を取得するための超音波の送信ならびに光音響信号を取得するための光照射が実行されるように制御されることが好ましい。

送受信部１０６は、少なくとも１つのトランスデューサ（不図示）と、整合層（不図示）、ダンパー（不図示）、音響レンズ（不図示）を含む。トランスデューサ（不図示）はＰＺＴ（ｌｅａｄｚｉｒｃｏｎａｔｅｔｉｔａｎａｔｅ）やＰＶＤＦ（ｐｏｌｙｖｉｎｙｌｉｄｅｎｅｄｉｆｌｕｏｒｉｄｅ）といった、圧電効果を示す物質からなる。トランスデューサ（不図示）は圧電素子以外のものでもよく、たとえば静電容量型トランスデューサ（ＣＭＵＴ：ｃａｐａｃｉｔｉｖｅｍｉｃｒｏ−ｍａｃｈｉｎｅｄｕｌｔｒａｓｏｎｉｃｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサである。典型的には、超音波信号は２〜２０ＭＨｚ、光音響信号は０．１〜１００ＭＨｚの周波数成分からなり、トランスデューサ（不図示）はこれらの周波数を検出できるものが用いられる。トランスデューサ（不図示）により得られる信号は時間分解信号である。受信された信号の振幅は各時刻にトランスデューサで受信される音圧に基づく値を表したものである。送受信部１０６は、電子フォーカスのための回路（不図示）もしくは制御部を含む。トランスデューサ（不図示）の配列形は、たとえばセクタ、リニアアレイ、コンベックス、アニュラアレイ、マトリクスアレイである。

送受信部１０６は、トランスデューサ（不図示）が受信した時系列のアナログ信号を増幅する増幅器（不図示）を備えていてもよい。また、送受信部１０６は、トランスデューサ（不図示）が受信した時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えていてもよい。トランスデューサ（不図示）は、超音波画像の撮像の目的に応じて、送信用と受信用とに分割されてもよい。また、トランスデューサ（不図示）は、超音波画像の撮像用と、光音響画像の撮像用とに分割されてもよい。

照射部１０７は、光音響信号を取得するための光源（不図示）と、光源（不図示）から射出されたパルス光を被検体へ導く光学系（不図示）とを含む。光源（不図示）が射出する光のパルス幅は、たとえば１ｎｓ以上、１００ｎｓ以下のパルス幅である。また、光源（不図示）が射出する光の波長は、たとえば４００ｎｍ以上、１６００ｎｍ以下の波長である。被検体の表面近傍の血管を高解像度でイメージングする場合は、４００ｎｍ以上、７００ｎｍ以下の、血管での吸収が大きい波長が好ましい。また、被検体の深部をイメージングする場合には、７００ｎｍ以上、１１００ｎｍ以下の、水や脂肪といった組織で吸収されにくい波長が好ましい。

光源（不図示）は、たとえばレーザーや発光ダイオードである。照射部１０７は、複数の波長の光を用いて光音響信号を取得するために、波長を変換できる光源を用いてもよい。あるいは、照射部１０７は、互いに異なる波長の光を発生する複数の光源を備え、それぞれの光源から交互に異なる波長の光を照射できる構成であってもよい。レーザーは、たとえば固体レーザー、ガスレーザー、色素レーザー、半導体レーザーである。光源（不図示）として、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーといったパルスレーザーを用いてもよい。また、Ｎｄ：ＹＡＧレーザーの光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（ｏｐｔｉｃａｌｐａｒａｍｅｔｒｉｃｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源（不図示）として用いてもよい。また、光源（不図示）として、マイクロウェーブ源を用いてもよい。

光学系（不図示）には、レンズ、ミラー、光ファイバといった光学素子が用いられる。被検体が乳房である場合には、パルス光のビーム径を広げて照射することが好ましいため、光学系（不図示）は射出される光を拡散させる拡散板を備えていてもよい。あるいは解像度を上げるために、光学系（不図示）はレンズ等を備え、ビームをフォーカスできる構成であってもよい。

検知部１０３は、プローブ１０２の位置と姿勢に関する情報を取得する。検知部１０３は、プローブ１０２の位置に関する情報を制御装置１０１に送信する。検知部１０３は、たとえばプローブ１０２に備えられたモーションセンサである。検知部１０３は制御装置１０１に必ずしも含まれていなくてもよく、検査に先立って設定される各種の条件に基づいて、適宜センサのＯＮとＯＦＦとが切り替えられるようにしてもよい。

表示部１０４は、制御装置１０１からの制御に基づいて、撮像システム１００で撮像された画像や、検査に関する情報を表示する。表示部１０４は、制御装置１０１からの制御に基づいて、ユーザの指示を受け付けるためのインタフェースを提供する。表示部１０４は、たとえば液晶ディスプレイである。

操作部１０５は、ユーザの操作入力に関する情報を制御装置１０１に送信する。操作部１０５は、たとえばキーボードやトラックボールや、検査に関する操作入力を行うための各種のボタンである。

なお、表示部１０４と操作部１０５はタッチパネルディスプレイとして統合されていてもよい。また、制御装置１０１と表示部１０４と操作部１０５は別体の装置である必要はなく、これらの構成が統合された操作卓として実現されてもよい。制御装置１０１は、複数のプローブを有していてもよい。

ＨＩＳ（ＨｏｓｐｉｔａｌＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍ）１１１は、病院の業務を支援するシステムである。ＨＩＳ１１１は、電子カルテシステム、オーダリングシステムや医事会計システムを含む。ＨＩＳ１１１により検査のオーダ発行から会計までを連携して管理することができる。ＨＩＳ１１１のオーダリングシステムは、オーダ情報を部門ごとのオーダリングシステム１１２に送信する。そして後述するオーダリングシステム１１２において当該オーダの実施が管理される。

オーダリングシステム１１２は、検査情報を管理し、撮像装置でのそれぞれの検査の進捗を管理するシステムである。オーダリングシステム１１２は検査を行う部門ごとに構成されていてもよい。オーダリングシステム１１２は、たとえば放射線部門においてはＲＩＳ（ＲａｄｉｏｌｏｇｙＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍ）である。オーダリングシステム１１２は、制御装置１０１からの問い合わせに応じて、撮像システム１００で行う検査の情報を制御装置１０１に送信する。オーダリングシステム１１２は、制御装置１０１から検査の進捗に関する情報を受信する。そして、オーダリングシステム１１２は、検査が完了したことを示す情報を制御装置１０１から受信すると、当該検査が完了したことを示す情報をＨＩＳ１１１に送信する。オーダリングシステム１１２はＨＩＳ１１１に統合されていてもよい。

ＰＡＣＳ（ＰｉｃｔｕｒｅＡｒｃｈｉｖｉｎｇａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍ）１１３は、施設内外の各種の撮像装置で得られた画像を保持するデータベースシステムである。ＰＡＣＳ１１３は、医用画像及びかかる医用画像の撮影条件や、再構成を含む画像処理のパラメータや患者情報といった付帯情報を記憶する記憶部（不図示）と、当該記憶部に記憶される情報を管理するコントローラ（不図示）とを有する。ＰＡＣＳ１１３は、制御装置１０１から出力された超音波画像や光音響画像や重畳画像を記憶する。ＰＡＣＳ１１３と制御装置１０１との通信や、ＰＡＣＳ１１３に記憶される各種の画像はＨＬ７やＤＩＣＯＭといった規格に則していることが好ましい。制御装置１０１から出力される各種の画像は、ＤＩＣＯＭ規格に則って各種のタグに付帯情報が関連付けられ、記憶されている。

Ｖｉｅｗｅｒ１１４は、画像診断用の端末であり、ＰＡＣＳ１１３等に記憶された画像を読み出し、診断のために表示する。医師は、Ｖｉｅｗｅｒ１１４に画像を表示させて観察し、当該観察の結果得られた情報を画像診断レポートとして記録する。Ｖｉｅｗｅｒ１１４を用いて作成された画像診断レポートは、Ｖｉｅｗｅｒ１１４に記憶されていてもよいし、ＰＡＣＳ１１３やレポートサーバ（不図示）に出力され、記憶されてもよい。

Ｐｒｉｎｔｅｒ１１５は、ＰＡＣＳ１１３等に記憶された画像を印刷する。Ｐｒｉｎｔｅｒ１１５はたとえばフィルムプリンタであり、ＰＡＣＳ１１３等に記憶された画像をフィルムに印刷することにより出力する。

図１は、制御装置１０１の構成の一例を示す図である。制御装置１０１は、ＣＰＵ１３１と、ＲＯＭ１３２と、ＲＡＭ１３３と、ＤＩＳＫ１３４と、ＵＳＢ１３５と、通信回路１３６と、ＧＰＵ１３７と、ＨＤＭＩ１３８と、プローブコネクタポート１３９とを有する。これらはＢＵＳ１３０により通信可能に接続されている。

ＢＵＳ１３０はデータバスであり、接続されたハードウェア間でのデータの送受信や、ＣＰＵ１３１から他のハードウェアへの命令を送信するために使用される。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１３１は制御装置１０１及びこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ１３１はＲＯＭ１３２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ１３１は、表示部１０４を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部１０４に対する表示制御を行う。さらにＣＰＵ１３１は、操作部１０５に対する入出力制御を行う。

ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１３２は、ＣＰＵによる制御の手順を記憶させたプログラムやデータを格納する。ＲＯＭ１３２は、制御装置１０１のブートプログラム１４０や各種初期データ１４１を有する。また、制御装置１０１の処理を実現するための各種のモジュール１４２〜１５０を有する。制御装置１０１の処理を実現するための各種のモジュールについては、後述する。

ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３３は、ＣＰＵ１３１が命令プログラムによる制御を行う際に作業用の記憶領域を提供するものである。ＲＡＭ１３３は、スタック１５１とワーク領域１５２とを有する。ＲＡＭ１３３は、制御装置１０１を及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶する。ＲＡＭ１３３は、ＣＰＵ１３１が実行する制御プログラムを格納し、ＣＰＵ１３１が各種制御を実行する際の様々なデータを一時的に格納する。

ＤＩＳＫ１３４は、超音波画像や光音響画像などの各種のデータを保存する補助記憶装置である。ＤＩＳＫ１３４は、たとえばＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）である。

ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）２０５は操作部１０５と接続する接続部である。

通信回路１３６は撮像システム１００を構成する各部や、ネットワーク１１０に接続されている各種の外部装置との通信を行うための回路である。通信回路１３６は、たとえば出力する情報を転送用パケットに格納してＴＣＰ／ＩＰといった通信技術により、ネットワーク１１０を介して外部装置に出力する。制御装置１０１は、所望の通信形態にあわせて、複数の通信回路を有していてもよい。

ＧＰＵ１３７は、ビデオメモリを含む汎用グラフィックスボードに含まれる。ＧＰＵ１３７は、画像処理モジュール１４５の一部又は全部を実行し、たとえば光音響画像の再構成処理を行う。このような演算装置を使用するにより、専用ハードウェアを必要とせずに高速に再構成処理などの演算を行うことができる。

ＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）１３８は、表示部１０４と接続する接続部である。

プローブコネクタポート１３９は、プローブ１０２を制御装置１０１に接続するための接続口である。プローブ１０２から出力される超音波信号及び光音響信号は、ポート１３９を介して制御装置１０１に取得される。

ＣＰＵ１３１やＧＰＵ１３７はプロセッサの一例である。また、ＲＯＭ１３２やＲＡＭ１３３やＤＩＳＫ１３４はメモリの一例である。制御装置１０１は複数のプロセッサを有していてもよい。第１の実施形態においては、制御装置１０１のプロセッサがメモリに格納されているプログラムを実行することにより、制御装置１０１の各部の機能が実現される。

なお、制御装置１０１は特定の処理を専用に行うＣＰＵやＧＰＵを有していても良い。また、制御装置１０１は特定の処理あるいは全ての処理をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を有していてもよい。制御装置１０１はＤＩＳＫ１３４としてＨＤＤとＳＳＤとの両方を有していてもよい。

ＲＯＭ１３２に格納されているモジュール１４３〜１５０について説明する。図１に示したモジュール１４３〜１５０は本発明の実施形態に関連する処理を実行するためのモジュールを抽出したものである。制御装置１０１は、図示した以外に、検査を実行し制御装置１０１を動作させるために必要なモジュールを有していてもよい。また、それぞれのモジュールは一つまたは複数のプログラムとして組み合わされて構成されていてもよい。また、モジュール１４３〜１５０の一部又は全部は、ＤＩＳＫ１３４といったＲＯＭ１３２以外のメモリに格納されていてもよい。以下、各モジュールについて詳述する。

検査制御モジュール１４２は、撮像システム１００において行われる検査を制御する。検査制御モジュール１４２は、オーダリングシステム１１２から検査オーダの情報を取得する。検査オーダには、検査を受ける患者の情報や、撮影手技に関する情報が含まれる。検査制御モジュール１４２は、撮影手技の情報に基づいてプローブ１０２や検知部１０３を制御する。さらに検査制御モジュール１４２は、ユーザに検査に関する情報を提示するために出力モジュール１５０を介して表示部１０４に当該検査の情報を表示させる。表示部１０４に表示される検査の情報には、検査を受ける患者の情報や、当該検査に含まれる撮影手技の情報や、既に撮像が完了して生成された画像が含まれる。さらに検査制御モジュール１４２は、当該検査の進捗に関する情報をオーダリングシステム１１２に送信する。たとえば、ユーザにより当該検査が開始された際には、システム１１２に開始を通知し、当該検査に含まれる全ての撮影手技による撮像が完了した際には、システム１１２に完了を通知する。

信号取得モジュール１４３は、プローブ１０２から超音波信号と光音響信号とを取得する。具体的には、信号取得モジュール１４３は、検査制御モジュール１４２や画像処理モジュール１４５や位置取得モジュール１４９からの情報に基づいて、プローブ１０２から取得した情報から超音波信号と光音響信号とを区別して取得する。たとえば、撮像を行っている撮影手技において、超音波信号の取得と光音響信号の取得のタイミングが規定されている場合には、検査制御モジュール１４２から取得した当該取得のタイミングの情報に基づいて、プローブ１０２から取得した情報から超音波信号と光音響信号とを区別して取得する。後述する例のように、超音波画像を画像処理モジュール１４５により解析した結果に基づいて照射部１０７を制御して光音響信号を取得する場合には、当該制御に対応して取得された信号を光音響信号として、超音波信号と区別して取得する。信号取得モジュール１４３は、プローブ１０２から超音波信号と光音響信号とのうち少なくともいずれかを取得する取得手段の一例である。

信号取得モジュール１４３は照射制御モジュール１４４を有する。照射制御モジュール１４４は、検査制御モジュール１４２から取得した撮像条件に関する情報や、画像処理モジュール１４５が超音波画像を解析した結果に基づいて、照射部１０７による光照射を制御する。

画像処理モジュール１４５は、撮像システム１００において取得された信号に基づいて画像を生成する処理を行うためのモジュールである。画像処理モジュール１４５は、超音波画像生成モジュール１４６と、光音響画像生成モジュール１４７と、重畳画像生成モジュール１４８とを有する。

画像処理モジュール１４５は、超音波画像生成モジュール１４６、光音響画像生成モジュール１４７、重畳画像生成モジュール１４８がそれぞれ生成した画像を付帯情報とともにＤＩＳＫ１３４に保存する。また、出力モジュール１５０を介して外部装置に画像を付帯情報とともに出力することにより、当該外部装置に保存する。

超音波画像生成モジュール１４６は、信号取得モジュール１４３により取得された超音波信号から、表示部１０４に表示させるための超音波画像を生成する。超音波画像生成モジュール１４６は、検査制御モジュール１４２から取得した撮影手技の情報に基づいて、設定されたモードに適した超音波画像を生成する。たとえば撮影手技としてドプラモードが設定されている場合には、超音波画像生成モジュール１４６は、信号取得モジュール１４３により取得された超音波信号の周波数と送信周波数との差に基づいて、被検体内部の流速を示す画像を生成する。超音波画像生成モジュール１４６により生成される超音波画像は、Ａモード、Ｍモード、ドプラモードといった、その他のいずれの方法により生成されるものであってもよいし、ハーモニックイメージやエラストグラフィ画像であってもよい。

さらに、第一の実施形態において超音波画像生成モジュール１４６は、生成した超音波画像を解析して、光音響信号を取得して光音響画像を生成すべき領域を特定する。たとえば、超音波画像生成モジュール１４６は、超音波画像を解析して結石の可能性がある領域を特定する。この観点では、超音波画像生成モジュール１４６は、超音波画像を解析して光音響画像を取得する領域を特定する検出手段として機能する。

光音響画像生成モジュール１４７は、信号取得モジュール１４３により取得された光音響信号に基づいて光音響画像を生成する。光音響画像生成モジュール１４７は、光音響信号に基づいて光が照射された時の音響波の分布（以下、初期音圧分布と称する。）を再構成する。光音響画像生成モジュール１４７は、再構成された初期音圧分布を、被検体に照射された光の被検体の光フルエンス分布で除することにより、被検体内における光の吸収係数分布を取得する。また、被検体に照射する光の波長に応じて、被検体内で光の吸収の度合いが異なることを利用して、複数の波長に対する吸収係数分布から被検体内の物質の濃度分布を取得する。たとえば光音響画像生成モジュール１４７は、オキシヘモグロビンとデオキシヘモグロビンの被検体内における物質の濃度分布を取得する。さらに光音響画像生成モジュール１４７は、オキシヘモグロビン濃度のデオキシヘモグロビン濃度に対する割合として酸素飽和度分布を取得する。光音響画像生成モジュール１４７により生成される光音響画像は、たとえば上述した初期音圧分布、光フルエンス分布、吸収係数分布、物質の濃度分布、酸素飽和度分布といった情報を示す画像である。また、光音響画像は、これらを組み合わせて生成される画像のいずれであってもよい。

すなわち画像処理モジュール１４５は、超音波信号に基づいて超音波画像を生成し、光音響信号に基づいて光音響画像を生成する生成手段の一例である。

重畳画像生成モジュール１４８は、超音波画像生成モジュール１４６で生成された超音波画像に対して、光音響画像生成モジュール１４７で生成された光音響画像を重畳した重畳画像を生成する。重畳画像生成モジュール１４８は、超音波画像と光音響画像とを位置合わせして重畳画像を取得する。当該位置合わせには、検査制御モジュール１４２から取得した撮像条件や、後述する位置取得モジュール１４９から取得したプローブ１０２の位置に関する情報を用いてもよい。また、当該位置合わせは超音波画像と光音響画像とに共通して描出されている領域に基づいて行われてもよい。

位置取得モジュール１４９は、検知部１０３からの情報に基づいてプローブ１０２の位置に関する情報を取得する。位置取得モジュール１４９は、当該位置に関する情報の経時変化に基づいて、プローブ１０２の被検体に対する移動の速度や、回転の速度の情報や、被検体に対する押圧の程度を示す情報の、少なくともいずれかを取得してもよい。検知部１０３がプローブ１０２の情報を制御装置１０１に送信している場合は、位置取得モジュール１４９は一定の時間間隔で、好ましくはリアルタイムでプローブ１０２の位置情報を取得することが好ましい。

さらに位置取得モジュール１４９は、撮像に用いられているプローブ１０２に関する情報を取得してもよい。プローブ１０２に関する情報には、プローブの種類、中心周波数、感度、音響フォーカス、電子フォーカス、観察深度といった情報が含まれる。位置取得モジュール１４９は、プローブ１０２の位置に関する情報やプローブ１０２に関する情報を検査制御モジュール１４２、画像処理モジュール１４５、出力モジュール１５０に適宜送信する。

出力モジュール１５０は、表示部１０４に画面を表示させるための情報を出力し、ネットワーク１１０を介して外部装置に情報を出力する。

出力モジュール１５０は、表示部１０４を制御して、表示部１０４に情報を表示させる。出力モジュール１５０は、検査制御モジュール１４２や画像処理モジュール１４５からの入力や、操作部１０５を介したユーザの操作入力に応じて、表示部１０４に情報を表示させる。出力モジュール１５０は、表示制御手段の一例である。

出力モジュール１５０は、制御装置１０１からネットワーク１１０を介してＰＡＣＳ１１３といった外部装置に情報を出力する。たとえば、出力モジュール１５０は画像処理モジュール１４５で生成された超音波画像や光音響画像、これらの重畳画像をＰＡＣＳ１１３に出力する。出力モジュール１５０から出力される画像には、検査制御モジュール１４２によりＤＩＣＯＭ規格に則った各種のタグとして付帯された付帯情報が含まれる。付帯情報には、たとえば患者情報や、当該画像を撮像した撮像装置を示す情報や、当該画像を一意に識別するための画像ＩＤや、当該画像を撮像した検査を一意に識別するための検査ＩＤが含まれる。また、付帯情報には、同じ検査の中で撮像された超音波画像と光音響画像とを関連付ける情報が含まれる。超音波画像と光音響画像とを関連付ける情報とは、たとえば超音波画像を構成する複数のフレームのうち、光音響画像を取得したタイミングが最も近いフレームを示す情報である。さらに、付帯情報として、検知部１０３で取得されたプローブ１０２の位置情報を超音波画像及び光音響画像の各フレームに付帯させてもよい。すなわち出力モジュール１５０は、超音波画像を生成するための超音波信号を取得したプローブ１０２の位置を示す情報を、当該超音波画像に付帯させて出力する。また、出力モジュール１５０は、光音響画像を生成するための光音響信号を取得したプローブ１０２の位置を示す情報を、当該光音響画像に付帯させて出力する。出力モジュール１５０は、出力手段の一例である。

図２は、取得された超音波画像に基づいて光照射を制御し、光音響画像を取得するための制御装置１０１の処理の一例を示すフローチャートである。以下に示す各処理は、特に断りがない場合、各モジュールによる処理を実現する主体は、ＣＰＵ１３１またはＧＰＵ１３７である。

ステップＳ２０１において、超音波画像生成モジュール１４６が実行されることにより、超音波画像が取得される。具体的には、まず検査に先だって検査制御モジュール１４２が実行されることにより、検査オーダがオーダリングシステム１１２から取得される。当該検査オーダには、検査の対象である患者の情報や、検査の対象となる部位や、撮影手技に関する情報が含まれる。ユーザは、プローブ１０２を操作し、プローブ１０２から超音波信号が制御装置１０１に送信される。信号取得モジュール１４３が実行されることにより、当該超音波信号が制御装置１０１に取得される。超音波画像生成モジュール１４６が実行されることにより、当該超音波信号に基づいて超音波画像が生成される。出力モジュール１５０が実行されることにより、当該超音波画像が表示部１０４に表示される。ユーザは表示部１０４に表示された超音波画像を観察しながら、プローブ１０２をさらに操作することができる。

ステップＳ２０２において、検査制御モジュール１４２が実行されることにより、超音波画像に基づいて光音響信号を取得するか否かを示す情報を取得する。超音波画像に基づいて光音響信号を取得するか否かを示す情報とは、具体的には、ユーザによる事前の設定や、検査オーダに含まれる情報である。別の例では、制御装置１０１で行われている処理の負荷の状態に応じて、光音響信号を取得するか否かが判定されてもよい。たとえば、制御装置１０１で行われている処理の負荷が大きく、光音響信号の取得を行うことで超音波画像を取得する処理に影響を与えてしまう場合には、検査制御モジュール１４２の処理において光音響信号を取得しないと判定してもよい。超音波画像に基づいて光音響信号を取得する場合にはステップＳ２０３に進み、取得しない場合にはステップＳ２０１に戻って超音波画像の取得が継続される。

ステップＳ２０３において、超音波画像生成モジュール１４６が実行されることにより、超音波画像が解析される。たとえば、超音波画像生成モジュール１４６は、超音波画像を解析し、超音波画像に描出された領域の中から予め定義された関心領域を検出する。当該関心領域には、たとえば結石や腫瘍や血管といった臓器が設定される。結石には、超音波撮影で描出され得る虚像の場合も含む。コンピュータ診断支援システムを併用して着目したい部位を探すこともできる。超音波画像の解析や、関心領域として抽出する領域は上述した例に限られず、超音波画像に加えて光音響画像を取得することが有益であると考えられる領域を検出する形態であればいかなる例でも良い。

ステップＳ２０３において超音波画像生成モジュール１４６に基づいて行われる解析の一例を示す。ここでは２次元の断層画像であるＢモード画像を解析する場合を例に説明する。超音波画像には、スペックルパターンと呼ばれる斑紋状のノイズが含まれる。したがって、当該解析においてはまずスペックルを低減する処理が行われる。たとえば、スペックルを雑音成分として捉え、移動平均やメディアンといった空間フィルタによりスペックルを低減する。あるいは、スペックルパターンに特有な性質であるＲａｙｌｅｉｇｈ分布の性質を利用した、マスク形状が局所可変となるフィルタによりスペックルを低減する。その他、多重解像度フィルタや数値シミュレーションによるフィルタを用いてスペックルを低減してもよい。そして、スペックルが低減された画像に対して、濃度値に対する閾値処理や微分処理により、目的とする領域を抽出するセグメンテーションを行う。あるいは、組織の形状に着目して、たとえば可変形状モデルを用いたセグメンテーションを行ってもよい。当該解析のまた別の例としては、超音波画像に特有の性質であるスペックルパターンに基づいてセグメンテーションを行ってもよい。スペックルパターンの特徴に着目した手法としては、たとえば濃度値に対する同時生起行列に基づく特徴量を用いたテクスチャ解析や、対数圧縮Ｋ分布のパラメータより得られる統計量を不均一エコーに対する特徴量の一つとして用いた確率分布による手法が挙げられる。その他、当該解析において内部エコー、形状、境界部エコー、後方エコー、外側陰影の情報を用いてもよい。

なお、ステップＳ２０３において超音波画像を解析している間、信号取得モジュール１４３により継続して超音波信号を取得し、超音波画像生成モジュール１４６により継続して超音波画像を生成し、出力モジュール１５０により継続して超音波画像を表示部１０４に表示させるようにしてもよい。

ステップＳ２０４において、超音波画像生成モジュール１４６が実行されることにより、ステップＳ２０３の解析の結果に基づいて、光音響画像を取得するか否かについて判定される。ステップＳ２０３において関心領域が抽出された場合にはステップＳ２０５に進み、関心領域が抽出されなかった場合にはステップＳ２０１に戻って超音波画像の取得を継続する。

ステップＳ２０５において、照射制御モジュール１４４が実行されることにより、被検体に光を照射するか否かが判定される。具体的には、照射制御モジュール１４４は、プローブ１０２が被検体に接触しているか否かを判定する。照射制御モジュール１４４は、超音波画像生成モジュール１４６により生成された超音波画像や、位置取得モジュール１４９により取得されたプローブ１０２の位置情報に基づいて、被検体とプローブ１０２との接触を判定する。プローブ１０２に被検体との接触を検知するためのセンサ（不図示）を設け、照射制御モジュール１４４は当該センサ（不図示）からの情報に基づいて被検体とプローブ１０２との接触を判定してもよい。照射制御モジュール１４４は、被検体とプローブ１０２とが接触していると判定される場合に、照射部１０７を制御して光を照射させる。被検体とプローブ１０２とが接触していないと判定される場合に、出力モジュール１５０を介して表示部１０４に、被検体とプローブ１０２とが接触していないことをユーザに報知する画面を表示させてもよい。照射制御モジュール１４４は更に、超音波画像生成モジュール１４６により生成された超音波画像に基づいて、当該超音波画像にステップＳ２０３で関心領域として抽出された領域が描出されている場合に光を照射するように照射部１０７を制御してもよい。これにより、ステップＳ２０３において解析された領域を描出可能な位置からプローブ１０２が離れた場合に、冗長な光照射を行う可能性を低減できる。ステップＳ２０５において被検体に光を照射すると判定された場合にはステップＳ２０６に進み、照射しないと判定された場合にはステップＳ２０１に戻って超音波画像の取得を継続する。

ステップＳ２０６において、信号取得モジュール１４３が実行されることにより、プローブ１０２から光音響信号が取得される。

ステップＳ２０７において、光音響画像生成モジュール１４７が実行されることにより、ステップＳ２０６で取得された光音響信号から光音響画像が再構成される。そして、出力モジュール１５０が実行されることにより、当該再構成された光音響画像が表示部１０４に表示される。さらに、光音響画像生成モジュール１４７が重畳画像生成モジュール１４８を実行するように制御することにより、重畳画像を生成し、出力モジュール１５０を介して表示部１０４に重畳画像を表示させるようにしてもよい。

たとえば、Ｂモード画像のような超音波画像には被検体内部の形態情報が描出される。一方で、光音響画像には血管のヘモグロビン量といった機能情報が描出される。第１の実施形態においては、予め定められた重畳の条件により生成された重畳画像が表示部１０４に表示される。重畳の条件とは、たとえば超音波画像をベース画像とし、光音響画像をレイヤ画像とする重畳画像において、それぞれの画像を表示する色や、重畳範囲や、透明度といった条件である。

このように制御装置１０１は、形態情報に基づいて特定された関心領域の画像と、機能情報とを対応させて参照できるように、超音波画像と光音響画像とを表示部１０４に表示させることができる。これにより、医師といったユーザが被検体の超音波画像や光音響画像といった医用画像を観察し、診断を行うためのワークフローを向上することができる。

なお、上述した例に限らず、照射制御モジュール１４４はユーザの操作入力に基づいて被検体に光を照射させてもよい。光を照射させた場合に、光音響画像生成モジュール１４７により光音響画像を生成させ、出力モジュール１５０を介して表示部１０４に光音響画像を表示させてもよい。

また、光音響画像生成モジュール１４７が生成した光音響画像及び重畳画像生成モジュール１４８が生成した重畳画像が、適宜ＤＩＳＫ１３４やＰＡＣＳ１１３に保存されるようにしてもよい。

図３は、図２に例示したステップＳ２０３において行われる解析の一例と、ステップＳ２０７において表示される画像の一例とを示す図である。ここでは、超音波画像に結石の可能性がある領域が描出される場合を例に説明する。

図３（ａ）は、被検体の内部の構造を模式的に例示した図である。領域３０１は、被検体に対するある位置にプローブを接触させて超音波信号を取得した場合に、当該超音波信号に基づいて生成される超音波画像に描出される領域である。被検体の内部には結石３０２と血管３０３とが存在するものとする。このとき、結石３０２は領域３０１の外部に位置している。

図３（ｂ）は、図３（ａ）に例示する領域３０１を撮像して生成される超音波画像３０４の一例である。超音波画像３０４には、被検体内部の血管３０３と対応する血管領域３０６が描出されている。さらに、超音波画像３０４には領域３０１の外部に存在した結石３０２の像が虚像３０５として描出されている。虚像とは、被検体の内部には本来存在しない構造が画像上に描出されている像である。超音波画像に虚像が描出される原因は複数考えられる。図３（ｂ）に例示する場合においては、サイドローブと呼ばれる、プローブ１０２から送信される主方向の超音波の外側に照射される弱い超音波が原因であると考えられる。サイドローブの超音波が結石といった構造物で反射した反射波がプローブ１０２に検出されると、主方向の超音波によって描出される領域３０１に結石３０２が存在するかのような超音波画像３０４が生成される。超音波画像３０４を観察するユーザは、虚像領域３０５が虚像であるか否かを判断しなければならない。一般的には、ユーザはプローブ１０２を操作して超音波画像の撮像範囲を変えながら虚像であるか否かを判断することが多い。ステップＳ２０３においては、撮像された超音波画像を解析して、たとえば結石の可能性がある領域を検出する。

図３（ｃ）は、図３（ａ）に例示する領域３０１を撮像して生成される光音響画像３０７の一例である。すなわち光音響画像３０７は、図２に例示するステップＳ２０４乃至ステップＳ２０６の処理により取得された光音響信号に基づいて生成された光音響画像である。光音響画像３０７には、被検体内部の血管３０３と対応する血管領域３０８が描出されている。光音響画像３０７には、結石３０２に起因する像、あるいは血管領域３０８に対する影響は描出されていない。結石３０２に起因する特徴が光音響画像３０７に描出されない原因としては、たとえば照射部１０７から照射されるレーザー光の方が、送受信部１０６から照射される超音波よりも直進性が高いことが考えられる。このように、結石の可能性がある像である虚像領域３０５が虚像である場合には、光音響画像３０７において虚像領域３０５と対応する位置に結石３０２に起因する特徴が描出されない。したがってユーザは、結石の可能性があると考える領域が、虚像であるか否かを判断する際に光音響画像から得られる情報を参考にすることができる。

なお、図３（ｃ）では超音波画像３０４を撮像した領域３０１と同一の領域の光音響画像３０７を生成する例を説明したが、これに限らない。たとえば、ステップＳ２０３において結石の可能性がある領域として検出された領域の近傍にのみ光を照射し、当該近傍のみの光音響画像を生成するようにしてもよい。虚像領域３０５の近傍のみを光音響信号を取得する対象とすることにより、光を被検体に照射する時間や、制御装置１０１のリソースに対する負荷を軽減することができる。

図３（ｄ）は、超音波画像３０４に対して光音響画像３０７を重畳した重畳画像３０９の一例を示す図である。たとえば、図２に例示したステップＳ２０７においては、重畳画像３０９を表示することにより、光音響画像を表示する。図３（ｄ）は、ステップＳ２０３において関心領域として検出された領域に対応する領域の光音響画像３１０を超音波画像３０４に重畳して表示する例を示す。光音響画像の表示の方法、ここではすなわち重畳の方法は、ユーザが予め設定しておくことができる。たとえば、光音響波の強度に応じた色で光音響画像を表示させる。これにより光音響画像には、照射された光を吸収して光音響波を発生させる特性を有する血管が描出される。光音響画像３１０には、血管３０３に対応する血管領域３１１上に血管が描出されるのみで、結石３０２に起因する像は描出されていない。これによりユーザは、結石の可能性がある関心領域に関して、超音波画像と光音響画像とを比較することができる。制御装置１０１は、ユーザが当該関心領域に関する診断を補助することができる。たとえば、制御装置１０１は、結石の可能性がある領域が、虚像であるか否かを判断するのを補助することができる。

図２及び図３を用いて、超音波画像に描出される特定の特徴を検出する例を説明したが、本発明はこれに限らない。たとえばステップＳ２０３において、「ファジイ画像処理を用いた超音波画像中の虚像の除去」（ＭｅｄｉｃａｌＩｍａｇｉｎｇＴｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．１４，Ｎｏ．５，１９９６）に記載の技術を用いて、超音波画像を解析して虚像を検出してもよい。さらにステップＳ２０７において、検出された虚像を除去して表示させてもよい。ユーザは、検出された虚像領域が虚像であるか否かを、光音響画像を用いて判断することができる。虚像を除去して超音波画像を表示させる場合にも、光音響画像が比較可能に表示されることにより、超音波画像から虚像が除去されたことをユーザが視認することができる。また、上述したように制御装置１０１は超音波画像において検出された虚像の可能性がある領域が虚像であるか否かについて、光音響画像に描出された情報に基づいて判定してもよい。

第１の実施形態の構成によれば、制御装置１０１は取得された超音波画像を解析して関心領域を検出し、少なくとも当該関心領域に対応する光音響画像を生成する。これにより、関心領域を診断するのに有用な画像の撮像を効率的に行うことができる。また、制御装置１０１は関心領域が検出された場合に光を照射するので、冗長な光照射を低減できる。

［第２の実施形態］
第１の実施形態においては、超音波画像の一例としてＢモード画像を解析した結果に基づいて、被検体への光の照射を制御する例を説明した。第２の実施形態においては、超音波画像の一例としてエラストグラフィ画像を用いる例について説明する。エラストグラフィによる撮像を行う領域は、ユーザが着目している関心領域であると考えられる。関心領域の超音波画像と光音響画像とを生成することにより、関心領域の診断に有用であり、検査のワークフローを向上することができる。以下、詳述する。

エラストグラフィとは、以下に述べる原理によって、組織の硬さを画像化する方法である。一般的にエラストグラフィにおいては、フックの法則に基づいた硬さを考慮し、外部から与えられた応力による組織の歪みが計測される。たとえば体表からプローブ１０２を押しあてたときに、やわらかい組織ほど大きく変形するという性質がある。加圧前後での組織の変位を計測し、微分すれば組織各点での歪みを求めることができる。エラストグラフィ画像とは、組織各点での歪みの分布を画像化したものである。たとえばエラストグラフィ画像は、歪みの大きい部位（柔らかい部位）を赤色とし、中間の緑色を経由して、歪みの小さい部位（硬い部位）を青色となるように色相を変えて表現された２次元画像である。

たとえば、乳房を被検体とする場合、脂肪組織は柔らかく、乳がんなどで石灰化した部位は硬いと考えられる。このように、被検体内の組織の硬さを知ることは診断に有用な情報となる。また、たとえば、腫瘍組織は周囲に新生血管を多く生成すると言われており、光音響画像によって得られる血管の情報をエラストグラフィ画像と併せて利用することは、診断に有用であると考えられる。以下では、超音波画像の一例であるエラストグラフィ画像を解析した結果に基づいて、被検体への光の照射を制御し、光音響画像を取得する例について説明する。

図５は、取得された超音波画像に基づいて光照射を制御し、光音響画像を取得するための制御装置１０１の処理の一例を示すフローチャートである。以下に示す各処理は、特に断りがない場合、各モジュールによる処理を実現する主体は、ＣＰＵ１３１またはＧＰＵ１３７である。

ステップＳ５０１において、超音波画像生成モジュール１４６が実行されることにより、超音波画像が取得される。具体的には、まず検査に先だって検査制御モジュール１４２が実行されることにより、検査オーダがオーダリングシステム１１２から取得される。当該検査オーダには、検査の対象である患者の情報や、検査の対象となる部位や、撮影手技に関する情報が含まれる。ユーザは、プローブ１０２を操作し、プローブ１０２から超音波信号が制御装置１０１に送信される。信号取得モジュール１４３が実行されることにより、当該超音波信号が制御装置１０１に取得される。超音波画像生成モジュール１４６が実行されることにより、当該超音波信号に基づいて超音波画像が生成される。出力モジュール１５０が実行されることにより、当該超音波画像が表示部１０４に表示される。ユーザは表示部１０４に表示された超音波画像を観察しながら、プローブ１０２をさらに操作することができる。

ステップＳ５０２において、信号取得モジュール１４３が実行されることにより、エラストグラフィによる撮影が行われたか否かが判定される。たとえば、ユーザはステップＳ５０１で生成され、表示部１０４に表示された超音波画像を観察しながら、詳細な観察を行いたい領域を発見し、エラストグラフィによる撮影を行う。ユーザは、たとえば操作部１０５を介して、プローブ１０２の信号取得に関する動作モードを、エラストグラフィ撮影の動作モードに切り替えることができる。なお、動作モードの切り替えのためのスイッチ等はプローブ１０２に備え付けられていても構わない。ユーザがエラストグラフィ撮影の動作モードに切り替え、プローブ１０２を被検体に押し当てる動作を行う。信号取得モジュール１４３により、プローブ１０２から超音波信号が取得される。これにより、エラストグラフィ撮影が行われたと判定される。超音波画像生成モジュール１４６が実行されることにより、信号取得モジュール１４３により取得された超音波信号に基づいて、加圧前後の組織の変位を取得し、組織の弾性を反映したエラストグラフィ画像が生成される。エラストグラフィ撮影が行われた場合にはステップＳ２０３に進み、行われなかった場合にはステップＳ２０１に戻って超音波画像の取得が継続される。

ステップＳ５０３において、検査制御モジュール１４２が実行されることにより、超音波画像に基づいて光音響信号を取得するか否かを示す情報を取得する。ステップＳ５０３の処理は、図２に例示したステップＳ２０２の処理と同様であるため、上述した説明を援用してここでの説明を省略する。超音波画像に基づいて光音響信号を取得する場合にはステップＳ５０４に進み、取得しない場合にはステップＳ５０１に戻って超音波画像の取得が継続される。

ステップＳ５０４において、超音波画像生成モジュール１４６が実行されることにより、ステップＳ５０２で取得されたエラストグラフィ画像が解析される。たとえば、超音波画像生成モジュール１４６は、エラストグラフィ画像を解析し、エラストグラフィ画像に描出された領域の中から予め定義された関心領域を検出する。

ステップＳ５０４において超音波画像生成モジュール１４６に基づいて行われる解析の一例を示す。ここではエラストグラフィ画像を解析して、硬い組織が描出されている可能性のある領域を関心領域として検出する例を示す。エラストグラフィ画像は、上述したように組織各点での歪みの分布を画像化したものである。たとえば当該解析では、所定値以下の歪みを有する画素の集合を、硬い組織が描出されている可能性のある領域として検出する。プローブ１０２が被検体を押圧する程度を測定する圧力センサ（不図示）がプローブ１０２に備えられている場合には、信号取得モジュール１４３又は超音波画像生成モジュール１４６により当該押圧の程度を示す情報が取得される。そして、ステップＳ５０４における解析において、プローブ１０２が被検体を押圧する度合いの情報を併せて利用してもよい。プローブ１０２が被検体を押圧する度合いに応じて、各組織の変位のしやすさが変化するためである。たとえば、プローブ１０２が被検体を押圧する度合いが大きいほど、歪みの所定値を小さくしてもよい。

なお、ステップＳ５０４においてエラストグラフィ画像を解析している間、信号取得モジュール１４３により継続して超音波信号を取得し、超音波画像生成モジュール１４６により継続してＢモード画像やエラストグラフィ画像といった超音波画像を生成し、出力モジュール１５０により継続して超音波画像を表示部１０４に表示させるようにしてもよい。

ステップＳ５０５において、超音波画像生成モジュール１４６が実行されることにより、ステップＳ５０４の解析の結果に基づいて、光音響画像を取得するか否かについて判定される。ステップＳ５０４において関心領域が抽出された場合にはステップＳ５０６に進み、関心領域が抽出されなかった場合にはステップＳ５０１に戻って超音波画像の取得を継続する。

ステップＳ５０６において、照射制御モジュール１４４が実行されることにより、被検体に光を照射するか否かを判定する。ステップＳ５０６の処理は、図２に例示したステップＳ２０５の処理と同様であるため、上述した説明を援用することによりここでの説明を省略する。光を照射すると判定された場合にはステップＳ５０７に進み、照射しないと判定された場合にはステップＳ５０１に戻って超音波画像の取得を継続する。

ステップＳ５０７において、信号取得モジュール１４３が実行されることにより、プローブ１０２から光音響信号が取得される。

ステップＳ５０８において、光音響画像生成モジュール１４７が実行されることにより、ステップＳ５０７で取得された光音響信号から光音響画像が再構成される。そして、出力モジュール１５０が実行されることにより、当該再構成された光音響画像が表示部１０４に表示される。さらに、光音響画像生成モジュール１４７が重畳画像生成モジュール１４８を実行するように制御することにより、重畳画像を生成し、出力モジュール１５０を介して表示部１０４に重畳画像を表示させるようにしてもよい。

たとえば、ステップＳ５０８においてエラストグラフィ画像に光音響画像を重畳させた重畳画像が表示部１０４に表示される。ここで、一般的にエラストグラフィ画像は弾性の程度を反映した色相のカラー画像として表現される。また、光音響画像の中でもたとえば特定の物質、たとえばヘモグロビンの濃度を反映した画像においては、濃度の大小を反映した色相のカラー画像として表現される。カラー画像同士を重畳表示する際には、たとえばベース画像とレイヤ画像とで異なる色相を用いることが好ましい。また、光音響画像の色相で表現された領域と、エラストグラフィ画像の色相で表現された領域が重なる場合には、当該領域がどちらの画像にも描出されている領域であることを、ユーザが視認できるようにすることが好ましい。

このように制御装置１０１は、組織の弾性の度合いに基づいて特定された関心領域の画像と、機能情報とを対応させて参照できるように、超音波画像と光音響画像とを表示部１０４に表示させることができる。たとえば、エラストグラフィ画像を観察したところ硬い組織であると考えられる領域が、悪性の腫瘍であるか否かをユーザが判断する場合がある。このとき制御装置１０１は、光音響画像に描出されたたとえば新生血管の情報を比較可能に提示することにより、ユーザの判断を補助することができる。これにより、医師といったユーザが被検体の超音波画像や光音響画像といった医用画像を観察し、診断を行うためのワークフローを向上することができる。

図４は、図５に例示したステップＳ５０４において行われる解析の一例を示す図である。ここでは、エラストグラフィ画像に硬い組織の可能性がある領域が描出される場合を例に説明する。

図４（ａ）は、エラストグラフィ画像４０１の一例である。被検体の内部の構造を模式的に例示した図である。画像４０１には、硬い組織領域４０２が、周囲のよりやわらかい組織と区別可能に表示されている。

図４（ｂ）は、図４（ａ）に示すエラストグラフィ画像４０１に描出されている領域を撮像した光音響画像４０３の一例である。血管領域４０４と、血管領域４０５とが光音響画像４０３に描出されている。

図４（ｃ）は、エラストグラフィ画像４０１に対して光音響画像４０３を重畳した重畳画像４０６の一例である。血管領域４０７は図４（ｂ）に例示した光音響画像に描出された血管領域４０４と対応している。組織領域４０８は図４（ａ）に例示したエラストグラフィ画像に描出された組織領域４０２と対応している。図４（ｃ）は、エラストグラフィ画像において周囲の組織と比べて硬いと考えられる組織領域４０８の近傍の光音響画像を重畳した重畳画像の例である。関心領域である硬い組織領域４０２の近傍のみ光音響画像を取得することにより、光を被検体に照射する時間や、制御装置１０１のリソースに対する負荷を軽減することができる。

第２の実施形態の構成によれば、制御装置１０１は取得された超音波画像を解析して関心領域を検出し、少なくとも当該関心領域に対応する光音響画像を生成する。これにより、関心領域を診断するのに有用な画像の撮像を効率的に行うことができる。また、制御装置１０１は関心領域が検出された場合に光を照射するので、冗長な光照射を低減できる。

第２の実施形態においては、組織の弾性を定性的に表現したエラストグラフィ画像を用いる例について説明したが、本発明はこれに限らない。たとえば、組織の弾性を定量的に表現した定量的弾性イメージングにより生成された画像を用いてもよい。音波の伝搬は波動エネルギーの伝搬であり、これをさえぎる物体には音波の伝搬方向に音響放射力（ａｃｏｕｓｔｉｃｒａｄｉａｔｉｏｎｆｏｒｃｅ）と呼ばれる力が生じる。したがって、高音圧で持続時間の比較的長い収束超音波パルスを生体に放射すると、音響放射力により組織に微小な変位が生じる。また、このときに変位と垂直な方向、すなわち超音波ビームと垂直な方向に伝搬する横波が発生する。横波の伝搬速度は縦波に比べて遅いため、横波の伝搬する過程をパルスエコー法で画像化でき、伝搬速度を求めることができる。横波の伝搬速度は硬い組織ほど大きいと考えられており、これにより組織の硬さを定量的に評価することができる。

あるいは、定性的なエラストグラフィにより求められた組織の歪みの分布と、組織の応力分布とに基づいて、弾性係数分布すなわち定量的な硬さの指標を求めて画像化してもよい。組織の応力分布は直接測定できないが、解剖学的情報やシミュレーション等により取得してもよい。

［第３の実施形態］
第１の実施形態及び第２の実施形態においては、超音波画像を解析した結果に基づいて、被検体への光の照射を制御し、光音響画像を表示する例について説明した。第３の実施形態においては、光音響画像を解析した結果に基づいて、被検体への超音波ビームの照射を制御し、超音波画像を表示する例について説明する。以下では、超音波画像の一例であるエラストグラフィ画像を取得する場合を例に説明する。

上述したように、光音響画像には照射された光を吸収し音響波を生じる性質（以下では、光特性と称する。）を有する物質あるいは組織が描出される。診断の対象となる病変によっては、光特性を有する組織の特徴が診断の助けとなり得る。たとえば、腫瘍組織の周辺では新生血管が多く存在すると言われており、細い血管の密集度合いが高い領域と、腫瘍の悪性度とに相関がある可能性がある。また、特定の病変組織において、光特性を有する物質の濃度が周囲の正常組織と比べて違いがある可能性がある。光音響画像を観察することにより、このような特徴を有する病変のある領域を特定できる場合がある。光音響画像を観察しているユーザが、病変の可能性がある領域、すなわち、より詳細な観察が求められる関心領域を発見した場合に、当該関心領域についてのより詳細な情報を提供することは、診断に有用であると考えられる。第３の実施形態は、光音響画像に関心領域が描出されている場合に、超音波信号を取得して超音波画像を表示することができる。

図７は、取得された光音響画像に基づいて超音波の照射を制御し、超音波画像を取得するための制御装置１０１の処理の一例を示すフローチャートである。以下に示す各処理は、特に断りがない場合、各モジュールによる処理を実現する主体は、ＣＰＵ１３１またはＧＰＵ１３７である。

ステップＳ７０１において、光音響画像生成モジュール１４７が実行されることにより、光音響画像が取得される。具体的には、まず検査に先だって検査制御モジュール１４２が実行されることにより、検査オーダがオーダリングシステム１１２から取得される。当該検査オーダには、検査の対象である患者の情報や、検査の対象となる部位や、撮影手技に関する情報が含まれる。ユーザは、プローブ１０２を操作し、プローブ１０２から光音響信号が制御装置１０１に送信される。信号取得モジュール１４３が実行されることにより、当該光音響信号が制御装置１０１に取得される。光音響画像生成モジュール１４７が実行されることにより、当該光音響信号に基づいて光音響画像が生成される。出力モジュール１５０が実行されることにより、当該光音響画像が表示部１０４に表示される。ユーザは表示部１０４に表示された光音響画像を観察しながら、プローブ１０２をさらに操作することができる。

ステップＳ７０２において、検査制御モジュール１４２が実行されることにより、光音響画像に基づいて超音波信号を取得するか否かを示す情報を取得する。光音響画像に基づいて超音波信号を取得するか否かを示す情報とは、具体的には、ユーザによる事前の設定や、検査オーダに含まれる情報である。別の例では、制御装置１０１で行われている処理の負荷の状態に応じて、超音波信号を取得するか否かが判定されてもよい。たとえば、制御装置１０１で行われている処理の負荷が大きく、光音響信号の取得を行うことで超音波画像を取得する処理に影響を与えてしまう場合には、検査制御モジュール１４２の処理において光音響信号を取得しないと判定してもよい。超音波画像に基づいて光音響信号を取得する場合にはステップＳ７０３に進み、取得しない場合にはステップＳ７０１に戻って光音響画像の取得が継続される。

ステップＳ７０３において、光音響画像生成モジュール１４７が実行されることにより、光音響画像が解析される。たとえば、光音響画像生成モジュール１４７は、光音響画像を解析し、光音響画像に描出された領域の中から予め定義された関心領域を検出する。

ステップＳ７０３において光音響画像生成モジュール１４７に基づいて行われる解析の一例を示す。ここでは光音響画像の一例として特定の波長の光に対する吸収係数を反映した画像（以下では吸収係数画像）を解析する例について説明する。たとえば、ヘモグロビンの光吸収に対応する波長の光を照射することにより、吸収係数画像には血管像が描出される。たとえば当該解析では、光音響画像に描出された領域における血管の密度を解析される。そして、所定以上の密度で血管が存在する領域が関心領域として検出される。より具体的には、たとえば光音響画像の所定の範囲に含まれる画素のうち、ある閾値以上の画素値を持つ画素の個数を所定の範囲を構成する画素の数で割った値を密度として使用する。

なお、ステップＳ７０３において光音響画像を解析している間、信号取得モジュール１４３により継続して光音響信号を取得し、光音響画像生成モジュール１４７により継続して光音響画像を生成し、出力モジュール１５０により継続して光音響画像を表示部１０４に表示させるようにしてもよい。

ステップＳ７０４において、光音響画像生成モジュール１４７が実行されることにより、ステップＳ７０３の解析の結果に基づいて、超音波画像を取得するか否かが判定される。ステップＳ７０３において関心領域が抽出された場合にはステップＳ７０５に進み、関心領域が抽出されなかった場合にはステップＳ７０１に戻って超音波画像の取得を継続する。この観点で、光音響画像生成モジュール１４７は解析手段の一例である。

ステップＳ７０５において、照射制御モジュール１４４が実行されることにより、被検体に超音波を照射するか否かを判定する。具体的には、照射制御モジュール１４４は、プローブ１０２が被検体に接触しているか否かを判定する。照射制御モジュール１４４は、光音響画像生成モジュール１４７により生成された光音響画像や、位置取得モジュール１４９により取得されたプローブ１０２の位置情報に基づいて、被検体とプローブ１０２との接触を判定する。プローブ１０２に被検体との接触を検知するためのセンサ（不図示）を設け、照射制御モジュール１４４は当該センサ（不図示）からの情報に基づいて被検体とプローブ１０２との接触を判定してもよい。照射制御モジュール１４４は、被検体とプローブ１０２とが接触していると判定される場合に、照射部１０７を制御して超音波を照射させる。被検体とプローブ１０２とが接触していないと判定される場合に、出力モジュール１５０を介して表示部１０４に、被検体とプローブ１０２とが接触していないことをユーザに報知する画面を表示させてもよい。照射制御モジュール１４４は更に、光音響画像生成モジュール１４７により生成された光音響画像に基づいて、当該光音響画像にステップＳ７０３で関心領域として抽出された領域が描出されている場合に超音波を照射するように送受信部１０６を制御してもよい。これにより、ステップＳ７０３において解析された領域を描出可能な位置からプローブ１０２が離れた場合に、冗長な超音波照射を行う可能性を低減できる。別の例では、プローブ１０２の温度が所定の値以下の場合に、超音波を照射すると判定してもよい。送受信部１０６の特性上、プローブ１０２が被検体から離れると、プローブ１０２と被検体との間に空気の層が生じる。空気の音響インピーダンスは送受信部１０６の音響インピーダンスに比べて非常に大きい。プローブ１０２と被検体との間に空気の層が存在すると、送受信部１０６の付近で超音波が反射を繰り返し、プローブ１０２の温度が上昇する可能性がある。プローブ１０２に温度を測定する温度センサを備え、照射制御モジュール１４４は当該温度センサからプローブ１０２の温度の情報を取得してもよい。ステップＳ７０５において被検体に超音波を照射すると判定された場合にはステップＳ７０６に進み、照射しないと判定された場合にはステップＳ７０１に戻って光音響画像の取得を継続する。

ステップＳ７０６において、信号取得モジュール１４３が実行されることにより、プローブ１０２から超音波信号が取得される。そして、超音波画像生成モジュール１４６が実行されることにより、当該超音波信号から超音波画像が生成される。そして、出力モジュール１５０が実行されることにより、当該生成された超音波画像が表示部１０４に表示される。さらに、超音波画像生成モジュール１４６が重畳画像生成モジュール１４８を実行するように制御することにより、重畳画像を生成し、出力モジュール１５０を介して表示部１０４に重畳画像を表示させるようにしてもよい。ステップＳ７０６で生成される超音波画像は、たとえばＢモード画像である。

ステップＳ７０７において、超音波画像生成モジュール１４６が実行されることにより、エラストグラフィによる撮影が行われたか否かが判定される。光音響画像に関心領域が描出されているので、関心領域についての診断の補助となる詳細な情報の一つとして、エラストグラフィ画像を表示部１０４に表示させることは有用であると考えられる。たとえば出力モジュール１５０を介して表示部１０４に、血管の密度が高い領域が存在することと、エラストグラフィ撮影を行うことが有用であることをユーザに報知する画面を表示させる。ユーザは当該報知の画面を参照し、プローブ１０２を被検体に押し当て、エラストグラフィ撮影を行う。エラストグラフィ撮影をユーザが行ったか否かを判定するための処理は。図５に例示したステップＳ５０２の処理と同様であるため、上述した説明を援用することによりここでの説明を省略する。エラストグラフィ撮影をユーザが行った場合にはステップＳ７０８に進み、行わなかった場合にはステップＳ７０１に戻って光音響画像の取得を継続する。

ステップＳ７０８において、超音波画像生成モジュール１４６が実行されることにより、ステップＳ７０７で取得された超音波信号からエラストグラフィ画像が生成される。そして、出力モジュール１５０が実行されることにより、当該生成されたエラストグラフィ画像が表示部１０４に表示される。さらに、超音波画像生成モジュール１４６が重畳画像生成モジュール１４８を実行するように制御することにより、重畳画像を生成し、出力モジュール１５０を介して表示部１０４に重畳画像を表示させるようにしてもよい。

このように制御装置１０１は、光音響画像に基づいて特定された関心領域の画像と、Ｂモード画像やエラストグラフィ画像といった超音波画像とを対応させて参照できるように、超音波画像と光音響画像とを表示部１０４に表示させることができる。これにより、医師といったユーザが被検体の超音波画像や光音響画像といった医用画像を観察し、診断を行うためのワークフローを向上することができる。

なお、上述した例に限らず、照射制御モジュール１４４はユーザの操作入力に基づいて被検体に超音波を照射させてもよい。超音波を照射させた場合に、超音波画像生成モジュール１４６により超音波画像を生成させ、出力モジュール１５０を介して表示部１０４に超音波画像を表示させてもよい。

また、超音波画像生成モジュール１４６が生成したエラストグラフィ画像及び重畳画像生成モジュール１４８が生成した重畳画像が、適宜ＤＩＳＫ１３４やＰＡＣＳ１１３に保存されるようにしてもよい。

図７においてはエラストグラフィ撮影を行う場合を例に説明したが、ステップＳ７０７、ステップＳ７０８は必ずしも行われなくてもよい。たとえば光音響画像を解析した結果に基づいて、Ｂモード画像といった超音波画像を表示させてもよい。

図６は、図７に例示したステップＳ７０３において行われる解析の一例と、ステップＳ７０８において表示される画像の一例とを示す図である。ここでは、光音響画像に血管密度の高い領域が描出される場合を例に説明する。

図６（ａ）は、表示部１０４に表示される光音響画像６０２の一例である。光音響画像６０２には、血管領域６０３と血管領域６０４とが描出されている。

図６（ｂ）は、ステップＳ７０３における解析の結果、血管密度が高いと考えられる領域が検出された場合に表示部１０４に表示される画面の一例である。枠６０５は、ステップＳ７０３において検出された関心領域を示す。これにより、ユーザは関心領域、すなわち血管密度が高いと検出された領域を視認することができる。報知画面６０６は、当該解析の結果に基づく情報が表示される。たとえば、血管密度が高い領域が存在することと、更なる観察にエラストグラフィ画像が有用であることをユーザに報知するメッセージが報知画面６０６に表示される。たとえば、「血管密集領域のエラストグラフィを行ってください」というメッセージが報知画面６０６に表示される。

図６（ｃ）は、ステップＳ７０７で行われたエラストグラフィ撮影により得られた超音波信号に基づくエラストグラフィ画像６０７の一例である。エラストグラフィ画像６０７には、硬い組織である可能性がある組織領域６０８が周囲の組織と区別可能に描出されている。

図６（ｄ）は、光音響画像６０２に対してエラストグラフィ画像６０７を重畳した重畳画像６０９の一例である。光音響画像６０２の血管領域６０３と対応する血管領域６１０が描出されている。これにより、図６（ｃ）に例示したエラストグラフィ画像６０７の組織領域６０８の周辺の血管密度に関する領域をユーザが視認でき、ユーザが行う診断を補助できる。

第３の実施形態の構成によれば、制御装置１０１は取得された光音響画像を解析して病変の可能性がある領域を関心領域として検出し、少なくとも関心領域に対応する超音波画像を生成する。たとえば、血管密度が高く、腫瘍の存在が疑われる関心領域の診断に際して、関心領域の硬さを評価するエラストグラフィ撮影を行うように制御することで、当該診断を補助することができる。このように制御することにより、ユーザは関心領域を中心にエラストグラフィ撮影を行うことができ、検査におけるユーザのワークフローを向上することができる。

第３の実施形態においては、超音波画像としてエラストグラフィ画像を取得する場合を例に説明したが、本発明はこれに限らない。たとえば、血流速度を計測するドップラ撮影や、被検体内の構造を把握するためにＢモード撮影を実施するようにしてもよい。

［第４の実施形態］
第１の実施形態乃至第３の実施形態においては、超音波画像もしくは光音響画像のいずれか一方を解析して得られた結果に基づいて、他方の撮影の制御を行う例について説明した。一方の画像に関心領域が描出されてから、解析の結果、他方の撮影を行う制御がなされるまでの間にタイムラグが生じる場合が考えられる。タイムラグの間にユーザがプローブ１０２を、関心領域の画像を撮像するのに適さない位置に移動させている場合が考えられる。第４の実施形態では、検査におけるプローブ１０２の位置情報に基づいて、適切に関心領域を撮像できるようにプローブ１０２をガイドする例について説明する。

図８は、第４の実施形態における検査の様子を模式的に例示した図である。図８（ａ）は、ユーザが被検体８０３にプローブ１０２を接触させ、超音波画像を取得する様子の例である。プローブ１０２からの超音波信号は操作卓８０１に送信される。操作卓８０１は図１０に示す制御装置１０１と表示部１０４と操作部１０５とが統合された装置である。操作卓８０１は上述した各実施形態における制御装置１０１と対応する。操作卓８０１の位置取得モジュール１４９により、位置８０２の位置情報が取得され、所定の期間ＲＡＭ１３３に記憶される。また、出力モジュール１５０によりＰＡＣＳ１１３に出力される場合、及びＤＩＳＫ１３４に記憶される場合には、超音波画像及び光音響画像には位置情報がそれぞれ関連付けられる。位置８０２において撮像された超音波画像に、関心領域が検出されているとする。

図８（ｂ）は、たとえば図２の一連の処理において、操作卓８０１が超音波画像を解析し関心領域を検出した時点における、検査の様子の例である。ユーザは、図８（ａ）の位置８０２に対応する位置８０５から、位置８０４にプローブ１０２を移動している。操作卓８０１により光音響画像を取得すべき関心領域が検出されたが、位置８０４において取得される光音響信号に基づいて光音響画像を生成しても、検出された関心領域が描出されない可能性がある。

図８（ｃ）は、操作卓８０１のガイドにより、ユーザが関心領域を描出できる位置８０６にプローブ１０２を移動させた様子の例である。操作卓８０１の位置取得モジュール１４９が実行されることにより、プローブ１０２の現在位置と、関心領域が検出された超音波画像の超音波信号を取得したプローブ１０２の位置である目標位置とが比較される。これにより、プローブ１０２を目標位置にガイドするためのガイド情報が生成され、表示される。これにより、ユーザは検出された関心領域の光音響画像を取得することができる。

図９は、図８に例示したガイドのための処理の一例を示すフローチャートである。以下に示す各処理は、特に断りがない場合、各モジュールによる処理を実現する主体は、ＣＰＵ１３１またはＧＰＵ１３７である。

ステップＳ９０１とステップＳ９０２の処理は図２に例示したステップＳ２０１の処理と同様であるため、上述した説明を援用することによりここでの説明を省略する。

ステップＳ９０３において、位置取得モジュール１４９が実行されることにより、プローブ１０２の位置情報が取得される。より具体的には、検知部１０３の一例であるモーションセンサは、プローブ１０２の位置情報をトラッキングし、制御装置１０１に送信する。モーションセンサは、プローブ１０２の送受信部１０６と光源（不図示）とは異なる部分に備えつけられ、若しくは埋め込まれる。モーションセンサは、たとえば微小電気機械システム（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓ）で構成され、３軸の加速度計と、３軸のジャイロスコープと、３軸の磁気コンパスとを備える９軸モーションセンシングを提供する。モーションセンサが感知したプローブ１０２の移動に関する情報が、位置取得モジュール１４９により取得され、一定期間記憶される。

ステップＳ９０４、ステップＳ９０５の処理は、図２に例示したステップＳ２０３、ステップＳ２０４の処理とそれぞれ同様であるため、上述した説明を援用することによりここでの説明を省略する。ステップＳ９０５において光音響信号を取得すると判定された場合にはステップＳ９０６に進み、取得しないと判定された場合にはステップＳ９０１に戻って光音響画像の取得を継続する。

ステップＳ９０６において、位置取得モジュール１４９が実行されることにより、表示部１０４にガイド情報が表示される。具体的には、ガイド情報の生成において、まずステップＳ９０４で関心領域が検出された超音波画像を生成するための超音波信号が取得された時点におけるプローブ１０２の位置を、目標位置とする。そして、検知部１０３から逐次送信される位置情報が示すプローブ１０２の現在位置と、目標位置との差分を取得する。そして当該差分に基づいて、ガイド情報を生成する。ガイド情報は、出力モジュール１５０を介してユーザに提示される。ガイド情報は、たとえばガイド画像であり表示部１０４に表示される。ガイド画像は、プローブ１０２を目標位置まで移動させるための移動方向、移動量、傾斜角、回転方向、回転量といったガイド情報を示す客観的な指標である。当該ガイド画像はこれらのガイド情報の客観的な指標となるものであればいかなるものでもよい。たとえばガイド画像は、移動や回転の量に対応した大きさで、移動や回転や傾斜の方向に対応した向きを有する矢印の画像である。別の例では、ガイド画像は移動や回転の量に対応した大きさで、移動や回転や傾斜の方向に対応して形状が変形する図形である。ガイド画像は、プローブ１０２を目標位置に移動させた場合に関心領域の観察を妨げない態様で表示部１０４に表示される。たとえばガイド画像は、超音波画像及び光音響画像及び重畳画像を表示していない領域に表示される。別の例では、目標位置にプローブ１０２を移動させるようガイドしている間は、目標領域の近傍の領域に重畳する位置に表示させ、目標領域が描出されると、視認できないような形状に変形するように表示してもよい。

ステップＳ９０７において、照射制御モジュール１４４が実行されることにより、被検体に光を照射するか否かが判定される。具体的には、照射制御モジュール１４４による判定では、プローブ１０２が目標位置に到達している場合であって、かつ被検体にプローブ１０２が接触している場合に光を照射すると判定する。たとえば、検知部１０３から送信される位置情報が示すプローブ１０２の現在位置が目標位置と一致する場合に、プローブ１０２が目標位置に到達していると判定する。別の例では、目標位置を含む所定の範囲にプローブ１０２が到達した場合に、プローブ１０２が目標位置に到達したと判定してもよい。たとえば、ステップＳ９０４において検出された関心領域を取得可能なプローブ１０２の位置と、目標位置とを所定の範囲とする。被検体にプローブ１０２が接触していることを判定するための処理は、図２に例示したステップＳ２０５の処理と同様であるため、上述した説明を援用することによりここでの説明を省略する。被検体に光を照射すると判定された場合にはステップＳ９０８に進み、光を照射しないと判定された場合にはステップＳ９０１に戻って超音波画像の取得を継続する。

ステップＳ９０８、ステップＳ９０９の処理は、図２に例示するステップＳ２０６、ステップＳ２０７の処理とそれぞれ同様であるため、上述した説明を援用することによりここでの説明を省略する。

第４の実施形態では、超音波画像を解析して検出された関心領域に基づいて目標位置を設定する場合を例に説明したが、本発明はこれに限らない。たとえば第３の実施形態に示したように、光音響画像を解析して検出された関心領域に基づいて目標位置を設定してもよい。また、ガイド情報をユーザに提示する方法は、上述したガイド画像に限られない。たとえばプローブ１０２が目標位置に近付くにつれて発音間隔が小さくなるような音を発生することによりガイド情報をユーザに提示してもよい。

第４の実施形態の構成によれば、制御装置１０１は関心領域を描出した画像を効率的に取得することができ、ユーザのワークフローを向上する。

［変形例１］
第１の実施形態乃至第４の実施形態において、関心領域を検出するための解析を、取得した画像の全てのフレームについて実施しなくてもよい。たとえば、所定のフレーム間隔で当該解析を実施することとし、制御装置１０１にかかる処理負荷を低減することができる。

第１の実施形態乃至第４の実施形態において、超音波画像又は光音響画像の一方を解析して関心領域を検出した場合に、他方の画像を撮像するようにプローブ１０２を制御する例を説明した。本発明はこれに限らず、たとえば関心領域がプローブ１０２により描出可能な範囲のうち所定の範囲に含まれる場合に、他方の画像を撮像するようにプローブ１０２を制御してもよい。たとえば、関心領域が一方の画像の中央近傍の範囲に含まれる場合に、他方の画像を撮像するようにプローブ１０２を制御してもよい。これにより、後に読影したり画像診断レポートに添付したりする際に、関心領域をより観察しやすい医用画像を得ることができる。また、これにより意図せず関心領域が一方の画像の描出可能な範囲に含まれた場合に、不用意に他方の画像が撮像される可能性を低減することができる。

第１の実施形態乃至第４の実施形態において、重畳画像を表示させる例を説明したが、重畳の方法は上述した例に限られない。超音波画像をベース画像、光音響画像をレイヤ画像とする例においては、超音波画像の関心領域の近傍に限って光音響画像を重畳してもよいし、所望の範囲の光音響画像を重畳してもよい。レイヤ画像の透明度は目的に応じて適宜変更される。レイヤ画像を不透明としてもよいし、関心領域の近傍のみ透明度を上げてもよい。レイヤ画像の透明度を変更可能なスライダーを表示部１０４に表示させ、ユーザが観察中に変更してもよい。重畳画像の表示と、超音波画像と光音響画像とを並列させる表示と、超音波画像と光音響画像とのうち何れかの画像の表示とを、ユーザの操作入力により切り替えられるようにしてもよい。

また、第１の実施形態乃至第４の実施形態において、リアルタイムで取得された画像を解析して関心領域を検出する例について説明したが、本発明はこれに限らない。たとえば、過去に撮影された３次元画像に描出された領域を関心領域としてもよい。たとえば、過去に撮影されたＣＴ画像上の特定の領域を関心領域として設定する。そして、当該ＣＴ画像の座標系とプローブ１０２を操作する実空間の座標系とを対応させる。制御装置１０１は超音波画像と光音響画像とを取得可能であり、一方の画像を取得中に関心領域を取得可能な位置にプローブ１０２が位置した場合に、他方の画像を併せて取得するように制御してもよい。

さらに、第１の実施形態乃至第４の実施形態において、プローブ１０２で光照射が行われていることをユーザに報知するようにしてもよい。たとえば、プローブ１０２で光照射が行われていることを報知する報知画像を表示部１０４に表示させる。表示部１０４に当該報知画像を表示させる場合には、ユーザが観察している被検体の画像の近傍に表示させることが好ましい。別の例では、プローブ１０２に光の照射中に点灯するＬＥＤライトを備えてもよい。さらに別の例では、光の照射中に制御装置１０１は報知音を発生させてもよい。これにより、ユーザはプローブ１０２から光を照射中であることを知ることができ、ユーザ及び被検体の安全性を向上することができる。

［変形例２］
上記の実施形態では、超音波画像の解析結果に基づいて光音響画像の取得の要否を決定することとしていた。従って、超音波画像中に例えば結石等の関心領域が含まれている場合には自動的に光音響画像が撮影されることとなるため、ある関心領域に関して一度光音響画像を撮影しているにも関わらず、再度超音波画像で当該関心領域を確認しようとすると再び光音響画像が撮影されてしまう可能性があった。すなわち、同一の関心領域に対して複数回光音響画像が撮影されることとなり、不要な光音響画像を取得することとなってしまう。そこで、本変形例では、不要な光音響画像を取得することを防止することを目的とする。

本変形例において、照射制御モジュール１４４は、例えば位置取得モジュール１４９によって取得されるプローブ１０２の位置情報に基づいて光音響画像を取得するための光の照射を制限する。例えば、照射制御モジュール１４４は、過去に光照射すると判断した時のプローブ１０２の位置情報を記憶しておき、現在のプローブ１０２の位置情報が記憶された位置情報と一致または記憶された位置情報とのずれが所定閾値以内か判定する。そして、照射制御モジュール１４４は、現在のプローブ１０２の位置情報が記憶された位置情報と一致または記憶された位置情報とのずれが所定閾値以内の場合、既に光音響画像を取得している部位であると判断して、光の照射を制限する。光の照射を制限することで、被検者に不要な光照射を行うこと防止するとともに、不要な光音響画像を取得することを防止できる。

また、照射制御モジュール１４４は、例えば超音波画像生成モジュール１４６により生成された超音波画像に基づいて光音響画像を取得するための光の照射を制限することとしてもよい。例えば、照射制御モジュール１４４は、過去に光照射すると判断した場合に生成された超音波画像を記憶しておき、現在生成された超音波画像と比較を行う。比較の結果画像同士の類似度が所定閾値以上であれば、既に光音響画像を取得している部位であると判断して光の照射を制限することとしてもよい。

なお、照射制御モジュール１４４は、超音波画像生成モジュール１４６により生成された超音波画像および位置取得モジュール１４９によって取得されるプローブ１０２の位置情報に基づいて光音響画像を取得するための光の照射を制限することとしてもよい。例えば、照射制御モジュール１４４は、過去に光照射すると判断した時のプローブ１０２の位置情報に超音波画像を対応づけて記憶しておく。そして、照射制御モジュール１４４は、現在のプローブ１０２の位置情報に対応付けられている超音波画像を読出し、現在生成された超音波画像と比較を行う。比較の結果画像同士の類似度が所定閾値以上であれば、既に光音響画像を取得している部位であると判断して光の照射を制限することとしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における制御装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。制御装置および制御システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims

被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブから、前記超音波信号と前記光音響信号とのうち少なくともいずれかを取得する信号取得手段と、
前記超音波信号に基づいて超音波画像を生成する生成手段と、
前記生成された前記超音波画像に基づいて前記プローブの前記光照射を制御する照射制御手段と、
を有することを特徴とする制御装置。
前記生成手段は、前記制御された前記光照射に基づいて取得された光音響信号に基づいて光音響画像を生成し、
前記生成された前記超音波画像と前記光音響画像とを比較可能に表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１に記載の制御装置。
前記生成された前記超音波画像を解析することにより、前記光音響信号を取得する関心領域を検出する検出手段をさらに有し、
前記照射制御手段は、前記検出された前記関心領域からの前記光音響信号を取得するために前記光照射を制御することを特徴とする請求項２に記載の制御装置。
前記プローブの前記被検体に対する位置を示す位置情報を取得する位置取得手段と、
前記検出された関心領域を取得可能な位置に前記プローブをガイドするガイド手段と、をさらに有することを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
前記照射制御手段は、前記プローブが前記関心領域を含む光音響画像を取得可能な位置にある場合に、前記光照射を行うように制御することを特徴とする請求項３又は請求項４のいずれか一項に記載の制御装置。
前記関心領域が検出されたことに応じて取得された前記光音響画像を、前記解析された前記超音波画像と関連付けて出力する出力手段をさらに有することを特徴とする請求項３乃至請求項５のいずれか一項に記載の制御装置。
前記検出手段は、前記超音波画像を解析して結石の可能性がある領域を検出することを特徴とする請求項３乃至請求項６のいずれか一項に記載の制御装置。
前記超音波画像は前記プローブにより押圧される前後の、前記被検体の組織の歪みの分布を反映したエラストグラフィ画像であり、前記検出手段は前記歪みが所定値以下の領域を検出することを特徴とする請求項３乃至請求項７のいずれか一項に記載の制御装置。
前記照射制御手段は、前記プローブが前記被検体と接触している場合に、前記光照射を行うように制御することを特徴とする請求項１乃至請求項８のいずれか一項に記載の制御装置。
被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブから、前記超音波信号と前記光音響信号とのうち少なくともいずれかを取得する取得手段と、
前記光音響信号に基づいて光音響画像を生成する生成手段と、
前記生成された前記光音響画像に基づいて前記プローブの前記超音波の送信を制御する照射制御手段と、
を有することを特徴とする制御装置。
前記生成された前記光音響画像を解析することにより、前記超音波信号を取得する関心領域を検出する検出手段をさらに有し、
前記照射制御手段は、前記検出された前記関心領域からの前記超音波信号を取得するために前記超音波の送信を制御し、
前記生成手段は、前記制御された前記超音波の送信に基づいて取得された超音波信号に基づいて超音波画像を生成し、
前記生成された前記超音波画像と前記光音響画像とを比較可能に表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１０に記載の制御装置。
前記照射制御手段は、前記検出された関心領域に基づいて前記超音波の送信の範囲を制御することを特徴とする請求項１１に記載の制御装置。
前記表示制御手段は、前記超音波画像に対して前記光音響画像を重畳した重畳画像を表示部に表示させることを特徴とする請求項２乃至請求項１２のいずれか一項に記載の制御装置。
被検体に光を照射するための光源と、
超音波を送受信するためのトランスデューサと、
前記トランスデューサにより送信された超音波の反射波を超音波信号として取得し、前記光源から被検体に照射された光により発生する光音響波を光音響信号として取得する信号取得手段と、
前記超音波信号に基づいて超音波画像を生成する生成手段と、
前記生成された前記超音波画像に基づいて前記光源からの前記光の照射を制御する照射制御手段と、
を有することを特徴とする撮像システム。
被検体に光を照射するための光源と、
超音波を送受信するためのトランスデューサと、
前記トランスデューサにより送信された超音波の反射波を超音波信号として取得し、前記光源から被検体に照射された光により発生する光音響波を光音響信号として取得する信号取得手段と、
前記光音響信号に基づいて光音響画像を生成する生成手段と、
前記生成された前記光音響画像に基づいて前記トランスデューサの前記超音波の送信を制御する照射制御手段と、
を有することを特徴とする撮像システム。
第１の手法により取得された第１の信号に基づいて第１の画像を取得する工程と、
前記第１の画像を解析して関心領域を検出する工程と
前記第１の手法とは異なる第２の手法により取得された第２の信号に基づいて前記関心領域を含む第２の画像を取得するために、前記第２の信号の取得を制御する工程と、
前記第１の画像と前記第２の画像とを比較可能に表示部に表示させる工程と、
を有することを特徴とする制御方法。