JP2019051239A - 情報処理装置、情報処理方法、情報処理システム及びプログラム - Google Patents

Abstract

【課題】 簡易な操作入力で複数の医用画像の表示を切り替えることができる装置を提供する。【解決手段】 情報処理装置は、第１の医用画像と第２の医用画像とをデータベースから取得し、第２の医用画像を表示部に表示させる指示を示す信号であって、操作者の一つの操作入力の行われる期間に発信される信号を受信している期間は第２の医用画像を表示部に表示させ、信号を受信していない期間は第１の医用画像を表示部に表示させる。【選択図】 図２

Description

本明細書の開示は、医用画像情報処理装置、情報処理方法、情報処理システム及びプログラムに関する。

医師は複数の医用画像を比較しながら観察することにより診療を行うことがある。特許文献１には、２つの血管画像を重畳した灌流重畳画像を作成し、当該潅流重畳画像と当該２つの血管画像のそれぞれとのいずれかが表示されるように、操作者からの要求に応じて表示を切り替えることが開示されている

特開２０１０−２１３８６３号公報

表示部に表示させる医用画像を切り替えるために都度操作入力を行うことは医師にとって手間となるおそれがある。

本発明の実施形態に係る情報処理装置は、第１の医用画像と第２の医用画像とを取得する取得手段と、操作者による操作入力が行われたことに応じて前記第２の医用画像を表示部に表示させ、前記表示させた前記第２の医用画像の輝度を変化させる表示制御手段と、を有することを特徴とする。

本発明の実施形態に係る情報処理装置によれば、医師といった操作者は一つの操作入力を行うだけで、任意の期間、表示部に表示させる医用画像を切り替えることができる。

光音響画像、超音波画像、光音響画像と超音波画像との重畳画像の一例を夫々示す図である。 本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。 本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 本発明の実施形態に係る情報処理装置により表示される画面の一例を示す図である。 本発明の実施形態に係る情報処理装置により表示される画面の一例を示す図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。

［第１の実施形態］
本明細書では、被検体に光を照射し、被検体内部で生じた膨張によって発生する音響波を光音響波と称する。また、トランスデューサから送信された音響波または当該送信された音響波が被検体内部で反射した反射波（エコー）を超音波と称する。また、光音響波と超音波とを合わせて音響波と称する。

被検体内部の状態を低侵襲に画像化する方法として、超音波を用いた画像化の方法や光音響を用いた画像化の手法が利用されている。超音波を用いて画像化された画像を以下では超音波画像と称する。光音響を用いて画像化された画像を以下では光音響画像と称する。光音響画像では、たとえばヘモグロビンの光学特性により血管を描出できることが知られている。

医師は診療を行う際に、患者を被検体とする複数の医用画像を取得し、それらを比較しながら観察を行う場合がある。医師が当該観察に使用する端末の表示部に表示させる医用画像や、医用画像を表示させる期間は観察において様々である。たとえば医師が現在観察している内容に応じて、比較のために表示させたい他の医用画像から読み取りたい情報が異なり、したがって、当該他の医用画像を表示させる期間も異なると考えられる。

図１は複数の医用画像を重畳して得られる重畳画像の一例である。ここでは、光音響画像６００と超音波画像７００とを重畳して得られる重畳画像８００を一例として示す。光音響画像６００からは血管６０１の位置情報等が得られ、超音波画像７００からは腫瘍７０２の位置情報等が得られる。このように複数の医用画像を比較しながら観察することにより、それぞれの医用画像から得られる異なった情報を組み合わせて診療が行われる場合がある。当該比較を行うための手法の一例が、複数の医用画像を重畳することであり、図１の例では腫瘍と血管との位置関係の情報が得られることが期待される。

光音響画像６００と超音波画像７００との輝度値の違いによっては、重畳画像８００において血管像８０１の視認性が低下してしまう場合が考えられる。たとえば、超音波画像７００のスペックルノイズが強く、画像の大部分の輝度値が高いような場合である。また、光音響画像６００が重畳されることによって重畳画像８００のコントラストが低下し、重畳画像８００の腫瘍像８０２の視認性が低下してしまう場合が考えられる。このように、たとえば２つの画像の輝度が互いに影響して、それぞれの画像から得られる情報の視認性を低下させてしまう場合が考えられる。

複数の医用画像を重畳した重畳画像を観察することにより、それぞれの医用画像から得られる情報を組み合わせることは有用な手法の一つであるが、輝度のバランスを考慮しない重畳画像を用いて比較をおこなうことは、重畳画像に用いるそれぞれの医用画像の状態によっては必ずしも好ましくない場合も考えられる。第１の実施形態に係る情報処理装置１００は、複数の医用画像のそれぞれの視認性は低下させずに、医師が複数の医用画像を容易に比較することができるようにすることを目的とする。情報処理装置１００は、第１の医用画像を読影中に医師といった操作者が第２の医用画像を必要とするとき、一つの操作入力で所望の期間、第２の医用画像を表示部に表示させる。

情報処理装置１００が表示部１１０に表示させる医用画像は、たとえば磁気共鳴画像診療装置、超音波画像診療装置、光超音波イメージング装置、放射線画像診療装置、コンピュータ断層撮影画像診療装置、陽電子放射断層撮影画像診療装置などのいずれかのモダリティにより撮影された画像である。医用画像はボリュームデータであってもよい。医用画像は関心領域（ＲＯＩ）等を示すアノテーションの情報を含んでいてもよい。近年では、上述の各種のモダリティにより得られる医用画像を含め、診療に用いられる医用画像や診療に関する各種の情報が電子化されている。撮像装置と、当該撮像装置と接続される各種の装置との間の情報連携のために、たとえばＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格が用いられることが多い。ＤＩＣＯＭは医用画像のフォーマットと、それらの画像を扱う装置間の通信プロトコルを定義した規格である。ＤＩＣＯＭに基づいて取り扱われる画像、メタデータと画像データとで構成される。メタデータには、たとえば患者、検査、シリーズ、画像に関する情報が含まれる。メタデータはＤＩＣＯＭデータエレメントと呼ばれるデータ要素の集まりで構成される。各々のＤＩＣＯＭデータエレメントにはデータ要素を識別するためのタグが付加される。例えば、ＤＩＣＯＭデータエレメントには、ピクセルデータである画像データに対して、画像データであることを示すタグが付加される。第１の実施形態においては、医用画像および情報処理装置１００により行われる処理はＤＩＣＯＭに則ることとする。また、各種の処理に必要な情報は医用画像のメタデータに含まれる情報、あるいはＤＩＣＯＭに則って外部装置に問い合わせて取得される情報を用いることとする。

図２は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、医用画像１０１を保存するデータベース１０２と通信ネットワーク１０３を介して接続されている。データベース１０２は、たとえばＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）である。情報処理装置１００は記憶部１０４、画像取得部１０５、表示制御部１０８を有する。情報処理装置１００は入力部１０９及び表示部１１０と接続されている。

記憶部１０４は、画像取得部１０５によりデータベース１０２から取得された複数の医用画像１０１を保存する。画像取得部１０５は、データベース１０２から医用画像を取得する。別の例では、画像取得部１０５は医用画像撮像装置（不図示）、いわゆるモダリティから医用画像を取得してもよい。また、画像取得部１０５は医用画像１０１に画像処理を施してもよい。画像処理とは、たとえば２つの画像の対応する特徴同士の位置を合わせる処理である位置合わせ処理や、位置合わせされた２つの画像を重畳する処理や、ボリュームデータに対する最大値投影（ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ， ＭＩＰ）処理である。以下では、２つの画像を重畳して得られた画像を重畳画像と称する。また、以下では、最大値投影処理により生成された画像を投影画像と称する。

画像取得部１０５は、操作者が比較して観察するための少なくとも２つの医用画像を取得する。ここではそれぞれ、第１の医用画像１０６と第２の医用画像１０７と称する。第２の医用画像１０７は第１の医用画像１０６とは異なる医用画像である。第１の医用画像１０６及び第２の医用画像１０７はそれぞれデータベース１０２から取得された医用画像であってもよいし、画像取得部１０５により画像処理を施された医用画像、たとえば投影画像であってもよい。画像取得部１０５は取得した医用画像をデータベース１０２に保存させてもよい。この観点で、画像取得部１０５は第１の医用画像と第２の医用画像とを取得する取得手段の一例である。

表示制御部１０８は表示部１１０に第１の医用画像１０６又は第２の医用画像１０７の少なくともいずれか一方を表示させる。また、入力部１０９からの信号に応じて、第１の医用画像１０６と第２の医用画像１０７とをそれぞれ輝度を経時的に変化させながら表示部１１０に表示させる。具体的には、表示制御部１０８は入力部１０９から発信される信号を受信する。当該信号は、第２の医用画像１０７を表示部１１０に表示させる操作者の指示を示す。表示制御部１０８は入力部１０９から当該信号を受信したことに応じて、第２の医用画像１０７を表示部１１０に表示させる。表示制御部１０８は、表示部１１０に表示させた第２の医用画像１０７の輝度を経時的に変化させる。具体的には予め設定された時間内で第２の医用画像１０７の輝度を減少させる。表示制御部１０８は、第２の医用画像１０７を表示させる際に第１の医用画像１０６の表示を中止またはその輝度を低下させ、第２の医用画像１０７の輝度を減少させるのに伴って第１の医用画像１０６の輝度を増加させてもよい。すなわち、表示制御部１０８は第１の医用画像１０６の輝度を経時的に変化させてもよい。表示制御部１０８は医用画像の輝度を変化させるにあたりＣＰＵ１１１のクロック信号を用いることとする。表示制御部１０８はタイマーを備えていてもよく、医用画像の輝度を変化させるにあたり当該タイマーを利用してもよい。この観点で、表示制御部１０８は表示制御手段の一例である。

入力部１０９は、操作者の指示を情報処理装置１００に入力する。入力部１０９はたとえば、キーボード、マウス、ジョイスティック、タッチパネル、スイッチボックス、音声を含む音を受信するマイクや、特定のジェスチャーを受け付ける装置である。この観点で、入力部１０９は操作入力を操作者が入力する入力手段の一例である。

図６は情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００はたとえばコンピュータである。情報処理装置１００は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、記憶装置１１４、ＵＳＢ１１５、通信回路１１６、グラフィックスボード１１７を有する。これらはＢＵＳにより通信可能に接続されている。ＢＵＳは接続されたハードウェア間でのデータの送受信や、ＣＰＵ１１１から他のハードウェアへの命令を送信するために使用される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１は情報処理装置１００及びこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ１１１はＲＯＭ１１２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ１１１は、表示部１１０を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部１１０に対する表示制御を行う。さらにＣＰＵ１１１は、入力部１０９に対する入出力制御を行う。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２は、ＣＰＵ１１１による制御の手順を記憶させたプログラムやデータを格納する。ＲＯＭ１１２は、情報処理装置１００のブートプログラムや各種初期データを記憶する。また、情報処理装置１００の処理を実現するための各種のプログラムを記憶する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３は、ＣＰＵ１１１が命令プログラムによる制御を行う際に作業用の記憶領域を提供するものである。ＲＡＭ１１３は、スタックとワーク領域とを有する。ＲＡＭ１１３は、情報処理装置１００及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶する。ＲＡＭ１１３は、ＣＰＵ１１１が実行する制御プログラムを格納し、ＣＰＵ１１１が各種制御を実行する際の様々なデータを一時的に格納する。

記憶装置１１４は、第１の医用画像１０６や第２の医用画像１０７などの各種のデータを保存する補助記憶装置である。記憶装置１１４は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。

ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）１１５は入力部１０９と接続する接続部である。

通信回路１１６は通信ネットワーク１０３に接続されている各種の外部装置との通信を行うための回路である。通信回路１１６は、たとえば出力する情報を転送用パケットに格納してＴＣＰ／ＩＰといった通信技術により、通信ネットワーク１０３を介して外部装置に出力する。情報処理装置１００は、所望の通信形態にあわせて、複数の通信回路を有していてもよい。

グラフィックスボード１１７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ビデオメモリを含む。ＧＰＵは、たとえば光音響信号から光音響画像を生成するための再構成処理に係る演算を行う。

ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）１１８は、表示部１１０と接続する接続部である。

ＣＰＵ１１１やＧＰＵはプロセッサの一例である。また、ＲＯＭ１１２やＲＡＭ１１３や記憶装置１１４はメモリの一例である。情報処理装置１００は複数のプロセッサを有していてもよい。第１の実施形態においては、情報処理装置１００のプロセッサがメモリに格納されているプログラムを実行することにより、情報処理装置１００の各部の機能が実現される。

また、情報処理装置１００は特定の処理を専用に行うＣＰＵやＧＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を有していても良い。情報処理装置１００は特定の処理あるいは全ての処理をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有していてもよい。

図３は第１の実施形態に係る情報処理装置１００により行われる処理の一例を示すフローチャートである。

（Ｓ２００：医用画像を選択する工程）
ステップＳ２００において画像取得部１０５は、操作者の指示に基づいて第１の医用画像と第２の医用画像とを選択する。第１の実施形態においては、医師といった操作者が比較して観察する対像として複数の医用画像を選択する場合を例に説明する。複数の医用画像を比較する観点から、ステップＳ２００において選択される複数の医用画像は、位置合わせが可能な医用画像な組み合わせであることとする。位置合わせが可能な医用画像の組み合わせとは、たとえば被検体の同じ領域や重複する領域が撮像された医用画像の組み合わせである。画像取得部１０５は選択された医用画像をデータベース１０２または記憶部１０４から取得する。

（Ｓ２０１：画像処理を行う工程）
ステップＳ２０１において画像取得部１０５は、ステップＳ２００において選択された医用画像がたとえば投影画像や重畳画像であった場合、それらを生成する。ステップＳ２００において選択された医用画像が特に画像処理を要しないものである場合、ステップＳ２０１の処理を行わなくてもよい。

ステップＳ２００において投影画像が選択された場合、画像取得部１０５はデータベース１０２または記憶部１０４から取得した医用画像に投影画像処理を施す。ステップＳ２００において重畳画像が選択された場合、画像取得部１０５はデータベース１０２または記憶部１０４から取得した医用画像を用いて重畳画像を生成する。画像取得部１０５は操作者の指示に応じて、いずれかの医用画像の輝度を減じて重畳画像を生成する。これにより、重畳画像に用いられる複数の医用画像の輝度が互いに影響して、それぞれの医用画像から得られる情報の視認性を低下させる可能性を低減することができる。

（Ｓ２０２：第１の医用画像を表示させる工程）
ステップＳ２０２において表示制御部１０８は、第１の医用画像１０６を表示部１１０に表示させる。より具体的には、表示制御部１０８はステップＳ２００で第１の医用画像１０６として選択されたボリュームデータに含まれるスライス画像を表示部１１０に表示させる。あるいは、表示制御部１０８はステップＳ２０１で生成された投影画像または重畳画像を第１の医用画像１０６として表示部１１０に表示させる。

（Ｓ２０３：入力部からの信号を受信する工程）
ステップＳ２０３において情報処理装置１００は入力部１０９からの信号を受信する。具体的には、ステップＳ２０３の前までの処理により表示部１１０には第１の医用画像１０６が表示されており、医師といった操作者は第２の医用画像１０７を表示部１１０に表示させるための指示を、入力部１０９を介して情報処理装置１００に対する操作入力を行う。入力部１０９は情報処理装置１００に対して、信号を送信する。

（Ｓ２０４：第２の医用画像を表示させる工程）
ステップＳ２０４の工程において、表示制御部１０９により、表示部１１０第２の医用画像１０７が表示部１１００に表示される。このとき、表示制御部１０８は第１の医用画像１０６を表示部１１０に表示させたままでもよいし、第１の医用画像１０６から第２の医用画像１０７に切り替えて表示させてもよい。表示制御部１０８は、第２の医用画像１０７を表示部１１０に表示させるとともに、第２の医用画像１０７を表示部１１０に表示させる時間のカウントを開始する。

（Ｓ２０５：第２の医用画像の輝度を変化させる工程）
ステップＳ２０５において、表示部１１０に表示された第２の医用画像１０７の輝度を、事前に設定された時間に応じて変化させる。一つの実施形態では、表示制御部１０８は第１の医用画像１０６の輝度を事前に設定された時間に応じて輝度を変化させる。たとえば、表示制御部１０８は、入力部１０９から信号を受信した（ステップＳ２０３）ことに応じて表示部１１０に第１の医用画像１０６から切り替えて第２の医用画像１０７を表示させ第２の医用画像１０７を表示させる時間のカウントを開始する（ステップＳ２０４）。表示制御部１０８は、事前に設定された時間の間に第２の医用画像１０７の輝度を減少させる。同時に表示制御部１０８は、表示部１１０に表示されていない第１の医用画像１０６の輝度を、事前に設定された時間に応じて増加させる。つまり、操作者から表示部１１０を見た場合、第２の医用画像１０７がフェードアウトし、代わりに、第１の医用画像１０６がフェードインする。表示制御部１０８による輝度の変化のさせ方を関数に表した場合、当該関数は線形、非線形、指数的、対数的や階段状のものや、それぞれを組み合わせたもののいずれであってもよい。また、第１の医用画像１０６と第２の医用画像１０７と輝度の変化のさせ方は同じでもよいし、異なっていてもよい。さらに、表示制御部１０８が第１の医用画像１０６と第２の医用画像１０７との輝度を変化させる時間は同じでもよいし、異なっていてもよい。一つの実施形態において、輝度を変化する時間は数秒に設定され、操作者は画像切替時の第２の医用画像１０７の表示を記憶しながら、再度、表示部１１０に表示される第１の医用画像の読影作業へスムーズに戻ることができる。

（Ｓ２０６：第１の医用画像に切替表示する工程）
ステップＳ２０６において、表示制御部１０８は表示部１１０に第１の医用画像１０６のみを表示させる。たとえば、ステップＳ２０５で設定された時間が経過した後、表示部１１０に表示されていた第２の医用画像の輝度が０％となり、第１の医用画像１０６の輝度が１００％となる。つまりステップＳ２０６において、表示部１１０に表示されていた第２の医用画像１０７が第１の医用画像１０６へ切り替わり、表示部１１０に表示される。再び入力部１０９に第２の医用画像１０７を表示させる指示の入力が行われない限り、表示部１１０には第１の医用画像１０６が表示される。

再び入力部１０９に当該指示の入力が行われ、情報処理装置１００に当該指示を示す信号が受信され始めると、ステップＳ２０３に進んでステップＳ２０６までの処理を繰り返す。これにより、操作者の意図する期間だけ、表示部１１０に第２の医用画像１０７を表示させることができる。操作者は簡易な操作入力により、第２の医用画像１０７を表示部１１０に表示させる指示を行うことができる。

医師は第２の医用画像を所望のタイミングで表示部１１０に表示させて必要な情報を読み取った後、予め定められた時間ののちに自動的に第１の医用画像１０６のみを観察する環境となる。これにより、第２の医用画像１０７から読み取った情報、たとえば病変部の位置や形状、信号強度といった情報を記憶している間に、第１の医用画像１０６を観察することできる。第１の医用画像１０６と第２の医用画像１０７とを操作者の所望のタイミングで表示することができるので、医師は第１の医用画像と第２の医用画像との両方を視認性よく観察することができる。

医師は第１の医用画像１０６と第２の医用画像１０７との表示を簡易な操作入力で、所望のタイミングで行うことができる。これにより医師は第１の医用画像１０６と第２の医用画像１０７との表示を簡易に繰り返し行うこともできる。医師はこのように繰り返して第１の医用画像１０６と第２の医用画像１０７とを表示させることで、第１の医用画像１０６から読み取った情報と第２の医用画像１０７から読み取った情報とを失念する前に確認して組み合わせることができ、医用画像を効率よく観察することができる。

第１の医用画像と第２の医用画像との両方あるいはどちらか一方が投影画像である場合の具体例を以下に示す。

図４は本具体例において表示部１１０に表示される画面の一例を説明するための図である。ここで、第１の医用画像１０６は図４（ａ）に例示する光音響画像の投影画像６００であり、第２の医用画像１０７は図４（ａ）に例示する超音波画像７００である。上述したように表示部１１０には投影画像６００と、超音波画像７００に含まれるスライス画像とが表示される。投影画像６００に関する光音響画像と超音波画像７００とは位置合わせ処理が行われていることとする。

図４（ｂ）は本具体例における第１の医用画像１０６と第２の医用画像１０７とのそれぞれの輝度の時間変化を例示するグラフである。図４（ｃ）に示す画像４０１〜画像４０５が表示される時刻と対応するグラフ上の位置が矢印でそれぞれ示されている。

図４（ｃ）は、図４（ｂ）での時刻Ｔ１から時刻Ｔ２までの、表示部１１０に表示される画面の一例を示す図である。図４（ｃ）は、第１の医用画像１０６及び第２の医用画像１０７が、それぞれの輝度が経時的に変化しながら表示される様子を示しており、時刻Ｔ１から時刻Ｔ２までの時間経過の中で表示される画面４０１〜画面４０５を例示する。

図３に例示したフローチャートの各処理を具体的に説明する。

（Ｓ２００：医用画像を選択する工程）
ステップＳ２００において画像取得部１０５は操作者の指示に基づいて、第１の医用画像として光音響画像の投影画像６００、第２の医用画像として超音波画像７００のボリュームデータを選択する。

（Ｓ２０１：画像処理を行う工程）
ステップＳ２０１において画像取得部１０５は光音響画像６００に対して最大値投影処理を行い、投影画像６１０を生成する。光音響画像は０．１ｍｍ程度の薄いスライス画像で表示すると血管像は点状像となることがあり、この場合、血管としての繋がりがわかりにくい可能性がある。最大値投影処理により、投影画像６１０においてはスライス画像のそれぞれに写る血管像が統合され、血管の繋がりや形状を認識しやすくなると考えられる。

（Ｓ２０２：第１の医用画像を表示する工程）
ステップＳ２０２において表示制御部１０８は、表示部１１０に第１の医用画像１０６を表示させる。ステップＳ２０２は、たとえば図４（ｂ）のグラフにおける時刻Ｔ０から時刻Ｔ１までの間に対応し、表示部１１０に表示される第１の医用画像１０６の輝度は１００％である。ステップＳ２０２において第２の医用画像１０７は表示部１１０に表示されず、すなわち第２の医用画像１０７の輝度は０％である。

（Ｓ２０３：入力部からの信号を受信する工程）
ステップＳ２０３において、画像処理装置１００は入力部１０９からの信号を受信する。操作者は超音波画像７００を表示部１１０に表示させたい場合に、入力部１０９に操作入力を行う。入力部１０９は当該操作入力に応じて信号を画像処理装置１００に送信する。

（Ｓ２０４：第２の医用画像を表示させる工程）
ステップＳ２０４において表示制御部１０８は、表示部１１０に超音波画像７００のスライス画像を表示させる。ステップＳ２０４は、図４（ｂ）の時刻Ｔ１と対応する。本具体例においては、図４（ｂ）に示されるように時刻Ｔ１において、第１の医用画像１０６の輝度が０％となり、第２の医用画像１０７の輝度が１００％となる。本具体例において、表示部１１０には図４（ｃ）の画面４０１が表示される。ここで表示される超音波画像７００のスライス画像は、操作者が入力部１０９に対して操作入力を行った時点、すなわち時刻Ｔ１の直前に表示部１１０に表示されていた投影画像６００の投影範囲内に含まれる位置のスライス画像であり、同じ領域を撮影したスライス画像である。

（Ｓ２０５：第２の医用画像の輝度を変化させる工程）
ステップＳ２０５において表示制御部１０８は、表示部１１０に表示される第２の医用画像の輝度を経時的に変化させる。具体的には、表示制御部１０８は所定の時間内に第２の医用画像の輝度が０％となるように輝度を減少させる。所定の時間内に表示制御部１０８は、表示部１１０に表示させる第１の医用画像の輝度を経時的に変化させてもよい。たとえば表示制御部１０８は、所定の時間内に第１の医用画像の輝度が１００％となるように輝度を増加させてもよい。

本具体例において表示制御部１０８は、図４（ｂ）の時刻Ｔ１からＴ２までの時間で第１の医用画像１０６と第２の医用画像１０７の輝度をそれぞれ変化させる。この時刻Ｔ１から時刻Ｔ２までの時間、すなわち表示制御部１０８が第２の医用画像１０７の輝度を変化させる時間は操作者が任意に設定することができる。本具体例では、たとえばＴ１からＴ２までの時間を５秒とする。第２の医用画像１０７の輝度を変化させるための時間は、実施形態の一例において数秒〜１０秒の範囲で任意に設定される。

ステップＳ２０５における、表示部１１０に表示させる画面の変化の一例を図４（ｃ）に示す。図４（ｃ）は時刻Ｔ１から時刻Ｔ２までに表示される画面の一例として画面４０１〜画面４０５を含む。本具体例において時刻Ｔ１から時刻Ｔ２までが５秒であり、たとえば画面４０１〜画面４０５は当該５秒の間に１秒おきに表示される画面である。また、画面４０１〜画面４０５がそれぞれ表示される時刻が図４（ｂ）のグラフに矢印で示されている。本具体例においては、第１の医用画像１０６及び第２の医用画像１０７のそれぞれの輝度を線形に変化させる。つまり、画面４０１〜画面４０５において、第１の医用画像１０６の輝度はそれぞれ０％、２５％、５０％、７５％、１００％であり、第２の医用画像１０７の輝度はそれぞれ１００％、７５％、５０％、２５％、０％となる。

なお、第２の医用画像１０７の輝度の変化のさせ方は操作者が任意に設定することができる。また、第１の医用画像１０６の輝度の変化のさせ方は操作者が任意に設定することができる。さらに、第２の医用画像１０７と第１の医用画像１０６とを並行して輝度を変化させるか否かを操作者が任意に設定することができる。第１の医用画像１０６及び第２の医用画像１０７の輝度の変化のさせ方は、同じであってもよいし、異なっていてもよい。

（Ｓ２０６：第１の医用画像の表示に戻る工程）
ステップＳ２０６において表示制御部１０８は表示部１１０に第１の医用画像１０６を表示させる。具体的には、表示部１１０に表示される第１の医用画像１０６の輝度が１００％となる。第２の医用画像１０７は表示部１１０に表示されず、すなわち第２の医用画像１０７の輝度は０％である。つまり、表示部１１０には第１の医用画像１０６のみが表示される。ステップＳ２０６は、図４（ｂ）の時刻Ｔ２と対応する。

ステップＳ２０５及びステップＳ２０６において、操作者は第１の医用画像１０６及び第２の医用画像１０７の表示部１１０に表示させる位置を変更することができる。当該位置とは、３次元医用画像におけるスライス位置や、同じスライス画像又は投影画像内での位置である。これらの位置を変更する操作入力に応じて、表示制御部１０８は第１の医用画像１０６と第２の医用画像１０７との位置を変更して表示部１１０に表示させる。実施形態の一例において、それぞれ対応する位置の第１の医用画像１０６と第２の医用画像１０７とが表示部１１０に表示される。

以上のように、操作者は任意のタイミングで操作入力を行い、表示部１１０に第２の医用画像１０７を表示させることができる。上述の実施形態の一例においては、操作入力に伴って第１の医用画像１０６から第２の医用画像１０７に表示が切り替わり、設定された時間内で第２の医用画像１０７の表示がフェードアウトし、第１の医用画像１０６がフェードインする。これにより操作者は、たとえば第２の医用画像１０７において腫瘍像７０２の位置と形状とを簡易に観察することができる。また、再度第１の医用画像１０６に表示が切り替わることに伴い、操作者は腫瘍像７０２と血管像６０１との位置関係を簡易に把握することができる。操作者は、第１の医用画像１０６と第２の医用画像１０７との輝度を変化させながら表示部１１０に表示させることで、たとえば操作者は頭の中で第１の医用画像１０６の中に腫瘍像７０２を重ね合わせることができる。第１の実施形態の一つの例では、第１の医用画像１０６を読影中に腫瘍の位置や大きさなどの形態情報を知りたい場合に有効であると考えられる。操作者は、第１の医用画像１０６を観察して得られる血管像６０１の情報に加えて、腫瘍像７０２の情報も用いてそれぞれの位置関係を簡易に知ることができる。

［第２の実施形態］
第２の実施形態では、図３に示すステップＳ２０５において、第２の医用画像１０７の輝度のみが変化する。

図５は、第２の実施形態において表示部１１０に表示される画面の一例を説明するための図である。ここで、第１の医用画像１０６は図５（ａ）に例示する光音響画像の投影画像６００であり、第２の医用画像１０７は超音波画像７００である。上述したように表示部１１０には投影画像６００と、超音波画像７００に含まれるスライス画像とが表示される。投影画像６００に関する光音響画像と超音波画像７００とは位置合わせ処理が行われていることとする。

以下に、第１の実施形態と異なる内容について説明する。具体的には、図３に示すステップＳ２０４及びステップＳ２０５における処理について説明する。第１の実施形態と同じ処理を行う工程については、上述した説明を援用することによりここでの詳しい説明を省略する。

（Ｓ２０４：第２の医用画像を表示させる工程）
ステップＳ２０４において表示制御部１０８は、表示部１１０に超音波画像７００のスライス画像を表示させる。ステップＳ２０４は、図４（ｂ）の時刻Ｔ１と対応する。第２の実施形態においては、図５（ｂ）に示されるように時刻Ｔ１において、第１の医用画像１０６の輝度と第２の医用画像１０７の輝度とがともに１００％となる。また、表示部１１０には図５（ｃ）の画面５０１が表示される。ここで表示される超音波画像７００のスライス画像は、操作者が入力部１０９に対して操作入力を行った時点、すなわち時刻Ｔ１の直前に表示部１１０に表示されていた投影画像６００の投影範囲内に含まれる位置のスライス画像であり、同じ領域を撮影したスライス画像である。

（Ｓ２０５：画像の表示輝度を変化させる工程）
ステップＳ２０５において表示制御部１０８は、表示部１１０に表示される第２の医用画像１０７の輝度を経時的に変化させる。具体的には、表示制御部１０８は所定の時間内に第２の医用画像の輝度が０％となるように輝度を減少させる。このとき、表示制御部１０８は第１の医用画像１０６の輝度を変化させない。つまり、表示制御部１０８は第２の医用画像１０７と第１の医用画像１０６とを表示部１１０に表示させる。第２の実施形態においては、表示制御部１０８は第１の医用画像１０６と第２の医用画像１０７との重畳画像を表示部１１０に表示させる。

図５（ｂ）は、第１の医用画像１０６及び第２の医用画像１０７の輝度の時間変化の一例である。表示制御部１０８は、時刻Ｔ１から時刻Ｔ２までの時間で第２の医用画像１０７の輝度を変化させる。ここで、第２の医用画像１０７の輝度を変化させる時間は、事前に操作者が５秒に設定していることとする。グラフ上の各点５０１〜５０５は、時刻Ｔ１から１秒おきの時刻である。

ステップＳ２０５における、表示部１１０に表示させる画面の変化の一例を図５（ｃ）に示す。図５（ｃ）は時刻Ｔ１から時刻Ｔ２までに表示される画面の一例として画面５０１〜画面５０５を含む。本具体例において時刻Ｔ１から時刻Ｔ２までが５秒であり、たとえば画面５０１〜画面５０５は当該５秒の間に１秒おきに表示される画面である。また、画面５０１〜画面５０５がそれぞれ表示される時刻が図５（ｂ）のグラフに矢印で示されている。第２の実施形態においては、第２の医用画像１０７の輝度を線形に変化させる。つまり、画面５０１〜画面５０５において、第２の医用画像１０７の輝度はそれぞれ１００％、７５％、５０％、２５％、０％となる。

時刻Ｔ１においては画面５０１が表示部１１０に表示されており、第１の医用画像１０６と第２の医用画像１０７とが、それぞれの輝度が１００％で重畳表示される。画面５０１では、たとえば超音波画像７００が明るい領域を多く含むために投影画像６００の視認性が低下する場合も考えられる。しかしながら、時間経過とともに第２の医用画像１０７がフェードアウトするので、操作者は腫瘍像７０２と血管像６０１とを観察することができる。

なお、第２の医用画像１０７の輝度の変化のさせ方は操作者が任意に設定することができる。また、第１の医用画像１０６の輝度の変化のさせ方は操作者が任意に設定することができる。時刻Ｔ１において、第１の医用画像１０６と第２の医用画像１０７との重畳表示により視認性が低下する場合には、第２の医用画像１０７の輝度の範囲を１００％より低く設定してもよい。たとえば第２の医用画像１０７の輝度を８０〜０％で変化させてもよい。

以上のように、操作者は任意のタイミングで操作入力を行い、表示部１１０に第２の医用画像１０７を表示させることができる。たとえば操作者は頭の中で第１の医用画像１０６の中に腫瘍像７０２を重ね合わせることができる。操作者は、第１の医用画像１０６を観察して得られる血管像６０１の情報に加えて、腫瘍像７０２の情報も用いてそれぞれの位置関係を簡易に知ることができる。

第２の実施形態では第１の実施形態に比べて、第２の医用画像１０７を観察しながら第１の医用画像１０６の血管像６０１を観察できる時間が長くなる。すなわち第２の実施形態の一つの例では、血管像６０１の形態や走行状態などに特徴があり、注目して読影する場合などに有効であると考えられる。

［変形例］
上述の実施形態においては、第１の医用画像１０６及び第２の医用画像１０７の少なくともいずれか一方の医用画像の輝度を変化させる場合を例に説明した。この例は、別の観点では透明度を変化させるととらえてもよい。すなわち、医用画像の輝度を減少させる処理は当該医用画像の透明度を増加させる処理であり、医用画像の輝度を増加させる処理は当該医用画像の透明度を減少させる処理であるととらえてもよい。また、医用画像の表示を中止する処理は当該医用画像の透明度を１００％とする処理であるととらえてもよい。

表示制御部１０８は、第１の実施形態における表示方法と第２の実施形態における表示方法とを組み合わせて、第１の医用画像１０６及び第２の医用画像１０７を表示部１１０に表示させてもよい。たとえば表示制御部１０８は、第１の医用画像１０６を読影中に、腫瘍像７０２の位置を調べたい場合に第１の実施形態における処理を行ってもよい。またたとえば表示制御部１０８は、腫瘍位置がある程度把握できた上で、腫瘍像７０２に関連する血管像６０１の形状を詳細に読影したい場合に、第２の実施形態における処理を行ってもよい。

表示制御部１０８は、第１の医用画像１０６と第２の医用画像１０７とをともに表示部１１０に表示させる場合に、第１の医用画像１０６と第２の医用画像１０７との重畳画像を表示部１１０に表示させてもよいし、第１の医用画像１０６と第２の医用画像１０７とを比較可能に表示部１１０に表示させてもよい。第１の医用画像１０６と第２の医用画像１０７とを比較可能な表示方法の一例は、第１の医用画像１０６と第２の医用画像１０７とを並べて表示させる方法である。

上述のように、操作者は第２の医用画像１０７を表示させたい場合に入力部１０９に対して操作入力を行う。入力部１０９はオルタネイトスイッチであってもよい。その場合、操作者はスイッチを１回押下するだけの簡易な操作で第２の医用画像１０７を表示部１１０に表示させることができる。

また、入力部１０９はモーメンタリスイッチであってもよい。その場合、入力部１０９は操作者がスイッチを押下し続けている間、操作入力が行われていることを示す信号を画像処理装置１００に送信する。画像処理装置１００は当該信号を、第２の医用画像１０７を表示部１１０に表示させる指示を示す信号として受信する。入力部１０９からの信号を受信し始めた時点が図４及び図５に例示する時刻Ｔ１に対応する。所定の時間内（上述の実施形態の例においては５秒以内）に操作者がモーメンタリスイッチに対する操作入力を終了した場合、表示制御部１０８は入力部１０９からの信号の受信が終了した時点で第２の医用画像１０７の表示を中止し、第１の医用画像１０６のみを表示させてもよい。この時、入力部１０９からの信号の受信が終了した時点が図４及び図５に例示する時刻Ｔ２に対応する。所定の時間を超えて操作者がモーメンタリスイッチに対する操作入力を継続している場合、表示制御部１０８は上述の実施形態と同様に所定の時間が経過した時点で第１の医用画像１０６のみの表示に切り替えてもよい。また別の例では、所定の時間が経過した時点で再度第２の医用画像１０７を時刻Ｔ１と同様に表示部１１０に表示させてもよい。操作者がモーメンタリスイッチに操作入力を継続している限り、表示制御部１０８は時刻Ｔ１から時刻Ｔ２までの表示、すなわち図４に例示する画面４０１〜４０５又は図５に例示する画面５０１〜５０５の表示を繰り返し行ってもよい。

上述の実施形態においては、表示制御部１０８が入力部１０９から発信される信号を受信する場合を例に説明したが、本発明はこれに限らない。たとえば情報処理装置１００は表示制御部１０８とは異なるモジュールとして、入力部１０９から発信される信号を受信する受信手段（不図示）を備えてもよい。

上述の実施形態においては、輝度が線形に変化する場合を例に説明したが、本発明はこれに限らない。たとえば表示制御部１０８は第１の医用画像または第２の医用画像の輝度を指数関数に従って変化させてもよいし、対数関数に従って変化させてもよいし、任意の非線形の関数に従って変化させてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (20)

1. 第１の医用画像と第２の医用画像とを取得する取得手段と、
   操作者による操作入力が行われたことに応じて前記第２の医用画像を表示部に表示させ、前記表示させた前記第２の医用画像の輝度を変化させる表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記表示させた前記第２の医用画像の輝度を所定の時間内に減少させることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記第１の医用画像を前記表示部に表示させることを特徴とする請求項１又は請求項２のいずれか１項に記載の情報処理装置。
4. 前記表示制御手段は、前記操作入力が行われたことに応じて前記第１の医用画像の輝度を変化させることを特徴とする請求項３に記載の情報処理装置。
5. 前記表示制御手段は、前記操作入力に応じて前記第１の医用画像の輝度を減少させ、前記減少させた前記第１の医用画像の輝度を増加させることを特徴とする請求項４に記載の情報処理装置。
6. 前記表示制御手段は、前記第１の医用画像を前記表示部に表示させ、かつ前記操作入力が行われたことに応じて前記第２の医用画像を前記表示部に表示させることを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報処理装置。
7. 前記表示制御手段は、前記第１の医用画像を前記表示部に表示させ、かつ前記操作入力が行われたことに応じて前記第１の医用画像の表示を中止するとともに前記第２の医用画像を前記表示部に表示させた後に、前記表示させた前記第２の医用画像の輝度を所定の時間内に減少させ、かつ前記第１の医用画像の輝度を前記所定の時間内に増加させることにより前記第１の医用画像を前記表示部に表示させることを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報処理装置。
8. 前記表示制御手段は、前記第１の医用画像を前記表示部に表示させ、かつ前記操作入力が行われたことに応じて、前記第１の医用画像の輝度を保ったまま前記第２の医用画像を前記表示部に表示させた後に、前記第１の医用画像の輝度を保ったまま前記第２の医用画像の輝度を所定の時間内に減少させることを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
9. 前記取得手段は、前記第１の医用画像と、前記第１の医用画像と位置合わせされた前記第２の医用画像とを取得し、
   前記表示制御手段は、前記第１の医用画像と対応する位置の前記第２の医用画像を前記表示部に表示させることを特徴とする請求項１乃至請求項８のいずれか１項に記載の情報処理装置。
10. 前記表示制御手段は、前記操作入力が行われた時点で前記表示部に表示されていた前記第１の医用画像と対応する位置の前記第２の医用画像を前記表示部に表示させることを特徴とする請求項９に記載の情報処理装置。
11. 前記第１の医用画像及び前記第２の医用画像は、被検体からの音響波に基づいて得られる医用画像であることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の情報処理装置。
12. 前記第１の医用画像及び前記第２の医用画像の少なくともいずれか一方の医用画像は、前記被検体に超音波を照射して得られる反射波に基づいて得られる超音波画像であることを特徴とする請求項１１に記載の情報処理装置。
13. 前記第１の医用画像及び前記第２の医用画像の少なくともいずれか一方の医用画像は、前記被検体に光を照射して得られる光音響波に基づいて得られる光音響画像であることを特徴とする請求項１１又は請求項１２に記載の情報処理装置。
14. 前記第１の医用画像は、前記被検体に光を照射して得られる光音響波に基づいて得られる光音響画像であり、前記第２の医用画像は、前記被検体に超音波を照射して得られる反射波に基づいて得られる超音波画像であることを特徴とする請求項１１乃至請求項１３のいずれか１項に記載の情報処理装置。
15. 第１の医用画像と第２の医用画像とを取得する取得手段と、
    操作者による操作入力が行われたことに応じて前記第２の医用画像を表示部に表示させ、前記表示させた前記第２の医用画像の輝度を変化させる表示制御手段と、
    を有することを特徴とする情報処理システム。
16. 前記操作入力を操作者が入力する入力手段をさらに有することを特徴とする請求項１５に記載の情報処理システム。
17. 第１の医用画像と第２の医用画像とを取得する工程と、
    操作者による操作入力が行われたことに応じて前記第２の医用画像を表示部に表示させ、前記表示させた前記第２の医用画像の輝度を変化させる工程と、
    を有することを特徴とする情報処理方法。
18. 第１の医用画像と第２の医用画像とを取得する工程と、
    前記第１の医用画像を表示部に表示させる工程と、
    操作者による操作入力が行われたことに応じて前記第２の医用画像を前記表示部に表示させ、前記第１の医用画像の表示を中止する工程と、
    前記表示された前記第２の医用画像の輝度を所定の時間内に減少させ、前記第１の医用画像の輝度を前記所定の時間内に増加させて前記表示部に表示させる工程と、
    前記所定の時間ののちに、前記第２の医用画像の表示を中止し、前記第１の医用画像を前記表示部に表示させる工程と、
    を有することを特徴とする情報処理方法。
19. 第１の医用画像と第２の医用画像とを取得する工程と、
    前記第１の医用画像を表示部に表示させる工程と、
    操作者による操作入力が行われたことに応じて前記第２の医用画像を前記表示部に表示させる工程と、
    前記表示された前記第２の医用画像の輝度を所定の時間内に減少させる工程と、
    を有することを特徴とする情報処理方法。
20. 請求項１７乃至請求項１９のいずれか１項に記載の情報処理方法をコンピュータに実行させるためのプログラム。