JP2018175864A - 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム - Google Patents

Abstract

【課題】本発明は、複数の医療機関が撮影した検査画像を、画面上の所定の位置に自動的に配置して表示する自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラムを提供する。【解決手段】受付手段３１で、複数の検査画像を含む検査データを受け付け、対応付け手段３２で、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付けて、表示手段３４で、見本画像に対応付けられた検査画像をレイアウトの見本画像が配置される配置位置に表示する。【選択図】図２

Description

本発明は、画像の読影を補助するための表示プロトコルに関し、特に、画像を自動レイアウトする自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラムに関するものである。

近年、医療情報システムの普及に伴い、地域における病気診断の連携と医療情報の共有を目的として、医療機関の相互間でデータ交換が可能な広域電子カルテの実現がされつつある。広域電子カルテシステムの要素技術には、各医療機関に設けられた医用画像管理システム（ＰＡＣＳ： Picture Archiving and Communication System）がある。ＰＡＣＳでは、ＣＲ（Computed Radiography）、ＣＴ（Computed Tomography）およびＭＲＩ（magnetic resonance imaging）といった画像撮影装置（モダリティ）から受信した画像データの保管、閲覧、および管理を行っている。また、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格を用いて画像データを管理することにより、様々な種類の画像データの一元管理を可能にしている。

画像検査では一人の患者に対して複数の画像（単純Ｘ線画像、ＣＴ画像、ＭＲＩ画像、超音波画像など）が撮影され、撮影された画像は、ＰＡＣＳから読みだされて、読影ビューアなどの画面に表示して確認される。その際、例えば造影前の撮影画像と造影後の撮影画像を並べて表示するなど、検査の目的に応じて読影しやすいように画像を並べて表示する。実際に読影するときは、検査毎に画像を手作業で並べることが多く、サムネイル画像を見ながら画像を選び、表示させるべき場所を指定することを繰り返すことになる。

そこで、これを自動化する機能が読影ビューアには用意されている。自動化の具体的な方法として、例えば、撮影順に並べる方法、画像に付帯する情報（ＤＩＣＯＭタグ情報など）に基づいて定義されたルールに従って並べる方法が知られている。例えば、特許文献１には、複数の医用画像の並び順を医用画像の付帯情報を利用して定義した定義情報を利用し、複数の医用画像を画面に同時表示するときの医用画像の配置位置を、定義情報に従って定義された位置に配置して表示することが開示されている。また、特許文献２には、ユーザが入力したワークフローに基づいて、ユーザの好みに合ったレイアウトを機械学習アルゴリズムを用いて改良し、表示プロトコルとして適用可能なレイアウト候補を提供する手法が開示されている。

特開２００７−２６００６１号公報 特開２０１３−１０６９５１号公報

検査画像を迅速に診断するためには読影医の好みに応じた画像表示が行えることが、読影効率を向上させる上で、重要であるといわれている。さらに、読影医の好みに応じて一旦画像の配置を表示プロトコルに設定すると、以後、同様の症例に対しては自動的に同じ表示プロトコルで表示することが望まれる。

また、広域電子カルテシステムのように複数の医療機関が連携した医療情報システムが構築されている場合には、各医療機関が撮影した画像の読影が、読影専門の読影医がいる医療機関に依頼される。しかしながら、画像の撮影順や画像に付帯するＤＩＣＯＭタグのような付帯情報の記述は標準化されていない場合があるため、撮影装置のベンダー（メーカー）または撮影技師が異なる場合には異なった撮影順で撮影されていたり、タグの情報の記述方法が異なっていたりするため、特許文献１および特許文献２に開示されている手法では適切に機能しないという問題がある。

そこで、本発明では、上述のような問題を解決するために、読影に最適な表示プロトコルで画像を自動的にレイアウトするための自動レイアウト装置および自動レイアウト方法、並びに、自動レイアウトプログラムを提供することを目的とする。

本発明の自動レイアウト装置は、複数の検査画像を含む検査データを受け付ける受付手段と、複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付ける対応付け手段と、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示する表示手段とを備えたものである。

また、本発明の自動レイアウト方法は、複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、受付手段と、対応付け手段と、表示手段とを備えた自動レイアウト装置において、受付手段が、複数の検査画像を含む検査データを受け付けるステップと、対応付け手段が、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付けるステップと、表示手段が、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示するステップとを備えたものである。

また、本発明の自動レイアウトプログラムは、コンピュータを、複数の検査画像を含む検査データを受け付ける受付手段と、複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付ける対応付け手段と、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示する表示手段として機能させるものである。

「レイアウト情報」とは、画面に画像を配置する際の画面の分割方法と、画像の配置位置を含む情報をいう。画面の分割方法には、例えば、２分割または４分割などの画面の分け方と、分割した各領域の大きさが含まれる。
「検査データ」とは、疾患を診断するために必要なデータをいい、複数の検査画像が含まれる。検査画像には、様々なモダリティで撮影された静止画像および動画が含まれる。さらに、検査画像が検査に関する文書データを画像化したものであってもよい。

また、対応付け手段は、レイアウトに含まれる見本画像の１つと検査データに含まれる検査画像の１つの組合せのそれぞれについて、検査画像と見本画像の類似度を取得する類似度取得手段と、２つの組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の前後関係と、第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の撮影時刻の前後関係とに基づいて類似度の調整値を取得する調整値取得手段とを備え、見本画像に対応付けられる検査画像が１以下であり、かつ、検査画像に対応付けられる見本画像が１以下であるという条件を満たすように、見本画像と検査画像を対応付けた場合に、対応付けられた見本画像と検査画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値とを用いて、見本画像と検査画像を対応付けるものが望ましい。

また、類似度取得手段が、検査画像の画像データと見本画像の画像データのヒストグラムに基づいて類似度を取得するようにしてもよい。

また、調整値取得手段が、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の順番と第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の撮影時刻の順番が一致する場合には、調整値は撮影時刻の順番が一致しない場合より類似度を高くする値とするものが望ましい。

また、対応付け手段が、条件を満たすように見本画像に検査画像を対応付けたときの、組合せから取得された全ての類似度と、２つの組合せから取得された全ての調整値との重み付き総和を用いて、グラフマッチングの手法により見本画像に対応付ける検査画像を決定するものが望ましい。

また、レイアウトの見本画像に断層画像が含まれ、検査データの検査画像に断層画像が含まれる場合には、対応付け手段が、検査データに含まれる複数の検査画像の断層画像のうち、見本画像の断層画像と断面方向が一致する検査画像とを対応付けるものが望ましい。

また、レイアウトの見本画像に断層画像が含まれ、検査データの検査画像に断層画像が含まれる場合には、対応付け手段が、レイアウトに含まれる見本画像の１つと検査データに含まれる検査画像の１つの組合せのそれぞれについて、検査画像と見本画像の類似度を取得する類似度取得手段と、２つの組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の前後関係と、第１の組合せ含まれる検査画像と第２の組合せに含まれる検査画像の断層位置の前後関係とに基づいて類似度の調整値を取得する調整値取得手段とを備え、見本画像に対応付けられる検査画像が１以下であり、かつ、検査画像に対応付けられる見本画像が１以下であるという条件を満たすように、見本画像と検査画像を対応付けた場合に、対応付けられた見本画像と検査画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値とを用いて、見本画像と検査画像を対応付けるものが望ましい。

また、調整値取得手段が、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の順番と第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の断層位置の順番が一致する場合には、調整値は断層位置の順番が一致しない場合より類似度を高くする値とするものが望ましい。

本発明によれば、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付けて、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示したので、撮影装置のベンダーまたは撮影技師によって、撮影順またはタグの情報の記述方法が異なる検査画像を、用意されたレイアウトの適切な位置に配置することが可能になり、作業効率を向上させることが可能になる。

本発明の実施形態における自動レイアウト装置が導入された医療情報システムの概略構成を示す図 本発明の自動レイアウト装置の機能ブロック図 見本画像を配置したレイアウトの一例を示す図 見本画像と検査画像の対応付けを行う処理のフローチャート 見本画像と検査画像の一例を示す図 ヒストグラムインターセクションから類似度を求める方法を説明するための図 画面の構図を反映させた類似度を求める方法を説明するための図 調整値を求める方法を説明するための図 見本画像の集合Ｐと、検査画像の集合Ｑの対応付けを説明するための図 自動レイアウト装置の動作を説明するためのフローチャート 見本画像と検査画像が対応付けられた結果の一例を示す図 ディスプレイ画面上に検査画像を表示した一例を示す図 医療情報システムにアーカイブシステムを接続した概略構成を示す図

図１に、本発明の実施形態における自動レイアウト装置が導入された医療情報システム１の概略構成を示す。この医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科の医師による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ２、読影医用ワークステーション３、診療科用ワークステーション４、画像管理サーバ５、画像データベース６、読影レポートサーバ７、および、読影レポートデータベース８を、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。

モダリティ２には、被検体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲI装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置などが挙げられる。

読影医用ワークステーション３は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション３では、画像管理サーバ５に対する画像の送信要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医用ワークステーション３は、生成した読影レポートを、ネットワーク９を介して読影レポートサーバ７に転送し、その読影レポートの読影レポートデータベース８への登録を要求する。

診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション４では、画像管理サーバ５に対する画像の閲覧要求や、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および、読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。また、診療科用ワークステーション４は、各診療科で行われた内視鏡検査などの動画を、ネットワーク９を介して画像管理サーバ５に転送し、画像データベース６への登録を要求する。

画像管理サーバ５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムを組み込んだものである。画像管理サーバ５は、画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。

画像データベース６には、複数の患者をモダリティ２で撮影した検査画像と付帯情報とが登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その医用画像が生成された検査日、検査時刻、その医用画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。

また、画像管理サーバ５は、読影医用ワークステーション３からの閲覧要求をネットワーク９経由で受信すると、上述の画像データベース６に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション３に送信する。

読影レポートサーバ７は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムを組み込んだものであり、読影医用ワークステーション３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。

読影レポートデータベース８には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影医ＩＤ、関心領域の位置情報、所見、所見の確信度といった情報が登録される。

ネットワーク９は病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど医用画像の高速転送を実現できるものとすることが好ましい。

さらに、図１３に示すように、医療情報システム１にアーカイブシステム１０を接続したものであってもよい。アーカイブシステム１０は、複数の医療機関の医療情報システム１ａ〜１ｄの医用画像や各種動画に加えて、医療機関内の各診療科が扱う検査目的などを記載した検査依頼文書（検査オーダー）や、血液検査結果などの他の検査情報を文書化したドキュメントなど広範な診療情報を記憶および管理する大容量記憶装置１１を備えている。

上述の読影医用ワークステーション３は、画像診断医等のユーザによって読影および観察対象画像の閲覧を要求する操作が行われると、画像管理サーバ５に対して閲覧要求を送信し、必要な画像を取得する。そして、その画像をディスプレイに表示する。本発明の自動レイアウト装置の機能は、読影医用ワークステーション３に実装されており、この処理は、インストールされたアプリケーションプログラムを実行することによって実現される。

図２は、読影医用ワークステーション３に実装された本発明の実施形態となる自動レイアウト装置の構成とデータの流れを模式的に示したブロック図である。なお、本発明の自動レイアウト装置は読影医用ワークステーション３の自動レイアウト処理部として以下説明する。図２に示したように、本発明の自動レイアウト処理部３０は、受付手段３１、対応付け手段３２、記憶手段３３、および、表示手段３４から構成される。また、表示手段３４には、１台または複数台のディスプレイ３５が接続される。

受付手段３１は、読影医用ワークステーション３で、読影医などのユーザによって検査対象の患者ＩＤが入力されると、読影医用ワークステーション３から画像管理サーバ５に診断対象の患者ＩＤと画像の送信要求が送信され、画像データベース６から検索された複数の検査画像ｑを検査データとして受信する。受信した検査画像ｑは、記憶手段３３に一旦記憶される。
検査画像ｑには、様々なモダリティ２で撮影した画像が含まれ、単純Ｘ線撮影画像、同じ部位を撮影した現在画像および過去画像、造影剤の投与前後の画像、複数枚の断層画像（ＣＴ画像またはＭＲＩ画像など）、撮影条件を変えて撮影した画像（ＭＲＩ画像のＴ１強調およびＴ２強調など）、および、内視鏡で撮影された動画像などが含まれる。さらに、アーカイブシステム１０から検査依頼または検査情報を文書化した電子文書を受信し、これらの電子文書をイメージデータに変換したもの（例えば、ＰＤＦファイル）が検査画像に含まれていてもよい。

記憶手段３３は、複数の見本画像ｐと、見本画像ｐを画面上に配置したレイアウトを表すレイアウト情報Ｌを記憶している。なお、見本画像ｐは、検査画像を配置するとき見本となる画像であり、検査画像を配置する際の基準となる画像である。
レイアウト情報Ｌには、画面に画像を配置する際の画面の分割方法の情報と、分割されたそれぞれの領域にどの見本画像ｐを配置するかの配置位置の情報が定義されている。画面分割方法の情報には、分割された各表示領域の大きさも含まれ、例えば、画面を左右同じ大きさで縦２分割にする、画面を縦横に同じ大きさの４分割にする、あるいは、メイン画像を大きく画面の左半分に表示し、かつ、残りの画像を右半分に縦に並べるなどの情報が定義されている。

レイアウトは、１画面のみであっても、複数の画面で構成されたものであってもよい。例えば、レイアウトが複数ページで構成され、見本画像ｐが配置された複数ページを切り替えながら表示画面に表示するときの画面分割方法と見本画像ｐの配置位置をレイアウト情報Ｌとして定義したものであってもよい。あるいは、レイアウト情報Ｌは、読影医用ワークステーション３に複数のディスプレイを接続したときの、複数のディスプレイの画面のそれぞれの画面分割方法と見本画像ｐの配置位置が定義されたものであってもよい。例えば、１台のディスプレイで、あるページの画面分割方法と分割された各領域に配置された見本画像ｐと、その次のページの画面分割方法と分割された各領域に配置された見本画像ｐの組合せを１つのレイアウト情報Ｌとしてもよく、また、ディスプレイが複数台あって、ディスプレイＡは画面４分割とし、分割された各領域に見本画像ｐのどれを配置し、ディスプレイＢは画面２分割とし、分割された各領域に見本画像ｐのどれを配置するかという情報を、１つのレイアウト情報Ｌとしてもよい。さらには、複数ディスプレイで複数枚のページの表示画面を切り替えて表示するときの画面分割方法と分割された各領域に配置された見本画像ｐの情報を１つのレイアウト情報Ｌとしてもよい。

記憶手段３３には、標準的な見本画像ｐと、標準的な画像分割方法と見本画像ｐの標準的な配置位置が定義されたレイアウト情報Ｌを予め用意して記憶しておいてもよいし、読影医用ワークステーション３で読影医が読影する際に、画像データベース６から読み込んだ画像をディスプレイの画面上に並べた時の画面分割方法と画像の配置位置の情報を記録したものをレイアウト情報Ｌとし、その時に並べた画像を見本画像ｐとして記憶するようにしてもよい。さらに、記憶手段３３に記憶されているレイアウト情報Ｌを利用して検査画像ｑを表示し、読影医の好みに応じて、画像の配置位置や画面分割方法を変えた時のレイアウトに従って、レイアウト情報Ｌと見本画像ｐを更新してもよい。

図３（ａ）にレイアウト情報Ｌに従って見本画像ｐを配置したレイアウトの一例を示す。図３（ｂ）にレイアウトの各領域に配置される見本画像ｐ１〜ｐ７を示す。図３（ａ）は画面を４分割して、左上に見本画像ｐ１を配置し、左下に見本画像ｐ２を配置し、右上に見本画像ｐ４を配置し、右下に見本画像ｐ５を配置している。図３（ａ）において、見本画像ｐ３、ｐ６、およびｐ７は画面上に表示されていないが、次のページに見本画像ｐ３、ｐ６、およびｐ７を配置してもよい。

このようなレイアウト情報Ｌは、読影医用ワークステーション３から画像管理サーバ５に送信されて画像データベース６に見本画像ｐと対応付けて記憶するようにしてよい。読影医用ワークステーション３で読影のための操作が行われると、画像管理サーバ５にレイアウト情報Ｌと見本画像ｐの送信を要求し、送信されたレイアウト情報Ｌと見本画像ｐを記憶手段３３に記憶するようにしてもよい。記憶手段３３には、レイアウト情報Ｌおよび見本画像ｐの組合せを予め複数の種類記憶しておき、複数の種類のレイアウト情報Ｌから症例や読影医の好みに応じて選択できるようにしておくのが好ましい。

対応付け手段３２は、類似度取得手段３６と、調整値取得手段３７とを備え、レイアウトを構成する見本画像ｐに類似する検査画像ｑを検査データの中から選んで対応付ける。見本画像ｐと検査画像ｑを対応付ける際には、１つの見本画像ｐに対して２つ以上の検査画像ｑが対応付けられないようにする。なお、検査データに含まれる検査画像ｑの数がレイアウトに配置されている見本画像ｐの数より少ない場合には、見本画像ｐに対応付けられる検査画像ｑが存在しないこともある。また、２つ以上の見本画像ｐに同じ検査画像ｑが対応付けられないようにもする。つまり、見本画像ｐに対応付けられる検査画像ｑは１つ以下になり、かつ、検査データに含まれる検査画像ｑに対応付けられる見本画像ｐも１つ以下になるように対応付ける。

類似度取得手段３６は、レイアウトに含まれる見本画像ｐの１つと検査データに含まれる検査画像ｑの１つの組合せのそれぞれについて類似度を算出する。類似度は、見本画像ｐと検査画像ｑのピクセルデータ間の類似度を求める。ピクセルデータは、画像を構成する画素（ピクセル）の集まりをいう。具体的には、類似度は相互相関やヒストグラムインターセクションなどを用いて取得することができる。なお、画像のピクセルデータは、ＤＩＣＯＭタグ、ファイル名、または、撮影日時などの画像の付帯情報とは区別して以下説明する。

しかし、アキシャル断面とサジタル断面のように異なる断面方向の見本画像ｐと検査画像ｑ間でも、ピクセルデータ間の類似度が高くなる場合がある。ＤＩＣＯＭタグなどの付帯情報を参照して断面方向を判定し、レイアウトの見本画像ｐに含まれる断層画像と、検査データの検査画像ｑに含まれる断層画像の断面方向が一致する場合は、類似度は高くなり、断面方向が一致しない場合は、類似度は低くなるように類似度を算出する。

調整値取得手段３７は、組合せの２つの組み合わせにおいて、第１の組合せａに含まれる見本画像ｐと第２の組合せｂに含まれる見本画像ｐの関係と、第１の組合せａに含まれる検査画像ｑと第２の組合せｂに含まれる検査画像ｑの関係とに基づいて類似度の調整値を求める。
同じ部位を撮影した造影剤の投与前と投与後の画像は、見本画像ｐと検査画像ｑの間でも投与前の画像同士と投与後の画像同士の類似度が高くなるはずだが、画像造影剤の拡散の仕方によっては投与前の見本画像ｐと投与後の検査画像ｑの類似度が高くなる可能性がある。また、心臓の心拍フェーズの異なる複数の画像など、ピクセルデータの類似度だけでは、対応する画像を判定することが難しくなることがある。そこで、組合せａおよびｂに含まれる２つの見本画像ｐの撮影時刻の前後関係と、組合せａおよびｂにそれぞれ含まれる２つの検査画像ｑの撮影時刻の前後関係が一致する場合には、調整値を撮影時刻の前後関係が一致しない場合より類似度が高くなるような値にする。

あるいは、見本画像ｐと検査画像ｑに複数の断層画像が含まれる場合には、断層画像の並び順が入れ替わらないようにする。例えば、アキシャル画像であるときは、組合せａおよびｂに含まれる２つの見本画像ｐの断層位置の体軸方向の位置の前後関係と、組合せａおよびｂに含まれる２つの検査画像ｑの断層位置の前後関係が一致する場合には、調整値を断層位置の前後関係が一致しない場合より類似度が高くなるような値にする。

図４のフローチャートに従って、類似度と調整値を用いて見本画像ｐと検査画像ｑの対応付けを行う処理について具体的に説明する。図５に見本画像ｐ１〜ｐ７と検査画像ｑ１〜ｑ７の一例を示す。

まず、レイアウトに含まれる見本画像ｐの集合をＰ、検査データに含まれる検査画像ｑの集合をＱとする。類似度取得手段３６は、Ｐの要素である見本画像ｐ_ｉとＱの要素である検査画像ｑ_ｊの類似度をヒストグラムインターセクションを用いて求める。図５に示すように、類似度は、見本画像ｐ_１〜ｐ_７と検査画像ｑ_１〜ｑ_７の全ての組合せに対して求める。つまり、ｐ_１に対して、ｑ_１、ｑ_２、ｑ_３・・・ｑ_７との類似度を求め、ｐ_２に対してｑ_１、ｑ_２、ｑ_３・・・ｑ_７との類似度を求める。同様にして、ｐ_３〜ｐ_７のそれぞれに対してｑ_１、ｑ_２、ｑ_３・・・ｑ_７との類似度を求める。

見本画像ｐ_ｉおよび検査画像ｑ_ｊの断面方向は、例えば、ＤＩＣＯＭタグの「Image Orientation」の記述に基づいて判断することができる。例えば、見本画像ｐ_ｉが体軸に垂直なアキシャル断面の場合、「Image Orientation」の「first row」は(1,0,0)、「first column」は(0,1,0)にほぼ一致するので、検査画像ｑ_ｊの「Image Orientation」を参照して得られる２つのベクトルと、見本画像ｐ_ｉの２つのベクトル(1,0,0)および(0,1,0)との一致度を、内積演算を使って求める。見本画像ｐ_ｉと検査画像ｑ_ｊの断面方向が一致している場合には（Ｓ１−Ｙｅｓ）、ピクセルデータ間の類似度は、ヒストグラムインターセクションを類似度θ_ａとして求める（Ｓ２）。

図６に示すように、ヒストグラムインターセクションは、見本画像ｐ_ｉのヒストグラムｈ１と検査画像ｑ_ｊのヒストグラムｈ２の共通部分の割合を指す。このとき、類似度θ_ａは０〜１．０までの値となる。画面のおおまかな構図を反映させるために、例えば、見本画像ｐ_ｉと検査画像ｑ_ｊを縦と横をそれぞれ３つに等分し（図７参照）、３×３区画（＝９区画）に区分したそれぞれの区画でヒストグラムインターセクションを求め、その平均値を類似度θ_ａとするようにしてもよい（Ｓ１−Ｎｏ）。一方、見本画像ｐ_ｉと検査画像ｑ_ｊの断面方向が異なる場合には、類似度θ_ａを−１とする（Ｓ３）。これを全てのｐ_ｉとｑ_ｊの組合せについて求める（Ｓ４）。

次に、調整値取得手段３７で、見本画像ｐ_ｉと検査画像ｑ_ｊを対応付けた時の類似度の調整値θ_ａｂを求める。見本画像ｐ_ｉと検査画像ｑ_ｊを対応付けるときは、見本画像ｐ_ｉに対応付けられる検査画像ｑ_ｊは１つ以下になり、かつ、検査データに含まれる検査画像ｑ_ｊに対応付けられる見本画像ｐ_ｉも１つ以下になるように対応付ける。このような対応付けの条件を満足するように対応付けをした時の、全ての対応付けパターンのうちいずれの対応付けが最適であるかを、見本画像ｐ_ｉと検査画像ｑ_ｊのピクセルデータ間の類似度θａだけでなく撮影時刻の前後関係に基づいた調整値を用いて調整する。

集合Ｐと集合Ｑにおいて、見本画像ｐ_ｉに検査画像ｑ_ｊを対応付け、かつ、見本画像ｐ_ｋに検査画像ｑ_ｌを対応付けたときには、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せａと見本画像ｐ_ｋと検査画像ｑ_ｌの組合せｂから調整値θ_ａｂを算出する。見本画像ｐ_ｉの撮影時刻ｔ（ｐ_ｉ）と見本画像ｐ_ｋの撮影時刻ｔ（ｐ_ｋ）の差分Ｔ_ａ＝ｔ（ｐ_ｋ）−ｔ（ｐ_ｉ）の符号と、検査画像ｑ_ｊの撮影時刻ｔ（ｑ_ｊ）と検査画像ｑ_ｌの撮影時刻ｔ（ｑ_ｌ）の差分Ｔ_ｂ＝ｔ（ｑ_ｌ）−ｔ（ｑ_ｊ）の符号が一致している場合には（Ｓ５−Ｙｅｓ）、調整値θ_ａｂを１とし（Ｓ６）、差分Ｔ_ａと時間の差分Ｔ_ｂの符号が一致していない場合には（Ｓ５−Ｎｏ）、調整値θ_ａｂを‐１にする（Ｓ７）。これを各対応付けパターンにおける全ての２つの組合せａおよびｂに対して求める（Ｓ８）。

例えば、図８に示すように、ｐ_１とｑ_１、ｐ_２とｑ_２、ｐ_３とｑ_３・・・を対応付けたとき、ｐ_１とｑ_１の組合せ１とｐ_２とｑ_２の組合せ２において（図８（ａ））、ｐ_１とｐ_２の撮影時刻の差分と、ｑ_１とｑ_２の撮影時刻の差分が一致しているときには、調整値θ_{ａ＝１，ｂ＝２}を１とする。ｐ_２とｑ_２の組合せ２とｐ_３とｑ_３の組合せ３において（図８（ｂ））、ｐ_２とｐ_３の撮影時刻の差分と、ｑ_２とｑ_３の撮影時刻の差分が一致していない場合には、調整値θ_{ａ＝２，ｂ＝３}を‐１にする。さらに、ｐ_１とｑ_１の組合せ１とｐ_３とｑ_３の組合せ３において（図８（ｃ））、ｐ_１とｐ_３の撮影時刻の差分と、ｑ_１とｑ_３の撮影時刻の差分が一致しているときには、調整値θ_{ａ＝１，ｂ＝３}を１とする。このように、全ての２つの組合せａおよびｂに対して、調整値θ_ａｂを算出する。

図９に示すように、集合Ｐと集合Ｑにおける、見本画像ｐ_ｉと検査画像ｑ_ｊの対応付けを０と１のバイナリデータｘを用いてＰ×Ｑの要素の対応付行列ｍで表す。対応付行列ｍは、行が見本画像ｐ_ｉを表し、列が検査画像ｑ_ｊを表す。ｉ行ｊ列の要素ｘ_ｉｊは見本画像ｐ_ｉと検査画像ｑ_ｊを対応づけるか否かを表す。見本画像ｐ_ｉと検査画像ｑ_ｊが対応付けられないときは０とし、見本画像ｐ_ｉと検査画像ｑ_ｊが対応付けられるときは１とする。このとき、集合Ｐと集合Ｑにおいて、見本画像ｐ_ｉに対応付けられる検査画像ｑ_ｊは高々１つ、かつ、検査画像ｑ_ｊに対応付けられる見本画像ｐ_ｉも高々１つという条件を満足するように、見本画像ｐ_ｉと検査画像ｑ_ｊを対応付けた全ての対応付けのパターンを作成する。
なお、対応付行列ｍで表される対応付けパターンの集合Ｍは次の式（１）のように表現することができる。

集合Ｍに含まれる見本画像ｐ_ｉと検査画像ｑ_ｊを対応付ける全てのパターンにおいて、集合Ｐの見本画像ｐ_ｉと集合Ｑの検査画像ｑ_ｊ間の類似度が最も高くなるパターンを決定することで、見本画像ｐ_ｉと検査画像ｑ_ｊの最適な対応付けを決定する（Ｓ９）。これは、類似度取得手段３６で求めた類似度θ_ａと、調整値取得手段３７で求めた調整値θ_ａｂを重みづけ加算した下式（２）を最大化する問題に置き換えることができる。例えば、文献「L. Torresani, V. Kolmogorov, and C. Rother: “Feature correspondence via graph matching: Models and global optimization”, ECCV2008.」に記載されているグラフマッチングの手法を用いて解くことができる。
なお、下式（２）の第１項は、ｘ_ｉｊ＝１となる見本画像ｐ_ｉと検査画像ｑ_ｊの組合せの類似度θ_ａの全てを加算することを意味し、第２項は、図８の対応付行列ｍにおいて、ｘ_ｉｊ＝１となる見本画像ｐ_ｉと検査画像ｑ_ｊの組合せの２つ（組合せａ、および、組合せｂ）の関係から得られた調整値θ_ａｂの全てを重みづけ加算することを意味する。また、係数Ｋは経験的に最適な値を与えればよい。

ここで、
Ａは、見本画像ｐ_ｉと検査画像ｑ_ｊの組み合わせの集合を表す。
Ｎは、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せａ、および、見本画像ｐ_ｋと検査画像ｑ_ｌの組合せｂの集合を表す。
ｋは、類似度と調整値の荷重を決める係数を表す。
ｘ_ａは、バイナリデータｘのうち、組合せａ（ｐ_ｉ、ｑ_ｊ）に対応する要素ｘ_ｉｊの値を表す。
ｘ_ｂは、バイナリデータｘのうち、組合せｂ（ｐ_ｋ、ｑ_ｌ）に対応する要素ｘ_ｋｌの値を表す。

表示手段３４は、レイアウト情報Ｌに従った画像分割方法で画面を分割し、分割された各領域に、対応付け手段３２の対応付け結果に従って、見本画像ｐに対応付けられた検査画像ｑをその見本画像ｐが配置される配置位置（領域）に表示する。

次に、図１０のフローチャートを用いて、本実施形態の自動レイアウト装置の動作について説明する。

読影医によって読影医用ワークステーション３で読影のための操作が行われると（Ｓ１０）、入力された読影医ＩＤが読影医用ワークステーション３から画像管理サーバ５に送信され（Ｓ１１）、読影医ＩＤに応じたレイアウト情報Ｌと見本画像ｐが画像データベース６から送信され記憶手段３３に記憶される（Ｓ１２）。

続いて、読影医が診断対象の患者ＩＤを入力すると（Ｓ１３）、読影医用ワークステーション３の受付手段３１は、画像管理サーバ５に患者ＩＤと検査画像ｑの送信要求を送信する。画像管理サーバ５は、患者ＩＤが割り振られている検査画像ｑを画像データベース６から検索して読影医用ワークステーション３に送信する。受付手段３１は受信した検査画像ｑを検査データとして記憶手段３３に記憶する（Ｓ１４）。

上述で詳細に説明した対応付け手段３２を用いて、記憶手段３３に記憶されているレイアウト情報Ｌで用いられる見本画像ｐと検査画像ｑを対応付けた複数の対応付けパターンの集合を作成し、複数の対応付けパターンの中から全体の類似度が最も高くなる対応付けパターンを決定する（Ｓ１５）。

表示手段３４は、ディスプレイ３５の画面をレイアウト情報Ｌの画面分割方法に従って分割し、対応付け手段３２で決定された見本画像ｐと検査画像ｑの対応付けに従って、検査画像ｑを各検査画像ｑに対応付けられた見本画像ｐが配置されている領域に配置して表示する（Ｓ１６）。

対応付け手段３２によって、図１１に示すように、図５の見本画像ｐ_１〜ｐ_７と検査画像ｑ_１〜ｑ_７が対応付けられた場合には、表示手段３４によってディスプレイ画面上には図１２のように表示される。

以上の通り、画面上に配置される見本画像と類似した検査画像が配置され、さらに、見本画像の撮影時刻の順番と検査画像の撮影時刻の順番が反対にならないように並べられる。

上述では、撮影時刻の順番が見本画像と検査画像の間で一致するように対応付けパターンを決定する場合について説明したが、レイアウトの見本画像に断層画像が含まれ、検査データの検査画像にも断層画像が含まれている場合に、断層画像の位置関係の順番が見本画像と検査画像の間で一致するように対応付けパターンを決定することもできる。

この場合、類似度取得手段３６は、前述と同様に類似度θ_ａを求めるが、調整値取得手段３７では、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せａと見本画像ｐ_ｋと検査画像ｑ_ｌの組合せｂから調整値θ_ａｂを算出するときに、見本画像ｐ_ｉと見本画像ｐ_ｋの断層位置の差分Ｄ_１の符号と、検査画像ｑ_ｊと検査画像ｑ_ｌの断層位置の差分Ｄ_２の符号が一致している場合には、調整値θ_ａｂを１とし、差分Ｄ_１と差分Ｄ_２の符号が一致していない場合には、調整値θ_ａｂを‐１にして、類似度θ_ａと調整値θ_ａｂを加算した数式（２）を最大化することによって、見本画像ｐ_ｉに検査画像ｑ_ｊの最適な組み合わせを決定することが可能になる。

また、見本画像の断層画像の位置関係と検査画像の断層画像の位置関係についても矛盾することがないように並べることができる。
以上詳細に説明したように、従来は画像の付帯情報からは正確に判断できなかったレイアウトが、見本画像を参考にして、見本画像と検査画像の正確な対応付けを行うことが可能になる。

１、１ａ〜１ｄ 医療情報システム
２ モダリティ
３ 読影医用ワークステーション
４ 診療科用ワークステーション
５ 画像管理サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０ アーカイブシステム
１１ 大容量記憶装置
３０ 自動レイアウト処理部
３１ 受付手段
３２ 対応付け手段
３３ 記憶手段
３４ 表示手段
３５ ディスプレイ
３６ 類似度取得手段
３７ 調整値取得手段

Claims (10)

1. 複数の検査画像を含む検査データを受け付ける受付手段と、
   複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、
   前記レイアウトに含まれる各見本画像と、前記検査データに含まれる複数の各検査画像との間の類似度を用いて、前記レイアウトに含まれる各見本画像に類似する前記検査画像を対応付ける対応付け手段と、
   前記見本画像に対応付けられた前記検査画像を、前記レイアウト情報に従って該検査画像が対応付けられた前記見本画像が配置される配置位置に表示する表示手段とを備えた自動レイアウト装置。
2. 前記対応付け手段が、
   前記レイアウトに含まれる見本画像の１つと前記検査データに含まれる検査画像の１つの組合せのそれぞれについて、前記検査画像と前記見本画像の類似度を取得する類似度取得手段と、
   ２つの前記組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の前後関係と、前記第１の組合せ含まれる検査画像と前記第２の組合せに含まれる検査画像の撮影時刻の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段とを備え、
   前記見本画像に対応付けられる前記検査画像が１以下であり、かつ、前記検査画像に対応付けられる前記見本画像が１以下であるという条件を満たすように、前記見本画像と前記検査画像を対応付けた場合に、対応付けられた前記見本画像と前記検査画像の組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値とを用いて、前記見本画像と前記検査画像を対応付ける請求項１記載の自動レイアウト装置。
3. 前記類似度取得手段が、前記検査画像と前記見本画像のヒストグラムに基づいて類似度を取得する請求項２記載の自動レイアウト装置。
4. 前記調整値取得手段が、前記第１の組合せに含まれる見本画像と前記第２の組合せに含まれる見本画像の撮影時刻の順番と前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の撮影時刻の順番が一致する場合には、前記調整値は撮影時刻の順番が一致しない場合より前記類似度を高くする値とする請求項２または３記載の自動レイアウト装置。
5. 前記対応付け手段が、前記条件を満たすように前記見本画像に前記検査画像を対応付けたときの、前記組合せから取得された前記全ての前記類似度と、２つの前記組合せから取得された前記全ての前記調整値との重み付き総和を用いて、グラフマッチングの手法により前記見本画像に対応付ける前記検査画像を決定する請求項２〜４のいずれか１項記載の自動レイアウト装置。
6. 前記レイアウトの見本画像には断層画像が含まれ、
   前記検査データの検査画像には断層画像が含まれ、
   前記対応付け手段が、前記検査データに含まれる複数の検査画像の断層画像のうち、前記見本画像の断層画像と断面方向が一致する検査画像とを対応付ける請求項１〜５のいずれか１項記載の自動レイアウト装置。
7. 前記レイアウトの見本画像には断層画像が含まれ、
   前記検査データの検査画像には断層画像が含まれ、
   前記対応付け手段が、
   前記レイアウトに含まれる見本画像の１つと前記検査データに含まれる検査画像の１つの組合せのそれぞれについて、前記検査画像と前記見本画像の類似度を取得する類似度取得手段と、
   ２つの前記組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の前後関係と、前記第１の組合せ含まれる検査画像と前記第２の組合せに含まれる検査画像の断層位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段とを備え、
   前記見本画像に対応付けられる前記検査画像が１以下であり、かつ、前記検査画像に対応付けられる前記見本画像が１以下であるという条件を満たすように、前記見本画像と前記検査画像を対応付けた場合に、対応付けられた前記見本画像と前記検査画像の組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値とを用いて、前記見本画像と前記検査画像を対応付ける請求項１記載の自動レイアウト装置。
8. 前記調整値取得手段が、前記第１の組合せに含まれる見本画像と前記第２の組合せに含まれる見本画像の断層位置の順番と前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の断層位置の順番が一致する場合には、前記調整値は前記断層位置の順番が一致しない場合より前記類似度を高くする値とする請求項７記載の自動レイアウト装置。
9. 複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、受付手段と、対応付け手段と、表示手段とを備えた自動レイアウト装置において、
   前記受付手段が、複数の検査画像を含む検査データを受け付けるステップと、
   前記対応付け手段が、前記レイアウトに含まれる各見本画像と、前記検査データに含まれる複数の各検査画像との間の類似度を用いて、前記レイアウトに含まれる各見本画像に類似する前記検査画像を対応付けるステップと、
   前記表示手段が、前記見本画像に対応付けられた前記検査画像を、前記レイアウト情報に従って該検査画像が対応付けられた前記見本画像が配置される配置位置に表示するステップとを備えた自動レイアウト方法。
10. コンピュータを、
    複数の検査画像を含む検査データを受け付ける受付手段と、
    複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、
    前記レイアウトに含まれる各見本画像と、前記検査データに含まれる複数の各検査画像との間の類似度を用いて、前記レイアウトに含まれる各見本画像に類似する前記検査画像を対応付ける対応付け手段と、
    前記見本画像に対応付けられた前記検査画像を、前記レイアウト情報に従って該検査画像が対応付けられた前記見本画像が配置される配置位置に表示する表示手段として機能させる自動レイアウトプログラム。