JP2011008374A

JP2011008374A - 情報処理装置及びプログラム

Info

Publication number: JP2011008374A
Application number: JP2009149361A
Authority: JP
Inventors: Motofumi Fukui; 基文福井; Sukeji Kato; 典司加藤; Bunen Seki; 文渊戚
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2009-06-24
Filing date: 2009-06-24
Publication date: 2011-01-13

Abstract

【課題】受け付ける検索条件に応じて検索結果として出力される情報のうちから利用者により選択される少なくとも１つの情報の概要を、検索条件とは異なる観点で利用者に提示することができる情報処理装置及びプログラムを提供する。
【解決手段】検索結果情報出力部２４が、画像を含む検索条件を受け付けて、画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する。選択部２６が、利用者による操作に応じて、検索結果情報出力部２４により出力される検索結果情報のうちの少なくとも１つを選択する。代表情報出力部３０が、選択部２６により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、少なくとも１つの検索結果情報を代表する代表情報を出力する。
【選択図】図２

Description

本発明は、情報処理装置及びプログラムに関する。

画像を検索条件として受け付けて、その画像に類似する画像を検索結果として出力する画像検索技術が存在する。特許文献１には、診断画像から検出される病変位置の画像的な特徴量に基づいて、診断画像に類似する参照画像を検索する技術が開示されている。

特開２００２−２３０５１８号公報

本発明は、受け付ける検索条件に応じて検索結果として出力される情報のうちから利用者により選択される少なくとも１つの情報の概要を、検索条件とは異なる観点で利用者に提示することができる情報処理装置及びプログラムを提供することを目的とする。

請求項１に記載の発明は、情報処理装置であって、画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、を含むこととしたものである。

請求項２に記載の発明は、情報処理装置であって、文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、を含むこととしたものである。

請求項３に記載の発明は、請求項１又は２に記載の情報処理装置であって、前記検索結果情報出力手段が、前記各検索結果情報を、当該各検索結果情報と受け付ける検索条件との比較結果に基づいて特定される類似又は乖離の程度に応じた態様で出力することとしたものである。

請求項４に記載の発明は、プログラムであって、画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、としてコンピュータを機能させることとしたものである。

請求項５に記載の発明は、プログラムであって、文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、としてコンピュータを機能させることとしたものである。

請求項１，２，４，５に記載の発明によれば、受け付ける検索条件に応じて検索結果として出力される情報のうちから利用者により選択される少なくとも１つの情報の概要を、検索条件とは異なる観点で利用者に提示することができる。

請求項３に記載の発明によれば、各検索結果情報が示す検索結果について、検索条件と検索結果との類似又は乖離の程度を利用者に提示することができる。

本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。本発明の一実施形態に係る情報処理装置により実現される機能の一例を示す機能ブロック図である。本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。検索結果画面の一例を示す図である。診断結果ヒストグラムの一例を示す図である。特徴抽出対象画像の一例を示す図である。検索結果画面の一例を示す図である。検索結果画面の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１のハードウェア構成図に例示するように、本実施形態における情報処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、を含んでいる。これらの要素は、バスなどを介して接続される。

制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、情報処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マイク、マウス、キーボードなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。

図２は、本実施形態に係る情報処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、本実施形態では、情報処理装置１０は、例えば、検索対象情報記憶部２０、検索条件受付部２２、検索結果情報出力部２４、選択部２６、代表情報生成部２８、代表情報出力部３０、を含むものとして機能する。検索対象情報記憶部２０は、記憶部１４を主として実現される。その他の要素は制御部１２を主として実現される。

これらの要素は、コンピュータである情報処理装置１０にインストールされたプログラムを、情報処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１０に供給される。

検索対象情報記憶部２０には、検索対象情報が少なくとも１つ記憶されている。本実施形態では、検索対象情報は、文字列と画像とを含んでいる。検索対象情報は、具体的には、例えば、患者を診断した画像と、その患者に関する情報や、診断医・読影医に関する情報や、診断結果に関する情報などを示す文字列と、を含んでいる。

ここで、本実施形態に係る情報処理装置１０で行われる処理の流れの一例を、図３に例示するフロー図を参照しながら説明する。

まず、検索条件受付部２２が、利用者から検索条件を受け付ける（Ｓ１０１）。検索条件受付部２２は、例えば、診断の対象となる画像と、その患者に関する情報や、診断医・読影医に関する情報や、診断結果に関する情報などを示す文字列と、を含む検索条件を受け付ける。このように、本実施形態では、検索条件には画像（検索条件画像）と、文字列（検索条件文字列）と、が含まれている。

そして、検索結果情報出力部２４は、検索対象情報のうちから、Ｓ１０１に例示する処理で受け付けた検索条件に応じた検索結果である少なくとも１つの検索結果情報を特定して、出力する（Ｓ１０２）。本実施形態では、検索結果情報出力部２４は、例えば、図４に例示する検索結果画面３２をディスプレイなどのＵＩ部１６に表示出力する。図４に例示する検索結果画面３２は、二次元のマップ状の形状をしている。そして、検索結果画面３２には、Ｓ１０１に例示する処理で受け付けた検索条件に対応する画像（検索条件対応画像３４）と、それぞれが検索結果情報に対応する少なくとも１つの画像（検索結果対応画像３６）と、が含まれている。そして、本実施形態では、検索条件対応画像３４は、例えば、検索結果画面３２の中央付近に配置されている。検索条件対応画像３４や検索結果対応画像３６は、例えば、シンボリックな図形（例えば、アイコンやサムネイル、文字列）などを含んでいる。

ここで、Ｓ１０２に例示する処理の詳細を説明する。まず、検索結果情報出力部２４は、検索条件画像及び検索対象画像それぞれについて、公知の技術により、各画像に対応する特徴ベクトルを算出する。そして、検索結果情報出力部２４は、例えば、算出される特徴ベクトルを２次元に圧縮する。すなわち、検索結果情報出力部２４は、各特徴ベクトルを２次元座標に変換する。そして、検索結果情報出力部２４は、検索対象情報記憶部２０に記憶されている検索対象情報に含まれる画像のうちから、予め定められた条件（例えば、対応する特徴ベクトルが、検索条件画像に対応する特徴ベクトルから予め定められた範囲内の距離にあるという条件）に基づいて特定される画像を含む情報（検索結果情報）を特定する。そして、検索結果情報出力部２４は、検索条件対応画像３４が検索条件画像に対応する特徴ベクトルが変換された２次元座標における位置に配置され、検索結果情報に対応する検索結果対応画像３６が、その検索結果情報に含まれる画像に対応する特徴ベクトルが変換された２次元座標における位置に配置されている検索結果画面３２を生成してディスプレイなどのＵＩ部１６に出力する。なお、検索結果情報出力部２４は、例えば、後述する診断結果のヒストグラム（診断結果ヒストグラム３８）に基づいて、頻度が上位２つ以内に入っている診断結果それぞれを軸とする２次元空間に検索条件対応画像３４や検索結果対応画像３６が配置された検索結果画面３２を生成してディスプレイなどのＵＩ部１６に出力してもよい。図５に、診断結果ヒストグラム３８の一例を示す。

診断結果ヒストグラム３８の生成処理の詳細の一例を、図６に例示する、検索条件画像や、検索結果情報に含まれる画像、などに対応する、特徴が抽出される対象となる特徴抽出対象画像４０を参照しながら説明する。なお、本実施形態では、記憶部１４には、予め、後述する特徴ベクトルとラベル（例えば、診断名や病変名の識別子などに対応する）とが関連づけられた少なくとも１つの学習情報が記憶されている。まず、検索結果情報出力部２４は、図６に例示するように、特徴抽出対象画像４０内の、病気を診断する対象となる体の部位に対応する対象領域４２（例えば、肺の画像（肺画像４４）が含まれる領域）を決定する。そして、検索結果情報出力部２４は、対象領域４２内に、例えば、正方形の注目領域４６を決定する。そして、検索結果情報出力部２４は、例えば、注目領域４６に含まれる各画素の色分布などに基づいて、この注目領域４６に対応する特徴ベクトル（具体的には、例えば、公知のＳＩＦＴ特徴やＶＺ特徴など）を算出する。そして、検索結果情報出力部２４は、例えば、注目領域４６の中心の位置（例えば、注目領域４６の中心の位置に配置されている画素）に、算出された特徴ベクトルを関連づける。そして、検索結果情報出力部２４は、例えば、記憶部１４に記憶されている学習情報に含まれる特徴ベクトルそれぞれについて、その特徴ベクトルと、注目領域４６の中心の位置に関連づけられた特徴ベクトルと、の間の距離（特徴ベクトルの差のノルム）を算出する。そして、検索結果情報出力部２４は、各学習情報に含まれる特徴ベクトルのうちから、注目領域４６の中心の位置に関連づけられた特徴ベクトルからの距離が最も近い特徴ベクトルを特定する。そして、検索結果情報出力部２４は、その特徴ベクトルが含まれる学習情報に対応するラベルを特定する。そして、検索結果情報出力部２４は、特定されたラベルを注目領域４６の中心の位置（例えば、注目領域４６の中心の位置に配置されている画素）に関連づける。

検索結果情報出力部２４は、対象領域４２全体について注目領域４６を走査して、上述の処理を繰り返し実行することにより、対象領域４２の少なくとも一部に含まれる位置それぞれに対して特徴ベクトル及びラベルを関連づける。

なお、検索結果情報出力部２４は、公知のＣＲＦ（ＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍＦｉｅｌｄ）などを用いて、隣接する位置について互いに対応するラベル（例えば、同一のラベル）が関連づけられるよう、注目領域４６の中心の位置に関連づけられるラベルを補正してもよい。

そして、検索結果情報出力部２４は、各特徴抽出対象画像４０について、その特徴抽出対象画像４０内の各位置に関連づけられたラベルに対応する診断名や病変名の数に基づいて、各診断名や病変名に対応するラベルの数の分布を示す診断結果ヒストグラム３８を生成する。診断結果ヒストグラム３８では、横軸が診断名や病変名などの診断結果を示しており、縦軸がその診断結果に対応するラベルの数を示している。

本実施形態では、検索結果情報出力部２４は、例えば、画像特徴が近い画像に対応する画像は、互いに近くなるよう配置された検索結果画面３２を表示出力する。

なお、検索結果情報出力部２４は、検索結果画面３２内の２次元座標において検索条件対応画像３４からの距離が予め定められた閾値を超える検索結果対応画像３６については、図７に例示するように、他の検索結果対応画像３６とは異なる態様で（例えば、他の検索結果対応画像３６よりも小さなシンボリックな図形（例えば、点や、図７に例示する円形画像４８など）により表示出力してもよい。このように、検索結果情報出力部２４は、受け付ける検索条件と、その検索条件に対応する検索結果と、の比較結果に基づいて特定される類似や乖離の程度（例えば、検索結果画面３２内の２次元座標における検索条件対応画像３４と検索結果対応画像３６との間の距離）に応じた態様で、各検索結果対応画像３６を検索結果画面３２内に表示出力してもよい。

そして、選択部２６が、利用者によるマウスなどのＵＩ部１６の操作に応じて、検索結果情報のうちの少なくとも１つを選択する（Ｓ１０３）。選択部２６は、具体的には、例えば、利用者によりマウスなどのＵＩ部１６により囲まれた選択領域５０（図８参照）内の検索結果対応画像３６に対応する少なくとも１つの検索結果情報を選択する。図８に、選択領域５０が示された検索結果画面３２の一例を示す。本実施形態では、例えば、選択部２６は、画像特徴が互いに近い画像に対応する検索結果対応画像３６を選択する。

そして、代表情報生成部２８が、Ｓ１０３に例示する処理により選択された少なくとも１つの検索結果情報に基づいて、これらの検索結果情報を代表する代表情報（具体的には、例えば、これらの検索結果情報に対応する統計情報など）を生成する（Ｓ１０４）。代表情報生成部２８は、例えば、Ｓ１０３に例示する処理により選択された少なくとも１つの検索結果情報それぞれに含まれる文字列に対して形態素解析処理を実行して、診断名を抽出する。ここで、代表情報生成部２８は、１つの検索結果情報から複数の診断名を抽出してもよい。そして、代表情報生成部２８は、例えば、抽出した診断名について、各診断名について抽出された数とともに示されている、円グラフやヒストグラムなどの代表情報を生成する。

そして、代表情報出力部３０が、Ｓ１０４に例示する処理で生成された代表情報（例えば、上述の各診断名について抽出された数の一覧表や、上述の円グラフやヒストグラムの画像など）を出力する（Ｓ１０５）。代表情報出力部３０は、検索結果画面３２に代表情報を重畳出力してもよく、検索結果画面３２とは重畳しないように代表情報を出力してもよい。

上述の実施形態では、検索対象情報に含まれる画像の特徴（例えば、画像の類似度）に基づいて特定される検索結果情報に対応する検索結果対応画像３６が配置された検索結果画面３２が出力され、利用者により選択された検索結果情報に含まれる文字列に基づいて生成される代表情報が出力される。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、上述のＳ１０２に例示する処理において、検索結果情報出力部２４が、検索条件文字列と、検索対象情報に含まれる文字列と、の比較結果（例えば、文字列の類似度や、共通する単語が含まれる数の多さなど）に基づいて、検索対象情報のうちから少なくとも１つの検索結果情報を特定してもよい。そして、検索結果情報出力部２４が、類似度を軸とする１次元空間や、類似度を含む指標を軸とする２次元座標などに、検索結果対応画像３６や検索条件対応画像３４が配置された検索結果画面３２をディスプレイなどのＵＩ部１６に出力してもよい。

そして、上述のＳ１０４に例示する処理において、代表情報生成部２８が、選択された検索結果情報に含まれる画像それぞれについて、上述の方法により病変名の分布を示す診断結果ヒストグラム３８（病変ヒストグラム）を生成して、その病変ヒストグラムの平均的な状況などを示す代表情報を生成してもよい。また、代表情報生成部２８が、選択された検索結果情報に含まれる画像それぞれについて生成される病変ヒストグラムを少なくとも１つの群にクラスタリング（例えば、診断名の数よりも多い数の群にクラスタリング）して、検索条件画像が属する病変ヒストグラムの群を特定してもよい。そして、代表情報生成部２８が、その病変ヒストグラム、及び、その病変ヒストグラムに対応する診断名（例えば、検索結果情報に含まれる文字列から抽出される診断名）を含む代表情報を生成してもよい。また、この場合、代表情報生成部２８は、重み付けされた病変ヒストグラムを含む代表情報を生成してもよい。代表情報生成部２８は、具体的には、例えば、検索条件画像に対応する特徴ベクトルと、病変ヒストグラムの群ｉに属する検索結果情報に含まれる画像に対応する特徴ベクトル（例えば、特徴ベクトルの平均）との距離をｄ_ｉ（１≦ｉ≦ｋ：ｋはクラスタの個数）として、ｄｊ≦ｄｊ’（ｊ≦ｊ’のとき）が成立する場合に、群ｉに対応する病変ヒストグラムをｈ_ｉとした際の、ｈ＝Σｗ_ｉｈ_ｉ（Σはｉ（１≦ｉ≦ｋ）についての総和）（ただし、ｗ_ｉ＝ｅｘｐ（−ｄ_ｉ ^２）／Σｅｘｐ（−ｄ_ｊ ^２）（Σはｊ（１≦ｊ≦ｋ）についての総和））で示される病変ヒストグラムを含む代表情報を生成してもよい。そして、代表情報出力部３０が、代表情報（例えば、病変ヒストグラムの画像）をディスプレイなどのＵＩ部１６に出力してもよい。

この実施形態では、検索対象情報に含まれる文字列の特徴（例えば、類似度）に基づいて特定される検索結果情報に対応する検索結果対応画像３６が配置された検索結果画面３２が出力され、利用者により選択された検索結果情報に含まれる画像に基づいて生成される代表情報（例えば、病変ヒストグラム）が出力される。

なお、代表情報生成部２８は、例えば、経過情報（一定時間経過後の症状の進行度合い）や患者情報を含む代表情報を生成してもよい。

また、例えば、検索対象情報記憶部２０を、情報処理装置１０とインターネットなどの通信手段により接続された外部装置において実現した分散型情報処理システムに本実施形態を応用してもよい。

１０情報処理装置、１２制御部、１４記憶部、１６ユーザインタフェース（ＵＩ）部、２０検索対象情報記憶部、２２検索条件受付部、２４検索結果情報出力部、２６選択部、２８代表情報生成部、３０代表情報出力部、３２検索結果画面、３４検索条件対応画像、３６検索結果対応画像、３８診断結果ヒストグラム、４０特徴抽出対象画像、４２対象領域、４４肺画像、４６注目領域、４８円形画像、５０選択領域。

Claims

画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、
を含むことを特徴とする情報処理装置。
文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、
を含むことを特徴とする情報処理装置。
前記検索結果情報出力手段が、前記各検索結果情報を、当該各検索結果情報と受け付ける検索条件との比較結果に基づいて特定される類似又は乖離の程度に応じた態様で出力する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、
としてコンピュータを機能させることを特徴とするプログラム。
文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、
としてコンピュータを機能させることを特徴とするプログラム。