JP2014053791A - 画像処理装置、画像処理プログラムおよび画像撮影装置 - Google Patents

Abstract

【課題】 見やすい映像を表示させながら、外光成分の影響を低減させた画像を用いて被写体の認識を行うことができる画像処理装置、画像処理プログラムおよび画像撮影装置を提供する。
【解決手段】 画像処理装置１０は、カメラ２０で撮影された画像のうち、第１の照明の状態で撮影された被写体の画像と、第２の照明の状態で撮影された被写体の画像とを用いて、照明以外の外光成分の影響を低減させた認識用画像を生成する認識用画像生成部１４と、認識用画像を用いて、被写体の認識を行う画像認識部１６と、カメラ２０で撮影された画像のうち、第１の照明の状態で撮影された画像からなる表示用映像を表示させる表示制御部１８とを備えている。
【選択図】 図１

Description

本発明は、撮影された画像からなる映像を表示させ、かつ、撮影された画像中の被写体を認識するための画像認識を行う画像処理装置、画像処理プログラムおよび画像撮影装置に関するものである。

調剤薬局等においては、患者への薬剤の交付に先立って、薬剤の種類や投薬量等を確認する監査が行われる。近年では、この監査の時に、処方された薬剤を撮影し、その映像を所定の表示装置に出力して患者に見せながら、薬剤の説明が行われることがある。このような場合、いわゆる書画カメラによって薬剤を撮影すれば、簡易な操作により、薬剤師が手元を見ながら薬剤の説明を行うことができ、便宜である。なお、書画カメラは、通常、照明を備え、被写体に照明光を照射し、当該被写体を上から撮影する装置である。

また、薬剤の監査に関し、調剤済みの薬剤が、処方箋で指定された薬剤と一致するものであるか否かを確認するために、画像認識技術を用いて、撮影された調剤済みの薬剤画像と、予めデータベースに登録されている薬剤画像とを照合する技術が提案されている（例えば、特許文献１参照）。したがって、上述の書画カメラにより、患者に対し、交付する薬剤の映像を提示しながら、画像認識により薬剤の特定を行うことも想定される。

ところが、撮影された薬剤の画像について画像認識をも行う場合、書画カメラを用いると、撮影画像は当該書画カメラの照明光以外の外光の影響を受け、精度よく画像認識を行うことが困難となるおそれがある。このような場合、照明光がある状態で撮影された被写体の画像と、照明光がない状態で撮影された被写体の画像とを用いて、外光成分による影等の影響を除去する補正を行う（例えば、特許文献２参照）ことで、画像認識により適した画像を取得することができる。

特開２００５−１２２３６０号公報 特開２００１−２６８３２６号公報

しかしながら、かかる補正を行うために、撮影装置の照明の点灯／消灯を繰り返すと、表示装置上にリアルタイムで出力されている薬剤の映像の輝度が大きく切り替わり、患者にとって見づらい映像が提示されることになる。

本発明は、上記の問題に鑑みてなされたものであり、見やすい映像を表示させながら、外光成分の影響を低減させた画像を用いて被写体の認識を行うことができる画像処理装置、画像処理プログラムおよび画像撮影装置を提供することを目的とする。

本発明の画像処理装置は、第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成する認識用画像生成部と、前記認識用画像生成部により生成された前記認識用画像を用いて、前記被写体を認識する画像認識部と、前記第１の照明の状態で撮影された画像および前記第２の照明の状態で撮影された画像のうち、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させる表示制御部とを備えた構成を有している。

この構成によれば、撮影された画像のうち、第１の照明の状態で撮影された画像からなる表示用映像が表示されることになるので、輝度レベルが安定した、見やすい映像が提示されることになる。他方で、第１の照明の状態で撮影された画像と、第２の照明の状態で撮影された画像とを用いて、照明以外の外光成分の影響を低減させた認識用画像が生成され、この認識用画像に基づき画像認識が行われるので、精度よく被写体の認識を行うことができる。したがって、この構成によれば、見やすい映像を表示させながら、外光成分の影響を低減させた画像を用いて、精度よく被写体の識別を行うことができる。なお、照明の状態とは、典型的には、照明の点灯／消灯状態をいうが、点灯している場合における照度の強弱も含む。

また、本発明の画像処理装置は、第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成する認識用画像生成部と、前記認識用画像生成部により生成された前記認識用画像を用いて、前記被写体を認識する画像認識部と、前記認識用画像からなる表示用映像を表示させる表示制御部とを備えた構成を有している。

この構成によれば、第１の照明の状態で撮影された画像と、第２の照明の状態で撮影された画像とを用いて、照明以外の外光成分の影響を低減させた認識用画像が生成され、この認識用画像に基づき画像認識が行われるので、精度よく被写体の認識を行うことができる。他方で、この認識用画像からなる表示用映像が表示されることになるので、輝度レベルが安定した、見やすい映像が提示されることになる。したがって、この構成によれば、見やすい映像を表示させながら、外光成分の影響を低減させた画像を用いて、精度よく被写体の識別を行うことができる。

また、上記の画像処理装置は、前記照明の状態の制御と、前記被写体の画像の撮影との同期をとる同期制御部をさらに備えていてよい。

この構成によれば、第１の照明状態で撮影された画像と、第２の照明状態で撮影された画像とを確実に、かつ、容易に取得することができる。さらに、照明が第１の状態の時に撮影された画像であるか、第２の状態の時に撮影された画像であるかを簡単に識別することができる。

また、上記の画像処理装置は、撮影された画像に基づき、当該画像が撮影された時の照明の状態を判定する照明状態判定部をさらに備えていてよい。

この構成によれば、照明の制御とは独立して認識画像の生成や、表示用映像の出力を行うことができる。

また、上記画像処理装置は、前記被写体に関する情報を記憶する被写体情報記憶部をさらに備え、前記画像認識部は、前記被写体情報記憶部から、認識された被写体に関する情報を抽出し、前記表示制御部は、抽出された前記被写体に関する情報を、前記表示用映像とともに表示させるものであってよい。

この構成によれば、表示用映像とともに、その被写体に関する情報を表示させることができるので、見やすく、かつ、被写体についての理解が容易な映像を提示することができる。

また、本発明のプログラムは、コンピュータに、第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成するステップと、生成された前記認識用画像を用いて、前記被写体を認識するステップと、前記第１の照明の状態で撮影された画像および前記第２の照明の状態で撮影された画像のうち、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させるステップとを実行させる。

本発明の画像撮影装置は、被写体を載置する撮影台と、前記撮影台に載置された被写体の画像を撮影するカメラと、前記撮影台に載置された被写体に光を照射する照明と、第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成する認識用画像生成部と、前記認識用画像生成部により生成された前記認識用画像を用いて、前記被写体を認識する画像認識部と、前記第１の照明の状態で撮影された画像および前記第２の照明の状態で撮影された画像のうち、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させる表示制御部とを備えたを備えた構成を有している。

この構成によれば、カメラにより撮影された画像のうち、第１の照明の状態で撮影された画像からなる表示用映像が表示されることになるので、輝度レベルが安定した、見やすい映像が提示されることになる。他方で、第１の照明の状態で撮影された画像と、第２の照明で撮影された画像とを用いて、照明以外の外光成分の影響を低減させた認識用画像が生成され、この認識用画像に基づき画像認識が行われるので、精度よく被写体の認識を行うことができる。したがって、この構成によれば、見やすい映像を表示させながら、外光成分の影響を低減させた画像を用いて、精度よく被写体の認識を行うことができる。

また、上記画像撮影装置において、前記カメラは、前記撮影台の上方向から前記被写体を撮影し、前記照明は、前記撮影台の上方向に離隔され、かつ、点灯時における前記撮影台からの反射光が、前記カメラの画角に入らない位置に配置されたものであってよい。

この構成によれば、撮影された画像に対する、照明光の撮影台からの反射光の影響を防止することができ、撮影画像から生成された認識用画像を用いて、精度よく画像認識を行うことができる。

また、上記画像撮影装置は、前記カメラを複数備え、前記複数のカメラには、前記撮影台の上方向から前記被写体を撮影する位置に設けられた第１のカメラと、前記撮影台の下方向から前記被写体を撮影する位置に設けられた第２のカメラとが含まれるものであってよい。

この構成によれば、被写体を撮影台の上からも下からも撮影することができるので、被写体を上下いずれから撮影するかにより取得される画像が大きく異なる場合でも、精度よく画像認識を行うことができる。

また、上記の画像撮影装置は、前記照明を複数備え、前記複数の照明は、前記撮影台の上方向に離隔され、かつ、点灯時における前記撮影台からの反射光が、前記第１のカメラの画角に入らない位置に配置された照明と、前記撮影台の下方向であり、かつ、点灯時における前記撮影台からの反射光が、前記第２のカメラの画角に入らない位置に配置された照明とを含むものであってよい。

この構成によれば、撮影された画像に対する、照明光の撮影台からの反射光の影響を防止することができ、撮影画像から生成された認識用画像を用いて、精度よく画像認識を行うことができる。

また、上記の画像処理装置において、前記表示制御部は、前記画像認識部が、前記第１のカメラが撮影した画像から生成された前記認識用画像に基づき前記被写体を認識できた場合に、前記第１のカメラにより、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させ、前記第１のカメラが撮影した画像から生成された前記認識用画像に基づき前記被写体を認識できなかった場合に、前記第２のカメラにより、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させるものであってよい。

この構成によれば、上から撮影した画像に基づき画像認識を行った結果、それができた場合に上から撮影した画像からなる表示用映像を表示させ、できなかった場合に下から撮影した画像からなる表示用映像を表示させるので、例えば、表側から撮影するか、裏側から撮影するかで印象が大きく異なる被写体を撮影する場合も、映像を見る者にとって、より分かりやすい方の映像を提示することができる。

本発明によれば、第１の照明の状態で撮影された画像と、第２の照明の状態で撮影された画像とを用いて、照明以外の外光成分の影響を低減させた認識用画像が生成され、この認識用画像に基づき、被写体の認識が行われるとともに、第１の照明の状態で撮影された画像からなる表示用映像を表示させるので、見やすい映像を表示させながら、精度よく被写体の認識を行うことができる。

本発明の第１の実施の形態における画像処理装置および画像撮影装置の構成を示すブロック図 本発明の第１の実施の形態における薬剤情報の一例を示す図 本発明の第１の実施の形態における画像撮影装置の正面図 本発明の第１の実施の形態における画像撮影装置の撮影台に対する照明部の配置を示す平面図 本発明の第１の実施の形態における画像撮影装置のカメラに対する照明部の配置を説明する図 本発明の第１の実施の形態における画像処理装置の動作フロー図 本発明の第１の実施の形態における、画像撮影装置の薬局における使用例を説明する図 本発明の第１の実施の形態における、画像処理装置を利用した服用指示の表示の一例を示す図 本発明の第２の実施の形態における画像処理装置、画像撮影装置の構成を示すブロック図 本発明の第３の実施の形態における、薬剤チェックシステムの構成を示すブロック図 （ａ）薬剤チェックシステムを利用したアプリケーションの一例を説明するための図 （ｂ）薬剤チェックシステムを利用したアプリケーションの一例を説明するための図 服用履歴記憶部に記憶される情報の一例を示す図 薬剤チェックシステムにおける服用状況確認処理を説明するフロー図 薬剤チェックシステムにおいて、撮影された薬剤の画像の一例を示す図

以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明は、画像処理装置および画像撮影装置に関するが、以下の実施の形態では、薬剤の撮影を行い、撮影画像から薬剤を識別する場合について説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の画像撮影装置の構成を示す図である。画像撮影装置１００は、画像処理装置１０、カメラ２０および照明部３０を備え、画像処理装置１０は、同期制御部１１、撮影画像取得部１２、照明情報付加部１３、認識用画像生成部１４、薬剤情報記憶部１５、画像認識部１６、表示用映像生成部１７、表示制御部１８を備える。照明部３０は同期制御部１１に、カメラ２０は同期制御部１１と撮影画像取得部１２とに、それぞれ接続されている。また、画像撮影装置１００は、画像処理装置１０に接続された表示装置２００とともに、画像表示システムを構成する。なお、本実施の形態の画像撮影装置１００は、後述のように、カメラ２０を２つ備えている。

同期制御部１１は、照明部３０の点灯／消灯と、カメラ２０の撮影との同期をとる。同期制御部１１は、照明部３０の点灯／消灯状態とカメラ２０の撮影のタイミングに関する情報を照明情報付加部１３に出力する。撮影画像取得部１２は、カメラ２０により撮影されたフレーム画像を取得し、照明情報付加部１３に出力する。照明情報付加部１３は、同期制御部１１から出力された情報に基づいて、取得したフレーム画像に照明情報を付加する。この照明情報は、当該フレーム画像が、照明部３０が点灯している時に撮影されたものであるか、消灯している時に撮影されたものであるかを示すメタデータである。このようにメタデータを付加されたフレーム画像は、認識用画像生成部１４と、表示用映像生成部１７に出力される。

表示用映像生成部１７は、フレーム画像に付加されたメタデータを参照して、フレーム画像のうち、照明部３０が消灯している時に撮影されたフレーム画像を破棄し、照明部３０が点灯している時に撮影されたフレーム画像だけを用いて、表示装置に出力されるべき表示用映像を生成する。生成された映像は、表示制御部１８に出力される。一方、認識用画像生成部１４は、フレーム画像に付加されたメタデータを参照して、照明部３０が点灯している時に撮影されたフレーム画像と、消灯している時に撮影されたフレーム画像とを抽出し、それらの差分を取って、外光の影響を除去した認識用画像を生成する。生成された認識用画像は、画像認識部１６に出力される。

薬剤情報記憶部１５は、薬剤情報として、薬剤の名称、服用方法、用量等の情報を記憶する。画像認識部１６は、認識用画像生成部１４から出力された認識用画像に対して、画像認識を行い、薬剤情報記憶部１５に記憶される薬剤情報に合致する薬剤を特定する。画像認識部１６による薬剤の特定は、例えば、認識用画像から、片仮名を含む最も大きいフォントサイズを有する文字列を抽出して、薬剤の名称に基づき行われる。

図２は、薬剤情報記憶部１５に記憶されるデータの一例を示す図である。図２に示すように、本実施の形態においては、薬剤情報として、薬剤名称、服用用法、用量、注意事項、最小単位（１錠、１カプセル、１袋等）の画像が記憶されている。したがって、薬剤が特定されると、薬剤情報記憶部１５に記憶される最小単位の画像に基づき、撮影された薬剤画像において、どの部分が１回分の用量であるかも特定することが可能である。

表示制御部１８は、表示用映像生成部１７から出力される映像及び画像認識部１６により特定された薬剤の情報を表示装置２００に出力する。

照明部３０は、ＬＥＤなどの発光体であり、同期制御部１１によって点灯されると、カメラ２０が撮影する被写体に光を照射する。カメラ２０は、被写体である薬剤を撮影して連続的なフレーム画像を生成し、撮影画像取得部１２に出力する。

上述した画像処理装置１０の各機能は、ＣＰＵが、ＲＯＭ等に書き込まれたプログラムに従って演算処理を実行することにより実現されてもよい。このようなプログラムも、本発明の範囲に含まれる。

次に、本実施の形態における画像撮影装置１００の外観を、図面を用いて説明する。図３は、本実施の形態における画像撮影装置１００の正面図である。図３に示すように、画像撮影装置１００はカメラ２０、照明部３０に加え、撮影台４０を備える。また、照明部３０は、拡散板３１を備える。撮影台４０は、カメラ２０により撮影を行う薬剤を載置するためのものである。後述するように、画像撮影装置１００は、撮影台４０に載置される薬剤を、上下両方向から撮影するため、撮影台４０は、ガラスやアクリル等の透明板材を素材とすることが好ましい。また、拡散板３１は、照明部３０からの光を拡散するためのものであり、例えば、ポリカーボネートやポリプロピレンなどの光拡散樹脂等を素材とする。なお、画像撮影装置１００には、表示装置２００が接続されている。

実際に画像撮影装置１００が使用されるとき、被写体である薬剤は、常に、撮影台４０上に、画像認識に適した面を上にして載置されるとは限らない。薬剤によっては、表側／裏側のいずれの方向から撮影されるかによって薬剤名称が映らない場合があり得る。また、薬剤の映像を見るユーザにとっても、表側（または裏側）から撮影した画像を提示する方がより分かりやすい場合がある。そこで、図３に示すように、本実施の形態においては、撮影台４０に対して、２つのカメラ２０ａ、２０ｂが略上下対称に配置されている。これに伴い、照明部３０も、３０ａ、３０ｂが、それぞれ、撮影台４０の上側と下側とに設けられている。

図４は、画像撮影装置１００の平面図（カメラ２０を除く）である。図４に示すように、撮影台４０の４つの辺に沿って、複数のＬＥＤがアレイ状に配置され、照明部３０ａを構成している。ＬＥＤアレイの前方、すなわち、撮影台４０の中心方向には、拡散板３１が配置されている。照明部３０ｂも同様である。

本実施の形態の画像撮影装置１００においては、照明部３０は、図３に示すように、撮影台４０の付近に、撮影台４０と略平行になるように配置される。これは、照明部３０を配置する位置によっては、撮影画像に撮影台４０による反射光が映り込んでしまい、表示装置に表示される映像が見づらくなったり、画像認識が困難となったりするおそれがあるためである。図５は、このような撮影台４０による反射光の影響を考慮した照明部３０の配置位置を説明する図である。照明部３０ａ、３０ｂは、その反射光がカメラ２０ａ、２０ｂの画角に入らない位置に配置されるのが好ましい。もっとも、載置台４０上に載置された薬剤の真横付近からでは、薬剤に光を十分照射することができない。そこで、照明部３０ａについては、薬剤の厚さを考慮に入れ、載置台４０の上方に離隔されている。具体的には、２０ｍｍ前後の高さ位置に配置されるのが好ましい。結局、照明部３０ａ、３０ｂは、図５の斜線で示す範囲に配置されるのが好ましいことになる。

次に、本実施の形態における画像処理装置の動作を、図６のフロー図を用いて説明する。

まず、撮影画像取得部１２は、カメラ２０ａ、２０ｂから、被写体である薬剤の連続的なフレーム画像を取得する（ステップＳ６１）。次に、照明情報付加部１３は、取得されたフレーム画像に、照明部３０の状態に関する情報を付加する（ステップＳ６２）。続いて、認識用画像生成部１４は、カメラ２０ａ、２０ｂにより撮影された画像から、認識用画像、すなわち、外光成分の影響を除去した画像を生成する（ステップＳ６３）。この際に、認識用画像生成部１４は、照明情報付加部１３にて各フレーム画像に付加された照明情報を参照する。次いで、画像認識部１６は、ステップＳ６３生成された、カメラ２０ａに由来する認識用画像、カメラ２０ｂに由来する認識用画像のそれぞれについて、画像認識を行う（ステップＳ６４）。画像認識部１６は、さらに、カメラ２０ａに由来する認識用画像、２０ｂに由来する認識用画像のそれぞれから抽出された文字列と、薬剤情報記憶部１５に記憶される情報と照合することにより、撮影された薬剤の名称および薬剤の個数（最小単位の数）を特定する（ステップＳ６５）。

そして、画像認識部１６は、ステップＳ６５において、カメラ２０ａに由来する認識用画像から、撮影された薬剤の名称および薬剤の個数が特定されたか否かを判断する（ステップＳ６６）。薬剤によっては、裏側から撮影すると、名称が特定できないか、または、名称が特定できても、個数が識別できないことがあり得る。そこで、カメラ２０ａに由来する認識用画像から、撮影された薬剤の名称または薬剤の個数が特定できなかった場合（ステップＳ６６にてＮＯ）には、画像認識部１６は、カメラ２０ａが被写体である薬剤を裏側から撮影したものと判断し、カメラ２０ｂを指定する情報とともに、カメラ２０ｂに由来する認識用画像による認識結果を表示制御部１８に出力する。この場合には、表示制御部１８は、表側から撮影した映像を表示させるため、カメラ２０ｂにより撮影されたフレーム画像のうち、照明部３０が「点灯」であることを示すメタデータを有するフレーム画像から、表示用映像を生成する（ステップＳ６７）。

一方、カメラ２０ａに由来する認識用画像から薬剤の名称および個数が特定された場合（ステップＳ６６にてＹＥＳ）には、画像認識部１６は、カメラ２０ａは、薬剤を表側から撮影したものと判断し、カメラ２０ａを指定する情報とともに、カメラ２０ａに由来する認識用画像による認識結果を表示制御部１８に出力する。表示制御部１８は、カメラ２０ａにより撮影されたフレーム画像のうち、照明部３０の状態が「点灯」であることを示すデータを有するフレーム画像からなる表示用映像を生成（ステップＳ６８）する。このように、表側から撮影された薬剤の映像が表示用映像となるので、患者にとって分かりやすい映像を提示することができる。そして、表示制御部１８は、ステップＳ６５で特定された薬剤名称および個数、およびステップＳ６７またはステップＳ６８で生成された表示用映像を表示装置２００に出力する（ステップＳ６９）。

本発明の第１の実施の形態における画像撮影装置１００の薬局における実際の使用例を図７に示す。図７に示すように、薬剤師は、画像撮影装置１００の載置台４０の上に薬剤を載置し、識別された薬剤の情報を確認するとともに、患者に対して薬剤の説明を行う。画像撮影装置１００の照明部３０が点灯の時のフレーム画像から生成された薬剤の映像は、患者の前の表示装置２００に出力表示される。

次に、本実施の形態の画像処理装置１０を利用した、薬剤の服用指示の表示および服用指示書の作成について説明する。

上述のように、本実施の形態の画像処理装置１０は、撮影された画像から薬剤名称を特定し、特定された薬剤に関する用法、用量、注意事項等の情報を抽出することが可能である。また、撮影された画像から、薬剤が何単位含まれているか特定することが可能である。そこで、図７のように、表示装置２００に薬剤の映像を表示させた状態から、さらに、図８に示すような服用指示を、薬剤映像とともに表示させることが可能となる。

図８では、服用指示事項は、各々の薬剤画像に対応づけられて表示されている。服用指示には、薬剤名称と、用法、用量、注意事項、処方日数が含まれる。このうち、薬剤名称、用法、用量、注意事項については、薬剤情報記憶部１５に記憶されている。処方日数は、画像認識の際に、撮影された薬剤の個数（単位数）が特定されるので、これを用量で割って算出する。また、１回分の服用量を、薬剤の画像上で枠を重畳表示することで強調している。

このように、本発明の画像処理装置を利用すれば、実際の薬剤映像と、服用指示とを対応付けて表示することができ、患者に対し、分かりやすく薬剤の説明を行うことができる。さらに、画像処理装置１０に、プリンタを接続すれば、図８のような服用指示書を簡単に作成することができる。従来の服用説明書では、薬剤のパッケージの変更等により、実際に処方される薬剤と、服用説明書中の画像とが一致しないことがあった。本実施の形態の画像処理装置を利用することにより、実際に処方される薬剤の画像が用いられた服用説明書を作成することができるので、薬剤の交付から時間が経っても、患者は服用説明書に基づき、容易に服用指示を確認することができる。

以上のように、本実施の形態における画像処理装置１０およびそれを含む画像撮影装置１００によれば、カメラ２０から取得したフレーム画像に、照明部３０が点灯している状態であるか、消灯している状態であるかを示すデータが付加される。そして、照明部３０が点灯している状態であることを示すデータが付加されたフレーム画像と、照明部３０が消灯している状態であることを示すデータが付加されたフレーム画像とを用いて、外光成分の影響を低減ないし除去した認識用画像を生成し、撮影された薬剤の特定を行う。また、照明部３０が点灯している状態であることを示すデータが付加されたフレーム画像のみを用いて、表示用映像を生成する。したがって、画像認識を行いつつ、薬剤の映像を表示出力する場合においても、精度のよい画像認識を実現しながら、見やすい映像を表示させることができる。

（第２の実施の形態）
図９は、本発明の第２の実施の形態における画像処理装置１０及び画像撮影装置１００の構成を示すブロック図である。図９に示すように、第２の実施の形態における画像撮影装置１００は、同期制御部１１を備えているが、第１の実施の形態における画像処理装置と異なり、画像処理装置１０は、同期制御部１１を備えていない。すなわち、第２の実施の形態においても、照明部３０の点灯／消灯と、カメラ２０の撮影の同期はとられるが、同期制御部は、その情報を照明情報付加部１３に出力しない。代わりに、第２の実施の形態における画像処理装置１０は、照明状態判定部１９を備える。それ以外の構成は、第１の実施の形態と同じである。

画像取得部１２は、カメラ２０から取得したフレーム画像を、照明状態判定部１９に出力する。照明状態判定部１９は、取得したフレーム画像の各々が、照明部３０が点灯している時に撮影された画像であるか、消灯している時に撮影された画像であるか、を判定する。このような照明の状態の判定は、例えば、各フレーム画像の輝度ヒストグラムを解析することにより行うことができる。照明状態判定部１９は、判定結果を示すデータ、すなわち、照明部３０が点灯しているか、消灯しているか、を示すデータを照明情報付加部１３に出力する。

照明情報付加部１３は、照明状態判定部１９による判定結果を、取得した画像に付加する。表示用映像生成部１７及び認識用画像生成部１４の動作、すなわち、照明の状態を示すデータを付加した各フレーム画像の処理は、第１の実施の形態と同様である。

このように、第２の実施の形態における画像処理装置１０によれば、カメラ２０から取得したフレーム画像に基づいて、各フレーム画像が照明部３０が点灯している状態、消灯している状態のいずれの状態で撮影されたかを判定し、それぞれの照明の状態を示すデータが付加される。そして、照明部３０が点灯している状態であることを示すデータが付加されたフレーム画像と、照明部３０が消灯している状態であることを示すデータが付加されたフレーム画像とを用いて、外光成分の影響を低減ないし除去した認識用画像を生成し、撮影された薬剤の特定を行う。また、照明部３０が点灯している状態であることを示すデータが付加されたフレーム画像のみを用いて、表示用映像を生成する。したがって、照明部３０の制御を、画像処理装置１０における処理と独立して行うことができ、この場合にも、精度のよい画像認識を実現しながら、見やすい映像を表示させることができる。

（第３の実施の形態）
次に、薬剤の交付を受けた患者用の薬剤チェックシステムを説明する。このシステムは、患者が、服薬指示及び指示通りに正しく服用しているか否かを簡単に確認することを可能にするシステムである。

図１０は、本システムの構成を示すブロック図である。図１０に示すように、このシステムは、スマートフォン等、カメラを備える携帯電話５０及び薬剤情報提供サーバ６０を含む。携帯電話５０は、カメラ５１、画像取得部５２、画像認識部５３、通信部５４、薬剤情報取得部５５、服用履歴記憶部５６、服用状況判定部５７、表示制御部５８を備える。一方、薬剤情報提供サーバ６０は、通信部６１、薬剤情報検索部６２、薬剤情報記憶部６３を備える。

カメラ５１は、通常のカメラモジュールであり、携帯電話５０のインターフェースを介した撮影指示に応じて、画像を撮影する。画像取得部５２は、カメラ５１により撮影された画像を取得し、画像認識部５３に出力する。画像認識部５３は、画像から薬剤名称を示す文字列を抽出し、通信部５４に出力する。通信部５４は、撮影画像から抽出された薬剤名称を薬剤情報提供サーバ６０に送信し、薬剤情報提供サーバ６０から送信された薬剤情報を受信する。薬剤情報取得部５５は、通信部５４が受信した薬剤情報を取得し、画像認識部５３、服用履歴記憶部５６、表示制御部５８に出力する。

画像認識部５３は、取得した薬剤情報に基づき、撮影された画像中、１回分の分量に対応する部分を特定し、さらに、何日分の薬剤が処方されたかを特定し、表示制御部５８に出力する。服用履歴記憶部５６は、取得された薬剤情報と、画像取得部５２から取得した薬剤の画像とを対応付けて記憶する。服用状況判定部５７は、服用履歴記憶部５６に記憶される薬剤の画像と、新たに撮影された薬剤の画像とに基づき、患者の服用状況を判定する。表示制御部５８は、撮影された薬剤画像に取得した薬剤情報を対応付けて表示させ、また、服用状況の判定結果等を表示させる。

通信部６１は、携帯電話５０から送信された薬剤の名称データを受信し、薬剤情報を携帯電話５０に送信する。薬剤情報検索部６２は、薬剤情報記憶部６３に記憶される薬剤情報の中から、通信部６１が受信した薬剤名称に対応する薬剤情報を抽出する。薬剤情報記憶部６３は、上述の薬剤情報記憶部１５と同様に、薬剤の名称、用法、用量、注意事項、最小単位の画像などの薬剤情報を含むものであってよい。

次に、本システムを利用したアプリケーションの一例について、図面を参照しながら説明する。薬剤とともに交付される薬剤の説明書には、その薬剤の画像が含まれていなかったり、実物とは異なる画像であったりするなど、患者にとって分かりにくい場合がある。このようなとき、患者は、携帯電話５０において、薬剤チェックシステムを利用するためのアプリケーションを起動する。

アプリケーションを起動すると、例えば、図１１（ａ）に示すように、患者に薬剤の撮影を促すメッセージが画面上に表示される。患者が携帯電話５０の操作により、カメラ５１で服用指示を確認したい薬剤を撮影すると、その画像から薬剤名称が抽出される。抽出された薬剤名称は薬剤情報提供サーバ６０に送信される。薬剤情報提供サーバ６０は、受信した薬剤名称に対応する薬剤情報を携帯電話５０に送信する。携帯電話５０は、受信した薬剤情報をもとに、撮影された薬剤画像に対して画像認識を行い、図１１（ｂ）に示すように、カメラ５１で撮影した薬剤の画像に、受信した薬剤情報を対応付けて表示する。

携帯電話５０は、さらに、カメラ５１で撮影した薬剤の画像を、服用履歴記憶部５６に記憶する。図１２は、服用履歴記憶部５６に記憶される情報の一例を示す図である。図１２に示すように、薬剤の画像は、その撮影日時、及び、取得した薬剤情報と対応付けられて服用履歴記憶部５６に記憶される。一旦服用履歴記憶部５６に薬剤情報が記憶されれば、薬剤情報提供サーバ６０に接続しなくても、服用指示を携帯電話５０上で確認することができる。

次に、本アプリケーションにおける服用状況確認の処理について、図１３のフロー図及び図１４を参照しながら説明する。

まず、カメラ５１で撮影された、服用後の薬剤の画像を取得する（ステップＳ１３１）。次に、ステップＳ１３１で撮影された薬剤の画像から薬剤の名称を含む文字列を抽出し、薬剤の名称を特定する（ステップＳ１３２）。薬剤の名称が特定できたら、服用履歴情報記憶部５６に、その薬剤名称に対応する薬剤情報が記憶されているか否かを判定する（ステップＳ１３３）。服用履歴記憶部５６に、対応する薬剤情報が記憶されていない場合（ステップＳ１３３にてＮＯ）には、薬剤情報提供サーバ６０から、対応する薬剤情報を取得して、服用履歴情報記憶部５６に記憶し（ステップＳ１３４）、ステップＳ１３７に進む。一方、対応する薬剤情報が記憶されている場合（ステップＳ１３３にてＹＥＳ）には、服用状況の判定を行う（ステップＳ１３５）。

服用状況の判定は、ステップＳ１３１で撮影された画像と、服用履歴記憶部５６に記憶される服用履歴画像のうち、最も新しいものとの比較により行われる。例えば、図１２の例のような服用履歴画像が記憶されており、ステップＳ１３１で、図１４に示すような画像が撮影された場合、薬剤ｘｘｘは、２カプセル減っている。このことは、服用履歴記憶部５６に記憶される一単位の画像に基づき、認識できる。また、図１４に示す画像が、２０１２年８月３１日２１時１０分に撮影された場合、服用履歴画像の撮影時刻である２０１２年８月３１日７時５５分以降、２１時１０分までの間に、薬剤ｘｘｘが２カプセル減少したことになる。これは、薬剤ｘｘｘの服用方法、用量に照らせば、妥当な減少量であるということができる。このような場合、薬剤ｘｘｘは、正しく服用されたと判定される。

これに対して、図１４に示す画像が、例えば、３カプセル分の減少を示すものである場合、薬剤ｘｘｘの用量に即した減少量とはいえない。このような場合、薬剤ｘｘｘは、正しく服用されていないと判定される。そして、ステップＳ１３５の判定結果に関するメッセージが表示される（ステップＳ１３６）。判定対象の薬剤が正しく服用されている場合には、例えば、「薬剤ｘｘｘは、正しく服用されています。残りあと〇日服用してください。」などといったメッセージが表示される。判定対象の薬剤が正しく服用されていない場合には、例えば、「〇カプセル飲み忘れがあるようです。服用指示を確認してください。」などのメッセージが表示される。最後に、ステップＳ１３１で撮影された薬剤画像が服用履歴記憶部５６に記憶される（ステップＳ１３７）。

このように、本システムを利用したアプリケーションによれば、薬剤の交付を受けた後も、患者自らが簡易な操作により、服用指示を確認することができる。その際、服用指示は、その場で撮影した画像と対応付けて表示されるため、分かりやすい服用指示を患者に提供することができる。また、交付された薬剤を正しく服用できているか、患者自らが簡易な操作により確認することができる。

なお、画像認識部５３や、服用履歴記憶部５６、服用状況判定部５７は、携帯電話５０の代わりに薬剤情報提供サーバ６０が備えていてもよく、この場合、携帯電話５０は、撮影された薬剤画像を薬剤情報提供サーバ６０に送信すればよい。

（本発明の画像処理装置のその他の変形例）
本発明の画像処理装置１０について、上記の実施の形態では、照明部３０が点灯している時のフレーム画像を用いて表示用映像が生成されたが、表示用映像は、照明部３０が消灯している時のフレーム画像を用いて生成されてもよいし、認識用画像生成部１４にて生成された認識画像を用いて生成されてもよい。また、照明情報は照明部３０の点灯／消灯の２つの場合に限られず、照明部３０の照度に応じて３つ以上であってもよい。

また、上記の実施の形態では、同期制御部１１が、照明部３０の点灯／消灯と、カメラ２０の撮像の同期をとったが、同期制御部１１は備えなくてもよい。照明状態の制御と撮影との同期をとることにより、照明が点灯された状態で撮影された画像と、照明が消灯された状態で撮影された画像とを確実に取得することができるが、フレームレートと照明状態の制御のタイミングとの関係により、同期制御部１１を備えない場合に同様に画像を取得できるとは限らない。即ち、一般的には、照明部３０の点灯／消灯の周期とカメラ２０のフレームレート、およびそれらのタイミングは必ずしも一致しなくなるので、各フレーム画像の露光期間中に点灯および消灯の状態が混在することになり、複数段階の照明強度の画像が得られることが考えられる。

よって、認識用画像生成部１４は、撮影された複数のフレーム画像から、照明強度が（最も）強い状態で撮影された画像と、照明強度が（最も）弱い状態で撮影された画像を抽出して、認識用画像を生成する。また、表示用映像生成部１７は、所定の照明強度以上の画像または所定の照明強度範囲内の画像を抽出して表示用映像を生成する。

また、上記の実施の形態では、薬剤の識別を、認識用画像から薬剤名称を含む文字列を抽出することにより行ったが、認識用画像の特徴量と、薬剤情報記憶部１５に記憶される画像の特徴量との比較により薬剤の識別を行ってもよい。また、上記の実施の形態では、外光成分の影響を低減させた認識用画像の生成を、照明部３０が点灯している時の画像と消灯している時の画像の差分を取って行ったが、これ以外の外光成分の影響を低減する手法を用いて認識用画像を生成してもよい。

上記の実施の形態では、画像撮影装置１００がカメラ２０を２つ備える場合について説明したが、カメラ２０は１つのみであってもよく、あるいは、３つ以上であってもよい。また、上記の実施の形態では、画像認識を行い、カメラ２０ａにより撮影された画像をもとに生成された認識用画像を用いて、薬剤名称、個数のいずれかが特定できなかった場合に（ステップＳ６６にてＮＯ）、カメラ２０ｂにより撮影された画像をもとに表示用映像を生成したが、さらに、カメラ２０ｂにより撮影された認識用画像をもとにした画像認識で薬剤名称や個数が特定されるかを判断し、いずれも特定された場合に、カメラ２０ｂにより撮影された画像をもとに表示用映像を生成するようにしてもよい。また、フレーム画像に照明情報を付加した後、まずはカメラ２０ａ（又はカメラ２０ｂ）により撮影された画像をもとに表示用映像を生成して表示出力し、その後に認識用画像による画像認識を行って、薬剤名称や個数が特定されなかった場合に、カメラ２０ｂ（又はカメラ２０ａ）により撮影された画像をもとに表示用映像を生成し、表示映像をこれに切り替え、かつカメラ２０ｂにて撮影された画像に由来する認識用画像を用いて、画像認識および薬剤名称や個数の特定を行なってもよい。さらに、画像認識の結果を用いずに、手動により表示用映像を選択できるようにしてもよい。

また、上記の実施の形態では、照明部３０を２つ備える場合について説明したが、照明部３０も、撮影台４０の上側または下側いずれか一方のみに備えていてよい。さらに、照明部３０は、上記の実施の形態で説明した範囲以外の位置に設けられてよい。

さらに、上記の実施の形態では、画像撮影装置１００と、それに接続された表示装置２００とで画像表示システムを構成したが、画像撮影装置１００が表示装置を備えていてもよい。

本発明の画像処理装置、画像認識装置について、上記の実施の形態では、薬剤を被写体とし、撮影した薬剤を識別する場合について説明したが、他の被写体を撮影した画像から表示用映像と認識用画像を生成し、被写体の識別を行ってもよい。

本発明の画像処理装置は、見やすい映像を表示させながら、外光成分の影響を低減させた画像を用いて精度よく被写体の認識を行うことができるという効果を有し、撮影された画像からなる映像を表示させ、かつ、撮影された画像中の被写体を認識する画像処理装置等として有用である。

１００ 画像撮影装置
１０ 画像処理装置
１１ 同期制御部
１２ 撮影画像取得部
１３ 照明情報付加部
１４ 認識用画像生成部
１５ 薬剤情報記憶部
１６ 画像認識部
１７ 表示用映像生成部
１８ 表示制御部
１９ 照明状態判定部
２０ カメラ
３０ 照明部
４０ 撮影台
５０ 携帯電話
５１ カメラ
５２ 画像取得部
５３ 画像認識部
５４ 通信部
５５ 薬剤情報取得部
５６ 服用履歴記憶部
５７ 服用状況判定部
５８ 表示制御部
６０ 薬剤情報提供サーバ
６１ 通信部
６２ 薬剤情報検索部
６３ 薬剤情報記憶部
２００ 表示装置

Claims (11)

1. 第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成する認識用画像生成部と、
   前記認識用画像生成部により生成された前記認識用画像を用いて、前記被写体を認識する画像認識部と、
   前記第１の照明の状態で撮影された画像および前記第２の照明の状態で撮影された画像のうち、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させる表示制御部と、
   を備えたことを特徴とする画像処理装置。
2. 第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成する認識用画像生成部と、
   前記認識用画像生成部により生成された前記認識用画像を用いて、前記被写体を認識する画像認識部と、
   前記認識用画像からなる表示用映像を表示させる表示制御部と、
   を備えたことを特徴とする画像処理装置。
3. 前記照明の状態の制御と、前記被写体の画像の撮影との同期をとる同期制御部をさらに備えたことを特徴とする請求項１または２に記載の画像処理装置。
4. 撮影された画像に基づき、当該画像が撮影された時の照明の状態を判定する照明状態判定部をさらに備えたことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記被写体に関する情報を記憶する被写体情報記憶部をさらに備え、
   前記画像認識部は、前記被写体情報記憶部から、認識された前記被写体に関する情報を抽出し、
   前記表示制御部は、抽出された前記被写体に関する情報を、前記表示用映像とともに表示させることを特徴とする請求項１ないし４のいずれか一項に記載の画像処理装置。
6. コンピュータに、
   第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成するステップと、
   生成された前記認識用画像を用いて、前記被写体を認識するステップと、
   前記第１の照明の状態で撮影された画像および前記第２の照明の状態で撮影された画像のうち、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させるステップと、
   を実行させるプログラム。
7. 被写体を載置する撮影台と、
   前記撮影台に載置された被写体の画像を撮影するカメラと、
   前記撮影台に載置された被写体に光を照射する照明と、
   第１の照明の状態で撮影された被写体の画像と、前記第１の照明の状態とは異なる第２の照明の状態で撮影された前記被写体の画像とを用いて、前記照明以外の外光成分の影響を低減させた認識用画像を生成する認識用画像生成部と、
   前記認識用画像生成部により生成された前記認識用画像を用いて、前記被写体を認識する画像認識部と、
   前記第１の照明の状態で撮影された画像および前記第２の照明の状態で撮影された画像のうち、前記第１の照明の状態で撮影された画像からなる表示用映像を表示させる表示制御部と、
   を備えたことを特徴とする画像撮影装置。
8. 前記カメラは、前記撮影台の上方向から前記被写体を撮影し、
   前記照明は、前記撮影台の上方向に離隔され、かつ、点灯時における前記撮影台からの反射光が、前記カメラの画角に入らない位置に配置されたことを特徴とする請求項７に記載の画像撮影装置。
9. 前記カメラを複数備え、
   前記複数のカメラには、前記撮影台の上方向から前記被写体を撮影する位置に設けられた第１のカメラと、前記撮影台の下方向から前記被写体を撮影する位置に設けられた第２のカメラとが含まれることを特徴とする請求項７に記載の画像撮影装置。
10. 前記照明を複数備え、
    前記複数の照明は、前記撮影台の上方向に離隔され、かつ、点灯時における前記撮影台からの反射光が、前記第１のカメラの画角に入らない位置に配置された照明と、前記撮影台の下方向であり、かつ、点灯時における前記撮影台からの反射光が、前記第２のカメラの画角に入らない位置に配置された照明とを含むことを特徴とする請求項９に記載の画像撮影装置。
11. 前記表示制御部は、前記画像認識部が、前記第１のカメラが撮影した画像から生成された前記認識用画像に基づき前記被写体を認識できた場合に、前記第１のカメラにより前記第１の照明の状態で撮影された画像からなる表示用映像を表示させ、前記第１のカメラが撮影した画像から生成された前記認識用画像に基づき前記被写体を認識できなかった場合に、前記第２のカメラにより前記第１の照明の状態で撮影された画像からなる表示用映像を表示させることを特徴とする請求項９または１０に記載の画像撮影装置。

Images