JP6088957B2 - 撮像装置およびオブジェクト認識スキャナ - Google Patents

Description

本発明の実施形態は、撮像装置およびオブジェクト認識スキャナに関する。

ＣＣＤ（charge coupled device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などを用いた撮像ユニットによって商品を撮像した画像からバーコードの抽出および解析またはオブジェクト認識によって商品を認識する商品認識装置が提案されている。

この種の商品認識装置においては、撮像ユニットを収容した筐体の内部に光源を備え、この光源が発した光によって商品を照明することがある。

このように構成された商品認識装置では、光源が発した光が筐体の内壁などにより反射して撮像ユニットに入射することがある。そしてこのような反射光の入射が生じると、商品についての画質の低下を来たし、認識精度が低下する恐れがある。特に、物体を認識するオブジェクト認識においては、商品の特徴の微妙な違いを見分けることが必要である場合もあり、商品を高画質に撮像できることが、認識精度の向上に有効である。

このような事情から、余計な光の入射を抑制し、商品を高画質に撮像できることが望まれていた。

特開２００２−１７６１９９号公報 特開２０１３−８９０８５号公報

本発明が解決しようとする課題は、余計な光の入射を抑制し、商品を高画質に撮像できる撮像装置およびオブジェクト認識スキャナを提供することである。

実施形態の撮像装置は、筐体、基板、発光デバイス、撮像デバイスおよび遮光部材を備える。筐体は、一面に撮像窓を形成している。基板は、筐体の内部に配置され、撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施される。発光デバイスは、基板に取り付けられ、筐体の外部へと撮像窓を通して照明光を放射する。撮像デバイスは、照明光によって照明された物体を撮像窓を通して撮像する。遮光部材は、筐体の内部に設けられ、撮像を妨げることなく、かつ筐体の内部の各所における反射光の少なくとも一部が前記撮像窓を通ることなく撮像デバイスに入射することを遮る。

一実施形態に係る商品認識装置を含んだ店舗システムの外観図。 図１中の撮像部の構造を一部破断して示す図。 図２中の遮光板を図２中の左側より見た様子を示す平面図。 商品認識装置１００における電気的要素のブロック図。

以下、撮像装置およびその撮像装置を備えたオブジェクト認識スキャナの実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケット等の店舗に設けられた会計カウンタに立設される縦型の商品認識装置に適用した場合である。

図１は本実施形態に係る商品認識装置を含んだ店舗システムの外観図である。この店舗システムは、商品認識装置１００およびＰＯＳ（point of sales）端末２００を含む。商品認識装置１００は、会計カウンタ３００の上に取り付けられる。ＰＯＳ端末２００は、レジ台４００に載置されたドロワ５００の上に設置される。商品認識装置１００とＰＯＳ端末２００とは、図示しない通信ケーブルにより電気的に接続される。ドロワ５００に代えて、自動釣銭機が設置される場合もある。

商品認識装置１００は、ハウジング１０１、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４および撮像部１０５を含む。

ハウジング１０１は、平型の箱状をなし、会計カウンタ３００の上に立つ。ハウジング１０１は、上端においてキーボード１０２、タッチパネル１０３、客用ディスプレイ１０４を支持し、内部において撮像部１０５を支持する。ハウジング１０１は、撮像部１０５に対向して読取窓１０１ａを有する。撮像部１０５は、読取窓１０１ａを介して、読取窓１０１ａの前の撮像領域に位置する物体（オブジェクト）を撮像する。

ＰＯＳ端末２００は、ハウジング２０１、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５を含む。

ハウジング２０１は、キーボード２０２をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ２０３および客用ディスプレイ２０４を外部に位置する状態で支持し、プリンタ２０５を内部にて支持する。

会計カウンタ３００は、細長い天板３００ａを含む。会計カウンタ３００は、天板の長手方向に沿った顧客通路（図１における奥側）とオペレータスペース（図１における手前側）とを分ける。ハウジング１０１は、天板３００ａの長手方向の略中央に位置し、キーボード１０２、タッチパネル１０３および読取窓１０１ａをそれぞれオペレータスペース側に向けるとともに、客用ディスプレイ１０４を顧客通路側に向ける。天板３００ａの上面は、商品認識装置１００を挟んで顧客移動方向の上流側の領域と下流側の領域とに区分される。上流側の領域は、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用される。下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。

レジ台４００は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ３００の端部に並ぶようにオペレータスペース側に位置する。

図２は撮像部１０５の構造を一部破断して示す図である。

撮像部１０５は、筐体１０５ａ、基板１０５ｂ，１０５ｃ、撮像デバイス１０５ｄ、発光デバイス１０５ｅ，１０５ｆおよび遮光板１０５ｇを含む。

筐体１０５ａは、対向する２面を第１の開口ＯＰ１および第２の開口ＯＰ２とするとともに、第１の開口ＯＰ１から第２の開口ＯＰ２に向けて断面積が徐々に減少するような、断面が矩形の筒状をなす。第１の開口ＯＰ１に透明なガラス板またはアクリル板などを取り付けて読取窓１０１ａが形成される。

基板１０５ｂは、第２の開口ＯＰ２をほぼ塞ぐように筐体１０５ａに取り付けられている。基板１０５ｂには、撮像デバイス１０５ｄおよび発光デバイス１０５ｅなどが取り付けられる。基板１０５ｂのうちで、筐体１０５ａの内部空間に向く面内の当該内部空間に露出する領域については、反射低減加工が施されている。反射低減加工としては、光の反射率の低い色での着色（例えばつや消しの黒色）、光の反射率の低い材料（吸光剤）の塗布、凹凸を形成するなどの機械的加工などのどのような手法を用いても良い。また、基板に形成されたシルク文字は、なるべく消すことが望ましい。シルク文字により表示されていた情報のうちで読み取れるようにしておく必要があるものについては、例えば刻印により表示する。このような基板１０５ｂは、第１の基板に相当することとなる。

基板１０５ｃは、筐体１０５ａの天井の第１の開口ＯＰ１の近くの位置に取り付けられる。基板１０５ｃには、発光デバイス１０５ｆなどが取り付けられる。

撮像デバイス１０５ｄは、ＣＣＤなどのイメージセンサと、読取窓から入射した商品の光像を上記のイメージセンサに結像するレンズ系などを備え、商品を表した画像データを生成する。

発光デバイス１０５ｅ，１０５ｆとしては、例えばＬＥＤ（light emitting diode）などの周知のデバイスを利用できる。発光デバイス１０５ｅ，１０５ｆはそれぞれ、読取窓１０１ａを通して筐体１０５ａの外部へと光を照射する。これにより発光デバイス１０５ｅ，１０５ｆは、読取窓１０１ａの前に翳された商品を照明する。なお、発光デバイス１０５ｅは、図示の２つの他に、撮像デバイス１０５ｄを挟んだ反対側に同様に２つが配置される。また発光デバイス１０５ｆは、図２の奥行き方向に並んで配置される。もちろん、発光デバイス１０５ｅ，１０５ｆの数および配置は任意であって良い。例えば、発光デバイス１０５ｅが第１の発光デバイスに相当し、かつ発光デバイス１０５ｆが第２の発光デバイスに相当する。

遮光板１０５ｇは、筐体１０５ａの内部空間に、読取窓１０１ａとほぼ平行する状態で筐体１０５ａに固定されている。

図３は遮光板１０５ｇを図２中の左側より見た様子を示す平面図である。

遮光板１０５ｇは、透明で、矩形をなす板体の中央付近にほぼ矩形の開口ＯＰ３を形成するとともに、ハッチングで示すような遮光領域を形成して構成される。板体の材質としては、アクリルが好適であるが、透明な材料であれば任意の材質であって良い。遮光板１０５ｇのうちの開口ＯＰ３および遮光領域以外の領域は、光を透過する。ちなみに，開口ＯＰ３の図３における側方は、図２における左側から右側に向かって間隔が狭まるような斜面ＳＬをなしている。

開口ＯＰ３は、所定の視野内から到来する光を遮ることなく撮像デバイス１０５ｄに入射させるように、その位置および大きさが定められる。

遮光領域は、光の透過を遮るとともに、反射も低減するような加工が施されている。当該加工としては、光の反射率の低い色での着色、光の反射率の低い材料（吸光剤）の塗布、凹凸を形成するなどの機械的加工などのどのような手法を用いても良い。そして遮光領域は、発光デバイス１０５ｅが発した光が、読取窓１０１ａの前に翳された商品に、それを照明するのに充分な光量で到達するように定める。かつ遮光領域は、撮像デバイス１０５ｄに反射光が入射しないよう光の経路を断つ。かくして遮光板は、遮光部材としての機能を有する。

図４は商品認識装置１００における電気的要素のブロック図である。なお、図４に示される要素のうちで図１および図２に示されるのと同一の要素には同一の符号を付する。

商品認識装置１００は電気的要素として、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４、撮像デバイス１０５ｄ、発光デバイス１０５ｅ，１０５ｆのほかに、ＣＰＵ（central processing unit）１０６、ＲＯＭ（read-only memory）１０７、ＲＡＭ（random-access memory）１０８、キーボードインタフェース（キーボードＩ／Ｆ）１０９、パネルインタフェース（パネルＩ／Ｆ）１１０、表示インタフェース（表示Ｉ／Ｆ）１１１、撮像インタフェース（撮像Ｉ／Ｆ）１１２、駆動部１１３、ＰＯＳ端末インタフェース（ＰＯＳ端末Ｉ／Ｆ）１１４およびバスライン１１５を含む。なお、バスライン１１５は、アドレスバスおよびデータバスなどを含み、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、キーボードインタフェース１０９、パネルインタフェース１１０、表示インタフェース１１１、撮像インタフェース１１２およびＰＯＳ端末インタフェース１１４を互いに接続する。

キーボード１０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドをＣＰＵ１０６へ出力する。

タッチパネル１０３は、例えばＬＣＤ（liquid crystal display）などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル１０３は、ＣＰＵ１０６の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル１０３は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル１０３は、オペレータに対して提示するべき各種の情報を表した画像を表示したり、オペレータの操作を入力するために利用される。

客用ディスプレイ１０４は、ＣＰＵ１０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ１０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ１０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。

ＣＰＵ１０６は、コンピュータの中枢部分に相当する。ＣＰＵ１０６は、ＲＯＭ１０７およびＲＡＭ１０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品認識装置１００としての各種の動作を実現するべく商品認識装置１００の各要素を制御する。

ＲＯＭ１０７は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ１０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ１０７は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する場合もある。

ＲＡＭ１０７は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。

ＲＯＭ１０７に記憶されるアプリケーションプログラムには、撮像デバイス１０５ｄにより生成された画像データに基づき、オブジェクト認識によって商品を認識する認識処理に関して記述したプログラムを含む。

キーボードインタフェース１０９、パネルインタフェース１１０、表示インタフェース１１１、撮像インタフェース１１２およびＰＯＳ端末インタフェース１１４は、ＣＰＵ１０６と、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４、撮像デバイス１０５ｄおよびＰＯＳ端末２００とのデータの授受をそれぞれ仲介する。

駆動部１１３は、発光デバイス１０５ｅ，１０５ｆをＣＰＵ１０６の制御の下に点灯させるべくそれぞれ駆動する。

なお、ＰＯＳ端末２００は、通信ネットワーク６００を介してサーバ７００と通信する機能を備える。

次に商品認識装置１００の動作について説明する。

商品認識装置１００が、商品認識を行うべき動作状態にあるときにＣＰＵ１０６は、一定のフレームレートでの撮像が行われるように撮像デバイス１０５ｄを動作させるとともに、これに同期した適切なタイミングで商品が照明されるように発光デバイス１０５ｅ，１０５ｆを発光させる。

読取窓１０１ａの前に翳されて、発光デバイス１０５ｅ，１０５ｆが発した光により照明された商品の光像は、読取窓１０１ａおよび遮光板１０５ｇの開口ＯＰ３を通って撮像デバイス１０５ｄのレンズ系に入射し、撮像デバイス１０５ｄのイメージセンサに結像される。そしてイメージセンサは、結像された光像に応じた画像データを生成する。ＣＰＵ１０１ａは、イメージセンサにより生成された画像データをＲＡＭ１０８に取り込んだ上で、この画像データを対象とし、辞書に記憶される照合用データと比較し、物体を認識する認識処理を実行することによって、読取窓１０１ａの前に翳されている商品を認識する。従ってＣＰＵ１０６は、認識手段として機能する。照合用データは特徴量や、基準画像であり、これらの照合用データは、予め辞書に記憶される。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。辞書は、商品認識装置１００、ＰＯＳ端末２００、ＰＯＳ端末２００と接続するサーバ（図示せず）のいずれかが備える。

認識処理は、既存の同種の装置にて行われている処理と同様であって良い。なお、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。

Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
さて、発光デバイス１０５ｅ，１０５ｆで発せられた光の多くは、読取窓１０１ａを通って筐体１０５ａの外部へと放射されるが、一部は筐体１０５ａで反射し、その後に様々な経路を通って撮像デバイス１０５ｄに到達する可能性がある。また、商品からの光は、上述した直接的な経路以外にも、筐体１０５ａでの反射し、その後にさまざまな経路を通って撮像デバイス１０５ｄに到達する可能性がある。

しかしながら、これらの反射光のうちの基板１０５ａに到達したものは、基板１０５ａでは殆ど反射せずに大幅に減衰する。また反射光のうちで遮光板１０５ｇの遮光領域に到達したものは、遮光板１０５ｇを殆ど透過も反射もせずに大幅に減衰する。

このようにして、反射光のうちの多くが撮像デバイス１０５ｄには入射しない。つまり、筐体１０５ａで反射した上で撮像デバイス１０５ｄへと入射する光量は、基板１０５ｂおよび遮光板１０５ｇによって減じられることとなり、これにより余計な映り込みを軽減して、商品についての画質を向上することが可能となる。

そして、高画質な商品の画像に対する認識処理により、精度の高い商品認識が可能となる。

この実施形態は、次のような変形実施が可能である。

遮光板１０５ｇに代えて、それぞれ異なる遮光領域を形成した複数の遮光板を設けても良い。

遮光板１０５ｇに代えて、板状ではない遮光部材を設けても良い。

筐体１０５ａの内部空間に露出する面を有する基板が基板１０５ｂ以外に設けられる場合には、その基板１０５ｂ以外の基板に、基板１０５ｂと同様に反射防止加工を施しても良い。例えば、基板１０５ｃが筐体１０５ａの内部空間に露出するように配置されているとするならば、基板１０５ｃの読取窓１０１ａに向く側の面に反射防止加工を施しても良い。この場合は、基板１０５ｃが第２の基板に相当することとなる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
［付記１］ 一面に撮像窓を形成した筐体と、
前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された基板と、
前記基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する発光デバイスと、
前記照明光によって照明された物体を、前記撮像窓を通して撮像する撮像デバイスと、
前記筐体の内部に設けられ、前記撮像を妨げることなく、かつ前記筐体の内部の各所における反射光の少なくとも一部が前記撮像デバイスに入射することを遮る遮光部材とを具備したことを特徴とする撮像装置。
［付記２］ 遮光部材は、前記撮像デバイスに向かう反射光を遮る処理を一部領域に施した透明な板材であることを特徴とする付記１に記載の撮像装置。
［付記３］ 前記基板は、前記基板に形成されたシルク文字の少なくとも一部に関して、当該シルク文字での光の反射を防ぐ処置が施されていることを特徴とする付記１または２に記載の撮像装置。
［付記４］ 前記基板とは異なるものであり、前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された第２の基板と、
前記第２の基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する第２の発光デバイスとをさらに具備したことを特徴とする付記１−３のいずれか一項に記載の撮像装置。
［付記５］ 一面に撮像窓を形成した筐体と、
前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された基板と、
前記基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する発行デバイスと、
前記照明光によって照明された物体を前記撮像窓を通して撮像する撮像デバイスと、
前記撮像デバイスによって得られた画像に表れた前記物体の特徴に基づいて前記物体を認識する認識手段と、
前記筐体の内部に設けられ、前記撮像を妨げることなく、かつ前記筐体の内部の各所における反射光の少なくとも一部が前記撮像デバイスに入射することを遮る遮光部材とを具備したことを特徴とするオブジェクト認識スキャナ。

１００…商品認識装置、１０１ａ…読取窓、１０５…撮像部、１０５ａ…筐体、１０５ｂ，１０５ｃ…基板、１０５ｄ…撮像デバイス、１０５ｅ，１０５ｆ…発光デバイス、１０５ｇ…遮光板、２００…ＰＯＳ端末、ＯＰ１，ＯＰ２，ＯＰ３…開口。

Claims (5)

1. 一面に撮像窓を形成した筐体と、
   前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された基板と、
   前記基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する発光デバイスと、
   前記照明光によって照明された物体を、前記撮像窓を通して撮像する撮像デバイスと、
   前記筐体の内部に設けられ、前記撮像を妨げることなく、かつ前記筐体の内部の各所における反射光の少なくとも一部が前記撮像窓を通ることなく前記撮像デバイスに入射することを遮る遮光部材とを具備したことを特徴とする撮像装置。
2. 遮光部材は、前記撮像デバイスに向かう反射光を遮る処理を一部領域に施した透明な板材であることを特徴とする請求項１に記載の撮像装置。
3. 前記基板は、前記基板に形成されたシルク文字の少なくとも一部に関して、当該シルク文字での光の反射を防ぐ処置が施されていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記基板とは異なるものであり、前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された第２の基板と、
   前記第２の基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する第２の発光デバイスとをさらに具備したことを特徴とする請求項１−３のいずれか一項に記載の撮像装置。
5. 一面に撮像窓を形成した筐体と、
   前記筐体の内部に配置され、前記撮像窓に向く面の少なくとも一部に光の反射を防ぐ処置が施された基板と、
   前記基板に取り付けられ、前記筐体の外部へと前記撮像窓を通して照明光を放射する発光デバイスと、
   前記照明光によって照明された物体を前記撮像窓を通して撮像する撮像デバイスと、
   前記撮像デバイスによって得られた画像に表れた前記物体の特徴に基づいて前記物体を認識する認識手段と、
   前記筐体の内部に設けられ、前記撮像を妨げることなく、かつ前記筐体の内部の各所における反射光の少なくとも一部が前記撮像窓を通ることなく前記撮像デバイスに入射することを遮る遮光部材とを具備したことを特徴とするオブジェクト認識スキャナ。