JP7480882B2 - 情報処理装置、認識支援方法およびコンピュータプログラム - Google Patents

Description

本発明は、画像認識のための支援技術に関する。

画像認識技術により、コンピュータは、人物や顔、商品、動物、車両や障害物、文字や二次元コード等、様々な被写体を画像から認識することができる。このような認識処理の認識精度を高めるために様々な工夫がなされている。例えば、特許文献１には、立体物の認識精度を高めるために、認識対象の立体物に関して算出される視差値の数が増えるように、複数のカメラの露光量を調整する手法が提案されている。また、特許文献２には、顔の個人認識の精度を向上させるために、辞書に登録する特徴パターンを工夫することが記載されている。具体的には、特許文献２に示されている構成では、被写体の顔領域における着目部位の特徴量と着目部位以外の部位の特徴量とを組み合わせた特徴パターンが被写体を識別する特徴パターンとして辞書に登録されている。

特開２０１４－１３０４２９号公報 特開２０１４－１６８２４号公報

高い認識精度を実現する認識エンジンを得るために、上記のように様々な手法が提案されている。しかしながら、高精度な認識エンジンを客先に納入し、作業者が納入先の環境に合うように認識エンジンを調整しても、仕様の認識精度を出せない場合がある。これは、納入先において認識エンジンが画像処理する画像内の認識対象物が、納入前には想定していなかった見え方（映り方）となっているからである。

なお、この明細書では、認識エンジンが画像処理する画像内における認識対象物の見え方（映り方）を認識環境と記す。認識環境は、カメラの設置位置、角度（レンズの向き）、個数や仕様、そのカメラの視野内における照明状況や認識対象物の位置や向き等、様々な要因に影響を受ける。このような認識環境によっては認識エンジンが仕様の精度を出せないことがあり、認識エンジンに対する信頼性を低下させてしまう。

本発明は、認識環境に起因して認識エンジンの精度が悪化するという課題を解決するために考え出された。すなわち、本発明の主な目的は、認識エンジンの認識精度に影響を及す認識環境の情報を取得する技術を提供することにある。

上記目的を達成するために、本発明の情報処理装置は、
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカを検出する検出手段と、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいて取得する環境取得手段と
を備える。

また、本発明の認識支援方法は、
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカをコンピュータが検出し、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいてコンピュータが取得する。

さらに、本発明のプログラム記憶媒体は、
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカを検出する処理と、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいて取得する処理と
をコンピュータに実行させるコンピュータプログラムが記憶されている。

なお、本発明の前記主な目的は、本発明の情報処理装置に対応する本発明の認識支援方法によっても達成される。また、本発明の前記主な目的は、本発明の情報処理装置、本発明の認識支援方法に対応するコンピュータプログラムおよびそれを記憶するプログラム記憶媒体によっても達成される。

本発明の情報処理装置および認識支援方法は、認識エンジンの認識精度に影響を及ぼす認識環境の情報を取得することができる。このため、例えば、認識エンジンを客先に納入する作業者は、認識エンジンの画像処理に係る調整を、取得した認識環境の情報を利用して行うことが可能となる。また、作業者は、事前に認識環境の情報を取得することで、認識エンジンの画像処理に関わる調整の準備を進めることが可能となる。これにより、本発明の情報処理装置および認識支援方法は、認識エンジンの精度悪化を抑制することができ、認識エンジンに対する信頼性の低下を防止できる。

第一実施形態における情報処理装置（支援装置）のハードウェア構成を概念的に示すブロック図である。 第一実施形態における支援装置の制御構成を概念的に表すブロック図である。 マーカの一具体例を示す図である。 マーカを構成するドットパターンの設計について説明する図である。 マーカと認識対象物との大きさの関係例を説明する図である。 認識環境情報を表示する画面の例を説明する図である。 疑似画像の一例を表す図である。 マーカの使用例を説明する図である。 第一実施形態における支援装置の動作例を表すフローチャートである。 認識環境情報の表示例（疑似画像を含む）を表す図である。 第二実施形態における情報処理装置（支援装置）の制御構成を概念的に表すブロック図である。 マップ画面の表示例を表す図である。 第二実施形態における支援装置の動作例を表すフローチャートである。 第三実施形態における情報処理装置の制御構成を概念的に表すブロック図である。 第三実施形態における情報処理装置の動作例を表すフローチャートである。

以下に、本発明に係る実施形態を図面を参照しながら説明する。なお、以下に挙げる各実施形態は例示であり、本発明は以下に説明する各実施形態の構成に限定されない。

＜第一実施形態＞
---装置構成---
図１は、本発明に係る第一実施形態の情報処理装置のハードウェア構成を概念的に表す図である。情報処理装置（以降、支援装置と略称する）１０は、コンピュータであり、図１に表されるように、ＣＰＵ（Central Processing Unit）１と、メモリ２と、入出力インタフェースＩ／Ｆ（InterFace)３と、通信ユニット４とを備えている。これらは、バスにより相互に接続されている。なお、このハードウェア構成は一例であり、支援装置１０のハードウェア構成は図１の構成に限定されない。

ＣＰＵ１は、演算装置であり、CPU１には、一般的なＣＰＵに加えて、特定用途向け集積回路（ＡＳＩＣ（Application Specific Integrated Circuit））、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれる。

メモリ２は、コンピュータプログラム（以下、プログラムとも記す）やデータを記憶する記憶装置である。例えば、メモリ２として、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（例えば、ハードディスク装置）などが支援装置１０に組み込まれる。

入出力Ｉ／Ｆ３は、支援装置１０の周辺機器である表示装置５、入力装置６等に備えられているユーザインタフェース装置と接続可能であり、支援装置１０と周辺機器（表示装置５、入力装置６）との間の情報通信を可能にする機能を備えている。なお、入出力Ｉ／Ｆ３は、可搬型記憶媒体や、外部の記憶装置にも接続され得る。

表示装置５は、ＣＰＵ１等により処理された描画データを画面に表示する装置である。表示装置５の具体例を挙げると、例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイなどがある。

入力装置６は、ユーザ操作により入力される情報を受け付ける装置である。入力装置６の具体例を挙げると、例えば、キーボードやマウスがある。

なお、表示装置５および入力装置６は一体化されていてもよい。表示装置５と入力装置６を一体化した装置としては、例えば、タッチパネルがある。

通信ユニット４は、情報通信網（図示せず）を介して、他のコンピュータや他の機器と情報（信号）をやりとりする機能を備えている。

図１に表される支援装置１０は、上記のようなハードウェア構成を備えているが、当該支援装置１０は、図１に図示されていないハードウェア要素を含んでいてもよい。つまり、支援装置１０のハードウェア構成は図１の構成に制限されない。

支援装置１０は、情報通信網を介して、あるいは、直接にカメラ７と接続している。カメラ７は、撮像装置であり、撮影した映像（動画）の情報（映像信号）を支援装置１０に送信する機能を備えている。第一実施形態では、カメラ７は、予め設定された撮影範囲を撮影することができるように、カメラ７の向き（レンズの向き）や高さ等が調整され設置されている。なお、カメラ７は、静止画を撮影し、その静止画の情報（映像信号）を支援装置１０に送信してもよい。また、カメラ７の台数は１台でも複数でもよく、適宜設定される。

---処理構成---
図２は、第一実施形態の支援装置１０における制御構成を概念的に表すブロック図である。なお、図２において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

支援装置１０は、画像取得部１１と、検出部１２と、格納部１３と、環境取得部１４と、表示処理部１５と、データ生成部１６とを有する。画像取得部１１と、検出部１２と、環境取得部１４と、表示処理部１５と、データ生成部１６とを含む機能部は、例えば、ＣＰＵ１により実現される。すなわち、ＣＰＵ１がメモリ２に格納されているプログラムを実行することにより、画像取得部１１と、検出部１２と、環境取得部１４と、表示処理部１５と、データ生成部１６との各機能が実現される。なお、プログラムは、可搬型記憶媒体（例えば、ＣＤ（Compact Disc）やメモリカード）や、情報通信網を介して接続されている他のコンピュータから支援装置１０に取り込まれることにより、メモリ２に格納される。

格納部１３は、データを格納（記憶）する機能を有し、例えば、ＲＡＭやハードディスク装置等の記憶装置により実現される。この格納部１３には、画像取得部１１と検出部１２と環境取得部１４によりそれぞれ取得される情報が格納される。また、当該格納部１３には、検出部１２や環境取得部１４等の機能部が処理に使用する各種情報も格納される。

画像取得部１１は、カメラ７により撮影された画像を取得する機能を備えている。例えば、画像取得部１１は、カメラ７から送信されてくる映像信号を予め設定されたタイミングでもってキャプチャする（取り込み、取り込んだ映像信号を例えば格納部１３に保存する）ことにより、画像を逐次取得する。その画像をキャプチャするタイミングは、例えば、予め定められた時間間隔毎である。さらに、画像取得部１１は、カメラ７から送信されてくる映像信号を取り込み、当該映像信号を表示装置５に向けて送信する機能をさらに備えている。その映像信号を送信する際に、画像取得部１１は、映像信号を表示することを指示する制御信号を表示装置５に送信する。これにより、表示装置５は、その映像信号に基づいて映像（動画あるいは静止画）を表示する。

検出部１２は、画像取得部１１により取得された画像からマーカを画像処理により検出する機能を備えている。ここで、マーカとは、カメラ７が撮影する撮影範囲内に置かれる物体であり、カメラ７により撮影された画像内においてマーカ以外の背景や被写体と区別可能な図柄や色を有する。例えば、格納部１３には、マーカを背景や他の被写体と区別するために利用する図柄や色の識別情報が予め格納される。検出部１２は、それら情報を利用して、画像取得部１１により取得された画像（カメラ７による撮影画像）からマーカを画像処理により検出する。検出部１２がマーカを検出するために行う画像処理には様々な処理が考えられ、ここでは、支援装置１０の処理能力や、検出対象のマーカの色や形状等を考慮して、検出部１２が実行する画像処理が、適宜設定される。

ここで、図３を用いて、マーカの具体例を説明する。なお、この図３に表されているマーカの図柄は、点線ＢＬにて区画されている１つの正方形の領域を１つの単位とし、当該正方形の領域が着色されることにより形成されたドットが集まって形作られている。以下では、マーカの図柄をドットパターンとも記す。なお、図３に表されている点線ＢＬと一点鎖線ＤＬ１，ＤＬ２，ＤＬ３とは、説明のために便宜上、表記された補助線であり、実際には表記されない場合もある。なお、マーカのドットパターンは、図３の例に限定されない。

図３に表されるマーカＭＫは、縦１３ドット、横９ドットの領域内に形成された図柄（ドットパターン）であり、当該マーカＭＫであるドットパターンは用紙ＭＢに印刷されている。用紙ＭＢにおけるマーカＭＫの外側領域は、用紙ＭＢの余白である。

マーカＭＫは、互いに異なる大きさの四角形状（正方形状）のドットパターンＰＴ１，ＰＴ２と、１つのドットから成る複数のドットパターンＰＴ３とを有する。つまり、マーカＭＫは、複数のドットパターンにより形成された図柄である。

ドットパターンＰＴ１，ＰＴ２は、各々の中心点を結ぶ直線ＤＬ１に沿って、間隔をあけて配置されている。また、ドットパターンＰＴ１，ＰＴ２は、黒色ドットにより形成される四角形状の黒枠パターンと、この黒枠の内側中心部に形成されている黒色の四角パターンと、それら黒枠パターンと黒色四角パターンとの間に形成されている白色ドット群とにより形成されている。

複数のドットパターンＰＴ３は、ここでは、互いに異なる色を持っている。すなわち、マーカＭＫには、ドットパターンＰＴ３として、緑色ドットＰＴ３（Ｇ）と、２つの黒色ドットＰＴ３（Ｋ）と、青色ドットＰＴ３（Ｂ）と、黄色ドットＰＴ３（Ｙ）と、赤色ドットＰＴ３（Ｒ）とが形成されている。これら６つのドットパターンＰＴ３は、３つずつに分かれて２つの配列群を構成している。一方の配列群は、３つのドットパターンＰＴ３（Ｙ），ＰＴ３（Ｋ），ＰＴ３（Ｒ）が、直線ＤＬ１に平行な直線ＤＬ２に、中心位置を合わせて配列している。他方の配列群は、３つのドットパターンＰＴ３（Ｇ），ＰＴ３（Ｋ），ＰＴ３（Ｂ）が、直線ＤＬ１に平行な直線ＤＬ３に、中心位置を合わせて配列している。

格納部１３には、上記のようなマーカＭＫの情報が格納されており、検出部１２は、その情報を利用して、画像からマーカを検出する。

環境取得部１４は、検出部１２により検出されたマーカの画像情報に基づいて、認識環境情報を取得する。認識環境情報とは、カメラ７による撮影画像における認識対象物（撮影画像から検出（認識）したい物体）の見え方(映り方)（appearance）を表す情報である。認識環境情報には、例えば、画像内の認識対象物を表す画素数（解像度とも表記される）、ボケ度合、明るさに関する情報、色合情報、認識対象物からカメラ７に向かう方向に対する認識対象物の傾き角度等の情報が含まれる。明るさに関する情報には、明度バランス、コントラスト比、白および黒の輝度等が含まれる。なお、認識環境情報はこれら例に限定されない。

ここで、マーカと認識環境情報との関係について説明する。すなわち、マーカを構成するドットパターンの形状や大きさ等の構成条件は、取得したい認識環境情報に基づいて設定される。例えば、認識環境情報として、画像内における認識対象物を表す画素数（解像度）を取得したい場合には、認識エンジンが認識対象物を認識できる最少画素数の情報に基づき定められる制約条件を満たすドットパターンがマーカとして設定される。その最少画素数の情報とは、例えば、縦と横の各最少画素数の情報である。あるいは、最少画素数の情報は、縦と横との画素数比、および、縦又は横の最少画素数とが組み合された情報であってもよい。このような最少画素数の情報に基づいた制約条件とは、例えば、ドットパターンにおける縦および横のドット数が、縦および横の最少画素数を超えないという条件である。あるいは、制約条件は、ドットパターンにおける縦又は横のドット数が、対応する縦又は横の最少画素数を超えないという条件であってもよい。このような制約条件を満たすように、マーカのドットパターンが設計される。

その理由を具体例を用いて次に説明する。図４は、最少画素数に基づいた制約条件を説明する図である。この具体例では、認識対象物は人の頭部Ｈである。マーカの大きさはその認識対象物の大きさと同様とする。また、認識エンジンを備える支援装置１０が人の頭部Ｈを認識できる縦の最少画素数が２０ピクセルであるとする。このような場合に、支援装置１０が、認識エンジンによって、カメラ7による撮影画像からマーカを認識し、さらに、認識環境情報を取得するためには、マーカ（トッドパターン）の縦のドット数Nが２０ドットよりも少ないという制約条件を満たす必要がある。

つまり、ここで、図4におけるマーカＭＫ１は、縦のドット数Nが１３個のドットであるドットパターンを有するとする。マーカＭＫ２は、縦のドット数Nが３５個のドットであるドットパターンを有するとする。このようなマーカＭＫ１，ＭＫ２が、カメラ７による撮影画像に２０ピクセル以上の画像の大きさで映るとする。この場合に、マーカMK1における縦方向の１３個のドットが最小でも２０ピクセルの大きさで撮影画像に映るから、マーカＭＫ１は、カメラ7による撮影画像において、１ドットが１ピクセル以上で映し出される。このため、マーカＭＫ１は、支援装置１０により認識され得る。一方、マーカＭＫ２における縦方向の３５個のドットが２０ピクセルの大きさで撮影画像に映るから、マーカＭＫ２は、カメラ7による撮影画像において、１ドットが１ピクセル未満で映し出される。このため、マーカＭＫ２は、支援装置１０により認識され難い。したがって、この例では、縦のドット数Nが２０個以下という制約条件に基づいて、マーカのドットパターンが設定される。

なお、同種の認識対象物（例えば、人の頭部）であっても、厳密に見れば個体差がある。よって、マーカのサイズを決める際に利用される認識対象物のサイズは、一般的な大きさを用いればよい。

また、マーカのサイズは認識対象物と同様なサイズでなくともよい。図５は、マーカと認識対象物の大きさの別の関係例を表す図である。図５の例では、人間全体（人）ＭＮが認識対象物である。マーカＭＫのサイズは人の頭部のサイズと同様である。また、認識エンジンが人間全体ＭＮを認識できる縦の最少画素数が４２ピクセルであるとし、マーカＭＫのサイズＭＫ＿Ｓと人間全体ＭＮのサイズＭＮ＿Ｓとの比が１対６に設定されているとする。もし仮に、マーカＭＫが人間全体ＭＮと同じサイズに設定される場合には、マーカＭＫのドットパターンは、縦のドット数が４２個以下となるように設定される。これに対し、図５のように、マーカＭＫのサイズＭＫ＿Ｓと、人間全体ＭＮのサイズＭＮ＿Ｓとの比が、１対６である場合には、マーカＭＫのドットパターンは、縦のドット数が７個（＝４２／６）以下となるように設定される。

このようなマーカと認識対象物とのサイズ比の情報は、例えば格納部１３に予め記憶されていてもよいし、入力画面等に基づいて入力装置６をユーザが操作することにより支援装置１０に入力されることによって格納部１３に記憶されてもよい。さらに、サイズ比の情報は、可搬型記憶媒体から、あるいは、他のコンピュータ等から通信ユニット４を経由して支援装置１０に取得されることによって格納部１３に記憶されてもよい。

環境取得部１４は、例えば、検出されたマーカの画像領域に含まれる画素数を用いて、カメラ７による撮影画像における認識対象物の画素数を認識環境情報として取得する。

ところで、図４および図５の例では、ドットパターンは、縦のドット数に関する制約条件に基づいて設計されたものであり、横のドット数に関しては考慮されていない。このため、例えば、環境取得部１４は、検出されたマーカの画像領域に含まれる縦の画素数に基づいた認識対象物の縦の画素数を認識環境情報として取得する。

図４の例に示されるように、マーカMKのサイズが認識対象物のサイズと同様である場合には、環境取得部１４は、検出されたマーカの画像領域に含まれる縦の画素数をそのまま認識対象物の縦の画素数（認識環境情報）として取得する。一方、図５に示されるように、マーカのサイズが認識対象物と異なる場合がある。この場合には、環境取得部１４は、マーカと認識対象物とのサイズ比を利用して、検出されたマーカの画像領域に含まれる縦の画素数を、認識対象物のサイズに応じた画素数に変換する。そして、環境取得部１４は、変換後の画素数を認識対象物の縦の画素数（認識環境情報）として取得する。

なお、ドットパターンの設計に関する制約条件が、縦のドット数だけでなく、横のドット数も考慮されたものである場合がある。この場合には、例えば、環境取得部１４は、マーカの画像領域に含まれる縦と横の各画素数に基づいて、認識対象物の縦と横の各画素数（つまり、認識環境情報）を取得してもよい。また、ドットパターンの設計に関する制約条件が、縦のドット数ではなく、横のドット数が考慮されたものである場合がある。この場合には、例えば、環境取得部１４は、マーカの画像領域に含まれる横の画素数に基づいて、認識対象物の横の画素数（つまり、認識環境情報）を取得する。このように、環境取得部１４は、ドットパターンの設計に関する制約条件に応じて、認識対象物における縦と横の少なくとも一方の画素数を認識環境情報として取得する。

認識環境情報として、ボケ度合又は明るさに関する情報が取得される場合には、マーカは、白色ドット群および黒色ドット群を含むドットパターンにより形成されることが望ましい。その理由は、白色と黒色とは輝度の差が大きく、環境毎のボケ度合および明るさ情報を顕著に表すからである。そのような場合、環境取得部１４は、検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、カメラ７による撮影画像の認識対象位置におけるボケ度合および明るさに関する情報を認識環境情報として取得する。

例えば、環境取得部１４は、画像内における黒色ドットと白色ドットとが隣接している複数の部分からエッジ強度を取得する。このようなエッジ強度の取得には、例えば、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等が用いられる。環境取得部１４は、そのように取得したエッジ強度の平均に基づいて、ボケ度合を算出し、当該ボケ度合を認識環境情報として取得する。なお、環境取得部１４は、取得したエッジ強度の全数に対する、閾値を超えたエッジ強度の数の割合をボケ度合いとして算出し、当該算出したボケ度合を認識環境情報として取得してもよい。このようにボケ度合の算出手法には様々な手法が有り、このような手法に限定されない。

環境取得部１４は、明るさに関する情報として、明度バランス、コントラスト比、白および黒の平均輝度をマーカの画像に基づいて算出することができる。例えば、環境取得部１４は、マーカの画像における白色ドット毎および黒色ドット毎に輝度をそれぞれ算出し、白色の平均輝度および黒色の平均輝度を算出する。

また、環境取得部１４は、マーカの画像における白色の平均輝度と黒色の平均輝度との比をコントラスト比として算出することができる。さらに、環境取得部１４は、マーカの画像における白色の平均輝度（平均明度）と黒色の平均輝度（平均明度）との和を算出する。ここでの輝度（明度）は、例えば、０～２５５の数字を利用して表されるとし、輝度最小である黒は、“０”であり、輝度最大である白は、“２５５”であるとする。この場合には、環境取得部１４は、算出された白と黒の平均輝度の和から“２５５”を差し引いた後の数値を明度バランスとして算出することができる。黒色ドットが黒、白色ドットが白と明確に分かる場合には明度バランスは０あるいはその近傍の数値となり、画像が暗過ぎる、明る過ぎる場合には、その度合いに応じたプラスあるいはマイナスの数値となる。なお、明るさに関する具体的情報やその算出手法については上記の例に限定されるものではない。

環境取得部１４は、認識環境情報として、認識対象物からカメラ７に向かう方向に対するパターンの正面方向（パターンが形成（印刷）されている面の法線方向）の傾き角度（以下、認識対象物の角度情報とも記す）を取得する場合がある。この場合には、マーカは、例えば三次元空間における直交座標系にて設定された基準点から当該マーカに向かう方向の情報を取得可能な形状を備える。このような形状を持つマーカ（ドットパターン）の一つは、例えば、図３に表されるドットパターンPT１，PT２である。つまり、ドットパターンPT１，PT２は、四頂点が直角な四角形状である。また、ドットパターンPT１，PT２は、平面上に形成されている。環境取得部１４は、例えば、撮影画像内におけるドットパターンPT１（あるいはPT２）の４つの頂点の位置関係と、実際のそれら４つの頂点の位置関係とを用いて、ホモグラフィ変換行列を算出する。そして、環境取得部１４は、そのホモグラフィ変換行列と、撮影画像内においてマーカが映し出されている位置情報とを利用して、認識対象物の角度情報を算出する。

認識環境情報として、色合情報が取得される場合には、マーカは、赤色ドット、緑色ドットおよび青色ドットを含むドットパターンにより形成される。図３の例では、マーカは、ドットパターンＰＴ３として、緑色ドットＰＴ３（Ｇ）、青色ドットＰＴ３（Ｂ）、黄色ドットＰＴ３（Ｙ）、赤色ドットＰＴ３（Ｒ）を含んでいる。環境取得部１４は、検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、撮影画像の認識対象位置における色合情報を認識環境情報として取得する。具体的には、例えば、環境取得部１４は、マーカに含まれる赤色ドット、緑色ドットおよび青色ドットの実際のＲＧＢ値を取得する。そして、環境取得部１４は、その実際のＲＧＢ値と、画像内のそのマーカに含まれる各ＲＧＢ値とのずれ量を当該色合情報とし、当該色合い情報を認識環境情報として取得する。なお、色合情報の算出手法は限定されない。

上記のように、図３に表されるドットパターンを用いることにより、環境取得部１４は、撮影画像における認識対象物の画素数、ボケ度合、明るさ情報、認識対象物の角度情報、および、色合情報を認識環境情報として少なくとも取得することができる。なお、環境取得部１４は、これら以外の認識環境情報を取得してもよい。

表示処理部１５は、表示装置５を制御する機能を備えている。例えば、表示処理部１５は、画像取得部１１によってカメラ７から取得された画像を表示装置５に送信することによって、表示装置５の画面に撮影画像を表示させる。それと共に、表示処理部１５は、環境取得部１４により取得された認識環境情報を表示装置５に送信することによって、その撮影画像に認識環境情報を重畳した状態で表示装置５の画面に表示させる。その認識環境情報の表示位置は、例えば、撮影画像におけるマーカの配置位置に基づいて設定される。例えば、認識環境情報は、マーカの画像に少なくとも一部が重なるように表示される。又は、認識環境情報は、マーカの画像と間隔を介した近傍位置に表示される。このように、認識環境情報をマーカの画像に重ねて、あるいは、マーカの画像の近傍に表示させることによって、マーカと認識環境情報との対応関係が視認可能となる。

なお、表示処理部１５は、マーカの画像と、表示されている認識環境情報とを結び付ける引き出し線の情報を表示装置５に送信することによって、表示装置５に表示されている撮影画像にその引き出し線をも表示させてもよい。また、表示処理部１５は、マーカの画像の近傍に識別番号を表示させ、マーカの画像から離れた画像領域にその識別番号と共に認識環境情報を表示させてもよい。すなわち、ここでは、マーカと当該マーカから取得した認識環境情報とが関連していることを、表示装置５の表示画像から視認可能であれば、認識環境情報の表示位置は限定されない。

表示処理部１５は、表示装置５に表示させる認識環境情報を色で表してもよい。例えば、表示処理部１５は、表示装置５の画面に、認識環境情報の数値に対応した色のマークを半透明で表示させる。また、カメラ７による撮影画像に複数のマーカが映し出されている場合には、表示処理部１５は、各マーカに関連付けられる認識環境情報を色のマークで表示させることにより、認識環境情報を表す画像上のマップ（ヒートマップ）を生成することができる。

図６は、認識環境情報を重畳させた表示画面の一例を示す図である。図６の例では、認識対象物が人の頭部であり、人の頭部と同様のサイズを有するマーカＭＫが人の頭部と同様の位置に配置されている。認識対象物の画素数（４５ピクセル）が認識環境情報ＲＥとしてマーカＭＫの近傍に重畳表示されている。図６の例では、一つの認識環境情報が表示されているが、その複数の認識環境情報が表示されてもよい。

さらに、表示処理部１５は、疑似画像を表示装置５に表示させる機能を備えている。疑似画像とは、環境取得部１４により取得された認識環境情報に基づいて、認識対象物のモデル画像を画像処理することにより得られる画像である。認識対象物のモデル画像とは、例えば格納部１３に予め記憶されている画像であり、例えば、認識対象物の写真画像、認識対象物を表す絵画やＣＧ（Computer Graphics）画像のようなレプリカ画像等である。表示処理部１５は、取得した認識環境情報をモデル画像に反映すると、どのように見える（撮影される）画像になるかを明示する画像処理を行うことにより、疑似画像を生成する。その疑似画像には、取得した全ての認識環境情報が反映されてもよいし、一部の認識環境情報が反映されてもよい。表示処理部１５がそのような疑似画像を表示装置５に表示させることによって、支援装置１０は、認識環境情報を把握し易い状態で作業者（ユーザ）に提示できる。なお、表示処理部１５は、撮影画像における認識対象物の大きさとは無関係に、疑似画像を予め定められたサイズで表示させることによって、疑似画像を分かり易く表示することができる。

図７は、疑似画像の具体例を示す図である。図７の例では、認識対象物は人の頭部である。人の頭部を示すＣＧ画像が認識対象物のモデル画像（図７で原画像と表記している）である。表示処理部１５は、認識環境情報に基づいて、そのモデル画像を画像処理することにより、疑似画像を生成する。

例えば、表示処理部１５は、モデル画像の画像サイズを維持した状態で当該モデル画像の解像度（画素数）を、認識環境情報として取得された認識対象物の解像度（画素数）まで低下させる画像処理をモデル画像に行う。このような画像処理により、図７における画像Ａのような疑似画像が生成される。

また、表示処理部１５は、モデル画像を、認識環境情報として取得されたボケ度合にする画像処理をモデル画像に行う。このような画像処理により、図７における画像Ｂのような疑似画像が生成される。また、表示処理部１５は、モデル画像（頭部の画像）を、認識環境情報として取得された認識対象物の角度でもって回転させる画像処理をモデル画像に行う。このような画像処理により、図７における画像Ｃのような疑似画像が生成される。さらに、表示処理部１５は、モデル画像のコントラストを、認識環境情報として取得されたコントラスト比に応じて変化させる画像処理をモデル画像に行う。このような画像処理により、図７における画像Ｄのような疑似画像が生成される。これらのようなモデル画像に施す画像処理については、様々な手法が有り、適宜な手法が採用される。

データ生成部１６は、マーカを用紙に印刷する印刷データを生成する機能を備えている。格納部１３にはマーカの画像情報が記憶されており、データ生成部１６は、そのマーカの画像情報を格納部１３から抽出し、この画像情報に基づいて印刷データを生成する。この印刷データは、ワープロソフトウェアやスライド作成ソフトウェア等のようなアプリケーションにマーカの画像を印刷させるデータファイルであってもよい。また、印刷データは、そのようなアプリケーションを利用することなく、独自のデータであってもよい。図４および図５の例に示されるように、マーカを人の頭部に相当するサイズに設定する場合には、データ生成部１６は、例えば、マーカを縦向きのＡ４サイズの用紙に印刷する印刷データを生成する。

---動作例／認識支援方法---
以下、第一実施形態における認識支援方法について、図８および図９を用いて説明する。

図８は、マーカの利用例を表す図である。図９は、第一実施形態における支援装置１０の動作例を表すフローチャートである。このフローチャートは、支援装置１０のＣＰＵ１が実行するコンピュータプログラムの処理手順の一例を表している。

支援装置１０が以下に述べる動作を実施する前に、図８に表されるように、認識システムに含まれるカメラ７は仕様に基づいた設置場所に設置されている。また、認識対象物の大きさや認識エンジンの認識精度等が考慮されたマーカＭＫが準備されている。図８の例では、認識対象物が人の頭部であり、マーカＭＫは人の頭部と同様なサイズを有している。作業者ＯＰは、マーカＭＫを認識対象物である頭の高さ位置に掲げながら、認識システムが認識対象としている認識対象範囲内の場所に留まる。すなわち、作業者ＯＰは、認識システムの認識対象範囲内における場所による認識環境の違いを調査すべく、マーカＭＫを掲げながら、認識システムの認識対象範囲内において、移動と停止といった行動を繰り返す。カメラ７は、視野ＦＶ内におけるその作業者ＯＰの行動を連続的又は間欠的に撮影する。

支援装置１０は、そのカメラ７からの撮影画像を表す映像信号を画像取得部１１がキャプチャすることにより、画像（動画又は静止画）を取得する（Ｓ８１）。なお、カメラ７からの映像信号は、支援装置１０に直接に送信されてもよいし、情報通信網や、可搬型記憶媒体等の記憶装置を介して送信されてもよい。

支援装置１０の検出部１２は、取得された画像からマーカを検出する（Ｓ８２）。

支援装置１０の環境取得部１４は、検出されたマーカの画像に基づいて、カメラ７の視野ＦＶ内の位置ＰＳにおける認識対象物（人の頭部）の認識環境情報を取得する（Ｓ８３）。つまり、支援装置１０の環境取得部１４は、例えば、認識対象物を表す画素数（解像度）、ボケ度合、明るさに関する情報、色合情報、認識対象物の角度等を認識環境情報として取得する。

支援装置１０の表示処理部１５は、カメラ７の撮影画像に、環境取得部１４により取得された認識環境情報を重畳させた画像を表示装置５の画面に表示させる（Ｓ８４）。その表示させる認識環境情報は、取得された全て又は一部の認識環境情報である。

さらに、支援装置１０の表示処理部１５は、環境取得部１４により取得された認識環境情報を利用してモデル画像を画像処理することにより、認識対象物の見え方を表す疑似画像を生成し、この疑似画像を表示装置５に表示させる（Ｓ８５）。

図１０は、認識環境情報の一表示例を表す図である。図１０の例では、認識対象物の画素数（解像度）は、数値および疑似画像により表示されている。明るさに関する情報として、明度のバランスと、コントラスト比と、白黒の輝度（明度）とが表されており、これらは数値およびグラフにより表示されている。

図１０の例では、黒色の平均輝度は「７７．６」と算出され、白色の平均輝度は「２４６．２」と算出されている。明度のバランスは、最低値が「－２５５」となり最高値が「２５５」となるように、黒色の平均輝度「７７．６」と白色の平均輝度「２４６．２」との和から２５５を差分することにより算出される。この算出された「６８．８」がバランスとして表示装置５の画面に表示されている。また、コントラスト比は、黒色の平均輝度に対する白色の平均輝度の比を求めることにより算出されており、「３．１７」と表示されている。ボケ度合は、マーカのドットパターンにおける黒色ドットと白色ドットとが隣接する複数の部分のエッジ強度の平均に基づいて算出する。ここでは、そのエッジ強度の平均を０から１の数値に正規化し、数値「１」がぼけていることを表すように数値「１」から正規化した数値を差分することにより、ボケ度合が算出され、図１０の例では、ボケ度合は「０．５５１」と表示されている。

色合情報は、認識されたマーカにおける赤色、緑色および青色の各色について、マーカの本来のＲＧＢ値からのずれ量がそれぞれ算出され、そのずれ量がそれぞれ数値（ＲＧＢ値）により表示されている。

支援装置１０は、上記のようにカメラ７の撮影画像に基づいて、認識環境情報を取得（検出）すると共に、その取得した認識環境情報を表示する。なお、認識環境情報の検出手法は前述した手法に限定されない。また、認識環境情報の表示手法は、図１０の例に限定されない。さらに、図９では、複数の処理（工程）Ｓ８１～Ｓ８５が順番に表されているが、それら処理のいくつかは並列に実行されてもよいし、順番が異なっていてもよい。例えば、処理Ｓ８４と処理Ｓ８５は並列に実行されてもよい。また、処理Ｓ８４と処理Ｓ８５は、逆の順番で実行されてもよい。さらに、処理Ｓ８４と処理Ｓ８５の一方は省略されてもよい。

---第一実施形態における効果---
上記したように第一実施形態の支援装置１０は、カメラ７により撮影された画像からマーカを検出し、この検出したマーカの画像に基づいて、認識システムによる認識対象範囲内における認識環境情報を取得する。認識環境情報は、カメラ７による撮影画像での認識対象物の見え方（appearance）を表す情報であり、認識エンジンの認識精度に影響を及ぼすカメラ７の性能および認識対象範囲内の明るさ等に関わる情報である。

換言すれば、第一実施形態の支援装置１０は、認識エンジンを用いることなく、認識システムによる認識対象範囲内においてマーカを掲げるという簡単な作業により、その認識対象範囲内における認識環境情報を取得できる。また、支援装置１０は、認識対象物の解像度や、明るさに関する情報、ボケ度合、色合情報等のように、かなり詳細な認識環境情報を取得することができる。このため、支援装置１０は、認識システムを構築する前に、その認識システムの認識エンジンの適切な事前評価を可能にする。さらに、認識環境情報を確認することにより、認識システムを構成するカメラ７の台数や設置位置や向き、また、カメラ７のシャッタースピードや絞りやホワイトバランス等のパラメータを調整することを支援装置１０は可能にする。これにより、認識システム構築後の調整作業が軽減し、認識システムをスムーズに納入することができる。

また、マーカのサイズや利用の仕方（掲げ方）は、認識対象物のサイズや高さ位置に基づいて設定される。さらに、マーカを構成するドットパターンの形状や色は、要求される認識環境情報の内容や、認識エンジンが認識対象物を認識できる最少画素数に基づいて設定される。このように、利用するマーカの構成は、汎用的に設定され得るため、支援装置１０は、画像認識を利用する様々なシステムにおける認識環境情報の取得に適用可能である。

なお、上記した説明では、認識対象物は人であったが、車両、商品、動物、文字や記号等のように、認識対象物は人に限定されない。また、認識エンジンの認識アルゴリズムや認識手法等も限定されない。

さらに、第一実施形態の支援装置１０は、カメラ７による撮影画像から検出したマーカと当該マーカから取得した認識環境情報との関連を視認可能な状態で、カメラ７による撮影画像に認識環境情報を重畳させて画面表示させることができる。これにより、支援装置１０は、取得した認識環境情報がカメラ７による撮影画像のどこの位置の情報であるかを容易に作業者に把握させることができる。さらに、表示装置５に表示させるカメラ７の撮影画像がリアルタイムの映像とする場合がある。この場合には、支援装置１０は、その映像（画像）に、当該画像から取得した認識環境情報をリアルタイムで表示することによって、マーカと認識環境情報との関連付けを作業者に容易に把握させることができる。

また、支援装置１０は、取得した認識対象情報を利用して認識対象物のモデル画像を画像処理することによって疑似画像を生成し、この生成した疑似画像を表示装置５に表示させることができる。これにより、支援装置１０は、疑似画像によって、認識対象物の実際の見え方を分かり易く表現できる。つまり、支援装置１０は、作業者に、認識環境情報を視覚を通じて感覚的に把握させることができる。

＜第二実施形態＞
以下に、本発明に係る第二実施形態を説明する。なお、この第二実施形態の説明において、第一実施形態の構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

この第二実施形態では、支援装置１０は、カメラ７による撮影画像から、カメラ７の位置を基準とするマーカの相対的な位置を取得し、この相対的な位置と認識環境情報とを関連付けて表示装置５に表示させる機能を備えている。以下に、その詳細を説明する。

---処理構成---
図１１は、第二実施形態の支援装置（情報処理装置）１０の制御構成を概念的に表すブロック図である。なお、図１１において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

この第二実施形態の支援装置１０は、第一実施形態の構成に加えて、さらに、位置取得部１７を備えている。この位置取得部１７も、例えばＣＰＵ１により実現される。

位置取得部１７は、カメラ７の位置を基準とするマーカの相対的な位置を表す位置情報を取得する。つまり、位置取得部１７は、検出部１２により検出されたマーカの画像情報と、そのマーカの高さ情報およびカメラ７のパラメータに基づいて、そのマーカの相対的な位置情報を算出できる。マーカの高さ情報とは、床面から、掲げられているマーカまでの高さを表す情報である。例えば、床面からマーカの中心点までの高さ（長さ）がマーカの高さ情報である。格納部１３には、そのような高さ情報が予め記憶されていてもよいし、入力装置６を用いた例えば作業者（ユーザ）の操作により入力された高さ情報が記憶されていてもよい。カメラ７のパラメータは、カメラ７の位置、姿勢（レンズの向き）等を表す情報である。格納部１３には、そのパラメータが予め記憶されていてもよいし、カメラ７から通信により取得されたパラメータが記憶されてもよい。さらに、格納部１３には、入力装置６を用いた作業者の操作により入力されたカメラのパラメータが記憶されていてもよい。

位置取得部１７は、検出されたマーカの画像に基づいたマーカの中心座標を取得する。そして、位置取得部１７は、その中心座標とマーカの高さ情報とカメラのパラメータを利用して、例えば、平面射影変換により、カメラ７の位置を基準とするマーカの相対的な位置を表す三次元座標での位置情報を算出する。あるいは、位置取得部１７は、そのように算出された三次元座標における位置情報を、床面と平行な二次元平面に投影し、この二次元平面における位置情報をマーカの相対的な位置情報としてもよい。

また、位置取得部１７は、マーカの相対的な位置情報を他の方法により取得することもできる。例えば、位置取得部１７は、入力装置６を用いた作業者の入力操作により上記位置情報を取得することもできる。例えば、位置取得部１７は、格納部１３に格納されている認識環境情報とその認識環境情報が抽出された画像とが関連付けられたリストを表示装置５に表示させる。そして、位置取得部１７は、認識環境情報に対応するマーカの相対的な位置情報を入力装置６を利用して作業者に入力させる。この場合には、そのマーカの相対的な位置情報を得るためには、マーカの高さ情報とカメラのパラメータの情報は使用しないので、取得しなくともよい。

格納部１３には、そのように取得（算出）されたマーカの相対的な位置情報が、そのマーカの画像により取得された認識環境情報に関連付けられた状態で記憶される。言い換えれば、格納部１３には、認識環境情報が、マーカの相対的な位置情報と共に格納する。

表示処理部１５は、カメラ７の位置を基準とする二次元あるいは三次元の座標が表示された表示装置５の画面（マップ画面とも記す）に、マーカの位置（カメラ７の位置を基準とするマーカの相対的な位置）をマッピングする。また、表示処理部１５は、マーカに関連付けられている認識環境情報を、そのマーカのマッピング位置に関連付けて表示する。つまり、表示処理部１５は、カメラ７を基準とした位置によって認識環境情報がどのように異なるかを表示する。なお、表示されるマーカの位置情報と認識環境情報は、それぞれ、取得された全ての情報であってもよいし、その一部であってもよい。

図１２は、そのマップ画面の表示例を表す図である。図１２の例では、床面と平行な平面における二次元座標のグラフに、マーカの位置が点でプロットされている。そして、マーカの位置を表す点の周辺に、その位置に対応する認識環境情報（この例では、認識対象物の画素数（解像度））が数値で表示されている。さらに、図１２の例では、カメラ７の位置ＣＰおよび視野範囲ＦＶが表示されている。なお、図１２は一例であり、カメラ７の位置ＣＰと視野範囲ＦＶの何れか一方又は両方は表示されなくてもよい。また、図１２の例では、マーカの位置が点で表され、認識環境情報が数値で表されている。これに代えて、認識環境情報の数値に対応する色でもって、その認識環境情報に関連付けられているマーカの位置が着色されているヒートマップ表示により、認識環境情報が表示されてもよい。

---動作例／認識支援方法---
以下に、第二実施形態の支援装置１０の動作例を図１３を用いて説明する。図１３は、第二実施形態における支援装置１０の動作例を表すフローチャートである。このフローチャートは、支援装置１０のＣＰＵ１が実行する処理手順を表している。

図１３における処理Ｓ１３１，Ｓ１３２，Ｓ１３４，Ｓ１３５、Ｓ１３６は、図９における処理Ｓ８１，Ｓ８２，Ｓ８３，Ｓ８４，Ｓ８５と同様の処理であり、その説明は省略する。

処理Ｓ１３３では、支援装置１０の位置取得部１７は、検出部１２により検出されたマーカの画像情報と、そのマーカの高さ情報およびカメラ７のパラメータ（位置やレンズの向き等）に基づいて、マーカの位置情報を取得する。取得されるマーカの位置情報は、カメラ７の位置を基準とするマーカの相対的な位置を表す情報である。

処理Ｓ１３７においては、支援装置１０の表示処理部１５は、位置取得部１７により取得された位置情報と、環境取得部１４により取得された認識環境情報との対応関係に基づいて、マップ画面を表示装置５に表示させる。このマップ画面には、三次元座標又は二次元座標が表される。

なお、図１３では、複数の処理（工程）が順番に表されているが、第二実施形態で実行される処理およびその処理の実行順序は、図１３の例に限定されない。例えば、処理Ｓ１３５，Ｓ１３６，Ｓ１３７は並列に実行されてよいし、他の順番で実行されてもよい。また、処理Ｓ１３５，Ｓ１３６，Ｓ１３７の何れか一つ、又は、２つの処理は省略されてもよい。

---第二実施形態における効果---
上記のように、第二実施形態の支援装置１０は、認識環境情報が当該認識環境情報に関連付けられているマーカの位置に表示（マッピング）されたマップ画面を表示できる。

このため、第二実施形態の支援装置１０は、カメラ７に対する認識環境情報の位置関係を把握させ易くすることができ、カメラを基準とした認識可能な範囲を明確に理解させることができる。

---変形例---
なお、支援装置１０は、第一又は第二の実施形態の構成に加えて、認識環境情報に時間変化の情報をも付加する構成を備えていてもよい。例えば、作業者がマーカを異なる時間に同一位置で掲げる、若しくは、固定設置する。これにより、異なる時間に撮影された各画像における同一位置のマーカの画像に基づいて、環境取得部１４が、各時間（時刻や日時）における認識環境情報をそれぞれ取得する。この場合、格納部１３には、マーカの画像の撮影時間が格納されると共に、当該格納部１３に格納される認識環境情報には、その基となったマーカの画像の撮影時間が関連付けられる。また、表示処理部１５は、認識環境情報を表示装置５に表示させる場合には、その基となったマーカの画像の撮影時間をも表示させてもよい。このように、同一位置での認識環境の時間変化を提示することによって、支援装置１０は、日光や日影等のような外光の時間変化に伴う認識環境の経時変化の情報を取得することができる。

＜第三実施形態＞
以下に、本発明に係る第三実施形態を説明する。

図１４は、第三実施形態における情報処理装置の制御構成を概念的に表すブロック図である。なお、図１４において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

第三実施形態の情報処理装置１００は、検出部１０１と環境取得部１０２を有する。情報処理装置１００は、例えば、第一や第二の実施形態における支援装置１０と同様のハードウェア構成（図１参照）を有する。検出部１０１と環境取得部１０２は、例えば、ＣＰＵ１がコンピュータプログラムを実行することにより、実現される。なお、情報処理装置１００には、カメラ７、表示装置５および入力装置６が接続されていなくてもよい。

検出部１０１は、撮像装置（カメラ７）による撮影画像からマーカの画像情報を例えば画像処理により検出する機能を備えている。その撮影画像（動画データ又は静止画データ）は、カメラ７から直接的に情報処理装置１００に入力する構成としてもよいし、他の装置や可搬型記憶媒体を介して情報処理装置１００に入力する構成としてもよい。

環境取得部１０２は、検出部１０１により検出されたマーカの画像情報に基づいて、認識環境情報を取得する機能を備えている。認識環境情報は、マーカの位置に位置する認識対象物を撮像装置により撮影した場合に、認識対象物がどのような状態で撮影されるかを表す情報である。例えば、認識環境情報としては、第一や第二の実施形態で述べたような各種情報である。

図１５は、第三実施形態における情報処理装置１００の動作例を表すフローチャートである。なお、このフローチャートは、情報処理装置１００のＣＰＵ１が実行するコンピュータプログラムの処理手順の一例を表している。

例えば、情報処理装置１００(検出部１０１)は、撮像装置による撮影画像からマーカの画像情報を検出する（Ｓ１５１）。そして、情報処理装置１００(環境取得部１０２)は、その検出されたマーカの画像情報に基づいて、認識環境情報を取得する（Ｓ１５２）。

なお、情報処理装置１００は、取得した認識環境情報を第一や第二の実施形態と同様の手法で表示装置の画面に表示させることができる。また、情報処理装置１００は、取得した認識環境情報を印刷装置に印刷させてもよいし、可搬型記憶媒体等の記憶装置にファイルとして格納してもよい。さらに、情報処理装置１００は、その取得した認識環境情報を他のコンピュータに通信により送信してもよい。このように認識環境情報が出力（表示、印刷、表示）される場合に、認識環境情報には、抽出元の画像が関連付けられていてもよいし、さらに、マーカの位置情報をも関連付けられていてもよい。

第三実施形態の情報処理装置１００は、第一や第二実施形態と同様の効果を得ることができる。

上記した各実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１４年８月２７日に出願された日本出願特願２０１４－１７３１１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
撮像装置から取得された画像から、その撮像装置の視野内の或る位置に存在するマーカを検出する検出手段と、
前記検出されたマーカの画像情報に基づいて、前記位置における認識対象物の、前記撮像装置により撮影される画像上での見え方を示す認識環境情報を取得する環境取得手段と、
を備える情報処理装置。

（付記２）
前記マーカは、認識エンジンが認識対象物を認識できる最少画素数に基づくドット数制約を満たすドットパターンにより形成され、
前記環境取得手段は、前記検出されたマーカの画像領域に含まれる画素数を用いて、前記位置における認識対象物の画素数を前記認識環境情報として取得する、
付記１に記載の情報処理装置。

（付記３）
前記環境取得手段は、
前記マーカのサイズが認識対象物と同じ場合には、前記検出されたマーカの画像領域に含まれる画素数を前記位置における認識対象物の画素数として取得し、
前記マーカのサイズが認識対象物と異なる場合には、前記マーカと認識対象物とのサイズ比で前記検出されたマーカの画像領域に含まれる画素数を変換することで、前記位置における認識対象物の画素数を取得する、
付記２に記載の情報処理装置。

（付記４）
前記マーカの前記ドットパターンは、白色ドット群および黒色ドット群を含み、
前記環境取得手段は、前記検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、前記位置におけるボケ度合および明るさに関する情報を前記認識環境情報として取得する、
付記２又は付記３に記載の情報処理装置。

（付記５）
前記マーカの前記ドットパターンは、或る基準点からの相互に直交する３つの方向を一定に取得可能な形状を表し、
前記環境取得手段は、前記検出されたマーカの前記ドットパターンの画像情報に基づいて、前記撮像装置の撮影方向に対する認識対象物の角度を前記認識環境情報として取得する、
付記２乃至付記４の何れか一つに記載の情報処理装置。

（付記６）
前記マーカの前記ドットパターンは、赤色ドット、緑色ドットおよび青色ドットを含み、
前記環境取得手段は、前記検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、前記位置における色合情報を前記認識環境情報として取得する、
付記２乃至付記５の何れか一つに記載の情報処理装置。

（付記７）
前記マーカの前記ドットパターンは、正方形の第一部分ドットパターンと、第一部分ドットパターンよりも小さい正方形の第二部分ドットパターンと、各々一色のドットにより形成される正方形の複数の第三部分ドットパターンとを含み、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、各々の中心点を結ぶ第一直線が各一辺と直交するように、縦方向に並び、
前記複数の第三部分ドットパターンは、前記第二部分ドットパターンを挟んで右側に並ぶ第一グループと、左側に並ぶ第二グループとに分かれており、
第一および第二の各グループにおいて、各第三部分ドットパターンは、各々の中心点を結ぶ直線が前記第一直線と平行となるように縦方向に並び、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、
黒色ドットにより形成される正方形の黒枠、その黒枠の内側に隣接し白色ドットにより形成される正方形の白枠およびその白枠の内側に隣接する正方形の黒色ドット群から形成され、
前記複数の第三部分ドットパターンは、赤色ドット、緑色ドット、青色ドットおよび黄色ドットを少なくとも含む、
付記２乃至付記６の何れか一つに記載の情報処理装置。

（付記８）
前記認識対象物が人間の頭部又は顔である場合に、前記マーカを縦向きのＡ４用紙に印刷するためのデータを生成するデータ生成手段をさらに備える
付記１乃至付記７の何れか一つに記載の情報処理装置。

（付記９）
前記検出されたマーカとの対応関係を視認可能な状態で、前記撮像装置から取得された画像上に前記認識環境情報を重畳させた表示画面を表示部に表示させる表示処理手段をさらに備える
付記１乃至付記８の何れか一つに記載の情報処理装置。

（付記１０）
前記撮像装置の位置を基準とする前記マーカの相対位置を示す位置情報を取得する位置取得手段と、
前記撮像装置の視野内の複数位置に関し取得された複数の認識環境情報に基づいて、前記撮像装置の位置を基準とする相対位置関係を表す座標に当該複数の認識環境情報が描画された表示画面を表示部に表示させる表示処理手段とをさらに備える
付記１乃至付記９の何れか一つに記載の情報処理装置。

（付記１１）
前記表示処理手段は、前記撮像装置の位置および視野の少なくとも一方を前記座標に表す、
付記１０に記載の情報処理装置。

（付記１２）
前記位置取得手段は、前記検出されたマーカの画像情報、前記マーカの高さ情報および前記撮像装置のカメラパラメータに基づいて、前記マーカが存在する前記位置に対応する床面と平行な平面上の位置を示す前記位置情報を取得する、
付記１０又は付記１１に記載の情報処理装置。

（付記１３）
通常状態の認識対象物を示す原画像に対して、その原画像内の認識対象物が前記取得された認識環境情報により示される見え方となるような画像処理を適用することで得られる疑似画像を表示部に表示させる表示処理手段をさらに備える
付記１乃至付記１２の何れか一つに記載の情報処理装置。

（付記１４）
異なる時間に撮影された各画像から前記撮像装置の視野内の同一位置に関し取得された複数の認識環境情報を、各画像の撮影時間と対応付けて、表示部に表示させる表示処理手段をさらに備える
付記１乃至付記１２の何れか一つに記載の情報処理装置。

（付記１５）
コンピュータにより実行される認識支援方法において、
撮像装置から取得された画像から、その撮像装置の視野内の或る位置に存在するマーカを検出し、
前記検出されたマーカの画像情報に基づいて、前記位置における認識対象物の、前記撮像装置により撮影される画像上での見え方を示す認識環境情報を取得する、
ことを含む認識支援方法。

（付記１６）
前記マーカは、認識エンジンが認識対象物を認識できる最少画素数に基づくドット数制約を満たすドットパターンにより形成され、
前記認識環境情報の取得は、前記検出されたマーカの画像領域に含まれる画素数を用いて、前記位置における認識対象物の画素数を取得することを含む、
付記１５に記載の認識支援方法。

（付記１７）
前記認識環境情報の取得は、
前記マーカのサイズが認識対象物と同じ場合には、前記検出されたマーカの画像領域に含まれる画素数を前記位置における認識対象物の画素数として取得し、
前記マーカのサイズが認識対象物と異なる場合には、前記マーカと認識対象物とのサイズ比で前記検出されたマーカの画像領域に含まれる画素数を変換することで、前記位置における認識対象物の画素数を取得する、
ことを含む付記１６に記載の認識支援方法。

（付記１８）
前記マーカの前記ドットパターンは、白色ドット群および黒色ドット群を含み、
前記認識環境情報の取得は、前記検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、前記位置におけるボケ度合および明るさに関する情報を取得することを含む、
付記１６又は付記１７に記載の認識支援方法。

（付記１９）
前記マーカの前記ドットパターンは、或る基準点からの相互に直交する３つの方向を一定に取得可能な形状を表し、
前記認識環境情報の取得は、前記検出されたマーカの前記ドットパターンの画像情報に基づいて、前記撮像装置の撮影方向に対する認識対象物の角度を取得することを含む、
付記１６乃至付記１８の何れか一つに記載の認識支援方法。

（付記２０）
前記マーカの前記ドットパターンは、赤色ドット、緑色ドットおよび青色ドットを含み、
前記認識環境情報の取得は、前記検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、前記位置における色合情報を取得することを含む、
付記１６乃至付記１９の何れか一つに記載の認識支援方法。

（付記２１）
前記マーカの前記ドットパターンは、正方形の第一部分ドットパターンと、第一部分ドットパターンよりも小さい正方形の第二部分ドットパターンと、各々一色のドットにより形成される正方形の複数の第三部分ドットパターンとを含み、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、各々の中心点を結ぶ第一直線が各一辺と直交するように、縦方向に並び、
前記複数の第三部分ドットパターンは、前記第二部分ドットパターンを挟んで右側に並ぶ第一グループと、左側に並ぶ第二グループとに分かれており、
第一および第二の各グループにおいて、各第三部分ドットパターンは、各々の中心点を結ぶ直線が前記第一直線と平行となるように縦方向に並び、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、
黒色ドットにより形成される正方形の黒枠、その黒枠の内側に隣接し白色ドットにより形成される正方形の白枠およびその白枠の内側に隣接する正方形の黒色ドット群から形成され、
前記複数の第三部分ドットパターンは、赤色ドット、緑色ドット、青色ドットおよび黄色ドットを少なくとも含む、
付記１６乃至付記２０の何れか一つに記載の認識支援方法。

（付記２２）
前記認識対象物が人間の頭部又は顔である場合に、前記マーカを縦向きのＡ４用紙に印刷するためのデータを生成する、
ことをさらに含む付記１５乃至付記２１の何れか一つに記載の認識支援方法。

（付記２３）
前記検出されたマーカとの対応関係を視認可能な状態で、前記撮像装置から取得された画像上に前記認識環境情報を重畳させた表示画面を表示部に表示させる、
ことをさらに含む付記１５乃至付記２２の何れか一つに記載の認識支援方法。

（付記２４）
前記撮像装置の位置を基準とする前記マーカの相対位置を示す位置情報を取得し、
前記撮像装置の視野内の複数位置に関し取得された複数の認識環境情報に基づいて、前記撮像装置の位置を基準とする相対位置関係を表す座標に当該複数の認識環境情報が描画された表示画面を表示部に表示させる、
ことをさらに含む付記１５乃至付記２２の何れか一つに記載の認識支援方法。

（付記２５）
前記座標には、前記撮像装置の位置および視野の少なくとも一方がさらに描画される、
付記２４に記載の認識支援方法。

（付記２６）
前記位置情報の取得は、前記検出されたマーカの画像情報、前記マーカの高さ情報および前記撮像装置のカメラパラメータに基づいて、前記マーカが存在する前記位置に対応する床面と平行な平面上の位置を示す前記位置情報を取得する、
付記２４又は付記２５に記載の認識支援方法。

（付記２７）
通常状態の認識対象物を示す原画像に対して、その原画像内の認識対象物が前記取得された認識環境情報により示される見え方となるような画像処理を適用することで得られる疑似画像を表示部に表示させる、
ことをさらに含む付記１５乃至付記２６の何れか一つに記載の認識支援方法。

（付記２８）
異なる時間に撮影された各画像から前記撮像装置の視野内の同一位置に関し取得された複数の認識環境情報を、各画像の撮影時間と対応付けて、表示部に表示させる、
ことをさらに含む付記１５乃至付記２７の何れか一つに記載の認識支援方法。

（付記２９）
付記１５乃至付記２８の何れか一つに記載の認識支援方法をコンピュータに実行させるプログラムを記憶しているプログラム記憶媒体。

５ 表示装置
７ カメラ
１０ 情報処理装置（支援装置）
１１ 画像取得部
１２，１０１ 検出部
１３ 格納部
１４，１０２ 環境取得部
１５ 表示処理部
１６ データ生成部
１７ 位置取得部
１００ 情報処理装置

Claims (9)

1. 撮像画像からマーカを検出する検出手段と、
   前記マーカが存在する対象エリアにおける前記マーカの画像としての認識精度に基づき変化する第２画像を前記撮像画像に重畳表示するように表示画面を制御する表示制御手段と、
   を備える情報処理装置。
2. 前記表示制御手段は、異なる時点に撮像された複数の前記撮像画像に基づき、前記異なる時点における前記認識精度を受け付け、受け付けた前記認識精度に基づき前記表示画面を制御する、
   請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記異なる時点における前記認識精度に基づき、前記異なる時点ごとに異なる前記第２画像を表示するように前記表示画面を制御する、
   請求項２に記載の情報処理装置。
4. 情報処理装置が、
   撮像画像からマーカを検出し、
   前記マーカが存在する対象エリアにおける前記マーカの画像としての認識精度に基づき変化する第２画像を前記撮像画像に重畳表示するように表示画面を制御する、
   認識支援方法。
5. 前記表示画面の制御は、
   異なる時点に撮像された複数の前記撮像画像に基づき、前記異なる時点における前記認識精度を受け付け、受け付けた前記認識精度に基づき前記表示画面を制御することである、
   請求項４に記載の認識支援方法。
6. 前記表示画面の制御は、
   前記異なる時点における前記認識精度に基づき、前記異なる時点ごとに異なる前記第２画像を表示するように前記表示画面を制御することである、
   請求項５に記載の認識支援方法。
7. コンピュータに、
   撮像画像からマーカを検出する処理と、
   前記マーカが存在する対象エリアにおける前記マーカの画像としての認識精度に基づき変化する第２画像を前記撮像画像に重畳表示するように表示画面を制御する処理と
   を実行させる、コンピュータプログラム。
8. 前記表示画面を制御する処理は、
   異なる時点に撮像された複数の前記撮像画像に基づき、前記異なる時点における前記認識精度を受け付け、受け付けた前記認識精度に基づき前記表示画面を制御する処理である、
   請求項７に記載のコンピュータプログラム。
9. 前記表示画面を制御する処理は、
   前記異なる時点における前記認識精度に基づき、前記異なる時点ごとに異なる前記第２画像を表示するように前記表示画面を制御する処理である、
   請求項８に記載のコンピュータプログラム。

Images