JP2014085723A - 情報提供装置および情報提供方法 - Google Patents

Abstract

【課題】実空間の画像に仮想物体を付与して表示して情報提供する際に、付与する仮想物体を見やすくする。
【解決手段】情報提供装置は、実空間の画像を取得する画像取得手段と、画像中の物体と関連づけて表示する仮想物体を記憶する仮想物体記憶手段と、前記画像取得手段によって取得された画像に含まれる被写体を複数の物体に分ける部品化手段と前記複数の物体のうち、前記仮想物体を関連づけて表示する物体である特定物体を特定する特定手段と、前記複数の物体のうち前記特定物体以外の物体の少なくともいずれかを目立たなくさせる画像処理を施す非強調化手段と、前記特定物体に対応する仮想物体を前記仮想物体記憶手段から取得して、前記特定物体と関連づけて挿入する仮想物体挿入手段と、前記仮想物体が挿入された画像を表示する表示手段と、を備える。
【選択図】図１

Description

本発明は、実空間の画像に仮想的な物体を付与して表示する情報提供技術に関する。

近年、カーナビゲーションと車載カメラを組み合わせて、車外の風景を映像として取り込み、この映像を拡張して仮想的な物体を付与する製品が現れ始めている（非特許文献１）。この製品は、案内経路を指す矢印や周辺の建物の種類を表すロゴなどを車載カメラから取得される映像に付与して、ドライバにとって直感的な経路案内を提供する。しかしながら、表示すべき仮想物体が増えた場合に、表示画面が雑然としたものとなり、却って分かりづらいものとなってしまう問題が発生する。

これに対して、特許文献１では、携帯電話機のカメラから取り込まれた３次元映像に対して仮想物体を付与して表示する際に、表示される物体数が多くなった場合には、仮想物体の表示位置をずらしてグループ化することによって、見にくさの問題を回避している。

また、特許文献２では、車載カメラに付与して表示する仮想物体の数を、車両の速度に応じて調整している。これにより、分かりやすい表示を提供できるとしている。

特開２０１０−２３８０９８号公報 特開２０１１−１２３８０７号公報

"Carrozzeria Cyber Navi", ［オンライン］,［平成２４年６月１３日検索］，インターネット <URL: http://pioneer.jp/carrozzeria/cybernavi/>

特許文献１，２のいずれの方法であっても、表示する仮想物体と類似する形状や色を有する物体が３次元映像内に存在する場合には、やはり画面が雑然として分かりづらい表示となってしまう。特に市街地においては様々な目立つ色の物体が存在しているので、仮想物体を表示する際の妨げになるという問題がある。

本発明の目的は、実空間の画像に仮想物体を付与して表示して情報提供する際に、付与する仮想物体を見やすくするための技術を提供することにある。

本発明にかかる情報提供装置は、
実空間の画像を取得する画像取得手段と、
画像中の物体と関連づけて表示する仮想物体を記憶する仮想物体記憶手段と、
前記画像取得手段によって取得された画像に含まれる被写体を複数の物体に分ける部品化手段と
前記複数の物体のうち、前記仮想物体を関連づけて表示する物体である特定物体を特定する特定手段と、
前記複数の物体のうち前記特定物体以外の物体の少なくともいずれかを目立たなくさせる画像処理を前記画像に施す非強調化手段と、
前記特定物体に対応する仮想物体を前記仮想物体記憶手段から取得して、前記特定物体と関連づけて前記画像に挿入する仮想物体挿入手段と、
前記仮想物体が挿入された画像を表示する表示手段と、
を備える。

このように実空間の画像に含まれる被写体をいくつかの物体に分けて、仮想物体を関連づけて表示する物体以外の物体について、目立たなくさせる処理を施すことで、相対的に仮想物体を目立たせることができる。

また、本発明において、前記部品化手段は、エッジ、色、文字の少なくともいずれかに基づいて行われた領域分割の結果を１つの物体とする、ことが好ましい。画像が車載カメラから撮影されるものである場合、画像内に含まれる物体として、道路、建物、看板、人物、車両などが想定される。このような各物体を１つの物体として認識するためには、上記のような領域分割処理を採用することが好適である。特に、看板には文字が記載されることが多いので、文字認識処理も用いることで領域特定が高精度に行える。

また、本発明において、前記特定手段は、文字認識または画像認識によって前記物体の内容を取得し、当該物体に対応する仮想物体が前記仮想物体記憶手段に記憶されている場合に、当該物体を特定物体であると判断する、ことが好ましい。

仮想物体がどの物体と関連づけて表示されるかは仮想物体記憶手段に記憶されている。そして上記の処理により、画像内に仮想物体と関連づけられた物体が写っている場合に、仮想物体を表示することができる。

また、本発明において、前記仮想物体を関連づけて表示する物体に関する条件を取得する条件取得手段をさらに有し、前記特定手段は、前記物体が当該条件に合致する場合に当該物体を特定物体であると判断する、ことが好ましい。

記憶されている仮想物体と関連づけられている物体が写っている場合に、全ての仮想物体を表示させると表示が見づらくなる。そこで、ユーザが希望する仮想物体のみを表示させることが好ましい。上記のように、条件取得手段によって表示させる仮想物体についての情報を取得し、その条件に合致する仮想物体のみを表示させることで、表示が見づらくなることを避けられる。

また、本発明において、前記非強調化手段は、前記特定物体以外の物体を除外する、塗りつぶす、脱色する、ワイヤフレーム化する、のいずれかの処理を行うことで、当該物体を目立たなくさせる、ことが好ましい。

目立たなくさせる処理はどのような処理であっても良いが、表示が雑然としたものになる理由は、種々の色の物体が画像内に存在するためであると考えられる。したがって、上記のような処理によって色が目立たないようにすることが好ましい。

また、本発明において、
前記画像取得手段は、車両外部の画像を取得する車載カメラであり、
前記特定物体および前記非強調化処理が施される物体は、看板である、
とすることも好ましい。

車載カメラによって実空間の画像を撮影した場合に、道路や建物や看板などが被写体となる。ここで、看板を特定物体として、仮想物体を看板とともに表示することで、看板に対して追加的な情報を提供することができる。また、看板には種々の目立つ色が用いられ
ているので、仮想物体を重ねて表示したときの見づらさの原因となる。したがって、仮想物体を関連づけて表示するもの以外の看板については、非強調化処理を施して目立たないようにすることで、仮想物体を表示した場合であっても見やすさを確保できる。

なお、本発明は、上記手段の少なくとも一部を備える情報提供システムとして捉えることもできる。また、本発明の上記の処理の少なくとも一部を実行する情報提供方法として捉えることもできる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、実空間の画像に仮想物体を付与して表示して情報提供する際に、付与する仮想物体を見やすい表示が可能となる。

本実施形態に係る情報提供システムの機能ブロックを示す図である。 本実施形態にかかる情報提供システムが行う処理の流れを示すフローチャートである。 カメラによって撮影される実空間の画像の例を示す図である。 図３の画像のうち、仮想オブジェクトを付与する看板以外の看板を目立たないように処理した画像の例を示す図である。 図４の画像に対して、仮想オブジェクトを挿入した画像の例を示す図である。

＜システム構成＞
本実施形態にかかる情報提供システムは、車両に搭載されるカーナビゲーションシステムの一部として実装されるシステムであり、車載カメラから得られる実空間の映像に、仮想的な物体を重ね合わせて情報提供を行うシステムである。仮想的な物体（仮想オブジェクト）とは、コンピュータにより生成されて表示される映像オブジェクトを指す。仮想オブジェクトは、どのような内容のものであっても良いが、車両の搭乗者に対して何らかの有用な情報を提供するものであることが望ましい。具体的には、実際の風景に対する補足的な説明や広告、あるいは実際の風景を強調表示するものを、仮想オブジェクトの例として挙げることができる。

以下の説明では、車載カメラから取得される映像中にある看板に対して、その看板と関連する店舗等について広告情報を、実際の映像に重ね合わせて表示する情報提供システムを例として取り上げる。すなわち、以下の説明では、仮想オブジェクトは、広告情報である。

図１は、本実施形態にかかる情報提供システム１０の機能ブロックを示す図である。情報提供システム１０は、カメラ１００、画像処理部２００、表示条件入力部３００、画像表示部４００から構成される。

カメラ１００は、主に車両前方の外部の風景を取得する。カメラ１００が撮影する画像の解像度やフレームレートは任意であって構わない。また、撮影画像のフォーマットも既存の任意のものが採用可能である。

画像処理部２００は、演算装置（プロセッサ）やメモリなどから構成されるコンピュータが、プログラムを実行することにより実現される。画像処理部２００は、その機能部と
して、解像度変換部２０１、部品化部２０２、映像部品データベース２０３、仮想物体挿入部品特定部２０４、部品非強調化部２０５、仮想物体データベース２０６、仮想物体挿入部２０７を含む。

解像度変換部２０１は、カメラ１００によって撮影された画像の解像度を低下させる処理を行う。これにより、以降の処理の負荷が軽減されるため、比較的性能が低いプロセッサを用いてもリアルタイムでの処理が可能になる。

部品化部２０２は、低解像度化された画像に対して、ワイヤフレーム化やモノクロ化などの符号化処理を行い、さらに画像内に被写体を複数の部品に分ける処理を行う。ここでは、部品とは任意の物体であって構わないが、例えば、道路（車道および歩道）、建物、車両、人物、看板、空、交通標識などを部品とすることができる。部品化のための画像処理は、種々の方法が採用可能である。一例として、以下の文献（第１．２節）で紹介されているような、境界、エッジ、色別ヒストグラムなどのローレベルな画像特徴に基づいて行う領域分割処理を採用することができる。

Benjamin Z. Yao, et. al., "I2T: Image Parsing to Text Description", Proceedings of IEEE, Vol. 98, no.8, pp 1485-1508, August, 2010. (Special issue on Internet
Vision)

なお、現実世界における看板は、単一色を背景とした矩形内に文字が含まれることが多いので、エッジや色などを用いた領域分割処理に文字認識処理を組み合わせることで、看板の領域特定を高精度に行える。

どのような物体を部品として採用するかは、アプリケーションの要求に応じて決定することができる。具体的には、仮想オブジェクトを付与して表示したい物体や、画面内で目立たないようにさせたい物体については、それぞれ部品として識別することが望ましい。これら以外の物体については、必ずしも部品として識別できなくても構わない。

部品化部２０２は、映像部品データベース２０３に登録されている部品化された風景を参照して、各部品がどのような種別の部品であるかを識別する。具体的には、部品化部２０２によって部品化された各部品が、道路、建物、車両、人物、看板などのどの種類の部品に該当するのかを識別する。なお、より細かく識別を行い、どの種類の車両であるか、どの種類の看板であるか（広告主ごとに分類しても良いし、広告主のジャンルごとに分類しても良い）を識別することも好ましい。また、看板などの文字が記載されている物体については、文字認識処理を用いることで、その看板がどの広告主の看板であるか判断することができる。あるいは、映像部品データベース２０３に看板の画像データと広告主とを関連づけて記憶しておき、部品化された看板と画像照合することで、その看板がどの広告主の看板であるか判断することができる。

仮想物体挿入部品特定部２０４（以下、特定部と称する）は、部品化部２０２によって部品化された物体のうち、どの物体に対して仮想オブジェクトを付与するかを決定する機能部である。特定部２０４は、仮想物体データベース２０６内に登録されている仮想オブジェクトと関連づけられた部品が画像内に存在するか判定し、仮想オブジェクトと関連づけられた物体（部品）がある場合に、その物体に対して仮想オブジェクトを付与すると決定する。なお、全ての仮想オブジェクトを表示してしまうと表示が雑然としたものとなる恐れがあり、また、ユーザの関心が低いものが表示されてしまうので、表示条件入力部３００から取得される条件に合致する仮想オブジェクトのみを表示することが好ましい。この条件とは、例えば、特定のジャンル（例えば、レストラン）に関する情報のみを表示するというものを採用可能である。

部品非強調化部２０５は、画像内の部品のうちドライバにとって不要な部品を、画像内で目立たなくさせる処理（非強調化処理）を行う。目立たなくさせるための処理として、部品を削除（除外）する、目立たない色で塗りつぶす、ワイヤフレーム化する、脱色する、などの方法が考えられる。部品非強調化部２０５が目立たなくさせる対象の部品は、特定の種類の部品（例えば、車両や看板は目立たなくさせる）、特定の色を有する部品（例えば、特定の色相を有する部品や、明度が高い部品を目立たなくさせる）とすることが考えられる。なお、非強調化処理の対象とする部品は、特定部２０４によって特定された部品以外とする。

仮想物体データベース２０６には、画像内の部品と関連づけて表示する仮想オブジェクトが格納されている。より具体的には、どの種類の部品と関連づけて表示する仮想オブジェクトであるかと、どのような内容の仮想オブジェクトを表示するか、についての情報が記憶されている。仮想オブジェクトの内容は、画像情報であっても良いし文字情報であっても良い。

仮想物体挿入部２０７は、車載カメラから得られた画像データに、仮想物体データベース２０６に登録されている仮想物体を挿入する。仮想物体挿入部２０７は、特定部２０４によって特定された物体に対して、この物体と関連する仮想オブジェクトを仮想物体データベース２０６から取得して、画像データに挿入する。

画像処理部２００によって、仮想オブジェクトの挿入や部品の非強調化処理が施された画像は、画像表示部４００に出力されて、表示される。

画像表示部４００は、液晶ディスプレイなどの画像出力装置である。表示条件入力部３００は、タッチスクリーンやボタンなどの入力装置を介して、本情報提供システムが提供する情報（仮想オブジェクト）に関する条件をユーザに入力させるための機能部である。

（動作例）
本実施形態にかかる情報提供システムが行う処理の具体例を、図２から図５を参照して説明する。図２は、本情報提供システムが行う処理の流れを示すフローチャートである。図３から図５は、画像処理の内容を具体例に基づいて説明する図である。

まず、カメラ１００が車両外部の画像を撮影し、撮影した画像を画像処理部２００へ渡す。（Ｓ１１）。カメラ１００によって撮影される画像の例を図３に示す。図３に示す例では、車道、歩道、建物、看板が画像内に被写体として写っている。なお、網掛けされて示されている物体が看板であるが、これは説明の都合上網掛けをしているだけであり撮影された画像に対してこの時点では何らの処理も施していない。また、実際には、これら以外にも、車両や人物、街路樹、交通標識なども画像内に写ることが考えられるが、説明の簡略化のためにこれらの物体については省略している。

画像処理部２００は、カメラ１００によって撮影された画像に対して画像処理を施す。まず、解像度変換部２０１が、入力画像の解像度を低下させる処理を施す（Ｓ１２）。これにより以降の処理を高速に行うことができる。なお、低解像度化により画像が全体的にぼやけるが、図３〜図５を用いた説明では、低解像度化による影響を省略して説明する。

次に、部品化部２０２が、低解像度化された画像に対して、境界やエッジや色別ヒストグラムなどのローレベル画像特徴を用いて領域分割を行って画像内の物体を複数の部品に分け、部品照合部２０４が映像部品データベース２０３に格納された風景と比較することで、部品を識別する（Ｓ１３）。図３の例では、車道、歩道、建物、空、看板をそれぞれ
１つ部品として識別することができる。図３には示していない車両、人物、街路樹、交通標識などもそれぞれ部品として識別することもできる。

図３では、看板３０１〜３０８の８つの看板が識別されている。看板には種々の種類のものが存在するが、本システムでは、以下のような看板を識別の対象とする。看板３０１は、建物の壁面や窓などに貼られる看板である。看板３０２は、垂れ幕形式の看板である。看板３０３は、建物の屋上に設置される屋上看板である。看板３０４〜３０６は、建物の外壁などに取り付けられて建物から突出している袖看板である。看板３０７，３０８は、地面に設置するスタンド看板である。図３に示した以外にも、野立て看板、切り文字看板、ウィンドウフィルム、のぼり、のれんなどの看板も識別の対象とすることができる。

看板の抽出は、上述のように、エッジおよび色に基づいて行うことができる。看板は、矩形形状をしており、単一の背景色を有することが多いので、このような特徴に基づいて看板を識別することが可能である。また看板には、文字が記載されることが多いので、文字認識処理を用いて、単一の背景色を有する矩形形状に物体に文字が記載されている物体を看板として識別することも好ましい。また、別の方法として、看板としてあらかじめ登録した物体（画像データ）と比較を行うことで、画像内の物体が看板であるかを識別するようにしても良い。また、看板に記載された文字や、登録画像との照合に基づいて、看板の広告主を特定する。

次に、特定部２０４が、部品化された複数の物体のうち、どの物体に対して仮想オブジェクトを付与するかを決定する（Ｓ１５）。本実施形態は、看板に対して、追加的な情報（広告）を仮想オブジェクトとして付与する情報提供システムである。したがって、看板のうち、仮想物体データベース２０６に記憶されている仮想オブジェクトと関連している看板を、仮想オブジェクトを付与する物体として特定する。すなわち、仮想物体データベース２０６に、ある広告主の看板に対してある内容の広告を付与して表示する旨が登録されている場合には、この広告主の部品が仮想オブジェクトを付与する物体として特定される。なお、表示条件入力部３００から、仮想オブジェクトを付与する物体についての条件が指定されている場合には、さらにこの条件を満たす看板を、仮想オブジェクトを付与する物体として特定する。条件としては、例えば、特定ジャンルの看板を対象とする、という条件が挙げられる。なお、ここでは、図３における看板３０１が仮想オブジェクトを付与する部品として特定されたものとして説明を続ける。

部品非強調化部２０５は、特定部２０４によって特定された部品（以下、特定部品と称する）以外の部品を、画像内で目立たないようにする非強調化処理を施す（Ｓ１６）。本実施形態では、特定部品以外の看板を非強調化処理の対象とする。これは、看板は通常で目立つ色を有しており、仮想オブジェクトを表示させる場合に仮想オブジェクトも目立つ色で表示させると、表示が見づらくなってしまうためである。特定部品以外の看板を目立たないようにさせることで、特定部品と仮想オブジェクトが相対的に強調され、かつ、見づらさが軽減される。なお、看板以外の部品についても、非強調化処理の対象としてもよい。これは、特定の種類の部品（例えば、車両や建物）を全て非強調化処理の対象としてもよいし、特定部品以外の物体のうち目立つ色（例えば、明度が高い色）を有する部品を非強調化処理の対象としてもよい。

部品非強調化部２０５によって実施される非強調化処理は、部品の削除、目立たない色での塗りつぶし、ワイヤフレームか、脱色化などの方法を採用可能である。

図４に示す例は、看板３０１がステップＳ１５において仮想オブジェクトを付与する部品として特定され、それ以外の看板３０２〜３０８を脱色することで目立たないようにしている。なお、脱色は、明度または彩度の少なくともいずれかを下げる画像処理であり、
グレースケール化することも含まれる。

仮想物体挿入部２０７は、ステップＳ１５において特定された看板に対して、この看板と関連づけられた仮想オブジェクトを仮想物体データベース２０６から取得して、画像データに重ね合わせる（Ｓ１７）。仮想オブジェクトは、本実施形態においては、看板に関連する広告情報である。そして、仮想オブジェクトが付与された画像が、画像表示部４００上で表示される。図５は、仮想オブジェクトが付与された画像の例である。ここでは、看板３０１に関連して、広告情報（仮想オブジェクト）３１１〜３１３が付与された画像が表示される（Ｓ１８）。ここでは、３つの仮想オブジェクトを特定部品に付与して表示しているが、付与する仮想オブジェクトの数は任意である。

（本実施形態の作用・効果）
本実施形態にかかる情報提供システムによれば、実空間の画像に仮想オブジェクトを付与して表示する際に、仮想オブジェクトと類似する色の物体などが存在して表示が見づらくなるという問題を避けることができる。実空間において、特に都市部では、多数の看板が設置されており、そのそれぞれに目立つ色が用いられている。仮想オブジェクトを表示する際には、この仮想オブジェクトを目立たせたいので看板と同様の色を用いることが多くなる。そうすると、単純に仮想オブジェクトを重ね合わせて表示すると、表示が雑然としたものとなり見づらくなってしまう。これに対して本実施形態では、仮想オブジェクトを表示する看板以外の看板や目立つ色のその他の物体に対して、脱色などの非強調化処理を施しているので、表示が見づらくなることを防止できる。

また、仮想オブジェクトおよび仮想オブジェクトが付与される対象の物体（看板）が、画面内で目立つようになるので、ユーザが提示された情報をより迅速に理解できるようになる。

（変形例）
上記の例では、仮想オブジェクトは宣伝広告の文字情報であるとして説明したが、仮想オブジェクトの内容は任意であって構わない。例えば、文字情報ではなく画像情報を提示しても良い。具体的には、看板主の会社のロゴを仮想オブジェクトとして表示しても良い。また、看板を強調するための表示、例えば、看板を指し示す矢印や、看板を囲う表示などを仮想オブジェクトとしても良い。

また、上記の例では、仮想オブジェクトを付与する対象の物体を看板であるとして説明したが、仮想オブジェクトを付与する対象の物体は任意の物体であって構わない。例えば、建物や、道路、交通標識、車両などに対して仮想オブジェクトを付与して表示しても良い。この際にも、仮想オブジェクトと類似する色の物体に対して目立たなくさせる処理を施すことで、仮想オブジェクトを付与することによって表示が見づらくなってしまうことを防止できる。

１００ カメラ
２００ 画像処理部
２０１ 解像度変換部
２０２ 部品化部
２０３ 映像部品データベース
２０４ 仮想物体挿入部品特定部（特定部）
２０５ 部品非強調化部
２０６ 仮想物体データベース
２０７ 仮想物体挿入部
３００ 表示条件入力部
４００ 画像表示部

Claims (7)

1. 実空間の画像を取得する画像取得手段と、
   画像中の物体と関連づけて表示する仮想物体を記憶する仮想物体記憶手段と、
   前記画像取得手段によって取得された画像に含まれる被写体を複数の物体に分ける部品化手段と
   前記複数の物体のうち、前記仮想物体を関連づけて表示する物体である特定物体を特定する特定手段と、
   前記複数の物体のうち前記特定物体以外の物体の少なくともいずれかを目立たなくさせる画像処理を前記画像に施す非強調化手段と、
   前記特定物体に対応する仮想物体を前記仮想物体記憶手段から取得して、前記特定物体と関連づけて前記画像に挿入する仮想物体挿入手段と、
   前記仮想物体が挿入された画像を表示する表示手段と、
   を備える情報提供装置。
2. 前記部品化手段は、エッジ、色、文字の少なくともいずれかに基づいて行われた領域分割の結果を１つの物体とする、
   請求項１に記載の情報提供装置。
3. 前記特定手段は、文字認識または画像認識によって前記物体の内容を取得し、当該物体に対応する仮想物体が前記仮想物体記憶手段に記憶されている場合に、当該物体を特定物体であると判断する、
   請求項１または２に記載の情報提供装置。
4. 前記仮想物体を関連づけて表示する物体に関する条件を取得する条件取得手段をさらに有し、
   前記特定手段は、前記物体が当該条件に合致する場合に当該物体を特定物体であると判断する、
   請求項３に記載の情報提供装置。
5. 前記非強調化手段は、前記特定物体以外の物体を除外する、塗りつぶす、脱色する、ワイヤフレーム化する、のいずれかの処理を行うことで、当該物体を目立たなくさせる、
   請求項１〜４のいずれかに記載の情報提供装置。
6. 前記画像取得手段は、車両外部の画像を取得する車載カメラであり、
   前記特定物体および前記非強調化処理が施される物体は、看板である、
   請求項１〜５のいずれかに記載の情報提供装置。
7. 情報提供装置が行う情報提供方法であって、
   実空間の画像を取得する画像取得ステップと、
   前記画像取得ステップにおいて取得された画像に含まれる被写体を複数の物体に分ける部品化ステップと
   前記複数の物体のうち、仮想物体を関連づけて表示する物体である特定物体を特定する特定ステップと、
   前記複数の物体のうち前記特定物体以外の物体の少なくともいずれかを目立たなくさせる画像処理を前記画像に施す非強調化ステップと、
   前記特定物体に対応する仮想物体を取得して、前記特定物体と関連づけて前記画像に挿入する仮想物体挿入ステップと、
   前記仮想物体が挿入された画像を表示する表示ステップと、
   を含む情報提供方法。

Images