JP2015011360A - 情報処理装置およびプログラム - Google Patents
情報処理装置およびプログラム Download PDFInfo
- Publication number
- JP2015011360A JP2015011360A JP2013133702A JP2013133702A JP2015011360A JP 2015011360 A JP2015011360 A JP 2015011360A JP 2013133702 A JP2013133702 A JP 2013133702A JP 2013133702 A JP2013133702 A JP 2013133702A JP 2015011360 A JP2015011360 A JP 2015011360A
- Authority
- JP
- Japan
- Prior art keywords
- content
- display
- information
- data
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 15
- 239000003550 marker Substances 0.000 abstract description 130
- 230000004044 response Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】コンテンツに関するガイダンス用の情報をユーザに提示する装置において、コンテンツのガイドをさらに充実させることができる技術を提供する。【解決手段】情報処理装置100は、ユーザの入力操作に応じて、ディスプレイにコンテンツのガイドを表示する。コンテンツのガイドは、画像、音声、動画、および作品に関する地図などの付帯情報を含む。コンテンツの展示者は、展示対象の各作品とともに、ARマーカ300を設置する。ARマーカ300は、各作品で共通のものが設置される。情報処理装置100は、ユーザの入力操作等に応じて、ディスプレイに表示すべきコンテンツを特定し、特定したコンテンツのガイド用の音声データ等を再生する。情報処理装置100は、AR処理を開始する操作をユーザから受け付けて、撮影画像データからARマーカ300を検出すると、ARデータをディスプレイに表示する。【選択図】図1
Description
本発明は、コンテンツに関するガイダンス用の情報をユーザに提示するための技術に関する。
芸術作品、動植物、観光資源などの様々なコンテンツを人々がより深く理解するため、コンテンツに対する解説等を記したガイダンス用の情報が提供されていることがある。また、小売店等の販売業務においては、消費者に提供する対象の商品またはサービスがどのようなものであるかを説明したガイダンス用の情報が提供されていることもある。
例えば、美術館、博物館等の展示者は、美術作品等のコンテンツを展示する展示会を開催し、来場者に対し入場料等を設定して、来場者から収入を得ている。展示者は、来訪者に対し、コンテンツの解説を提供することで、来訪者がコンテンツの理解を深めることを支援している。美術館、博物館等の展示者は、例えば、美術作品などの鑑賞対象物の近くに、作品の解説を記した案内板を設置している。これにより、来訪者にコンテンツの解説を提供している。
また、例えば動物園、植物園等の運営者は、鑑賞対象物となる動植物とともに、動物の飼育状況や生息地域などを解説した案内板等を設置している。また、観光地を管理する管理者等は、観光資源に関する情報を、インターネット等を通じて配信したり、地域の観光資源に、解説を記した標識を設置したりすることで、観光客に対し、観光資源の歴史等の解説を含む情報を提供している。これにより、来訪者が鑑賞対象物、観光資源等のコンテンツに関する解説を参照することができるため、来訪者は、コンテンツに関する背景知識や、コンテンツの楽しみ方を知ることができる。また、展示者等にとっては、来訪者が鑑賞対象物を理解し、鑑賞を楽しむことを支援することができ、繰り返し来訪する来訪者を増やすことができる。
コンテンツに関するガイダンス用の情報は、音声によって提供されることもある。例えば、展示者は、来訪者に対し、コンテンツの理解を深めることを支援するための装置(例えば、音声ガイド装置)などを提供している。例えば、予め展示対象の作品ごとに展示のための番号を割り当てておく。音声ガイド装置は、作品番号の入力と、音声による解説を再生するための操作とを来訪者から受け付けることにより、来訪者に対し作品解説などの音声情報を提供する。
来訪者がコンテンツの理解を深めることを支援するためのガイド装置に関する技術は様々なものが知られている。例えば、特開平11−143419号公報(特許文献1)は、美術館などの展示事物の説明を行う音声ガイド装置を開示している。特許文献1の技術によると、見学者は、見学者が聴きたい説明を簡単な操作で聴くことができる。特開2006−145936号公報(特許文献2)は、展示会などの開催準備業務の効率化と操作性の改善とをすることで、鑑賞者へのサービスの向上を図るための音声ガイドシステムを開示している。より詳細には、特許文献2には、絵画などの展示物を識別するために展示物の近くに取り付けておく展示物識別装置と、鑑賞者が音声で作品の説明を聞きたいときに使用する音声ガイド装置と、バックヤードにあって展示物の識別コードを遠隔から登録する管理装置とが開示されている。特許文献2の技術によると、美術館や博物館などで遠隔でのコンテンツの管理を可能にし、作品の解説に使用する音声ガイドの操作性も改善される。
音声ガイド装置は、来訪者が選択したコンテンツに対応して、コンテンツを解説する情報を音声によって来訪者に提供している。しかし、コンテンツに関心のある来訪者が、展示対象などをさらに理解し、楽しむためには、来訪者にガイドを提供する手段がより多様であることが望ましい。
したがって、来訪者に対してのコンテンツのガイドをさらに充実させるための技術が必要とされている。
一実施形態に従うと、ガイダンス用の情報を表示するための情報処理装置が提供される。情報処理装置は、入力操作を受け付けるための操作受付部と、撮影により撮影画像データを得るためのカメラと、表示部と、特定の被写体を示す参照用画像、および、複数のコンテンツの識別情報それぞれについて、識別情報に対応するコンテンツデータを記憶するための記憶部と、入力操作に基づいて、情報処理装置の動作を制御する制御部とを備え、制御部は、撮影画像データに対し、参照用画像に基づいて画像認識処理を施すことにより、撮影画像データから特定の被写体を検出するための処理を行う検出処理部と、カメラを駆動し、検出処理部により特定の被写体が撮影画像データから検出された場合に、表示部に表示する対象の表示対象コンテンツの識別情報に対応するコンテンツデータを表示部に表示させる表示処理部とを含む。
別の実施形態に従うと、ガイダンス用の情報を表示するための情報処理装置の動作を制御するためのプログラムが提供される。情報処理装置は、プロセッサと、メモリと、入力操作を受け付けるための操作受付部と、撮影により撮影画像データを得るためのカメラと、ディスプレイとを備える。メモリは、特定の被写体を示す参照用画像、および、複数のコンテンツの識別情報それぞれについて、識別情報に対応するコンテンツデータを記憶する。プログラムは、プロセッサに、撮影画像データに対し、参照用画像に基づいて画像認識処理を施すことにより、撮影画像データから特定の被写体を検出するための処理を行うステップと、カメラを駆動し、特定の被写体が撮影画像データから検出された場合に、ディスプレイに表示する対象の表示対象コンテンツの識別情報に対応するコンテンツデータをディスプレイに表示させるステップとを実行させる。
上記一実施形態によると、来訪者に対して、音声に限らず、視覚を通じてのコンテンツのガイドを容易に視聴させることができる。また、上記一実施形態によると、例えば展示対象物の近くに特定の被写体を設置した場合、来訪者は、この被写体をカメラによって撮影することで、コンテンツに対応したコンテンツデータを視聴することができる。そのため、一実施形態の情報処理装置は、来訪者に対し、展示会場に入場して展示対象物を鑑賞することを促すことができる。その結果、情報処理装置は、来訪者の数の増加に寄与することができる。
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<実施の形態1>
図1は、実施の形態にかかる情報処理装置100が使用される状況の一例を示す図である。情報処理装置100は、タッチパネルを備えるタブレット端末であり、コンテンツのガイドをディスプレイに表示する。実施の形態1では、コンテンツが美術作品の場合について説明する。
図1は、実施の形態にかかる情報処理装置100が使用される状況の一例を示す図である。情報処理装置100は、タッチパネルを備えるタブレット端末であり、コンテンツのガイドをディスプレイに表示する。実施の形態1では、コンテンツが美術作品の場合について説明する。
<概要 映像によるガイドの提供>
図1に示すように、情報処理装置100は、展示作品について、映像による解説を含むガイド用の情報を、情報処理装置100のユーザである来訪者に提示する。これにより、情報処理装置100は、音声のみの解説が提供される場合と比べて、より多様な情報量を有する映像によるガイドをユーザに提供することができる。例えば、情報処理装置100には、展示作品であるコンテンツのガイドを情報処理装置100のディスプレイに表示するためのアプリケーションが予めインストールされている。美術館等の展示者が、来訪者に対し情報処理装置100を貸し出すことにより、来訪者は情報処理装置100によるコンテンツのガイドを利用することができる。情報処理装置100は、タッチパネルディスプレイを備えており、ユーザの入力操作をタッチパネルによって受け付ける。また、情報処理装置100は、ガイダンス用の情報をディスプレイに表示する。来訪者は、ガイドを利用したいコンテンツ(美術作品)を、情報処理装置100への入力操作によって指定することで、コンテンツに対応付けられた音声データによる解説や、動画データによる解説を利用することができる。
図1に示すように、情報処理装置100は、展示作品について、映像による解説を含むガイド用の情報を、情報処理装置100のユーザである来訪者に提示する。これにより、情報処理装置100は、音声のみの解説が提供される場合と比べて、より多様な情報量を有する映像によるガイドをユーザに提供することができる。例えば、情報処理装置100には、展示作品であるコンテンツのガイドを情報処理装置100のディスプレイに表示するためのアプリケーションが予めインストールされている。美術館等の展示者が、来訪者に対し情報処理装置100を貸し出すことにより、来訪者は情報処理装置100によるコンテンツのガイドを利用することができる。情報処理装置100は、タッチパネルディスプレイを備えており、ユーザの入力操作をタッチパネルによって受け付ける。また、情報処理装置100は、ガイダンス用の情報をディスプレイに表示する。来訪者は、ガイドを利用したいコンテンツ(美術作品)を、情報処理装置100への入力操作によって指定することで、コンテンツに対応付けられた音声データによる解説や、動画データによる解説を利用することができる。
<概要 ARマーカ300の設置とARデータの提供>
また、情報処理装置100は、AR(Augmented Reality)技術に対応したアプリケーションを保持している。展示者は、展示作品とともにARマーカ300を設置する。実施の形態1では、展示者は、各作品について共通のARマーカ300を設置している。情報処理装置100は、来訪者から、AR技術に対応したアプリケーションを起動させるための入力操作を受け付けると、撮影画像データに被写体として撮影されたARマーカ300を画像認識処理により検出し、展示作品に対応したARデータを情報処理装置100のディスプレイに表示する。このように、来訪者は、コンテンツを指定して、コンテンツごとに音声や動画によるガイドを利用するとともに、ARマーカ300を用いたARデータを視聴することで、各コンテンツをいっそう楽しむことができる。ARデータは、撮影画像から画像認識処理により検出されるARマーカの位置に基づいて、AR技術を用いた処理により撮影画像にオーバレイ表示する映像データである。ARデータの一例は、コンテンツとしての風景画の基となった土地、エピソードその他コンテンツに関連するデータである。
また、情報処理装置100は、AR(Augmented Reality)技術に対応したアプリケーションを保持している。展示者は、展示作品とともにARマーカ300を設置する。実施の形態1では、展示者は、各作品について共通のARマーカ300を設置している。情報処理装置100は、来訪者から、AR技術に対応したアプリケーションを起動させるための入力操作を受け付けると、撮影画像データに被写体として撮影されたARマーカ300を画像認識処理により検出し、展示作品に対応したARデータを情報処理装置100のディスプレイに表示する。このように、来訪者は、コンテンツを指定して、コンテンツごとに音声や動画によるガイドを利用するとともに、ARマーカ300を用いたARデータを視聴することで、各コンテンツをいっそう楽しむことができる。ARデータは、撮影画像から画像認識処理により検出されるARマーカの位置に基づいて、AR技術を用いた処理により撮影画像にオーバレイ表示する映像データである。ARデータの一例は、コンテンツとしての風景画の基となった土地、エピソードその他コンテンツに関連するデータである。
また、情報処理装置100は、ディスプレイに表示すべきコンテンツの指定をするための入力操作を来訪者から受け付ける。情報処理装置100は、来訪者に指定されたコンテンツに対応するARデータ等をディスプレイに表示する。そのため、ARマーカ300そのものには、表示すべきARデータを識別するための情報を含ませる必要がなく、展示者は、各作品について共通のARマーカ300を使用することができ、ARマーカ300を各作品について設置することが容易となる。
以上のように、展示者は、展示作品などのコンテンツの設置場所に、ARマーカ300などの特定の被写体を併せて設置する。展示者は、ARマーカ300などの特定の被写体を、情報処理装置100のAR技術を用いた処理によって検出可能とし、情報処理装置100がARマーカ300を検出した時に視聴可能なコンテンツ(ARデータ)を来訪者へ用意する。これにより、情報処理装置100は、来訪者がコンテンツの設置場所を訪問し、ARマーカ300などの特定の被写体を検出することで利用可能なコンテンツをユーザに提供することができ、ユーザが展示場所を訪問することを促すことができる。
また、図1の例では、情報処理装置100と通信する機器としてルータ700を示している。情報処理装置100は、コンテンツのガイドを情報処理装置100のディスプレイに表示する処理を実現するためのアプリケーションを、ルータ700を介して外部のネットワークから取得することとしてもよい。
<構成>
図2と図3とを参照し、情報処理装置100の構成を説明する。図2は、情報処理装置100の構成を示すブロック図である。図2に示すように、情報処理装置100は、アンテナ1,2と、遠距離通信用モジュール3と、近距離通信用モジュール4と、タッチパネル5と、ディスプレイ6と、カメラ7と、電源制御部8と、バッテリ9と、マイク10と、スピーカ11と、音声処理部12と、記憶部13と、制御部14とを含む。
図2と図3とを参照し、情報処理装置100の構成を説明する。図2は、情報処理装置100の構成を示すブロック図である。図2に示すように、情報処理装置100は、アンテナ1,2と、遠距離通信用モジュール3と、近距離通信用モジュール4と、タッチパネル5と、ディスプレイ6と、カメラ7と、電源制御部8と、バッテリ9と、マイク10と、スピーカ11と、音声処理部12と、記憶部13と、制御部14とを含む。
アンテナ1とアンテナ2とは、情報処理装置100が発する信号を電波として放射する。また、アンテナ1は、空間から電波を受信して受信信号を遠距離通信用モジュール3へ与える。アンテナ2は、空間から電波を受信して受信信号を近距離通信用モジュール4へ与える。
遠距離通信用モジュール3と近距離通信用モジュール4とは、情報処理装置100が他の無線機器と通信するため、アンテナ1を介して信号を送受信するための変復調処理などを行う。遠距離通信用モジュール3と近距離通信用モジュール4とは、チューナー、高周波回路などを含む通信モジュールであり、情報処理装置100が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部14へ与える。
遠距離通信用モジュール3は、例えば、LTE(Long Term Evolution)、UMTS(Universal Mobile Telecommunications System)などの移動体通信システムに対応した通信モジュールであり、比較的長距離の通信に対応している。
近距離通信用モジュール4は、例えば、Bluetooth(登録商標)などの近距離無線通信規格や、IEEE(Institute of Electrical and Electronic Engineers)802.11などの無線LAN(Local Area Network)規格などに対応した通信モジュールであり、比較的近距離の通信に対応している。情報処理装置100が複数の通信方式に対応する場合、これら通信方式に対応してアンテナと通信用モジュールとを備えてもよい。
タッチパネル5は、ユーザの入力操作を受け付けるための操作部材である。タッチパネル5として、例えば静電容量方式のものを用いることによってユーザの接触操作を受け付ける。タッチパネル5は、ユーザによる入力操作を制御部14へ出力する。
ディスプレイ6は、メニュー画面においてアイコンや背景画像を表示し、アプリケーションの動作によって静止画や動画などを表示する。ディスプレイ6は、例えばLCD(Liquid Crystal Display)や有機EL(electroluminescence)ディスプレイによって実現される。ディスプレイ6は、入力操作に応じて、ユーザが指定したコンテンツのガイドを表示する。
カメラ7は、入射光を受光して電気信号に変換するカメラモジュールであり、CMOS(Complementary Metal Oxide Semiconductor)センサ、ADC(Analog to Digital Converter)等を含み、画像信号を制御部14へ出力する。
電源制御部8は、情報処理装置100の各回路へ供給する電力を制御する。電源制御部8は、例えば電源制御用IC(Integrated Circuit)である。
バッテリ9は、情報処理装置100の各回路を動作させるための電力を供給する供給源である。バッテリ9が供給する電力は、電源制御部8の制御に従って各回路へ供給される。
マイク10は、ユーザによる音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部12へ与える。
スピーカ11は、音声処理部12から与えられる音声信号を音声に変換して当該音声を情報処理装置100の外部へ出力する。
音声処理部12は、音声信号の変復調を行う。音声処理部12は、マイク10から与えられる信号を変調して、変調後の信号を制御部14へ与える。また、音声処理部12は、音声信号をスピーカ11へ与える。音声処理部12は、例えば音声処理用のプロセッサによって実現される。
記憶部13は、例えばフラッシュメモリ等により構成され、情報処理装置100が使用するデータおよびプログラムを記憶する。ある局面において、記憶部13は、コンテンツ管理テーブル31と、コンテンツ画像データ32と、コンテンツ音声データ33と、コンテンツ動画データ34と、コンテンツ付帯情報35と、ARデータ36とを記憶する。
コンテンツ管理テーブル31は、詳しくは後述するが、コンテンツ(作品)を識別する識別情報と、コンテンツの名称と、コンテンツを示す画像ファイルと、コンテンツのガイドを提供するための音声データファイルおよび動画データファイルと、コンテンツごとに用意されるARデータと、コンテンツに付帯する付帯情報(コンテンツに関連する地図情報など)とを対応付けたテーブルである。
コンテンツ画像データ32は、各コンテンツに対応する画像データ群である。コンテンツ音声データ33は、各コンテンツのガイド用の音声データ群である。コンテンツ動画データ34は、各コンテンツのガイド用の動画データ群である。コンテンツ付帯情報35は、各コンテンツに付帯する付帯情報群である。ARデータ36は、コンテンツごとに用意されるARデータである。
制御部14は、記憶部13に記憶される制御プログラムを読み込んで実行することにより、情報処理装置100の動作の全体を制御する。制御部14は、例えばアプリケーションプロセッサである。制御部14は、プログラムに従って動作することにより、検出処理部40と、映像処理部41と、駆動制御部42との各機能を発揮する。検出処理部40は、画像認識処理の機能を情報処理装置100に発揮させ、カメラ7から出力される撮影画像データに対し、画像認識処理を施すことにより、ARマーカ300などの特定の被写体を検出する。映像処理部41は、処理に応じてディスプレイ6の表示内容を制御して、コンテンツ画像データ32等をディスプレイ6に表示する。駆動制御部42は、情報処理装置100の各部品(カメラ7など)を駆動するための処理を行う。
図3は、情報処理装置100のソフトウェアの構成を概念的に示す図である。図3に示すように、情報処理装置100は、OS(Operating System)51と、アプリケーション52などのソフトウェアを実行する。OS51は、制御部14がアプリケーション52を実行するための基本的な実行環境を提供する。OS51は、例えばモバイル端末用のOSによって実現される。
アプリケーション52は、AR機能を情報処理装置100に発揮させ、撮影画像からARマーカ300を検出し、撮影画像から検出されたARマーカ300の位置に基づいてARデータをカメラ7のプレビューにオーバレイ表示させる処理、および、ディスプレイ6を介して情報処理装置100の操作者に対し、コンテンツのガイド等を提供する処理などを情報処理装置100に行わせる。アプリケーション52は、ユーザインタフェース表示用プログラム53と、AR処理用プログラム54とを含む。ユーザインタフェース表示用プログラム53は、ユーザインタフェースをディスプレイ6に表示するためのプログラムである。AR処理用プログラム54は、AR機能を情報処理装置100に発揮させるためのプログラムである。キャプチャ画像取得部61は、カメラモジュール(カメラ7)を駆動して、逐次、撮影画像データを取得する。マーカ検出部62は、取得される撮影画像データに対し、画像認識処理を適用することでARマーカ300を検出する。描画部63は、撮影画像データから抽出されたマーカの位置に、ARデータをオーバレイ表示する。
<データ構造>
図4を参照し、情報処理装置100の処理において用いられるデータを説明する。図4は、コンテンツ管理テーブル31を示す図である。
図4を参照し、情報処理装置100の処理において用いられるデータを説明する。図4は、コンテンツ管理テーブル31を示す図である。
図4に示すように、コンテンツ管理テーブル31の各レコードは、作品識別番号311と、コンテンツ名称312と、コンテンツ画像ファイル名313と、音声データファイル名314と、動画データファイル名315と、ARデータ316と、コンテンツ付帯データ名317とを含む。
作品識別番号311は、コンテンツそれぞれを識別するための識別情報である。コンテンツ名称312は、識別情報に示されるコンテンツの名称を示す。コンテンツ画像ファイル名313は、識別情報に示されるコンテンツの画像ファイルを特定するための情報である。音声データファイル名314は、識別情報に示されるコンテンツの音声データファイルを特定するための情報である。動画データファイル名315は、識別情報に示されるコンテンツの動画データファイルを特定するための情報である。ARデータ316は、識別情報に示されるコンテンツのARデータを特定するための情報である。コンテンツ付帯データ名317は、識別情報に示されるコンテンツに付帯する付帯情報を特定するための情報である。例えば、付帯情報は、コンテンツに関する位置(例えば、作品において描画されている描画対象物の位置や、作品が製作された位置)を示す地図情報である。
情報処理装置100は、ユーザの入力操作に応じて、コンテンツ画像ファイル名313、音声データファイル名314、動画データファイル名315、ARデータ316、またはコンテンツ付帯データ名317で特定される各データを再生する。
<ARマーカ>
図5を参照し、実施の形態1におけるARマーカについて説明する。図5は、ARマーカ300が使用される場面を示す図である。図5では、情報処理装置100のユーザが、カメラによって被写体としてのARマーカ300を撮影している局面を示している。本実施の形態では、コンテンツの展示者は、コンテンツそれぞれの近傍にARマーカ300を設置する。展示者は、コンテンツそれぞれについて共通のARマーカ300を設置する。情報処理装置100は、カメラ7から撮影画像データを逐次取得し、当該取得したデータに基づく画像をディスプレイ6にプレビュー画像として表示する。情報処理装置100は、カメラ7から撮影画像データを取得する都度、画像認識処理を適用することによって、撮影画像データから被写体としてのARマーカ300を検出する。情報処理装置100は、ARマーカ300を検出すると、ユーザが指定しているコンテンツの識別情報に従って、コンテンツ管理テーブル31を参照して、識別情報に対応するARデータ316を読み出す。情報処理装置100は、カメラ7からの撮影画像データをディスプレイ6に表示しつつ、読み出したARデータをオーバレイ表示する。
図5を参照し、実施の形態1におけるARマーカについて説明する。図5は、ARマーカ300が使用される場面を示す図である。図5では、情報処理装置100のユーザが、カメラによって被写体としてのARマーカ300を撮影している局面を示している。本実施の形態では、コンテンツの展示者は、コンテンツそれぞれの近傍にARマーカ300を設置する。展示者は、コンテンツそれぞれについて共通のARマーカ300を設置する。情報処理装置100は、カメラ7から撮影画像データを逐次取得し、当該取得したデータに基づく画像をディスプレイ6にプレビュー画像として表示する。情報処理装置100は、カメラ7から撮影画像データを取得する都度、画像認識処理を適用することによって、撮影画像データから被写体としてのARマーカ300を検出する。情報処理装置100は、ARマーカ300を検出すると、ユーザが指定しているコンテンツの識別情報に従って、コンテンツ管理テーブル31を参照して、識別情報に対応するARデータ316を読み出す。情報処理装置100は、カメラ7からの撮影画像データをディスプレイ6に表示しつつ、読み出したARデータをオーバレイ表示する。
図5に示すように、ARマーカ300は、情報処理装置100がAR機能を発揮してマーカの形状を画像認識により特定するため、枠線の幅などが予め定められた形状を有している。当該形状は、例えば、矩形、円形などであるが、これらに限られない。
情報処理装置100は、ARマーカ300を示す画像(参照用画像)の設定を受け付ける。情報処理装置100は、ARマーカ300を示す参照用画像の設定を読み出して、参照用画像に基づいて、撮影画像データからARマーカ300を検出する処理を行う。
<ユーザインタフェースの例>
図6を参照して、情報処理装置100がディスプレイ6に表示する画面の一例を説明する。図6は、コンテンツのガイドを表示するためのユーザインタフェースの一例を示す図である。
図6を参照して、情報処理装置100がディスプレイ6に表示する画面の一例を説明する。図6は、コンテンツのガイドを表示するためのユーザインタフェースの一例を示す図である。
図6に示すように、制御部14は、ディスプレイ6において、タイトル表示領域71と、コンテンツ指定受付領域72と、コンテンツ表示領域73と、表示切替領域74と、視聴操作受付領域75と、音声再生受付領域76と、動画再生受付領域77と、ARモード受付領域78とを表示する。
タイトル表示領域71は、コンテンツの展示内容のタイトルを示す。コンテンツ指定受付領域72は、各コンテンツを識別する識別情報の一覧を表示し、ユーザによるコンテンツを指定する入力操作を受け付けるための領域である。情報処理装置100は、ユーザが指定したコンテンツの識別情報をメモリに保持させる。図6の例では、ユーザの入力操作によって、識別情報「27番」の項目121が指定され、項目121は、他のコンテンツと区別して表示されている。
ディスプレイ6は、コンテンツ指定受付領域72において、識別情報が最上位の項目から順に識別情報の一覧を表示しており、ユーザの入力操作に応じて、表示する識別情報をスクロールする。ディスプレイ6は、コンテンツ指定受付領域72において項目「トップへ」に対する入力操作を受け付けると、コンテンツの識別情報の表示をスクロールし、最上位の識別情報の項目を表示する。また、ディスプレイ6は、コンテンツ指定受付領域72において、項目「最後へ」に対する入力操作を受け付けると、コンテンツの識別情報の表示をスクロールさせ、最下位の識別情報の項目を表示する。情報処理装置100は、タッチパネル5によって、ユーザが画面上で指をスライドさせる操作と、画面上で指をタッチさせる操作とを受け付ける。ユーザは、コンテンツ指定受付領域72に表示されるコンテンツの一覧に対し、指を接触させてスライドさせることで、コンテンツ指定受付領域72に表示されるコンテンツの一覧をスクロールさせ、作品の項目が表示されている領域をタッチすることで、再生すべきコンテンツを指定することができる。
コンテンツ表示領域73は、ユーザによって指定されたコンテンツの識別情報に対応する画像ファイル、動画データファイルまたはコンテンツ付帯情報を表示するための領域である。
表示切替領域74は、ユーザから、コンテンツ表示領域73に表示するコンテンツを切り替える入力操作を受け付けるための領域である。制御部14は、表示切替領域74に対する入力操作に応じて、コンテンツ付帯情報の表示と、画像ファイルまたは動画データファイルのいずれかの表示とを切り替えて、コンテンツ表示領域73にコンテンツを表示させる。
視聴操作受付領域75は、音声データファイルまたは動画データファイルの再生状況を示し、再生の一時停止操作、音量調整のための操作その他の操作を受け付けるための領域である。制御部14は、ユーザから音声データファイルを再生する操作を受け付けている場合は、コンテンツ表示領域73にコンテンツの識別情報に対応する画像ファイル(コンテンツ画像ファイル名313)を表示して、音声データファイル(音声データファイル名314)を再生する。また、制御部14は、ユーザから動画データファイルを再生する操作を受け付けている場合は、コンテンツ表示領域73に動画データの映像部分を表示して音声を再生する。
音声再生受付領域76は、ユーザから、音声データファイルを再生または停止する入力操作を受け付けるための領域である。なお、図6の例では、情報処理装置100は、音声データファイルを再生しているため、音声再生受付領域76において、コンテンツが再生中であることを示す再生中表示領域79の表示を重ねることで、音声データファイルが再生中であることをディスプレイ6に表示している。
動画再生受付領域77は、ユーザから、動画データファイルを再生または停止するための入力操作を受け付けるための領域である。
ARモード受付領域78は、ユーザから、撮影画像データからARマーカ300を検出してARデータをオーバレイ表示するための処理(AR処理)を開始させる操作を受け付けるための領域である。情報処理装置100は、ARモード受付領域78に対する入力操作を受け付けると、例えばディスプレイ6の画面全体にカメラ7からの撮影画像データをプレビュー表示する。
なお、展示場に設置されているARマーカ300を利用したARデータの表示をユーザが実行することを促すため、情報処理装置100は、ARモード受付領域78とともに、ARモード受付領域78への入力操作を促す表示をディスプレイ6に表示してもよい。例えば、情報処理装置100は、「ARマーカをカメラで撮影すると、AR(拡張現実)をお楽しみいただけます。」等の文字情報を、ARモード受付領域78とともにディスプレイ6に表示してもよい。
なお、情報処理装置100は、ユーザが指を画面にタッチさせてコンテンツを指定する操作を受け付けたときに、ユーザによって指定されたコンテンツの識別情報と対応付けられている音声データ等を再生することとしてもよい。また、情報処理装置100が動画再生受付領域77に対する入力操作を受け付けて動画データを再生している場合に、コンテンツ指定受付領域72に対する入力操作を受け付けて、ユーザが指定するコンテンツが切り替わったとする。この場合に、情報処理装置100は、既に再生している音声データ、または、コンテンツ表示領域73に表示している動画データの再生を停止し、ユーザが新たに指定したコンテンツの識別情報に対応するコンテンツ画像ファイル名313をコンテンツ表示領域73に表示してもよい。
また、情報処理装置100は、ユーザが指定したコンテンツに対応する動画データファイルがあるか否かを、動画データファイル名315を参照して判定し、動画データファイルがない場合は、情報処理装置100は、動画再生受付領域77を非表示にする等、動画データファイルがないことをユーザに示唆する表示を行ってもよい。
また、情報処理装置100は、ARモード受付領域78への入力操作を受け付けた時にコンテンツ表示領域73に動画データファイルを表示している場合には、動画の再生を停止して、カメラを起動してAR処理を開始することとしてもよい。情報処理装置100は、ARモード受付領域78への入力操作を受け付けた時に音声データが再生されている場合には、再生されている音声についてはそのまま再生を継続しつつARデータを再生するためカメラを起動させることとしてもよい。
<制御構造>
図7を参照して、情報処理装置100の制御構造を詳細に説明する。図7は、実施の形態1の情報処理装置100による、ARデータを表示するための処理を示すフローチャートである。なお、実施の形態1では、ARデータは3次元の形状を有するデータである。以下、図6に示すARモード受付領域78に対し、情報処理装置100がユーザからの入力操作を受け付けてAR処理を開始する際の動作を説明する。
図7を参照して、情報処理装置100の制御構造を詳細に説明する。図7は、実施の形態1の情報処理装置100による、ARデータを表示するための処理を示すフローチャートである。なお、実施の形態1では、ARデータは3次元の形状を有するデータである。以下、図6に示すARモード受付領域78に対し、情報処理装置100がユーザからの入力操作を受け付けてAR処理を開始する際の動作を説明する。
ステップS11において、情報処理装置100の制御部14は、ユーザがコンテンツ指定受付領域72に対する入力操作によって指定したコンテンツの識別情報を記憶部13から読み出す。
ステップS13において、制御部14は、AR処理を開始するため、ARマーカ300を検出するためのマーカパターンの設定を行う。制御部14は、記憶部13から、ARマーカ300を示す画像(参照用画像)を読み出してマーカパターンとして設定する。
ステップS15において、制御部14は、コンテンツの識別情報に対応するARデータを、コンテンツ管理テーブル31のARデータ316に基づき特定し、当該特定されたARデータを、AR処理においてマーカパターンにオーバレイ表示するためのARデータとして設定する。
ステップS17において、制御部14は、撮影画像を取得(キャプチャ)するためのキャプチャ周期を設定し、カメラ7を起動して撮影画像データをキャプチャ周期に従って取得する。
ステップS19において、制御部14は、キャプチャ周期に従って撮影画像データがカメラ7によって取得される都度、ARマーカ300を示す画像に基づいて画像認識処理を撮影画像データに施すことにより、ARマーカ300を検出する処理を行う。
ステップS21において、制御部14は、撮影画像データからARマーカ300の検出に成功したか否かを判断する。ARマーカ300の検出に成功した場合(ステップS21においてYES)は、制御部14は、ステップS25の処理を行う。ARマーカ300が検出されなかった場合(ステップS21においてNO)は、制御部14は、ステップS19の処理を行う。
ステップS25において、制御部14は、撮影画像データから検出されたARマーカ300の領域に基づいて、撮影画像上でのARマーカ300の位置と傾きとを算出する。算出された結果に基づき、制御部14は、3次元データのARデータをディスプレイ6に表示するための座標変換行列を取得する。なお、情報処理装置100は、ARデータをディスプレイ6に表示するための座標変換行列を取得する際に、情報処理装置100の加速度センサ等が検出する情報処理装置100の傾きの情報を加味してもよい。
ステップS27において、制御部14は、座標変換行列に従って、ディスプレイ6に表示される撮影画像に、3次元データのARデータをオーバレイ表示する。
なお、アニメーションでARデータがディスプレイ6に表示される場合は、制御部14は、アニメーションの総再生時間における再生位置を管理し、再生位置に応じてARデータをディスプレイ6に表示する。また、ARマーカ300を検出した場合(ステップS21:YES)、制御部14は、その後キャプチャされた撮影画像データにおいて、ARマーカ300の検出に連続して成功しなかった回数をカウントし、この回数が一定回数に達するまでは、ARマーカ300の検出結果にかかわらずARデータを表示することとしてもよい。
<ARデータの表示の例>
図8を参照して、ステップS27におけるARデータのオーバレイ表示の例を説明する。図8は、ARデータを表示する例を示す図である。図8の例では、「波に浮かぶ船」という美術作品に対応付けられるデータとして、情報処理装置100は、船が波に揺られる様子をアニメーションで表示するためのARデータを記憶している。画面A、画面B、画面Cおよび画面Dに示すように、3次元データのARデータが、刻一刻と変化してディスプレイ6に表示される。
図8を参照して、ステップS27におけるARデータのオーバレイ表示の例を説明する。図8は、ARデータを表示する例を示す図である。図8の例では、「波に浮かぶ船」という美術作品に対応付けられるデータとして、情報処理装置100は、船が波に揺られる様子をアニメーションで表示するためのARデータを記憶している。画面A、画面B、画面Cおよび画面Dに示すように、3次元データのARデータが、刻一刻と変化してディスプレイ6に表示される。
このように、美術作品などのコンテンツと対応づけてARデータを用意し、ARマーカ300を用いたAR処理を行うことでARデータを再生可能とすることで、ユーザは、ARマーカ300が設置された箇所でのみ視聴可能なコンテンツを利用することができる。例えば、美術作品とともにARマーカ300を展示会場に設置することで、動きのあるARデータをユーザに提供することができる。また、例えば、動物園・植物園等であれば、鑑賞対象の動植物とともにARマーカ300を設置することで、動植物の生態や成長の過程を示す情報をユーザに提供することができる。また、例えば、観光地等であれば、観光資源とともにARマーカ300を当該観光地に設置することで、観光資源に関する歴史などを、音声、静止画、動画によってユーザに提供することができる。そのため、情報処理装置100は、ARマーカ300が設置された場所を訪問することをユーザに促すことができ、美術館等の訪問者の増加に寄与することができる。
<付帯情報の表示の例>
図9を参照して、コンテンツの付帯情報をコンテンツ表示領域73に表示する例を説明する。図9は、コンテンツに付帯する情報と、コンテンツに関連する情報とを切り替える操作のインタフェースを示す図である。図9の例では、情報処理装置100は、コンテンツの付帯情報として、作品に描かれている描画対象物の位置を示す地図情報をディスプレイ6に表示する。
図9を参照して、コンテンツの付帯情報をコンテンツ表示領域73に表示する例を説明する。図9は、コンテンツに付帯する情報と、コンテンツに関連する情報とを切り替える操作のインタフェースを示す図である。図9の例では、情報処理装置100は、コンテンツの付帯情報として、作品に描かれている描画対象物の位置を示す地図情報をディスプレイ6に表示する。
図9に示すように、制御部14は、ユーザが指定したコンテンツの識別情報に応じて、コンテンツ表示領域73Eに、ユーザが指定したコンテンツの画像データファイルを表示している。ここで、制御部14は、表示切替領域74に対する入力操作をユーザから受け付けると、ユーザが指定しているコンテンツの識別情報に対応するコンテンツ付帯データ名317を参照する。制御部14は、コンテンツ表示領域73Fに、コンテンツ付帯データ名317に示されるデータ(コンテンツの付帯情報である地図情報)を表示し、表示切替領域74において、コンテンツ表示領域73に表示する画像を、画像データファイル等へ切り替える操作を受け付ける。
図9の例では、情報処理装置100は、山が描かれた作品の付帯情報として、作品中で描画されている山の所在地を示す地図をコンテンツ表示領域73Fに表示する。
<実施の形態2>
次に、図10から図13を参照して、別の実施の形態2について説明する。実施の形態2では、複数種類のARマーカが用いられる。また、実施の形態2では、情報処理装置100において視聴に制限のあるデータも用いられる。実施の形態2の情報処理装置100は、視聴制限のあるデータをユーザが視聴することが可能か否かを示すフラグ情報をメモリに記憶しており、視聴制限のあるデータをユーザが視聴することが可能か否かに応じてデータの表示を制御する。
次に、図10から図13を参照して、別の実施の形態2について説明する。実施の形態2では、複数種類のARマーカが用いられる。また、実施の形態2では、情報処理装置100において視聴に制限のあるデータも用いられる。実施の形態2の情報処理装置100は、視聴制限のあるデータをユーザが視聴することが可能か否かを示すフラグ情報をメモリに記憶しており、視聴制限のあるデータをユーザが視聴することが可能か否かに応じてデータの表示を制御する。
また、情報処理装置100は、視聴制限のあるデータについて、視聴制限を解除するための入力操作を促す表示をする。これにより、情報処理装置100は、例えば年齢制限のあるデータをユーザに提供して、視聴制限の有無に応じてデータを表示したり、視聴制限を解除するための手続(例えば、課金処理)をユーザに提供したりすることができる。
図10は、実施の形態2のマーカ画像を示す図である。図10に示すように、実施の形態2では、ARマーカ300と、ARマーカ301との2つのARマーカが用いられている。ARマーカ300の種類とARマーカ301の種類は、互いに異なる。例えば、ARマーカ300については視聴制限がなく、ARマーカ301については視聴制限があるものとする。情報処理装置100は、ARマーカ300とARマーカ301のそれぞれを示す参照用画像を予め記憶することで、撮影画像データからARマーカ300とARマーカ301とを検出することができる。
<データ構造>
図11を参照して、実施の形態2における情報処理装置100が使用するデータについて説明する。図11は、実施の形態2のコンテンツ管理テーブル31の構成を概念的に示す図である。コンテンツ管理テーブル31の各レコードは、作品識別番号311と、コンテンツ名称312と、コンテンツ画像ファイル名313と、音声データファイル名314と、動画データファイル名315と、ARデータ316と、コンテンツ付帯データ名317と、ARマーカ画像318と、視聴制限ありARマーカ画像319とを含む。
図11を参照して、実施の形態2における情報処理装置100が使用するデータについて説明する。図11は、実施の形態2のコンテンツ管理テーブル31の構成を概念的に示す図である。コンテンツ管理テーブル31の各レコードは、作品識別番号311と、コンテンツ名称312と、コンテンツ画像ファイル名313と、音声データファイル名314と、動画データファイル名315と、ARデータ316と、コンテンツ付帯データ名317と、ARマーカ画像318と、視聴制限ありARマーカ画像319とを含む。
実施の形態2では、コンテンツを示す識別情報それぞれについて、ARマーカの画像を特定するための情報が対応づけられている。また、コンテンツを示す識別情報それぞれについて、視聴制限がないARデータを表示するためのマーカ画像(ARマーカ画像318)と、視聴制限があるARデータを表示するためのマーカ画像(視聴制限ありARマーカ画像319)とが対応付けられている。
ARマーカ画像318は、作品識別番号311に示されるコンテンツの識別情報と対応しているARマーカの参照用の画像を示す。視聴制限ありARマーカ画像319は、作品識別番号311に示されるコンテンツの識別情報と対応して、視聴制限のあるARマーカの参照用の画像を示す。コンテンツによっては、視聴制限のあるARマーカを表示するためのマーカ画像が指定されていないこととしてもよい。また、コンテンツによっては、視聴制限のあるARデータを表示するためのマーカ画像については指定されており、視聴制限がないARデータを表示するためのマーカ画像については指定されていないこととしてもよい。
このように、コンテンツの展示者等は、視聴制限がないARデータと、視聴制限があるARデータとのいずれかまたは両方をARデータ316において指定することができる。また、展示者等は、視聴制限がないARデータを表示するためのマーカ画像(ARマーカ画像318)と、視聴制限があるARデータを表示するためのマーカ画像(視聴制限ありARマーカ画像319)とを区別して用意する。これにより、コンテンツの展示者は、ユーザに対し、視聴制限を解除することで視聴可能なARデータがあることを示唆することができる。その結果、情報処理装置100は、ユーザに対し、視聴制限を解除するための行動を促すことができる。例えば、情報処理装置100は、課金処理や、ユーザの情報の登録や、ユーザの年齢を認証する操作などを受け付けることで、ユーザに対する視聴制限を解除することとしてもよい。
<制御構造>
図12を参照して、実施の形態2における情報処理装置100の動作を説明する。なお、実施の形態1と同一の箇所については同一の参照符号を付して説明を繰り返さない。
図12を参照して、実施の形態2における情報処理装置100の動作を説明する。なお、実施の形態1と同一の箇所については同一の参照符号を付して説明を繰り返さない。
図12は、実施の形態2の情報処理装置100による、ARデータを表示するための処理を示すフローチャートである。
ステップS12において、制御部14は、コンテンツ管理テーブル31を参照し、ユーザから指定を受け付けたコンテンツの識別情報に対応して、視聴制限ありARマーカ画像319に参照用の画像が指定されているか否かを判断する。ステップS12において、視聴制限ありARマーカ画像319に参照用の画像が指定されている場合(ステップS12においてYES)、制御部14は、ステップS22の処理を行う。また、ステップS12において、視聴制限ありARマーカ画像319に参照用の画像が指定されていない場合(ステップS12においてNO)、制御部14は、ステップS13の処理を行う。
ステップS22において、制御部14は、メモリを参照し、視聴制限のあるデータをユーザが視聴することが可能か否かの設定を読み出す。視聴制限のあるデータをユーザが視聴可能であると設定されている場合は(ステップS22においてYES)、制御部14は、ステップS13の処理を行う。視聴制限のあるデータをユーザが視聴することができないと設定されている場合は(ステップS22においてNO)、制御部14は、ステップS24の処理を行う。
ステップS24において、制御部14は、ユーザが指定しているコンテンツについて、視聴制限があるためARデータをディスプレイ6に表示することができないことと、視聴制限を解除するための方法とをディスプレイ6に表示する。
ステップS26において、制御部14は、コンテンツ管理テーブル31を参照し、ユーザから指定を受け付けたコンテンツの識別情報に対応して、ARマーカ画像318に参照用の画像が指定されているか否かを判断する。ステップS26において、ARマーカ画像318に参照用の画像が指定されていない場合(ステップS26においてNO)、制御部14は、ARデータを表示するための処理を終了する。ステップS26において、ARマーカ画像318に参照用の画像が指定されている場合(ステップS26においてYES)、制御部14は、ステップS13の処理を行う。
ステップS13において、制御部14は、AR処理を開始するため、ARマーカ画像318と視聴制限ありARマーカ画像319とを参照して、ユーザが指定しているコンテンツの識別情報に対応するARマーカの画像を読み出してマーカパターンとして設定する。例えば、制御部14は、コンテンツの識別情報に対応するARマーカ画像318と視聴制限ありARマーカ画像319との双方を参照して、ARマーカを示す参照用の画像を読み出してマーカパターンとして設定する。なお、ステップS13において、制御部14は、メモリを参照し、視聴制限のあるデータをユーザが視聴することができないと設定されている場合は、視聴制限ありARマーカ画像319に示される参照用の画像をマーカパターンとして設定せず、ARマーカ画像318に示される参照用の画像をマーカパターンとして設定する。
ステップS15において、制御部14は、コンテンツの識別情報に対応するARデータを、マーカパターンと対応付けて設定する。制御部14は、ARデータ316を参照して、視聴制限がないARデータを、ARマーカ画像318に示されるマーカパターンと対応付ける。また、制御部14は、視聴制限があるARデータを、視聴制限ありARマーカ画像319に示されるマーカパターンと対応付ける。
ステップS21において、制御部14は、撮影画像データから、ステップS13で設定したマーカパターンのマーカ画像の検出に成功したか否かを判断する。マーカ画像の検出に成功した場合(ステップS21においてYES)は、制御部14は、ステップS25の処理を行う。マーカ画像が検出されなかった場合(ステップS21においてNO)は、制御部14は、ステップS19の処理を行う。
ステップS27において、制御部14は、座標変換行列に従って、ディスプレイ6に表示される撮影画像に、検出されたマーカパターンに対応する3次元データのARデータをオーバレイ表示する。
上記の実施の形態2では、制御部14は、撮影画像に対してARマーカを検出する処理の前に、視聴制限のあるデータをユーザが視聴することが可能か否かを判定することとして説明している。制御部14がこのように動作することにより、視聴制限のあるデータをユーザが視聴することができないと設定されている場合に、誤ってディスプレイ6に視聴制限のあるデータが表示される可能性を低減させることができる。
<視聴制限を解除するための操作受付画面>
図13を参照して、視聴制限があるデータの視聴を可能にするために視聴制限を解除するための入力操作を受け付ける画面の表示の例を説明する。図13は、視聴制限を解除する入力操作を受け付けるためのユーザインタフェースの一例を示す図である。
図13を参照して、視聴制限があるデータの視聴を可能にするために視聴制限を解除するための入力操作を受け付ける画面の表示の例を説明する。図13は、視聴制限を解除する入力操作を受け付けるためのユーザインタフェースの一例を示す図である。
図13に示すように、制御部14は、ディスプレイ6に、視聴制限を解除することでARデータの再生が可能であることを解除操作受付領域81に表示する。図13の例では、制御部14は、ユーザが課金手続を行うことで、コンテンツの視聴制限を解除可能であることをディスプレイ6に表示している。クーポン購入ボタン82は、コンテンツの視聴制限を解除するための課金手続(クーポン購入)を実行するための入力受付ボタンである。キャンセルボタン83は、コンテンツの視聴制限を解除するための操作を行わないことをユーザから受け付けるためのボタンである。なお、課金の態様は、上述のクーポンの購入に限られない。
図13では、視聴制限のあるデータに対し、課金手続によって視聴制限を解除する例を説明した。この他にも、例えば年齢による視聴制限を設ける場合、情報処理装置100は、ディスプレイ6にユーザの年齢を認証するための画面(例えば、ユーザが「20歳以上か否か」について入力操作を受け付けるための画面)を表示することとしてもよい。これにより、情報処理装置100は、ユーザの年齢に応じたARデータをユーザに提供することができる。
<変形例1 各装置の変形例>
上記の各実施の形態の説明では、情報処理装置100は、タブレット端末であるとして説明した。これに限らず、情報処理装置100は、例えばスマートフォンなどの装置であってもよい。
上記の各実施の形態の説明では、情報処理装置100は、タブレット端末であるとして説明した。これに限らず、情報処理装置100は、例えばスマートフォンなどの装置であってもよい。
図14は、情報処理装置100がコンテンツ等のデータをダウンロードするための経路の例を示す図である。コンテンツについての画像データ等は、展覧会の開催者のようにコンテンツを展示する展示者等によって、配信サーバ900に保持される。図14に示すように、配信サーバ900は、コンテンツについての画像データ、音声データ、動画データ、ARデータ、およびコンテンツに付帯する付帯情報を保持している。
タブレット端末である情報処理装置100Aは、ルータ700と無線通信により接続し、ネットワーク800を経由して配信サーバ900と通信することで、配信サーバ900からコンテンツについての画像データ等をダウンロードすることができる。また、スマートフォンである情報処理装置100Bは、無線基地局600と無線通信により接続し、ネットワーク800を経由して配信サーバ900と通信することで、配信サーバ900からデータをダウンロードすることができる。また、情報処理装置100Aと情報処理装置100Bは、これらコンテンツについてのガイドを表示するためのアプリケーション52を、配信サーバ900等の外部のサーバからダウンロードする。
また、ユーザに対しコンテンツのガイドを表示する装置は、情報処理装置100と近距離無線通信により接続するウェアラブル端末200等であってもよい。ウェアラブル端末200は、プロセッサと、メモリと、ディスプレイと、通信インタフェースとを備える。ウェアラブル端末200は、情報処理装置100Bと、例えばBluetooth(登録商標)によって通信接続する。ウェアラブル端末200は、ユーザによって装着され、ウェアラブル端末200のディスプレイに、コンテンツに関する動画データ等を表示してユーザに視聴させることができる。また、図14の例では、ウェアラブル端末200は、眼鏡型の端末であるものとして示しているが、その他のウェアラブル端末であってもよく、例えば腕に装着可能な端末であってもよい。
<変形例2 実施の形態2の変形例>
実施の形態2において、情報処理装置100は、予め視聴制限のないARマーカ画像と、視聴制限のあるARデータを表示するためのARマーカ画像とをメモリに保持しておき、各コンテンツについて、視聴制限のあるARデータを表示するためのマーカ画像の設定があるか否かをコンテンツ管理テーブル31において保持することとしてもよい。
実施の形態2において、情報処理装置100は、予め視聴制限のないARマーカ画像と、視聴制限のあるARデータを表示するためのARマーカ画像とをメモリに保持しておき、各コンテンツについて、視聴制限のあるARデータを表示するためのマーカ画像の設定があるか否かをコンテンツ管理テーブル31において保持することとしてもよい。
また、実施の形態2において、複数種類のARマーカ画像を設置可能としているが、情報処理装置100は、ARマーカ画像の種類に対応して、画像ファイル、音声ファイル等を保持しておき、AR処理において検出されたARマーカ画像の種類に応じた画像ファイル等を再生することとしてもよい。これにより、ARマーカの種類に応じたガイダンスをユーザに提供することができる。
<変形例3 ディスプレイ6に表示するコンテンツを指定する方法>
上記の各実施形態の説明では、情報処理装置100は、ユーザの入力操作によって指定されたコンテンツの識別情報を記憶し、ユーザが指定したコンテンツの識別情報に対応する画像データ等をディスプレイ6に表示している。この他に、情報処理装置100は、GPS(Global Positioning System)機能、無線LANルータ等との通信による位置測位機能などを備え、各コンテンツの設置位置に関する情報を記憶することで、コンテンツの設置位置と情報処理装置100の位置とに基づいて、ディスプレイ6に表示する対象のコンテンツの識別情報を特定することとしてもよい。例えば、情報処理装置100は、情報処理装置100の位置から最も近い設置位置のコンテンツを、ディスプレイ6に表示する対象のコンテンツの識別情報として特定する。これにより、ユーザが入力操作を行うことなく、情報処理装置100は、ディスプレイ6に表示すべきコンテンツを特定することができる。
上記の各実施形態の説明では、情報処理装置100は、ユーザの入力操作によって指定されたコンテンツの識別情報を記憶し、ユーザが指定したコンテンツの識別情報に対応する画像データ等をディスプレイ6に表示している。この他に、情報処理装置100は、GPS(Global Positioning System)機能、無線LANルータ等との通信による位置測位機能などを備え、各コンテンツの設置位置に関する情報を記憶することで、コンテンツの設置位置と情報処理装置100の位置とに基づいて、ディスプレイ6に表示する対象のコンテンツの識別情報を特定することとしてもよい。例えば、情報処理装置100は、情報処理装置100の位置から最も近い設置位置のコンテンツを、ディスプレイ6に表示する対象のコンテンツの識別情報として特定する。これにより、ユーザが入力操作を行うことなく、情報処理装置100は、ディスプレイ6に表示すべきコンテンツを特定することができる。
<まとめ>
上述のように、本実施の形態または変形例に係る情報処理装置100は、コンテンツに関するガイダンス用の情報を、ユーザに対し、簡易な入力操作で提供することができる。また、コンテンツの展示とともにマーカ画像を設置し、情報処理装置100においてマーカ画像を検出してARデータをディスプレイ6に表示することで、コンテンツの展示場所で利用可能なガイドをユーザに提供することができ、ユーザが展示場所を訪問することを促すことができる。
上述のように、本実施の形態または変形例に係る情報処理装置100は、コンテンツに関するガイダンス用の情報を、ユーザに対し、簡易な入力操作で提供することができる。また、コンテンツの展示とともにマーカ画像を設置し、情報処理装置100においてマーカ画像を検出してARデータをディスプレイ6に表示することで、コンテンツの展示場所で利用可能なガイドをユーザに提供することができ、ユーザが展示場所を訪問することを促すことができる。
このように、コンテンツに関するガイダンス用の情報を提供する情報処理装置100は、例えば、美術館や博物館において展示される展示対象の作品の解説に用いることができる。この他にも、動物園や植物園における鑑賞対象物の解説、観光資源の解説などにも用いることができる。例えば、観光資源の解説では、ARデータとして、観光資源に関する歴史を表示することとしてもよいし、映画などのロケ地に使用された観光地では映画などに関する情報を表示してもよいし、アニメーション作品、漫画、ゲームなどの作品の作画に使用された観光地や小説などの文学作品の舞台になった観光地であれば、これらアニメーション作品等に登場するキャラクターなどを表示してもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
100 情報処理装置、200 ウェアラブル端末、600 無線基地局、700 ルータ、800 ネットワーク、900 配信サーバ、300 ARマーカ、301 ARマーカ、1,2 アンテナ、3 遠距離通信用モジュール、4 近距離通信用モジュール、5 タッチパネル、6 ディスプレイ、7 カメラ、8 電源制御部、9 バッテリ、10 マイク、11 スピーカ、12 音声処理部、13 記憶部、14 制御部。
Claims (10)
- ガイダンス用の情報を表示するための情報処理装置であって、
入力操作を受け付けるための操作受付部と、
撮影により撮影画像データを得るためのカメラと、
表示部と、
特定の被写体を示す参照用画像、および、複数のコンテンツの識別情報それぞれについて、前記識別情報に対応する第1のコンテンツデータを記憶するための記憶部と、
前記入力操作に基づいて、前記情報処理装置の動作を制御する制御部とを備え、
前記制御部は、
前記撮影画像データに対し、前記参照用画像に基づいて画像認識処理を施すことにより、前記撮影画像データから前記特定の被写体を検出するための処理を行う検出処理部と、
前記カメラを駆動し、前記検出処理部により前記特定の被写体が前記撮影画像データから検出された場合に、前記表示部に表示する対象の表示対象コンテンツの識別情報に対応する前記第1のコンテンツデータを前記表示部に表示させる表示処理部とを含む、情報処理装置。 - 前記操作受付部は、前記表示対象コンテンツを指定するための入力操作を受け付け、
前記表示処理部は、
前記表示対象コンテンツを指定するための前記入力操作に応じて前記表示対象コンテンツの識別情報を設定し、設定された前記識別情報に対応する前記表示対象コンテンツの前記第1のコンテンツデータを、前記特定の被写体が前記撮影画像データから検出された場合に前記表示部に表示させる、請求項1記載の情報処理装置。 - 前記記憶部は、
前記コンテンツの識別情報それぞれと対応付けて、前記第1のコンテンツデータとして、前記特定の被写体の前記検出処理部による検出時に前記表示部に表示するための映像データを記憶し、第2のコンテンツデータとして、コンテンツに関連する音声データまたは動画データの少なくともいずれか一方を記憶し、
前記表示処理部は、
前記操作受付部により第2のコンテンツデータを再生するための入力操作を受け付けた場合に、前記表示対象コンテンツの識別情報に対応する前記音声データまたは前記動画データを再生し、
前記操作受付部により前記検出処理部による検出処理を実行するための入力操作を受け付けた場合に、前記撮影画像データからの前記特定の被写体の検出結果に応じて前記映像データを再生する、請求項1記載の情報処理装置。 - 前記記憶部は、
第2のコンテンツデータとして、前記コンテンツに関連する音声データ、動画データ、および前記コンテンツに付帯する付帯情報を記憶し、
前記第1のコンテンツデータとして、前記特定の被写体の前記検出処理部による検出時に前記表示部に表示するための映像データを記憶し、
前記表示処理部は、
前記操作受付部により前記付帯情報を表示するための入力操作を受け付けた場合は、前記表示対象コンテンツの識別情報に対応する前記付帯情報を前記表示部に表示させる、請求項1記載の情報処理装置。 - 前記記憶部は、前記コンテンツに付帯する付帯情報として、前記コンテンツに関する地図情報を記憶し、
前記表示処理部は、前記操作受付部により前記付帯情報を表示するための入力操作を受け付けた場合に、前記表示対象コンテンツの識別情報に対応する前記地図情報を前記表示部に表示させる、請求項4記載の情報処理装置。 - 前記記憶部は、
前記複数のコンテンツそれぞれについて、コンテンツの表示に制限があるか否かを管理するための管理情報を記憶し、前記制限があるコンテンツの表示が許可されているか否かの設定情報を記憶するためのものであり、
前記表示処理部は、
コンテンツの表示に制限がある前記表示対象コンテンツについて、前記設定情報に従って、前記第1のコンテンツデータの前記表示部への表示を制御する、請求項1記載の情報処理装置。 - 前記記憶部は、複数種類の前記特定の被写体について、前記特定の被写体それぞれを示す前記参照用画像を記憶し、
前記検出処理部は、前記参照用画像に基づいて、前記撮影画像データから前記複数種類の前記特定の被写体それぞれを検出するための処理を行い、
前記表示処理部は、前記特定の被写体が前記撮影画像データから検出された場合に、検出された前記特定の被写体の種類に応じて前記第1のコンテンツデータの表示を制御する、請求項1記載の情報処理装置。 - 前記記憶部は、
コンテンツの表示に制限があることを示す前記特定の被写体の前記参照用画像と、前記視聴制限があるコンテンツの表示が許可されているか否かの設定情報とを記憶し、
前記表示処理部は、
前記設定情報を読み出して、前記撮影画像データから、前記コンテンツの表示に制限があることを示す前記特定の被写体が検出された場合に、前記設定情報に従って、前記第1のコンテンツデータの前記表示部への表示を制御する、請求項7記載の情報処理装置。 - 前記表示処理部は、
前記撮影画像データから、前記コンテンツの表示に制限があることを示す前記特定の被写体が検出され、前記設定情報において前記視聴制限があるコンテンツの表示が許可されていない場合に、前記制限を解除するための入力操作を受け付ける画面を前記表示部に表示する、請求項8記載の情報処理装置。 - ガイダンス用の情報を表示するための情報処理装置の動作を制御するためのプログラムであって、前記情報処理装置は、プロセッサと、メモリと、入力操作を受け付けるための操作受付部と、撮影により撮影画像データを得るためのカメラと、ディスプレイとを備え、
前記メモリは、特定の被写体を示す参照用画像、および、複数のコンテンツの識別情報それぞれについて、前記識別情報に対応するコンテンツデータを記憶するためのものであり、
前記プログラムは、前記プロセッサに、
前記撮影画像データに対し、前記参照用画像に基づいて画像認識処理を施すことにより、前記撮影画像データから前記特定の被写体を検出するための処理を行うステップと、
前記カメラを駆動し、前記特定の被写体が前記撮影画像データから検出された場合に、前記ディスプレイに表示する対象の表示対象コンテンツの識別情報に対応する前記コンテンツデータを前記ディスプレイに表示させるステップとを実行させる、プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013133702A JP2015011360A (ja) | 2013-06-26 | 2013-06-26 | 情報処理装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013133702A JP2015011360A (ja) | 2013-06-26 | 2013-06-26 | 情報処理装置およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015011360A true JP2015011360A (ja) | 2015-01-19 |
Family
ID=52304505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013133702A Pending JP2015011360A (ja) | 2013-06-26 | 2013-06-26 | 情報処理装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015011360A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017191005A (ja) * | 2016-04-13 | 2017-10-19 | 凸版印刷株式会社 | 携帯通信端末、携帯通信端末を制御するためのプログラム、情報処理方法、および、コンピュータに情報処理方法を実現させるためのプログラム |
| JP2017191245A (ja) * | 2016-04-14 | 2017-10-19 | 株式会社豊田総合研究所 | Arシステム |
| JP2018010025A (ja) * | 2016-07-11 | 2018-01-18 | キヤノン株式会社 | デバイス及びコンピュータプログラム |
| WO2018167843A1 (ja) * | 2017-03-14 | 2018-09-20 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
| JP2019139793A (ja) * | 2019-04-17 | 2019-08-22 | Kddi株式会社 | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体 |
| KR20190105989A (ko) * | 2018-03-07 | 2019-09-18 | 케이애드에스엔씨 주식회사 | 전시관 증강현실 안내시스템 |
| JP2020501265A (ja) * | 2016-12-05 | 2020-01-16 | ケース ウェスタン リザーブ ユニバーシティCase Western Reserve University | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 |
| US10817123B2 (en) | 2015-05-26 | 2020-10-27 | Mitsubishi Heavy Industries, Ltd. | Operation assistance apparatus and operation assistance method |
| WO2022264377A1 (ja) * | 2021-06-17 | 2022-12-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
| US11661515B2 (en) | 2019-07-30 | 2023-05-30 | Dupont Toray Specialty Materials Kabushiki Kaisha | Curable silicone composition, optical semiconductor device and a method of manufacturing the same |
| US12020667B2 (en) | 2016-12-05 | 2024-06-25 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09134388A (ja) * | 1991-07-05 | 1997-05-20 | Hagiwara Denki Kk | 展示品説明媒体編集装置 |
| JP2001265801A (ja) * | 2000-03-17 | 2001-09-28 | Sony Corp | 検索システムおよび検索方法、ならびに、入力装置および入力方法 |
| JP2003264740A (ja) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | 展望鏡 |
| JP2012033073A (ja) * | 2010-07-30 | 2012-02-16 | Dainippon Printing Co Ltd | 付加情報提供システム及び撮像装置 |
| JP2012048456A (ja) * | 2010-08-26 | 2012-03-08 | Canon Inc | 情報処理装置およびその方法 |
-
2013
- 2013-06-26 JP JP2013133702A patent/JP2015011360A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09134388A (ja) * | 1991-07-05 | 1997-05-20 | Hagiwara Denki Kk | 展示品説明媒体編集装置 |
| JP2001265801A (ja) * | 2000-03-17 | 2001-09-28 | Sony Corp | 検索システムおよび検索方法、ならびに、入力装置および入力方法 |
| JP2003264740A (ja) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | 展望鏡 |
| JP2012033073A (ja) * | 2010-07-30 | 2012-02-16 | Dainippon Printing Co Ltd | 付加情報提供システム及び撮像装置 |
| JP2012048456A (ja) * | 2010-08-26 | 2012-03-08 | Canon Inc | 情報処理装置およびその方法 |
Non-Patent Citations (1)
| Title |
|---|
| 青木 功介: "スマートフォンを活用した園内ナビゲーションシステム", INTEC TECHNICAL JOURNAL 2012 第12号, vol. 2012 第12号, JPN6017017740, 30 January 2012 (2012-01-30), JP, pages 30 - 35, ISSN: 0003560373 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10817123B2 (en) | 2015-05-26 | 2020-10-27 | Mitsubishi Heavy Industries, Ltd. | Operation assistance apparatus and operation assistance method |
| JP2017191005A (ja) * | 2016-04-13 | 2017-10-19 | 凸版印刷株式会社 | 携帯通信端末、携帯通信端末を制御するためのプログラム、情報処理方法、および、コンピュータに情報処理方法を実現させるためのプログラム |
| JP2017191245A (ja) * | 2016-04-14 | 2017-10-19 | 株式会社豊田総合研究所 | Arシステム |
| JP2018010025A (ja) * | 2016-07-11 | 2018-01-18 | キヤノン株式会社 | デバイス及びコンピュータプログラム |
| US11915670B2 (en) | 2016-12-05 | 2024-02-27 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| JP7409692B2 (ja) | 2016-12-05 | 2024-01-09 | ケース ウェスタン リザーブ ユニバーシティ | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 |
| CN114236837B (zh) * | 2016-12-05 | 2025-09-09 | 凯斯西储大学 | 用于显示交互式增强现实展示的系统、方法和介质 |
| JP2020501265A (ja) * | 2016-12-05 | 2020-01-16 | ケース ウェスタン リザーブ ユニバーシティCase Western Reserve University | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 |
| US12260842B2 (en) | 2016-12-05 | 2025-03-25 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| US10937391B2 (en) | 2016-12-05 | 2021-03-02 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| US12020667B2 (en) | 2016-12-05 | 2024-06-25 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| JP2022046670A (ja) * | 2016-12-05 | 2022-03-23 | ケース ウェスタン リザーブ ユニバーシティ | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 |
| CN114236837A (zh) * | 2016-12-05 | 2022-03-25 | 凯斯西储大学 | 用于显示交互式增强现实展示的系统、方法和介质 |
| JP2024037868A (ja) * | 2016-12-05 | 2024-03-19 | ケース ウェスタン リザーブ ユニバーシティ | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 |
| US11580935B2 (en) | 2016-12-05 | 2023-02-14 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| WO2018167843A1 (ja) * | 2017-03-14 | 2018-09-20 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
| US11030980B2 (en) | 2017-03-14 | 2021-06-08 | Nec Corporation | Information processing apparatus, information processing system, control method, and program |
| KR20190105989A (ko) * | 2018-03-07 | 2019-09-18 | 케이애드에스엔씨 주식회사 | 전시관 증강현실 안내시스템 |
| KR102055627B1 (ko) * | 2018-03-07 | 2019-12-13 | 케이애드에스엔씨 주식회사 | 전시관 증강현실 안내시스템 |
| JP2019139793A (ja) * | 2019-04-17 | 2019-08-22 | Kddi株式会社 | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体 |
| US11661515B2 (en) | 2019-07-30 | 2023-05-30 | Dupont Toray Specialty Materials Kabushiki Kaisha | Curable silicone composition, optical semiconductor device and a method of manufacturing the same |
| JPWO2022264377A1 (ja) * | 2021-06-17 | 2022-12-22 | ||
| WO2022264377A1 (ja) * | 2021-06-17 | 2022-12-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
| JP7574929B2 (ja) | 2021-06-17 | 2024-10-29 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015011360A (ja) | 情報処理装置およびプログラム | |
| JP4334602B1 (ja) | 情報処理装置、情報処理システム、および情報処理プログラム | |
| CN110377365B (zh) | 展示小程序的方法和装置 | |
| CN111147878B (zh) | 直播中的推流方法、装置及计算机存储介质 | |
| JP6186443B2 (ja) | 録音方法、再生方法、装置、端末、システム、プログラム及び記録媒体 | |
| CN111966275B (zh) | 程序试用方法、系统、装置、设备及介质 | |
| KR101598710B1 (ko) | 이동단말기 및 그 제어방법 | |
| CN113473224B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| US20170123758A1 (en) | Voice control device, voice control method and program | |
| CN113395566B (zh) | 视频播放方法、装置、电子设备及计算机可读存储介质 | |
| CN111901658A (zh) | 评论信息显示方法、装置、终端及存储介质 | |
| CN111083526B (zh) | 视频转场方法、装置、计算机设备及存储介质 | |
| CN108900925B (zh) | 设置直播模板的方法和装置 | |
| CN114302160A (zh) | 信息显示方法、装置、计算机设备及介质 | |
| US10771445B2 (en) | Electronic device, server, electronic device controlling method, information processing method and recording medium | |
| CN113467663A (zh) | 界面配置方法、装置、计算机设备及介质 | |
| CN109618192B (zh) | 播放视频的方法、装置、系统和存储介质 | |
| CN110991260A (zh) | 场景标注方法、装置、设备及存储介质 | |
| CN110400179B (zh) | 标识数据获取方法、装置及存储介质 | |
| CN112073768B (zh) | 蓝牙通信方法及显示设备 | |
| KR20140016714A (ko) | 종교 생방송 컨텐츠 제공 장치 및 방법 | |
| CN112995760A (zh) | 视频处理方法、装置、设备及计算机存储介质 | |
| CN116112702B (zh) | 直播方法、装置、电子设备以及存储介质 | |
| CN114816622B (zh) | 场景画面显示方法、装置、电子设备及存储介质 | |
| KR20160025279A (ko) | 이동 단말기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160523 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171114 |