JP2014095979A - 電子機器、画像データ処理方法およびプログラム - Google Patents

Abstract

【課題】顔などの画像中の特定のオブジェクトの認識結果を利用して、特定のイベントなどに関係した画像を効率よく検索する。
【解決手段】撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する。そして、その第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する。さらに、第１および第２のオブジェクト識別データと画像データの付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする。
【選択図】図８

Description

本開示は、画像データの表示などを行う電子機器、およびその電子機器に適用される画像データ処理方法、ならびにその画像データ処理方法を実行するプログラムに関する。

従来、デジタルカメラなどの静止画像や動画像を扱う電子機器において、撮影した画像に含まれる人物の顔を画像解析処理で検出して、その検出結果に基づいた処理を行う技術が普及している。例えば、特許文献１には、動画像の記録装置において、検出した顔の形状に基づいて被写体の人物を特定し、その特定した人物が写っている過去の記録画像を検索して、動画像のプレイリストを作成する技術についての記載がある。
このような顔画像の検出結果に基づいて動画像のプレイリストを作成することで、自動的に被写体の人物に関係した画像が再生できるようになる。

特開２００９−３３３５１号公報

ところが、特許文献１に記載のように、単に同一人物が写っている画像を探すような処理では、的確な画像の検索が行えているとは言えない。例えば、ＡさんとＢさんの二人で旅行した際に撮影した画像を、顔検出で検索する場合を想定する。
このような場合、電子機器の利用者は、Ａさんの顔を検索対象として指定することで、電子機器が、Ａさんの顔が写っている画像を検索し、Ａさんが一人で写っている画像と、ＡさんとＢさんが一緒に写っている画像を探し出す。

ところが、Ｂさんだけが一人で写っている画像があった場合、そのような画像はＡさんの顔を検索対象として指定した状態では検索されない。このような場合、利用者は、改めてＢさんの顔についても検索対象とする設定操作が必要になり、結局、旅行という１つのイベントに係わる画像を検索するのに手間がかかってしまう。また、旅行中に撮影した画像で、ＡさんとＢさんの二人とも写っていない画像については、ＡさんとＢさんのいずれの顔を検索対象にしても、検索されない。

本開示の電子機器、画像データ処理方法およびプログラムは、顔などの画像中の特定のオブジェクトの認識結果を利用して、特定のイベントなどに関係した画像を効率よく検索できるようにすることを目的とする。

本開示の電子機器は、画像データから特定のオブジェクトを取得するオブジェクト検出部と、検索対象の画像データの付加データを取得する付加データ取得部と、画像検索処理部とを備える。
オブジェクト検出部は、撮像して取得した画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する。そして、その取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する。
画像検索処理部は、第１および第２のオブジェクト識別データと付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする。

本開示の画像データ処理方法は、観察者を撮像して取得した画像データから特定のオブジェクトを取得する第１および第２のオブジェクト識別データ取得処理と、検索対象の画像データの付加データを取得する付加データ取得処理と、表示候補選定処理とを行う。
第１のオブジェクト識別データ取得処理は、撮像処理で撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する。
第２のオブジェクト識別データ取得処理は、第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データ同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する。
表示候補選定処理は、第１および第２のオブジェクト識別データと付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする。

本開示のプログラムは、以下の各手順をコンピュータが行うものである。
（ａ）撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得手順。
（ｂ）第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得手順。
（ｃ）検索対象の画像データの付加データを取得する付加データ取得手順。
（ｄ）第１および第２のオブジェクト識別データと付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定手順。

本開示によると、撮像した画像から検出したオブジェクトと同一のオブジェクトが存在する画像データが、検索対象の画像データ群から検索され、第１の候補画像データとなる。そして、その第１の候補画像データから検出した別のオブジェクトが存在する画像データが、検索対象の画像データ群から検索され、第２の候補画像データとなる。したがって、撮像した画像から検出したオブジェクトに関連した別のオブジェクトを使用した検索についても行われるようになる。

本開示によると、撮像して得られた画像から検出したオブジェクトと、そのオブジェクトを使って検索された画像から得られた別のオブジェクトの、少なくとも２つのオブジェクトを使用した画像の検索が行われ、画像の検索が効率良く行えるようになる。

本開示の一実施の形態による利用形態の例を示す説明図である。 本開示の一実施の形態による表示装置の構成例を示すブロック図である。 本開示の一実施の形態による表示候補画像選択処理例を示すフローチャートである。 本開示の一実施の形態による候補画像の優先順位設定処理例を示すフローチャートである。 本開示の一実施の形態による第三者の選定処理例を示すフローチャートである。 本開示の一実施の形態によるイベント分類条件の設定処理例を示すフローチャートである。 本開示の一実施の形態による表示候補画像の編集処理例を示すフローチャートである。 本開示の一実施の形態によるイベント分けの例を示す説明図である。 本開示の一実施の形態によるイベント分けされたファイルの表示画面の例を示す図である。 本開示の一実施の形態によるイベント分類条件の選択画面の例を示す図である。 本開示の一実施の形態による第三者の選択画面の例を示す図である。 本開示の一実施の形態によるシークレット設定画面の例を示す図である。 本開示の一実施の形態によるシークレット設定する人物の選択画面の例を示す図である。 本開示の一実施の形態によるシークレット設定したファイルの一覧画面の例を示す図である。 本開示の一実施の形態の変形例による表示画面（他の鑑賞者と共有する例）を示す図である。

本開示の一実施の形態の例を、以下の順序で説明する。
１．利用形態の概要（図１）
２．表示装置の構成例（図２）
３．表示候補画像選択処理例（図３）
４．候補画像の優先順位設定処理例（図４）
５．第三者の選定処理例（図５）
６．イベント分類条件の設定処理例（図６）
７．表示候補画像の編集処理例（図７）
８．イベントの分類例および表示例（図８，図９）
９．イベントの分類条件の設定画面の例（図１０，図１１）
１０．シークレット設定画面の例（図１２〜図１４）
１１．変形例（図１５）

［１．利用形態の概要］
図１は、本開示の一実施の形態の例の利用形態の概要を示す図である。
図１に示すように、表示装置１００は表示パネル１１０と撮像部１２０を備える。撮像部１２０は、表示パネル１１０で表示される画像の観察者ａを撮像する。
また、表示装置１００は、予め多数の静止画像や動画像を画像ファイルとして蓄積し、その蓄積した画像ファイル内の画像を検索する機能を有する。検索対象の画像ファイルは、表示装置１００の外部が記憶してもよい。画像ファイル内の画像は、静止画像と動画像のいずれでもよい。検索対象の画像ファイル内の各画像データは、撮影日時や撮影場所などの付加データを有する。

そして、表示装置１００は、撮像部１２０が撮像して得た観察者ａの顔を画像解析処理で検出し、顔の特徴を示す情報を取得する。この顔の特徴を示す情報を取得すると、表示装置１００は、蓄積した画像ファイルを検索し、観察者ａの顔が写っている画像を探し出す。そして、表示パネル１１０は、探し出した画像の一覧を表示する。
例えば、図１の下側に示すように、表示パネル１１０の画面１１０ａが、「Ａさんが参加しているイベント」として、観察者ａの顔が写っている第１のグループの画像Ｐ１と、第２のグループの画像Ｐ２と、第３のグループの画像Ｐ３のアイコンを表示する。

さらに本実施の形態の例の場合には、それぞれのグループの画像Ｐ１，Ｐ２，Ｐ３の画像解析処理を行い、画像内に写っている顔の検出処理を行い、その中で特定の人の顔が複数あったとき、その人を知人に設定する。そして、表示装置１００は、蓄積した画像ファイルを検索し、その知人の顔が写っている画像を探し出し、知人の顔が写っている第４のグループの画像Ｐ４と、第５のグループの画像Ｐ５のアイコンを表示する。なお、画像のグループ分けは、それぞれの画像データの付加データに基づいて行う。例えば、撮影日や撮影場所に基づいて、表示装置１００がグループ分けを行う。

それぞれのアイコンＰ１〜Ｐ５のいずれかを観察者ａがリモートコントローラなどの操作で選択することで、表示パネル１１０は、その選択されたアイコンで示すグループの画像を順に表示する。
このように本実施の形態の例では、表示装置１００は、その表示装置１００の前にいる観察者自身が写っている画像を検索して表示することができる。さらに、その観察者自身が写っている画像に、観察者と一緒に写っていることがある人を知人とし、表示装置１００が、その知人が写っている画像についても検索して表示することができる。

［２．表示装置の構成例］
図２は、表示装置１００の構成例を示す図である。
表示装置１００は、液晶画像表示パネルなどから構成される表示パネル１１０を備え、表示パネル駆動部１１２が表示パネル１１０での画像表示の駆動を行う。表示パネル１１０が表示する画像データは、画像選択部１３２で選択されて画像処理部１１１に供給される。画像処理部１１１で表示のための画像処理が施された画像データが、表示パネル駆動部１１２に供給される。

表示装置１００は、テレビジョン放送などを受信するチューナ１３１を備え、チューナ１３１で受信して得た画像データが、画像選択部１３２を介して画像処理部１１１に供給され、表示パネル１１０が表示を行う。但し、表示装置１００はチューナ１３１を備えない構成でもよい。また、表示装置１００内の画像データ蓄積部１３４が蓄積した画像データなどが、画像選択部１３２を介して画像処理部１１１に供給され、表示パネル１１０が表示を行う。

画像データ蓄積部１３４は、例えばハードディスクドライブ装置や半導体メモリなどを使用した比較的大容量の画像データ記憶部である。画像データ蓄積部１３４は、例えば外部のカメラ装置（図示せず）から転送された画像データ（静止画像データおよび動画像データ）を蓄積する。画像データ蓄積部１３４が蓄積する画像データには、撮影日時や撮影場所などの付加データを有する。

また、表示装置１００は、顔認識処理部１３５を備え、画像データ蓄積部１３４が蓄積した画像の解析処理を行って、画像内の顔を検出する処理を行う。但し、後述する変形例で述べるように、検出する対象が顔以外のオブジェクトである場合には、顔認識処理部１３５が、その顔以外のオブジェクト検出部として機能する。顔認識処理部１３５が検出した結果が、制御部１３７に供給される。
さらに、表示装置１００は、付加データ取得部１３６を備え、画像データ蓄積部１３４が蓄積した画像の付加データを取得する。この付加データ取得部１３６が取得した付加データを制御部１３７が判断して、制御部１３７が画像データのグループ分けを行う。
そして、制御部１３７は、顔認識処理部１３５での検出結果や、各画像データの付加データなどに基づいて、画像データ蓄積部１３４が蓄積した画像の検索処理を行う。したがって、制御部１３７は、画像検索処理部としての機能を有する。
なお、制御部１３７が、画像の検索やグループ分けなどの処理の制御を行う際には、内部バスを介して制御部１３７と接続されたメモリ１３８を使用して、データの一時記憶や検索結果の記憶などを行う。画像の検索処理を実行するプログラムは、例えばメモリ１３８が記憶する。

また、表示装置１００は、撮像部１２０を備える。撮像部１２０は、図１に示すように、表示装置１００の前方にいる観察者の顔を撮像するものである。撮像部１２０が撮像して得た画像データが、顔認識処理部１３５に供給され、顔認識処理部１３５が、撮像部１２０が撮像した画像内に写っている顔の検出処理を行う。顔認識処理部１３５が検出した顔の情報が、制御部１３に供給される。なお、表示パネル１１０が、撮像部１２０が撮像した画像を表示するようにしてもよい。また、撮像部１２０は表示装置１００と一体でなくてもよい。

さらに、表示装置１００は、通信部１３３を備え、通信部１３３がネットワーク９０を経由して、外部のサーバ９１や端末装置９２と通信を行う。この通信部１３３による通信で、サーバ９１や端末装置９２が蓄積した画像データを、制御部１３７が検索するようにしてもよい。あるいは、検索処理そのものは、サーバ９１や端末装置９２が行い、表示装置１００の制御部１３７は、検索結果を取得するようにしてよい。

［３．表示候補画像選択処理例］
図３は、本開示の一実施の形態による表示候補画像選択処理の全体の流れの例を示すフローチャートである。ここでは、表示装置１００内の画像データ蓄積部１３４が蓄積した画像データを検索対象とし、制御部１３７が検索した結果を表示パネル１１０が表示するものとする。また、検索対象の画像データは、予めイベントごとにグループ分けが行われているものとする。このイベントごとにグループ分けを行う条件は後述する（図６のフローチャート）。なお、画像データ蓄積部１３４が蓄積した画像データの内で、グループ分けでいずれのイベントにも属さない画像データについては、検索対象の画像データの候補から除外してもよい。

まず、制御部１３７は、撮像部１２０が撮像した画像から、顔認識処理部１３５で観察者の顔が検出されたか否かを判断する（ステップＳ１１）。この判断で、顔が検出されない場合、制御部１３７は、顔が検出されるまで待機する。そして、顔が検出されたと判断したとき、顔認識処理部１３５が鑑賞者の顔の識別処理を行い、顔の識別情報を取得する（ステップＳ１２）。

鑑賞者の顔の識別情報を取得すると、顔認識処理部１３５が、画像データ蓄積部１３４が蓄積した検索対象の全ての画像データについて、顔認識処理を行う（ステップＳ１３）。この顔認識処理で、制御部１３７は、鑑賞者の顔が検出されたか否かを判断する（ステップＳ１４）。この判断で、鑑賞者の顔が検出されない場合は、表示候補となる画像がなく、表示候補選択処理を終了する。

そして、ステップＳ１３で鑑賞者の顔が検出された場合には、制御部１３７は、鑑賞者の顔が検出された画像が属するグループ内の各画像から、鑑賞者以外の第三者の顔が検出されたか否かを判断する（ステップＳ１５）。なお、同じグループ内の画像に写っている第三者が複数（多数）である場合には、後述する図５のフローチャートの処理で、検索に使用する第三者を絞る処理を行う。

ステップＳ１５で鑑賞者以外の第三者の顔が検出された場合、さらに制御部１３７は、検出された第三者の顔が写った画像が含まれた別のイベントの検索を行う。そして、制御部１３７は、その検索で見つかったイベントの画像と、鑑賞者の顔が検出されたイベントの画像を表示候補とする（ステップＳ１６）。
また、ステップＳ１５で鑑賞者以外の第三者の顔が検出されない場合、制御部１３７は、鑑賞者の顔が検出されたイベントの画像を表示候補とする（ステップＳ１７）。

［４．候補画像の優先順位設定処理例］
図３のフローチャートの処理で表示候補となったイベントの画像には、それぞれの画像からの顔の検出状態に応じて、制御部１３７がイベントごとに表示候補の優先順位を付ける。そして、制御部１３７は、その優先順位に基づいて表示候補のアイコンの表示順序を決める。

図４のフローチャートは、表示候補のイベントの画像の優先順位の設定例である。まず、制御部１３７は、選び出されたイベントが、鑑賞者自身の顔が写っている画像を有するイベントであるか否かを判断する（ステップＳ２１）。この判断で、鑑賞者自身の顔だけが写っている画像を有するイベント（つまり第三者が写っていないイベント）である場合には、制御部１３７は、該当するイベント内の画像を、優先順位が１番目の候補画像にする（ステップＳ２２）。

また、ステップＳ２１で、鑑賞者自身の顔だけが写っているイベントでないと判断したとき、制御部１３７は、選び出されたイベントが、同一フレームの画像に鑑賞者と第三者が一緒に写っている画像を有するイベントであるか否かを判断する（ステップＳ２３）。この判断で、同一フレームの画像に鑑賞者と第三者が一緒に写っている画像を有するイベントである場合には、制御部１３７は、該当するイベント内の画像を、優先順位が２番目の候補画像にする（ステップＳ２４）。

また、ステップＳ２３で、鑑賞者と第三者が一緒に写っている画像がないイベントと判断したとき、制御部１３７は、選び出されたイベントが、第三者が写っている画像を有するイベントであるか否かを判断する（ステップＳ２５）。この判断で、第三者が写っている画像を有するイベントである場合には、該当するイベント内の画像を、優先順位が３番目の候補画像にする（ステップＳ２６）。そして、第三者が写っている画像がない場合には、誤って選択されたイベントであり、制御部１３７は、そのイベントを候補画像から削除する（ステップＳ２７）。

なお、図４のフローチャートでは、優先順位として１番目から３番目までを設定したが、例えば優先順位１番目と優先順位２番目の表示候補は、同じ優先順位に扱うようにしてもよい。

［５．第三者の選定処理例］
図５のフローチャートは、図３のフローチャートに示した第三者を確定する処理例である。
制御部１３７は、鑑賞者の顔が検出された画像に一緒に写っている別の顔が、同一イベント内の複数の画像から検出された顔であるか否かを判断する（ステップＳ３１）。ここでの複数の画像とは、例えば静止画像の場合には、１枚ごとの画像（１フレームごとの画像）を１つの画像とし、動画像の場合には、１記録単位の画像（例えば１回の記録開始から記録終了までの画像）を１つの画像とする。

この判断で、同一イベント内の複数の画像から検出された顔がある場合に、制御部１３７は、同一の顔が写っている数に応じて、上位の所定数の顔を、第三者の候補に選定する（ステップＳ３２）。
例えば、１つのイベントが１０枚の静止画像で構成され、その７枚の静止画像に鑑賞者の顔が写っているとする。さらに、鑑賞者以外の顔として、７枚の内の３枚に写っている顔（第１の顔）と、２枚に写っている顔（第２の顔）と、１枚にだけ写っている顔（第３の顔）があるとする。このとき、制御部１３７は、例えば一番多くの画像に写っている第１の顔を、第三者に確定する。あるいは、制御部１３７は、第１の顔と、第２の顔の二人を第三者に確定する。

図５のフローチャートの説明に戻ると、ステップＳ３１で、鑑賞者の顔が検出された画像から別の顔が検出されない場合、制御部１３７は、同一イベント内のその他の複数の画像から検出された複数の顔があるか否かを判断する（ステップＳ３３）。
この判断で、同一イベント内の鑑賞者が写っていない複数の画像から検出された顔がある場合に、制御部１３７は、同一の顔が写っている数に応じて、上位の所定数の顔を、第三者の候補に選定する（ステップＳ３４）。
例えば、１つのイベントを構成する多数の静止画像の内で、鑑賞者が写っていない画像が３枚であるとする。この３枚の内の全てに写っている顔（第４の顔）と、２枚に写っている顔（第５の顔）と、１枚だけに写っている顔（第６の顔）があるとする。このとき、制御部１３７は、例えば一番多くの画像に写っている第４の顔を、第三者に確定する。あるいは、制御部１３７は、第４の顔と、第５の顔の二人を第三者に確定する。

この図５のフローチャートの処理を行うことで、制御部１３７は、鑑賞者と比較的親しい関係にあると思われる第三者を選び出すようになる。

［６．イベント分類条件の設定処理例］
図６のフローチャートは、画像データ蓄積部１３４が蓄積した画像を、制御部１３７がイベントごとの画像に分類する場合の、分類条件を決める例である。この分類条件は、例えば表示装置１００の利用者（鑑賞者）が、リモートコントローラなどを操作して設定する。
まず制御部１３７は、分類条件として人物が設定されているか否かを判断する（ステップＳ４１）。この判断で、人物が分類条件に設定されている場合、イベント分類条件に指定された人物の顔を加える（ステップＳ４２）。この分類条件の設定があることで、制御部１３７は、例えば特定の人物の顔が写っている画像を、１つのイベントに分類する。

次に、制御部１３７は、分類条件として特定の被写体（物）が設定されているか否かを判断する（ステップＳ４３）。この判断で、特定の物が分類条件に設定されている場合、イベント分類条件に指定された物を加える（ステップＳ４４）。この分類条件の設定があることで、制御部１３７は、例えば特定の物が写っている画像を、１つのイベントに分類する。例えば、自動車という物が指定されたとき、制御部１３７は、自動車が写っている画像を、１つのイベントに分類する。

次に、制御部１３７は、分類条件として特定の被写体（物）が設定されているか否かを判断する（ステップＳ４３）。この判断で、特定の物が分類条件に設定されている場合、イベント分類条件に指定された物を加える（ステップＳ４４）。この分類条件の設定があることで、制御部１３７は、例えば特定の物が写っている画像を、１つのイベントに分類する。例えば、自動車という物が指定されたとき、制御部１３７は、自動車が写っている画像を、１つのイベントに分類する。

そして、制御部１３７は、分類条件として撮影場所が設定されているか否かを判断する（ステップＳ４５）。この判断で、撮影場所が分類条件に設定されている場合、イベント分類条件に撮影場所を加える（ステップＳ４６）。この分類条件の設定があることで、制御部１３７は、例えば各画像の付加データで撮影場所を判断し、撮影場所が近い画像同士を１つのイベントに分類する。

さらに、制御部１３７は、分類条件として撮影日が設定されているか否かを判断する（ステップＳ４７）。この判断で、撮影日が分類条件に設定されている場合、イベント分類条件に撮影日を加える（ステップＳ４８）。この分類条件の設定があることで、制御部１３７は、例えば各画像の付加データで撮影日を判断し、同じ日に撮影された画像を１つのイベントに分類する。

さらにまた、制御部１３７は、分類条件として撮影時間帯が設定されているか否かを判断する（ステップＳ４９）。この判断で、撮影時間帯が分類条件に設定されている場合、イベント分類条件に撮影時間帯を加える（ステップＳ５０）。この分類条件の設定があることで、制御部１３７は、例えば各画像の付加データで撮影時間帯を判断し、同じ撮影時間帯に撮影された画像を１つのイベントに分類する。例えば、夕方という時間帯を設定したとき、制御部１３７は、夕方の時間帯に撮影された画像を１つのイベントに分類する。

なお、複数の分類条件が同時に設定されている場合には、制御部１３７は、その複数の分類条件で１つのイベントに分類する処理を行う。例えば、撮影日と撮影場所の条件が設定されているとき、制御部１３７は、同じ撮影日の中で、同じ撮影場所の画像ごとに、別のイベントに分類する処理を行う。

［７．表示候補画像の編集処理例］
図７は、制御部１３７が、表示候補として画像を選ぶ際に、候補画像から除外する画像を選ぶ編集処理の例を示すフローチャートである。
まず、制御部１３７は、表示候補として選ばれたイベント内の画像に、シークレットタグが付与された画像があるか否かを判断する（ステップＳ６１）。この判断で、表示候補として選ばれた画像に、シークレットタグが付与された画像があったとき、制御部１３７は、該当する画像を、表示候補画像から除く処理を行う（ステップＳ６３）。シークレットタグは、予め表示装置１００の利用者が、画像データ蓄積部１３４に蓄積された画像の中で、公開したくない画像に対して設定されるものである。

また、ステップＳ６１で、シークレットタグが付与された画像がないと判断した場合、制御部１３７は、表示候補として選ばれた画像の中に、表示除外者として設定された人物の顔が写っている画像があるか否かを判断する（ステップＳ６２）。
この判断で、表示候補として選ばれた画像に、表示除外者として設定された人物の顔が写っているとき、制御部１３７は、ステップＳ６３の処理に移り、該当する画像を、表示候補画像から除く処理を行う。

［８．イベントの分類例および表示例］
次に、本開示の実施の形態の例で表示候補として分類される例と、表示候補の表示画面の例について説明する。
図８は、画像データ蓄積部１３４が蓄積した検索対象の画像が、５つのイベント１〜５に分類されたとき、それぞれのイベント１〜５が、表示候補になるか否かを示す図である。
この図８の例では、観察者ａと第三者ｂとが写っている画像がある場合の例である。
例えば、イベント１とイベント３には、観察者ａと第三者ｂとが同一フレーム内に一緒に写っている画像が少なくとも１枚ある。イベント４には、観察者ａだけが写っている画像が少なくとも１枚ある。イベント５には、第三者ｂだけが写っている画像が少なくとも１枚ある。イベント２の画像には、観察者ａと第三者ｂは全く写っていない。

このような５つのイベント１〜５に分類された画像があるとき、制御部１３７は、イベント１，３，４，５を表示候補に選び、イベント２を表示候補にしない。すなわち、制御部１３７は、観察者自身が写っているイベント１，３，４を表示候補に選ぶと共に、イベント１，３内の複数の画像に写っている第三者ｂの画像があるイベント５を表示候補に選ぶ。したがって、本実施の形態の例の表示装置によると、観察者と親しいと思われる第三者（知人、家族など）が写ったイベントについても自動的に表示候補になり、表示候補の選定が良好に行われる。

図９は、表示装置１００の表示パネル１１０が行う、表示候補の表示例を示す図である。
この例では、表示パネル１１０の表示領域を上段と下段に分け、優先順位が高い画像を含むイベントである、観察者が参加しているイベントを示す画像群のアイコンの一覧が、上段に表示される。そして、優先順位が低い画像を含むイベントである、第三者（観察者の知人）が参加しているイベントを示す画像群のアイコンの一覧が、下段に表示される。
なお、この図９の例では、観察者の顔の画像を同時に表示した例を示す。

［９．イベントの分類条件の設定画面の例］
次に、図１０および図１１を参照して、イベントの分類条件や表示条件の設定画面の例を示す。
図１０に示すように、表示パネル１１０は、イベントの分類条件として、「人物」、「物」、「場所」、「日にち」、「時間帯」の５つの項目を表示し、その５つの項目の中で、利用者の操作で選択した項目にチェックの印を表示する。図１０の例は、「物」と「場所」をチェックした状態を示す。

図１１の例は、表示候補として選ぶイベントの条件として、特定の人物が含まれている画像を選ぶ画面の例である。この図１１に示すように、表示パネル１１０は、特定の画像を表示し、その画像内の特定の顔（図１１中に枠で囲んだ顔）が写っているイベントを表示するか否かを、利用者に選択させる画面を表示する。

［１０．シークレット設定画面の例］
図１２〜図１４は、画像にシークレットタグを設定する場合の操作画面の例を示す。
図１２は、シークレットタグを設定するイベントの条件の入力画面の例を示す。この例では、イベント分類の入力画面（図１０）と同様に、「人物」、「物」、「場所」、「日にち」、「時間帯」の５つの項目を表示し、その５つの項目の中で、利用者の操作で選択した項目にチェックの印を表示する。図１２の例は、「人物」と「場所」をチェックした状態を示す。

図１３は、特定の人物を非表示にする場合の設定画面の例を示す。図１３は、表示した画像中の非表示に設定したい人物の顔に枠を付けて、その人物が写っているイベントを非表示にするか否かを選択する表示形態を示す。このような画面で非表示を設定することで、検索候補から該当するイベントまたは画像が除外されるようになる。

図１４は、シークレットに設定した画像の一覧の画面の例である。図１４に示すように、表示パネル１１０は、シークレットに設定したイベントのアイコンとタイトルまたはファイル名の一覧を表示する。このとき、図１４の下側に示すように、例えば「これでＯＫ」と「編集する」の項目を表示する。利用者は、いずれかの項目を選択する操作を行うことで、シークレットに設定したイベントや画像を確定する場合と、再度編集する場合を選択することができる。

［１１．変形例］
図１５は、本開示の一実施の形態の変形例を示す図である。
この例では、ネットワーク９０で接続された他の端末装置９２（図２）と、画像の表示候補を共有する例を示す。
図１５では、画像の左下に相手の端末装置９２の利用者の画像を表示し、画像の右下に表示装置１００の観察者の画像を表示する。そして、端末装置９２側で表示候補になった画像を表示装置１００に転送して、表示装置１００が表示した状態を示す。
このように複数台の表示装置や端末装置の間で、表示候補の画像を共有することで、蓄積した画像の多彩な利用形態に対応できるようになる。

また、ここまで説明した実施の形態では、撮像装置が撮像した画像から観察者の顔の識別データを取得し、その観察者の顔の識別データに基づいて、検索対象の画像から同じ顔を検索するようにし、さらに別の者（第三者）の顔の識別データを取得するようにした。
これに対して、顔以外の画像中のオブジェクト（物体）を、同様の処理で識別して、そのオブジェクトの識別データを取得して、その識別データに基づいた同様の処理を行うようにしてもよい。例えば、特定の形状の自動車を撮像部で撮像したとき、その撮像した自動車と同一形状の自動車を、検索対象の画像から探し出すと共に、その自動車と一緒に写っている別のオブジェクト（自動車または人物など）を探し出すようにしてもよい。

また、ここまで説明した実施の形態では、表示装置に適用した例を示した。これに対して、その他の各種電子機器に本開示の実施の形態を適用してもよい。例えば、撮像部と表示部とを備えたスマートフォンと称される携帯電話端末装置や、タブレット端末と称される情報処理端末装置が、本開示の処理を行うようにしてもよい。これらの端末装置は、撮像部と表示部を備え、本開示の処理を行うプログラム（ソフトウェア）を実装することで、図１，図２に示す表示装置１００と同様の機能が実現できる。
また、コンピュータに、本開示の処理を行うプログラムを実装して、本開示の処理するようにしてもよい。プログラムは、例えば光ディスクや半導体メモリなどの記憶媒体に記憶させてもよい。あるいは、インターネットなどのネットワークを経由して、コンピュータにプログラムを伝送するようにしてもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
撮像部と、
前記撮像部が撮像した画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得すると共に、取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得するオブジェクト検出部と、
検索対象の画像データの付加データを取得する付加データ取得部と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする画像検索処理部とを備えた
電子機器。
（２）
前記オブジェクト検出部が検出する前記第１および第２のオブジェクト識別データは、画像に含まれる顔の識別データである
前記（１）記載の電子機器。
（３）
前記画像検索処理部は、前記付加データに基づいてグループ分けした候補画像データの内の、前記第１のオブジェクト識別データによる顔が検出されず、前記第２のオブジェクト識別データによる顔が検出される画像データが含まれるグループを、前記候補画像データに含ませる
前記（１）または（２）記載の電子機器。
（４）
前記第１のオブジェクト識別データによる顔が検出されず、前記第２のオブジェクト識別データによる顔が検出される画像データが含まれるグループは、前記第１のオブジェクト識別データによる顔と前記第２のオブジェクト識別データによる顔の双方が検出される画像データが含まれるグループより低い優先順位の表示候補にする
前記（３）記載の電子機器。
（５）
前記オブジェクト検出部は、前記第１のオブジェクト識別データによる顔が検出された画像データと同一グループの画像データを検索対象として、その検索対象の画像データ内より最も多く検出された顔から前記第２のオブジェクト識別データを得る
前記（１）〜（４）のいずれか１項に記載の電子機器。
（６）
前記画像検索処理部は、前記付加データで示される撮影場所と撮影日と撮影時間帯の少なくとも１つの要件に基づいて候補画像データをグループ分けする
前記（１）〜（５）のいずれか１項に記載の電子機器。
（７）
前記画像検索処理部は、シークレットにするタグが付加された画像データを、候補画像データから除外する
前記（１）〜（６）のいずれか１項に記載の電子機器。
（８）
観察者を撮像する撮像処理と、
前記撮像処理で撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得処理と、
前記第１のオブジェクト識別データ取得処理で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得処理と、
検索対象の画像データの付加データを取得する付加データ取得処理と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定処理とを含む
画像データ処理方法。
（９）
観察者を撮像する撮像手順と、
前記撮像手順で撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得手順と、
前記第１のオブジェクト識別データ取得手順で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得手順と、
検索対象の画像データの付加データを取得する付加データ取得手順と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定手順とを、
コンピュータに実行させる
プログラム。

さらに、本発明の請求項に記載した構成や処理は、上述した実施の形態の例に限定されるものではない。本発明の要旨を逸脱しない限り、種々の改変、組み合わせ、他の実施の形態例が生じうることは、当業者にとって当然のことと理解される。

９０…ネットワーク、９１…サーバ、９２…端末装置、１００…表示装置、１１０…表示パネル、１１１…画像処理部、１１２…表示パネル駆動部、１２０…撮像部、１３１…チューナ、１３２…画像選択部、１３３…通信部、１３４…画像データ蓄積部、１３５…顔認識処理部、１３６…付加データ取得部、１３７…制御部、１３８…メモリ

Claims (9)

1. 撮像して取得した画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得すると共に、取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得するオブジェクト検出部と、
   検索対象の画像データの付加データを取得する付加データ取得部と、
   前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする画像検索処理部とを備えた
   電子機器。
2. 前記オブジェクト検出部が検出する前記第１および第２のオブジェクト識別データは、画像に含まれる顔の識別データである
   請求項１記載の電子機器。
3. 前記画像検索処理部は、前記付加データに基づいてグループ分けした候補画像データの内の、前記第１のオブジェクト識別データによる顔が検出されず、前記第２のオブジェクト識別データによる顔が検出される画像データが含まれるグループを、前記候補画像データに含ませる
   請求項２記載の電子機器。
4. 前記第１のオブジェクト識別データによる顔が検出されず、前記第２のオブジェクト識別データによる顔が検出される画像データが含まれるグループは、前記第１のオブジェクト識別データによる顔と前記第２のオブジェクト識別データによる顔の双方が検出される画像データが含まれるグループより低い優先順位の表示候補にする
   請求項３記載の電子機器。
5. 前記オブジェクト検出部は、前記第１のオブジェクト識別データによる顔が検出された画像データと同一グループの画像データを検索対象として、その検索対象の画像データ内より最も多く検出された顔から前記第２のオブジェクト識別データを得る
   請求項３記載の電子機器。
6. 前記画像検索処理部は、前記付加データで示される撮影場所と撮影日と撮影時間帯の少なくとも１つの要件に基づいて候補画像データをグループ分けする
   請求項１記載の電子機器。
7. 前記画像検索処理部は、シークレットにするタグが付加された画像データを、候補画像データから除外する
   請求項１記載の電子機器。
8. 観察者を撮像して取得した画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得処理と、
   前記第１のオブジェクト識別データ取得処理で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得処理と、
   検索対象の画像データの付加データを取得する付加データ取得処理と、
   前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定処理とを含む
   画像データ処理方法。
9. 観察者を撮像して取得した画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得手順と、
   前記第１のオブジェクト識別データ取得手順で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得手順と、
   検索対象の画像データの付加データを取得する付加データ取得手順と、
   前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定手順とを、
   コンピュータに実行させる
   プログラム。