JP2006079460A - 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム - Google Patents

Abstract

【課題】画像の鑑賞者が所望する画像を、精度よく自動的に選択して表示する。
【解決手段】電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える電子アルバム表示システムを提供する。
【選択図】図２

Description

本発明は、電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムに関する。特に本発明は、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム、並びに、複数の画像を分類する画像分類装置、画像分類方法、及び画像分類プログラムに関する。

従来、複数の画像を表示する表示方法として、複数の画像のそれぞれを、当該画像の関連情報に基づいて複数のグループに分類すると共に、それぞれのグループから選択した代表画像を表示する表示方法が提案されている（例えば、特許文献１参照。）。
特開２００４−１３５７５号公報

複数の画像を表示する表示方法において、すべての画像を表示するのではなく、一部の画像のみを選択して表示する場合に、鑑賞者が所望する画像を自動的に選択することは容易ではない。例えば、特許文献１に記載の表示方法のように、画像を分類したグループのそれぞれから当該グループを代表する代表画像を選択して表示する場合、複数の画像全体における大凡の内容を効率よく把握することができるという効果はあるものの、鑑賞者が所望する画像を精度よく選択することは困難であった。

そこで本発明は、上記の課題を解決することができる電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える。

親密度算出部は、複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してもよい。画像選択部は、鑑賞者との間の親密度が予め定められた基準値以上である人物のみが含まれる画像を選択してもよい。

画像格納部は、複数の画像のそれぞれを、当該画像に固有の情報である画像情報に基づいて、複数のグループに分類して格納しており、画像選択部は、鑑賞者との間の親密度が予め定められた基準値以上である人物のみが含まれる画像のグループと同一のグループに分類されている画像を選択してもよい。画像情報は、画像の撮像日時であってもよい。画像情報は、画像の撮像地点であってもよい。

当該電子アルバム表示システムは、鑑賞者の顔画像を撮像する撮像部と、撮像部により撮像された顔画像に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者である人物を識別する鑑賞者識別部とを更に備え、画像選択部は、鑑賞者識別部により識別された鑑賞者である人物との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択してもよい。

また、本発明の第２の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、人物認識段階における認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、画像選択段階において選択された画像を表示する画像表示段階とを備える。

また、本発明の第３の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える電子アルバム表示システムとして機能させる。

また、本発明の第４の形態においては、複数の画像を分類する画像分類装置であって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、親密度算出部により算出された親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える。

親密度算出部は、複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してもよい。画像分類部は、複数の画像のそれぞれを、当該画像に含まれる人物の、複数の画像のうち少なくとも一部の画像に含まれる一の人物に対する親密度の範囲毎のグループに分類してもよい。

また、本発明の第５の形態においては、複数の画像を分類する画像分類方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、人物認識段階における認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、親密度算出段階において算出された親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類段階とを備える。

また、本発明の第６の形態においては、複数の画像を分類する画像分類装置としてコンピュータを機能させる画像分類プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、親密度算出部により算出された親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える画像分類装置として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、画像の鑑賞者が所望する画像を、精度よく自動的に選択して表示することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の第１の実施形態に係る電子アルバム表示システム１０の一例を示す。電子アルバム表示システム１０は、電子アルバム再生部２０、及び画像表示部３０を備え、電子アルバムに含まれる複数の画像を表示して、鑑賞者４０に鑑賞させる。例えば、電子アルバム表示システム１０は、当該複数の画像を、所謂スライドショーとして、予め定められた時間間隔で切り替えつつ順次表示してよい。

電子アルバム再生部２０は、電子アルバムに含まれる複数の画像を格納している。ここで、画像とは、静止画像及び動画像の何れであってもよい。そして、電子アルバム再生部２０は、当該複数の画像の中から、表示すべき画像を選択し、選択した画像を画像信号として再生して画像表示部３０に出力する。なお、電子アルバム再生部２０は、例えば、静止画像または動画像を再生可能であるＤＶＤプレイヤー等の映像再生機器であってもよい。画像表示部３０は、例えばテレビ受像機であってよく、電子アルバム再生部２０により選択された画像を示す画像信号を受け取って表示する。

本発明の第１の実施形態に係る電子アルバム表示システム１０は、電子アルバムに含まれるすべての画像を表示するのではなく、一部の画像のみを選択して表示する場合において、画像に含まれる人物の間の親密度に基づいて画像を選択することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することを目的とする。

図２は、本発明の第１の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。電子アルバム再生部２０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、親密度算出部２３０、撮像部２４０、鑑賞者識別部２５０、画像選択部２６０、及び画像処理部２７０を有する。画像格納部２００は、電子アルバムに含まれる複数の画像を格納している。顔画像データベース２１０は、複数の人物の顔画像を格納している。人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する。そして、人物認識部２２０は、それぞれの画像における人物の認識結果を、親密度算出部２３０、及び画像選択部２６０に出力する。親密度算出部２３０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。そして、親密度算出部２３０は、算出した親密度を画像選択部２６０に出力する。

撮像部２４０は、例えば電子アルバム再生部２０に設けられたデジタルカメラであり、鑑賞者４０の顔画像を撮像する。そして、撮像部２４０は、撮像した鑑賞者４０の顔画像を、鑑賞者識別部２５０に出力する。鑑賞者識別部２５０は、撮像部２４０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する。そして、鑑賞者識別部２５０は、鑑賞者４０である人物の識別結果を、画像選択部２６０に出力する。

画像選択部２６０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像選択部２６０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を、親密度算出部２３０から受け取る。そして、画像選択部２６０は、人物の認識結果と人物のそれぞれの間における親密度とに基づいて、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた基準値以上である人物が含まれる画像を選択する。ここで、画像選択部２６０は、鑑賞者識別部２５０から受け取った識別結果に基づいて、鑑賞者４０が、当該複数の画像のそれぞれに含まれる人物のうち、何れの人物であるかを認識してよい。そして、画像選択部２６０は、選択した画像を画像処理部２７０に出力する。画像処理部２７０は、画像選択部２６０によって選択された画像に対して画像処理を行う。ここで、画像処理とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の伸張処理や、ＮＴＳＣまたはＰＡＬ等の映像信号への変換処理等であってよい。そして、画像処理部２７０は、画像処理を行った画像を、画像表示部３０に出力する。そして、画像表示部３０は、画像処理部２７０から受け取った画像を表示して、鑑賞者４０に鑑賞させる。

本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、電子アルバムにおける複数の画像のそれぞれに含まれる複数の人物の認識結果に基づいて、当該人物の間の親密度を算出することができる。これにより、鑑賞者４０は、親密な人物に関する情報を入力しなくとも、当該親密な人物が含まれる、鑑賞者４０が鑑賞したいと所望する画像を自動的に選択させて、表示させることができる。

また、電子アルバム表示システム１０によれば、鑑賞者４０の顔画像を撮像して、電子アルバムにおける画像のそれぞれに含まれる複数の人物のうち、何れの人物が鑑賞者４０であるかを認識することができる。これにより、鑑賞者４０は、電子アルバム表示システム１０に対して、自分自身の情報を登録したり、ログイン手続きを行ったりしなくとも、自分自身にとって親密度の高い人物が含まれている画像を容易に鑑賞することができる。

図３は、本発明の第１の実施形態に係る画像格納部２００の一例を示す。本図に示す画像格納部２００は、電子アルバムに含まれる複数の画像のそれぞれを、当該画像に固有の情報である画像情報に基づいて、複数のグループ（３００、３１０、・・・）に分類して格納している。ここで、画像情報とは、例えば、画像の撮像日時であってよい。具体的には、画像格納部２００は、それぞれのグループに対応付けて、画像の撮像期間を示す情報、即ち当該撮像期間の開始日時及び終了日時を格納している。また、画像格納部２００は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、当該画像を識別する画像識別子と、当該画像を示す画像データとを含んでいてよい。また、画像識別子とは、画像格納部２００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。なお、以上の説明において、画像情報は画像の撮像日時であるとしたが、これに代えて、画像情報は、例えば、画像の撮像地点であってもよい。この場合、画像格納部２００は、それぞれのグループに対応付けて、画像の撮像地域を示す情報を格納していてよい。ここで、撮像地域を示す情報とは、例えば、撮像地域を多角形として定める場合における、当該多角形の頂点の緯度及び経度であってよい。

図４は、本発明の第１の実施形態に係る顔画像データベース２１０の一例を示す。顔画像データベース２１０は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像とを対応付けて格納している。ここで、人物識別子は、例えば、顔画像データベース２１０に顔画像が格納される場合に、それぞれの顔画像について一意となるべく定められた値であってよい。また、顔画像データベース２１０は、人物認識部２２０から顔画像を受け取って格納してよい。具体的には、人物認識部２２０は、画像格納部２００に格納されている画像に含まれる人物を認識する場合において、当該画像から抽出した人物の顔画像が、顔画像データベース２１０に格納されている何れの顔画像に対しても予め定められた基準値以上の類似度を示さない場合に、当該画像から抽出した人物の顔画像を、新たな顔画像として顔画像データベース２１０に格納させてよい。これにより、顔画像データベース２１０は、画像格納部２００に格納されている複数の画像の少なくとも一部の画像に含まれる人物の顔画像を格納することができる。

図５は、本発明の第１の実施形態に係る人物認識部２２０における人物の認識結果の一例を示す。例えば、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、人物認識部２２０は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、人物認識部２２０は、検出した人物の顔を示す部分画像を、図４に示した顔画像データベース２１０に格納されている複数の顔画像のそれぞれと比較することにより、画像格納部２００に格納されているそれぞれの画像に含まれる複数の人物のそれぞれを識別する。そして、人物認識部２２０は、図５に示すように、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を示す複数の人物識別子を検出する。

図６は、本発明の第１の実施形態に係る親密度算出部２３０における親密度の算出結果の一例を示す。親密度算出部２３０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。例えば、親密度算出部２３０は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間における親密度を１０として算出する。ここで、親密度算出部２３０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してよい。例えば、親密度算出部２３０は、当該第１の人物と第２の人物との双方を含む画像の数を、親密度として算出してもよい。

そして、画像選択部２６０は、鑑賞者識別部２５０から受け取った、鑑賞者４０である人物を示す人物識別子と、本図に示したような親密度の算出結果とに基づいて、鑑賞者４０との間の親密度が予め定められた基準値以上である人物の人物識別子を検出する。そして、画像選択部２６０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果に基づいて、検出した人物識別子が含まれる画像を選択する。

本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、鑑賞者４０と共に画像に含まれている頻度が高い人物を、鑑賞者４０にとって親密な人物であるとして検出することができる。そして、このようにして検出した、鑑賞者４０にとって親密な人物が含まれる画像を選択して表示することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することができる。

なお、電子アルバム再生部２０は、画像格納部２００に格納されている複数の画像のそれぞれにおける、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物のそれぞれと鑑賞者４０との間の親密度等を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納してもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。

図７は、本発明の第１の実施形態に係る電子アルバム表示システム１０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１０００）。続いて、親密度算出部２３０は、人物の認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１０１０）。続いて、撮像部２４０は、鑑賞者４０の顔画像を撮像する（Ｓ１０２０）。続いて、鑑賞者識別部２５０は、撮像部２４０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する（Ｓ１０３０）。

ここで、電子アルバム表示システム１０は、鑑賞者識別部２５０が、鑑賞者４０である人物を識別したか否かを判定する（Ｓ１０４０）。そして、鑑賞者４０である人物が識別された場合に（Ｓ１０４０：Ｙｅｓ）、画像選択部２６０は、画像格納部２００に格納されている複数の画像の中から、画像表示部３０によって表示されるべき画像を選択する（Ｓ１０５０）。例えば、画像選択部２６０は、複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた基準値以上である人物が含まれる画像を選択する。ここで、予め定められた基準値とは、例えば、鑑賞者４０によって指定された値であってよく、また、標準的な値として、何れの鑑賞者４０に対しても共通に定められた値であってもよく、もしくは、鑑賞者４０が指定した、鑑賞したい画像の枚数に応じて算出された値であってもよい。また、例えば、画像選択部２６０は、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた範囲に含まれる人物を含む画像を選択してよい。ここで、予め定められた範囲とは、例えば、鑑賞者４０によって予め入力された範囲であってよい。

また、例えば、画像選択部２６０は、複数の画像のうち、鑑賞者４０との間の親密度が予め定められた基準値以上である人物のみが含まれている画像を選択してもよい。なお、この場合、画像選択部２６０は、鑑賞者４０自身が更に含まれている画像を選択してもよい。鑑賞者４０にとって親密度の高い人物のみが含まれている画像は、鑑賞者４０にとって親密度が低い他の人物が更に含まれている画像に比べて、鑑賞者４０にとってより私的な画像であり、鑑賞者４０が鑑賞したいとより強く所望する画像であることが多い。従って、電子アルバム表示システム１０によれば、このような、鑑賞者４０が鑑賞したいとより強く所望する画像を、自動的に選択して表示することができる。

また、画像選択部２６０は、複数の画像のうち、画像格納部２００において、鑑賞者４０との間の親密度が予め定められた基準値以上である人物が含まれる画像のグループと同一のグループに分類されている画像を選択してもよい。なお、画像格納部２００におけるグループとは、図３において説明したように、それぞれの画像の撮像日時や撮像地点といった画像情報に基づいて定められたグループであってよい。ここで、一例として、鑑賞者４０と、鑑賞者４０にとって親密度が高い人物とが共に旅行した際に撮像された画像のような、画像の内容や撮像条件等が互いに関連する一連の画像が電子アルバムに含まれている場合を想定する。この場合、当該一連の画像には、風景のみが含まれている画像等の、様々な内容の画像が含まれている場合があるので、すべての画像に、鑑賞者４０にとって親密度の高い人物が含まれているとは限らない。しかし、電子アルバム表示システム１０によれば、表示すべき画像として、親密度の高い人物が含まれる画像だけでなく、当該画像と同一のグループに分類されている、当該画像に対して高い関連性を示す画像を選択することができる。これにより、鑑賞者４０は、鑑賞したいと所望する画像を、画像の内容や撮像条件等においてまとまりのある状態で鑑賞することができる。

更に、画像選択部２６０は、複数の画像のうち、画像格納部２００において、鑑賞者４０との間の親密度が予め定められた基準値以上である人物のみが含まれる画像のグループと同一のグループに分類されている画像を選択してもよい。これにより、鑑賞者４０にとって親密度の高い人物のみが含まれる画像の数が比較的少ない場合であっても、当該画像に対して関連性の高い画像を加えた、より多くの画像を、画像の内容や撮像条件等においてまとまりのある状態で鑑賞することができる。
続いて、画像表示部３０は、選択された画像を表示する（Ｓ１０６０）。

図８は、本発明の第２の実施形態に係る画像分類装置５０の機能構成の一例を示すブロック図である。画像分類装置５０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、親密度算出部２３０、人物選択部５００、画像分類部５１０、及び分類格納部５２０を備える。画像分類装置５０は、画像格納部２００に格納されている複数の画像を分類して、分類格納部５２０に格納する。なお、本図に示した画像分類装置５０が備える部材のうち、図２に示した電子アルバム表示システム１０が備える部材と同一の符号を付した部材は、図１から図７において説明した対応する部材と略同一の機能及び構成を有するので、相違点を除き、説明を省略する。

本発明の第２の実施形態に係る画像分類装置５０は、複数の画像のそれぞれを複数のグループに分類する場合に、それぞれの画像に含まれる人物の間の親密度に基づいて画像を分類することを目的とする。

人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する。具体的には、人物選択部５００は、顔画像データベース２１０に格納されている複数の顔画像から、一の顔画像を選択することにより、当該一の顔画像に対応付けて顔画像データベース２１０に格納されている人物識別子を抽出する。そして、人物選択部５００は、選択した一の人物を示す情報、即ち抽出した人物識別子を、画像分類部５１０に出力する。

画像分類部５１０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像分類部５１０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を、親密度算出部２３０から受け取る。そして、画像分類部５１０は、人物の認識結果と人物のそれぞれの間における親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類する。具体的には、画像分類部５１０は、複数の画像のそれぞれを、当該画像に含まれる人物の、人物選択部５００によって選択された人物に対する親密度の範囲毎のグループに分類する。そして、画像分類部５１０は、分類した画像のそれぞれを、分類格納部５２０に格納させる。分類格納部５２０は、画像格納部２００に格納されている画像のそれぞれを、画像分類部５１０による分類結果に従って格納している。

本発明の第２の実施形態に係る画像分類装置５０によれば、画像に含まれる人物の認識結果に基づいて、複数の画像を複数のグループに分類することができる。これにより、従来の、撮像日時や撮像地点等の画像情報のみに基づいて画像を分類する場合に比べて、画像の内容や、画像を鑑賞する人物にとっての重要度等に基づく、より実用的な画像の分類を行うことができる。

また、画像分類装置５０によれば、複数の画像を、例えば電子アルバムの所有者等の、人物選択部５００によって選択された人物に対する親密度の範囲毎のグループに分類することができる。これにより、所有者に対する親密度が高い人物が含まれる画像のような、所有者にとって重要度のより高い画像を抽出してＤＶＤ−Ｖｉｄｅｏ等に加工したり、また、重要度のより低い画像を削除して電子アルバムを整理したりする作業を、効率よく行うことができる。

図９は、本発明の第２の実施形態に係る分類格納部５２０の一例を示す。分類格納部５２０は、複数の画像のそれぞれを、画像分類部５１０による分類に従って、複数のグループ（９００、９１０、・・・）に分類して格納している。具体的には、分類格納部５２０は、それぞれのグループに対応付けて、親密度の範囲を示す情報を格納しており、人物選択部５００により選択された人物との間の親密度が当該範囲に含まれる人物を含む画像を、当該グループに分類して格納している。また、分類格納部５２０は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、当該画像を識別する画像識別子と、当該画像を示す画像データとを含んでいてよい。

なお、分類格納部５２０は、一の画像を、複数のグループのそれぞれに重複して分類していてもよい。また、分類格納部５２０は、それぞれの画像における、当該画像に含まれる人物の認識結果や、人物選択部５００によって選択された人物と当該画像に含まれる人物のそれぞれとの間の親密度等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納していてもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。

図１０は、本発明の第２の実施形態に係る画像分類装置５０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１１００）。続いて、親密度算出部２３０は、人物の認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１１１０）。ここで、親密度算出部２３０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物の間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してよい。例えば、親密度算出部２３０は、当該第１の人物と第２の人物との双方を含む画像の数を、親密度として算出してもよい。これにより、共に画像に含まれている頻度が高い複数の人物を、互いに親密な人物として検出することができるので、画像の内容や画像を鑑賞する人物にとっての重要度に基づく実用的な画像の分類を、高い精度で行うことができる。

続いて、人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する（Ｓ１１２０）。ここで、人物選択部５００は、例えば、顔画像データベース２１０に格納されている複数の顔画像が、画像分類装置５０に設けられた表示デバイスに一覧して表示されている場合に、利用者が選択した顔画像に対応する人物を選択してよい。また、例えば、人物選択部５００は、画像分類装置５０に設けられたデジタルカメラ等により撮像された利用者の顔画像と、顔画像データベース２１０に格納されている顔画像のそれぞれとに基づいて、複数の画像のうち少なくとも一部の画像に含まれる人物の中から、利用者である人物を検出して、当該検出した人物を選択してもよい。続いて、画像分類部５１０は、人物の認識結果と人物のそれぞれの間における親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類して、分類格納部５２０に格納させる（Ｓ１１３０）。

図１１は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム表示プログラムまたは画像分類プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。当該プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム表示プログラムまたは画像分類プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図１０にかけて説明した電子アルバム表示システム１０、電子アルバム再生部２０、または画像分類装置５０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の第１の実施形態に係る電子アルバム表示システム１０の一例を示す図である。 本発明の第１の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。 本発明の第１の実施形態に係る画像格納部２００の一例を示す図である。 本発明の第１の実施形態に係る顔画像データベース２１０の一例を示す図である。 本発明の第１の実施形態に係る人物認識部２２０における人物の認識結果の一例を示す図である。 本発明の第１の実施形態に係る親密度算出部２３０における親密度の算出結果の一例を示す図である。 本発明の第１の実施形態に係る電子アルバム表示システム１０における処理の流れの一例を示すフローチャートである。 本発明の第２の実施形態に係る画像分類装置５０の機能構成の一例を示すブロック図である。 本発明の第２の実施形態に係る分類格納部５２０の一例を示す図である。 本発明の第２の実施形態に係る画像分類装置５０における処理の流れの一例を示すフローチャートである。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ 電子アルバム表示システム、２０ 電子アルバム再生部、３０ 画像表示部、４０ 鑑賞者、５０ 画像分類装置、２００ 画像格納部、２１０ 顔画像データベース、２２０ 人物認識部、２３０ 親密度算出部、２４０ 撮像部、２５０ 鑑賞者識別部、２６０ 画像選択部、２７０ 画像処理部、５００ 人物選択部、５１０ 画像分類部、５２０ 分類格納部

Claims (14)

1. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、
   前記複数の画像を格納している画像格納部と、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
   前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
   前記複数の画像のうち、鑑賞者との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、
   前記画像選択部により選択された画像を表示する画像表示部と
   を備える電子アルバム表示システム。
2. 前記親密度算出部は、前記複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の前記親密度を、前記複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い前記親密度として算出する請求項１に記載の電子アルバム表示システム。
3. 前記画像選択部は、前記鑑賞者との間の前記親密度が予め定められた基準値以上である人物のみが含まれる画像を選択する請求項１に記載の電子アルバム表示システム。
4. 前記画像格納部は、前記複数の画像のそれぞれを、当該画像に固有の情報である画像情報に基づいて、複数のグループに分類して格納しており、
   前記画像選択部は、前記鑑賞者との間の前記親密度が予め定められた基準値以上である人物のみが含まれる画像の前記グループと同一の前記グループに分類されている画像を選択する
   請求項３に記載の電子アルバム表示システム。
5. 前記画像情報は、画像の撮像日時である請求項４に記載の電子アルバム表示システム。
6. 前記画像情報は、画像の撮像地点である請求項４に記載の電子アルバム表示システム。
7. 前記鑑賞者の顔画像を撮像する撮像部と、
   前記撮像部により撮像された顔画像に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、前記鑑賞者である人物を識別する鑑賞者識別部と
   を更に備え、
   前記画像選択部は、前記鑑賞者識別部により識別された前記鑑賞者である人物との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する
   請求項１に記載の電子アルバム表示システム。
8. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
   前記人物認識段階における認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、
   前記複数の画像のうち、鑑賞者との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、
   前記画像選択段階において選択された画像を表示する画像表示段階と
   を備える電子アルバム表示方法。
9. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、
   前記コンピュータを、
   前記複数の画像を格納している画像格納部と、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
   前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
   前記複数の画像のうち、鑑賞者との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、
   前記画像選択部により選択された画像を表示する画像表示部と
   を備える電子アルバム表示システムとして機能させる電子アルバム表示プログラム。
10. 複数の画像を分類する画像分類装置であって、
    前記複数の画像を格納している画像格納部と、
    前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
    前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
    前記親密度算出部により算出された前記親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
    を備える画像分類装置。
11. 前記親密度算出部は、前記複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の前記親密度を、前記複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い前記親密度として算出する請求項１０に記載の画像分類装置。
12. 前記画像分類部は、前記複数の画像のそれぞれを、当該画像に含まれる人物の、前記複数の画像のうち少なくとも一部の画像に含まれる一の人物に対する前記親密度の範囲毎の前記グループに分類する請求項１０に記載の画像分類装置。
13. 複数の画像を分類する画像分類方法であって、
    前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
    前記人物認識段階における認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、
    前記親密度算出段階において算出された前記親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類段階と
    を備える画像分類方法。
14. 複数の画像を分類する画像分類装置としてコンピュータを機能させる画像分類プログラムであって、
    前記コンピュータを、
    前記複数の画像を格納している画像格納部と、
    前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
    前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
    前記親密度算出部により算出された前記親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
    を備える画像分類装置として機能させる画像分類プログラム。

Images