JP2006079460A - System, method and program for displaying electronic album and device, method, and program for classifying image - Google Patents
System, method and program for displaying electronic album and device, method, and program for classifying image Download PDFInfo
- Publication number
- JP2006079460A JP2006079460A JP2004264553A JP2004264553A JP2006079460A JP 2006079460 A JP2006079460 A JP 2006079460A JP 2004264553 A JP2004264553 A JP 2004264553A JP 2004264553 A JP2004264553 A JP 2004264553A JP 2006079460 A JP2006079460 A JP 2006079460A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- person
- unit
- electronic album
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムに関する。特に本発明は、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム、並びに、複数の画像を分類する画像分類装置、画像分類方法、及び画像分類プログラムに関する。 The present invention relates to an electronic album display system, an electronic album display method, an electronic album display program, an image classification device, an image classification method, and an image classification program. In particular, the present invention relates to an electronic album display system, an electronic album display method, an electronic album display program for displaying a plurality of images included in an electronic album, an image classification apparatus, an image classification method, and an image for classifying a plurality of images. Regarding the classification program.
従来、複数の画像を表示する表示方法として、複数の画像のそれぞれを、当該画像の関連情報に基づいて複数のグループに分類すると共に、それぞれのグループから選択した代表画像を表示する表示方法が提案されている（例えば、特許文献１参照。）。
複数の画像を表示する表示方法において、すべての画像を表示するのではなく、一部の画像のみを選択して表示する場合に、鑑賞者が所望する画像を自動的に選択することは容易ではない。例えば、特許文献１に記載の表示方法のように、画像を分類したグループのそれぞれから当該グループを代表する代表画像を選択して表示する場合、複数の画像全体における大凡の内容を効率よく把握することができるという効果はあるものの、鑑賞者が所望する画像を精度よく選択することは困難であった。
In a display method for displaying a plurality of images, it is not easy to automatically select a desired image by the viewer when only a part of the images is selected and displayed instead of displaying all the images. Absent. For example, when a representative image representing the group is selected and displayed from each of the groups into which the images are classified as in the display method described in
そこで本発明は、上記の課題を解決することができる電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Therefore, an object of the present invention is to provide an electronic album display system, an electronic album display method, an electronic album display program, an image classification device, an image classification method, and an image classification program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
上記課題を解決するために、本発明の第１の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える。 In order to solve the above problem, in the first embodiment of the present invention, an electronic album display system for displaying a plurality of images included in an electronic album, an image storage unit storing a plurality of images, For each of the plurality of images, a person recognition unit for recognizing a plurality of persons included in the image and a recognition result of the person included in at least a part of the plurality of images based on the recognition result by the person recognition unit. An intimacy calculation unit that calculates intimacy between each of the images, and an image selection unit that selects an image that includes a person whose intimacy with the viewer is equal to or greater than a predetermined reference value among a plurality of images. And an image display unit for displaying the image selected by the image selection unit.
親密度算出部は、複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してもよい。画像選択部は、鑑賞者との間の親密度が予め定められた基準値以上である人物のみが含まれる画像を選択してもよい。 The closeness calculating unit calculates the closeness between the first person and the second person included in at least some of the plurality of images, and the first person among the plurality of images. And the second person may be calculated as a higher familiarity when the number of images including both the second person and the second person is larger. The image selection unit may select an image including only a person whose closeness with the viewer is greater than or equal to a predetermined reference value.
画像格納部は、複数の画像のそれぞれを、当該画像に固有の情報である画像情報に基づいて、複数のグループに分類して格納しており、画像選択部は、鑑賞者との間の親密度が予め定められた基準値以上である人物のみが含まれる画像のグループと同一のグループに分類されている画像を選択してもよい。画像情報は、画像の撮像日時であってもよい。画像情報は、画像の撮像地点であってもよい。 The image storage unit classifies and stores each of the plurality of images into a plurality of groups based on image information that is information unique to the image, and the image selection unit stores the parent image with the viewer. You may select the image classified into the same group as the group of the image in which only the person whose density is more than a predetermined reference value is included. The image information may be an image capturing date and time. The image information may be an image capturing point.
当該電子アルバム表示システムは、鑑賞者の顔画像を撮像する撮像部と、撮像部により撮像された顔画像に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者である人物を識別する鑑賞者識別部とを更に備え、画像選択部は、鑑賞者識別部により識別された鑑賞者である人物との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択してもよい。 The electronic album display system is configured to capture an image from a person included in at least a part of a plurality of images based on an image capturing unit that captures a face image of a viewer and the face image captured by the image capturing unit. A viewer identification unit that identifies the person who is the viewer, and the image selection unit has a closeness of at least a predetermined reference value with the person who is the viewer identified by the viewer identification unit An image including a person may be selected.
また、本発明の第２の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、人物認識段階における認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、画像選択段階において選択された画像を表示する画像表示段階とを備える。 Further, in the second embodiment of the present invention, there is provided an electronic album display method for displaying a plurality of images included in an electronic album, wherein each of the plurality of images recognizes a plurality of persons included in the image. A closeness calculation step of calculating a closeness between each of the persons included in at least some of the images based on the recognition results in the recognition step, the person recognition step, and a plurality of images Of these, an image selection stage for selecting an image including a person whose intimacy with the viewer is equal to or higher than a predetermined reference value and an image display stage for displaying the image selected in the image selection stage are provided. .
また、本発明の第３の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える電子アルバム表示システムとして機能させる。 According to a third aspect of the present invention, there is provided an electronic album display program for causing a computer to function as an electronic album display system for displaying a plurality of images included in an electronic album, the computer storing a plurality of images. An image storage unit, a person recognition unit for recognizing a plurality of persons included in the image, and at least a part of the plurality of images based on a recognition result by the person recognition unit. An intimacy calculation unit for calculating intimacy between each person included in the image, and an image including a person whose intimacy with the viewer is greater than or equal to a predetermined reference value among a plurality of images And an image display unit that displays an image selected by the image selection unit.
また、本発明の第４の形態においては、複数の画像を分類する画像分類装置であって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、親密度算出部により算出された親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える。 According to the fourth aspect of the present invention, there is provided an image classification device that classifies a plurality of images, and includes an image storage unit that stores a plurality of images and each of the plurality of images. Intimacy calculation that calculates the intimacy between each person included in at least some of the plurality of images based on the recognition result by the person recognition unit that recognizes a plurality of persons and the person recognition unit And an image classification unit that classifies each of the plurality of images into a plurality of groups based on the familiarity calculated by the familiarity calculation unit.
親密度算出部は、複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してもよい。画像分類部は、複数の画像のそれぞれを、当該画像に含まれる人物の、複数の画像のうち少なくとも一部の画像に含まれる一の人物に対する親密度の範囲毎のグループに分類してもよい。 The closeness calculating unit calculates the closeness between the first person and the second person included in at least some of the plurality of images, and the first person among the plurality of images. And the second person may be calculated as a higher familiarity when the number of images including both the second person and the second person is larger. The image classification unit may classify each of the plurality of images into groups of intimacy ranges of persons included in the image with respect to one person included in at least some of the plurality of images. .
また、本発明の第５の形態においては、複数の画像を分類する画像分類方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、人物認識段階における認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、親密度算出段階において算出された親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類段階とを備える。 According to a fifth aspect of the present invention, there is provided an image classification method for classifying a plurality of images, and for each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image, and a person recognition Based on the recognition result in the stage, the familiarity calculation stage for calculating the familiarity between each of the persons included in at least some of the images, and the familiarity calculated in the familiarity calculation stage And an image classification step of classifying each of the plurality of images into a plurality of groups.
また、本発明の第６の形態においては、複数の画像を分類する画像分類装置としてコンピュータを機能させる画像分類プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、親密度算出部により算出された親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える画像分類装置として機能させる。 According to a sixth aspect of the present invention, there is provided an image classification program that causes a computer to function as an image classification device that classifies a plurality of images, the computer including an image storage unit that stores a plurality of images, and a plurality of images For each of the images, a person recognition unit that recognizes a plurality of persons included in the image, and each of the persons included in at least some of the plurality of images based on the recognition result by the person recognition unit An image classification apparatus comprising: a familiarity calculating unit that calculates the familiarity between the images; and an image classification unit that classifies each of the plurality of images into a plurality of groups based on the familiarity calculated by the familiarity calculating unit. Make it work.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
本発明によれば、画像の鑑賞者が所望する画像を、精度よく自動的に選択して表示することができる。 According to the present invention, an image desired by an image viewer can be automatically selected and displayed with high accuracy.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
図１は、本発明の第１の実施形態に係る電子アルバム表示システム１０の一例を示す。電子アルバム表示システム１０は、電子アルバム再生部２０、及び画像表示部３０を備え、電子アルバムに含まれる複数の画像を表示して、鑑賞者４０に鑑賞させる。例えば、電子アルバム表示システム１０は、当該複数の画像を、所謂スライドショーとして、予め定められた時間間隔で切り替えつつ順次表示してよい。
FIG. 1 shows an example of an electronic
電子アルバム再生部２０は、電子アルバムに含まれる複数の画像を格納している。ここで、画像とは、静止画像及び動画像の何れであってもよい。そして、電子アルバム再生部２０は、当該複数の画像の中から、表示すべき画像を選択し、選択した画像を画像信号として再生して画像表示部３０に出力する。なお、電子アルバム再生部２０は、例えば、静止画像または動画像を再生可能であるＤＶＤプレイヤー等の映像再生機器であってもよい。画像表示部３０は、例えばテレビ受像機であってよく、電子アルバム再生部２０により選択された画像を示す画像信号を受け取って表示する。
The electronic
本発明の第１の実施形態に係る電子アルバム表示システム１０は、電子アルバムに含まれるすべての画像を表示するのではなく、一部の画像のみを選択して表示する場合において、画像に含まれる人物の間の親密度に基づいて画像を選択することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することを目的とする。
The electronic
図２は、本発明の第１の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。電子アルバム再生部２０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、親密度算出部２３０、撮像部２４０、鑑賞者識別部２５０、画像選択部２６０、及び画像処理部２７０を有する。画像格納部２００は、電子アルバムに含まれる複数の画像を格納している。顔画像データベース２１０は、複数の人物の顔画像を格納している。人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する。そして、人物認識部２２０は、それぞれの画像における人物の認識結果を、親密度算出部２３０、及び画像選択部２６０に出力する。親密度算出部２３０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。そして、親密度算出部２３０は、算出した親密度を画像選択部２６０に出力する。
FIG. 2 is a block diagram illustrating an example of a functional configuration of the electronic
撮像部２４０は、例えば電子アルバム再生部２０に設けられたデジタルカメラであり、鑑賞者４０の顔画像を撮像する。そして、撮像部２４０は、撮像した鑑賞者４０の顔画像を、鑑賞者識別部２５０に出力する。鑑賞者識別部２５０は、撮像部２４０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する。そして、鑑賞者識別部２５０は、鑑賞者４０である人物の識別結果を、画像選択部２６０に出力する。
The
画像選択部２６０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像選択部２６０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を、親密度算出部２３０から受け取る。そして、画像選択部２６０は、人物の認識結果と人物のそれぞれの間における親密度とに基づいて、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた基準値以上である人物が含まれる画像を選択する。ここで、画像選択部２６０は、鑑賞者識別部２５０から受け取った識別結果に基づいて、鑑賞者４０が、当該複数の画像のそれぞれに含まれる人物のうち、何れの人物であるかを認識してよい。そして、画像選択部２６０は、選択した画像を画像処理部２７０に出力する。画像処理部２７０は、画像選択部２６０によって選択された画像に対して画像処理を行う。ここで、画像処理とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の伸張処理や、ＮＴＳＣまたはＰＡＬ等の映像信号への変換処理等であってよい。そして、画像処理部２７０は、画像処理を行った画像を、画像表示部３０に出力する。そして、画像表示部３０は、画像処理部２７０から受け取った画像を表示して、鑑賞者４０に鑑賞させる。
The
本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、電子アルバムにおける複数の画像のそれぞれに含まれる複数の人物の認識結果に基づいて、当該人物の間の親密度を算出することができる。これにより、鑑賞者４０は、親密な人物に関する情報を入力しなくとも、当該親密な人物が含まれる、鑑賞者４０が鑑賞したいと所望する画像を自動的に選択させて、表示させることができる。
According to the electronic
また、電子アルバム表示システム１０によれば、鑑賞者４０の顔画像を撮像して、電子アルバムにおける画像のそれぞれに含まれる複数の人物のうち、何れの人物が鑑賞者４０であるかを認識することができる。これにより、鑑賞者４０は、電子アルバム表示システム１０に対して、自分自身の情報を登録したり、ログイン手続きを行ったりしなくとも、自分自身にとって親密度の高い人物が含まれている画像を容易に鑑賞することができる。
Further, according to the electronic
図３は、本発明の第１の実施形態に係る画像格納部２００の一例を示す。本図に示す画像格納部２００は、電子アルバムに含まれる複数の画像のそれぞれを、当該画像に固有の情報である画像情報に基づいて、複数のグループ（３００、３１０、・・・）に分類して格納している。ここで、画像情報とは、例えば、画像の撮像日時であってよい。具体的には、画像格納部２００は、それぞれのグループに対応付けて、画像の撮像期間を示す情報、即ち当該撮像期間の開始日時及び終了日時を格納している。また、画像格納部２００は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、当該画像を識別する画像識別子と、当該画像を示す画像データとを含んでいてよい。また、画像識別子とは、画像格納部２００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。なお、以上の説明において、画像情報は画像の撮像日時であるとしたが、これに代えて、画像情報は、例えば、画像の撮像地点であってもよい。この場合、画像格納部２００は、それぞれのグループに対応付けて、画像の撮像地域を示す情報を格納していてよい。ここで、撮像地域を示す情報とは、例えば、撮像地域を多角形として定める場合における、当該多角形の頂点の緯度及び経度であってよい。
FIG. 3 shows an example of the
図４は、本発明の第１の実施形態に係る顔画像データベース２１０の一例を示す。顔画像データベース２１０は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像とを対応付けて格納している。ここで、人物識別子は、例えば、顔画像データベース２１０に顔画像が格納される場合に、それぞれの顔画像について一意となるべく定められた値であってよい。また、顔画像データベース２１０は、人物認識部２２０から顔画像を受け取って格納してよい。具体的には、人物認識部２２０は、画像格納部２００に格納されている画像に含まれる人物を認識する場合において、当該画像から抽出した人物の顔画像が、顔画像データベース２１０に格納されている何れの顔画像に対しても予め定められた基準値以上の類似度を示さない場合に、当該画像から抽出した人物の顔画像を、新たな顔画像として顔画像データベース２１０に格納させてよい。これにより、顔画像データベース２１０は、画像格納部２００に格納されている複数の画像の少なくとも一部の画像に含まれる人物の顔画像を格納することができる。
FIG. 4 shows an example of the
図５は、本発明の第１の実施形態に係る人物認識部２２０における人物の認識結果の一例を示す。例えば、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、人物認識部２２０は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、人物認識部２２０は、検出した人物の顔を示す部分画像を、図４に示した顔画像データベース２１０に格納されている複数の顔画像のそれぞれと比較することにより、画像格納部２００に格納されているそれぞれの画像に含まれる複数の人物のそれぞれを識別する。そして、人物認識部２２０は、図５に示すように、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を示す複数の人物識別子を検出する。
FIG. 5 shows an example of a person recognition result in the
図６は、本発明の第１の実施形態に係る親密度算出部２３０における親密度の算出結果の一例を示す。親密度算出部２３０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。例えば、親密度算出部２３０は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間における親密度を１０として算出する。ここで、親密度算出部２３０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してよい。例えば、親密度算出部２３０は、当該第１の人物と第２の人物との双方を含む画像の数を、親密度として算出してもよい。
FIG. 6 shows an example of the calculation result of the familiarity in the
そして、画像選択部２６０は、鑑賞者識別部２５０から受け取った、鑑賞者４０である人物を示す人物識別子と、本図に示したような親密度の算出結果とに基づいて、鑑賞者４０との間の親密度が予め定められた基準値以上である人物の人物識別子を検出する。そして、画像選択部２６０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果に基づいて、検出した人物識別子が含まれる画像を選択する。
Then, the
本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、鑑賞者４０と共に画像に含まれている頻度が高い人物を、鑑賞者４０にとって親密な人物であるとして検出することができる。そして、このようにして検出した、鑑賞者４０にとって親密な人物が含まれる画像を選択して表示することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することができる。
According to the electronic
なお、電子アルバム再生部２０は、画像格納部２００に格納されている複数の画像のそれぞれにおける、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物のそれぞれと鑑賞者４０との間の親密度等を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納してもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。
Note that the electronic
図７は、本発明の第１の実施形態に係る電子アルバム表示システム１０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１０００）。続いて、親密度算出部２３０は、人物の認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１０１０）。続いて、撮像部２４０は、鑑賞者４０の顔画像を撮像する（Ｓ１０２０）。続いて、鑑賞者識別部２５０は、撮像部２４０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する（Ｓ１０３０）。
FIG. 7 is a flowchart showing an example of the processing flow in the electronic
ここで、電子アルバム表示システム１０は、鑑賞者識別部２５０が、鑑賞者４０である人物を識別したか否かを判定する（Ｓ１０４０）。そして、鑑賞者４０である人物が識別された場合に（Ｓ１０４０：Ｙｅｓ）、画像選択部２６０は、画像格納部２００に格納されている複数の画像の中から、画像表示部３０によって表示されるべき画像を選択する（Ｓ１０５０）。例えば、画像選択部２６０は、複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた基準値以上である人物が含まれる画像を選択する。ここで、予め定められた基準値とは、例えば、鑑賞者４０によって指定された値であってよく、また、標準的な値として、何れの鑑賞者４０に対しても共通に定められた値であってもよく、もしくは、鑑賞者４０が指定した、鑑賞したい画像の枚数に応じて算出された値であってもよい。また、例えば、画像選択部２６０は、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた範囲に含まれる人物を含む画像を選択してよい。ここで、予め定められた範囲とは、例えば、鑑賞者４０によって予め入力された範囲であってよい。
Here, the electronic
また、例えば、画像選択部２６０は、複数の画像のうち、鑑賞者４０との間の親密度が予め定められた基準値以上である人物のみが含まれている画像を選択してもよい。なお、この場合、画像選択部２６０は、鑑賞者４０自身が更に含まれている画像を選択してもよい。鑑賞者４０にとって親密度の高い人物のみが含まれている画像は、鑑賞者４０にとって親密度が低い他の人物が更に含まれている画像に比べて、鑑賞者４０にとってより私的な画像であり、鑑賞者４０が鑑賞したいとより強く所望する画像であることが多い。従って、電子アルバム表示システム１０によれば、このような、鑑賞者４０が鑑賞したいとより強く所望する画像を、自動的に選択して表示することができる。
In addition, for example, the
また、画像選択部２６０は、複数の画像のうち、画像格納部２００において、鑑賞者４０との間の親密度が予め定められた基準値以上である人物が含まれる画像のグループと同一のグループに分類されている画像を選択してもよい。なお、画像格納部２００におけるグループとは、図３において説明したように、それぞれの画像の撮像日時や撮像地点といった画像情報に基づいて定められたグループであってよい。ここで、一例として、鑑賞者４０と、鑑賞者４０にとって親密度が高い人物とが共に旅行した際に撮像された画像のような、画像の内容や撮像条件等が互いに関連する一連の画像が電子アルバムに含まれている場合を想定する。この場合、当該一連の画像には、風景のみが含まれている画像等の、様々な内容の画像が含まれている場合があるので、すべての画像に、鑑賞者４０にとって親密度の高い人物が含まれているとは限らない。しかし、電子アルバム表示システム１０によれば、表示すべき画像として、親密度の高い人物が含まれる画像だけでなく、当該画像と同一のグループに分類されている、当該画像に対して高い関連性を示す画像を選択することができる。これにより、鑑賞者４０は、鑑賞したいと所望する画像を、画像の内容や撮像条件等においてまとまりのある状態で鑑賞することができる。
In addition, the
更に、画像選択部２６０は、複数の画像のうち、画像格納部２００において、鑑賞者４０との間の親密度が予め定められた基準値以上である人物のみが含まれる画像のグループと同一のグループに分類されている画像を選択してもよい。これにより、鑑賞者４０にとって親密度の高い人物のみが含まれる画像の数が比較的少ない場合であっても、当該画像に対して関連性の高い画像を加えた、より多くの画像を、画像の内容や撮像条件等においてまとまりのある状態で鑑賞することができる。
続いて、画像表示部３０は、選択された画像を表示する（Ｓ１０６０）。
Furthermore, the
Subsequently, the
図８は、本発明の第２の実施形態に係る画像分類装置５０の機能構成の一例を示すブロック図である。画像分類装置５０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、親密度算出部２３０、人物選択部５００、画像分類部５１０、及び分類格納部５２０を備える。画像分類装置５０は、画像格納部２００に格納されている複数の画像を分類して、分類格納部５２０に格納する。なお、本図に示した画像分類装置５０が備える部材のうち、図２に示した電子アルバム表示システム１０が備える部材と同一の符号を付した部材は、図１から図７において説明した対応する部材と略同一の機能及び構成を有するので、相違点を除き、説明を省略する。
FIG. 8 is a block diagram showing an example of a functional configuration of the
本発明の第２の実施形態に係る画像分類装置５０は、複数の画像のそれぞれを複数のグループに分類する場合に、それぞれの画像に含まれる人物の間の親密度に基づいて画像を分類することを目的とする。
When classifying each of a plurality of images into a plurality of groups, the
人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する。具体的には、人物選択部５００は、顔画像データベース２１０に格納されている複数の顔画像から、一の顔画像を選択することにより、当該一の顔画像に対応付けて顔画像データベース２１０に格納されている人物識別子を抽出する。そして、人物選択部５００は、選択した一の人物を示す情報、即ち抽出した人物識別子を、画像分類部５１０に出力する。
The person selection unit 500 selects one person from each of the persons included in at least some of the plurality of images stored in the
画像分類部５１０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像分類部５１０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を、親密度算出部２３０から受け取る。そして、画像分類部５１０は、人物の認識結果と人物のそれぞれの間における親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類する。具体的には、画像分類部５１０は、複数の画像のそれぞれを、当該画像に含まれる人物の、人物選択部５００によって選択された人物に対する親密度の範囲毎のグループに分類する。そして、画像分類部５１０は、分類した画像のそれぞれを、分類格納部５２０に格納させる。分類格納部５２０は、画像格納部２００に格納されている画像のそれぞれを、画像分類部５１０による分類結果に従って格納している。
The
本発明の第２の実施形態に係る画像分類装置５０によれば、画像に含まれる人物の認識結果に基づいて、複数の画像を複数のグループに分類することができる。これにより、従来の、撮像日時や撮像地点等の画像情報のみに基づいて画像を分類する場合に比べて、画像の内容や、画像を鑑賞する人物にとっての重要度等に基づく、より実用的な画像の分類を行うことができる。
According to the
また、画像分類装置５０によれば、複数の画像を、例えば電子アルバムの所有者等の、人物選択部５００によって選択された人物に対する親密度の範囲毎のグループに分類することができる。これにより、所有者に対する親密度が高い人物が含まれる画像のような、所有者にとって重要度のより高い画像を抽出してＤＶＤ−Ｖｉｄｅｏ等に加工したり、また、重要度のより低い画像を削除して電子アルバムを整理したりする作業を、効率よく行うことができる。
Further, according to the
図９は、本発明の第２の実施形態に係る分類格納部５２０の一例を示す。分類格納部５２０は、複数の画像のそれぞれを、画像分類部５１０による分類に従って、複数のグループ（９００、９１０、・・・）に分類して格納している。具体的には、分類格納部５２０は、それぞれのグループに対応付けて、親密度の範囲を示す情報を格納しており、人物選択部５００により選択された人物との間の親密度が当該範囲に含まれる人物を含む画像を、当該グループに分類して格納している。また、分類格納部５２０は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、当該画像を識別する画像識別子と、当該画像を示す画像データとを含んでいてよい。
FIG. 9 shows an example of the
なお、分類格納部５２０は、一の画像を、複数のグループのそれぞれに重複して分類していてもよい。また、分類格納部５２０は、それぞれの画像における、当該画像に含まれる人物の認識結果や、人物選択部５００によって選択された人物と当該画像に含まれる人物のそれぞれとの間の親密度等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納していてもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。
Note that the
図１０は、本発明の第２の実施形態に係る画像分類装置５０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１１００）。続いて、親密度算出部２３０は、人物の認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１１１０）。ここで、親密度算出部２３０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物の間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してよい。例えば、親密度算出部２３０は、当該第１の人物と第２の人物との双方を含む画像の数を、親密度として算出してもよい。これにより、共に画像に含まれている頻度が高い複数の人物を、互いに親密な人物として検出することができるので、画像の内容や画像を鑑賞する人物にとっての重要度に基づく実用的な画像の分類を、高い精度で行うことができる。
FIG. 10 is a flowchart showing an example of the flow of processing in the
続いて、人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する（Ｓ１１２０）。ここで、人物選択部５００は、例えば、顔画像データベース２１０に格納されている複数の顔画像が、画像分類装置５０に設けられた表示デバイスに一覧して表示されている場合に、利用者が選択した顔画像に対応する人物を選択してよい。また、例えば、人物選択部５００は、画像分類装置５０に設けられたデジタルカメラ等により撮像された利用者の顔画像と、顔画像データベース２１０に格納されている顔画像のそれぞれとに基づいて、複数の画像のうち少なくとも一部の画像に含まれる人物の中から、利用者である人物を検出して、当該検出した人物を選択してもよい。続いて、画像分類部５１０は、人物の認識結果と人物のそれぞれの間における親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類して、分類格納部５２０に格納させる（Ｓ１１３０）。
Subsequently, the person selection unit 500 selects one person from each of the persons included in at least some of the plurality of images stored in the image storage unit 200 (S1120). Here, the person selection unit 500, for example, when a plurality of face images stored in the
図１１は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
FIG. 11 is a block diagram showing an example of a hardware configuration of a
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
The input /
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム表示プログラムまたは画像分類プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。当該プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム表示プログラムまたは画像分類プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図１０にかけて説明した電子アルバム表示システム１０、電子アルバム再生部２０、または画像分類装置５０として機能させる。
The electronic album display program or the image classification program provided to the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１０ 電子アルバム表示システム、２０ 電子アルバム再生部、３０ 画像表示部、４０ 鑑賞者、５０ 画像分類装置、２００ 画像格納部、２１０ 顔画像データベース、２２０ 人物認識部、２３０ 親密度算出部、２４０ 撮像部、２５０ 鑑賞者識別部、２６０ 画像選択部、２７０ 画像処理部、５００ 人物選択部、５１０ 画像分類部、５２０ 分類格納部 10 electronic album display system, 20 electronic album playback unit, 30 image display unit, 40 viewer, 50 image classification device, 200 image storage unit, 210 face image database, 220 person recognition unit, 230 intimacy calculation unit, 240 imaging unit , 250 viewer identification unit, 260 image selection unit, 270 image processing unit, 500 person selection unit, 510 image classification unit, 520 classification storage unit
Claims (14)
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
前記複数の画像のうち、鑑賞者との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、
前記画像選択部により選択された画像を表示する画像表示部と
を備える電子アルバム表示システム。 An electronic album display system for displaying a plurality of images included in an electronic album,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the recognition result by the person recognition unit, a closeness calculation unit that calculates a closeness between each of the persons included in at least some of the plurality of images,
An image selection unit that selects an image including a person whose intimacy with a viewer is equal to or greater than a predetermined reference value among the plurality of images;
An electronic album display system comprising: an image display unit that displays an image selected by the image selection unit.
前記画像選択部は、前記鑑賞者との間の前記親密度が予め定められた基準値以上である人物のみが含まれる画像の前記グループと同一の前記グループに分類されている画像を選択する
請求項３に記載の電子アルバム表示システム。 The image storage unit stores each of the plurality of images classified into a plurality of groups based on image information that is information unique to the image,
The image selection unit selects an image classified into the same group as the group of images including only persons whose intimacy with the viewer is greater than or equal to a predetermined reference value. Item 4. The electronic album display system according to Item 3.
前記撮像部により撮像された顔画像に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、前記鑑賞者である人物を識別する鑑賞者識別部と
を更に備え、
前記画像選択部は、前記鑑賞者識別部により識別された前記鑑賞者である人物との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する
請求項１に記載の電子アルバム表示システム。 An imaging unit for imaging the viewer's face image;
A viewer identifying unit for identifying a person who is the viewer from a person included in at least some of the plurality of images based on a face image captured by the imaging unit;
The image selection unit selects an image including a person whose intimacy with the person who is the viewer identified by the viewer identification unit is equal to or greater than a predetermined reference value. The electronic album display system described.
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記人物認識段階における認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、
前記複数の画像のうち、鑑賞者との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、
前記画像選択段階において選択された画像を表示する画像表示段階と
を備える電子アルバム表示方法。 An electronic album display method for displaying a plurality of images included in an electronic album,
For each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image;
A familiarity calculating step of calculating a familiarity between each of the persons included in at least some of the plurality of images based on the recognition result in the person recognition step;
An image selection step of selecting an image including a person whose intimacy with a viewer is equal to or higher than a predetermined reference value among the plurality of images;
An electronic album display method comprising: an image display step of displaying the image selected in the image selection step.
前記コンピュータを、
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
前記複数の画像のうち、鑑賞者との間の前記親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、
前記画像選択部により選択された画像を表示する画像表示部と
を備える電子アルバム表示システムとして機能させる電子アルバム表示プログラム。 An electronic album display program for causing a computer to function as an electronic album display system for displaying a plurality of images included in an electronic album,
The computer,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the recognition result by the person recognition unit, a closeness calculation unit that calculates a closeness between each of the persons included in at least some of the plurality of images,
An image selection unit that selects an image including a person whose intimacy with a viewer is equal to or greater than a predetermined reference value among the plurality of images;
An electronic album display program that functions as an electronic album display system, comprising: an image display unit that displays an image selected by the image selection unit.
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
前記親密度算出部により算出された前記親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
を備える画像分類装置。 An image classification device for classifying a plurality of images,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the recognition result by the person recognition unit, a closeness calculation unit that calculates a closeness between each of the persons included in at least some of the plurality of images,
An image classification apparatus comprising: an image classification unit that classifies each of the plurality of images into a plurality of groups based on the familiarity calculated by the familiarity calculation unit.
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記人物認識段階における認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、
前記親密度算出段階において算出された前記親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類段階と
を備える画像分類方法。 An image classification method for classifying a plurality of images,
For each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image;
A familiarity calculating step of calculating a familiarity between each of the persons included in at least some of the plurality of images based on the recognition result in the person recognition step;
An image classification method comprising: an image classification step of classifying each of the plurality of images into a plurality of groups based on the familiarity calculated in the familiarity calculation step.
前記コンピュータを、
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
前記親密度算出部により算出された前記親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
を備える画像分類装置として機能させる画像分類プログラム。 An image classification program that causes a computer to function as an image classification device that classifies a plurality of images,
The computer,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the recognition result by the person recognition unit, a closeness calculation unit that calculates a closeness between each of the persons included in at least some of the plurality of images,
An image classification program that functions as an image classification device including: an image classification unit that classifies each of the plurality of images into a plurality of groups based on the familiarity calculated by the familiarity calculation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004264553A JP2006079460A (en) | 2004-09-10 | 2004-09-10 | System, method and program for displaying electronic album and device, method, and program for classifying image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004264553A JP2006079460A (en) | 2004-09-10 | 2004-09-10 | System, method and program for displaying electronic album and device, method, and program for classifying image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006079460A true JP2006079460A (en) | 2006-03-23 |
Family
ID=36158842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004264553A Pending JP2006079460A (en) | 2004-09-10 | 2004-09-10 | System, method and program for displaying electronic album and device, method, and program for classifying image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006079460A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008011145A (en) * | 2006-06-29 | 2008-01-17 | Nikon Corp | Playback device, playback system, and television set |
| JP2008071112A (en) * | 2006-09-14 | 2008-03-27 | Casio Comput Co Ltd | Image classification apparatus, image classification method, and program |
| JP2008242694A (en) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | Image processing apparatus and program thereof |
| JP2010140069A (en) * | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2011103588A (en) * | 2009-11-11 | 2011-05-26 | Toshiba Corp | Electronic apparatus, and image display method |
| JP2011244343A (en) * | 2010-05-20 | 2011-12-01 | Toshiba Corp | Electronic apparatus and dynamic image generating method |
| JP2012004748A (en) * | 2010-06-15 | 2012-01-05 | Toshiba Corp | Electronic equipment and moving image reproduction method |
| JP2012079354A (en) * | 2012-01-26 | 2012-04-19 | Casio Comput Co Ltd | Image display control apparatus, image display control method and program |
| JP2014506701A (en) * | 2011-02-18 | 2014-03-17 | グーグル・インコーポレーテッド | Affinity-based ranking for search and display |
| KR101378372B1 (en) | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | Digital image processing apparatus, method for controlling the same, and recording medium storing program to implement the method |
| JP2014194810A (en) * | 2009-08-07 | 2014-10-09 | Google Inc | Facial recognition with social network aiding |
| JP2017167605A (en) * | 2016-03-14 | 2017-09-21 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| US9870507B2 (en) | 2015-06-22 | 2018-01-16 | Fujifilm Corporation | Image extraction device, image extraction method, program, and recording medium |
| JP2022170739A (en) * | 2019-07-18 | 2022-11-10 | 富士フイルム株式会社 | Image analysis device, image analysis method, computer program, and recording medium |
-
2004
- 2004-09-10 JP JP2004264553A patent/JP2006079460A/en active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008011145A (en) * | 2006-06-29 | 2008-01-17 | Nikon Corp | Playback device, playback system, and television set |
| JP2008071112A (en) * | 2006-09-14 | 2008-03-27 | Casio Comput Co Ltd | Image classification apparatus, image classification method, and program |
| JP2008242694A (en) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | Image processing apparatus and program thereof |
| KR101378372B1 (en) | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | Digital image processing apparatus, method for controlling the same, and recording medium storing program to implement the method |
| JP2010140069A (en) * | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| US8503735B2 (en) | 2008-12-09 | 2013-08-06 | Sony Corporation | Image processing to perform grouping based on depth-of-relationship values |
| US10515114B2 (en) | 2009-08-07 | 2019-12-24 | Google Llc | Facial recognition with social network aiding |
| US10031927B2 (en) | 2009-08-07 | 2018-07-24 | Google Llc | Facial recognition with social network aiding |
| US9208177B2 (en) | 2009-08-07 | 2015-12-08 | Google Inc. | Facial recognition with social network aiding |
| JP2014194810A (en) * | 2009-08-07 | 2014-10-09 | Google Inc | Facial recognition with social network aiding |
| JP2011103588A (en) * | 2009-11-11 | 2011-05-26 | Toshiba Corp | Electronic apparatus, and image display method |
| US8457407B2 (en) | 2009-11-11 | 2013-06-04 | Kabushiki Kaisha Toshiba | Electronic apparatus and image display method |
| JP2011244343A (en) * | 2010-05-20 | 2011-12-01 | Toshiba Corp | Electronic apparatus and dynamic image generating method |
| US8494347B2 (en) | 2010-06-15 | 2013-07-23 | Kabushiki Kaisha Toshiba | Electronic apparatus and movie playback method |
| JP2012004748A (en) * | 2010-06-15 | 2012-01-05 | Toshiba Corp | Electronic equipment and moving image reproduction method |
| JP2014506701A (en) * | 2011-02-18 | 2014-03-17 | グーグル・インコーポレーテッド | Affinity-based ranking for search and display |
| JP2016157476A (en) * | 2011-02-18 | 2016-09-01 | グーグル インコーポレイテッド | Affinity-based ranking for search and display |
| JP2012079354A (en) * | 2012-01-26 | 2012-04-19 | Casio Comput Co Ltd | Image display control apparatus, image display control method and program |
| US9870507B2 (en) | 2015-06-22 | 2018-01-16 | Fujifilm Corporation | Image extraction device, image extraction method, program, and recording medium |
| JP2017167605A (en) * | 2016-03-14 | 2017-09-21 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| JP2022170739A (en) * | 2019-07-18 | 2022-11-10 | 富士フイルム株式会社 | Image analysis device, image analysis method, computer program, and recording medium |
| JP7382461B2 (en) | 2019-07-18 | 2023-11-16 | 富士フイルム株式会社 | Image analysis device, image analysis method, computer program, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7477805B2 (en) | Electronic album display system, an image grouping apparatus, an electronic album display method, an image grouping method, and a machine readable medium storing thereon a computer program | |
| US7868924B2 (en) | Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium | |
| US7243101B2 (en) | Program, image managing apparatus and image managing method | |
| CN101783886B (en) | Information processing apparatus, information processing method, and program | |
| JP4490214B2 (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| US8594440B2 (en) | Automatic creation of a scalable relevance ordered representation of an image collection | |
| TWI338265B (en) | System, apparatus, method and program for processing image | |
| JP4987943B2 (en) | Electronic apparatus and image display method | |
| US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
| US20120082378A1 (en) | method and apparatus for selecting a representative image | |
| JP2007513413A (en) | Content recognition for selecting emphasized images | |
| JP2011109428A (en) | Information processing apparatus, information processing method, and program | |
| JP2006079458A (en) | Image transmission system, method, and program | |
| JP2006079460A (en) | System, method and program for displaying electronic album and device, method, and program for classifying image | |
| JP2006081021A (en) | Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program | |
| JP2006236218A (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| US7663643B2 (en) | Electronic album display system, an electronic album display method, and a machine readable medium storing thereon a computer program for displaying an electronic album | |
| JP4881034B2 (en) | Electronic album editing system, electronic album editing method, and electronic album editing program | |
| US20110304779A1 (en) | Electronic Apparatus and Image Processing Method | |
| JP2010153936A (en) | Device and program for image evaluation | |
| JP5598159B2 (en) | Image processing apparatus, imaging system, image processing method, and program | |
| JP2006155095A (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| JP2006236216A (en) | Person recognition system, person recognizing method and person recognition program | |
| JPH11212993A (en) | Picture retrieval device/method and record medium recording picture retrieval program | |
| JP2012015858A (en) | Image processing apparatus, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |