JP2013069024A

JP2013069024A - Image retrieval program and image retrieval device

Info

Publication number: JP2013069024A
Application number: JP2011205728A
Authority: JP
Inventors: Akira Miura; 亮三浦
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-09-21
Filing date: 2011-09-21
Publication date: 2013-04-18

Abstract

PROBLEM TO BE SOLVED: To provide an image retrieval program and an image retrieval device, which retrieve related image information from shared image information on the basis of image information that has been autonomously registered.SOLUTION: An image retrieval program 1 includes: image information reception means 100 for receiving image information 20 to be registered in an image information DB2; facial information recognition means 101 for recognizing a person's face contained in an image of the received image information 20 to generate facial information 111; auxiliary information extraction means 102 for extracting auxiliary information 112 possessed by the received image information 20; retrieval condition reception means 103 for receiving, as a retrieval condition, image information selected from the image information 20 already registered in the image information DB2; image information retrieval means 104 for retrieving image information with high similarity from the image information 20 already registered in the image information DB2 on the basis of the facial information of the image information received by the retrieval condition reception means 103 and auxiliary information; and retrieval result output means 105 for outputting the retrieval result.

Description

本発明は、画像検索プログラム及び画像検索装置に関する。 The present invention relates to an image search program and an image search apparatus.

従来の技術として、デジタルカメラで撮影した写真等の付随情報を有する画像情報を付随情報に基づいて自動で分類する画像情報分類装置が提案されている（例えば、特許文献１参照）。 As a conventional technique, there has been proposed an image information classification device that automatically classifies image information having accompanying information such as a photograph taken with a digital camera based on the accompanying information (see, for example, Patent Document 1).

特許文献１に開示された画像情報分類装置は、入力された画像情報が有する付随情報から撮影時間、場所、方位、撮影者の個人情報等を抽出する抽出部と、抽出部が抽出した情報と代表する画像情報の付随情報から抽出された情報との類似度を算出する計算部と、予め定めた分類規則に従って計算部の算出した類似度に基づいて画像情報を分類する分類部とを有する。 An image information classification device disclosed in Patent Literature 1 includes an extraction unit that extracts shooting time, location, orientation, photographer's personal information, and the like from accompanying information included in input image information, and information extracted by the extraction unit. A calculation unit that calculates similarity to information extracted from accompanying information of representative image information; and a classification unit that classifies image information based on the similarity calculated by the calculation unit according to a predetermined classification rule.

特開２００４−２８０２５４号公報JP 2004-280254 A

本発明の目的は、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索する画像検索プログラム及び画像検索装置を提供することにある。 An object of the present invention is to provide an image search program and an image search apparatus for searching related image information based on image information registered by itself from shared image information.

本発明の一態様は、上記目的を達成するため、以下の画像検索プログラム及び画像検索装置を提供する。 In order to achieve the above object, an aspect of the present invention provides the following image search program and image search apparatus.

［１］コンピュータを、
記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段として機能させるための画像検索プログラム。 [1]
Search condition receiving means for receiving, as a search condition, image information selected from a plurality of image information registered in the storage device;
Recognized from the face information recognized from the selected image information received by the search condition receiving means and the accompanying information extracted from the selected image information, and the plurality of image information registered in the storage device. An image search program for acquiring the acquired face information and accompanying information extracted from the plurality of image information, calculating a similarity, and functioning as search means for searching for image information having a high similarity.

［２］前記検索手段は、前記付随情報として少なくとも前記画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索する前記［１］に記載の画像検索プログラム。 [2] The image search program according to [1], wherein the search means searches based on at least the date and time when the image information was captured as the accompanying information and the captured position information.

［３］前記検索手段は、前記選択された画像情報と前記複数の画像情報との前記付随情報の類似度を算出し、類似度の高い画像情報を検索して、当該類似度の高い画像情報から前記選択された画像情報の前記顔情報と類似度の高い画像情報を検索する前記［１］又は［２］に記載の画像検索プログラム。 [3] The search means calculates the similarity of the accompanying information between the selected image information and the plurality of image information, searches for image information with a high similarity, and searches for image information with a high similarity The image search program according to [1] or [2], wherein image information having a high similarity to the face information of the selected image information is searched.

［４］記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段とを有する画像検索装置。 [4] Search condition receiving means for receiving, as a search condition, image information selected from a plurality of image information registered in the storage device;
Recognized from the face information recognized from the selected image information received by the search condition receiving means and the accompanying information extracted from the selected image information, and the plurality of image information registered in the storage device. An image search apparatus comprising: search means for acquiring the face information and accompanying information extracted from the plurality of image information, calculating similarity, and searching for image information having a high similarity.

請求項１又は４に係る発明によれば、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索することができる。 According to the invention which concerns on Claim 1 or 4, it can search related image information based on the image information which self registered from the shared image information.

請求項２に係る発明によれば、付随情報として少なくとも画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索することができる。 According to the second aspect of the present invention, it is possible to search based on at least the date and time when the image information was captured as the accompanying information and the captured location information.

請求項３に係る発明によれば、付随情報の類似度の高い画像情報を検索して、当該類似度の高い画像情報から選択された画像情報の顔情報と類似度の高い画像情報を検索することができる。 According to the third aspect of the present invention, image information having a high degree of similarity of the accompanying information is searched, and image information having a high degree of similarity to the face information of the image information selected from the image information having the high degree of similarity is searched. be able to.

図１は、本発明の実施の形態に係る画像検索システムの構成の一例を示す概略図である。FIG. 1 is a schematic diagram showing an example of the configuration of an image search system according to an embodiment of the present invention. 図２は、本発明の実施の形態に係る画像検索装置の構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of the image search apparatus according to the embodiment of the present invention. 図３は、顔情報の構成の一例を示す概略図である。FIG. 3 is a schematic diagram illustrating an example of the configuration of face information. 図４は、付随情報の構成の一例を示す概略図である。FIG. 4 is a schematic diagram illustrating an example of the configuration of the accompanying information. 図５（ａ）〜（ｃ）は、それぞれ検索条件としての付随情報、検索対象としての付随情報及び検索結果情報の構成の一例を示す概略図である。FIGS. 5A to 5C are schematic diagrams illustrating examples of configurations of incidental information as a search condition, incidental information as a search target, and search result information, respectively. 図６（ａ）〜（ｃ）は、検索条件としての顔情報及び検索対象としての顔情報の構成の一例を示す概略図である。6A to 6C are schematic diagrams illustrating an example of the configuration of face information as a search condition and face information as a search target. 図７は、検索結果情報の構成の一例を示す概略図である。FIG. 7 is a schematic diagram illustrating an example of a configuration of search result information. 図８は、顔情報認識手段の顔情報の認識動作の一例を示すフローチャートである。FIG. 8 is a flowchart showing an example of the face information recognition operation of the face information recognition means.

［実施の形態］
（画像検索システムの構成）
図１は、本発明の実施の形態に係る画像検索システムの構成の一例を示す概略図である。 [Embodiment]
(Configuration of image search system)
FIG. 1 is a schematic diagram showing an example of the configuration of an image search system according to an embodiment of the present invention.

画像検索システム５は、画像検索装置１、画像情報データベース２（以下、「ＤＢ」という。）及び端末装置３Ａ、３Ｂ、３Ｃ等を有し、これらの装置をネットワーク４で互いに通信可能に接続する。ユーザーＡ、Ｂ、Ｃは、それぞれ端末装置３Ａ、３Ｂ、３Ｃを利用して画像検索装置１と通信し、図示しないデジタルカメラ等で撮影して生成された画像情報を画像情報ＤＢ２に画像情報２０として登録するとともに、画像情報ＤＢ２に登録された画像情報２０からユーザーＡ、Ｂ、Ｃに関連する画像情報を検索する。 The image search system 5 includes an image search device 1, an image information database 2 (hereinafter referred to as "DB"), and terminal devices 3A, 3B, 3C, and the like, and these devices are connected to each other via a network 4 so as to communicate with each other. . The users A, B, and C communicate with the image search device 1 using the terminal devices 3A, 3B, and 3C, respectively, and image information generated by photographing with a digital camera (not shown) is stored in the image information DB 2 as image information 20. As well as image information related to the users A, B, and C from the image information 20 registered in the image information DB 2.

画像検索装置１は、情報を処理するための機能を備えたＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や記憶部等の電子部品を備える画像検索装置であり、端末装置３Ａ、３Ｂ、３Ｃから画像情報を受信して画像情報ＤＢ２に保存する。また、画像検索装置１は、端末装置３Ａ、３Ｂ、３Ｃの要求に応じて画像情報ＤＢ２に登録された画像情報２０からユーザーＡ、Ｂ、Ｃに関連する画像情報を検索する。 The image search apparatus 1 is an image search apparatus that includes electronic components such as a CPU (Central Processing Unit) having a function for processing information and a storage unit, and receives image information from the terminal devices 3A, 3B, and 3C. And stored in the image information DB2. Further, the image search device 1 searches for image information related to the users A, B, and C from the image information 20 registered in the image information DB 2 in response to requests from the terminal devices 3A, 3B, and 3C.

画像情報ＤＢ２は、端末装置３Ａ、３Ｂ、３Ｃから受信した画像情報を画像情報２０として登録する。なお、画像情報ＤＢ２は、例えば、「ＳＱＬデータベース」、「ＸＭＬデータベース」、「オブジェクト指向データベース」、又はキー（Ｋｅｙ）に対して一意に特定される値（Ｖａｌｕｅ）を返す「Ｋｅｙ−Ｖａｌｕｅデータベース」等を用いることができる。 The image information DB 2 registers the image information received from the terminal devices 3A, 3B, 3C as the image information 20. The image information DB 2 is, for example, an “SQL database”, an “XML database”, an “object-oriented database”, or a “Key-Value database” that returns a value (Value) uniquely specified for a key (Key). Etc. can be used.

端末装置３Ａ、３Ｂ、３Ｃは、操作入力用のキーボード、マウス、タッチパッド等の操作部と、液晶ディスプレイ等の表示部と、ＣＰＵや記憶部等の電子部品を有する制御部とを備える。端末装置３Ａ、３Ｂ、３Ｃは、画像検索装置１に利用者の操作に応じた要求を送信し、その要求に対する応答を受信して、受信した内容を制御部で処理した結果を表示部に表示する。なお、端末装置３Ａ、３Ｂ、３Ｃは、例えば、パーソナルコンピュータであり、その他にＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。 The terminal devices 3A, 3B, and 3C include an operation unit such as an operation input keyboard, a mouse, and a touch pad, a display unit such as a liquid crystal display, and a control unit including electronic components such as a CPU and a storage unit. The terminal devices 3A, 3B, and 3C transmit a request corresponding to the user's operation to the image search device 1, receive a response to the request, and display the result of processing the received content by the control unit on the display unit To do. Note that the terminal devices 3A, 3B, and 3C are, for example, personal computers, and a PDA (Personal Digital Assistant), a mobile phone, or the like can also be used.

ネットワーク４は、インターネット、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等の通信網であり、有線、無線は問わない。 The network 4 is a communication network such as the Internet or a LAN (Local Area Network), and may be wired or wireless.

（画像検索装置１の構成）
図２は、本発明の実施の形態に係る画像検索装置１の構成の一例を示すブロック図である。 (Configuration of image search apparatus 1)
FIG. 2 is a block diagram showing an example of the configuration of the image search apparatus 1 according to the embodiment of the present invention.

この画像検索装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やフラッシュメモリ等の記録媒体から構成され情報を記憶する記憶装置の一例としての記憶部１１と、ネットワーク４を介して外部と通信する通信部１２とを備える。 The image retrieval apparatus 1 is configured by a CPU and the like, and controls each unit and executes various programs, and a storage device that is configured by a recording medium such as an HDD (Hard Disk Drive) and a flash memory and stores information. As an example, a storage unit 11 and a communication unit 12 that communicates with the outside via the network 4 are provided.

制御部１０は、後述する画像検索プログラム１１０を実行することで、画像情報受付手段１００、顔情報認識手段１０１、付随情報抽出手段１０２、検索条件受付手段１０３、画像情報検索手段１０４及び検索結果出力手段１０５等として機能する。 The control unit 10 executes an image search program 110, which will be described later, so that the image information receiving unit 100, the face information recognizing unit 101, the accompanying information extracting unit 102, the search condition receiving unit 103, the image information searching unit 104, and the search result output. It functions as the means 105 or the like.

画像情報受付手段１００は、画像情報ＤＢ２に登録する画像情報を端末装置３Ａ、３Ｂ、３Ｃから受け付ける。 The image information receiving unit 100 receives image information to be registered in the image information DB 2 from the terminal devices 3A, 3B, and 3C.

顔情報認識手段１０１は、画像情報受付手段１００が受け付けた画像情報から顔認識技術を用いて人物の顔を認識し、後述する顔情報１１１を生成する。 The face information recognition unit 101 recognizes a person's face from the image information received by the image information reception unit 100 using a face recognition technique, and generates face information 111 described later.

付随情報抽出手段１０２は、画像情報受付手段１００が受け付けた画像情報が有する付随情報を抽出し、記憶部１１に格納する。 The accompanying information extraction unit 102 extracts the accompanying information included in the image information received by the image information receiving unit 100 and stores it in the storage unit 11.

検索条件受付手段１０３は、画像情報を検索するための検索条件を端末装置３Ａ、３Ｂ、３Ｃから受け付ける。なお、検索条件受付手段１０３は、検索条件として画像情報を受け付ける。 The search condition receiving unit 103 receives search conditions for searching for image information from the terminal devices 3A, 3B, and 3C. The search condition accepting unit 103 accepts image information as a search condition.

画像情報検索手段１０４は、検索条件受付手段１０３が受け付けた検索条件に合致する画像情報を画像情報ＤＢ２の画像情報２０から検索する。 The image information search unit 104 searches the image information 20 of the image information DB 2 for image information that matches the search condition received by the search condition receiving unit 103.

検索結果出力手段１０５は、画像情報検索手段１０４の検索結果を検索要求を受け付けた端末装置３Ａ、３Ｂ、３Ｃに対して出力する。 The search result output unit 105 outputs the search result of the image information search unit 104 to the terminal devices 3A, 3B, and 3C that have received the search request.

記憶部１１は、画像検索プログラム１１０、顔情報１１１、付随情報１１２及び検索結果情報１１３等を格納する。 The storage unit 11 stores an image search program 110, face information 111, accompanying information 112, search result information 113, and the like.

画像検索プログラム１１０は、制御部１０を上記した各手段１００〜１０５として動作させるプログラムである。 The image search program 110 is a program that causes the control unit 10 to operate as each of the means 100 to 105 described above.

顔情報１１１は、顔情報認識手段１０１が画像情報から認識した情報である。 The face information 111 is information recognized by the face information recognition unit 101 from the image information.

付随情報１１２は、付随情報抽出手段１０２が画像情報から抽出した付随情報である。ここで、付随情報とはＥｘｉｆ（ＥｘｃｈａｎｇｅａｂｌｅＩｍａｇｅＦｉｌｅ）等のフォーマットで既述された情報であり、例えば、撮影日時、撮影機器メーカー名、撮影機器モデル名、画像全体の解像度、水平・垂直方向の単位あたり解像度、撮影方向、シャッタースピード、絞り、ＩＳＯ感度、測光モード、フラッシュの有無、露光補正ステップ値、焦点距離、色空間、ＧＰＳ情報等が記載される。 The accompanying information 112 is accompanying information extracted from the image information by the accompanying information extraction unit 102. Here, the accompanying information is information described in a format such as Exif (Exchangeable Image File). For example, the shooting date / time, the shooting device manufacturer name, the shooting device model name, the resolution of the entire image, the horizontal / vertical direction The resolution per unit, shooting direction, shutter speed, aperture, ISO sensitivity, photometry mode, presence / absence of flash, exposure correction step value, focal length, color space, GPS information, etc. are described.

検索結果情報１１３は、画像情報検索手段１０４が検索条件に基づき画像情報ＤＢ２から検索した画像情報の検索結果である。 The search result information 113 is a search result of image information searched by the image information search unit 104 from the image information DB 2 based on the search condition.

図３は、顔情報１１１の構成の一例を示す概略図である。 FIG. 3 is a schematic diagram illustrating an example of the configuration of the face information 111.

同図に示す顔情報１１１Ａは、ユーザーＡの撮影した「アルバムＮｏ．１」に含まれる画像情報から顔情報認識手段１０１によって認識された顔の情報であり、画像情報を識別する識別番号（同図では「写真１」〜「写真６」）と、顔情報認識手段１０１によって認識された顔の人物の情報（同図では「人物Ｏ」、「人物Ｐ」、「人物Ｑ」、「人物Ｒ」、「人物Ｓ」）とを有する。 The face information 111A shown in the figure is face information recognized by the face information recognition unit 101 from the image information included in “album No. 1” taken by the user A, and is an identification number (identical to the image information). In the figure, “photo 1” to “photo 6”) and information on the person of the face recognized by the face information recognition means 101 (in the figure, “person O”, “person P”, “person Q”, “person R”). , “Person S”).

図４は、付随情報１１２の構成の一例を示す概略図である。 FIG. 4 is a schematic diagram illustrating an example of the configuration of the accompanying information 112.

同図に示す付随情報１１２Ａは、ユーザーＡの撮影した画像情報に付随する情報であり、画像情報を識別する識別番号（同図では「写真１」〜「写真６」）と、画像情報を撮影した時刻を示す撮影時刻と、画像情報を撮影した位置を示す位置情報とを有する。 The accompanying information 112A shown in the figure is information accompanying the image information taken by the user A, and an identification number for identifying the image information ("Picture 1" to "Picture 6" in the figure) and the image information are taken. And a position information indicating a position where the image information is captured.

（画像検索システムの動作）
次に、本実施の形態の作用を、（１）画像情報の受付動作、（２）顔情報の認識動作、（３）画像情報の検索動作に分けて説明する。 (Operation of image search system)
Next, the operation of the present embodiment will be described by dividing it into (1) image information reception operation, (2) face information recognition operation, and (3) image information search operation.

（１）画像情報の受付動作
まず、ユーザーＡ、Ｂ、Ｃは、デジタルカメラ等で撮影し、生成された画像情報を端末装置３Ａ、３Ｂ、３Ｃに転送する。次に、ユーザーＡ、Ｂ、Ｃは、画像情報をユーザーＡ、Ｂ、Ｃで共有すべく端末装置３Ａ、３Ｂ、３Ｃを操作して画像情報を画像情報ＤＢ２に登録すべく、画像検索装置１と通信する。通信の際、利用者は最初に端末装置３Ａ、３Ｂ、３Ｃに利用者識別情報の利用者ＩＤとパスワードを入力し、端末装置３Ａ、３Ｂ、３Ｃは画像検索装置１に認証を要求する。 (1) Image Information Accepting Operation First, the users A, B, and C take images with a digital camera or the like, and transfer the generated image information to the terminal devices 3A, 3B, and 3C. Next, the users A, B, and C operate the terminal devices 3A, 3B, and 3C to share the image information among the users A, B, and C, and register the image information in the image information DB 2 to register the image information in the image search apparatus 1. Communicate with. During communication, the user first inputs the user ID and password of the user identification information to the terminal devices 3A, 3B, and 3C, and the terminal devices 3A, 3B, and 3C request the image search device 1 for authentication.

画像検索装置１は、端末装置３Ａ、３Ｂ、３Ｃから認証要求とともに利用者ＩＤとパスワードを受信し、自己が保持する予め登録された利用者情報（図示せず）を参照して認証する。登録済みの利用者である場合、すなわち利用者ＩＤとパスワードの両方に一致するものが利用者情報に存在していれば認証が成功したと判断し、画像情報の登録が可能になった旨を端末装置３Ａ、３Ｂ、３Ｃに通知する。 The image search device 1 receives the user ID and password together with the authentication request from the terminal devices 3A, 3B, and 3C, and authenticates the user by referring to user information (not shown) registered in advance. If it is a registered user, that is, if the user information that matches both the user ID and password exists in the user information, it is judged that the authentication has succeeded, and that the registration of the image information is possible The terminal device 3A, 3B, 3C is notified.

次に、ユーザーＡ、Ｂ、Ｃは画像情報を画像ＤＢ２に登録すべく端末装置３Ａ、３Ｂ、３Ｃを操作する。端末装置３Ａ、３Ｂ、３Ｃは、登録要求とともに登録対象の画像情報を画像検索装置１に送信する。 Next, the users A, B, and C operate the terminal devices 3A, 3B, and 3C to register the image information in the image DB2. The terminal devices 3A, 3B, and 3C transmit registration target image information to the image search device 1 together with the registration request.

画像検索装置１の画像情報受付手段１００は、登録要求とともに画像情報を受信すると、画像情報２０として画像情報ＤＢ２に格納するとともに、顔情報の認識と付随情報の抽出の動作を行う。 When receiving the image information together with the registration request, the image information receiving means 100 of the image search device 1 stores the image information 20 in the image information DB 2 and performs face information recognition and accompanying information extraction operations.

顔情報の認識動作は、顔情報認識手段１０１が行う。顔情報認識手段１０１は、画像情報受付手段１００が受け付けた画像情報から「（２）顔情報の認識動作」で説明する顔認識技術を用いて人物の顔を認識し、顔情報１１１を生成して記憶部１１に格納する。なお、本実施の形態において、顔情報１１１は、利用者の顔画像を登録することなく同一の顔画像に任意の名称をつけて行う。 The face information recognition unit 101 performs the face information recognition operation. The face information recognition unit 101 recognizes a person's face from the image information received by the image information reception unit 100 using the face recognition technology described in “(2) Face information recognition operation”, and generates face information 111. And stored in the storage unit 11. In the present embodiment, the face information 111 is performed by assigning an arbitrary name to the same face image without registering the user's face image.

付随情報の抽出動作は、付随情報抽出手段１０２が行う。付随情報抽出手段１０２は、画像情報受付手段１００が受け付けた画像情報が有する付随情報１１２を抽出し、記憶部１１に格納する。 The accompanying information extracting unit 102 performs the accompanying information extracting operation. The accompanying information extracting unit 102 extracts the accompanying information 112 included in the image information received by the image information receiving unit 100 and stores it in the storage unit 11.

（２）顔情報の認識動作
顔情報認識手段１０１の顔情報の認識動作は、一例として、「映像情報メディア学会誌」（横山太郎等、１９９９年、Ｖｏｌ．５３、Ｎｏ．１１、ｐｐ．１６０５−１６１４）に基づくものであり、以下の手順で行う。 (2) Face information recognition operation The face information recognition operation of the face information recognition means 101 is, for example, “Journal of the Institute of Image Information Media” (Taro Yokoyama et al., 1999, Vol. 53, No. 11, pp. 1605). -1614), and is performed according to the following procedure.

図８は、顔情報認識手段１０１の顔情報の認識動作の一例を示すフローチャートである。 FIG. 8 is a flowchart showing an example of the face information recognition operation of the face information recognition means 101.

まず、画像情報受付手段１００が受け付けた画像情報がＰｉｃｔ１、…、Ｐｉｃｔｌ（ｌは受け付けた画像の数）である場合、顔情報認識手段１０１は、まず画像Ｐｉｃｔ１を処理対象の画像とする（Ｓ１）。 First, when the image information received by the image information receiving unit 100 is Pict1,..., Pictl (l is the number of received images), the face information recognition unit 101 first sets the image Pict1 as a processing target image (S1). ).

次に、顔情報認識手段１０１は、画像Ｐｉｃｔ１から肌色の領域Ａｒｅａ１、…、Ａｒｅａｍ（ｍは画像中に存在する肌色の領域の数）を抽出する（Ｓ２）。この場合、人種の差異を考慮して、黒に近い色から白に近い薄い肌色まで予め定めた範囲の色を抽出対象とする。 Next, the face information recognition unit 101 extracts skin color areas Area1,..., Area m (m is the number of skin color areas present in the image) from the image Pict1 (S2). In this case, in consideration of race differences, colors in a predetermined range from a color close to black to a light skin color close to white are selected as extraction targets.

次に、顔情報認識手段１０１は、抽出した領域からまずＡｒｅａ１を処理対象の領域とし（Ｓ３）、領域Ａｒｅａ１内の要素Ｅｌｅｍ１、…、Ｅｌｅｍｎ（ｎは領域内に存在する要素の数）をさらに抽出する（Ｓ４）。なお、領域内の要素の抽出は、例えば、色の異なる輪郭を有する要素を特定することで行う。 Next, the face information recognizing unit 101 first sets Area1 as the processing target area from the extracted area (S3), and further determines the elements Elem1, ..., Elmn (n is the number of elements existing in the area) in the area Area1. Extract (S4). Note that the extraction of elements in the region is performed by, for example, specifying elements having contours with different colors.

次に、顔情報認識手段１０１は、抽出された要素Ｅｌｅｍ１、…、Ｅｌｅｍｎが領域内において顔を構成する要素、つまり眉、目、鼻、口等であるかどうかを判別する。抽出された要素が顔を構成する要素であるかどうかの判別は、それぞれの要素の位置と傾き、及び要素間の相対的な配置を表す数値を含む顔特徴情報として特定した上で（Ｓ５）、その顔特徴情報に含まれる数値が予め設定されている人間の顔を構成する数値の範囲内に存在するかどうかを判断することで行う（Ｓ６）。 Next, the face information recognition unit 101 determines whether or not the extracted elements Elem1,..., Elmn are elements constituting a face in the region, that is, eyebrows, eyes, nose, mouth and the like. Whether or not the extracted element is an element constituting the face is specified as face feature information including the position and inclination of each element and a numerical value representing the relative arrangement between the elements (S5). Then, it is determined by determining whether or not the numerical value included in the face feature information is within a predetermined numerical value range constituting the human face (S6).

なお、顔情報認識手段１０１は、抽出された要素が人間の顔を構成する要素であることが判別できない場合（Ｓ６；Ｎｏ）は、次の領域を処理対象とし（Ｓ１１）、抽出された要素が人間の顔であることが判別できる場合（Ｓ６；Ｙｅｓ）は人物を特定する処理に進む。 If face information recognition means 101 cannot determine that the extracted element is an element constituting a human face (S6; No), the next area is the processing target (S11), and the extracted element Can be determined to be a human face (S6; Yes), the process proceeds to a process of specifying a person.

顔情報認識手段１０１は、人物を特定する処理として、顔特徴ＤＢ１１４を用いる。ここで、顔特徴ＤＢ１１４は、顔特徴情報と人物を特定する識別子とが関連付けて登録されているものとする。 The face information recognition unit 101 uses the face feature DB 114 as processing for specifying a person. Here, it is assumed that the face feature DB 114 is registered in association with face feature information and an identifier for identifying a person.

次に、顔情報認識手段１０１は、ステップＳ５で抽出した顔特徴情報が顔特徴ＤＢ１１４に登録されている顔特徴情報のいずれかと一致又は近似するかを判別する（Ｓ７）。 Next, the face information recognition unit 101 determines whether the face feature information extracted in step S5 matches or approximates any of the face feature information registered in the face feature DB 114 (S7).

次に、顔情報認識手段１０１は、顔特徴情報が顔特徴ＤＢ１１４に登録されている顔特徴情報と一致又は近似している場合（Ｓ７；Ｙｅｓ）、一致又は近似した顔特徴ＤＢ１１４に登録されている顔特徴情報と関連付けられている人物を特定する識別子（例として、「人物Ｏ」とする。）を抽出して、「人物Ｏ」が処理対象の画像Ｐｉｃｔ１に写っている人物として記憶される（Ｓ８）。 Next, when the face feature information matches or approximates the face feature information registered in the face feature DB 114 (S7; Yes), the face information recognition unit 101 is registered in the matched or approximate face feature DB 114. An identifier (for example, “person O”) that identifies the person associated with the facial feature information is extracted, and “person O” is stored as a person shown in the image Pict1 to be processed. (S8).

ここで、抽出した顔特徴情報と顔特徴ＤＢ１１４に登録されている顔特徴情報とが一致しないが近似する場合、つまり抽出した顔特徴情報と顔特徴ＤＢ１１４に登録されている顔特徴情報とに差異がある場合、顔特徴ＤＢ１１４に登録された顔特徴情報を抽出した顔特徴情報に基づいて修正して更新してもよい。 Here, when the extracted facial feature information and the facial feature information registered in the facial feature DB 114 do not match but approximate, that is, the extracted facial feature information differs from the facial feature information registered in the facial feature DB 114. If there is, the face feature information registered in the face feature DB 114 may be corrected and updated based on the extracted face feature information.

また、顔特徴情報が顔特徴ＤＢ１１４に記憶されている顔特徴情報と一致も近似もしない場合（Ｓ７；Ｎｏ）、これまで使用されていない人物を特定する識別子を新規に生成して（例として、「人物Ｐ」とする。）、新たに生成された識別子と顔特徴情報とを関連付けて顔特徴ＤＢ１１４に登録し（Ｓ９）、「人物Ｐ」が処理対象の画像Ｐｉｃｔ１に写っている人物として記憶される。 If the face feature information does not match or approximate the face feature information stored in the face feature DB 114 (S7; No), a new identifier for identifying a person who has not been used so far is generated (for example, , “Person P”), the newly generated identifier and the face feature information are associated with each other and registered in the face feature DB 114 (S9), and “person P” is a person shown in the image Pict1 to be processed. Remembered.

ここで、１つの領域の処理が終了し、次の領域があれば次の領域を処理し（Ｓ１０；Ｎｏ）、次の領域が無ければ（Ｓ１０；Ｙｅｓ）、全ての領域の処理が終了したとして１つの画像の抽出処理が完了する。 Here, the processing of one region is completed. If there is a next region, the next region is processed (S10; No). If there is no next region (S10; Yes), the processing of all regions is completed. As a result, the extraction processing of one image is completed.

また、次の画像があれば次の画像を処理し（Ｓ１２；Ｎｏ、Ｓ１３）、次の画像が無ければ（Ｓ１２；Ｙｅｓ）、全ての画像の処理が完了したとして一つのアルバムの抽出処理が完了する。なお、顔特徴ＤＢ１１４は複数のアルバムに共通して利用され、人物を表す識別子は複数のアルバムにおいて共通である。 If there is a next image, the next image is processed (S12; No, S13). If there is no next image (S12; Yes), one album extraction process is performed assuming that all the images have been processed. Complete. The face feature DB 114 is commonly used for a plurality of albums, and an identifier representing a person is common to the plurality of albums.

（３）画像情報の検索動作
次に、検索条件受付手段１０３は、画像情報を検索するための検索条件を、例えば、ユーザーＡの操作する端末装置３Ａから受け付ける。なお、本実施の形態において、検索条件受付手段１０３は、検索条件として指定された画像情報を受け付ける。以下、指定された画像情報の付随情報１１２、顔情報１１１の順でこれらに基づいて検索対象を絞り込む動作を説明する。 (3) Image Information Search Operation Next, the search condition receiving unit 103 receives a search condition for searching for image information from, for example, the terminal device 3A operated by the user A. In the present embodiment, the search condition accepting unit 103 accepts image information designated as a search condition. Hereinafter, the operation of narrowing down the search target based on the accompanying information 112 of the designated image information and the face information 111 in this order will be described.

図５（ａ）〜（ｃ）は、それぞれ検索条件としての付随情報、検索対象としての付随情報及び検索結果情報の構成の一例を示す概略図である。 FIGS. 5A to 5C are schematic diagrams illustrating examples of configurations of incidental information as a search condition, incidental information as a search target, and search result information, respectively.

まず、ユーザーＡが検索条件の一つとして図５（ａ）に示す「アルバムＮｏ．１」を指定すると、検索条件受付手段１０３は「アルバムＮｏ．１」を検索条件の一つとして受け付け、「アルバムＮｏ．１」の画像情報に対応する付随情報１１２Ａを取得する。 First, when the user A designates “album No. 1” shown in FIG. 5A as one of the search conditions, the search condition accepting unit 103 accepts “album No. 1” as one of the search conditions. Accompanying information 112A corresponding to the image information of “Album No. 1” is acquired.

次に、画像情報検索手段１０４は、他の利用者、例えば、図５（ｂ）に示すユーザーＢが登録した画像情報についての付随情報１１２Ｂ（比較先１）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。具体的には、撮影時刻及び位置情報について予め定めた方法で類似度を算出し、類似度の上位１つ又は複数個を選択することにより、又は類似度が予め定めた閾値より大きいものを選択することにより検索する。この例では、「アルバムＮｏ．３」が撮影時刻及び位置情報が近いものであるため、両利用者は同様の行事等に参加した蓋然性が高いと考えられる。 Next, the image information search means 104 searches the user A's designated search condition for the accompanying information 112B (comparison destination 1) for the image information registered by another user, for example, the user B shown in FIG. Search for items that match or are close to (comparison source). Specifically, the degree of similarity is calculated by a predetermined method with respect to the shooting time and position information, and one or more of the similarities are selected, or the similarity is selected to be greater than a predetermined threshold. To search. In this example, since “album No. 3” has close shooting time and position information, it is considered that both users have a high probability of participating in the same event.

画像情報検索手段１０４は、以上の検索を全利用者に対して行い、図５（ｃ）に示す検索結果情報１１３_１を得る。 Image information retrieval unit 104 performs the above search for all users to obtain search result information 113 ₁ shown in FIG. 5 (c).

図６（ａ）〜（ｃ）は、検索条件としての顔情報及び検索対象としての顔情報の構成の一例を示す概略図である。 6A to 6C are schematic diagrams illustrating an example of the configuration of face information as a search condition and face information as a search target.

次に、ユーザーＡが検索条件の一つとしてさらに図６（ａ）に示す「アルバムＮｏ．１」の顔情報１１１Ａを指定すると、検索条件受付手段１０３は顔情報１１１Ａを検索条件の一つとして受け付ける。 Next, when the user A further specifies the face information 111A of “album No. 1” shown in FIG. 6A as one of the search conditions, the search condition receiving means 103 sets the face information 111A as one of the search conditions. Accept.

次に、画像情報検索手段１０４は、付随情報が一致した検索結果情報１１３_１のうち、例えば、図６（ｂ）に示すユーザーＢが登録した画像情報についての顔情報１１１Ｂ（比較先１）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。この例では、「アルバムＮｏ．３」中の「写真１」、「写真２」、「写真４」、「写真５」に写っている人物が一致するものがあるため、「人物Ｏ」、「人物Ｐ」、「人物Ｑ」、「人物Ｒ」、「人物Ｓ」の中にユーザーＡの知り合い又はユーザーＡ自身を含む蓋然性が高いと考えられる。 Then, the image information retrieval unit 104, among incidental information of the search result information 113 ₁ match, for example, the face information 111B (comparison target 1) for the image information that the user B has registered that shown in FIG. 6 (b) Searching for a search that matches or is close to the search condition (comparison source) designated by the user A. In this example, since there are persons in “Photo 1”, “Photo 2”, “Photo 4”, and “Photo 5” in “Album No. 3” that match, “Person O”, “ It is considered that there is a high probability of including the acquaintance of the user A or the user A himself in the “person P”, “person Q”, “person R”, and “person S”.

また、画像情報検索手段１０４は、付随情報が一致した検索結果情報１１３_１のうち、例えば、図６（ｃ）に示すユーザーＣが登録した画像情報についての顔情報１１１Ｃ（比較先２）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。この例では、「アルバムＮｏ．２」中に参加した利用者が一致する写真がないため、ユーザーＣは同一の行事に参加していると考えられるが、本アルバム中の写真にはユーザーＡの知り合い又はユーザーＡ自身を含む蓋然性が低いと考えられる。 Further, the image information retrieval unit 104, among incidental information of the search result information 113 ₁ that matches, for example, the face information 111C (Comparative destination 2) for the image information the user C has registered shown in FIG. 6 (c), A search is made that matches or is close to the search condition (comparison source) specified by user A. In this example, the user C participating in “Album No. 2” does not have a matching photo, so it is considered that the user C is participating in the same event. It is considered that the probability of including an acquaintance or user A is low.

画像情報検索手段１０４は、以上の検索を全利用者に対して行い検索結果情報１１３_２を得る。 Image information retrieval unit 104 obtains the search result information 113 ₂ perform the above search for all users.

図７は、検索結果情報１１３_２の構成の一例を示す概略図である。 Figure 7 is a schematic diagram showing an example of a configuration of a search result information 113 _2.

検索結果出力手段１０５は、画像情報検索手段１０４の検索結果情報１１３_２を検索要求を受け付けた端末装置３Ａに対して出力する。端末装置３Ａは、検索結果情報１１３_２を、例えば図７に示すように、顔認識した人物の登場回数等の順で表示部に表示する。 Search result output unit 105 outputs to the terminal apparatus 3A to the search result information 113 ₂ of the image information retrieval unit 104 accepts the search request. For example, as illustrated in FIG. 7, the terminal device 3 </ _b > A displays the search result information 1132 on the display unit in the order of the number of appearances of the face-recognized person.

ユーザーＡは、端末装置３Ａの表示部に表示された検索結果情報１１３_２を確認し、所望する人物を選択し、選択した人物の画像情報を取得するよう端末装置３Ａを操作する。端末装置３Ａは、画像検索装置１に選択された人物の画像情報を要求し、画像検索装置１は画像情報ＤＢ２から該当する画像情報を取得して端末装置３Ａに送信する。端末装置３Ａは、画像情報を受信し、利用者Ａの操作に応じて印刷、保存、画像変換等の動作を実行する。 User A confirms the search result information 113 ₂ displayed on the display unit of the terminal device 3A, and select the desired persons, operating the terminal apparatus 3A to acquire image information of the selected person. The terminal device 3A requests the image information of the selected person from the image search device 1, and the image search device 1 acquires the corresponding image information from the image information DB 2 and transmits it to the terminal device 3A. The terminal device 3A receives the image information, and executes operations such as printing, storage, and image conversion according to the operation of the user A.

（実施の形態の効果）
上記した実施の形態によると、複数の利用者によって共有された画像情報から顔情報を認識するとともに、付随情報を抽出して登録し、検索条件として登録済みの画像情報の顔情報及び付随情報を利用して類似度の高い画像情報を検索したため、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索することができる。 (Effect of embodiment)
According to the above-described embodiment, the face information is recognized from the image information shared by a plurality of users, the accompanying information is extracted and registered, and the face information and the accompanying information of the registered image information are used as search conditions. Since image information having a high degree of similarity is searched by using it, related image information can be searched from the shared image information based on the registered image information.

つまり、付随情報が類似するものを検索することで、同様の行事等に参加した蓋然性が高い人物が撮影した画像情報を検索することができ、また、その中から顔情報が類似するものを検索することで、検索条件を指定した利用者の知り合い又は利用者自身を含む蓋然性の高い画像情報を検索することができる。一例として、自分で撮影した写真には撮影者である自分が写っていないことが多いが、自分が撮影した人物と共通の人物が撮影されている他人の写真には自分が写っていることが多いため、この性質を利用して共有された写真から自分が写っている写真を検索することができる。 In other words, by searching for items with similar incidental information, you can search for image information taken by a person with a high probability of participating in similar events, and search for items with similar facial information. By doing so, it is possible to search for image information having a high probability including the user's acquaintance who specified the search condition or the user himself / herself. For example, in many cases, you do not see yourself as a photographer in photos you take, but you may see yourself in other people's photos where a person in common with the person you photographed is taken. Because there are many, it is possible to search for photos of yourself from photos shared using this property.

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、画像情報検索手段１０４は、顔情報１１１に基づいて画像情報を検索する際、画像情報中の顔の大きさや、顔のピントの具合等によって類似度の重み付けを行ってもよい。また、事前にユーザーの顔情報を登録し、利用者の識別子である「ユーザーＡ」との対応付けを行ってもよい。 [Other embodiments]
The present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, when searching for image information based on the face information 111, the image information search unit 104 may weight the degree of similarity according to the size of the face in the image information, the focus of the face, and the like. Alternatively, user face information may be registered in advance and associated with the user identifier “user A”.

上記実施の形態では制御部１０内の各手段１００〜１０５の機能をプログラムで実現したが、各手段１００〜１０５の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。 In the above embodiment, the functions of the units 100 to 105 in the control unit 10 are realized by a program. However, all or part of the units 100 to 105 may be realized by hardware such as an ASIC. The program used in the above embodiment can be provided by being stored in a recording medium such as a CD-ROM. In addition, replacement, deletion, addition, and the like of the above-described steps described in the above embodiment are possible within a range that does not change the gist of the present invention.

１画像検索装置
２画像情報ＤＢ
３Ａ〜３Ｃ端末装置
４ネットワーク
５画像検索システム
１０制御部
１１記憶部
１２通信部
２０画像情報
１００画像情報受付手段
１０１顔情報認識手段
１０２付随情報抽出手段
１０３検索条件受付手段
１０４画像情報検索手段
１０５検索結果出力手段
１１０画像検索プログラム
１１１顔情報
１１２付随情報
１１３検索結果情報
1 Image Retrieval Device 2 Image Information DB
3A to 3C Terminal device 4 Network 5 Image search system 10 Control unit 11 Storage unit 12 Communication unit 20 Image information 100 Image information reception unit 101 Face information recognition unit 102 Accompanying information extraction unit 103 Search condition reception unit 104 Image information search unit 105 Search Result output means 110 Image search program 111 Face information 112 Accompanying information 113 Search result information

Claims

Computer
Search condition receiving means for receiving, as a search condition, image information selected from a plurality of image information registered in the storage device;
Recognized from the face information recognized from the selected image information received by the search condition receiving means and the accompanying information extracted from the selected image information, and the plurality of image information registered in the storage device. An image search program for acquiring the acquired face information and accompanying information extracted from the plurality of image information, calculating a similarity, and functioning as search means for searching for image information having a high similarity.

The image search program according to claim 1, wherein the search means searches based on at least the date and time when the image information was taken as the accompanying information and the taken location information.

The search means calculates similarity of the accompanying information between the selected image information and the plurality of image information, searches for image information with high similarity, and selects the image information with high similarity from the image information with high similarity The image search program according to claim 1, wherein image information having a high degree of similarity with the face information of the obtained image information is searched.

Search condition receiving means for receiving, as a search condition, image information selected from a plurality of image information registered in the storage device;
Recognized from the face information recognized from the selected image information received by the search condition receiving means and the accompanying information extracted from the selected image information, and the plurality of image information registered in the storage device. An image search apparatus comprising: search means for acquiring the face information and accompanying information extracted from the plurality of image information, calculating similarity, and searching for image information having a high similarity.