[go: up one dir, main page]

JP2005032163A - Face matching system - Google Patents

Face matching system Download PDF

Info

Publication number
JP2005032163A
JP2005032163A JP2003273194A JP2003273194A JP2005032163A JP 2005032163 A JP2005032163 A JP 2005032163A JP 2003273194 A JP2003273194 A JP 2003273194A JP 2003273194 A JP2003273194 A JP 2003273194A JP 2005032163 A JP2005032163 A JP 2005032163A
Authority
JP
Japan
Prior art keywords
image information
face
user
collation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003273194A
Other languages
Japanese (ja)
Inventor
Tatsuo Tanimoto
辰雄 谷本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Priority to JP2003273194A priority Critical patent/JP2005032163A/en
Publication of JP2005032163A publication Critical patent/JP2005032163A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】顔の集合の中から特定の顔を照合したり、特定のキーワードからこれに合致する顔を遊びの感覚で選び出すことのできる顔照合システムを実現すること。
【解決手段】ユーザBは顔画像情報データベース装置115の自分の領域に各種の顔写真データとその付随データを格納しておき、無線端末105で撮影した顔写真データを受付装置114に送って照合を依頼する。照合装置116は顔画像情報データベース装置115内のそのユーザの領域の顔写真データと照合して該当するものがあればその付随データを見つけ、受付装置114がその照合結果を無線端末105に送出する。
【選択図】図1
To realize a face collation system capable of collating a specific face from a set of faces, or selecting a face matching this from a specific keyword with a sense of play.
User B stores various face photo data and associated data in his / her area of the face image information database device 115, and sends the face photo data photographed by the wireless terminal 105 to the accepting device 114 for collation. Request. The collation device 116 collates with the face photograph data of the user's area in the face image information database device 115 to find the corresponding data if there is any, and the reception device 114 sends the collation result to the wireless terminal 105. .
[Selection] Figure 1

Description

本発明は人間や動物の顔をゲーム感覚で照合する顔照合システムに関する。   The present invention relates to a face collation system that collates human and animal faces in a game sense.

人の顔はさまざまであるが、日本人であっても東洋の特定の国の人あるいは西洋人に近い顔をしているとか、ある特定の有名人に近い顔をしているというように類型化することがしばしば行われている。このため、他人に知人を紹介するような場合にも、有名人のAさん風だということで顔のおおよそを理解してもらうことも多い。また、一方で自分の顔や友人の顔が有名人の誰に似ているかということを話題にする場合もある。特に最近では携帯電話機や小型のコンピュータ等にカメラが付属していることが多くなり、これらを互いに電子メールに添付する等で通信すると、他人の顔との対比が行われる機会が多くなっている。   People's faces are various, but even Japanese people are categorized as having a face close to a person in a specific oriental country or western, or a face close to a certain celebrity It is often done. For this reason, even when you introduce an acquaintance to another person, you often get a rough understanding of the face because of the celebrity's A style. On the other hand, there is a case where it is talked about who the face of a celebrity is similar to one's face or a friend's face. In recent years, cameras are often attached to mobile phones, small computers, etc., and when these are communicated with each other by attaching them to an e-mail or the like, there is an increased opportunity for comparison with other people's faces. .

従来では、携帯電話機等の通信端末を用いてカメラで通信端末のユーザを撮影するといった提案が行われている(たとえば特許文献1参照)。ところが、この提案は通信端末を使用する操作者の身体的な特徴をカメラで撮影してこれを照合システム側に送信して操作者の正当性を判断するものであって、決済を行う場合等に必要となる本人確認に用いられている。
特開2003−87409号公報(第0009段落、図2)
Conventionally, a proposal has been made that a user of a communication terminal is photographed with a camera using a communication terminal such as a mobile phone (see, for example, Patent Document 1). However, in this proposal, the physical characteristics of the operator who uses the communication terminal are photographed with a camera and transmitted to the verification system side to determine the legitimacy of the operator. It is used for identity verification required for
Japanese Patent Laying-Open No. 2003-87409 (paragraph 0009, FIG. 2)

したがってこの提案で開示された技術は、撮影した顔等が予め用意した本人のものと一致するかどうかを判別する技術やその技術をセキュリティに使用しようとするものであり、どの人に比較的似ているかという判別をゲーム感覚あるいは遊びの感覚で行おうとするものとは明らかに異なる。   Therefore, the technique disclosed in this proposal is a technique for discriminating whether or not the photographed face matches that of the person prepared in advance, and intends to use that technique for security. This is clearly different from the case where the determination of whether or not the game is being performed is based on a sense of game or play.

そこで本発明の目的は、顔の集合の中から特定の顔を照合したり、特定のキーワードからこれに合致する顔を遊びの感覚で選び出すことのできる顔照合システムを実現することにある。   Accordingly, an object of the present invention is to realize a face collation system that can collate a specific face from a set of faces or select a face that matches a specific keyword with a sense of play.

請求項1記載の発明では、(イ)複数の顔の画像情報を通信ネットワーク上の特定の領域に格納する顔画像情報格納手段と、(ロ)照合の対象となる顔の画像情報を撮影する撮影手段と、(ハ)この撮影手段で撮影した顔の画像情報を通信ネットワークを介して受信しこれと顔画像情報格納手段に登録されている顔の画像情報の類似度を判別する類似度判別手段と、(ニ)この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段とを顔照合システムに具備させる。   According to the first aspect of the present invention, (b) face image information storage means for storing image information of a plurality of faces in a specific area on the communication network, and (b) photographing image information of a face to be collated. And (c) similarity determination for determining the similarity between the face image information captured by the image capturing means and the face image information registered in the face image information storage means. And (d) an information presenting means for presenting relevant information related to the face determined to be most similar by the similarity determination means.

すなわち本発明では通信ネットワーク上の特定の領域に複数の顔の画像情報を格納しておき、照合の対象となる顔の画像情報を撮影手段で撮影したものを類似度判別手段で照合させて最も類似していると判別された顔に関連する関連情報を情報提示手段で提示させることにしている。したがって、照合のためのデータベースを通信ネットワーク側に用意しておけばこれと通信することで任意の顔の照合処理を簡易に行うことができる。   That is, in the present invention, image information of a plurality of faces is stored in a specific area on the communication network, and the image information of the face to be collated is captured by the photographing means and collated by the similarity determination means. Related information related to the face determined to be similar is presented by the information presenting means. Therefore, if a database for matching is prepared on the communication network side, any face matching process can be easily performed by communicating with the database.

請求項2記載の発明では、(イ)複数の顔の画像情報を通信ネットワーク上の特定の領域に格納する顔画像情報格納手段と、(ロ)照合の対象となる顔の画像情報を選択する選択手段と、(ハ)この選択手段で選択した顔の画像情報を通信ネットワークを介して受信しこれと顔画像情報格納手段に格納されている顔の画像情報との類似度を判別する類似度判別手段と、(ニ)この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段とを顔照合システムに具備させる。   According to the second aspect of the present invention, (a) face image information storing means for storing image information of a plurality of faces in a specific area on the communication network, and (b) selecting face image information to be collated. And (c) similarity for determining similarity between the face image information selected by the selection means via the communication network and the face image information stored in the face image information storage means. The face collation system includes a determination unit and (d) an information presentation unit that presents related information related to the face determined to be most similar by the similarity determination unit.

すなわち本発明では通信ネットワーク上の特定の領域に複数の顔の画像情報を格納しておき、照合の対象となる顔の画像情報を選択したものを類似度判別手段で照合させて最も類似していると判別された顔に関連する関連情報を情報提示手段で提示させることにしている。したがって、照合のためのデータベースを通信ネットワーク側に用意しておけばこれと通信することで任意の顔の照合処理を簡易に行うことができる。   That is, according to the present invention, image information of a plurality of faces is stored in a specific area on the communication network, and the selected face image information to be collated is collated by the similarity determination unit and is most similar. The related information related to the face determined to be present is presented by the information presenting means. Therefore, if a database for matching is prepared on the communication network side, any face matching process can be easily performed by communicating with the database.

請求項3記載の発明では、(イ)ユーザ単位に設けられ、複数の顔の画像情報をユーザ端末からの指示によってユーザ単位の画像情報格納領域に格納する顔画像情報格納手段と、(ロ)特定のユーザ端末から所定の顔の画像情報を指定して照合の要求があったとき照合の要求のあった顔の画像情報とそのユーザの画像情報格納領域に格納された顔の画像情報とを照合する照合手段と、(ハ)この照合手段の照合結果として選ばれた顔に関連する関連情報を要求のあったユーザのユーザ端末に送信する情報送信手段とを顔照合システムに具備させる。   According to a third aspect of the present invention, (a) face image information storage means provided for each user and storing image information of a plurality of faces in an image information storage area for each user according to an instruction from the user terminal; When a specific face image information is specified from a specific user terminal and a collation request is made, the face image information requested for collation and the face image information stored in the image information storage area of the user The face collation system includes collation means for collation, and (c) information transmission means for transmitting related information related to the face selected as a collation result of the collation means to the user terminal of the user who requested it.

すなわち本発明ではユーザが自分の管理の下で蓄積した顔の画像情報を用いて照合を行い、その結果がユーザ端末に送られるので、顔画像情報格納手段は個人的な情報格納手段であり、趣味の範囲で照合処理を行うことができる。   That is, in the present invention, the user performs collation using the facial image information accumulated under his / her management, and the result is sent to the user terminal, so the facial image information storage means is a personal information storage means, Collation processing can be performed within the range of hobbies.

請求項4記載の発明では、請求項3記載の顔照合システムで、ユーザ単位の画像情報格納領域とは別にこれらのユーザに共通の共通画像情報格納領域が設けられており、ここにはそれぞれの本人が使用を承諾したあるいは提供した本人の顔の画像情報が格納されていることを特徴としている。   According to a fourth aspect of the present invention, in the face matching system according to the third aspect, in addition to the image information storage area for each user, a common image information storage area common to these users is provided. It is characterized in that image information of the face of the person who has accepted or provided the use of the person is stored.

すなわち本発明ではユーザに共通の共通画像情報格納領域が設けられており、この共通の領域ではそれぞれの本人が使用を承諾したあるいは提供した本人の顔の画像情報が格納されているので、他人の利益を害することなく他人の顔との照合作業を行うことができる。また、これによりユーザ自体が収集した顔写真が少ないあるいは皆無の状態でも照合を行うことができる。   That is, in the present invention, a common image information storage area common to users is provided, and in this common area, the image information of the face of each person who has accepted or provided the use of each person is stored. Collation with other people's faces can be performed without harming profits. Further, it is possible to perform collation even when there are few or no face photographs collected by the user.

請求項5記載の発明では、(イ)ユーザ単位に設けられ、複数の顔の画像情報とそれぞれの画像情報に付随する付随データをユーザ端末からの指示によってユーザ単位の画像情報格納領域に格納する顔画像情報格納手段と、(ロ)特定のユーザ端末から所定のキーワードを特定して照合の要求があったときそのユーザの画像情報格納領域に格納された付随データとこれを照合する照合手段と、(ハ)この照合手段の照合結果として選ばれた付随データに対応する画像情報をその付随データと共に要求のあったユーザのユーザ端末に送信する情報送信手段とを顔照合システムに具備させる。   According to the fifth aspect of the present invention, (a) a plurality of face image information and accompanying data accompanying each image information are stored in a user unit image information storage area in accordance with an instruction from the user terminal. Face image information storage means, and (b) collation means for collating the associated data stored in the image information storage area of the user when a specific keyword is specified from a specific user terminal and a collation request is made (C) The face matching system includes information transmitting means for sending image information corresponding to the accompanying data selected as the matching result of the matching means together with the accompanying data to the user terminal of the user who requested it.

すなわち本発明では顔同士の照合を行うのではなく顔の画像情報に付随して記した職業、名前等の付随データを検索して、該当の顔の画像情報を得るようにしている。   That is, according to the present invention, the face image information is obtained by searching the accompanying data such as occupation, name, and the like, which are attached to the face image information, instead of matching the faces.

請求項6記載の発明では、請求項1〜請求項3、請求項5いずれかに記載の顔照合システムで、顔画像情報格納手段には付随データとして顔の画像情報に対応させてその顔の人物の名前、生年月日、職業等の付随的なデータが格納されていることを特徴としている。   According to a sixth aspect of the present invention, in the face collation system according to any one of the first to third and fifth aspects, the face image information storing means is associated with the face image information as accompanying data in the face image information storage means. It is characterized by storing incidental data such as a person's name, date of birth and occupation.

すなわち本発明では付随データを例示している。例示されたデータ以外のデータが付随データに含まれてもよい。   That is, the accompanying data is exemplified in the present invention. Data other than the exemplified data may be included in the accompanying data.

請求項7記載の発明では、請求項1〜請求項3、請求項5いずれかに記載の顔照合システムで、顔画像情報格納手段には人間以外の動物の顔の画像情報が格納されていることを特徴としている。   According to a seventh aspect of the present invention, in the face collation system according to any one of the first to third aspects and the fifth aspect, the facial image information storage means stores facial image information of animals other than human beings. It is characterized by that.

すなわち本発明では動物の顔が擬人化して捉えられる場合があるのに鑑みて、人間以外の動物の顔の画像情報を顔画像情報格納手段に格納して利用してもよいことを明らかにしている。特に遊び感覚で照合を行う場合に効果がある。   That is, in the present invention, in view of the fact that an animal's face may be captured as anthropomorphic, it has been clarified that image information of the face of an animal other than a human may be stored and used in the face image information storage means. Yes. This is particularly effective when collating with a sense of fun.

本発明ではゲーム感覚あるいは遊びの感覚で人や動物の顔を照合するので、特に大規模な照合のための装置を使用することなく、照合処理を楽しむことができる。特にカメラ付の携帯電話機等の情報端末におけるカメラの用途を広げることができる。また、データベースをネットワーク上等の照合を要求する側とは別の場所に配置することができるので、携帯端末のように比較的メモリ容量の少ない通信端末であっても写真を取り扱った照合作業を実行することができる。   In the present invention, since the faces of people and animals are collated with a sense of game or play, the collation process can be enjoyed without using a particularly large-scale collation apparatus. In particular, the application of the camera in an information terminal such as a mobile phone with a camera can be expanded. In addition, since the database can be placed in a different location from the network requesting collation, it is possible to perform collation work that handles photos even for communication terminals with relatively small memory capacity such as mobile terminals. Can be executed.

<第1の実施の形態> <First Embodiment>

図1は本発明の第1の実施の形態における顔照合システムの概要を表わしたものである。この顔照合システム100は、インターネット網、携帯電話網、CATV(Community Antenna TeleVision; CAble TeleVision)網等からなる通信ネットワーク101を利用したシステムである。通信ネットワーク101には、電話線等の有線回線102を通じてパーソナルコンピュータ等の情報端末103が接続されている。また、基地局104により携帯電話機、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)等の無線端末105が無線回線106を用いて接続されるようになっている。本実施例では情報端末103が小型のCCD(Charged Coupled Device)カメラ107を接続しており、これを用いてユーザやその家族あるいは友人の顔108等を撮影できるようになっている。また、情報端末103にはイメージスキャナ109が接続されており、週刊誌のグラビア等に掲載された有名人の顔写真110等を適宜読み取ることができるようになっている。一方、無線端末105には小型のカメラ111が組み込まれており、これによってユーザやその家族あるいは友人の顔112を撮影することができる。また、同様にこの小型のカメラ111で雑誌等を接写することで有名人の顔写真等を適宜読み取ることができる。情報端末103に接続された小型のCCDカメラ107も接写機能を備えていたり、接写レンズを購入する等によって同様に他人の公開された顔写真を撮ることができる。この実施の形態では、便宜上、情報端末103のユーザをユーザAとし、無線端末105のユーザをユーザBとして説明を行う。   FIG. 1 shows an outline of a face matching system according to the first embodiment of the present invention. The face matching system 100 is a system that uses a communication network 101 including an Internet network, a mobile phone network, a CATV (Community Antenna TeleVision; CAble TeleVision) network, and the like. An information terminal 103 such as a personal computer is connected to the communication network 101 through a wired line 102 such as a telephone line. In addition, a wireless terminal 105 such as a mobile phone, a PHS (Personal Handy-phone System), and a PDA (Personal Digital Assistant) is connected by a base station 104 using a wireless line 106. In this embodiment, the information terminal 103 is connected to a small CCD (Charged Coupled Device) camera 107, which can be used to photograph the face 108 of the user, his / her family or friend. In addition, an image scanner 109 is connected to the information terminal 103 so that a celebrity face photo 110 or the like of a celebrity published in a weekly magazine gravure or the like can be appropriately read. On the other hand, a small camera 111 is incorporated in the wireless terminal 105, whereby the user 112, his family, or a friend's face 112 can be photographed. Similarly, a close-up photograph of a magazine or the like with this small camera 111 can appropriately read a celebrity face photo or the like. A small CCD camera 107 connected to the information terminal 103 also has a close-up function, or can purchase a face photograph of others publicly by purchasing a close-up lens. In this embodiment, for convenience, the user of the information terminal 103 will be described as user A, and the user of the wireless terminal 105 will be described as user B.

通信ネットワーク101上にはこの顔照合システム100の受付装置114と、各種の顔画像情報をデータベースとして蓄積した顔画像情報データベース装置115と、この顔画像情報データベース装置115における所定の画像情報とユーザ側(たとえばユーザAやユーザB)が提示した顔の画像情報の照合を行う照合装置116も配置されている。これら受付装置114、顔画像情報データベース装置115および照合装置116はシステムを運用する側の装置であり、必要に応じて1つの装置として構成することも可能である。   On the communication network 101, a reception device 114 of the face matching system 100, a face image information database device 115 that stores various face image information as a database, predetermined image information in the face image information database device 115, and a user side A collation device 116 that collates face image information presented by (for example, user A or user B) is also provided. The receiving device 114, the face image information database device 115, and the collation device 116 are devices that operate the system, and can be configured as a single device as necessary.

図2は、受付装置の構成の要部を表わしたものである。受付装置114はたとえばパーソナルコンピュータやワークステーションによって構成されており、CPU(中央処理装置)121を搭載している。CPU121はデータバス等のバス122を介して制御プログラム記憶媒体123、作業用メモリ124、入出力回路125、通信制御装置126、表示制御回路127等の回路装置と接続されている。ここで制御プログラム記憶媒体123は、この受付装置114の受付処理を実現するための制御プログラムを格納したハードディスク、光ディスク等の記憶媒体である。作業用メモリ124は、CPU121がこの制御プログラムを実行する上で必要となるプログラムや各種データを一時的に格納するRAM(ランダム・アクセス・メモリ)等のメモリである。入出力回路125にはたとえばデータを入力するためのキーボード128が接続されている。マウス等のポインティングデバイスやフロッピディスク等の他のデータ入力機器あるいはプリンタ等の出力機器がこれに接続されてもよい。通信制御装置126は図1に示した通信ネットワーク101との間でデータの入出力を行うための装置である。表示制御回路127にはディスプレイ129が接続されている。   FIG. 2 shows a main part of the configuration of the receiving apparatus. The accepting device 114 is constituted by a personal computer or a workstation, for example, and has a CPU (central processing unit) 121 mounted thereon. The CPU 121 is connected to circuit devices such as a control program storage medium 123, a work memory 124, an input / output circuit 125, a communication control device 126, and a display control circuit 127 via a bus 122 such as a data bus. Here, the control program storage medium 123 is a storage medium such as a hard disk or an optical disk that stores a control program for realizing the reception process of the reception device 114. The work memory 124 is a memory such as a RAM (random access memory) that temporarily stores programs and various data necessary for the CPU 121 to execute the control program. For example, a keyboard 128 for inputting data is connected to the input / output circuit 125. A pointing device such as a mouse, another data input device such as a floppy disk, or an output device such as a printer may be connected thereto. The communication control device 126 is a device for inputting / outputting data to / from the communication network 101 shown in FIG. A display 129 is connected to the display control circuit 127.

図1に示した顔画像情報データベース装置115および照合装置116も基本的には受付装置114と同様の構成となっているので、これらの図示は省略する。ただし、顔画像情報データベース装置115は、比較的大容量の記憶媒体を備えており、ここに顔の画像情報やその他の情報からなるデータベースが格納されている。照合装置116はその制御プログラム中に顔の画像情報の類否を判別するためのプログラムが格納されており、これを実行することで照合を要求した顔の画像情報が顔画像情報データベース装置115の比較対象となる複数の顔の画像情報のどれに最も似ているかを判別するようになっている。ただし、この実施の形態では顔画像情報データベースの中に存在する顔の画像情報と照合対象の画像情報との間の照合作業は特に高精度で行う必要がない。これは、この実施の形態の顔照合システム100がゲーム感覚で各顔の異同を判別するものであるからであり、人物の同一性の判別といったセキュリティの要請が特に存在しないためでもある。   Since the face image information database device 115 and the collation device 116 shown in FIG. 1 have basically the same configuration as that of the accepting device 114, their illustration is omitted. However, the face image information database device 115 is provided with a relatively large-capacity storage medium, in which a database made up of face image information and other information is stored. The collation device 116 stores a program for determining the similarity of facial image information in its control program, and by executing this, the facial image information requested for collation is stored in the facial image information database device 115. It is determined which of the plurality of face image information to be compared is most similar. However, in this embodiment, the collation operation between the face image information existing in the face image information database and the image information to be collated need not be performed with high accuracy. This is because the face collation system 100 of this embodiment discriminates between different faces as if it were a game, and it is also because there is no particular security requirement such as discrimination of person identity.

図3は、顔画像情報データベース装置の一部領域を示したものである。顔画像情報データベース装置115は、この顔照合システム100を利用するユーザごとに顔画像情報を格納する領域が独立している。たとえばユーザA領域141Aは、図1で示した情報端末103のユーザAについて割り振られた専用領域であり、ユーザB領域141Bは無線端末105のユーザBに割り当てられた専用領域である。ユーザA領域141Aには、情報端末103から送られてきた1枚の顔写真データ142と対応する人物の職業、氏名、出身地、趣味等の付随データ143ならびに整理番号144を1組として複数組のデータが登録されるようになっている。ユーザB領域141Bについても同様である。   FIG. 3 shows a partial region of the face image information database apparatus. The face image information database device 115 has an independent area for storing face image information for each user who uses the face matching system 100. For example, the user A area 141 </ b> A is a dedicated area allocated for the user A of the information terminal 103 shown in FIG. 1, and the user B area 141 </ b> B is a dedicated area allocated to the user B of the wireless terminal 105. The user A area 141A includes a plurality of sets of one face photograph data 142 sent from the information terminal 103 and associated data 143 such as occupation, name, birthplace, hobby, etc. of the person and reference number 144. Data is registered. The same applies to the user B area 141B.

このように各ユーザの登録領域(格納領域)が独立しているのは、たとえばあるユーザが友人や親の顔写真やそれらの人物についての個人的な情報を登録した際に、これらが他のユーザによって照合されることによるプライバシの侵害が発生することを防止する意味を持っている。また、ユーザの多くが照合の対象とする人物と対比するために俳優やアナウンサ等の写真やイラスト等の画像情報を登録することが考えられる。この場合、個人的な領域に個人が登録して他の顔との照合を行うことは肖像権上で問題が生じないが、それらの者の承諾なしに他人にこれらの顔の写真等を使用させることは個人的な利用の範囲を超えて、肖像権上で問題が生じる恐れがあるからである。   In this way, each user's registration area (storage area) is independent, for example, when a user registers personal information about a friend's or parent's face photo or their personality. It has the meaning of preventing privacy infringement due to collation by the user. In addition, it is conceivable that many users register image information such as pictures and illustrations of actors, announcers, etc. in order to compare with the person to be collated. In this case, there is no problem in portrait rights when an individual registers in the personal area and collates with other faces, but photos of these faces are used by others without their consent. This is because there is a possibility that problems may arise in portrait rights beyond the scope of personal use.

以下、図1に示したユーザBが無線端末105を使用して図3に示した顔画像情報データベース装置115のユーザB領域141Bに顔写真データ142と付随データ143を登録したり、登録したこれらのデータを削除したり、実際の照合を行う場合の制御の様子を説明する。   The user B shown in FIG. 1 uses the wireless terminal 105 to register the face photo data 142 and the accompanying data 143 in the user B area 141B of the face image information database apparatus 115 shown in FIG. The state of control when deleting the above data or performing actual collation will be described.

図4は、受付装置の制御の様子を表わしたものである。受付装置114は無線端末105がアクセスするのを待機している(ステップS201)。そして、無線端末105がアクセスしてきた場合には(Y)、この顔照合システム100の登録会員からのアクセスであるかどうかを確認するために本人認証を行うことになる(ステップS202)。そして、登録会員であることが確認されたら顔照合システム100をユーザBが利用するためのメニュー画面に関するデータを無線端末105に対して送付することになる(ステップS203)。   FIG. 4 shows how the receiving apparatus is controlled. The accepting device 114 waits for the wireless terminal 105 to access (step S201). When the wireless terminal 105 accesses (Y), personal authentication is performed to confirm whether the access is from a registered member of the face matching system 100 (step S202). If it is confirmed that the user is a registered member, data relating to the menu screen for the user B to use the face matching system 100 is sent to the wireless terminal 105 (step S203).

図5は、ユーザBが無線端末を使用して登録処理を行うときの一連の処理の流れを表わしたものである。これは無線端末105自体にプログラムされた処理ではなく、顔写真データ142と付随データ143を登録する際のユーザBが行う操作に基づいて無線端末105が行う処理を時系列的に表わしたものに過ぎない。まず、ユーザBは無線端末105に組み込まれた小型のカメラ111で顔写真を撮影する(ステップS221)。撮影を行う代わりに、たとえば自分のパーソナルコンピュータ等に以前格納しておいた顔写真データ集から所望のものを電子メールで無線端末105に送ったものであってもよい。   FIG. 5 shows a flow of a series of processing when user B performs registration processing using a wireless terminal. This is not a process programmed in the wireless terminal 105 itself, but represents a time-series process performed by the wireless terminal 105 based on an operation performed by the user B when registering the facial photograph data 142 and the accompanying data 143. Not too much. First, the user B takes a face photograph with the small camera 111 incorporated in the wireless terminal 105 (step S221). Instead of photographing, for example, a desired photograph data collection previously stored in a personal computer or the like may be sent to the wireless terminal 105 by e-mail.

次にユーザBはこの顔照合システム100でデータベースとなる顔写真等を複数蓄積する作業の一環として受付装置114をアクセスすることになる(ステップS222)。このアクセスが図4のステップS201で検出されることになる。そこで図4のステップS203で受付装置114からメニュー画面が送られてくるので、ユーザBはこの例の場合に、この中から顔写真データ142と付随データ143を登録するための登録画面を選択することになる(ステップS223)。そして、図3のユーザB領域141Bに格納するために顔写真データ142と付随データ143を登録データとして受付装置114に送付することになる(ステップS224)。   Next, the user B accesses the accepting device 114 as part of the work of accumulating a plurality of face photographs and the like as a database in the face matching system 100 (step S222). This access is detected in step S201 in FIG. Therefore, since the menu screen is sent from the accepting device 114 in step S203 of FIG. 4, in this example, the user B selects a registration screen for registering the face photo data 142 and the accompanying data 143 from the menu screen. (Step S223). Then, the face photo data 142 and the accompanying data 143 are sent as registration data to the accepting device 114 to be stored in the user B area 141B of FIG. 3 (step S224).

図4に戻って説明を続ける。受付装置114ではステップS203でメニュー画面を該当の無線端末105に送付した後にその無線端末105からデータが送られてくるのを待機している。この状態で顔写真データ142と付随データ143が登録データとして送られてきたら(ステップS204:Y)、これらのデータを顔画像情報データベース装置115に転送することになる(ステップS205)。そして、その後に顔画像情報データベース装置115から顔写真データ142と付随データ143の登録処理が正常に終了したことを示す通知がきたら(ステップS206:Y)、登録処理が正常に終了したことをその無線端末105に通知する(ステップS207)。正常に終了しなかったときには(ステップS206:N)、エラーが発生したことをその無線端末105に通知する(ステップS208)。   Returning to FIG. 4, the description will be continued. In step S <b> 203, the reception apparatus 114 waits for data to be sent from the wireless terminal 105 after the menu screen is sent to the corresponding wireless terminal 105. If the face photograph data 142 and the accompanying data 143 are sent as registration data in this state (step S204: Y), these data are transferred to the face image information database device 115 (step S205). Then, when a notification is received from the face image information database device 115 indicating that the registration processing of the face photo data 142 and the accompanying data 143 has been normally completed (step S206: Y), the registration processing has been normally completed. The wireless terminal 105 is notified (step S207). If not completed normally (step S206: N), the wireless terminal 105 is notified that an error has occurred (step S208).

再び図5に戻って説明を続ける。ユーザBは顔写真データ142と付随データ143を受付装置114に送った後に図4のステップS207またはステップS208の通知がきたときには登録処理が完了したこと、あるいはエラーが発生したことを示す視覚情報を表示されることになる(ステップS225)。このようにしてユーザBが受付装置114に対して顔写真データ142と付随データ143を送付するたびに図3に示した顔画像情報データベース装置115におけるユーザBの利用できるデータベースが充実し、より多くの顔写真データを用いてより正確に他人の顔写真との照合を行うことが可能になる。   Returning to FIG. 5 again, the description will be continued. When the user B receives the notification of step S207 or step S208 in FIG. 4 after sending the facial photograph data 142 and the accompanying data 143 to the accepting device 114, the user B provides visual information indicating that the registration process has been completed or that an error has occurred. It will be displayed (step S225). Thus, whenever the user B sends the face photo data 142 and the accompanying data 143 to the reception device 114, the database that can be used by the user B in the face image information database device 115 shown in FIG. It is possible to more accurately collate with other people's face photos using the face photo data.

図6は、顔画像情報データベース装置における登録処理の概要を表わしたものである。顔画像情報データベース装置115は受付装置114が図4のステップS205で送った顔写真データ142と付随データ143を受信すると(ステップS241:Y)、そのユーザ(ここではユーザB)のデータベース部分(ここではユーザB領域141B)に受信した顔写真データ142と付随データ143を登録して内容を更新する(ステップS242)。この処理が正常に終了した場合には(ステップS243:Y)、受付装置114に対して正常終了を通知する(ステップS244)。これに対して異常終了した場合には(ステップS243:N)、その旨の通知が受付装置114に対して行われることになる(ステップS245)。   FIG. 6 shows an outline of registration processing in the face image information database apparatus. When the face image information database device 115 receives the face photograph data 142 and the accompanying data 143 sent by the accepting device 114 in step S205 of FIG. 4 (step S241: Y), the database portion (here, user B) of the user (here, user B) Then, the received face photo data 142 and accompanying data 143 are registered in the user B area 141B) and the contents are updated (step S242). When this process ends normally (step S243: Y), the reception apparatus 114 is notified of the normal end (step S244). On the other hand, if the process ends abnormally (step S243: N), a notification to that effect is sent to the accepting device 114 (step S245).

図7は、ユーザBが無線端末を使用して登録の削除処理を行うときの一連の処理の流れを表わしたものである。これは図5と同様に無線端末105自体にプログラムされた処理ではなく、顔写真データ142と付随データ143の組を削除する際のユーザBが行う操作に基づいて無線端末105が行う処理を時系列的に表わしたものに過ぎない。なお、このような削除処理はユーザB領域141Bに間違ったデータが登録されたような場合に行われる。   FIG. 7 shows a flow of a series of processing when the user B performs registration deletion processing using a wireless terminal. This is not the process programmed in the wireless terminal 105 itself as in FIG. 5, but the process performed by the wireless terminal 105 based on the operation performed by the user B when deleting the set of the facial photograph data 142 and the accompanying data 143. It is only a series of representations. Note that such deletion processing is performed when wrong data is registered in the user B area 141B.

まず、ユーザBは削除のために受付装置114をアクセスする(ステップS261)。これを基にして図4のステップS203で受付装置114からメニュー画面が送られてくる。そこで図示しないディスプレイにこれを表示して削除画面を選択する(ステップS262)。そして、削除したい顔写真データ142と付随データ143(図3参照)を特定するための整理番号144を指定した削除データを受付装置114に送信する(ステップS263)。   First, the user B accesses the accepting device 114 for deletion (step S261). Based on this, a menu screen is sent from the accepting device 114 in step S203 of FIG. Therefore, this is displayed on a display (not shown) and a deletion screen is selected (step S262). Then, the deletion data specifying the reference number 144 for specifying the face photo data 142 to be deleted and the accompanying data 143 (see FIG. 3) is transmitted to the accepting device 114 (step S263).

ところで、図1に示した受付装置114はメニュー画面を無線端末105に送信した後、その無線端末105から登録データが送られてくるか(ステップS204)、削除データが送られてくるか(ステップS209)、あるいは写真等の照合のための照合データが送られてくるか(ステップS210)についての待機動作を行っている。そして、この場合のように削除データが送られてきた場合には(ステップS209:Y)、該当する顔写真データ142と付随データ143の削除処理を行うことになる(ステップS211)。   By the way, after receiving the menu screen to the wireless terminal 105, the accepting device 114 shown in FIG. 1 receives registration data from the wireless terminal 105 (step S204) or delete data (step S204). S209), or a standby operation is performed as to whether collation data for collation of photographs or the like is sent (step S210). If deletion data is sent as in this case (step S209: Y), the corresponding face photo data 142 and associated data 143 are deleted (step S211).

図8は、受付装置が行う削除処理を具体的に表わしたものである。これは図4のステップS211の処理の具体的な内容を示している。受付装置114は整理番号144(図3)をキーとして無線端末105から要求のあった削除対象の顔写真データ142と付随データ143の内容を読み出すための要求を顔画像情報データベース装置115に対して行う(ステップS281)。顔画像情報データベース装置115から該当する顔写真データ142と付随データ143が整理番号144と共に送られてきたら(ステップS282:Y)、受付装置114は読み出された顔写真データ142と付随データ143を無線端末105に送信する(ステップS283)。これは削除処理を実行する前にユーザBに確認処理を行わせるためである。   FIG. 8 specifically shows the deletion process performed by the receiving apparatus. This shows the specific contents of the processing in step S211 in FIG. The receiving device 114 sends a request for reading the contents of the face photo data 142 to be deleted and the accompanying data 143 requested from the wireless terminal 105 to the face image information database device 115 using the reference number 144 (FIG. 3) as a key. This is performed (step S281). When the corresponding face photo data 142 and the accompanying data 143 are sent together with the reference number 144 from the face image information database device 115 (step S282: Y), the accepting device 114 stores the read face photo data 142 and the accompanying data 143. It transmits to the wireless terminal 105 (step S283). This is to cause the user B to perform confirmation processing before executing the deletion processing.

図7に戻って説明を行う。無線端末105側では受信した顔写真データ142と付随データ143を前記したディスプレイで確認し、削除する内容であれば削除確認を示すデータを受付装置114に送信する(ステップS264)。削除を中止したり、他の顔写真データ142と付随データ143に削除の対象を変更する旨のデータを送信することもできる。   Returning to FIG. On the wireless terminal 105 side, the received face photograph data 142 and accompanying data 143 are confirmed on the above-described display, and if the content is to be deleted, data indicating the deletion confirmation is transmitted to the accepting device 114 (step S264). It is also possible to cancel the deletion or transmit data indicating that the deletion target is changed to the other face photo data 142 and the accompanying data 143.

図8に戻って説明を続ける。受付装置114は無線端末105から削除を確認するデータが受信されるか(ステップS284)、削除処理を中止するデータが受信されるか(ステップS285)、あるいは削除の対象を変更する新たな整理番号144を付した削除データが送られてくるか(ステップS286)を待機する。そして、削除を確認するデータが送られてきたら(ステップS284:Y)、該当する顔写真データ142と付随データ143の削除を顔画像情報データベース装置115に要求する(ステップS287)。そして、図4のステップS206以降の処理が行われる。   Returning to FIG. Whether the reception device 114 receives data confirming the deletion from the wireless terminal 105 (step S284), receives data for canceling the deletion process (step S285), or a new reference number for changing the deletion target It waits for deletion data to be sent with 144 (step S286). When data for confirming deletion is sent (step S284: Y), the face image information database device 115 is requested to delete the corresponding face photo data 142 and accompanying data 143 (step S287). And the process after step S206 of FIG. 4 is performed.

一方、無線端末105から削除を中止する旨のデータが送られてきた場合には(ステップS285:Y)、削除を顔画像情報データベース装置115に要求することを中止して図8に示す処理を終了する。また、無線端末105から削除を変更するために他の削除データの指示が行われてきた場合には(ステップS286:Y)、ステップS281に処理を進めて新たに指示された削除内容で前記した処理が進行することになる。   On the other hand, when data indicating cancellation is sent from the wireless terminal 105 (step S285: Y), the request for deletion to the face image information database device 115 is stopped and the processing shown in FIG. finish. If another deletion data instruction has been issued from the wireless terminal 105 to change the deletion (step S286: Y), the process proceeds to step S281 and the above-described deletion contents are newly specified. Processing will proceed.

再度、図7に戻って無線端末105の削除処理の説明を続ける。ユーザBが削除または削除の中止を決定した場合、すなわち削除対象の変更以外の場合であれば(ステップS265:N)、図4のステップS207またはステップS208の通知が受付装置114から無線端末105に送られてくる。そこで無線端末105はこれを表示して(ステップS266)、削除についての一連の処理を終了させる(エンド)。これに対してユーザBが削除の対象を変更する場合には(ステップS265:Y)、ステップS263に進んで新たな削除対象を指定して削除データを受付装置114に送信することになる。   Returning to FIG. 7 again, the description of the deletion process of the wireless terminal 105 will be continued. If the user B decides to delete or cancel the deletion, that is, other than the change to be deleted (step S265: N), the notification in step S207 or step S208 in FIG. Will be sent. Therefore, the wireless terminal 105 displays this (step S266), and ends a series of processes for deletion (end). On the other hand, when the user B changes the deletion target (step S265: Y), the process proceeds to step S263, and the deletion data is transmitted to the reception device 114 by designating a new deletion target.

図9は顔画像情報データベース装置における削除処理の流れを表わしたものである。顔画像情報データベース装置115では受付装置114から図8のステップS281の削除対象の顔写真データ142と付随データ143の読出要求を受信したら(ステップS301:Y)、これらを整理番号144(図3)をキーとして読み出して受付装置114に送信する(ステップS302)。そして、最終的に受付装置114から整理番号144を指定して図8ステップS287の削除要求があった場合には(ステップS303:Y)、該当する顔写真データ142と付随データ143を削除してデータベースを新たな内容に更新する(ステップS304)。そしてその処理結果としての処理の成否を受付装置114に通知することになる(ステップS305)。   FIG. 9 shows the flow of deletion processing in the face image information database apparatus. When the face image information database device 115 receives a request for reading the face photo data 142 to be deleted and the accompanying data 143 in step S281 in FIG. 8 from the accepting device 114 (step S301: Y), these are designated as reference numbers 144 (FIG. 3). As a key and transmitted to the accepting device 114 (step S302). When the reference number 144 is finally designated from the accepting device 114 and there is a deletion request in step S287 in FIG. 8 (step S303: Y), the corresponding face photo data 142 and associated data 143 are deleted. The database is updated with new contents (step S304). And the success or failure of the process as the process result is notified to the reception apparatus 114 (step S305).

以上説明したようにして顔画像情報データベース装置115に蓄積したデータを用いてユーザBは無線端末105を操作し顔写真の照合を行うことができる。これは、たとえば友達との飲み会の席で無線端末105で一人一人の写真を撮って、誰が有名人の誰に似ているかという余興を行うのに活用してもよい。また、多くの人物の顔と名前を一致させなければならない人の場合には、これらの人物の顔写真をこの顔照合システムで照合してその結果から俳優のCさんに似ているとか、女子アナウンサのDさんに似ているといった顔の類型化を行うことも有効である。   As described above, using the data stored in the face image information database device 115, the user B can operate the wireless terminal 105 to collate face photographs. This may be used, for example, for taking a picture of each person with the wireless terminal 105 at a drinking party with a friend and performing an entertainment about who is similar to who of the famous person. In addition, in the case of a person who must match the names of many people's faces, the face photo of these people is collated with this face collation system, and the result is similar to actor C. It is also effective to perform facial typology that resembles announcer D.

図10はユーザBが無線端末を使用してこのような照合を行う際の一連の処理の流れを表わしたものである。これは図5と同様に無線端末105自体にプログラムされた処理ではなく、無線端末105が行う処理を時系列的に表わしたものに過ぎない。ユーザBは無線端末105のカメラ111を使用して照合する人物を写真撮影する(ステップS321)。自分を撮影することももちろん可能である。また、無線端末105に付属したカメラ111で撮影する必要はなく、無線端末105に何らかの手段で格納されている顔写真あるいは無線端末105がたとえばインターネット上でアクセスしたホームページに登場する顔写真であってもよい。電子メールで送付されてきた他人の顔写真も可能である。   FIG. 10 shows a flow of a series of processes when user B performs such collation using a wireless terminal. This is not a process programmed in the wireless terminal 105 itself as in FIG. 5, but merely a time-series representation of processes performed by the wireless terminal 105. User B uses the camera 111 of the wireless terminal 105 to take a picture of the person to be collated (step S321). Of course you can also take a picture of yourself. Further, it is not necessary to take a picture with the camera 111 attached to the wireless terminal 105, and is a face photograph stored in the wireless terminal 105 by some means or a face photograph appearing on a homepage accessed by the wireless terminal 105 on the Internet, for example. Also good. A photo of someone else's face sent by e-mail is also possible.

照合用の顔写真が用意されたらユーザBは受付装置114をアクセスし(ステップS322)、本人認証が行われた後に送られてくるメニュー画面から照合画面を選択する(ステップS323)。そして用意した顔写真を照合データとして受付装置114に送信することになる(ステップS324)。   When a face photo for collation is prepared, the user B accesses the accepting device 114 (step S322), and selects a collation screen from the menu screen sent after the personal authentication is performed (step S323). Then, the prepared face photograph is transmitted as verification data to the accepting device 114 (step S324).

図4に戻って説明を続ける。受付装置114は照合データが無線端末105から送られてくると(ステップS210:Y)、図1に示した照合装置116をアクセスして照合を要求する(ステップS212)。そして、照合結果が照合装置116から送られてきたら(ステップS213:Y)、その結果と付随データとをユーザBの無線端末105に送信する(ステップS214)。このとき照合結果として一致した人物の顔写真データ142を送信してもよいが、データ量が比較的大きい場合にはユーザ側の初期設定で顔写真データ142の送信の可否を選択させることもできる。   Returning to FIG. 4, the description will be continued. When the collation data is sent from the wireless terminal 105 (step S210: Y), the accepting device 114 accesses the collation device 116 shown in FIG. 1 and requests collation (step S212). When the collation result is sent from the collation device 116 (step S213: Y), the result and accompanying data are transmitted to the wireless terminal 105 of the user B (step S214). At this time, the face photo data 142 of the matched person may be transmitted as a collation result, but if the amount of data is relatively large, whether or not the face photo data 142 can be transmitted can be selected by the initial setting on the user side. .

図10に戻って説明を続ける。ユーザBの無線端末105は受付装置114から照合が成功したかどうかの結果と一致した場合の付随データを受信したら、これをそのディスプレイに表示する(ステップS325)。顔写真データ142を送るように指示していた場合には該当した女優等の顔写真もディスプレイに表示されることになる。この場合には、ディスプレイ上に照合用の写真と照合結果の写真を対比させて表示するようにすることで、飲み会の席等で顔やその有名人についての話題が大いに盛り上がることになる。また、今度は誰の顔を撮って照合を行おうかといった具合に顔照合システム100がゲーム感覚で活用されることになる。したがって、この顔照合システム100の場合には顔の照合に必ずしも高度な照合技術を使用する必要はなく、顔の輪郭の特徴とか顔全体の幅に占める鼻の穴の間隔といった特定の1つまたは複数の要素を分析するような比較的簡易なものであってもよい。もちろん、照合装置116は無線端末105やパーソナルコンピュータ等の情報端末103と異なり専用かつ高度な照合用プログラムを用いて照合作業を行うことが可能であるので、ユーザBの照合に対する要求度やユーザB領域141B(図3)に蓄積されている顔写真データ142の数によって照合の精度を変動させるようにしてもよい。   Returning to FIG. When the wireless terminal 105 of the user B receives the accompanying data in the case of matching with the result of whether or not the collation is successful from the accepting device 114, it displays this on the display (step S325). When an instruction is given to send the facial photo data 142, the facial photo of the corresponding actress or the like is also displayed on the display. In this case, by comparing and displaying the collation photo and the collation result photo on the display, the topic about the face and its celebrity will be greatly excited at a drinking party or the like. In addition, this time, the face collation system 100 is used like a game, such as who will take a face for collation. Therefore, in the case of this face matching system 100, it is not always necessary to use advanced matching techniques for face matching, and a specific one such as a feature of the face contour or the interval between nostrils that occupies the width of the entire face or It may be a relatively simple one that analyzes a plurality of elements. Of course, unlike the information terminal 103 such as the wireless terminal 105 or personal computer, the collation device 116 can perform collation using a dedicated and sophisticated collation program. The accuracy of matching may be varied depending on the number of face photo data 142 accumulated in the area 141B (FIG. 3).

図11は、照合装置の処理の流れを表わしたものである。照合装置116は受付装置114から照合の要求があると(ステップS341:Y)、顔画像情報データベース装置115に格納されているユーザBの顔写真データ142の全体に対して照合を求められた顔写真と類似検索を実行する(ステップS342)。この結果、最も類似するもの(あるいは一致するもの)が存在した場合には(ステップS343:Y)、該当する顔写真データ142の付随データ143の読み出しを顔画像情報データベース装置115に対して要求する(ステップS344)。付随データ143が送られてきたら(ステップS345:Y)、類似度あるいは一致の有無の結果と付随データ143とを受付装置114に送信する(ステップS346)。類似したものがない、あるいは一致したものがないという検索結果の場合には(ステップS343:N)、その結果だけを受付装置114に送信する(ステップS347)。   FIG. 11 shows the flow of processing of the collation device. When the collation device 116 receives a collation request from the accepting device 114 (step S341: Y), the face for which collation is requested for the entire face photo data 142 of the user B stored in the face image information database device 115. A similarity search with a photograph is executed (step S342). As a result, when the most similar (or matching) exists (step S343: Y), the face image information database device 115 is requested to read the accompanying data 143 of the corresponding face photo data 142. (Step S344). When the accompanying data 143 is sent (step S345: Y), the result of similarity or coincidence and the accompanying data 143 are transmitted to the accepting device 114 (step S346). In the case of a search result indicating that there is no similarity or no match (step S343: N), only the result is transmitted to the accepting device 114 (step S347).

なお図11に示した照合処理では照合装置116が照合の結果として一致あるいは類似のものがある場合に顔画像情報データベース装置115に格納されている写真データ142に対応する付随データ143の読み出しを行うことにしたが、検索の対象となるユーザB領域141Bが比較的小さなサイズであるような場合には、この領域のデータ全体のコピーを照合装置116側に転送してもらって、以後の検索および付随データ143の読み出しの処理をすべて照合装置116側で行うようにしてもよい。   In the collation processing shown in FIG. 11, when the collation device 116 matches or is similar as a collation result, the associated data 143 corresponding to the photo data 142 stored in the face image information database device 115 is read. However, if the user B area 141B to be searched has a relatively small size, a copy of the entire data in this area is transferred to the collation device 116 side, and subsequent searches and associated All processing for reading the data 143 may be performed on the collation device 116 side.

<第2の実施の形態> <Second Embodiment>

図12は本発明の第2の実施の形態の顔照合システムにおける各部の制御の概要を示したものである。なお、この第2の実施の形態ではシステムの全体的な構成や各装置の構成は、パーソナルコンピュータ等の情報端末や携帯電話機等の無線端末を除いた各装置に格納されている制御プログラムが第1の実施の形態と若干異なるだけとなっている。そこで、図1〜図3を第2の実施の形態でも使用して説明を行う。   FIG. 12 shows an outline of control of each part in the face matching system according to the second embodiment of the present invention. In the second embodiment, the overall configuration of the system and the configuration of each device are controlled by a control program stored in each device excluding an information terminal such as a personal computer and a wireless terminal such as a mobile phone. This is only slightly different from the first embodiment. Accordingly, the description will be made using FIGS. 1 to 3 also in the second embodiment.

この第2の実施の形態の顔照合システムでは顔写真を照合に用いるのではなく、付随データ143を照合に使用して一致する顔写真データ142をユーザに提供するようにしている。したがって、たとえは自分と同じ年代で青森県の歌手を探したいというような要望があったとすると、その人物の写真データをキーワード検索することができる。   In the face collation system according to the second embodiment, the face photo is not used for collation, but the matching face photo data 142 is provided to the user by using the accompanying data 143 for collation. Therefore, if there is a request to search for a singer in Aomori Prefecture at the same age as you, you can search for the person's photo data using keywords.

ユーザAがこのシステムを使用するものとする。ユーザAはパーソナルコンピュータ等の情報端末103で受付装置114にアクセスして(ステップS401)、顔照合システムの会員であることの認証を受ける(ステップS402)。ユーザAは受付装置114から送られてきたメニュー画面あるいは情報端末103に予めインストールしたシステム専用のプログラムの実行によって得られたメニュー画面からキーワード検索画面を選択して表示する(ステップS403)。そして、照合用のキーワードを選択してこれを受付装置114に送付する(ステップS404)。   Assume that user A uses this system. User A accesses the accepting device 114 with the information terminal 103 such as a personal computer (step S401), and receives authentication that the user is a member of the face matching system (step S402). User A selects and displays a keyword search screen from the menu screen sent from the accepting device 114 or the menu screen obtained by executing a system-dedicated program installed in advance in the information terminal 103 (step S403). Then, a matching keyword is selected and sent to the accepting device 114 (step S404).

受付装置114は送られてきたキーワードを照合装置116に転送する(ステップS405)。照合装置116では送られてきたキーワードを用いてユーザA領域141A(図3)の付随データ143を検索し(ステップS406)、顔画像情報データベース装置115内に一致するものがあればその報告を受けて(ステップS407)、該当する顔写真データ142と付随データ143の取り出しを顔画像情報データベース装置115に要求する(ステップS408)。この要求に応じて顔画像情報データベース装置115から該当する1または複数組の顔写真データ142と付随データ143が得られたら(ステップS409)、照合装置116はこれらを受付装置114に送付する(ステップS410)。受付装置114は送られてきたこれら1または複数組の顔写真データ142と付随データ143を情報端末103に送って(ステップS411)、その図示しないディスプレイに表示させることになる(ステップS412)。   The accepting device 114 transfers the sent keyword to the matching device 116 (step S405). The collation device 116 searches the accompanying data 143 of the user A area 141A (FIG. 3) using the sent keyword (step S406), and receives a report of any matches in the face image information database device 115. (Step S407), the face image information database device 115 is requested to retrieve the corresponding face photograph data 142 and accompanying data 143 (Step S408). In response to this request, when one or more sets of face photo data 142 and associated data 143 are obtained from the face image information database device 115 (step S409), the collation device 116 sends them to the reception device 114 (step S409). S410). The accepting device 114 sends the one or a plurality of sets of face photograph data 142 and accompanying data 143 that have been sent to the information terminal 103 (step S411), and displays them on a display (not shown) (step S412).

<第3の実施の形態> <Third Embodiment>

図13は本発明の第3の実施の形態における顔照合システムの概要を表わしたものである。図13で図1と同一部分には同一の符号を付しており、これらの説明は適宜省略する。この第3の実施の形態の顔照合システム100Aは第1の実施の形態の通信ネットワーク101に新たに有名人データベース装置501とアニマルデータベース装置502を接続している。有名人データベース装置501は各界の有名人について本人の提出した顔写真あるいは本人が使用を承諾した顔写真の顔写真データとこれらに対応する付随データとを集めたデータベースである。これらはシステムの運用者が有名人と目される人物あるいは必要な場合にはその関連団体や親権者に連絡をとってデータを有料あるいは無料で提供してもらうもので、本人等の承諾を得たものであるので著作権や肖像権上で問題は発生しない。   FIG. 13 shows an outline of a face matching system according to the third embodiment of the present invention. In FIG. 13, the same parts as those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. In the face matching system 100A of the third embodiment, a celebrity database device 501 and an animal database device 502 are newly connected to the communication network 101 of the first embodiment. The celebrity database device 501 is a database that collects face photographs submitted by the person himself / herself or face photographs data that the person himself / hers has approved to use, and associated data corresponding thereto. These are the systems operators who are considered celebrities or, if necessary, their affiliates or parental authorities to contact them to provide data for free or for free. Because it is a thing, there is no problem in copyright and portrait rights.

この有名人データベース装置501を照合時のユーザ領域とは別の「共通領域」に指定することによって、各ユーザは自分のデータベースが十分でない状態でも照合しようとする人物の顔に似た他人の顔を十分な精度で選び出すことができる。また、有名人にとっても有名人データベース装置501に有名人として選択されて登録されることが1つのステータスあるいは基準となるので、多くの顔写真データを比較的容易に蓄積することが可能である。   By designating this celebrity database device 501 as a “common area” that is different from the user area at the time of collation, each user can see the face of another person similar to the face of the person to be collated even when his database is not sufficient. Can be selected with sufficient accuracy. In addition, since a status or standard is that a celebrity is selected and registered as a celebrity in the celebrity database device 501, a lot of face photo data can be stored relatively easily.

アニマルデータベース装置502は類人猿、犬等のアニマル(動物)の顔写真あるいは顔のイラストを集めたもので、同様に著作権上で問題のないものがデータベース化されている。アニマルデータベース装置502はペットとしての自分のアニマルが有名なアニマルのどれに似ているかという照合にも使用できるが、それ以外の目的として照合の際に照合先を「アニマル」と選択することで、照合する人物の顔がどのアニマルに似ているかという判別にも使用できる。また、携帯電話機等で複数の友人の写真を撮って、その中で特定のアニマルにもっとも似ている人物を選び出すといった逆の照合も可能である。   The animal database device 502 is a collection of facial photographs or face illustrations of animals (animals) such as apes and dogs, and a database having no problem in terms of copyright is also created. The animal database device 502 can be used for collation as to which of the famous animals the animal as a pet is similar to, but for other purposes, by selecting “Animal” as the collation destination, It can also be used to determine which animal the person's face to be matched looks like. It is also possible to perform reverse collation by taking a picture of a plurality of friends with a mobile phone or the like and selecting a person most similar to a specific animal among them.

第1の実施の形態で顔照合システムの概要を表わしたシステム構成図である。It is a system configuration figure showing the outline of the face collation system in a 1st embodiment. 第1の実施の形態における受付装置の構成の要部を表わしたブロック図である。It is a block diagram showing the principal part of the structure of the reception apparatus in 1st Embodiment. 第1の実施の形態で顔画像情報データベース装置の一部領域を示した説明図である。It is explanatory drawing which showed the partial area | region of the face image information database apparatus in 1st Embodiment. 第1の実施の形態で受付装置の制御の様子を表わした流れ図である。It is a flowchart showing the mode of control of the reception apparatus in 1st Embodiment. 第1の実施の形態でユーザが無線端末を使用して登録処理を行うときの一連の処理の流れを表わした説明図である。It is explanatory drawing showing the flow of a series of processes when a user performs a registration process using a wireless terminal in 1st Embodiment. 第1の実施の形態で顔画像情報データベース装置における登録処理の概要を表わした流れ図である。It is a flowchart showing the outline | summary of the registration process in the face image information database apparatus in 1st Embodiment. 第1の実施の形態でユーザが無線端末を使用して登録の削除処理を行うときの一連の処理の流れを表わした説明図である。It is explanatory drawing showing the flow of a series of processes when a user performs a registration deletion process using a wireless terminal in 1st Embodiment. 第1の実施の形態で受付装置が行う削除処理を示す流れ図である。It is a flowchart which shows the deletion process which a reception apparatus performs in 1st Embodiment. 第1の実施の形態で顔画像情報データベース装置における削除処理の流れを表わした流れ図である。It is a flowchart showing the flow of the deletion process in the face image information database apparatus in the first embodiment. 第1の実施の形態でユーザが無線端末を使用して照合処理を行うときの一連の処理の流れを表わした説明図である。It is explanatory drawing showing the flow of a series of processes when a user performs a collation process using a wireless terminal in 1st Embodiment. 第1の実施の形態における照合装置の処理の流れを表わした流れ図である。It is a flowchart showing the flow of the process of the collation apparatus in 1st Embodiment. 第2の実施の形態の顔照合システムにおける各部の制御の概要を示した説明図である。It is explanatory drawing which showed the outline | summary of control of each part in the face collation system of 2nd Embodiment. 本発明の第3の実施の形態における顔照合システムの概要を表わしたシステム構成図である。It is a system block diagram showing the outline | summary of the face collation system in the 3rd Embodiment of this invention.

符号の説明Explanation of symbols

100、100A 顔照合システム
101 通信ネットワーク
103 情報端末
105 無線端末
107 CCDカメラ
108、112 顔
109 スキャナ
110 顔写真
111 カメラ
114 受付装置
115 顔画像情報データベース装置
116 照合装置
121 CPU(中央処理装置)
123 制御プログラム記憶媒体
141 ユーザ領域
142 顔写真データ
143 付随データ
501 有名人データベース装置
502 アニマルデータベース装置
DESCRIPTION OF SYMBOLS 100,100A Face collation system 101 Communication network 103 Information terminal 105 Wireless terminal 107 CCD camera 108, 112 Face 109 Scanner 110 Face photograph 111 Camera 114 Reception apparatus 115 Face image information database apparatus 116 Collation apparatus 121 CPU (central processing unit)
123 Control Program Storage Medium 141 User Area 142 Face Photo Data 143 Accompanying Data 501 Celebrity Database Device 502 Animal Database Device

Claims (7)

複数の顔の画像情報を通信ネットワーク上の特定の領域に格納する顔画像情報格納手段と、
照合の対象となる顔の画像情報を撮影する撮影手段と、
この撮影手段で撮影した顔の画像情報を前記通信ネットワークを介して受信しこれと前記顔画像情報格納手段に登録されている顔の画像情報の類似度を判別する類似度判別手段と、
この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段
とを具備することを特徴とする顔照合システム。
Face image information storage means for storing image information of a plurality of faces in a specific area on the communication network;
Photographing means for photographing image information of a face to be verified;
Similarity determination means for receiving the image information of the face imaged by the imaging means via the communication network and determining the similarity of the face image information registered in the face image information storage means;
A face collation system comprising: information presenting means for presenting related information related to a face determined to be most similar by the similarity determining means.
複数の顔の画像情報を通信ネットワーク上の特定の領域に格納する顔画像情報格納手段と、
照合の対象となる顔の画像情報を選択する選択手段と、
この選択手段で選択した顔の画像情報を前記通信ネットワークを介して受信しこれと前記顔画像情報格納手段に格納されている顔の画像情報との類似度を判別する類似度判別手段と、
この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段
とを具備することを特徴とする顔照合システム。
Face image information storage means for storing image information of a plurality of faces in a specific area on the communication network;
A selection means for selecting face image information to be matched;
Similarity determination means for receiving the face image information selected by the selection means via the communication network and determining the similarity between the face image information stored in the face image information storage means;
A face collation system comprising: information presenting means for presenting related information related to a face determined to be most similar by the similarity determining means.
ユーザ単位に設けられ、複数の顔の画像情報をユーザ端末からの指示によってユーザ単位の画像情報格納領域に格納する顔画像情報格納手段と、
特定のユーザ端末から所定の顔の画像情報を指定して照合の要求があったとき照合の要求のあった顔の画像情報とそのユーザの前記画像情報格納領域に格納された顔の画像情報とを照合する照合手段と、
この照合手段の照合結果として選ばれた顔に関連する関連情報を要求のあったユーザのユーザ端末に送信する情報送信手段
とを具備することを特徴とする顔照合システム。
Face image information storage means provided for each user and storing image information of a plurality of faces in an image information storage area for each user according to an instruction from the user terminal;
When a specific face image information is specified from a specific user terminal and a collation request is made, the face image information requested for collation and the face image information stored in the image information storage area of the user A matching means for matching
A face matching system comprising: information transmitting means for transmitting related information related to the face selected as a matching result of the matching means to the user terminal of the user who requested it.
前記ユーザ単位の画像情報格納領域とは別にこれらのユーザに共通の共通画像情報格納領域が設けられており、ここにはそれぞれの本人が使用を承諾したあるいは提供した本人の顔の画像情報が格納されていることを特徴とする請求項3記載の顔照合システム。   In addition to the image information storage area for each user, a common image information storage area common to these users is provided, in which the image information of the face of each person who has accepted or provided the use of each person is stored. The face matching system according to claim 3, wherein ユーザ単位に設けられ、複数の顔の画像情報とそれぞれの画像情報に付随する付随データをユーザ端末からの指示によってユーザ単位の画像情報格納領域に格納する顔画像情報格納手段と、
特定のユーザ端末から所定のキーワードを特定して照合の要求があったときそのユーザの前記画像情報格納領域に格納された付随データとこれを照合する照合手段と、
この照合手段の照合結果として選ばれた付随データに対応する画像情報をその付随データと共に要求のあったユーザのユーザ端末に送信する情報送信手段
とを具備することを特徴とする顔照合システム。
Face image information storage means provided for each user and storing image information of a plurality of faces and accompanying data accompanying each image information in an image information storage area for each user according to an instruction from the user terminal;
A collation means for collating the associated data stored in the image information storage area of the user when a specific keyword is specified from a specific user terminal and a collation request is received;
An information transmitting means for transmitting image information corresponding to the accompanying data selected as a matching result of the matching means to the user terminal of the user who requested it together with the accompanying data.
前記顔画像情報格納手段には付随データとして顔の画像情報に対応させてその顔の人物の名前、生年月日、職業等の付随的なデータが格納されていることを特徴とする請求項1〜請求項3、請求項5いずれかに記載の顔照合システム。   2. The face image information storage means stores accompanying data such as the name, date of birth, occupation, etc. of the person of the face in association with face image information as accompanying data. The face matching system according to any one of claims 3 and 5. 前記顔画像情報格納手段には人間以外の動物の顔の画像情報が格納されていることを特徴とする請求項1〜請求項3、請求項5いずれかに記載の顔照合システム。   6. The face collation system according to claim 1, wherein the face image information storage means stores image information of faces of animals other than human beings.
JP2003273194A 2003-07-11 2003-07-11 Face matching system Pending JP2005032163A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003273194A JP2005032163A (en) 2003-07-11 2003-07-11 Face matching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003273194A JP2005032163A (en) 2003-07-11 2003-07-11 Face matching system

Publications (1)

Publication Number Publication Date
JP2005032163A true JP2005032163A (en) 2005-02-03

Family

ID=34210498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003273194A Pending JP2005032163A (en) 2003-07-11 2003-07-11 Face matching system

Country Status (1)

Country Link
JP (1) JP2005032163A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305156A (en) * 2007-06-07 2008-12-18 Nec Software Kyushu Ltd Facial image extraction and accumulation system, and facial image extraction and accumulation method
WO2010090259A1 (en) * 2009-02-05 2010-08-12 Sairyo Kazuo Portrait illustration creation system, character creation system, and created portrait illustration display system
JP2011059810A (en) * 2009-09-07 2011-03-24 Nippon Soken Inc Image recognition system
JP2011516966A (en) * 2008-04-02 2011-05-26 グーグル インコーポレイテッド Method and apparatus for incorporating automatic face recognition in a digital image collection

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305156A (en) * 2007-06-07 2008-12-18 Nec Software Kyushu Ltd Facial image extraction and accumulation system, and facial image extraction and accumulation method
JP2011516966A (en) * 2008-04-02 2011-05-26 グーグル インコーポレイテッド Method and apparatus for incorporating automatic face recognition in a digital image collection
EP2618290A3 (en) * 2008-04-02 2014-08-06 Google, Inc. Method and apparatus to incorporate automatic face recognition in digital image collections
US8897508B2 (en) 2008-04-02 2014-11-25 Google Inc. Method and apparatus to incorporate automatic face recognition in digital image collections
WO2010090259A1 (en) * 2009-02-05 2010-08-12 Sairyo Kazuo Portrait illustration creation system, character creation system, and created portrait illustration display system
JP5292415B2 (en) * 2009-02-05 2013-09-18 寿夫 西良 Caricature illustration creation system, character creation system and creation portrait display system
US8600101B2 (en) 2009-02-05 2013-12-03 Kazuo Sairyo Portrait illustration creation system, character creation system, and created portrait illustration display system
JP2011059810A (en) * 2009-09-07 2011-03-24 Nippon Soken Inc Image recognition system

Similar Documents

Publication Publication Date Title
US11741706B2 (en) Imaging device and information acquisition system in which an acquired image and associated information are held on a display
JP5823499B2 (en) Content processing apparatus, content processing method, content processing program, and integrated circuit
US7610629B2 (en) Access control apparatus, access control method, and access control program
CN102143261B (en) Mobile terminal and the method using mobile terminal formation interpersonal relationships net
JP2004260304A (en) Image management system
JP3908171B2 (en) Image storage method, apparatus, and program
US7007022B2 (en) Digital data searching apparatus and an image display apparatus
US9086723B2 (en) Image processing apparatus and control method for determining and associating private information with an image
US6832101B1 (en) Image registration server and an image mediation distributing system
US20010016824A1 (en) Small sized information device, system and method for management of lending of small sized information devices, and computer product
JP2015173307A (en) Mobile terminal device, information processing system, information processing method for mobile terminal device, and program
JP5900204B2 (en) Document processing apparatus and program
JP2005032163A (en) Face matching system
JP4867295B2 (en) Image management apparatus and image management program
JP2007334629A (en) ID card issuing system and method
CN116804916A (en) Information processing apparatus, information processing method, and recording medium
WO2009099128A1 (en) Information management device, information management method, and information management program
KR20180080600A (en) Apparatus and method for recommending media content
JP5582453B2 (en) Image management apparatus, image management method, and program
JP7346708B2 (en) Information management system, information management method, and program
JP4474996B2 (en) Free information search system
JP2006195636A (en) Document management system
JP7505558B2 (en) Server device, entrance/exit management system, server device control method and program
JP2004172838A (en) Information processing apparatus, information processing system, method for creating shared material, and program therefor
WO2023162255A1 (en) Information provision device, information provision method, and non-transitory computer-readable medium