JP2005032163A - Face matching system - Google Patents
Face matching system Download PDFInfo
- Publication number
- JP2005032163A JP2005032163A JP2003273194A JP2003273194A JP2005032163A JP 2005032163 A JP2005032163 A JP 2005032163A JP 2003273194 A JP2003273194 A JP 2003273194A JP 2003273194 A JP2003273194 A JP 2003273194A JP 2005032163 A JP2005032163 A JP 2005032163A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- face
- user
- collation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【課題】顔の集合の中から特定の顔を照合したり、特定のキーワードからこれに合致する顔を遊びの感覚で選び出すことのできる顔照合システムを実現すること。
【解決手段】ユーザBは顔画像情報データベース装置115の自分の領域に各種の顔写真データとその付随データを格納しておき、無線端末105で撮影した顔写真データを受付装置114に送って照合を依頼する。照合装置116は顔画像情報データベース装置115内のそのユーザの領域の顔写真データと照合して該当するものがあればその付随データを見つけ、受付装置114がその照合結果を無線端末105に送出する。
【選択図】図1To realize a face collation system capable of collating a specific face from a set of faces, or selecting a face matching this from a specific keyword with a sense of play.
User B stores various face photo data and associated data in his / her area of the face image information database device 115, and sends the face photo data photographed by the wireless terminal 105 to the accepting device 114 for collation. Request. The collation device 116 collates with the face photograph data of the user's area in the face image information database device 115 to find the corresponding data if there is any, and the reception device 114 sends the collation result to the wireless terminal 105. .
[Selection] Figure 1
Description
本発明は人間や動物の顔をゲーム感覚で照合する顔照合システムに関する。 The present invention relates to a face collation system that collates human and animal faces in a game sense.
人の顔はさまざまであるが、日本人であっても東洋の特定の国の人あるいは西洋人に近い顔をしているとか、ある特定の有名人に近い顔をしているというように類型化することがしばしば行われている。このため、他人に知人を紹介するような場合にも、有名人のAさん風だということで顔のおおよそを理解してもらうことも多い。また、一方で自分の顔や友人の顔が有名人の誰に似ているかということを話題にする場合もある。特に最近では携帯電話機や小型のコンピュータ等にカメラが付属していることが多くなり、これらを互いに電子メールに添付する等で通信すると、他人の顔との対比が行われる機会が多くなっている。 People's faces are various, but even Japanese people are categorized as having a face close to a person in a specific oriental country or western, or a face close to a certain celebrity It is often done. For this reason, even when you introduce an acquaintance to another person, you often get a rough understanding of the face because of the celebrity's A style. On the other hand, there is a case where it is talked about who the face of a celebrity is similar to one's face or a friend's face. In recent years, cameras are often attached to mobile phones, small computers, etc., and when these are communicated with each other by attaching them to an e-mail or the like, there is an increased opportunity for comparison with other people's faces. .
従来では、携帯電話機等の通信端末を用いてカメラで通信端末のユーザを撮影するといった提案が行われている(たとえば特許文献1参照)。ところが、この提案は通信端末を使用する操作者の身体的な特徴をカメラで撮影してこれを照合システム側に送信して操作者の正当性を判断するものであって、決済を行う場合等に必要となる本人確認に用いられている。
したがってこの提案で開示された技術は、撮影した顔等が予め用意した本人のものと一致するかどうかを判別する技術やその技術をセキュリティに使用しようとするものであり、どの人に比較的似ているかという判別をゲーム感覚あるいは遊びの感覚で行おうとするものとは明らかに異なる。 Therefore, the technique disclosed in this proposal is a technique for discriminating whether or not the photographed face matches that of the person prepared in advance, and intends to use that technique for security. This is clearly different from the case where the determination of whether or not the game is being performed is based on a sense of game or play.
そこで本発明の目的は、顔の集合の中から特定の顔を照合したり、特定のキーワードからこれに合致する顔を遊びの感覚で選び出すことのできる顔照合システムを実現することにある。 Accordingly, an object of the present invention is to realize a face collation system that can collate a specific face from a set of faces or select a face that matches a specific keyword with a sense of play.
請求項1記載の発明では、(イ)複数の顔の画像情報を通信ネットワーク上の特定の領域に格納する顔画像情報格納手段と、(ロ)照合の対象となる顔の画像情報を撮影する撮影手段と、(ハ)この撮影手段で撮影した顔の画像情報を通信ネットワークを介して受信しこれと顔画像情報格納手段に登録されている顔の画像情報の類似度を判別する類似度判別手段と、(ニ)この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段とを顔照合システムに具備させる。 According to the first aspect of the present invention, (b) face image information storage means for storing image information of a plurality of faces in a specific area on the communication network, and (b) photographing image information of a face to be collated. And (c) similarity determination for determining the similarity between the face image information captured by the image capturing means and the face image information registered in the face image information storage means. And (d) an information presenting means for presenting relevant information related to the face determined to be most similar by the similarity determination means.
すなわち本発明では通信ネットワーク上の特定の領域に複数の顔の画像情報を格納しておき、照合の対象となる顔の画像情報を撮影手段で撮影したものを類似度判別手段で照合させて最も類似していると判別された顔に関連する関連情報を情報提示手段で提示させることにしている。したがって、照合のためのデータベースを通信ネットワーク側に用意しておけばこれと通信することで任意の顔の照合処理を簡易に行うことができる。 That is, in the present invention, image information of a plurality of faces is stored in a specific area on the communication network, and the image information of the face to be collated is captured by the photographing means and collated by the similarity determination means. Related information related to the face determined to be similar is presented by the information presenting means. Therefore, if a database for matching is prepared on the communication network side, any face matching process can be easily performed by communicating with the database.
請求項2記載の発明では、(イ)複数の顔の画像情報を通信ネットワーク上の特定の領域に格納する顔画像情報格納手段と、(ロ)照合の対象となる顔の画像情報を選択する選択手段と、(ハ)この選択手段で選択した顔の画像情報を通信ネットワークを介して受信しこれと顔画像情報格納手段に格納されている顔の画像情報との類似度を判別する類似度判別手段と、(ニ)この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段とを顔照合システムに具備させる。 According to the second aspect of the present invention, (a) face image information storing means for storing image information of a plurality of faces in a specific area on the communication network, and (b) selecting face image information to be collated. And (c) similarity for determining similarity between the face image information selected by the selection means via the communication network and the face image information stored in the face image information storage means. The face collation system includes a determination unit and (d) an information presentation unit that presents related information related to the face determined to be most similar by the similarity determination unit.
すなわち本発明では通信ネットワーク上の特定の領域に複数の顔の画像情報を格納しておき、照合の対象となる顔の画像情報を選択したものを類似度判別手段で照合させて最も類似していると判別された顔に関連する関連情報を情報提示手段で提示させることにしている。したがって、照合のためのデータベースを通信ネットワーク側に用意しておけばこれと通信することで任意の顔の照合処理を簡易に行うことができる。 That is, according to the present invention, image information of a plurality of faces is stored in a specific area on the communication network, and the selected face image information to be collated is collated by the similarity determination unit and is most similar. The related information related to the face determined to be present is presented by the information presenting means. Therefore, if a database for matching is prepared on the communication network side, any face matching process can be easily performed by communicating with the database.
請求項3記載の発明では、(イ)ユーザ単位に設けられ、複数の顔の画像情報をユーザ端末からの指示によってユーザ単位の画像情報格納領域に格納する顔画像情報格納手段と、(ロ)特定のユーザ端末から所定の顔の画像情報を指定して照合の要求があったとき照合の要求のあった顔の画像情報とそのユーザの画像情報格納領域に格納された顔の画像情報とを照合する照合手段と、(ハ)この照合手段の照合結果として選ばれた顔に関連する関連情報を要求のあったユーザのユーザ端末に送信する情報送信手段とを顔照合システムに具備させる。 According to a third aspect of the present invention, (a) face image information storage means provided for each user and storing image information of a plurality of faces in an image information storage area for each user according to an instruction from the user terminal; When a specific face image information is specified from a specific user terminal and a collation request is made, the face image information requested for collation and the face image information stored in the image information storage area of the user The face collation system includes collation means for collation, and (c) information transmission means for transmitting related information related to the face selected as a collation result of the collation means to the user terminal of the user who requested it.
すなわち本発明ではユーザが自分の管理の下で蓄積した顔の画像情報を用いて照合を行い、その結果がユーザ端末に送られるので、顔画像情報格納手段は個人的な情報格納手段であり、趣味の範囲で照合処理を行うことができる。 That is, in the present invention, the user performs collation using the facial image information accumulated under his / her management, and the result is sent to the user terminal, so the facial image information storage means is a personal information storage means, Collation processing can be performed within the range of hobbies.
請求項4記載の発明では、請求項3記載の顔照合システムで、ユーザ単位の画像情報格納領域とは別にこれらのユーザに共通の共通画像情報格納領域が設けられており、ここにはそれぞれの本人が使用を承諾したあるいは提供した本人の顔の画像情報が格納されていることを特徴としている。 According to a fourth aspect of the present invention, in the face matching system according to the third aspect, in addition to the image information storage area for each user, a common image information storage area common to these users is provided. It is characterized in that image information of the face of the person who has accepted or provided the use of the person is stored.
すなわち本発明ではユーザに共通の共通画像情報格納領域が設けられており、この共通の領域ではそれぞれの本人が使用を承諾したあるいは提供した本人の顔の画像情報が格納されているので、他人の利益を害することなく他人の顔との照合作業を行うことができる。また、これによりユーザ自体が収集した顔写真が少ないあるいは皆無の状態でも照合を行うことができる。 That is, in the present invention, a common image information storage area common to users is provided, and in this common area, the image information of the face of each person who has accepted or provided the use of each person is stored. Collation with other people's faces can be performed without harming profits. Further, it is possible to perform collation even when there are few or no face photographs collected by the user.
請求項5記載の発明では、(イ)ユーザ単位に設けられ、複数の顔の画像情報とそれぞれの画像情報に付随する付随データをユーザ端末からの指示によってユーザ単位の画像情報格納領域に格納する顔画像情報格納手段と、(ロ)特定のユーザ端末から所定のキーワードを特定して照合の要求があったときそのユーザの画像情報格納領域に格納された付随データとこれを照合する照合手段と、(ハ)この照合手段の照合結果として選ばれた付随データに対応する画像情報をその付随データと共に要求のあったユーザのユーザ端末に送信する情報送信手段とを顔照合システムに具備させる。 According to the fifth aspect of the present invention, (a) a plurality of face image information and accompanying data accompanying each image information are stored in a user unit image information storage area in accordance with an instruction from the user terminal. Face image information storage means, and (b) collation means for collating the associated data stored in the image information storage area of the user when a specific keyword is specified from a specific user terminal and a collation request is made (C) The face matching system includes information transmitting means for sending image information corresponding to the accompanying data selected as the matching result of the matching means together with the accompanying data to the user terminal of the user who requested it.
すなわち本発明では顔同士の照合を行うのではなく顔の画像情報に付随して記した職業、名前等の付随データを検索して、該当の顔の画像情報を得るようにしている。 That is, according to the present invention, the face image information is obtained by searching the accompanying data such as occupation, name, and the like, which are attached to the face image information, instead of matching the faces.
請求項6記載の発明では、請求項1〜請求項3、請求項5いずれかに記載の顔照合システムで、顔画像情報格納手段には付随データとして顔の画像情報に対応させてその顔の人物の名前、生年月日、職業等の付随的なデータが格納されていることを特徴としている。 According to a sixth aspect of the present invention, in the face collation system according to any one of the first to third and fifth aspects, the face image information storing means is associated with the face image information as accompanying data in the face image information storage means. It is characterized by storing incidental data such as a person's name, date of birth and occupation.
すなわち本発明では付随データを例示している。例示されたデータ以外のデータが付随データに含まれてもよい。 That is, the accompanying data is exemplified in the present invention. Data other than the exemplified data may be included in the accompanying data.
請求項7記載の発明では、請求項1〜請求項3、請求項5いずれかに記載の顔照合システムで、顔画像情報格納手段には人間以外の動物の顔の画像情報が格納されていることを特徴としている。 According to a seventh aspect of the present invention, in the face collation system according to any one of the first to third aspects and the fifth aspect, the facial image information storage means stores facial image information of animals other than human beings. It is characterized by that.
すなわち本発明では動物の顔が擬人化して捉えられる場合があるのに鑑みて、人間以外の動物の顔の画像情報を顔画像情報格納手段に格納して利用してもよいことを明らかにしている。特に遊び感覚で照合を行う場合に効果がある。 That is, in the present invention, in view of the fact that an animal's face may be captured as anthropomorphic, it has been clarified that image information of the face of an animal other than a human may be stored and used in the face image information storage means. Yes. This is particularly effective when collating with a sense of fun.
本発明ではゲーム感覚あるいは遊びの感覚で人や動物の顔を照合するので、特に大規模な照合のための装置を使用することなく、照合処理を楽しむことができる。特にカメラ付の携帯電話機等の情報端末におけるカメラの用途を広げることができる。また、データベースをネットワーク上等の照合を要求する側とは別の場所に配置することができるので、携帯端末のように比較的メモリ容量の少ない通信端末であっても写真を取り扱った照合作業を実行することができる。 In the present invention, since the faces of people and animals are collated with a sense of game or play, the collation process can be enjoyed without using a particularly large-scale collation apparatus. In particular, the application of the camera in an information terminal such as a mobile phone with a camera can be expanded. In addition, since the database can be placed in a different location from the network requesting collation, it is possible to perform collation work that handles photos even for communication terminals with relatively small memory capacity such as mobile terminals. Can be executed.
<第1の実施の形態> <First Embodiment>
図1は本発明の第1の実施の形態における顔照合システムの概要を表わしたものである。この顔照合システム100は、インターネット網、携帯電話網、CATV(Community Antenna TeleVision; CAble TeleVision)網等からなる通信ネットワーク101を利用したシステムである。通信ネットワーク101には、電話線等の有線回線102を通じてパーソナルコンピュータ等の情報端末103が接続されている。また、基地局104により携帯電話機、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)等の無線端末105が無線回線106を用いて接続されるようになっている。本実施例では情報端末103が小型のCCD(Charged Coupled Device)カメラ107を接続しており、これを用いてユーザやその家族あるいは友人の顔108等を撮影できるようになっている。また、情報端末103にはイメージスキャナ109が接続されており、週刊誌のグラビア等に掲載された有名人の顔写真110等を適宜読み取ることができるようになっている。一方、無線端末105には小型のカメラ111が組み込まれており、これによってユーザやその家族あるいは友人の顔112を撮影することができる。また、同様にこの小型のカメラ111で雑誌等を接写することで有名人の顔写真等を適宜読み取ることができる。情報端末103に接続された小型のCCDカメラ107も接写機能を備えていたり、接写レンズを購入する等によって同様に他人の公開された顔写真を撮ることができる。この実施の形態では、便宜上、情報端末103のユーザをユーザAとし、無線端末105のユーザをユーザBとして説明を行う。
FIG. 1 shows an outline of a face matching system according to the first embodiment of the present invention. The
通信ネットワーク101上にはこの顔照合システム100の受付装置114と、各種の顔画像情報をデータベースとして蓄積した顔画像情報データベース装置115と、この顔画像情報データベース装置115における所定の画像情報とユーザ側(たとえばユーザAやユーザB)が提示した顔の画像情報の照合を行う照合装置116も配置されている。これら受付装置114、顔画像情報データベース装置115および照合装置116はシステムを運用する側の装置であり、必要に応じて1つの装置として構成することも可能である。
On the
図2は、受付装置の構成の要部を表わしたものである。受付装置114はたとえばパーソナルコンピュータやワークステーションによって構成されており、CPU(中央処理装置)121を搭載している。CPU121はデータバス等のバス122を介して制御プログラム記憶媒体123、作業用メモリ124、入出力回路125、通信制御装置126、表示制御回路127等の回路装置と接続されている。ここで制御プログラム記憶媒体123は、この受付装置114の受付処理を実現するための制御プログラムを格納したハードディスク、光ディスク等の記憶媒体である。作業用メモリ124は、CPU121がこの制御プログラムを実行する上で必要となるプログラムや各種データを一時的に格納するRAM(ランダム・アクセス・メモリ)等のメモリである。入出力回路125にはたとえばデータを入力するためのキーボード128が接続されている。マウス等のポインティングデバイスやフロッピディスク等の他のデータ入力機器あるいはプリンタ等の出力機器がこれに接続されてもよい。通信制御装置126は図1に示した通信ネットワーク101との間でデータの入出力を行うための装置である。表示制御回路127にはディスプレイ129が接続されている。
FIG. 2 shows a main part of the configuration of the receiving apparatus. The accepting
図1に示した顔画像情報データベース装置115および照合装置116も基本的には受付装置114と同様の構成となっているので、これらの図示は省略する。ただし、顔画像情報データベース装置115は、比較的大容量の記憶媒体を備えており、ここに顔の画像情報やその他の情報からなるデータベースが格納されている。照合装置116はその制御プログラム中に顔の画像情報の類否を判別するためのプログラムが格納されており、これを実行することで照合を要求した顔の画像情報が顔画像情報データベース装置115の比較対象となる複数の顔の画像情報のどれに最も似ているかを判別するようになっている。ただし、この実施の形態では顔画像情報データベースの中に存在する顔の画像情報と照合対象の画像情報との間の照合作業は特に高精度で行う必要がない。これは、この実施の形態の顔照合システム100がゲーム感覚で各顔の異同を判別するものであるからであり、人物の同一性の判別といったセキュリティの要請が特に存在しないためでもある。
Since the face image
図3は、顔画像情報データベース装置の一部領域を示したものである。顔画像情報データベース装置115は、この顔照合システム100を利用するユーザごとに顔画像情報を格納する領域が独立している。たとえばユーザA領域141Aは、図1で示した情報端末103のユーザAについて割り振られた専用領域であり、ユーザB領域141Bは無線端末105のユーザBに割り当てられた専用領域である。ユーザA領域141Aには、情報端末103から送られてきた1枚の顔写真データ142と対応する人物の職業、氏名、出身地、趣味等の付随データ143ならびに整理番号144を1組として複数組のデータが登録されるようになっている。ユーザB領域141Bについても同様である。
FIG. 3 shows a partial region of the face image information database apparatus. The face image
このように各ユーザの登録領域(格納領域)が独立しているのは、たとえばあるユーザが友人や親の顔写真やそれらの人物についての個人的な情報を登録した際に、これらが他のユーザによって照合されることによるプライバシの侵害が発生することを防止する意味を持っている。また、ユーザの多くが照合の対象とする人物と対比するために俳優やアナウンサ等の写真やイラスト等の画像情報を登録することが考えられる。この場合、個人的な領域に個人が登録して他の顔との照合を行うことは肖像権上で問題が生じないが、それらの者の承諾なしに他人にこれらの顔の写真等を使用させることは個人的な利用の範囲を超えて、肖像権上で問題が生じる恐れがあるからである。 In this way, each user's registration area (storage area) is independent, for example, when a user registers personal information about a friend's or parent's face photo or their personality. It has the meaning of preventing privacy infringement due to collation by the user. In addition, it is conceivable that many users register image information such as pictures and illustrations of actors, announcers, etc. in order to compare with the person to be collated. In this case, there is no problem in portrait rights when an individual registers in the personal area and collates with other faces, but photos of these faces are used by others without their consent. This is because there is a possibility that problems may arise in portrait rights beyond the scope of personal use.
以下、図1に示したユーザBが無線端末105を使用して図3に示した顔画像情報データベース装置115のユーザB領域141Bに顔写真データ142と付随データ143を登録したり、登録したこれらのデータを削除したり、実際の照合を行う場合の制御の様子を説明する。
The user B shown in FIG. 1 uses the
図4は、受付装置の制御の様子を表わしたものである。受付装置114は無線端末105がアクセスするのを待機している(ステップS201)。そして、無線端末105がアクセスしてきた場合には(Y)、この顔照合システム100の登録会員からのアクセスであるかどうかを確認するために本人認証を行うことになる(ステップS202)。そして、登録会員であることが確認されたら顔照合システム100をユーザBが利用するためのメニュー画面に関するデータを無線端末105に対して送付することになる(ステップS203)。
FIG. 4 shows how the receiving apparatus is controlled. The accepting
図5は、ユーザBが無線端末を使用して登録処理を行うときの一連の処理の流れを表わしたものである。これは無線端末105自体にプログラムされた処理ではなく、顔写真データ142と付随データ143を登録する際のユーザBが行う操作に基づいて無線端末105が行う処理を時系列的に表わしたものに過ぎない。まず、ユーザBは無線端末105に組み込まれた小型のカメラ111で顔写真を撮影する(ステップS221)。撮影を行う代わりに、たとえば自分のパーソナルコンピュータ等に以前格納しておいた顔写真データ集から所望のものを電子メールで無線端末105に送ったものであってもよい。
FIG. 5 shows a flow of a series of processing when user B performs registration processing using a wireless terminal. This is not a process programmed in the
次にユーザBはこの顔照合システム100でデータベースとなる顔写真等を複数蓄積する作業の一環として受付装置114をアクセスすることになる(ステップS222)。このアクセスが図4のステップS201で検出されることになる。そこで図4のステップS203で受付装置114からメニュー画面が送られてくるので、ユーザBはこの例の場合に、この中から顔写真データ142と付随データ143を登録するための登録画面を選択することになる(ステップS223)。そして、図3のユーザB領域141Bに格納するために顔写真データ142と付随データ143を登録データとして受付装置114に送付することになる(ステップS224)。
Next, the user B accesses the accepting
図4に戻って説明を続ける。受付装置114ではステップS203でメニュー画面を該当の無線端末105に送付した後にその無線端末105からデータが送られてくるのを待機している。この状態で顔写真データ142と付随データ143が登録データとして送られてきたら(ステップS204:Y)、これらのデータを顔画像情報データベース装置115に転送することになる(ステップS205)。そして、その後に顔画像情報データベース装置115から顔写真データ142と付随データ143の登録処理が正常に終了したことを示す通知がきたら(ステップS206:Y)、登録処理が正常に終了したことをその無線端末105に通知する(ステップS207)。正常に終了しなかったときには(ステップS206:N)、エラーが発生したことをその無線端末105に通知する(ステップS208)。
Returning to FIG. 4, the description will be continued. In step S <b> 203, the
再び図5に戻って説明を続ける。ユーザBは顔写真データ142と付随データ143を受付装置114に送った後に図4のステップS207またはステップS208の通知がきたときには登録処理が完了したこと、あるいはエラーが発生したことを示す視覚情報を表示されることになる(ステップS225)。このようにしてユーザBが受付装置114に対して顔写真データ142と付随データ143を送付するたびに図3に示した顔画像情報データベース装置115におけるユーザBの利用できるデータベースが充実し、より多くの顔写真データを用いてより正確に他人の顔写真との照合を行うことが可能になる。
Returning to FIG. 5 again, the description will be continued. When the user B receives the notification of step S207 or step S208 in FIG. 4 after sending the
図6は、顔画像情報データベース装置における登録処理の概要を表わしたものである。顔画像情報データベース装置115は受付装置114が図4のステップS205で送った顔写真データ142と付随データ143を受信すると(ステップS241:Y)、そのユーザ(ここではユーザB)のデータベース部分(ここではユーザB領域141B)に受信した顔写真データ142と付随データ143を登録して内容を更新する(ステップS242)。この処理が正常に終了した場合には(ステップS243:Y)、受付装置114に対して正常終了を通知する(ステップS244)。これに対して異常終了した場合には(ステップS243:N)、その旨の通知が受付装置114に対して行われることになる(ステップS245)。
FIG. 6 shows an outline of registration processing in the face image information database apparatus. When the face image
図7は、ユーザBが無線端末を使用して登録の削除処理を行うときの一連の処理の流れを表わしたものである。これは図5と同様に無線端末105自体にプログラムされた処理ではなく、顔写真データ142と付随データ143の組を削除する際のユーザBが行う操作に基づいて無線端末105が行う処理を時系列的に表わしたものに過ぎない。なお、このような削除処理はユーザB領域141Bに間違ったデータが登録されたような場合に行われる。
FIG. 7 shows a flow of a series of processing when the user B performs registration deletion processing using a wireless terminal. This is not the process programmed in the
まず、ユーザBは削除のために受付装置114をアクセスする(ステップS261)。これを基にして図4のステップS203で受付装置114からメニュー画面が送られてくる。そこで図示しないディスプレイにこれを表示して削除画面を選択する(ステップS262)。そして、削除したい顔写真データ142と付随データ143(図3参照)を特定するための整理番号144を指定した削除データを受付装置114に送信する(ステップS263)。
First, the user B accesses the accepting
ところで、図1に示した受付装置114はメニュー画面を無線端末105に送信した後、その無線端末105から登録データが送られてくるか(ステップS204)、削除データが送られてくるか(ステップS209)、あるいは写真等の照合のための照合データが送られてくるか(ステップS210)についての待機動作を行っている。そして、この場合のように削除データが送られてきた場合には(ステップS209:Y)、該当する顔写真データ142と付随データ143の削除処理を行うことになる(ステップS211)。
By the way, after receiving the menu screen to the
図8は、受付装置が行う削除処理を具体的に表わしたものである。これは図4のステップS211の処理の具体的な内容を示している。受付装置114は整理番号144(図3)をキーとして無線端末105から要求のあった削除対象の顔写真データ142と付随データ143の内容を読み出すための要求を顔画像情報データベース装置115に対して行う(ステップS281)。顔画像情報データベース装置115から該当する顔写真データ142と付随データ143が整理番号144と共に送られてきたら(ステップS282:Y)、受付装置114は読み出された顔写真データ142と付随データ143を無線端末105に送信する(ステップS283)。これは削除処理を実行する前にユーザBに確認処理を行わせるためである。
FIG. 8 specifically shows the deletion process performed by the receiving apparatus. This shows the specific contents of the processing in step S211 in FIG. The receiving
図7に戻って説明を行う。無線端末105側では受信した顔写真データ142と付随データ143を前記したディスプレイで確認し、削除する内容であれば削除確認を示すデータを受付装置114に送信する(ステップS264)。削除を中止したり、他の顔写真データ142と付随データ143に削除の対象を変更する旨のデータを送信することもできる。
Returning to FIG. On the
図8に戻って説明を続ける。受付装置114は無線端末105から削除を確認するデータが受信されるか(ステップS284)、削除処理を中止するデータが受信されるか(ステップS285)、あるいは削除の対象を変更する新たな整理番号144を付した削除データが送られてくるか(ステップS286)を待機する。そして、削除を確認するデータが送られてきたら(ステップS284:Y)、該当する顔写真データ142と付随データ143の削除を顔画像情報データベース装置115に要求する(ステップS287)。そして、図4のステップS206以降の処理が行われる。
Returning to FIG. Whether the
一方、無線端末105から削除を中止する旨のデータが送られてきた場合には(ステップS285:Y)、削除を顔画像情報データベース装置115に要求することを中止して図8に示す処理を終了する。また、無線端末105から削除を変更するために他の削除データの指示が行われてきた場合には(ステップS286:Y)、ステップS281に処理を進めて新たに指示された削除内容で前記した処理が進行することになる。
On the other hand, when data indicating cancellation is sent from the wireless terminal 105 (step S285: Y), the request for deletion to the face image
再度、図7に戻って無線端末105の削除処理の説明を続ける。ユーザBが削除または削除の中止を決定した場合、すなわち削除対象の変更以外の場合であれば(ステップS265:N)、図4のステップS207またはステップS208の通知が受付装置114から無線端末105に送られてくる。そこで無線端末105はこれを表示して(ステップS266)、削除についての一連の処理を終了させる(エンド)。これに対してユーザBが削除の対象を変更する場合には(ステップS265:Y)、ステップS263に進んで新たな削除対象を指定して削除データを受付装置114に送信することになる。
Returning to FIG. 7 again, the description of the deletion process of the
図9は顔画像情報データベース装置における削除処理の流れを表わしたものである。顔画像情報データベース装置115では受付装置114から図8のステップS281の削除対象の顔写真データ142と付随データ143の読出要求を受信したら(ステップS301:Y)、これらを整理番号144(図3)をキーとして読み出して受付装置114に送信する(ステップS302)。そして、最終的に受付装置114から整理番号144を指定して図8ステップS287の削除要求があった場合には(ステップS303:Y)、該当する顔写真データ142と付随データ143を削除してデータベースを新たな内容に更新する(ステップS304)。そしてその処理結果としての処理の成否を受付装置114に通知することになる(ステップS305)。
FIG. 9 shows the flow of deletion processing in the face image information database apparatus. When the face image
以上説明したようにして顔画像情報データベース装置115に蓄積したデータを用いてユーザBは無線端末105を操作し顔写真の照合を行うことができる。これは、たとえば友達との飲み会の席で無線端末105で一人一人の写真を撮って、誰が有名人の誰に似ているかという余興を行うのに活用してもよい。また、多くの人物の顔と名前を一致させなければならない人の場合には、これらの人物の顔写真をこの顔照合システムで照合してその結果から俳優のCさんに似ているとか、女子アナウンサのDさんに似ているといった顔の類型化を行うことも有効である。
As described above, using the data stored in the face image
図10はユーザBが無線端末を使用してこのような照合を行う際の一連の処理の流れを表わしたものである。これは図5と同様に無線端末105自体にプログラムされた処理ではなく、無線端末105が行う処理を時系列的に表わしたものに過ぎない。ユーザBは無線端末105のカメラ111を使用して照合する人物を写真撮影する(ステップS321)。自分を撮影することももちろん可能である。また、無線端末105に付属したカメラ111で撮影する必要はなく、無線端末105に何らかの手段で格納されている顔写真あるいは無線端末105がたとえばインターネット上でアクセスしたホームページに登場する顔写真であってもよい。電子メールで送付されてきた他人の顔写真も可能である。
FIG. 10 shows a flow of a series of processes when user B performs such collation using a wireless terminal. This is not a process programmed in the
照合用の顔写真が用意されたらユーザBは受付装置114をアクセスし(ステップS322)、本人認証が行われた後に送られてくるメニュー画面から照合画面を選択する(ステップS323)。そして用意した顔写真を照合データとして受付装置114に送信することになる(ステップS324)。 When a face photo for collation is prepared, the user B accesses the accepting device 114 (step S322), and selects a collation screen from the menu screen sent after the personal authentication is performed (step S323). Then, the prepared face photograph is transmitted as verification data to the accepting device 114 (step S324).
図4に戻って説明を続ける。受付装置114は照合データが無線端末105から送られてくると(ステップS210:Y)、図1に示した照合装置116をアクセスして照合を要求する(ステップS212)。そして、照合結果が照合装置116から送られてきたら(ステップS213:Y)、その結果と付随データとをユーザBの無線端末105に送信する(ステップS214)。このとき照合結果として一致した人物の顔写真データ142を送信してもよいが、データ量が比較的大きい場合にはユーザ側の初期設定で顔写真データ142の送信の可否を選択させることもできる。
Returning to FIG. 4, the description will be continued. When the collation data is sent from the wireless terminal 105 (step S210: Y), the accepting
図10に戻って説明を続ける。ユーザBの無線端末105は受付装置114から照合が成功したかどうかの結果と一致した場合の付随データを受信したら、これをそのディスプレイに表示する(ステップS325)。顔写真データ142を送るように指示していた場合には該当した女優等の顔写真もディスプレイに表示されることになる。この場合には、ディスプレイ上に照合用の写真と照合結果の写真を対比させて表示するようにすることで、飲み会の席等で顔やその有名人についての話題が大いに盛り上がることになる。また、今度は誰の顔を撮って照合を行おうかといった具合に顔照合システム100がゲーム感覚で活用されることになる。したがって、この顔照合システム100の場合には顔の照合に必ずしも高度な照合技術を使用する必要はなく、顔の輪郭の特徴とか顔全体の幅に占める鼻の穴の間隔といった特定の1つまたは複数の要素を分析するような比較的簡易なものであってもよい。もちろん、照合装置116は無線端末105やパーソナルコンピュータ等の情報端末103と異なり専用かつ高度な照合用プログラムを用いて照合作業を行うことが可能であるので、ユーザBの照合に対する要求度やユーザB領域141B(図3)に蓄積されている顔写真データ142の数によって照合の精度を変動させるようにしてもよい。
Returning to FIG. When the
図11は、照合装置の処理の流れを表わしたものである。照合装置116は受付装置114から照合の要求があると(ステップS341:Y)、顔画像情報データベース装置115に格納されているユーザBの顔写真データ142の全体に対して照合を求められた顔写真と類似検索を実行する(ステップS342)。この結果、最も類似するもの(あるいは一致するもの)が存在した場合には(ステップS343:Y)、該当する顔写真データ142の付随データ143の読み出しを顔画像情報データベース装置115に対して要求する(ステップS344)。付随データ143が送られてきたら(ステップS345:Y)、類似度あるいは一致の有無の結果と付随データ143とを受付装置114に送信する(ステップS346)。類似したものがない、あるいは一致したものがないという検索結果の場合には(ステップS343:N)、その結果だけを受付装置114に送信する(ステップS347)。
FIG. 11 shows the flow of processing of the collation device. When the
なお図11に示した照合処理では照合装置116が照合の結果として一致あるいは類似のものがある場合に顔画像情報データベース装置115に格納されている写真データ142に対応する付随データ143の読み出しを行うことにしたが、検索の対象となるユーザB領域141Bが比較的小さなサイズであるような場合には、この領域のデータ全体のコピーを照合装置116側に転送してもらって、以後の検索および付随データ143の読み出しの処理をすべて照合装置116側で行うようにしてもよい。
In the collation processing shown in FIG. 11, when the
<第2の実施の形態> <Second Embodiment>
図12は本発明の第2の実施の形態の顔照合システムにおける各部の制御の概要を示したものである。なお、この第2の実施の形態ではシステムの全体的な構成や各装置の構成は、パーソナルコンピュータ等の情報端末や携帯電話機等の無線端末を除いた各装置に格納されている制御プログラムが第1の実施の形態と若干異なるだけとなっている。そこで、図1〜図3を第2の実施の形態でも使用して説明を行う。 FIG. 12 shows an outline of control of each part in the face matching system according to the second embodiment of the present invention. In the second embodiment, the overall configuration of the system and the configuration of each device are controlled by a control program stored in each device excluding an information terminal such as a personal computer and a wireless terminal such as a mobile phone. This is only slightly different from the first embodiment. Accordingly, the description will be made using FIGS. 1 to 3 also in the second embodiment.
この第2の実施の形態の顔照合システムでは顔写真を照合に用いるのではなく、付随データ143を照合に使用して一致する顔写真データ142をユーザに提供するようにしている。したがって、たとえは自分と同じ年代で青森県の歌手を探したいというような要望があったとすると、その人物の写真データをキーワード検索することができる。
In the face collation system according to the second embodiment, the face photo is not used for collation, but the matching
ユーザAがこのシステムを使用するものとする。ユーザAはパーソナルコンピュータ等の情報端末103で受付装置114にアクセスして(ステップS401)、顔照合システムの会員であることの認証を受ける(ステップS402)。ユーザAは受付装置114から送られてきたメニュー画面あるいは情報端末103に予めインストールしたシステム専用のプログラムの実行によって得られたメニュー画面からキーワード検索画面を選択して表示する(ステップS403)。そして、照合用のキーワードを選択してこれを受付装置114に送付する(ステップS404)。
Assume that user A uses this system. User A accesses the accepting
受付装置114は送られてきたキーワードを照合装置116に転送する(ステップS405)。照合装置116では送られてきたキーワードを用いてユーザA領域141A(図3)の付随データ143を検索し(ステップS406)、顔画像情報データベース装置115内に一致するものがあればその報告を受けて(ステップS407)、該当する顔写真データ142と付随データ143の取り出しを顔画像情報データベース装置115に要求する(ステップS408)。この要求に応じて顔画像情報データベース装置115から該当する1または複数組の顔写真データ142と付随データ143が得られたら(ステップS409)、照合装置116はこれらを受付装置114に送付する(ステップS410)。受付装置114は送られてきたこれら1または複数組の顔写真データ142と付随データ143を情報端末103に送って(ステップS411)、その図示しないディスプレイに表示させることになる(ステップS412)。
The accepting
<第3の実施の形態> <Third Embodiment>
図13は本発明の第3の実施の形態における顔照合システムの概要を表わしたものである。図13で図1と同一部分には同一の符号を付しており、これらの説明は適宜省略する。この第3の実施の形態の顔照合システム100Aは第1の実施の形態の通信ネットワーク101に新たに有名人データベース装置501とアニマルデータベース装置502を接続している。有名人データベース装置501は各界の有名人について本人の提出した顔写真あるいは本人が使用を承諾した顔写真の顔写真データとこれらに対応する付随データとを集めたデータベースである。これらはシステムの運用者が有名人と目される人物あるいは必要な場合にはその関連団体や親権者に連絡をとってデータを有料あるいは無料で提供してもらうもので、本人等の承諾を得たものであるので著作権や肖像権上で問題は発生しない。
FIG. 13 shows an outline of a face matching system according to the third embodiment of the present invention. In FIG. 13, the same parts as those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. In the
この有名人データベース装置501を照合時のユーザ領域とは別の「共通領域」に指定することによって、各ユーザは自分のデータベースが十分でない状態でも照合しようとする人物の顔に似た他人の顔を十分な精度で選び出すことができる。また、有名人にとっても有名人データベース装置501に有名人として選択されて登録されることが1つのステータスあるいは基準となるので、多くの顔写真データを比較的容易に蓄積することが可能である。 By designating this celebrity database device 501 as a “common area” that is different from the user area at the time of collation, each user can see the face of another person similar to the face of the person to be collated even when his database is not sufficient. Can be selected with sufficient accuracy. In addition, since a status or standard is that a celebrity is selected and registered as a celebrity in the celebrity database device 501, a lot of face photo data can be stored relatively easily.
アニマルデータベース装置502は類人猿、犬等のアニマル(動物)の顔写真あるいは顔のイラストを集めたもので、同様に著作権上で問題のないものがデータベース化されている。アニマルデータベース装置502はペットとしての自分のアニマルが有名なアニマルのどれに似ているかという照合にも使用できるが、それ以外の目的として照合の際に照合先を「アニマル」と選択することで、照合する人物の顔がどのアニマルに似ているかという判別にも使用できる。また、携帯電話機等で複数の友人の写真を撮って、その中で特定のアニマルにもっとも似ている人物を選び出すといった逆の照合も可能である。
The
100、100A 顔照合システム
101 通信ネットワーク
103 情報端末
105 無線端末
107 CCDカメラ
108、112 顔
109 スキャナ
110 顔写真
111 カメラ
114 受付装置
115 顔画像情報データベース装置
116 照合装置
121 CPU(中央処理装置)
123 制御プログラム記憶媒体
141 ユーザ領域
142 顔写真データ
143 付随データ
501 有名人データベース装置
502 アニマルデータベース装置
DESCRIPTION OF SYMBOLS 100,100A
123 Control Program Storage Medium 141
Claims (7)
照合の対象となる顔の画像情報を撮影する撮影手段と、
この撮影手段で撮影した顔の画像情報を前記通信ネットワークを介して受信しこれと前記顔画像情報格納手段に登録されている顔の画像情報の類似度を判別する類似度判別手段と、
この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段
とを具備することを特徴とする顔照合システム。 Face image information storage means for storing image information of a plurality of faces in a specific area on the communication network;
Photographing means for photographing image information of a face to be verified;
Similarity determination means for receiving the image information of the face imaged by the imaging means via the communication network and determining the similarity of the face image information registered in the face image information storage means;
A face collation system comprising: information presenting means for presenting related information related to a face determined to be most similar by the similarity determining means.
照合の対象となる顔の画像情報を選択する選択手段と、
この選択手段で選択した顔の画像情報を前記通信ネットワークを介して受信しこれと前記顔画像情報格納手段に格納されている顔の画像情報との類似度を判別する類似度判別手段と、
この類似度判別手段によって最も類似していると判別された顔に関連する関連情報を提示する情報提示手段
とを具備することを特徴とする顔照合システム。 Face image information storage means for storing image information of a plurality of faces in a specific area on the communication network;
A selection means for selecting face image information to be matched;
Similarity determination means for receiving the face image information selected by the selection means via the communication network and determining the similarity between the face image information stored in the face image information storage means;
A face collation system comprising: information presenting means for presenting related information related to a face determined to be most similar by the similarity determining means.
特定のユーザ端末から所定の顔の画像情報を指定して照合の要求があったとき照合の要求のあった顔の画像情報とそのユーザの前記画像情報格納領域に格納された顔の画像情報とを照合する照合手段と、
この照合手段の照合結果として選ばれた顔に関連する関連情報を要求のあったユーザのユーザ端末に送信する情報送信手段
とを具備することを特徴とする顔照合システム。 Face image information storage means provided for each user and storing image information of a plurality of faces in an image information storage area for each user according to an instruction from the user terminal;
When a specific face image information is specified from a specific user terminal and a collation request is made, the face image information requested for collation and the face image information stored in the image information storage area of the user A matching means for matching
A face matching system comprising: information transmitting means for transmitting related information related to the face selected as a matching result of the matching means to the user terminal of the user who requested it.
特定のユーザ端末から所定のキーワードを特定して照合の要求があったときそのユーザの前記画像情報格納領域に格納された付随データとこれを照合する照合手段と、
この照合手段の照合結果として選ばれた付随データに対応する画像情報をその付随データと共に要求のあったユーザのユーザ端末に送信する情報送信手段
とを具備することを特徴とする顔照合システム。 Face image information storage means provided for each user and storing image information of a plurality of faces and accompanying data accompanying each image information in an image information storage area for each user according to an instruction from the user terminal;
A collation means for collating the associated data stored in the image information storage area of the user when a specific keyword is specified from a specific user terminal and a collation request is received;
An information transmitting means for transmitting image information corresponding to the accompanying data selected as a matching result of the matching means to the user terminal of the user who requested it together with the accompanying data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003273194A JP2005032163A (en) | 2003-07-11 | 2003-07-11 | Face matching system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003273194A JP2005032163A (en) | 2003-07-11 | 2003-07-11 | Face matching system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005032163A true JP2005032163A (en) | 2005-02-03 |
Family
ID=34210498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003273194A Pending JP2005032163A (en) | 2003-07-11 | 2003-07-11 | Face matching system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005032163A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305156A (en) * | 2007-06-07 | 2008-12-18 | Nec Software Kyushu Ltd | Facial image extraction and accumulation system, and facial image extraction and accumulation method |
WO2010090259A1 (en) * | 2009-02-05 | 2010-08-12 | Sairyo Kazuo | Portrait illustration creation system, character creation system, and created portrait illustration display system |
JP2011059810A (en) * | 2009-09-07 | 2011-03-24 | Nippon Soken Inc | Image recognition system |
JP2011516966A (en) * | 2008-04-02 | 2011-05-26 | グーグル インコーポレイテッド | Method and apparatus for incorporating automatic face recognition in a digital image collection |
-
2003
- 2003-07-11 JP JP2003273194A patent/JP2005032163A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305156A (en) * | 2007-06-07 | 2008-12-18 | Nec Software Kyushu Ltd | Facial image extraction and accumulation system, and facial image extraction and accumulation method |
JP2011516966A (en) * | 2008-04-02 | 2011-05-26 | グーグル インコーポレイテッド | Method and apparatus for incorporating automatic face recognition in a digital image collection |
EP2618290A3 (en) * | 2008-04-02 | 2014-08-06 | Google, Inc. | Method and apparatus to incorporate automatic face recognition in digital image collections |
US8897508B2 (en) | 2008-04-02 | 2014-11-25 | Google Inc. | Method and apparatus to incorporate automatic face recognition in digital image collections |
WO2010090259A1 (en) * | 2009-02-05 | 2010-08-12 | Sairyo Kazuo | Portrait illustration creation system, character creation system, and created portrait illustration display system |
JP5292415B2 (en) * | 2009-02-05 | 2013-09-18 | 寿夫 西良 | Caricature illustration creation system, character creation system and creation portrait display system |
US8600101B2 (en) | 2009-02-05 | 2013-12-03 | Kazuo Sairyo | Portrait illustration creation system, character creation system, and created portrait illustration display system |
JP2011059810A (en) * | 2009-09-07 | 2011-03-24 | Nippon Soken Inc | Image recognition system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11741706B2 (en) | Imaging device and information acquisition system in which an acquired image and associated information are held on a display | |
JP5823499B2 (en) | Content processing apparatus, content processing method, content processing program, and integrated circuit | |
US7610629B2 (en) | Access control apparatus, access control method, and access control program | |
CN102143261B (en) | Mobile terminal and the method using mobile terminal formation interpersonal relationships net | |
JP2004260304A (en) | Image management system | |
JP3908171B2 (en) | Image storage method, apparatus, and program | |
US7007022B2 (en) | Digital data searching apparatus and an image display apparatus | |
US9086723B2 (en) | Image processing apparatus and control method for determining and associating private information with an image | |
US6832101B1 (en) | Image registration server and an image mediation distributing system | |
US20010016824A1 (en) | Small sized information device, system and method for management of lending of small sized information devices, and computer product | |
JP2015173307A (en) | Mobile terminal device, information processing system, information processing method for mobile terminal device, and program | |
JP5900204B2 (en) | Document processing apparatus and program | |
JP2005032163A (en) | Face matching system | |
JP4867295B2 (en) | Image management apparatus and image management program | |
JP2007334629A (en) | ID card issuing system and method | |
CN116804916A (en) | Information processing apparatus, information processing method, and recording medium | |
WO2009099128A1 (en) | Information management device, information management method, and information management program | |
KR20180080600A (en) | Apparatus and method for recommending media content | |
JP5582453B2 (en) | Image management apparatus, image management method, and program | |
JP7346708B2 (en) | Information management system, information management method, and program | |
JP4474996B2 (en) | Free information search system | |
JP2006195636A (en) | Document management system | |
JP7505558B2 (en) | Server device, entrance/exit management system, server device control method and program | |
JP2004172838A (en) | Information processing apparatus, information processing system, method for creating shared material, and program therefor | |
WO2023162255A1 (en) | Information provision device, information provision method, and non-transitory computer-readable medium |