JP2018032164A - 面接システム - Google Patents

Abstract

【課題】応答情報の信頼性の程度を判断することができる。【解決手段】面接装置１１で取得された顔の映像情報に基づいて応募者１６の時間経過に伴って変化する様子を分析し、質疑応答時における感情の種類を判別する制御装置１２と、制御装置１２で判別された感情の種類と、面接装置１１で取得された応答情報とが、応募者１６に対応付けて蓄積された応募者情報データベースを記憶する記憶装置１４と、応募者情報データベースにアクセス可能な端末装置１５とを有する。【選択図】図１

Description

近年においては、人間の面接者の代わりに、人型ロボットにより応募者の面接が行われ、質疑応答で得た応答情報に基づいて募集対象の職種に対する採用の適否が判断される場合がある（非特許文献１）。これにより、多数の応募者により面接が長時間に及んだ場合でも、人型ロボットが各応募者に対して同一基準で面接を行うことによって、採用の適否の判定を安定して行うことが可能になっている。

"シューカツ！採用担当者はロボット「Ｐｅｐｐｅｒ」？？″、［ｏｎｌｉｎｅ］、［２０１６年６月２１日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗ−ｓｃ．ｊｐ／ｓｈｕｋａｔｓｕ−ｐｅｐｐｒ／〉

しかしながら、上記のような人型ロボットによる面接及び採用の適否の判定では、応募者が嘘をついて質疑応答する場合もあるため、複数の応募者から同じ応答情報が得られた場合でも、これらの応募者全員が募集対象の職種に適した人材であるとは限らない。

そこで、本発明は、応答情報の信頼性の程度を判断することができる面接システムを提供することを目的とする。

本発明は、面接システムであって、応募者に対する質疑応答を通じて、前記応募者の顔の映像情報を含む応答情報を取得する情報取得装置と、前記情報取得装置で取得された前記顔の映像情報に基づいて前記応募者の時間経過に伴って変化する様子を分析し、前記質疑応答時における感情の種類を判別する制御装置と、前記制御装置で判別された前記感情の種類と、前記情報取得装置で取得された前記応答情報とが、前記応募者に対応付けて蓄積された応募者情報データベースを記憶する記憶装置と、前記記憶装置における前記応募者情報データベースにアクセス可能な端末装置とを有する。

上記の構成によれば、端末装置により応募者情報データベースにアクセスして応答情報を確認する際に、応募者の質疑応答時における感情の種類も確認することによって、応答情報の信頼性の程度を感情の種類に基づいて判断することができる。

本発明の面接システムであって、前記制御装置は、瞬時に表れて消える微表情を、前記時間経過に伴って変化する様子としてもよい。

上記の構成によれば、微表情の分析により応募者の質疑応答時における感情の種類を容易に判別することができる。

本発明の面接システムであって、前記制御装置は、前記質疑応答の開始前における前記顔の映像情報に基づいて、一定期間における前記応募者の顔の変化を平均化した平均顔画像を取得し、前記平均顔画像と前記顔の映像情報との相違に基づいて前記応募者の微表情を分析してもよい。

上記の構成によれば、質疑応答の開始前からの一連の処理により応募者の微表情を容易に分析することができる。

本発明の面接システムであって、前記情報取得装置は、さらに、前記応募者の体全体の映像情報を取得し、前記制御装置は、前記体全体の映像情報に基づいて前記応募者の仕草を分析し、前記質疑応答時における前記感情の種類を判別し、当該仕草の分析による前記感情の種類を、前記微表情による前記感情の種類の判別の信頼性に関連付けてもよい。

上記の構成によれば、微表情と仕草とで感情の種類を判別することによって、微表情による感情の種類の判別についての信頼性を高めることができる。

本発明の面接システムであって、前記制御装置は、さらに、前記情報取得装置で取得された前記応答情報に基づいて前記応募者の適性を定量化した面接評価レベルの決定を行い、前記記憶装置に記憶される前記応募者情報データベースは、さらに、前記応答情報と前記面接評価レベルとが、前記応募者に対応付けて蓄積してもよい。

上記の構成によれば、端末装置により応募者情報データベースにアクセスし、各応募者の適性を定量化した人材評価レベルを確認しながら、応答情報の信頼性の程度を感情の種類に基づいて判断することによって、募集対象の職種に適した応募者を短時間で見つけ出すことができる。

本発明の面接システムであって、前記制御装置は、さらに、各職種について最適な適性を定量化した複数の人材評価レベルに対する前記面接評価レベルの類似度をそれぞれ算出し、前記記憶装置に記憶される前記応募者情報データベースは、さらに、前記各職種の類似度を前記応募者に対応付けて蓄積してもよい。

上記の構成によれば、端末装置により応募者情報データベースにアクセスし、各職種について最適な適性を定量化した人材評価レベルに対する面接評価レベルの類似度について応募者の抽出や並べ替えを行いながら、応答情報の信頼性の程度を感情の種類に基づいて判断することによって、募集対象の職種に適した応募者を短時間で見つけ出すことができる。

本発明の面接システムであって、前記情報取得装置は、右アーム及び左アームと、これら右アーム及び左アームを支持した胴体と、前記胴体の上端に設けられた頭部とを有し、前記応募者の姿及び音声を前記応答情報として取得する人型のロボット本体を備えていてもよい。

上記の構成によれば、人型のロボット本体が応募者に対して質疑応答を行うため、人間の面接者に近い雰囲気を無人の面接環境に出現させることができる。

本発明は、応答情報の信頼性の程度を判断することができる。

面接システムの概略構成図である。 分析領域の説明図である。 感情と条件と各領域の表情とを対応付けたテータテーブルの説明図である。 感情と条件と他の動作とを対応付けたテータテーブルの説明図である。 面接装置の斜視図である。 面接装置の概略図である。 面接システムの概略図である。 面接システムの概略図である。 面接システムの情報の流れを示す説明図である。 質疑応答と面接評価レベルの関係を示す説明図である。 質疑応答のタイミングチャートである。 応募者情報テーブルの説明図である。 応募者情報テーブルの説明図である。 面接処理ルーチンのフローチャートである。 表情分析処理ルーチンのフローチャートである。 単位表情分析処理ルーチンのフローチャートである。 応募者の面接過程を示す説明図である。 登録画面イメージの説明図である。 応募者の面接過程を示す説明図である。 応答情報の処理経路を示す説明図である。 面接者の面接結果の利用状態を示す説明図である。 面接結果の表示画面を示す説明図である。

以下、本発明の実施形態を図面に基づいて説明する。

（面接システム：概要）
図１に示すように、面接システム１は、１以上の面接装置１１（情報取得装置）と制御装置１２と記憶装置１４と端末装置１５とを有している。面接装置１１は、応募者１６に対する質疑応答を通じて、応募者１６の顔の映像情報を含む応答情報を取得するように構成されている。さらに、面接装置１１は、応募者１６の体全体の映像情報を含む応答情報を取得するようにも構成されている。面接装置１１は、一人の応募者１６に対して質疑応答を行うことを可能に構成されている。これにより、面接システム１は、面接装置１１の設置台数を応募人数や募集数に応じて増減することによって、面接システム１のコストアップを防止しながら、多くの応募者１６の集中による過大な面接待ち時間の発生を防止することが可能になっている。

面接装置１１は、制御装置１２に対してデータ通信可能に接続されている。面接装置１１と制御装置１２とは、専用線を介して接続されていてもよいし、インターネットを介して接続されていてもよい。また、データ通信は、応募者１６の個人情報の漏洩を防止する観点から暗号化されていることが好ましい。

制御装置１２は、面接装置１１に対して制御信号や情報信号を送受信可能にされている。これにより、制御装置１２は、制御信号の送受信によって、面接装置１１の制御を行うことが可能になっている。また、制御装置１２は、情報信号の送受信により応答情報を取得し、応答情報に基づいて応募者の適性を定量化した面接評価レベルの決定を行うように構成されている。これにより、制御装置１２は、各応募者の適性を定量化した人材評価レベルを確認することによって、募集対象の職種に適した応募者を短時間で見つけ出すことを可能にしている。

また、制御装置１２は、面接装置１１で取得された顔の映像情報に基づいて応募者１６の時間経過に伴って変化する様子を分析することによって、質疑応答時における感情の種類を判別するように構成されている。ここで、感情の種類は、「嫌悪」と「恐怖」と「怒り」と「幸福」と「悲しみ」と「軽蔑」と「驚き」との７種類が存在する。感情の種類を判別する方法は、特に限定されるものではないが、瞬時に表れて消える微表情に基づいて判別することが好ましい。この場合は、微表情の分析により応募者の質疑応答時における感情の種類を容易に判別することができる。微表情と感情の種類との関係についての詳細は後述する。

さらに、制御装置１２は、体全体の映像情報に基づいて応募者１６の仕草を分析し、質疑応答時における感情の種類を判別し、仕草の分析による感情の種類を、微表情による感情の種類の判別の信頼性に関連付けるように構成されている。『仕草』は、図４の『他の動作』であり、詳細は後述する。これにより、面接システム１は、微表情と仕草とで感情の種類を判別することによって、微表情による感情の種類の判別についての信頼性を高めることができる。

尚、本実施形態においては、微表情に基づく感情の判別についての信頼性を評価するため、仕草に基づく感情の判別を行っているが、これに限定されるものではない。即ち、面接システム１は、仕草の分析による感情の種類についての判別の信頼性を評価するため、微表情の分析による感情の種類の判別を行ってもよい。また、面接システム１は、微表情の分析による感情の種類の判別と、仕草の分析による感情の種類の判別とを、それぞれ独立して行ってもよい。また、面接システム１は、応募者が質疑応答する場合において、「怒り」や「驚き」、「嫌悪」の感情を表したときに、応答に「嘘」が含まれている可能性があると判定する判定機能を制御装置１２が有してもよい。この「嘘」を含む応答において、次の質問を「嘘」を前提にした質問に切り替えることによって、応答の信頼性を高めることができる。

さらに、制御装置１２は、各職種について最適な適性を定量化した複数の人材評価レベルに対する面接評価レベルの類似度をそれぞれ算出するようにも構成されている。これにより、制御装置１２は、募集対象の職種に適した応募者１６を容易に見つけ出すことができるように、各職種について最適な適性を定量化した人材評価レベルに対する面接評価レベルの類似度について、応募者の抽出や並べ替えを行うことを可能にしている。尚、以後の説明においては、適性が一般的適性と専門的適性の２部構成の場合について説明するが、これに限定されるものではなくその他の適性が追加されていてもよいし、一般的適性及び専門的適性の何れか一方であってもよい。

制御装置１２は、情報提供システム１３に情報信号を送受信可能に接続されている。情報提供システム１３は、応募者１６に対する質問を面接装置１１において行わせるように制御装置１２に対して質問情報を提供し、応募者１６の質問に対する応答を解析するように構成されている。さらに、制御装置１２は、記憶装置１４に接続されている。記憶装置１４は、応答情報と感情の種類と面接評価レベルと各職種毎の類似度とが、応募者１６に対応付けて蓄積された応募者情報データベースを記憶している。記憶装置１４は、端末装置１５に対して情報信号を送受信可能に接続されている。端末装置１５は、面接者１７による記憶装置１４の応募者情報データベースへのアクセスを可能にしている。

上記のように構成された面接システム１によれば、端末装置１５により応募者情報データベースにアクセスして応答情報を確認する際に、応募者１６の質疑応答時における感情の種類も確認することによって、応答情報の信頼性の程度を感情の種類に基づいて判断することができる。また、面接システム１は、各職種毎に設定された人材評価レベルに対する面接評価レベルの類似度について応募者１６の抽出や並べ替えを行うことによって、募集対象の職種に適した応募者を短時間で見つけ出すことができる。さらに、この面接システム１によれば、大量に雇用が発生する場合等における人事担当者の負担を軽減することができる。また、面接装置１１による面接のため、一定の尺度によるシステマテイツクで公平な評価が可能になる。これにより、例えば、縁故や賄賂等、面接官の個人的な事情による評価を防ぐことができ、万人に公平に門戸を開くことができる。さらに、人間を介さずに面接を行うことができるため、面接システム１を２４時間稼働させることもできる。

（微表情と感情の種類との関係）
図２に示すように、微表情は、感情の種類により顔の一部領域が０．２５秒等の一定時間内において瞬間的に変化する表情である。例えば、「嫌悪」の微表情は、鼻にしわを寄せる動作である。また、「嫌悪」を示す他の動作である仕草は、顔・身体を対象から背ける動作である。

「恐怖」の微表情は、両眉を上げる動作と、両眉を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、口角を横に引く動作との組み合わせである。「恐怖」を示す他の動作である仕草は、頭や体を後退させる動作や、身体を硬直させる動作、逃げる動作、声のピッチが高くなる動作、突然の深呼吸などの動作である。

「怒り」の微表情は、両まゆ毛を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、唇を固く閉じる動作と、口を開ける動作との組み合わせである。「怒り」を示す他の動作である仕草は、頭やあごが前に突き出される動作や、全身の筋肉が緊張する動作、ドスのきいた声、荒々しい声の様子、大声等の動作である

「幸福」の微表情は、頬を上げる動作と、口角を上げる動作と、口角のみを上げる動作との組み合わせである。「幸福」を示す他の動作である仕草は、興奮した声の動作や他者に近づく動作がある。

「悲しみ」の微表情は、眉の内側を上げる動作と、両眉を中央に引き寄せる動作と、口角を下げる動作と、下唇を上げる動作との組み合わせである。「悲しみ」を示す他の動作である仕草は、頭・視線を下げる動作、うなだれる動作、緩やかな声、言葉数が少なくなるといった動作である。

「軽蔑」の微表情は、片方の口角を上げる動作である。「軽蔑」を示す他の動作である仕草としては、自己の鼻先を見るように頭を後方に引き上げる動作や、その状態で頭を左右片方に傾ける動作である。

「驚き」の微表情は、両眉を上げる動作と、目を見開く動作と、口を開ける動作との組み合わせである。「驚き」を示す他の動作である仕草は、肩を引き上げる動作や深呼吸などの動作である。

本実施形態おいては、コンピュータにより微表情を分析し、感情の種類を判別するため、応募者１６の顔を目周辺の目領域１６１と、鼻周辺の鼻領域１６２と、頬周辺の頬領域１６３と、口周辺の口領域１６４と、顎周辺の顎領域１６５と、眉周辺の眉領域１６６とに区分している。そして、各領域１６１〜１６６における瞬間的な変化を映像情報に基づいて検出し、変化の状態の組み合わせに一致する条件が存在すれば、一致する条件に対応した種類の感情であると判定可能にしている。

図３は、感情と条件と各領域１６１〜１６６の表情とを対応付けたテータテーブルの説明図である。このデータテーブルは、各領域１６１〜１６６の微表情に基づいて条件１〜１１の成立の有無を判定し、各条件１〜１１に対応する感情を判別する際に参照される。

具体的に説明すると、嫌悪の感情は、条件１に対応付けられている。条件１は、「鼻領域１６２の「しわを寄せる動作」と口領域１６４の「上唇を上げる動作」とが行われたときに成立する。

「恐怖」の感情は、条件２及び条件３に対応付けられている。条件２は、目領域１６１の「目を見開く動作」と眉領域１６６の「両眉を上げる動作」と口領域１６４の「口角を横に引く動作」とが行われたときに成立する。条件３は、目領域１６１の「目を見開く動作」と眉領域１６６の「両眉を中央に引き寄せる動作」と口領域１６４の「口角を横に引く動作」とが行われたときに成立する。

「怒り」の感情は、条件４及び条件５に対応付けられている。条件４は、目領域１６１の「目を見開く動作」と眉領域１６６の「両眉毛を眉を上げる動作」と口領域１６４の「口角を横に引く動作」とが行われたときに成立する。条件５は、目領域１６１の「目を見開く動作」と眉領域１６６の「両眉毛を上げる動作」と口領域１６４の「口を開ける動作」とが行われたときに成立する。

「幸福」の感情は、条件６及び条件７に対応付けられている。条件６は、頬領域１６３の「頬を上げる動作」と口領域１６４の「口角を上げる動作」とが行われたときに成立する。条件７は、口領域１６４の「口角のみを上げる動作」が行われたときに成立する。

「悲しみ」の感情は、条件８及び条件９に対応付けられている。条件８は、眉領域１６６の「眉の内側を上げる動作」と口領域１６４の「口角を下げる動作」と顎領域１６５の「皺が発生する動作」とが行われたときに成立する。条件９は、眉領域１６６の「両眉を中央に引き寄せる動作」と口領域１６４の「下唇を上げる動作」と顎領域１６５の「皺が発生する動作」とが行われたときに成立する。

「軽蔑」の感情は、条件１０に対応付けられている。条件１０は、口領域１６４の「片方の口角を上げる動作」が行われたときに成立する。「驚き」の感情は、条件１１に対応付けられている。条件１１は、目領域１６１の「目を見開く動作」と眉領域１６６の「口を開ける動作」と口領域１６４の「口を開ける動作」とが行われたときに成立する。

図４は、感情と条件と他の動作とを対応付けたテータテーブルの説明図であり、微表情の分析に基づいて判別された感情の信頼性の程度を調査する際に参照される。具体的には、条件１における「他の動作」は、顔・身体を対象から背ける動作である。条件２・３は、頭や体を後退させる動作や、身体を硬直させる動作、逃げる動作、声のピッチが高くなる動作、突然の深呼吸などの動作である。条件４・５は、頭やあごが前に突き出される動作や、全身の筋肉が緊張する動作、ドスのきいた声、荒々しい声の様子、大声等の動作である。条件６・７は、興奮した声の動作や他者に近づく動作がある。条件８・９は、頭・視線を下げる動作、うなだれる動作、緩やかな声、言葉数が少なくなるといった動作である。条件１０は、自己の鼻先を見るように頭を後方に引き上げる動作や、その状態で頭を左右片方に傾ける動作である。条件１１は、肩を引き上げる動作や深呼吸などの動作である。

（面接システム：面接装置：面接ロボット）
図１に示すように、面接装置１１は、面接ロボットである人型のロボット本体１１１を有している。尚、以後の説明においては、面接装置１１がロボット本体１１１を備えた場合について説明するが、これに限定されるものではない。

ロボット本体１１１は、右アーム１１１ａ及び左アーム１１１ｂと、これら右アーム１１１ａ及び左アーム１１１ｂを支持した胴体１１１ｃと、胴体１１１ｃの上端に設けられた頭部１１１ｄとを有し、応募者１６の姿及び音声を応答情報として取得するように構成されている。これにより、面接装置１１は、人型のロボット本体１１１が応募者１６に対して質疑応答を行うため、人間の面接者に近い雰囲気を無人の面接環境に出現させることができる。

右アーム１１１ａ及び左アーム１１１ｂは、アーム先端部（ハンド部）を三次元空間の任意の位置に移動可能になっている。アーム先端部（ハンド部）は、複数の指を有しており、指差や各種の物品を把持することが可能になっている。これにより、例えば、面接時において、応募者１６との握手やジェスチャーを伴った音声の質問、ジェスチャーだけの無言の質問等の各種の動作を伴った質疑応答を行うことが可能になっている。

尚、本実施形態においては、ロボット本体１１１が人間に最も近い体形となるように、右アーム１１１ａ及び左アーム１１１ｂの２本のアームを備えた場合について説明するが、これに限定されるものではなく、１本以上のアームを備えていればよい。

胴体１１１ｃの上部に配置された頭部１１１ｄには、応募者１６と対話する対話機構１１１ｅが備えられている。対話機構１１１ｅは、応募者１６に対して質問情報を音声合成により出力する情報出力機構と、回答する応募者１６から音声や姿勢、動作、表情等の各種の応答情報を取得する情報取得機構とを有している。情報出力機構としては、音声を出力するスピーカ機構が例示される。スピーカ機構は、音声信号を増幅するデジタルアンプと、デジタルアンプからの電気信号を音波に変換して出力するスピーカとを備えている。情報取得機構としては、映像を取得するカメラ機構や音声を取得するマイク機構が例示される。カメラ機構は、応募者１６の顔を撮影するように設定されており、ボイスアングルセンサや３Ｄセンサ、フルＨＤカメラの１以上を備えている。尚、対話機構１１１ｅの一部又は全部は、ロボット本体１１１以外の場所に配置されていてもよい。面接装置１１の具体的構成については後述する。

このように、面接システム１は、応募者１６に対面する面接者が面接ロボットであるため、応募者１６の回答に本質が現れる可能性がある。また、面接装置１１で得られる応答情報は、画像認識技術等と組み合わせることによって、質問に対する回答以上の評価が可能になっている。

（面接システム：面接装置：面接側端末装置）
さらに、面接装置１１は、応募者１６の操作により応答情報を入力可能な面接側入力装置１１２を有している。面接側入力装置１１２は、キーボード１１２１やディスプレイ１１２２、コントローラ１１２３、マウス等を有している。面接側入力装置１１２は、ロボット本体１１１に対して協調した動作を実行可能にされている。具体的に説明すると、面接装置１１は、ロボット本体１１１から応募者１６に対して質問や指示を行った後、ロボット本体１１１による質疑応答と並行して、面接側入力装置１１２を介した応募者１６のキー入力による応答を受け付けることによって、応募者１６が応答情報をキー入力する速度やリズム、時間等の１以上のキー入力要素を、ロボット本体１１１から得られる応答情報とは別の新たな応答情報とすることを可能にし、ひいては面接評価レベルの類似度の信頼性を高めることを可能にしている。

さらに、面接側入力装置１１２は、ディスプレイ１１２２を用いて視力検査や色弱検査を行うようにされていてもよい。これにより、視力や色弱で制限を受ける職種を、応募者１６の希望職種から除外し、応募者１６に対して就業可能な職種や就業不能な職種を告知することができる。尚、告知のタイミングは、面接途中においてロボット本体１１１が口頭で行ってもよいし、面接側入力装置１１２のディスプレイ１１２２に画面表示してもよいし、面接後においてメール等で行ってもよい。また、ロボット本体１１１が右アーム１１１ａや左アーム１１１ｂを動かして、目視する領域を指し示すことが望ましい。この場合は、人間が面接している臨場感を応募者１６に持たせることが可能になる。

また、面接側入力装置１１２は、表計算ソフトや画像作成ソフト、設計ソフト等の各種の業務用ソフトを実行し、応募者１６の操作により作業を行うようにされていてもよい。この場合は、各業務ソフトの習熟度を容易に把握することが可能になる。この場合においても、例えばロボット本体１１１が業務用ソフトの内容や処理手順を口頭で説明しながら、右アーム１１１ａや左アーム１１１ｂを動かして、処理する領域や対象画像を指し示すことが望ましい。これにより、人間が面接している臨場感を応募者１６に持たせることが可能になる。

（面接システム：面接装置の具体的構成）
図５を用いて、面接装置１１を具体的に説明する。面接装置１１は、中空の長方体形状の壁部材１１６を有している。壁部材１１６は、面接室を形成している。壁部材１１６の内部には、透明のパーテンション１１５が設けられている。パーテンション１１５は、応募者１６が存在する応募者室１１Ａと、ロボット本体１１１が存在するロボット室１１Ｂとに面接室を仕切っている。これにより、応募者１６とロボット本体１１１とは、パーテンション１１５を介して一対一で対面できるようになっている。

応募者室１１Ａには、壁部材１１６の上端から下端にかけて開口された通路部１１６ａが形成されている。応募者１６は、通路部１１６ａにより応募者室１１Ａに出入りすることが可能になっている。通路部１１６ａには、カーテン１１７が設けられている。カーテン１１７は、通路部１１６ａを開閉可能にしており、面接時に外部から応募者室１１Ａ内を見ることができないようにしている。

パーテンション１１５は、支持台１１８上面の略中央部に立設されている。支持台１１８における応募者室１１Ａ側の部位は、机形状に形成されており、上面に面接側入力装置１１２を構成するディスプレイ１１２２やキーボード１１２１等が載置されていると共に、着席した応募者１６の音声を取得するマイク１１３が設けられている。また、パーテンション１１５の下端中央部には、応募者１６の顔を含む映像を取得し、表情や仕草等を分析して分析内容を出力する映像分析装置１１９が設けられている。映像分析装置１１９としては、ＲｅａｌＳｅｎｓｅ（登録商標）が例示される。

一方、支持台１１８におけるロボット室１１Ｂ側の部位には、面接を行うロボット本体１１１が設けられている。ロボット本体１１１の上方には、面接時の質問等を音声出力するスピーカ１１４ａ・１１４ｂが配置されている。スピーカ１１４ａ・１１４ｂは、壁部材１１６の上端部に設けられている。

また、支持台１１８の内部には、図１の制御装置１２１が設けられている。制御装置１２１は、図６に示すように、ロボット制御処理を実行するロボットコントローラ１２１１と、映像処理を実行するカメラコントローラ１２１２と、制御エージェントコントローラ１２１３とで構成されている。制御エージェントコントローラ１２１３は、情報提供システム１３及びロボットコントローラ１２１１にそれぞれ指示を出す制御エージェント機能を有している。

図７に示すように、面接システム１は、複数の面接装置１１を有してもよい。この場合における制御装置１２は、統括コントローラ１２１４を有している。統括コントローラ１２１４は、各面接装置１１におけるロボットコントローラ１２１１に接続されており、各制御装置１２におけるロボット本体１１１の状態を監視している。統括コントローラ１２１４は、ロボット監視端末２１に接続されており、集中的に各面接装置１１を監視することが可能になっている。

また、データベースサーバとしての記憶装置１４は、各面接装置１１の制御エージェントコントローラ１２１３に接続されている。記憶装置１４は、制御エージェントコントローラ１２１３から得られた応募者１６の応答情報等の各種の情報を保管するようになっている。この図７の面接システム１は、同一の部屋内において、複数の面接装置１１を配置する場合に好適である。

図８に示すように、さらに、面接システム１は、複数の面接装置１１を異なる部屋や遠方の場所にそれぞれ配置することもできる。具体的には、１以上の面接装置１１と統括コントローラ１２１４とロボット監視端末２１とで一組の面接ユニット２２を構成し、この面接ユニット２２をそれぞれの場所に配置し、各面接ユニット２２における制御エージェントコントローラ１２１３を１台の記憶装置１４に接続した構成により実現することができる。

（面接システム：制御装置）
図１に示すように、制御装置１２は、ロボット本体１１１に対して動作指示を行う処理と、ロボット本体１１１から送信される入力情報である応答情報を受信する処理と、面接側入力装置１１２に対する出力情報の送信及び入力情報（応答情報）の受信を行う処理とを実行可能にされている。さらに、制御装置１２は、取得した応答情報に基づいて類似度を算出する処理を実行可能にされている。以下に類似度を算出する処理を具体的に説明する。

図９に示すように、応募者１６に対して質疑応答を行った面接装置１１から応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）が制御装置１２に入力される。尚、応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）は、ロボット本体１１１から得られた応募者１６の受け答えや、仕草、表情、身だしなみ等の他、面接側入力装置１１２からのキー入力のデータやタイミング等の複数の応答項目（１，１）〜（ｎ，ｍ）が、各応募者１６について収集されたものである。

例えば、図１０に示すように、質疑応答は、応募者１６の一人について、一般的適性を調査するための質疑応答と、専門的適性を調査するための質疑応答との２部構成になっている。一般的適性の質疑応答は、性格や一般教養等の調査により「行動的側面」と「意欲的側面」と「情緒的側面」とを検査することを主目的としている。専門的適性の質疑応答は、応募時に応募者１６が入力した希望職種に対応した職種に対する適性を専門的知識等の調査により検査することを主目的としている。

具体的に説明すると、図１１に示すように、応募者１６がＡ１（応募者ＩＤ）であれば、この応募者１６に対して１番目の質問Ｑ１（１）が行われる。そして、質問Ｑ１（１）に対する応募者１６の音声の応答Ａ１（１，１）や映像の応答（仕草）Ａ１（１，２）、映像の応答（表情）Ａ１（１，３）、キー入力の応答Ａ１（１，ｍ）等の各種の応答Ａ１（１．ｍ）が取得される。また、３番目の質問Ｑ１（３）の場合は、応答情報ａ１（１，１）〜ａ１（３，ｍ）が得られる。そして、これらの質問Ｑ１（１）〜Ｑ１（ｎ）に対する応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）が図１２の応募者情報テーブルに格納される。尚、音声は、制御装置１２においてテキスト化される。応募者情報テーブルの詳細については後述する。

図９に示すように、一人の応募者１６に対する質疑応答により得られた複数の応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）は、定量化処理により適性を数値により定量化した面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）とされる。面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）は、一般的適性及び専門的適性を数値により示している。具体的には、図１０に示すように、一般的質問Ｑ１（１）…から得られた応答情報ａｉ（１，１）…に基づいて一般的適性が数値化される。例えば、社会的内向性が面接評価レベルｂｉ（１）において数値で示され、内省性が面接評価レベルｂｉ（２）において数値で示され、笑顔が面接評価レベルｂｉ（３）において数値で示される。

また、専門的質問Ｑ１（ｎ）…から得られた応答情報ａｉ（ｎ，ｍ）…に基づいて専門的適性が数値化される。例えば、専門的知識量が面接評価レベルｂｉ（ｎ−１）において数値で示され、計算力が面接評価レベルｂｉ（Ｎ）において数値で示される。

図９に示すように、面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）は、各職種１〜Ｎ毎に設定された人材評価レベルｃｉ（１）〜ｃｉ（Ｎ）とそれぞれ比較される。そして、各人材評価レベルｃｉ（１）〜ｃｉ（Ｎ）に対する面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）の類似度１〜Ｎが算出される。ここで、人材評価レベルｃｉ（１）〜ｃｉ（Ｎ）は、受付けや会計、営業、清掃等の各職種１〜Ｎに適した複数の人材が応募者１６として本面接システム１の面接を受けることにより得られた複数の面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）の平均値である。これにより、応募者１６は、面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）と人材評価レベルｃｉ（１）〜ｃｉ（Ｎ）とを比較して得られた類似度の高い職種１〜Ｎに適した人材である可能性が高いことになる。例えば、笑顔を示す面接評価レベルｂｉ（３）の数値が高い応募者１６は、受付けの職種の人材評価レベルｃｉ（３）に対して高い類似度を示すことから、受付けの職種に向いていることになる。尚、各職種１〜Ｎに適した人材は、過去に採用した人物の実績に基づいた過去採用者モデルを用いて判断されてもよいし、著名人や有名起業家、有名実業家等の資質モデルを用いて判断されてもよい。

また、制御装置１２は、質疑応答時における感情の種類を判別する処理と、判別結果の信頼性を評価する処理とを実行し、これらの処理で得られた感情の判別結果と判別の信頼性を面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）に関連付けている。

具体的に説明すると、図１１に示すように、面接の受け付け時において、応募者１６の映像情報に基づいて一定期間内における表情の平均化を行うことによって、微表情を検出するための基準となる平均顔画像が形成される。この後、応募者１６に対して１番目の質問Ｑ１（１）が行われる。質問Ｑ１（１）に対する応募者１６の表情の応答Ａ１（１，３）が取得されると、表情の応答Ａ１（１，３）と平均顔画像とが比較され、図２に示された各領域１６１〜１６６における表情の変化が分析される。

各領域１６１〜１６６の変化が図３の条件１〜１１を満足するものであれば、満足した条件１〜１１に対応する感情の下に応答したものとなる。例えば、質問Ｑ１（１）に対して、鼻領域１６２において皺を寄せ、口領域１６４において上唇を上げる変化が検出された場合は、条件１を満足することによって、応答時の感情が「嫌悪」を示すことになる。

また、図１１に示すように、質問Ｑ１（１）に対する応募者１６の仕草の応答Ａ１（１，２）が取得されると、仕草が分析される。仕草が図４の条件１〜１１を満足するものであれば、満足した条件１〜１１に対応する感情の下に応答したものとなる。例えば、質問Ｑ１（１）に対して、顔を背ける動作が検出された場合は、条件１を満足することによって、応答時の感情が「嫌悪」を示すことになる。

質問Ｑ１（１）に対する応答において、微表情に基づいた感情『嫌悪』と、仕草に基づいた感情『嫌悪』とが一致しているため、微表情に基づいた感情『嫌悪』の分析結果の信頼性が高いと判定される。そして、図１０及び図１３に示すように、高い信頼性を示す「１」が感情情報に設定され、感情情報ｃ１（１，１）が応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）に対応付けて格納される。一方、微表情に基づいた感情『嫌悪』と、仕草に基づいた感情『嫌悪』とが一致していない場合は、微表情に基づいた感情『嫌悪』の分析結果の信頼性が低いと判定される。この場合は、感情情報ｃ１（１，０）が応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）に対応付けて格納される。

尚、例えば、喜び等の肯定的感情である場合は、適性を定量化する際に、定量化した数値がレベルアップするように補正し、悲しみ等の否定的感情である場合は、適性を定量化する際に、定量化した数値がレベルダウンするように補正することが好ましい。これにより、定量化された適性を一層正確に数値で表現することができる。

（面接システム：情報提供システム）
図１に示すように、情報提供システム１３は、制御装置１２に対して情報信号を送受信可能に接続されている。情報提供システム１３は、Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｇｅｎｔ ｗｉｔｈ Ｉｎｔｅｌｌｉｇｅｎｔ Ｗｏｒｄ Ａｎａｌｙｚｅｒとも称し、応募者１６が操作する面接装置１１から音声やキー入力で入力された入力文字列（例えば、応募者１６が入力する質問）を受信する入力受信部と、知識データに基づいて、入力文字列に対応する応答内容（例えば、応募者１６の質問に対する回答）を決定する応答内容決定部（例えば、情報提供サーバ２００の応答内容決定部２１２）と、応答内容決定部により決定された応答内容を含む応答データを生成し、制御装置１２を介して面接装置１１に送信する応答データ生成部とを備えている。

知識データは、入力文字列の比較対象である比較対象文字列と、比較対象文字列に対応付けられた応答文字列を含んでいる。応答内容決定部は、入力文字列と比較対象文字列を比較して、入力文字列と最も意味が近く、且つその意味の近さが一定程度以上であると判定された場合に、その比較対象文字列に対応付けられた応答文字列を、応答内容として決定するように構成されている。

これにより、情報提供システム１３は、例えば応募者１６からの質問に応答して、最適なものとして評価された回答候補をロボット本体１１１が口頭で回答したり、面接側入力装置１１２において表示することによって、面接装置１１と応募者１６との質疑応答を人間が行っているような状態で行うことを可能にしている。

（面接システム：記憶装置）
記憶装置１４は、応募者情報データベースを記憶している。応募者情報データベースは、図１２及び図１３の応募者情報テーブルの形態で格納されている。図１２の応募者情報テーブルは、応募者欄と応答情報欄と面接評価レベル欄と複数の類似度欄（１〜Ｎ）とを有している。応募者欄は、応募者の固有の識別番号（Ａ１、Ａ２等）を格納している。応答情報欄は、各応募者に対応付けられた応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）を格納している。面接評価レベル欄は、各応募者に対応付けされた面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）を格納している。各類似度欄（１〜Ｎ）は、職種１〜Ｎに対応付けられており、数値が高い程、高い類似度を有することを示している。

例えば、Ａ１の応募者１６について、類似度１が「２０」、類似度２が「５６」、類似度３が「８４」、類似度Ｎが「１５」である場合において、類似度３が高い値を示している。これにより、Ａ１の応募者１６は、類似度３に対応した職種３に適した人材であることが分かる。また、Ａ３の応募者１６について、類似度１が「２４」、類似度２が「９０」、類似度３が「１１」、類似度Ｎが「７８」である場合において、類似度２及び類似度Ｎが高い値である。これにより、Ａ３の応募者１６は、類似度２及び類似度Ｎに対応した２種類の職種２・Ｎに適した人材であることが分かる。

また、図１３の応募者情報テーブルは、感情欄を有している。感情欄は、応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）に対応付けて感情情報ｃｉ（ｎ，ｍ）を格納している。感情情報ｃｉ（ｎ，ｍ）は、「ｉ」が応募者１６のＩＤ、「ｎ」が感情の種類に対応する図３の条件１〜１１、「ｍ」が高い信頼性を示す信頼値「１」及び低い信頼性を示す信頼値「０」である。例えば、微表情の分析結果が条件５の「怒り」を満足し、仕草の分析結果が「怒り」であれば、怒りの感情が高い信頼性の分析結果として得られたことを示す感情情報ｃｉ（５，１）となる。一方、微表情の分析結果が条件５の「怒り」を満足し、仕草の分析結果が「喜び」であれば、怒りの感情が低い信頼性の分析結果として得られたことを示す感情情報ｃｉ（５，０）となる。

尚、例えばＱ１（３）に対応する応答のように、微表情の分析結果が条件７と条件１０とを満足していた場合は、複数の感情「幸福、軽蔑」が混ざった状態で応答したことになる。この場合は、感情情報ｃｉ（７，０）及び感情情報ｃｉ（１０，１）が格納される。また、この場合は、仕草の分析により感情情報ｃｉ（１０，１）が高い信頼性であるため、「軽蔑」の感情が「幸福」の感情よりも強く出ていることが分かる。

（面接システム：端末装置）
図１に示すように、記憶装置１４は、端末装置１５との間でデータ通信可能にされている。端末装置１５は、ディスプレイ等の表示装置やキーボード等の入力装置を有しており、面接者１７の操作により記憶装置１４の応募者情報データベースにアクセスすることによって、所望の職種に適した応募者１６を抽出することが可能になっている。

具体的に説明すると、端末装置１５は、募集対象の職種を入力可能な端末側入力装置１５１と、表示装置１５２と、各応募者１６について募集対象の職種への推薦度合を類似度に関連付けて表示装置１５２に表示させる端末コントローラとを有している。例えば、図９においては、応募者１６が希望する職種に対する類似度に基づいて決定された推薦度合が「おすすめ度：９０％」として表示される。これにより、募集対象の職種を端末側入力装置１５１により入力すれば、表示装置１５２に表示された応募者１６の推薦度合に基づいて、募集対象の職種に適した候補者を応募者１６の中から容易且つ迅速に選択することができる。尚、推薦度合は、類似度を１０段階等の複数段階に区分し、数値で表してもよいし、色分け表示してもよい。色分け表示した場合は、多くの応募者１６の中から候補者を容易に絞り込むことが可能になる。また、推薦度合とは別に、各応答時の感情を表示してもよい。

尚、端末装置１５における端末コントローラは、類似度が所定値以上の職種を表示装置１５２に表示させてもよい。例えば、類似度が９０等の所定値以上の職種を抽出し、抽出した職種を「他のおすすめ職種」のように表示してもよい。この場合は、表示装置１５２に表示された応募者１６について募集対象の職種の推薦度合に加えて、応募者１６が他のどのような職種に適しているかを容易に確認することができる。さらに、表示装置１５２に表示された応募者１６の希望職種に対して類似度が所定値以上の他の応募者１６の名前の一覧を、類似度の高い順から「他のおすすめ人材」として表示してもよい。この場合は、候補の絞り込みを容易にすることができる。

（面接システム：面接処理）
上記の構成において、図１４に示すように、制御装置１２において実行される面接処理ルーチンを用いて、面接システム１における面接の処理動作を詳細に説明する。

先ず、応募者１６が面接装置１１の面接側入力装置１１２を操作したか否かが判定される（Ｓ１）。操作されない場合は（Ｓ１：ＮＯ）、Ｓ１が繰り返して実行されることによって、操作されるまで待機状態にされる。この後、図１７Ａに示すように、応募者１６により面接側入力装置１１２が操作された場合は（Ｓ１：ＹＥＳ）、ロボット本体１１１の頭部１１１ｄに搭載されたカメラや図５の映像分析装置１１９により応募者１６の撮影が開始される（Ｓ２）。これにより、ロボット本体１１１から応募者１６の映像情報と音声情報とが応答情報として制御装置１２に送信される。

次に、図１７Ｂに示すように、登録情報画面２が表示されると共に、登録情報の入力が受け付けられる（Ｓ３）。登録情報画面２は、名前と電話番号とメールアドレスと希望職種との入力欄２１と、登録完了を指示する登録ボタン２２とを有したカード状の入力画面である。登録情報画面２は、応募者１６の必要最低限の情報だけが入力されるようになっており、過度な登録情報による誤った判断を面接者１７に生じさせないようにしている。

登録情報の入力が完了したか否かが判定される（Ｓ４）。入力が完了するまで（Ｓ４：ＮＯ）、Ｓ４が再実行されることによって、登録情報の入力が完了するまで待機状態にされる。入力が完了すると（Ｓ４：ＹＥＳ）、面接の開始処理が実行される（Ｓ５）。具体的には、ロボット本体１１１がお辞儀をし、自身の名前を名乗る等の自己紹介をした後、面接の流れを説明する。面接の流れは、口頭で説明しながら、面接側入力装置１１２の表示画面を指さして、どのような作業を行うかが手振り身振りで行われる。

面接の説明が終了すると、図１８に示すように、ロボット本体１１１により応募者１６に対して質疑応答が行われる。質疑応答は、一般的適性及び専門的適性を検査することができるように、応募者１６の性格や一般教養に関する一般的な内容と、専門分野の関連知識等を問う専門的な内容とがある。尚、このような質疑応答の最中に、インターネットを介して応募者１６の回答内容の正誤や正確性を判断するようになっていてもよい。そして、ロボット本体１１１により応募者１６の動作や音声の応答情報が取得されると共に、面接側入力装置１１２に対する応募者１６のキー入力による応答情報が取得される（Ｓ６）。

応答情報の取得は、面接が終了するまで継続され（Ｓ７）。面接が終了すると（Ｓ７：ＹＥＳ）、続いて、面接の終了処理が実行される（Ｓ８）。具体的には、ロボット本体１１１による面接終了の挨拶の後、今後の面接結果の連絡等の流れの説明が行われる。

次に、図１９に示すように、応募者１６とロボット本体１１１との会話内容を含む応答情報の面接評価レベルが決定され（Ｓ９）、面接評価レベルの類似度の算出が評価処理として全職種について行われる（Ｓ１０）。

具体的には、図９に示すように、応募者１６に対して質疑応答を行った面接装置１１から、受け答えや仕草等の応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）が入力されると、これらの応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）に基づいて一般的適性及び専門的適性を数値で定量化した面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）が求められる。そして、面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）は、各職種１〜Ｎ毎に設定された人材評価レベルｃｉ（１）〜ｃｉ（Ｎ）とそれぞれ比較され、各人材評価レベルｃｉ（１）〜ｃｉ（Ｎ）に対する面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）の類似度１〜Ｎが算出される。このようにして得られた応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）や類似度１〜Ｎ等の各種の情報が応募者情報データベースとして記憶装置１４に格納される（Ｓ１１）。そして、面接処理ルーチンが終了されることによって、一人の応募者１６の面接が完了することになる。このようにして複数の応募者１６に対して一人ずつ面接を行うことによって、応募者情報データベースのデータが蓄積されていくことになる。尚、複数の面接装置１１を準備すれば、複数倍の効率で応募者情報データベースのデータが蓄積されていくことになる。

（面接システム：表情分析処理）
上記のようにして面接処理ルーチンが実行されているときに、応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）に感情を関連付ける表情分析処理ルーチンが並列的に実行されている。図１５に示すように、表情分析処理においては、先ず、映像情報が入力されたか否かが判定される（Ｓ２１）。映像情報が入力されない場合は（Ｓ２１：ＮＯ）、待機状態とされる。一方、図１１の面接受付期間において、映像情報が入力された場合は（Ｓ２１：ＹＥＳ）、応募者１６が面接のための登録情報を入力している期間において、顔の映像情報が一定時間毎に切り取られた複数の静止画像とされ、これらの静止画像を平均化した平均顔画像が取得される（Ｓ２２）。この後、図２に示すように、平均顔画像から分析領域（目領域１６１、鼻領域１６２、頬領域１６３、口領域１６４、顎領域１６５、眉領域１６６）が抽出される（Ｓ２３）。

図１１の一般的適性の質疑応答が開始されるまで待機状態とされる。即ち、質疑応答が開始されたか否かが判定される（Ｓ２４）。質疑応答が開始されない場合は（Ｓ２４：ＮＯ）、Ｓ２４が再実行される。質疑応答が開始された場合は（Ｓ２４：ＹＥＳ）、単位表情分析処理が実行される（Ｓ２５）。

図１６に示すように、単位表情分析処理においては、応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）が、どのような感情の下に取得されたものであるかを調査すると共に、得られた感情の信頼性の評価を行うようになっている。

具体的に説明すると、図１１に示すように、１単位の質疑応答で取得された顔映像を一定時間毎に切り分けることによって、複数の分析顔画像が取得される（Ｓ３１）。ここで、「１単位の質疑応答」とは、一つの質問Ｑ１（ｎ）に対して、一群の応答情報ａｉ（１，１）〜ａｉ（１，ｍ）が得られることを意味する。

この後、分析顔画像から図２の分析領域が抽出される（Ｓ３２）。そして、一つの選択された分析顔画像の分析領域と、この分析領域に対応する平均顔画像の分析領域とが対比される。例えば、眉領域１６６同士が比較される（Ｓ３３）。対比結果が一定値以上であるか否かが判定される（Ｓ３４）。対比結果が一定値以上でなければ（Ｓ３４：ＮＯ）、分析領域における変化はないと判定され、Ｓ３２から再実行される。そして、次に選択された分析顔画像の分析領域と、この分析領域に対応する平均顔画像の分析領域とが対比される（Ｓ３３）。

一方、対比結果が一定値以上であれば（Ｓ３４：ＹＥＳ）、この分析領域について、表情判定項目を調査及び登録する。例えば、図３に示すように、目領域１６１における対比結果が一定値以上の場合であって、且つ、目を見開いた状態である場合は、表情判定項目における目領域項目に、「１」等のフラグデータが登録される。即ち、条件２・３・４・５・１１に「１」の設定フラグが登録される。また、眉領域１６６における対比結果が一定値以上の場合であって、且つ、両眉を中央に引き寄せた状態である場合は、表情判定項目における眉領域項目に、「１」等のフラグデータが登録される。即ち、条件３・４・５・９に「１」の設定フラグが登録される。

この後、全ての分析領域についての対比を完了したか否かが判定される（Ｓ３６）。全ての分析領域についての対比を完了していなければ（Ｓ３６：ＮＯ）、Ｓ３２から再実行され、対比されていない次の分析領域についての抽出及び対比が行われる。

全ての分析領域についての対比が完了した場合は（Ｓ３６：ＹＥＳ）、表情判定項目の判定条件が成立したか否かが判定される（Ｓ３７）。一方、判定条件が成立していない場合は（Ｓ３７：ＮＯ）、続いて、最終の質疑応答が終了したか否かが判定される（Ｓ４１）。最終の質疑応答でなければ（Ｓ４１：ＮＯ）、次の質疑応答についての感情分析を行うように、Ｓ３１から再実行される。一方、最終の質疑応答であれば（Ｓ４１：ＹＥＳ）、本ルーチンが終了され、図１５の表情分析処理にリターンされる。

一方、例えば、目領域１６１の『目を見開く』として「１」、眉領域１６６の「両眉を中央に引き寄せる」として「１」、口領域１６４の『口角を横に引く』として「１」のフラグデータがそれぞれ登録されていた場合は、条件３（恐怖の感情）が成立することになる。この場合は、判定条件が成立しているとして（Ｓ３７：ＹＥＳ）、続いて判定結果の信頼性が調査される。

先ず、成立した判定条件の感情が登録され（Ｓ３８）、成立した判定条件に対応した他の動作条件が仕草の映像情報に基づいて判定される（Ｓ３９）。そして、他の動作条件の判定結果に応じて感情信頼値（高信頼性「１」、低信頼性「０」）が設定される（Ｓ４０）。この結果、例えば図１３に示すように、１番目の応募者１６に対する１問目の質問情報Ｑ１（１）に対して、感情情報Ｃ１（１、１）が登録されていた場合は、高い信頼性で「嫌悪」の感情の下に応答情報ａ１（１，１）〜ａ１（１，ｍ）が取得されたことが分かる。また、１５番目の応募者１６に対する３問目の質問情報Ｑ１５（３）に対して、感情情報Ｃ１５（６、０）が登録されていた場合は、低い信頼性で「幸福」の感情の下に応答情報ａ１５（３，１）〜ａ１（３，ｍ）が取得されたことが分かる。

この後、最終の質疑応答が終了したか否かが判定される（Ｓ４１）。最終の質疑応答でなければ（Ｓ４１：ＮＯ）、次の質疑応答についての感情分析を行うように、Ｓ３１から再実行される。一方、最終の質疑応答であれば（Ｓ４１：ＹＥＳ）、本ルーチンが終了され、図１５の表情分析処理にリターンされる。

上記の面接中、或いは、面接後において、図２０Ａに示すように、面接者１７が端末装置１５を通じて記憶装置１４の応募者情報データベースにアクセスし、面接結果を参照することができる。参照時においては、例えば図２０Ｂに示すように、応募者１６の個人ごとの面接結果の表示と、希望職種ごとの候補者の一覧表示とが選択可能にされる。

個人ごとの面接結果の表示は、一人の応募者１６における応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）や面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）、類似度１〜Ｎ等が表示される。尚、応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）と一緒に、応答時の感情情報が表示されてもよい。例えば、『応募者情報』として、応募の受け付け時に入力した名前や電話番号、メールアドレス、希望職種からなる登録情報が表示される。また、『回答内容』として、希望職種にとって重要な判断材料となる質問が表示されると共に、この質問に対する応答が応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）から選択されて表示される。さらに、『応答情報』として、上記の回答内容で表示された応答以外の応答情報ａｉ（１，１）〜ａｉ（ｎ，ｍ）が表示される。尚、『応答情報』として、応答時における応募者１６の表情や様子が静止画や動画で表示されてもよい。

また、希望職種ごとの候補者の一覧表示は、例えば職種として『経理』を入力した場合において、希望職種を『経理』とした応募者１６の一覧が表示される。具体的には、応募者１６の名前及び希望職種に加えて、社会的内向性や内省性、笑顔等の各種の面接評価レベルｂｉ（１）〜ｂｉ（Ｎ）が表示される。尚、端末装置１５は、経理等の検索対象の職種に対する類似度が高い応募者１６を一覧表示するようになっていてもよい。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

また、上述した詳細な説明では、本発明をより容易に理解できるように、特徴的部分を中心に説明した。本発明は、上述した詳細な説明に記載する実施形態に限定されず、その他の実施形態にも適用することができ、その適用範囲は多様である。また、本明細書において用いた用語及び語法は、本発明を的確に説明するために用いたものであり、本発明の解釈を制限するために用いたものではない。また、当業者であれば、本明細書に記載された発明の概念から、本発明の概念に含まれる他の構成、システム、方法等を推考することは容易であると思われる。従って、請求の範囲の記載は、本発明の技術的思想の範囲を逸脱しない範囲で均等な構成を含むものであるとみなされなければならない。また、要約書の目的は、特許庁及び一般的公共機関や、特許、法律用語又は専門用語に精通していない本技術分野に属する技術者等が本出願の技術的な内容及びその本質を簡易な調査で速やかに判定し得るようにするものである。従って、要約書は、請求の範囲の記載により評価されるべき発明の範囲を限定することを意図したものではない。また、本発明の目的及び本発明の特有の効果を十分に理解するために、すでに開示されている文献等を充分に参酌して解釈されることが望まれる。

上述した詳細な説明は、コンピュータで実行される処理を含むものである。以上での説明及び表現は、当業者が最も効率的に理解することを目的として記載している。本明細書では、１の結果を導き出すために用いられる各処理は、自己矛盾がない処理として理解されるべきである。また、各処理では、電気的又は磁気的な信号の送受信、記録等が行われる。各処理における処理では、このような信号を、ビット、値、シンボル、文字、用語、数字等で表現しているが、これらは単に説明上便利であるために用いたものであることに留意する必要がある。また、各処理における処理は、人間の行動と共通する表現で記載される場合があるが、本明細書で説明する処理は、原則的に各種の装置により実行されるものである。また、各処理を行うために要求されるその他の構成は、以上の説明から自明になるものである。

１ 面接システム
１１ 面接装置
１２ 制御装置
１３ 情報提供システム
１４ 記憶装置
１５ 端末装置
１６ 応募者
１７ 面接者
１１１ ロボット本体
１１５ パーテンション
１１６ 壁部材
１１９ 映像分析装置
１１２ 面接側入力装置
１５１ 端末側入力装置
１５２ 表示装置

Claims (7)

1. 応募者に対する質疑応答を通じて、前記応募者の顔の映像情報を含む応答情報を取得する情報取得装置と、
   前記情報取得装置で取得された前記顔の映像情報に基づいて前記応募者の時間経過に伴って変化する様子を分析し、前記質疑応答時における感情の種類を判別する制御装置と、
   前記制御装置で判別された前記感情の種類と、前記情報取得装置で取得された前記応答情報とが、前記応募者に対応付けて蓄積された応募者情報データベースを記憶する記憶装置と、
   前記記憶装置における前記応募者情報データベースにアクセス可能な端末装置と
   を有することを特徴とする面接システム。
2. 前記制御装置は、瞬時に表れて消える微表情を、前記時間経過に伴って変化する様子とすることを特徴とする請求項１に記載の面接システム。
3. 前記面接制御装置は、
   前記質疑応答の開始前における前記顔の映像情報に基づいて、一定期間における前記応募者の顔の変化を平均化した平均顔画像を取得し、
   前記平均顔画像と前記顔の映像情報との相違に基づいて前記応募者の微表情を分析することを特徴とする請求項１に記載の面接システム。
4. 前記情報取得装置は、さらに、前記応募者の体全体の映像情報を取得し、
   前記面接制御装置は、
   前記体全体の映像情報に基づいて前記応募者のしぐさを分析し、前記質疑応答時における前記感情の種類を判別し、当該しぐさの分析による前記感情の種類を、前記微表情による前記感情の種類の判別の信頼性に関連付けることを特徴とする請求項１に記載の面接システム。
5. 前記面接制御装置は、さらに、前記情報取得装置で取得された前記応答情報に基づいて前記応募者の適性を定量化した面接評価レベルの決定を行い、
   前記記憶装置に記憶される前記応募者情報データベースは、さらに、前記応答情報と前記面接評価レベルとが、前記応募者に対応付けて蓄積することを特徴とする請求項１に記載の面接システム。
6. 前記面接制御装置は、さらに、各職種について最適な適性を定量化した複数の人材評価レベルに対する前記面接評価レベルの類似度をそれぞれ算出し、
   前記記憶装置に記憶される前記応募者情報データベースは、さらに、前記各職種の類似度が前記応募者に対応付けて蓄積することを特徴とする請求項５に記載の面接システム。
7. 前記情報取得装置は、
   右アーム及び左アームと、これら右アーム及び左アームを支持した胴体と、前記胴体の上端に設けられた頭部とを有し、前記応募者の姿及び音声を前記応答情報として取得する人型のロボット本体を備えていることを特徴とする請求項１に記載の面接システム。