JP2017208051A - 技術支援装置、方法、プログラムおよびシステム - Google Patents

Abstract

【課題】ユーザが作業を行う際に適切な技術支援を行う、技術支援装置、方法、プログラム及びシステムを提供する。【解決手段】技術支援装置１０は、カメラ３０が撮影して得た処理対象に関する画像である対象画像を取得し、この画像から特徴点情報を検出し、この特徴点情報を特徴点情報格納手段１４に格納し、格納した特徴点情報のフレーム間の差分情報を抽出する。操作端末４０から、処理対象に対するユーザの作業のテーマを示すテーマ情報を取得し、差分情報及びテーマ情報に基づいて、作業の状況、ユーザが作業する対象領域の情報、ユーザの動作を認識し、それらの結果に基づいて、提示情報格納手段２０に格納されている提示情報からユーザへの提示情報を取得し、この情報に対して所定処理を施した情報を出力し、提示タイミング格納部２３から提示情報を提示するタイミング情報を取得し、所定処理を施した提示情報を出力装置６０に出力する。【選択図】図１

Description

本発明の実施形態は、技術支援装置、方法、プログラムおよびシステムに関する。

ユーザは、スマートフォンやタブレット等の端末上のアプリケーションやwebコンテンツを参考にしながら作業及び技術を行うことがある。

例えば、ユーザがメイクを行う場合は、スマートフォンやタブレット等の端末を用いて、インターネット上の動画やイラストを参考にすることが多い。
従来技術として、ユーザによる端末の操作により選択された情報を取得する技術や、ユーザが手を挙げる、振る等の明示的なジェスチャを行うのを契機に、情報を取得する技術が存在する（例えば非特許文献１参照）。

杉本拓也ら、音声認識とジェスチャ機能を用いた料理者支援、情報処理学会第76回全国大会、p。4-879、 (2014)

しかしながら、ユーザがメイク道具を持ちメイクを行うのと並行して、メイクするテーマやパーツを選択する等のために、当該ユーザが端末を操作することは困難である。

また、上記のように、ユーザがメイク道具を持ちメイクを行うのと並行して、情報を取得するために、当該ユーザが上記のように端末を操作したりジェスチャを行うことは困難である。

したがって、従来技術では、ユーザが作業を行う際に適切な技術支援を行うことができなかった。

この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザが作業を行う際に適切な技術支援を行うことができる技術支援装置、方法、プログラムおよびシステムを提供することにある。

上記目的を達成するために、この発明の第１の観点に係る技術支援装置は、
処理対象に関する画像である対象画像を取得する画像取得手段と、前記取得した対象画像から特徴点情報を検出する特徴点検出手段と、前記検出した特徴点情報を格納する特徴点情報格納手段と、前記格納した特徴点情報のフレーム間の差分情報を抽出する差分抽出手段と、前記処理対象に対するユーザの作業のテーマを示すテーマ情報を選択するテーマ選択手段と、前記ユーザに対する提示情報を格納する提示情報格納手段と、前記差分情報および前記選択した前記テーマ情報に基づいて、前記作業の状況を認識する状況認識手段と、前記差分情報および前記選択したテーマ情報に基づいて、前記処理対象に対してユーザが作業する対象領域を認識する対象領域認識手段と、前記差分情報に基づいて、前記ユーザの動作を認識する動作認識手段と、前記差分抽出手段により前記差分情報が抽出された場合に、前記状況認識手段による認識の結果、前記対象領域認識手段により認識した前記対象領域の情報、および前記動作認識手段による認識の結果に基づいて、前記提示情報格納手段に格納される提示情報から前記ユーザへの提示情報を取得する提示情報取得手段と、前記取得した提示情報に対して所定の処理を施した情報を生成する提示情報生成手段と、提示内容ごとに、前記提示情報を提示するタイミングに関する情報を格納する提示タイミング格納手段と、前記提示情報生成手段により生成された情報をもとに、前記提示タイミング格納手段から前記提示情報を提示するタイミングに関する情報を取得し、この情報をもとに、所定の処理を施した提示情報を出力装置に出力する提示タイミング制御手段とを含む。

さらに、この発明の第２の観点に係る技術支援装置は、第１の観点において、前記特徴点検出手段は、前記対象画像の特徴点情報を抽出し、前記ユーザが参考とする作業の状況を示す状況情報を格納する参考状態格納手段をさらに有し、前記状況認識手段は、前記特徴点情報および前記状況情報に基づいて、前記ユーザの作業の状況を判定する状況判定手段を有する。

さらに、この発明の第３の観点に係る技術支援装置は、第１の観点において、前記処理対象は、前記ユーザが作業に用いる道具を含み、前記特徴点検出手段は、前記対象画像の特徴点情報を抽出し、前記差分抽出手段は、前記特徴点情報に基づく前記差分情報を抽出し、前記ユーザが作業に用いる道具、および、前記道具を用いた作業の対象である対象領域の関係を示す道具情報を格納する道具情報格納手段をさらに備え、前記対象領域認識手段は、前記特徴点情報に基づいて前記対象領域を取得する対象領域取得手段と、前記特徴点情報に基づく前記差分情報および前記道具情報に基づいて、前記対象領域および前記道具の情報を取得する道具認識手段と、前記対象領域取得手段により取得した前記対象領域および前記道具認識手段により取得した前記対象領域および前記道具の情報の判定を行い、判定結果を前記対象領域認識手段による認識の結果として出力する対象領域判定手段とをさらに有する。

さらに、この発明の第４の観点に係る技術支援装置は、第２の観点において、前記参考状態格納手段は、前記テーマの種別ごとに前記状況情報を格納し、前記状況判定手段は、前記テーマ選択手段により選択したテーマ情報、前記特徴点情報に基づく前記差分情報、および前記状況情報に基づいて、前記テーマ選択手段により選択したテーマ情報にかかわる、前記ユーザの作業の状況を判定する。

さらに、この発明の第５の観点に係る技術支援装置は、第３の観点において、前記道具情報格納手段は、前記テーマの種別ごとに前記道具情報を格納し、前記対象領域取得手段は、前記テーマ選択手段により選択したテーマ情報および前記特徴点情報に基づく前記差分情報に基づいて前記対象領域を取得し、前記道具認識手段は、前記テーマ選択手段により選択したテーマ情報、前記特徴点情報に基づく前記差分情報、に基づいて、前記対象領域および前記道具の情報を取得する。

すなわちこの発明によれば、ユーザが作業を行う際に適切な技術支援を行うことができる。

本発明の実施形態における技術支援装置の一例を示すブロック図。 本発明の実施形態における技術支援装置が抽出する特徴点情報の構成を表形式で示す図。 本発明の実施形態における技術支援装置が抽出する顔特徴点情報の構成を表形式で示す図。 本発明の実施形態における技術支援装置が顔特徴点情報から得た差分情報の一例を表形式で示す図。 本発明の実施形態における技術支援装置が特徴点情報から得た差分情報の一例を表形式で示す図。 本発明の実施形態における技術支援装置の状況認識部の詳細構成の一例を示すブロック図。 本発明の実施形態における技術支援装置の提示情報格納部に格納される提示情報の一例を表形式で示す図。 本発明の実施形態における技術支援装置の参考状態格納部に格納される状況情報の一例を表形式で示す図。 本発明の実施形態における技術支援装置の対象領域認識部の詳細構成の一例を示すブロック図。 本発明の実施形態における技術支援装置の道具情報格納部に格納される道具情報の一例を表形式で示す図。 本発明の実施形態における技術支援装置の提示タイミング格納部に格納される提示タイミング情報の一例を表形式で示す図。 本発明の実施形態における技術支援装置による人物認証に伴うあいさつの提示の手順の一例を示すフローチャート。 本発明の実施形態における技術支援装置による人物認証に伴うあいさつの提示における表示画面の一例を示す図。 本発明の実施形態における技術支援装置によるメイク情報の提示の手順の一例を示すフローチャート。 本発明の実施形態における技術支援装置による部位確認における表示画面の一例を示す図。 本発明の実施形態における技術支援装置によるメイク情報の提示における表示画面の一例を示す図。 本発明の実施形態における技術支援装置による生活情報の提示の手順の第１の例を示すフローチャート。 本発明の実施形態における技術支援装置による生活情報の提示の手順の第２の例を示すフローチャート。 本発明の実施形態における技術支援装置による生活情報の提示における表示画面の一例を示す図。 本発明の実施形態における技術支援装置による情報保存および前回情報の提示の手順の一例を示すフローチャート。 本発明の実施形態における技術支援装置による情報保存における表示画面の一例を示す図。 本発明の実施形態における技術支援装置による前回情報の提示における表示画面の一例を示す図。

以下、図面を参照しながら本開示の一実施形態に係る技術支援装置、方法、プログラムおよびシステムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
本発明は、画像情報を用いて、ユーザのメイクしている状況を認識し、ユーザの状況に応じた情報提示を行うものである。

本発明により、ユーザによる明示的なジェスチャがなくても、ユーザの自然なメイクの所作から画像情報を用いてユーザの状況を認識（または予測）ができる。

また、ユーザは、端末の操作やジェスチャをしなくても、上記の状況に応じた情報を取得することができる。
また、ユーザは、端末の操作やジェスチャをしなくても、メイク以外の生活に必要な情報を能動的に受け取ることができる。

図１は、本発明の実施形態における技術支援装置の一例を示すブロック図である。
図１に示すように、技術支援装置１０は、画像取得部１１、特徴点検出部１２、差分抽出部１３、特徴点情報格納部１４、テーマ選択部１５、状況認識部１６、対象領域認識部１７、動作認識部１８、提示情報取得部１９、提示情報格納部２０、提示情報生成部２１、提示タイミング制御部２２、提示タイミング格納部２３を有する。

画像取得部１１は、カメラ３０が撮影して得た、処理対象に関する画像（対象画像ともいう）画像を取得する。カメラ３０は、図１に示すように技術支援装置１０の外部に存在してもよいし、技術支援装置１０に内蔵されていてもよい。画像取得部１１は、取得した画像に対して、補正処理などの前処理を行う。画像取得部１１は、この処理を施した画像を特徴点検出部１２に出力する。

具体的には、補正処理としては、画像の解像度の大きさを調整する処理、画像中の影を除去する処理、画像中の対象領域（ユーザの部位またはパーツ）に他の物体（手やメイク道具等）が重なってしまったときに物体の除去を行う処理、背景抽出などによる画像中の検出の対象となる領域を限定する処理、左右を反転する処理等が挙げられる。ここでは、カメラ３０により処理対象への作業経過を撮像し続けることを想定し、画像取得部１１が、一定の間隔、例えば３０〜６０ｍｓ程度の間隔で画像の各フレームを取得すると想定する。

特徴点検出部１２は、画像取得部１１から対象画像（または前処理された対象画像）を受け取る。特徴点検出部１２は、この対象画像の各フレームから特徴点情報を検出する。特徴点情報とは、対象画像と、この対象画像における特徴点の位置関係、色に関する情報を含む。

特徴点検出部１２は、同じ対象画像から検出した特徴点情報を、差分抽出部１３に出力する。

次に、特徴点情報の詳細について説明する。
メイクの場合、特徴点情報とは、一般的な特徴点情報と顔特徴点情報の２つが考えられる。今回の場合、一般的な特徴点情報は、顔特徴点情報と区別され、顔特徴点情報と重複しないものとする。顔特徴点情報とは、対象画像と、この対象画像における処理領域との位置関係、色に関する情報を含む。処理領域は、処理対象に対してユーザが作業する部分であり、部位またはパーツともいう。顔のパーツは、例えば左眉毛、右眉毛、左目、右目、鼻、口、左頬、右頬など、顔を印象付けるパーツが挙げられる。
図２は、本発明の実施形態における技術支援装置が抽出する特徴点情報の構成を表形式で示す図である。
特徴点検出部１２は、取得した画像について、Harrisa法やKLT法等の特徴点検出方法を用いて特徴点情報を導出する。この図２に示すように、特徴点情報は、特徴点座標p_aと、色（実測値）c_aが対応付けられる。また、特徴点座標p_aは、２次元だけでなく、１次元座標から３次元座標までのいずれかを想定しているが、さらに高次元の座標も同様に用いることができる。色（実測値）c_aとは、１ピクセルごとのＲＧＢ値やＲＧＢＡ値、ＨＳＶ値、または、領域内の全ピクセルにおけるＲＧＢ値やＲＧＢＡ値、ＨＳＶ値の平均値が考えられるが、色が指定できる値であればどのような情報でもよい。後述する色（実測値）c_bなどのその他の色の情報についても同様である。

図３は、本発明の実施形態における技術支援装置が抽出する顔特徴点情報の構成を表形式で示す図である。
特徴点検出部１２は、Viola-Jonesの方法等の顔検出方法を用いて、画像における顔特徴点情報を取得する。図３は、本発明の実施形態における技術支援装置が抽出する顔特徴点情報の構成を表形式で示す図である。図３に示すように、顔特徴点情報は、部位ＩＤ、特徴点座標p_b、色（実測値）c_bが対応付けられる。部位ＩＤは、例えばユーザの顔のパーツを一意に識別するための識別子である。

特徴点検出部１２は、特徴点検出において補正処理を行っても良い。具体的には、顔を正面にする処理、画像中の対象領域に手や影等の物体が重なってしまったときに物体の除去を行う処理、黒子や傷を消す処理、顔以外の部分をトリミングする処理等が挙げられる。

差分抽出部１３は、特徴点検出部１２から特徴点情報を取得する。差分抽出部１３は、差分を抽出すると、提示情報取得部１９、提示情報格納部２０に作業開始信号を出力する。差分抽出部１３は、取得した特徴点情報を特徴点情報格納部１４に格納する。
差分抽出部１３は、特徴点情報格納部１４に格納される、時系列で隣接する各フレームの特徴点情報から差分情報を取得する。差分情報は、差分値とその位置を表した情報を含む。特徴点情報格納部１４には、時系列で連続する例えば１０前後のフレームが格納され、古いフレームから順次上書きされる。

差分抽出部１３は、取得した差分情報を対象領域認識部１７に出力する。また、差分抽出部１３は、取得した差分情報を状況認識部１６および対象領域認識部１７に出力する。

次に、差分情報の詳細について説明する。

メイクの場合、差分情報とは、一般的な特徴点情報に基づいて抽出した差分情報と、顔特徴点情報に基づいて抽出した顔の差分情報がある。図４は、本発明の実施形態における技術支援装置が顔特徴点情報から得た顔差分情報の一例を表形式で示す図である。図４に示すように、差分抽出部１３が顔特徴点情報から得た顔差分情報は、部位ＩＤ、特徴点座標（実測値)p_b、色（実測値)c_b、差分値d_bが対応付けられる。
差分抽出部１３は、最新のフレームに関する色情報と、最新のフレームのよりも前のフレームに関する色情報とを比較し、２値の差や最小二乗法等を用いて、上記の顔差分情報における差分値d_bを算出する。差分値d_bは1ピクセル単位でもある領域の平均値でも構わない。また、顔差分情報や差分情報は、１フレーム同士の色の差分値に限らず、例えば画像の状態（一時的な光の照り返し等）の変化に対応できるように、複数フレーム同士の色の差分の平均値等であってもよい。

図５は、本発明の実施形態における技術支援装置が特徴点情報から得た差分情報の一例を表形式で示す図である。図５に示すように、差分抽出部１３が特徴点情報から得た差分情報は、図４に示す、顔特徴点から得た顔差分情報の部位ＩＤを含まず、特徴点座標（実測値)p_a、色（実測値)c_a、差分値d_aが対応付けられる。

特徴点情報格納部１４は、いわゆるバッファであり、例えば不揮発性メモリなどの記憶装置で実現でき、１フレームごとに顔特徴点情報や特徴点情報を格納することができる。

外部コンテンツＤＢ５０は、例えば不揮発性メモリなどの記憶装置で実現でき、メイクに関するコンテンツ（化粧品や美容に関するwebサイト、化粧品会社や美容関連の会社のデータベース、ユーザのメイクについての過去の履歴を保存するアプリケーション等）や、メイクに関係ないコンテンツ（電車の運行状況や天気予報のアプリケーション等）等の外部コンテンツ７０と、その外部コンテンツ７０のどの情報をどのように使用するかをユーザが事前に選択し、格納したものである。例えば、外部コンテンツ７０が化粧品のwebサイトの場合、新商品が発売したという情報がアップデートされたら、その商品の詳細情報や使い方の動画をメイクのアドバイス情報として提示するという情報を外部コンテンツＤＢ５０に格納されることが考えられる。また、外部コンテンツ７０が天気予報のアプリケーションの場合、天気予報情報がアップデートされたら、メイクアドバイスと合わせて提示するという情報を格納されることが考えられる。外部コンテンツＤＢ５０には、この外部コンテンツ７０にアクセスするためのURLなどを登録しておけばよい。

テーマ選択部１５は、例えばタブレットなどの操作端末４０によりユーザから指定されたテーマ情報を取得する。操作端末４０は技術支援装置１０と一体でも構わない。テーマ情報は、作業のカテゴリを示し、メイクの場合、テーマ情報とは、可愛い系や大人っぽい系等、ユーザが参考とするメイクのカテゴリを示す。メイクのテーマのカテゴリは設定値により変更できてもよく、テーマを一意に識別するための識別子をテーマＩＤとする。テーマ情報は、操作端末４０や外部コンテンツＤＢ５０から得た情報を元に設定してもよい。例えば、操作端末４０に組み込まれている写真等のメディアを保存するアプリケーションで管理される写真、外部コンテンツＤＢ５０に登録された外部コンテンツ７０の化粧品会社のＷｅｂページやＳＮＳ上のトレンドメイク、ユーザのお気に入りメイク等からテーマ情報を取得する。

図６は、本発明の実施形態における技術支援装置の状況認識部の詳細構成の一例を示すブロック図である。
図６に示すように、状況認識部１６は、状況判定部１６ａと参考状態格納部１６ｂとを含む。

テーマ選択部１５は、テーマ情報を状況認識部１６内の状況判定部１６ａと、対象領域認識部１７内の道具認識部１７ｂ、同じく対象領域認識部１７内の対象領域取得部１７ａに出力する。対象領域取得部１７ａ、道具認識部１７ｂについては後述する。

状況認識部１６の状況判定部１６ａは、差分抽出部１３から差分情報を、テーマ選択部１５からテーマ情報をそれぞれ取得する。状況判定部１６ａは、差分情報とテーマ情報とに基づいて、ユーザの作業の状況を判定する。状況判定部１６ａは、状況の判定結果を提示情報取得部１９に出力する。

対象領域認識部１７は、差分抽出部１３から差分情報を取得する。対象領域認識部１７は、取得した差分情報をもとに、画像中の対象領域（ユーザの部位またはパーツ）や使用する道具を認識する。対象領域認識部１７は、認識した対象領域や道具を示す情報を提示情報取得部１９に出力する。対象領域認識部１７の構成や動作の詳細については後述する。

また、動作認識部１８は、差分抽出部１３から差分情報を取得し、これらの差分情報をもとに、画像中のユーザの笑顔やジェスチャ等の広義の動作を認識し、この認識の結果を提示情報取得部１９に出力する。

提示情報格納部２０は、例えば不揮発性メモリなどの記憶装置を有し、この記憶装置に以下で述べる提示情報を格納する。提示情報取得部１９は、状況認識部１６から状況判定結果を、対象領域認識部１７から対象領域や道具を示す情報を、差分抽出部１３から作業開始信号を、動作認識部１８から動作を示す情報をそれぞれ取得する。

提示情報取得部１９は、取得した、状況判定結果、対象領域や道具を示す情報、および作業開始信号、動作を示す情報をもとに、状況判定結果、対象領域や道具、動作を示す情報と提示情報格納部２０に格納される提示情報とを比較し、これら状況判定結果、対象領域、道具、動作を示す情報に対応する状況ＩＤ、テーマＩＤ、部位ＩＤ、道具ＩＤ、動作ＩＤに対応付けられる提示情報を取得する。図７に示すように、提示情報とは、ユーザに対し提示する内容と提示形式とに関する情報を含む。提示情報取得部１９は、取得した提示情報を提示情報生成部２１へ出力する。

図７は、本発明の実施形態における技術支援装置の提示情報格納部に格納される提示情報の一例を表形式で示す図である。
図７に示すように、提示情報格納部２０に格納される提示情報は、状況ＩＤ、テーマＩＤ、部位ＩＤ、道具ＩＤ、動作ＩＤ、提示内容、内容詳細、および提示形式が対応付けられる。

状況ＩＤとは、「アプリ起動＝０’」、「作業前＝０」、「作業中＝１」、「作業後＝２」、「アプリケーション起動中＝３」等の、ユーザによる作業の状態（状況）を一意に識別するための識別子である。道具ＩＤとは、例えばユーザがメイクに使用する道具を一意に識別するための識別子である。ここでは、メイク道具のメーカ、カラー、色味、商品番号などから構成される識別子である。動作ＩＤとは、「ユーザの笑顔＝０」、「手を上げる＝１」等の動作を一意に識別するための識別子である。提示情報における各種ＩＤの「-」とは、ＩＤの種別を問わないことを指す。

提示内容とは、ユーザへのあいさつやメイクのアドバイスに加え、メイクや美容以外の、例えば生活に必要な情報や雑談等が挙げられる。
提示形式とは、（１）文章やイラスト、動画、音声で出力する、（２）提示する内容を画像で生成し、その画像を対象画像に重畳させる、（３）外部コンテンツＤＢ５０に登録された外部コンテンツ７０と連携し、チャット形式で表示、リンクをユーザに提示する等が挙げられる。また、同じ提示内容に対し、これらの提示形式を複数組み合わせてもよい。

差分抽出部１３からの作業開始信号を取得した場合、提示情報格納部２０は、外部コンテンツＤＢ５０に登録されたアプリケーション（例：電車の運行状況）において、情報（例：電車の遅延等情報）がアップデートされているか確認し、アップデートされているときに、このアップデートされた情報をユーザに情報提示するために外部コンテンツＤＢ５０から取得し、上書き保存する。また、提示情報格納部２０は、本アプリケーション起動中に、外部コンテンツＤＢ５０上にあるアプリケーションにおいて、情報がアップデートされたときに、このアップデートされた情報をユーザに情報提示するために外部コンテンツＤＢ５０から取得し、上書き保存する。そして、提示情報取得部１９は、「状況ＩＤ＝３」に対応する提示情報を取得し、提示情報生成部２１へ出力する。

提示情報生成部２１は、提示情報取得部１９から提示情報を受け取る。提示情報生成部２１は、この受け取った提示情報の補正処理や提示情報を出力する形式にする処理（例えば、出力形式が画像の場合は描画処理）を行い、この処理が施された提示情報を提示タイミング制御部２２に出力する。

提示情報の補正処理とは、提示情報が画像である場合、対象の画像の色や提示位置のバランスを調整する処理等が考えられる。

次に、状況認識部１６の詳細について説明する。
状況認識部１６の状況判定部１６ａは、差分抽出部１３から差分情報を、テーマ選択部１５からテーマ情報をそれぞれ取得する。

参考状態格納部１６ｂは、例えば不揮発性メモリなどの記憶装置であり、テーマごとにユーザが参考とする作業の状況を示す状況情報を、事前に格納する。
図８は、本発明の実施形態における技術支援装置の参考状態格納部に格納される状況情報の一例を表形式で示す図である。図８に示すように、参考状態格納部１６ｂに格納される状況情報は、テーマＩＤ、部位ＩＤ、特徴点座標（理論値）p’_b、色（理論値）c’_b、差分値d’_b、状況ＩＤが対応付けられる。

上記の特徴点座標（理論値）p’_b、色（理論値）c’_b、差分値d’_b、状況ＩＤは設定値であり、例えば操作端末４０に対する操作による設定によって変更可能である。また、色（理論値）c’_bは外部コンテンツＤＢ５０や操作端末４０から取得したテーマ情報に応じても変更可能である。
状況判定部１６ａは、取得した差分情報とテーマ情報とを用いて、参考状態格納部１６ｂから状況情報を取得する。
状況判定部１６ａは、この取得した状況情報を提示情報取得部１９へ出力する。

次にメイクの場合の状況情報の取得の具体例について説明する。状況判定部１６ａは所定条件（設定により変更可）を満たす、顔差分情報上の１行または複数の行で定められる差分値d_b、およびこの差分値d_bに対応付けられる部位ＩＤ、特徴点座標（実測値)p_b、色（実測値)c_bが対応付けられる特定顔差分情報を、上記のように取得した顔差分情報から抽出する。
状況判定部１６ａは、（１）テーマ選択部１５から取得したテーマ情報であるテーマＩＤ、顔差分情報から抽出した特定顔差分情報における部位ＩＤとの組み合わせと、（２）参考状態格納部１６ｂから取得した状況情報のテーマＩＤ、部位ＩＤの組み合わせとを比較する。

これらの比較した各種のＩＤが同種のＩＤの間で同値となる場合、状況判定部１６ａは、（１）特定顔差分情報の一要素であり、上記の比較した各ＩＤに対応する色（実測値）c_bと、（２）参考状態格納部１６ｂに格納される状況情報の一要素である、上記の比較した各ＩＤに対応する色（理論値）c’_bとの差分値を算出する。

状況判定部１６ａは、この算出した差分値と、参考状態格納部１６ｂに格納される状況情報の各行の差分値d’_bの範囲とを比較し、この範囲に、上記の算出した差分値が含まれる場合、この範囲の差分値d’_bに対応する状況ＩＤ（０、１または２）、テーマＩＤ、部位ＩＤを状況情報から取得する。

次に、対象領域認識部１７の詳細について説明する。図９は、本発明の実施形態における技術支援装置の対象領域認識部(の詳細構成の一例を示すブロック図である。
図９に示すように、対象領域認識部１７は、対象領域取得部１７ａ、道具認識部１７ｂ、対象領域判定部１７ｃ、道具情報格納部１７ｄを有する。対象領域認識部１７は、対象領域取得部１７ａ、対象領域判定部１７ｃのみを含む構成でもよいし、または、道具認識部１７ｂ、対象領域判定部１７ｃ、道具情報格納部１７ｄのみを含む構成でもよいし、または対象領域取得部１７ａのみを含む構成でもよいし、道具認識部１７ｂ、道具情報格納部１７ｄのみを含む構成でもよい。

対象領域取得部１７ａは、差分抽出部１３から顔差分情報を、テーマ選択部１５からテーマ情報をそれぞれ取得する。対象領域取得部１７ａは、取得した差分情報とテーマ情報から、対象領域の情報を取得する。対象領域取得部１７ａは、決定した対象領域の情報を対象領域判定部１７ｃへ出力する。具体的には、対象領域取得部１７ａは、取得した顔差分情報について、各部位で差分値がある設定値（設定により変更可能）以上の座標点において、部位ごとに色分けする。例えば、眉毛の領域内で差分値がある設定値以上の座標点を赤色、目の領域内で差分値がある設定値以上の座標点を青色、頬の領域内で差分値がある設定値以上の座標点を緑色、唇の領域内で差分値がある設定値以上の座標点を黄色とする。対象領域取得部１７ａは、各部位内で色付けされた座標点において隣接する座標点が複数ある場合、それらの隣接する座標点からなる領域の輪郭を抽出する。このとき、対象領域取得部１７ａは、隣接する座標点が複数ある場合、隣接する座標点から構成する領域の面積がＸ以上である場合等、座標点から生成される領域の条件を設定により変更できるものとする。対象領域取得部１７ａは、この抽出した輪郭のうち、最もｙ座標が小さい（画面の上部）部位を対象領域と判定する。

道具認識部１７ｂは、差分抽出部１３から差分情報を、テーマ選択部からテーマ情報をそれぞれ取得する。道具認識部１７ｂは、取得した差分情報とテーマ情報を用いて、道具情報格納部１７ｄから対象領域や使用する道具の情報を取得する。道具認識部１７ｂは、取得した対象領域の情報を対象領域判定部へ１７ｃに出力する。

道具認識部１７ｂによる対象領域や道具の情報の取得は、統計的な機械学習によるパターンマッチング方法等や一般的な物体認識であり、手法は問わない。

道具情報格納部１７ｄでは、ユーザが作業に用いる道具と処理領域との関係を示す道具情報があらかじめ格納されている。
図１０は、本発明の実施形態における技術支援装置の道具情報格納部に格納される道具情報の一例を表形式で示す図である。図１０に示すように、道具情報は、テーマＩＤ、部位ＩＤ、道具ＩＤ、特徴点座標（理論値）p’_a、色（理論値）c’_aが対応付けられる。

道具認識部１７ｂは、テーマ選択部１５から取得したテーマＩＤと道具情報格納部１７ｄに格納される道具情報におけるテーマＩＤとを比較する。道具認識部１７ｂは、これら比較したテーマＩＤが同値のものにおいて、道具情報格納部１７ｄに格納されている道具情報における該当のテーマＩＤに対応付けられる特徴点座標（理論値）p’_a、色（理論値）c’_aと、差分抽出部１３から取得した差分情報の各行における特徴点座標p_a、色（実測値）c_aとの差分（や類似度等)を算出する。
この算出した差分の値が、ある設定値（設定により変更可能）以内である場合（類似度の場合は、ある設定値以上の値である場合）、道具認識部１７ｂは、この差分の値の算出に用いた特徴点座標（理論値）p’_a、色（理論値）c’_aに対応する部位ＩＤ、テーマＩＤ、道具ＩＤを道具情報から取得する。

例えば、道具認識部１７ｂは、差分情報から物体認識等を用いてメイク道具を認識する。道具認識部１７ｂは、この認識したメイク道具の特徴点座標p_aや色（実測値）c_aの組み合わせと、道具情報格納部１７ｄに格納される道具情報における特徴点座標（理論値）p’_aや色（理論値）c’_aの組み合わせとを比較し、比較したそれぞれの値が同じもしくは所定条件を満たして近い場合、この比較した特徴点座標（理論値）p’_aや色（理論値）c’_aの組み合わせに対応付けられる部位ＩＤ、テーマＩＤ、道具ＩＤを対象領域の情報として道具情報から取得する。

また、ユーザが商品購入時に購入した商品（例えばメイク道具）の情報を操作端末４０への操作により設定する場合に、外部コンテンツＤＢ５０が化粧品メーカのWebコンテンツ等の外部コンテンツ７０上にある商品の情報としてその特徴点座標や色情報を得て、道具情報として道具情報格納部１７ｄに格納されることも考えられる。また、道具情報における特徴点座標（理論値）p’_aや色（理論値）c’_aは機械学習から得た値でもよい。

対象領域判定部１７ｃは、対象領域取得部１７ａと道具認識部１７ｂとから対象領域や道具の情報を受け取る。対象領域判定部１７ｃは、受け取った対象領域や道具の判定を行い、判定結果を対象領域認識部１７による認識結果として提示情報取得部１９へ出力する。

判定の方法は、操作端末４０への操作による設定により変更可能である。例えば、対象領域取得部１７ａと道具認識部１７ｂの双方から取得した対象領域の情報が同等であれば、対象領域判定部１７ｃは、この対象領域の情報を提示情報取得部１９に対象領域の情報を出力することが考えられる。または、対象領域判定部１７ｃは、対象領域取得部１７ａまたは道具認識部１７ｂのどちらか一方のみから対象領域や道具の情報を受け取った場合、そのまま対象領域や道具の情報を提示情報取得部１９に出力することが考えられる。

提示タイミング制御部２２では、提示情報生成部２１から、処理が施された提示情報を受け取る。提示タイミング制御部２２は、受け取った提示情報を元に、提示タイミング格納部２３から提示タイミング情報を取得し、この提示タイミング情報を元に、処理を施された提示情報を出力装置６０へ出力する。出力装置６０は、技術支援装置１０と一体でも構わない。提示タイミング格納部２３は、例えば不揮発性メモリなどの記憶装置で実現され，提示内容ごとに、提示情報を提示するタイミングに関する情報が事前に格納されている。提示タイミング情報とは、提示情報を出力装置６０に出力するときの条件であり、提示タイミング制御部２２からの参照を可能にする。

ここで、提示情報の提示タイミングの制御の具体例について説明する。図１１は、本発明の実施形態における技術支援装置の提示タイミング格納部２３に格納される提示タイミング情報の一例を表形式で示す図である。
図１１に示すように、提示タイミング格納部２３に格納される提示タイミング情報は、提示番号（図７に示した提示情報の「No.」と同値）、提示内容（図７に示した提示情報の「提示内容」と同値）、提示条件が対応付けられて構成される。

提示タイミング制御部２２は、提示情報生成部２１により生成された提示情報と、この提示情報に対応付けられる提示番号（図７に示した提示情報の「No.」）とを受け取る。提示タイミング制御部２２は、この受け取った提示番号と、提示タイミング格納部２３に格納される提示タイミング情報における提示番号とを比較し、比較した値が同値のときに、対応する提示タイミング情報（提示条件）を取得し、この取得した情報を出力装置６０に出力する。

次に、技術支援装置１０による技術支援のための動作や表示画面の例について説明する。
（例１）
まず、人物認証に伴うあいさつの提示について説明する。
図１２は、本発明の実施形態における技術支援装置による人物認証に伴うあいさつの提示の手順の一例を示すフローチャートである。
図１３は、本発明の実施形態における技術支援装置による人物認証に伴うあいさつの提示における表示画面の一例を示す図である。

人物認証のために、差分抽出部１３は、特徴点検出部１２から受け取った、カメラ３０により撮影した画像からユーザの顔特徴点情報を取得した場合に、この顔特徴点情報を、ユーザ個人を特定できる名前、プロフィール（年齢、出身地、日常読んでいる雑誌、趣味など）と対応付けて参考特徴点情報として特徴点情報格納部１４に保存することができる。ユーザ個人を特定できる名前やプロフィールの情報は、提示情報格納部２０や操作端末４０、外部コンテンツＤＢ５０を介して外部コンテンツ７０に保存されてもよい。この参考特徴点情報は、該当のユーザが操作端末４０に対して削除のための所定の操作を行なわない限り削除されない。

技術支援装置１０を動作させてから提示情報を未だ出力装置６０のモニタ画面に表示していない場合で、差分抽出部１３は、特徴点検出部１２から、カメラ３０により撮影した画像からユーザの顔特徴点情報を受け取る、すなわち、ユーザの顔を検出する（Ｓ１１）。すると、差分抽出部１３は、この顔特徴点情報と、上記の参照特徴点情報とを取得し、これらを比較して、参照特徴点情報上で、検出した顔特徴点情報と一致または類似する情報に対応付けられる名前を取得することで人物認識を行ない（Ｓ１２）、この名前に関連付けられるプロフィールを読み込む（Ｓ１３）。

この例では、差分抽出部１３は、名前、プロフィールを提示情報格納部２０に出力する。また、提示情報格納部２０は、取得した名前とプロフィールを該当する提示内容に格納する。

上記のように提示情報を未だ表示していない場合で、提示情報取得部１９は、差分抽出部１３から作業開始信号を受け取ると、「状況ＩＤ＝０’」と変換し、この「状況ＩＤ＝０’」を取得すると、ユーザの撮影画像を出力装置６０のモニタ画面に表示させ、かつ、提示情報格納部２０に格納される、図７に示す提示情報の「ＮＯ。１」の行の内容詳細で定められる「○○（ユーザの名前）さん、こんにちは！」とのあいさつを、音声により出力装置６０の図示しないスピーカから出力させる。また、図１３に示すように出力装置６０のモニタ画面に表示させてもよい。

次に、ユーザがメイクを施しているパーツに応じて、アドバイスであるメイク情報を提示することについて説明する。
図１４は、本発明の実施形態における技術支援装置によるメイク情報の提示の手順の一例を示すフローチャートである。
図１５は、本発明の実施形態における技術支援装置による部位確認における表示画面の一例を示す図である。
図１６は、本発明の実施形態における技術支援装置によるメイク情報の提示における表示画面の一例を示す図である。

上記のあいさつの提示の後、提示情報生成部２１は、あいさつを提示されたことをテーマ選択部１５に通知する。すると、テーマ選択部１５は、上記のあいさつの提示において取得したプロフィールと、操作端末４０や外部コンテンツＤＢ５０などで管理される、該当のユーザの睡眠時間、スケジュール、運動量（例えば歩数）等に基づいて導出された、ユーザに適したテーマ、ここではメイクテーマを取得する。そのメイクテーマの中から、ユーザが操作端末４０を用いてメイクテーマを選択すると、テーマ情報が状況認識部１６、対象領域認識部１７、動作認識部１８へ出力される。そして、ユーザが写る撮影画像を表示させた状態で、状況認識部１６が、状況ＩＤ「０」を含む状況情報を提示情報取得部１９に出力し、対象領域認識部１７の対象領域判定部１７ｃが、ユーザがメイクし始めるパーツ（ユーザの眉）に対応する部位ＩＤを提示情報取得部１９に出力する、つまり、ユーザがメイクし始めるパーツの検出がなされるとする（Ｓ２１）。

すると、提示情報取得部１９は、提示情報格納部２０に格納される、図７に示す提示情報のうち、「ＮＯ。１１」の行で定められる「眉毛のメイクね！」との確認メッセージを、図１５に示すように出力装置６０の画面上に表示させる。

そして、提示情報取得部１９は、上記の確認メッセージの表示から後、この確認メッセージに代えて、提示情報格納部２０に格納される、図７に示す提示情報のうち、「ＮＯ。１２」の行で定められる、メイクのポイント、方法のアドバイス情報として、上記の検出したメイクテーマに紐づいたメイク方法のポイントのメッセージやメイク方法の動画を図１６に示すように出力装置６０の画面上に表示させる（Ｓ２２）。

このメイクのポイント、方法のアドバイス情報を表示させた状態で、提示情報取得部１９は、画面上のユーザの撮影画像における、Ｓ２１で検出した、ユーザがメイクし始めるパーツに対応する領域に、このパーツに対してメイクを施す領域の画像を重畳させて表示させる（Ｓ２３）。

これにより、ユーザがメイクを施すパーツに応じて、このパーツに関するメイクの情報をユーザに提示することができる。また、メイクテーマに基づくＳ２４で表示されたアドバイス情報に、ユーザの趣向に沿わない場合、ユーザによる操作端末への所定の操作により、テーマ選択部１５に、ユーザに適したテーマを再度検出させるようにしてもよいし、この検出によらず、ユーザによる操作端末への所定の操作により、任意のメイクテーマを設定し、このメイクテーマに紐づいたメイク方法のポイントのメッセージやメイク方法の動画を上記のように出力装置６０の画面上に表示させてもよい。同様にして、使用しているメイク道具に関しても、メイク道具に関する情報を提示することができる。

次に、生活情報を提示することについて説明する。図１７は、本発明の実施形態における技術支援装置による生活情報の提示の手順の第１の例を示すフローチャートである。図１８は、本発明の実施形態における技術支援装置による生活情報の提示の手順の第２の例を示すフローチャートである。図１９は、本発明の実施形態における技術支援装置による生活情報の提示における表示画面の一例を示す図である。

ユーザによるメイクの開始前、かつユーザが写る撮影画像を表示させた状態で、天気予報アプリケーションの天気予報情報がアップデートされ、提示情報格納部２０に最新の天気予報情報が保存されている（Ｓ３１）。かつ、状況認識部１６が、状況ＩＤ「０」を含む状況情報が提示情報取得部１９に出力される、つまり、ユーザがメイクしようとしていることの検出がなされると（Ｓ３２）、提示情報取得部１９は、提示情報格納部２０に格納される、図７に示す提示情報のうち、「ＮＯ。６」の行で定められる、天気予報情報、およびこの天気に基づくメイクのアドバイスのメッセージ、例えば「今日の天気は雨だよ。湿度が高いからベースメイクは薄めでね！」とのメッセージを、図１９に示すように出力装置６０の画面上に表示させる（Ｓ３３）。Ｓ３１のアップデートとＳ３２の検出は順序が逆でもよい。
また、ユーザが本アプリケーションを起動しているとき、外部コンテンツＤＢ５０の電車運行情報がアップデートされると、提示情報格納部２０に最新の電車運行情報が保存されていると（Ｓ３１Ａ）、提示情報取得部１９は、提示情報格納部２０に格納される、図７に示す提示情報のうち、「ＮＯ。５」の行で定められる電車の運行状況のメッセージ、例えば「□線は遅延しているよ！」とのメッセージを、図１９に示すように出力装置６０の画面上に表示させる（Ｓ３２Ａ）。「ＮＯ。５」の行で定められる電車の運行状況のメッセージは、「状況ＩＤ＝３」であるため、メイクの作業状況には依存せず、本アプリケーションが起動中であればいつでも表示してよい。

これにより、提示する内容を応じて適切なときに、このユーザに生活情報を提示することができる。

次に、ユーザによるメイク完了後のメイク画像の保存および、次回のメイク開始時のテーマ選定について説明する。
図２０は、本発明の実施形態における技術支援装置による情報保存および前回情報の提示の手順の一例を示すフローチャートである。
図２１は、本発明の実施形態における技術支援装置による情報保存における表示画面の一例を示す図である。
図２２は、本発明の実施形態における技術支援装置による前回情報の提示における表示画面の一例を示す図である。

外部コンテンツＤＢ５０に登録されるアプリケーションには、例えば、ユーザの笑顔やピースをする等の表情や動作を認識したのを契機にそのユーザの撮影画像を保存し、その画像を管理するものもあると考えられる。このことから、外部コンテンツＤＢ５０には、メイク後の笑顔やピースをするなどの表情や動作を示す画像の特徴点情報に基づく差分情報が格納されていることも考えられ、この場合、この差分情報を事前に動作認識部１８が取得する。ユーザによるメイクの完了後、かつこのメイク完了後に撮影された画像（例えば笑顔やピース）を表示させた状態で、動作認識部１８が、差分抽出部１３から差分情報（図２に示す特徴点情報から得た差分情報）および顔差分情報（図３に示す顔特徴点情報から得た差分情報）を取得し、これらの差分情報および顔差分情報と、外部コンテンツＤＢ５０から取得した笑顔やピースをするなどの表情や動作を示す画像の顔差分情報（ユーザの顔の部分）や差分情報（ユーザの顔以外の手など）とを比較し、差分情報および顔差分情報が、顔差分情報や差分情報と一致もしくは類似する、つまり、ユーザがメイクを完了していることの検出がなされると（Ｓ４１）、ユーザが、メイク完了後の撮影画像、日付、メイクテーマ（例えば「お出かけ用」、メイクアイテムの情報源のURL、メイク方法の情報源のURL、ユーザによるメイクのお気に入り度）の保存を望む場合は、操作端末４０に対する所定操作等を行なう。

すると、テーマ選択部１５は、テーマ情報を追加し、このテーマ情報に紐づけて、メイク完了後の撮影画像と、日付、メイク方法やポイント等のメイク情報を例えば外部コンテンツＤＢ５０を介して外部コンテンツ７０や操作端末４０に保存させる（Ｓ４２）。さらに、提示情報格納部２０には、例えば「Ｎｏ。＝３、状況ＩＤ＝０、テーマＩＤ＝２、部位ＩＤ＝-、道具ＩＤ＝-、提示内容＝メイクテーマ（過去のお気に入りメイク）の詳細、内容詳細＝以下の２つがあるよ！（過去のメイク内容）」という提示情報を格納しているとすると、提示情報格納部２０は、外部コンテンツＤＢ５０から「内容詳細」に対応するメイク完了後の撮影画像、日付、メイクテーマ、メイク情報を取得し、保存する。上記のメイクのお気に入り度は、メイク完了後にユーザが操作端末４０への操作等を行うことで設定されることができる。
また、ユーザが、メイク完了後の撮影画像、日付、メイクテーマの保存を望まない場合は、操作端末４０に対する所定操作等を行うことで、保存を行わないようにすることもできる。

また、この保存とともに、提示情報取得部１９は、上記の日付、メイクテーマなどの保存の通知メッセージ（例えば、上手にできたね！保存しておくね。）とのメッセージを、図２１に示すように出力装置６０の画面上に表示させる。

そして、技術支援装置１０の使用を終了し、ユーザが次回のメイクを行う際に、技術支援装置１０を再び動作させ、上記の人物認証が再度なされた後で、かつユーザが写る撮影画像を表示させた状態で、ユーザが操作端末４０に対して、前回の同じメイクテーマに従うメイク方法などの提示を指示するための操作（例えば、「前にしたお出かけ用のメイク方法を教えて！」などの文字入力や音声入力）を行なう。

すると、提示情報取得部１９は、提示情報格納部２０における上記の「Ｎｏ。３」に対応する提示情報、すなわち、上記のように前回以前の、ここでは過去２回のメイク完了時に保存した、メイク完了後の撮影画像、日付、メイクテーマ（例えば「お出かけ用」、メイクアイテムの情報源のURL、メイク方法の情報源のURL、ユーザによるメイクのお気に入り度）を取得する。提示情報取得部１９は、提示情報格納部２０に格納される、図７に示す提示情報のうち、「ＮＯ。２」の行で定められる、上記の取得した各種情報を取得した後に、「Ｎｏ。３」の提示情報を取得し、図２２に示すように出力装置６０の画面上に表示させる（Ｓ４３）。

以上のように、本実施形態では、技術支援装置１０により、ユーザがメイク作業を行う際に、適切な技術支援を行うことができる。

（処理分割および配置について）
なお、上述の実施形態では、１つの技術支援装置１０として処理を実行している例を示しているが、この処理をサーバとクライアント（ユーザ端末）とで分散して実行させてもよい。

例えば、処理コストが高い処理（例えば、特徴点検出部１２、差分抽出部１３、状況認識部１６、対象領域認識部１７、動作認識部１８、提示情報取得部１９、提示情報生成部２１、提示タイミング制御部２２による処理）をサーバで実行し、大量のデータを必要とするデータベース（例えば、特徴点情報格納部１４、提示情報格納部２０、提示タイミング格納部２３、外部コンテンツＤＢ５０）をサーバの記憶装置に実現し、その他の機能（例えば、画像取得部１１，テーマ選択部１５）をクライアントで実行する処理構成としてもよい。

または、提示情報を生成するまでの処理（画像取得部１１、特徴点検出部１２、差分抽出部１３、特徴点情報格納部１４、テーマ選択部１５、状況認識部１６、対象領域認識部１７、動作認識部１８、提示情報取得部１９、提示情報生成部２１、外部コンテンツＤＢ５０による処理）をクライアントで実行し、提示情報の提示タイミングの制御（提示タイミング制御部２２、提示タイミング格納部２３）をサーバで実行する処理構成としてもよい。

上記のようにサーバとクライアントとで処理を分散して処理を実行する場合では、これらのサーバとクライアントとの間での画像や座標値情報などのやり取りが必要となるため、画像の全フレームをやりとりする代わりに、やり取りする画像の間引き処理や画像形式の変更処理等を行うことが望ましい。間引き処理は、例えば、画像の数フレームおきについて行なったり、画像の前フレームと現在のフレームとの差分のみについて行なったりすればよい。また、変更処理は、例えば、1フレームの画像データでなく、特徴点検出部１２で特定された特徴点の座標情報のみを取り出してもよい。また、変更処理は、画像取得部１１で、圧縮処理等をした画像データを取り出すことも考えられる。さらに、差分抽出部１３で抽出した差分情報の座標情報を取り出すことも考えられる。

（メイク以外の適用例）
上述の説明では、技術支援装置１０の適用例としてユーザがメイクを行なう場合を想定して説明したが、これに限らず、例えば、ドクターや医大生に対する手術のコーチングにも適応できる。

具体的には、画像取得部１１としては、タブレット等の端末のインカメラや周辺に取り付けたカメラから画像を取得する構成が挙げられる。また、出力装置６０としては、タブレットやモニタやＨＭＤ（ヘッドマウントディスプレイ）（登録商標）等を用いることが挙げられる。
特徴点検出部１２としては、人体（人体模型）での手術する領域周辺を撮影した画像において、体の部位や骨筋等の身体の特徴点を抽出することが挙げられる。

差分抽出部１３としては、体の部位や骨筋等の身体の特徴点等の、手術状態に関する特徴点情報と、画像全体における特徴点情報を特徴点情報格納部１４に格納し、格納された特徴点情報と最新フレームの特徴点情報とを比較して差分情報を得ることが挙げられる。

状況認識部１６の状況判定部１６ａとしては、差分情報を用いて、参考状態格納部１６ｂから手術前、手術中、手術後等の作業状況を導き出すことが挙げられる。
参考状態格納部１６ｂとしては、手術内容や身体の部位ごとに、画像の特徴点座標や色の理論値（人体模型と人の身体)、差分値に対する状況情報（状況ＩＤ）を格納することが挙げられる。

対象領域認識部１７としては対象領域取得部１７ａとしては、身体に関する差分情報を元に対象領域を取得することが挙げられる。対象領域とは、身体の部位と考えられる。また、この道具認識部１７ｂは、特徴点情報を用いて道具情報格納部１７ｄに格納される道具情報から対象領域（部位ＩＤ）や道具を示す情報を取得することができる。

道具情報格納部１７ｄには、メスやピンセット等の手術道具に関する特徴点情報と色情報の理論値を事前に格納することができる。
対象領域判定部１７ｃは、対象領域取得部１７ａと道具認識部１７ｂとから受け取った対象領域や道具を判定し、この判定結果を提示情報取得部１９に出力することができる。

動作認識部１８は、差分抽出部１３から取得した差分情報をもとに手を挙げる等の動作を認識し、動作を示す情報を、提示情報取得部１９へ出力する。

提示情報取得部１９は、受け取った状況情報と対象領域道具の判定結果とを用いて、提示情報格納部２０から提示情報を取得し、提示情報生成部２１へ出力することができる。
提示情報格納部２０には、手術の方法やポイント等手術に関する情報や緊急手術への対応や災害情報等、手術以外の情報を格納すさることができる。提示情報生成部２１では、提示情報を受け取って、提示情報を補正し出力する形式にして、提示タイミング制御部２２へ出力する。

提示タイミング制御部２２は、受け取った処理を施された提示情報を用いて、提示タイミング格納部２３から提示タイミング情報を取得する。提示タイミング格納部２３には、手術の方法やポイント等手術に関する情報や緊急手術への対応や災害情報等、手術以外の情報といった提示する内容に対応して提示するタイミングの情報が格納されている。提示タイミング制御部２２は、取得した提示タイミングに合わせて処理を施された提示情報を出力装置６０へ出力する。

（その他の適用例）
なお、技術支援装置１０は、手術以外にも、例えば筆を用いた習字等文字の書き方のコーチング、工場の作業支援等にも適用することができる。つまり、ユーザの作業の情報やユーザが使用する道具の情報が取得できるケースであれば、どのようなものでも本実施形態に係る技術支援装置１０を利用できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

１０…技術支援装置、１１…画像取得部、１２…特徴点検出部、１３…差分抽出部、１４…特徴点情報格納部、１５…テーマ選択部、１６…状況認識部、１７…対象領域認識部、１８…動作認識部、１９…提示情報取得部、２０…提示情報格納部、２１…提示情報生成部、２２…提示タイミング制御部、２３…提示タイミング格納部、３０…カメラ、４０…操作端末、５０…外部コンテンツＤＢ、６０…出力装置、７０…外部コンテンツ。

Claims (8)

1. 処理対象に関する画像である対象画像を取得する画像取得手段と、
   前記取得した対象画像から特徴点情報を検出する特徴点検出手段と、
   前記検出した特徴点情報を格納する特徴点情報格納手段と、
   前記格納した特徴点情報のフレーム間の差分情報を抽出する差分抽出手段と、
   前記処理対象に対するユーザの作業のテーマを示すテーマ情報を選択するテーマ選択手段と、
   前記ユーザに対する提示情報を格納する提示情報格納手段と、
   前記差分情報および前記選択した前記テーマ情報に基づいて、前記作業の状況を認識する状況認識手段と、
   前記差分情報および前記選択したテーマ情報に基づいて、前記処理対象に対してユーザが作業する対象領域を認識する対象領域認識手段と、
   前記差分情報に基づいて、前記ユーザの動作を認識する動作認識手段と、
   前記差分抽出手段により前記差分情報が抽出された場合に、前記状況認識手段による認識の結果、前記対象領域認識手段により認識した前記対象領域の情報、および前記動作認識手段による認識の結果に基づいて、前記提示情報格納手段に格納される提示情報から前記ユーザへの提示情報を取得する提示情報取得手段と、
   前記取得した提示情報に対して所定の処理を施した情報を生成する提示情報生成手段と、
   提示内容ごとに、前記提示情報を提示するタイミングに関する情報を格納する提示タイミング格納手段と、
   前記提示情報生成手段により生成された情報をもとに、前記提示タイミング格納手段から前記提示情報を提示するタイミングに関する情報を取得し、この情報をもとに、所定の処理を施した提示情報を出力装置に出力する提示タイミング制御手段と
   を備えたことを特徴とする技術支援装置。
2. 前記差分抽出手段は、
   前記特徴点情報に基づく前記差分情報を抽出し、
   前記ユーザが参考とする作業の状況を示す状況情報を格納する参考状態格納手段をさらに備え、
   前記状況認識手段は、
   前記差分情報および前記状況情報に基づいて、前記ユーザの作業の状況を判定する状況判定手段を有する
   ことを特徴とする請求項１に記載の技術支援装置。
3. 前記処理対象は、前記ユーザが作業に用いる道具を含み、
   前記差分抽出手段は、
   前記特徴点情報に基づく前記差分情報を抽出し、
   前記ユーザが作業に用いる道具、および、前記道具を用いた作業の対象である対象領域の関係を示す道具情報を格納する道具情報格納手段をさらに備え、
   前記対象領域認識手段は、
   前記特徴点情報に基づく前記差分情報に基づいて前記対象領域を取得する対象領域取得手段と、
   前記特徴点情報に基づく前記差分情報および前記道具情報に基づいて、前記対象領域および前記道具の情報を取得する道具認識手段と、
   前記対象領域取得手段により取得した前記対象領域および前記道具認識手段により取得した前記対象領域および前記道具の情報の判定を行い、判定結果を前記対象領域認識手段による認識の結果として出力する対象領域判定手段とをさらに有する
   ことを特徴とする請求項１に記載の技術支援装置。
4. 前記参考状態格納手段は、
   前記テーマの種別ごとに前記状況情報を格納し、
   前記状況判定手段は、
   前記テーマ選択手段により選択したテーマ情報、前記特徴点情報に基づく前記差分情報、および前記状況情報に基づいて、前記テーマ選択手段により選択したテーマ情報にかかわる、前記ユーザの作業の状況を判定する
   ことを特徴とする請求項２に記載の技術支援装置。
5. 前記道具情報格納手段は、
   前記テーマの種別ごとに前記道具情報を格納し、
   前記対象領域取得手段は、
   前記テーマ選択手段により選択したテーマ情報および前記特徴点情報に基づく前記差分情報に基づいて前記対象領域を取得し、
   前記道具認識手段は、
   前記テーマ選択手段により選択したテーマ情報、前記特徴点情報に基づく前記差分情報に基づいて、前記対象領域および前記道具の情報を取得する
   ことを特徴とする請求項３に記載の技術支援装置。
6. ユーザに対する提示情報を格納する提示情報格納手段を有する技術支援装置に適用される方法であって、
   処理対象に関する画像である対象画像を取得し、
   前記取得した対象画像から特徴点情報を検出し、
   前記検出した特徴点情報を特徴点情報格納手段に格納し、
   前記格納した特徴点情報のフレーム間の差分情報を抽出し、
   前記処理対象に対するユーザの作業のテーマを示すテーマ情報を選択し、
   前記差分情報および前記選択した前記テーマ情報に基づいて、前記作業の状況を認識し、
   前記差分情報および前記選択したテーマ情報に基づいて、前記処理対象に対してユーザが作業する対象領域を認識し、
   前記差分情報に基づいて、前記ユーザの動作を認識し、
   前記差分情報が抽出された場合に、前記状況の認識の結果、前記認識した前記対象領域の情報、および前記ユーザの動作の認識の結果に基づいて、前記提示情報格納手段に格納される提示情報から前記ユーザへの提示情報を取得し、
   前記取得した提示情報に対して所定の処理を施した情報を生成し、
   前記生成された情報をもとに、提示内容ごとに、前記提示情報を提示するタイミングに関する情報を格納する提示タイミング格納手段から、前記提示情報を提示するタイミングに関する情報を取得し、この情報をもとに、所定の処理を施した提示情報を出力装置に出力する
   ことを特徴とする技術支援方法。
7. コンピュータを、請求項１から請求項５のいずれか１項に記載の技術支援装置の各手段として実行させるためのプログラム。
8. クライアントとサーバを含む技術支援システムであって、
   前記サーバは、
   処理対象に関する画像である対象画像から特徴点情報を検出する特徴点検出手段と、
   前記特徴点情報のフレーム間の差分情報を抽出する差分抽出手段と、
   前記検出した特徴点情報を格納する特徴点情報格納手段と、
   前記差分情報および前記処理対象に対するユーザの作業のテーマを示すテーマ情報に基づいて、前記作業の状況を認識する状況認識手段と、
   前記ユーザに対する提示情報および前記テーマ情報に基づいて、前記処理対象に対してユーザが作業する対象領域を認識する対象領域認識手段と、
   前記差分情報に基づいて、前記ユーザの動作を認識する動作認識手段と、
   前記差分抽出手段が前記差分情報を抽出した場合に、前記状況認識手段による認識の結果、および前記対象領域認識手段により認識した前記対象領域の情報に基づいて、前記提示情報から前記ユーザへの提示情報を取得する提示情報取得手段と、
   前記提示情報を格納する提示情報格納手段と、
   前記取得した提示情報に対して所定の処理を施した情報を生成する提示情報生成手段と、
   前記提示情報生成手段により出力された情報をもとに、前記提示情報を提示するタイミングに関する情報を取得し、この情報をもとに、所定の処理を施した提示情報を出力装置に出力する提示タイミング制御手段と、
   提示内容ごとに、前記提示情報を提示するタイミングに関する情報を格納する提示タイミング格納手段と、を具備し、
   前記クライアントは、
   前記対象画像を取得する画像取得手段と、
   前記テーマ情報を選択するテーマ選択手段と、を具備することを特徴とする技術支援システム。