JP7151959B2 - 映像アライメント方法及びその装置 - Google Patents

Description

本発明は、映像アライメント方法および装置に関するものである。より詳しくは、入力映像から認識された少なくとも一人の中で関心人を決定し、上記の関心人を基準に上記の入力映像に対する自動映像アライメントを行う方法及びその方法を行う装置に関するものである。

映像処理技術の高度化に伴い、映像処理技術に基づいたスマート装置または知能型システムが様々な分野で構築され活用されている。例えば、映像処理技術を活用して監視映像から関心オブジェクトを検出し、各種イベントを検知する知能型映像監視システムが構築され、様々な環境の監視分野に活用されている。他には、前面部に取り付けられたカメラを用いて周辺映像を撮影し、撮影された映像の分析結果に基づいて各種コンテンツを提供するスマートミラー（ｓｍａｒｔ ｍｉｒｒｏｒ）が様々な場所に設置され、活用されている。

上述したスマート装置および知能型システムが共通に内包している問題点は、関心オブジェクト基準の自動アライメント機能が提供されないということである。例えば、知能型映像分析システムにおいて、管理者が関心オブジェクトの基準にフォーカシングされた監視映像を確認するためには、ＣＣＴＶ（ｃｌｏｓｅｄ ｃｉｒｃｕｉｔ ｔｅｌｅｖｉｓｉｏｎ）によって撮影された原本映像から関心オブジェクトを指定し、指定された関心オブジェクトが含まれた映像をズーム（ｚｏｏｍ）するなど、一連の過程を経なければならない。上述した一連の過程は管理者によって直接行われなければならないため、ユーザーの利便性が低下し、システムが有効に活用できない。他の例では、スマートミラーにおいて、前面に複数の人が位置する場合、スマートミラーは複数の人の中でいずれかの人を関心人に決定し、関連コンテンツを提供しなければならない。このような場合、複数の人が撮影された像とともに、関心人に対するコンテンツを提供する場合、サービスの提供を受けるユーザーの満足度は低下せざるを得ない。

したがって、上述した問題点を解決するために、装置及びシステムの目的等によって決定された様々な基準を考慮して、入力映像から関心オブジェクトを決定し、関心オブジェクトの基準に自動映像アライメントを行う方法が求められる。

本発明が解決しようとする技術的課題は、関心オブジェクトの基準に入力映像に対する自動映像アライメントを行う方法及びその方法を行う装置を提供することである。

本発明が解決しようとする他の技術的課題は、入力映像に含まれる少なくとも一つのオブジェクトの中から関心オブジェクトを決定する方法及びその方法を行う装置を提供することである。

本発明が解決しようとするもう一つの技術的課題は、入力映像に含まれる少なくとも１人の中から関心人を決定し、上記の関心人向けのカスタマイズ型サービス提供画面を構成する方法及びその方法を行う装置を提供することである。

本発明の技術的課題は、以上で言及した技術的課題に限定されず、言及されていない他の技術的課題等は、以下の記載から本発明の技術分野における通常の技術者は明確に理解することができるだろう。

上記技術的課題を解決するための、本発明の一実施形態に係る映像アライメント方法は、映像アライメント装置が、入力映像から少なくとも一人を認識する段階、上記映像アライメント装置が、上記認識された人のうち関心人を決定する段階及び上記映像アライメント装置が、上記入力映像に対して上記関心人を基準に映像アライメントを行うが、上記映像アライメントのための上記映像アライメント装置のユーザーの入力なしに、上記映像アライメントを実行する段階を含むことができる。

一実施形態で、上記関心人を決定する段階は、上記認識された人それぞれの人口統計学的特性を分析する段階及び上記分析された人口統計学的特性を利用して、上記認識された人のうち、既に指定された人口統計学的情報に合致する特性を有する関心人を決定する段階を含むことができる。

一実施形態で、上記認識された人それぞれに対して顔領域を抽出する段階、および上記認識された人のうち、上記抽出された顔領域が最も大きい人を関心人に決定する段階を含むことができる。

一実施形態で、上記関心人を決定する段階は、上記認識された人それぞれの指定された位置で、指定された形状を持つオブジェクトを感知する段階及び第１の人の指定された位置で上記指定された形状を持ったオブジェクトが感知された場合、上記第１の人を上記関心人に決定する段階を含むことができる。

一実施形態で、上記関心人を決定する段階は、上記認識された人それぞれの口の周りの位置で、歯ブラシ形状を持つオブジェクトを感知する段階及び第１の人の口の周りの位置で上記の歯ブラシ形状を持ったオブジェクトが感知された場合、上記第１の人を上記関心人に決定する段階を含むことができる。

一実施形態で、上記関心人を決定する段階は、音声を認識する段階及び上記認識された音声に対応するテキストが第１の人の輪郭内部領域で感知された場合、上記第１の人を上記関心人に決定する段階を含むことができる。

一実施形態で、上記関心人を決定する段階は、上記認識された人それぞれに対してコンテキストベース（ｃｏｎｔｅｘｔ－ｂａｓｅｄ）の関心人判定ロジックを通じて、現在の状況に合致する関心人を決定する段階が含むことができる。

上述した技術的課題を解決するための本発明の他の実施形態に係る映像アライメント装置は、一つ以上のプロセッサ、ネットワークインターフェース、上記プロセッサによって行われるコンピュータプログラムをロード（Ｌｏａｄ）するメモリー及び上記コンピュータプログラムを保存するストレージを含むが、上記コンピュータプログラムは、入力映像から少なくとも一人を認識するオペレーション、上記認識された人のうち関心人を決定するオペレーション及び上記入力映像に対して上記関心人を基準に映像アライメントを行うが、上記映像アライメントのための上記映像アライメント装置のユーザーの入力なしに上記映像アレイメントを行うオペレーションを含むことができる。

上述した技術的課題を解決するための本発明の他の実施形態に係るコンピュータプログラムは、コンピューティング装置と結合し、入力映像から少なくとも一人を認識する段階、上記認識された人のうち関心人を決定する段階、及び上記入力映像に対して上記関心人を基準に映像アライメントを行うが、上記映像アライメントのためのユーザーの入力なしに上記映像アライメントを行う段階を実行させるために記録媒体に保存することができる。

上述した技術的課題を解決するための本発明の他の実施形態に係るスマートミラーは、入力映像を生成する前面カメラセンサー、上記入力映像から少なくとも一人を認識し、上記認識された人のうち関心人を決定し、上記入力映像に対して上記関心人を基準に映像アライメントを行うが、上記映像アライメントのためのユーザーの入力なしに上記映像アライメントを行う映像アライメントプロセッサ、及び上記映像アライメントが行われた結果映像を表示するディスプレイを含むことができる。

上述した技術的課題を解決するための本発明の他の実施形態に係るユーザーのタゲティングされたサービス提供画面の構成方法は、サービス提供装置が、入力映像から少なくとも一人を認識する段階、上記サービス提供装置が、上記認識された人のうち関心人を決定する段階及び上記サービス提供装置が、上記入力映像に対して上記関心人を対象としたサービス提供画面を構成してディスプレイするが、上記サービス提供画面構成のためのユーザーの入力なしに、上記サービス提供画面の構成及びディスプレイを行う段階を含むことができる。

上述した技術的課題を解決するための本発明の他の実施形態に係るユーザーのタゲティングされたサービス提供画面の構成方法は、サービス提供装置が、入力映像から少なくとも一人を認識する段階、上記サービス提供装置が、上記認識された人の生体信号センサーから生体データを受信する段階、上記サービス提供装置が、上記受信された生体テータを利用して上記認識された人のうち関心人を決定する段階及び上記サービス提供装置が、上記入力映像に対して上記関心人を対象としたサービス提供画面を構成してディスプレイするが、上記のサービス提供画面構成のためのユーザの入力なしに上記のサービス提供画面の構成及びディスプレイを行う段階が含むことができる。

上述した本発明によれば、所定の基準に基づいて入力映像で認識された少なくとも一人の中から関心人が決定され、上記の関心人を基準に自動的に映像アライメントが行うことができる。上記のような自動映像アライメントは様々な分野に活用され、ユーザーの没入感や利便性が向上することができる。

例えば、スマートミラーで自動映像アライメントが行われた場合、サービスの提供を受ける関心人の没入感が向上することができる。他の例では、知能型映像監視システムで自動映像アライメントが行われる場合、統合管制装置を通じて監視映像を確認する管理者の利便性が向上することができる。

また、上述した本発明によれば、入力映像から認識された人の中で人口統計学的特性情報、所持する物体の情報、状況情報などを考慮して関心人を決定することができる。これにより、高い精度で関心人を決定することができる。

上述した本発明によれば、関心人を対象に構成されたカスタマイズ型サービス画面を提供することができる。これにより、サービス提供を受けるユーザーの満足度が向上することができる。

本発明の効果等は以上で言及した効果等に限定されず、言及されていない他の効果等は以下の記載から通常の技術者に明確に理解されるだろう。

本発明の第１実施形態に係る映像アライメントシステムの構成図である。 本発明のいくつかの実施形態で参照することができる映像アライメントの例示図である。 本発明のいくつかの実施形態で参照することができる映像アライメントの例示図である。 上記第１実施形態に係る映像アライメントシステムの一構成要素であるスマートミラー（２００）を示すブロック図である。 本発明の第２実施形態に係る映像アライメントシステムの構成図である。 本発明のいくつかの実施形態で参照することができる映像アライメントの例示図である。 本発明のいくつかの実施形態で参照することができる映像アライメントの例示図である。 映像アライメント装置（６００）のハードウェア構成図である。 本発明の実施形態に係る映像アライメント方法の流れ図である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る関心人決定方法を説明するための図面である。 本発明のいくつかの実施形態に係る映像アライメントが行われた結果、映像のディスプレイ方法を説明するための図面である。 本発明のいくつかの実施形態に係る映像アライメントが行われた結果、映像のディスプレイ方法を説明するための図面である。 本発明の第１実施形態に係るユーザーのターゲティングされたサービス提供画面の構成方法を説明するための図面である。 本発明の第１実施形態に係るユーザーのターゲティングされたサービス提供画面の構成方法を説明するための図面である。 本発明の第１実施形態に係るユーザーのターゲティングされたサービス提供画面の構成方法を説明するための図面である。 本発明の第１実施形態に係るユーザーのターゲティングされたサービス提供画面の構成方法を説明するための図面である。 本発明の第１実施形態に係るユーザーのターゲティングされたサービス提供画面の構成方法を説明するための図面である。 本発明の第２実施形態に係るユーザーのターゲティングされたサービス提供画面の構成方法を説明するための図面である。

以下、添付した図面を参照し、本発明の望ましい実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付する図面とともに詳細に後述されている実施形態を参照すると明確になるだろう。しかし、本発明は、以下で開示される実施形態等に限定されるものではなく、異なる様々な形で具現することができ、単に本実施形態等は本発明の開示が完全になるようにし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるだけである。 明細書全体にわたって同一参照符号は同一構成要素を指す。

他の定義がなければ、本明細書で使われるすべての用語（技術及び科学的用語を含む）は、本発明が属する技術分野において、通常の知識を有する者に共通して理解できる意味で使用することができる。また、一般的に使用される辞書に定義されている用語等は、明らかに特別に定義されていない限り、理想的または過度に解釈されない。本明細書で使用された用語は、実施形態等を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は文句に特に言及しない限り複数形も含む。

明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／または「含む～（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素、段階、動作、及び／または素子は、一つ以上の他の構成要素、段階、動作、及び／または素子の存在または追加を排除しない。

本明細書の説明に先立ち、本明細書で使用されるいくつかの用語等について明確にする。

本明細書で、映像アライメント（ｉｍａｇｅ ａｌｉｇｎｍｅｎｔ）とは、所定の基準に基づいて第１映像について回転、シフティング（ｓｈｉｆｔｉｎｇ）、オートフォーカシング（ａｕｔｏ ｆｏｃｕｓｉｎｇ）、ズーム（ｚｏｏｍ）、クロップ（ｃｒｏｐ）、アウトフォーカシング（ｏｕｔ ｆｏｃｕｓｉｎｇ）などの映像処理を行うことにより、第２映像を出力することを意味する。たとえば、上記映像アライメントは第１映像に含まれた少なくとも一人の中で所定の基準に合致する関心人を基準に上記映像処理を行い、第２映像を出力することを意味することができる。以下では、説明の便宜を図るため、上記第１映像は「入力映像」と命名し、上記第２映像は「アライメント映像」または「結果映像」と命名するようにする。

以下、本発明のいくつかの実施形態について、添付された図面に基づいて詳細に説明する。

まず、図１ないし図３を参照して、本発明の第１実施形態に係る映像アライメントシステムについて説明する。

図１は、本発明の第１実施形態に係る映像アライメントシステムの構成図である。具体的に、図１は、上記第１実施形態に係る映像アライメントシステムでスマートミラーシステムを図示している。

図１を参照すると、上記のスマートミラーシステムは、スマートミラー（２００）及びサービス提供サーバー（３００）を含むように構成することができる。ただし、これは、本発明の目的を達成するための望ましい実施形態であるだけで、必要に応じて、一部の構成要素が追加されたり、削除されたりすることは、もちろんのことである。また、図１に図示されたスマートミラーシステムのそれぞれの構成要素は、機能的に区分される機能要素等を示したもので、少なくとも１つの構成要素が実際の物理的な環境では、お互いに統合される形で具現されることもあることに留意する。以下、上記のスマートミラーシステムの各構成要素について説明する。

上記スマートミラーシステムにおいて、スマートミラー（２００）は、半透明機能と反射機能を持つハーフミラー（ｈａｌｆ ｍｉｒｒｏｒ）を前面に置いて、その後方にディスプレイパネルを配置したコンピューティング装置で、ディスプレイパネルから映像が出力される時にはハーフミラーを透過して映像が外部に表示され、映像出力がない時にはミラー機能を提供するコンピューティング装置である。

本発明の実施形態によると、スマートミラー（２００）は、前面に取り付けられたカメラセンサーを通じて少なくとも一人を撮影して、入力映像を生成し、上記の少なくとも一人の中で関心人を決定し、上記関心人を基準に上記入力映像に対する映像アライメントを行うことができる。このような実施形態に限って、スマートミラー（２００）は、「映像アライメント装置」と命名することができる。以下では、理解の便宜を提供するため、入力映像に含まれている人または物が複数であることを想定して説明する。ただし、本発明の範囲がこれに限定されるものではない。つまり、入力映像に一人の第１の人だけが登場しても、上記第１の人が所定の基準を合致するかどうかによって、上記第１の人が関心人であるかが決定される。

例えば、図２ａ及び図２ｂに図示されているように、スマートミラー（２００）は、入力映像（１０ａ）に含まれている複数の人の中から所定の基準に合致する関心人（１１）を決定し、関心人（１１）を基準に映像アライメントが行われたアライメント映像（１０ｂ）を様々な方法でディスプレイすることができる。図２ｂは、関心人（１１）を基準にクロップ、ズームなどの映像処理が行われたことを図示しているが、これは映像アライメントの一例に過ぎず、上記映像アライメントは回転、シフティング、アウトフォーカシングなどの様々な映像処理技法を用いて行うことができる。本実施形態によると、関心人に決定されたユーザーを基準にフォーカシングされた映像がスマートミラー（２００）を通じて提供されるので、ユーザーの没入感が増大することができる。本実施形態の詳細な説明は、図７ないし図１６を参照して、後述するようにする。

本発明の実施形態によると、スマートミラー（２００）は、関心人に決定されたユーザーを対象にターゲティングされたサービス提供画面を構成してディスプレイすることができる。例えば、関心人が歯ブラシを持って歯磨きをする子供である場合、スマートミラー（２００）は、歯磨きのガイドコンテンツを提供する画面を構成してディスプレイすることができる。ここで、上記歯磨きのガイドコンテンツは、スマートミラー（２００）に既に保存されているコンテンツ又はサービス提供サーバー（３００）から受信されたコンテンツであることができる。このような実施形態に限って、スマートミラー（２００）は、「サービス提供装置」と命名することができる。本実施形態によると、ユーザーにカスタマイズされたサービスの画面が提供されるので、ユーザーのサービス満足度が向上することができる。本実施形態の詳細な説明は、図１７ないし図２０を参照して、後述するようにする。

本発明の実施形態によると、スマートミラー（２００）は、入力映像に対する映像分析を通じて様々なメタデータを抽出し、上記メタデータをもとに関心人を決定することができる。この時、上記メタデータは、例えば、入力映像から検出された人の人口統計学的特性情報、人が所持した物体の情報、状況情報など、多様である。実施形態によって、上記映像分析はサービス提供サーバー（３００）によって行われ、スマートミラー（２００）は、映像分析の結果として抽出されたメタデータをサービス提供サーバー（３００）から提供される方式で動作することもできる。本実施形態の詳細な説明は、図８ないし図１４を参照して、後述するようにする。

上記スマートミラーシステムにおいて、サービス提供サーバー（３００）は、スマートミラー（２００）の基盤で提供される各種サービスの提供をサポートするコンピューティング装置である。ここで、上記コンピューティング装置は、ノートパソコン、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）などになるが、これに限られるものではなく、コンピューティング機能及び通信機能が備えられたあらゆる種類の装置を含むことができる。

サービス提供サーバー（３００）は、スマートミラー（２００）から受信された入力映像に対する映像分析を行ったり、関心人に対するカスタマイズ型コンテンツを提供したりすることができる。例えば、関心人が歯ブラシを持っている子供の場合、サービス提供サーバー（３００）は、歯磨きのガイドコンテンツを提供することができる。他の例では、関心人が美容サービスの提供を受ける女性の場合、サービス提供サーバー（３００）は、様々なヘアスタイルのコンテンツをスマートミラー（２００）に提供することができる。

図１に図示されたスマートミラーシステムの各構成要素は、ネットワークを通じて通信することができる。ここで、上記ネットワークは、構内通信網（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ； ＬＡＮ）、広域通信網（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ； ＷＡＮ）、移動通信網（ｍｏｂｉｌｅ ｒａｄｉｏ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ Ｉｎｔｅｒｎｅｔ）などのあらゆる種類の有線／無線ネットワークに具現することができる。

以下では、上記スマートミラーシステムの一構成要素であるスマートミラー（２００）の構成及び動作について、さらに調べてみる。

図３は、スマートミラー（２００）を示す例示的なブロック図である。

図３を参照すると、スマートミラー（２００）は、センサー部（２１０）、保存部（２３０）、通信部（２５０）、ディスプレイ部（２７０）及び制御部（２９０）を含むように構成することができる。ただし、図３には、本発明の実施形態に関わる構成要素等だけが図示されている。したがって、本発明が属する技術分野の通常の技術者であれば、図３に図示された構成要素等のほかに、他の汎用的な構成要素等がさらに含まれることを知ることができる。

各構成要素を見ると、センサー部（２１０）は、スマートミラー（２００）の前面部に取り付けられ、周囲の映像を撮影するカメラセンサーおよび／または物体の接近を感知する近接センサーなどを含むことができる。例えば、上記のカメラセンサーは、上記近接センサーにより所定の物体の接近が感知された場合に限って映像を撮影するように、制御部（２９０）によって制御することもできる。

保存部（２３０）は、スマートミラー（２００）の各種動作を行う１つ以上のコンピュータプログラムなどを非一時的に保存することができる。保存部（２３０）は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリーなどの不揮発性メモリー、ハードディスク、取り外し可能ディスク、または本発明が属する技術分野でよく知られている任意の形態のコンピュータで読み取り可能な記録媒体を含めて構成することができる。

通信部（２５０）は、スマートミラーシステムの他の構成要素とデータ通信を行う。このため、通信部（２５０）は、有線インターネットモジュール、移動通信モジュールまたは無線通信モジュールを備えることができる。

ディスプレイ部（２７０）は、関心人を基準に映像アライメントが行われた結果映像をディスプレイする。または、ディスプレイ部（２７０）は、関心人を対象に構成されたサービス提供画面をディスプレイする。このため、ディスプレイ部（２７０）は、ＬＣＤパネルなど、当該技術分野で広く知られているディスプレイモジュールを含むように構成することができる。

また、ディスプレイ部（２７０）は、前面に配置され、外部からの光を反射して物体の姿を映す鏡の機能が含まれたミラーを含むように構成することができる。上記ミラーは、上記ディスプレイモジュールからの映像信号を透過して外部に表出されるようにする映像ディスプレイ機能を提供することもできる。例えば、上記ミラーはハーフミラー（ｈａｌｆ ｍｉｒｒｏｒ）であることができる。ハーフミラーは、ディスプレイモジュールの光源がオフになると、鏡のような反射作用をするようになり、光源がオンになると、ディスプレイモジュールの映像を透過させて外部にディスプレイされるようにする。

上記ディスプレイモジュールは、上記のミラーと同じサイズであるが、ミラーの一部領域のみを使用して、光が透過されるように、ミラーよりも小さいサイズを持つこともできる。後者の場合、ミラーはミラー機能だけを提供する第１ミラー領域と、ミラー機能または映像ディスプレイ機能を提供する第２ミラー領域に分割することができる。

制御部（２９０）は、スマートミラー（２００）の各構成の全体的な動作を制御する。制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、または本発明の技術分野でよく知られている任意の形態のプロセッサを含めて構成することができる。また、制御部（２９０）は、後述する本発明の実施形態等に係る方法を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を行うことができる。

具体的に、制御部（２９０）は、入力映像から関心人を決定し、上記関心人の基準で映像アライメントを行い、アライメント映像をディスプレイするために、本発明の実施形態に係る映像アライメント方法を行うことができる。上記映像アライメント方法に対する詳細な説明は、図７ないし図１６を参照して、後述するようにする。

制御部（２９０）は、入力映像から関心人を決定し、上記関心人を対象にサービス提供画面を構成するために、本発明の実施形態に係るユーザーのターゲティングされたサービス提供画面の構成方法を行うことができる。上記サービス提供画面の構成方法に対する詳細な説明は、図１７ないし図２０を参照して、後述するようにする。

図３の各構成要素は、ソフトウェア（Ｓｏｆｔｗａｒｅ）または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のようなハードウェア（Ｈａｒｄｗａｒｅ）を意味することができる。しかしながら、上記構成要素等は、ソフトウェアまたはハードウェアに限定される意味ではなく、アドレッシング（Ａｄｄｒｅｓｓｉｎｇ）可能な記憶媒体にあるように構成することもでき、一つまたはそれ以上のプロセッサ等を実行させるように構成することもできる。上記構成要素の中で提供される機能は、より細分化された構成要素によって具現することができ、複数の構成要素を合わせて、特定の機能を行う１つの構成要素として具現することもできる。

今まで図１ないし図３を参照して本発明の第１実施形態に係る映像アライメントシステムであるスマートミラーシステムについて説明した。次に、図４ないし図６を参照して、本発明の第２実施形態に係る映像アライメントシステムについて説明する。

図４は、本発明の第２実施形態に係る映像アライメントシステムの構成図である。具体的に、図４は、上記第２実施形態に係る映像アライメントシステムに知能型映像監視システムを図示している。

図４を参照すると、上記の知能型映像監視システムは、複数の映像撮影装置（４００ａ乃至４００ｎ）、知能型映像分析装置（５００）及び映像アライメント装置（６００）を含むように構成することができる。ただし、これは、本発明の目的を達成するための望ましい実施形態であるだけで、必要に応じて、一部の構成要素が追加されたり削除されたりすることは、もちろんのことである。また、図４に図示された知能型映像監視システムのそれぞれの構成要素等は、機能的に区分される機能要素等を示したもので、少なくとも１つの構成要素が、実際の物理的な環境では、お互いに統合される形で具現されることもあることに留意する。以下、上記の知能型映像監視システムの各構成要素について説明する。

上記知能型映像監視システムにおいて、映像撮影装置（４００ａ乃至４００ｎ）は、指定された監視地域を撮影して監視映像を生成する装置である。映像撮影装置（４００ａ乃至４００ｎ）は、生成された監視映像を知能型映像分析装置（５００）に送信する。映像撮影装置（４００ａ乃至４００ｎ）は、例えばＣＣＴＶで具現することができるが、これに限定されるものではない。

上記知能型映像監視システムにおいて、知能型映像分析装置（５００）は、映像撮影装置（４００ａ乃至４００ｎ）によって提供された監視映像をもとに、知能型分析を行う。例えば、知能型映像分析装置（５００）は、上記監視映像の分析を通じて関心オブジェクトを検出し、上記関心オブジェクトの認識、追跡などを行うことができる。

また、知能型映像分析装置（５００）は、上記関心オブジェクトの検出、認識、追跡などの過程を通じて、管理者によって設定された様々なイベントを検知することができる。たとえば、知能型映像分析装置（５００）は、交通法規違反、指名手配人の認識、迷子の認識などの様々なイベントを検知することができる。

上記知能型映像監視システムで、映像アライメント装置（６００）は、映像撮影装置（４００ａ乃至４００ｎ）によって提供された監視映像を入力映像にして映像アライメントを実行してディスプレイするコンピューティング装置である。ここで、上記コンピューティング装置は、ノートパソコン、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）などになることがあるが、これに限定されるものではなく、コンピューティング機能及び通信機能が備えられたあらゆる種類の装置を含むことができる。

上記知能型映像監視システムにおいて、映像アライメント装置（６００）は、統合管制装置として具現することができる。このような場合、映像アライメント装置（６００）は、検知対象のイベントを設定するユーザーインタフェース、知能型映像分析装置（５００）によって分析された結果及び映像撮影装置（４００ａ乃至４００ｎ）によって獲得された監視映像などを管理者に提供することができる。

本発明の実施形態によると、映像アライメント装置（６００）は、監視映像から認識された少なくとも一人の中で関心人を決定し、上記関心人を基準に上記監視映像に対する映像アライメントを行うことができる。

例えば、図５ａ及び図５ｂに示すように、映像アライメント装置（６００）は、監視映像（２０ａ）に含まれた複数の人の中から所定の基準に合致する関心人（２１、２３）を決定し、関心人（２１、２３）を基準に映像アライメントが行われた映像（２０ｂ）をディスプレイすることができる。特に、図５ａは、幼児誘拐事故が頻繁に発生する監視地域で、幼児の周りに一定時間以上に成人男性が表示される条件が、検知対象のイベントに設定された場合、上記の条件に満たされる幼児（２３）及び成人男性（２１）が関心人に決定される例を図示している。また、図５ｂは、関心人に決定された幼児（２３）及び成人男性（２１）を基準に映像アライメントが行われたアライメント映像（２０ｂ）が監視映像（２０ａ）と共に分割された領域のそれぞれにディスプレイされる例を図示している。このように、映像アライメント装置（６００）は、特定の状況を基準に関心人を決定し、アライメント映像を自動的に生成することができる。

映像アライメント装置（６００）が映像アライメントを行う方法及びアライメント映像をディスプレイする方法に対する詳細な説明は、図７ないし図１６を参照して、後述するようにする。

図４に図示された知能型映像監視システムの各構成要素は、ネットワークを通じて通信することができる。ここで、上記のネットワークは、構内通信網（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ； ＬＡＮ）、広域通信網（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ； ＷＡＮ）、移動通信網（ｍｏｂｉｌｅ ｒａｄｉｏ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ Ｉｎｔｅｒｎｅｔ）などのあらゆる種類の有線／無線ネットワークに具現することができる。

以下では、図６を参照して、上記知能型映像監視システムの一構成要素である映像アライメント装置（６００）の構成及び動作について説明する。

図６は、映像アライメント装置（６００）のハードウェア構成図である。

図６を参照すると、映像アライメント装置（６００）は、一つ以上のプロセッサ（６１０）、バス（６３０）、ネットワークインタフェース（６４０）、ディスプレイ（６５０）、プロセッサ（６１０）によって行われるコンピュータプログラムをロード（ｌｏａｄ）するメモリー（６２０）と、映像アライメントソフトウェア（６６１）を保存するストレージ（６６０）を含むことができる。ただし、図６には、本発明の実施形態と関連する構成要素等だけが図示されている。したがって、本発明が属する技術分野の通常の技術者であれば、図６に図示された構成要素等のほかに、他の汎用的な構成要素等がさらに含まれることを知ることができる。

プロセッサ（６１０）は、映像アライメント装置（６００）の各構成の全体的な動作を制御する。プロセッサ（６１０）は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又は本発明の技術分野でよく知られている任意の形態のプロセッサを含めて構成することができる。また、プロセッサ（６１０）は、本発明の実施形態等に係る方法を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を行うことができる。映像アライメント装置（６００）は、一つ以上のプロセッサを備えることができる。

メモリー（６２０）は、各種データ、命令、および／または情報を保存する。メモリー（６２０）は、本発明の実施形態等に係る映像アライメント方法を実行するために、ストレージ（６６０）から一つ以上のプログラム（６６１）をロードすることができる。図６のメモリー（６２０）の例としてＲＡＭが図示された。

バス（６３０）は、映像アライメント装置（６００）の構成要素間の通信機能を提供する。バス（６３０）は、アドレスバス（Ａｄｄｒｅｓｓ Ｂｕｓ）、データバス（Ｄａｔａ Ｂｕｓ）及び制御バス（Ｃｏｎｔｒｏｌ Ｂｕｓ）など多様な形態のバスに具現することができる。

ネットワークインターフェイス（６４０）は、映像アライメント装置（６００）の有無線インターネット通信を支援する。また、ネットワークインターフェイス（６４０）は、インターネット通信以外の様々な通信方式を支援することもできる。このため、ネットワークインタフェース（６４０）は、本発明の技術分野でよく知られている通信モジュールを含めて構成することができる。

ストレージ（６６０）は、上記の一つ以上のプログラム（６６１）を非一時的に保存することができる。図６に、上記の一つ以上のプログラム（６６１）の例として映像アライメントソフトウェア（６６１）が図示された。

ストレージ（６６０）は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリーなどのような不揮発性メモリー、ハードディスク、取り外し可能なディスク、または本発明が属する技術分野でよく知られている任意の形態のコンピュータで読み取り可能な記録媒体を含めて構成することができる。

映像アライメントソフトウェア（６６１）は、本発明の実施形態に係る映像アライメント方法を実行することができる。例えば、映像アライメントソフトウェア（６６１）は、メモリー（６２０）にロードされて、一つ以上のプロセッサ（６１０）により、入力映像から少なくとも一人を認識するオペレーション、上記認識された人のうち関心人を決定するオペレーション及び上記入力映像に対して上記関心人を基準に映像アライメントを行うが、上記映像アライメントのための上記映像アライメント装置のユーザーの入力なしに、上記映像アライメントを行うオペレーションを実行することができる。

ちなみに、本発明の実施形態に係るサービス提供装置のハードウェア構成も、図６のような構成で具現することができる。このような場合、上記サービス提供装置のストレージに、ユーザーのターゲティングされたサービス提供画面の構成方法を実行するコンピュータプログラムが保存され、上記のコンピュータプログラムは、メモリーにロードされ、プロセッサによって実行することができる。

今まで、図４ないし図６を参照して、本発明の第２実施形態に係る映像アライメントシステムである知能型映像監視システムについて説明した。次に、図７ないし図１６を参照して、本発明の実施形態に係る映像アライメント方法について詳細に説明する。

以下で、後述する本発明の実施形態に係る映像アライメント方法の各段階は、コンピューティング装置によって行うことができる。例えば、上記のコンピューティング装置は、映像アライメント装置（２００、６００）であることができる。ただし、説明の便宜のために、上記映像アライメント方法に含まれる各段階の動作主体は、その記載が省略されることもある。また、映像アライメント方法の各段階は、映像アライメントソフトウェアが、プロセッサによって行われることにより、映像アライメント装置（２００、６００）で行われるオペレーションで具現することができる。

図７は、本発明の実施形態に係る映像アライメント方法の流れ図である。ただし、これは、本発明の目的を達成するための望ましい実施形態であるだけで、必要に応じて、一部の段階が追加されたり削除されたりすることは、もちろんのことである。以下でも、理解の便宜を提供するため、入力映像に含まれている人は、複数であることを想定して説明する。ただし、前述したように、本発明の範囲がこれに限定されるものではない。

図７を参照すると、まず、入力映像から複数の人が認識される（Ｓ１１０）。上記複数の人を認識するために、当該技術分野で広く知られている少なくとも一つの映像処理アルゴリズム又は映像分析アルゴリズムを用いることができる。

次に、上記認識された複数の人のうち関心人が決定される（Ｓ１３０）。上記関心人は、例えば認識された人の人口統計学的特性情報、認識された人が所持した物体情報、状況情報のうち少なくとも一つの情報に基づいて決定することができる。本段階（Ｓ１３０）に対する詳細な説明は、以降、図８ないし図１４を参照して、詳細に説明する。

次に、ユーザーの入力なしに関心人を基準に映像アライメントが行われる（Ｓ１５０）。前述したように、上記映像アライメントは回転、シフティング、クロップ、ズームなど、様々な映像処理技術を利用して行うことができる。

次に、映像アライメントが行われた結果映像がディスプレイされる（Ｓ１７０）。ディスプレイ方法は、実施形態によって異なることがある。本段階（Ｓ１７０）の詳しい説明は、図１５及び図１６を参照して、詳細に説明する。

今まで、図７を参照して、本発明の実施形態に係る映像アライメント方法について説明した。上述した方法によると、所定の基準に基づいて関心人が決定され、自動的に関心人を基準に映像アライメントが行われた結果映像を提供することができる。これにより、映像の提供を受けるユーザーの没入感が増大し、ユーザーの介入が必要とされないため、ユーザーの利便性も向上することができる。

以下では、段階（Ｓ１３０）で行われる関心人決定方法について、図８ないし図１４を参照して、詳細に説明する。

一実施形態で、認識された人の人口統計学的特性情報をもとに関心人を決定することができる。つまり、入力映像から認識された複数の人の中で既に指定された人口統計学的情報に合致する特性を持っている人を関心人に決定することができる。この時、人口統計学的特性情報は、例えば、性別、年齢、国籍、民族などの情報を含むことができる。

理解の便宜を提供するために、図８を参照して、人口統計学的特性情報をもとに関心人を決定する具体的な例について説明する。

図８を参照すると、認識された複数の人の中で、第１の人の年齢を分析した結果、上記第１の人の年齢が既に指定された親の年代にマッチ（ｍａｔｃｈ）する年齢と決定され（Ｓ１３１）、上記認識された複数の人の中で第２の人の年齢を分析した結果、上記第２の人の年齢が既に指定された子供の年代にマッチする年齢に決定（Ｓ１３３）されることがある。このような場合には、上記第２の人が関心人に決定することができる（Ｓ１３５）。つまり、入力映像に親と子が含まれている場合、上記の子供が関心人に決定することができる。

一実施形態で、図９ａ及び図９ｂに示すように、顔領域の大きさをもとに関心人を決定することができる。具体的には、入力映像（３０ａ）から認識された複数の人（３１、３３、３５）それぞれについて、顔領域（３２、３４、３６）が抽出され、上記認識された複数の人（３１、３３、３５）の中、抽出された顔領域（３２、３４、３６）の大きさが最も大きい人（３３）を関心人に決定することができる。また、関心人（３３）を基準に映像アライメントが行われた結果映像（３０ｂ）を提供することができる。本実施形態によると、スマートミラー（２００）の近くに位置した人が関心人に決定されるので、人の位置に応じて順番に所定のサービスが提供されるように、スマートミラー（２００）が動作することができる。

一実施形態で、認識された複数の人の中で既に指定された関心物体を所持した人を関心人に決定することができる。ここで、上記指定された関心物体は、例えばユーザー端末、スマート歯ブラシ、ナイフや拳銃などの武器類など、システムの目的に応じて多様に指定することができる。具体的には、認識された複数の人の中で、それぞれの指定された位置で指定された関心物体の形状を持つオブジェクトを感知し、上記認識された複数の人の中で、第１の人の指定された位置で指定された関心物体の形状を持つオブジェクトが感知された場合、上記第１の人を、上記の関心人に決定することができる。この時、上記指定された関心物体が歯ブラシ形状のオブジェクトである場合、上記指定された位置は、人の手先に対応する位置であることができる。

理解の便宜を提供するために、図１０ａ及び図１０ｂを参照して、さらに詳しく説明する。指定された関心物体が歯ブラシ又はスマート歯ブラシの場合は、入力映像（４０ａ）から認識された複数の人（４１、４３）の指先で歯ブラシ形状のオブジェクトが感知されるかどうかを判定する。判定結果、第１の人（４３）の指先で歯ブラシ形状のオブジェクト（４４）が感知れた場合、図１０ｂに示すように、第１の人（４３）を基準に映像アライメントが行われた結果映像（４０ｂ）が提供される。

上述した実施例で、指定された関心物体を所持した人が複数人存在する場合がある。このような場合、様々な基準に基づいて、少なくとも一人が関心人に決定することができる。

例えば、顔領域の大きさをもとに近い場所に位置した少なくとも一人が関心人に決定することができる。

他の例では、入力映像に進入した順番に基づいて、関心人に決定することができる。具体的には、第１の人の指定された位置で指定された関心物体の形状を持つオブジェクトが感知され、第２の人の指定された位置でも上記の指定された関心物体の形状を持つオブジェクトが感知された場合、上記第１の人と上記第２の人の中、上記入力映像に最初の進入した人を上記の関心人に決定することができる。もちろん、進入順序によって複数の人を関心人に決定することもできる。

他の例では、指定された関心物体を所持した複数の人の中で既に指定された方向に位置する人を関心人に決定することができる。具体的には、第１の人の指定された位置から指定された関心物体の形状を持つオブジェクトが感知され、第２の人の指定された位置でも上記の指定された関心物体の形状を持つオブジェクトが感知された場合、上記第１の人と第２の人の中、既に指定された方向に位置する人を上記の関心人に決定することができる。本例によると、幼稚園の洗面台にスマートミラーが設置され、複数の幼稚園児が右から入場して、歯磨きガイドコンテンツに従って歯磨きをした後、左に退場する場合、入場順序に従って順番に映像アライメントに基づいた歯磨きガイドサービスを提供することができる。

一実施形態で、指定された関心物体を所持した複数の人の中で、上記の関心物体が指定された位置で感知された人を関心人に決定することができる。ここで、上記指定された位置は、関心物体の種類に応じて異なることができる。理解の便宜を提供するため、上記の関心物体がスマート歯ブラシである場合を例に挙げて、図１１を参照して、さらに詳しく説明する。

図１１を参照すると、スマート歯ブラシ（５２、５４、５６）が指先で感知された複数の児童（５１、５３、５５）の中で、上記スマート歯ブラシが口の周りで感知された児童（５３）を関心人に決定することができる。これにより、スマートミラー（２００）を通じて、歯磨きガイドサービスの提供を受ける児童の中で、先に歯磨きを始めた児童に、自動的に映像アライメントが行われた結果映像及び歯磨きのガイドコンテンツが提供されるように、スマートミラー（２００）を動作することができる。

いくつかの実施形態で、図１２に示すように、入力映像に含まれた音声または別の音声センサーを通じて感知された音声信号（６１）に対する音声認識を行い、上記音声認識を通じて導出されたテキスト（６３）を利用して、関心人を決定することができる。以下、音声認識に基づくいくつかの実施形態について説明する。

一実施形態で、認識された音声に対応するテキストが第１の人の輪郭内部領域で感知された場合、上記第１の人を関心人に決定することができる。図１３を参照して、先生が名札を付けた複数の児童のうち、第１の児童を呼名する場合を例に挙げて、さらに説明する。図１３を参照すると、第１の児童を呼名する音声信号を認識して、上記第１の児童の名前を指すテキストが獲得されると、入力映像（７０）に含まれている複数の人の輪郭内部領域（７１、７３、７５）で、上記獲得したテキストが感知されるかどうかを判定することができる。上記複数の人の中から第１の児童の輪郭内部領域（７３）で、上記獲得されたテキストと同じテキスト（７４）が認識される場合、上記第１の児童を関心人に決定することができる。これにより、複数の児童の中から呼名された名前の名札を付けた児童を基準に映像アライメントされた結果映像を提供することができる。

一実施形態で、認識された音声に対応されるテキストが第１の人の名前である場合、認識された複数の人それぞれに対して、顔認識が行われ、上記顔認識結果をもとに、上記の認識された複数の人の中で、上記第１の人を関心人に決定することができる。具体的には、音声認識を通じて第１の人の名前がテキストで獲得された場合、人の名前情報及び顔のイメージを含む既に構築された顔のデータベースを利用して認識された複数の人それぞれについた顔認識が行われる。そうすれば、上記認識された複数の人の中で、上記第１の人の名前に対応する顔が認識された人が関心人に決定される。本実施形態によれば、名前が呼名された特定の人を基準に映像アライメントが行われ、これは様々なケースに活用することができる。例えば、監視地域内で迷子の両親が当該児童の名前を呼んで探す場合、各監視映像中に当該児童が含まれた映像に対する映像アライメントが自動的に行われるため、迷子児童検索サービスに活用することができる。他の例を挙げると、警察が監視地域内で地名手配人の名前を呼んで追跡する場合、各監視映像中に当該地名手配人が含まれる映像に対する映像アライメントが自動的に行われるため、地名手配人検挙サービスに活用することもできる。

いくつかの実施形態で、認識された複数の人それぞれについて、コンテキストベース（ｃｏｎｔｅｘｔ－ｂａｓｅｄ）の関心人判定ロジックを通じて、現在の状況に合致する関心人が決定することができる。ここで、上記コンテキストベースの関心人判定ロジックに利用される状況情報は、天気、時間、場所、人口統計学的特性の組み合わせを含むことができる。

一実施形態で、認識された複数の人それぞれの人口統計学的特性の組み合わせに基づいて状況を判定し、上記判定された状況に応じた条件に合致する人を関心人に決定することができる。例えば、図１４に示すように、認識された複数の人（８１、８３、８５）の中で、４０代の男性と３０代の女性の組み合わせで構成された人（８３、８５）を関心人に決定することができる。または、親子、男と男、男と女などの様々な組み合わせによる条件に合致する人を関心人に決定することができる。

今まで、図８ないし図１４を参照して、本発明のいくつかの実施形態に参照される関心人の決定方法について説明した。以下では、段階（Ｓ１７０）で関心人を基準に映像アライメントが行われた結果映像をディスプレイする方法について説明する。

一実施形態で、関心人又は上記関心人のうち指定された条件を満たす人に対するハイライト処理が行われた映像をディスプレイすることができる。ここで、上記ハイライト処理は、例えばバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）処理、周辺は白黒の状態で関心人に対するカラー処理など、関心人が目立つように処理されるすべての映像処理技法技術を含むことができる。より具体的な例では、スマートミラー（２００）を通じて歯磨きガイドサービスを提供する場合、歯磨きをしている第１の児童はカラーで処理され、歯磨きを始めていない児童は、白黒で処理された結果映像を提供することができる。

一実施形態で、関心人に対する所定の付加情報をディスプレイすることができる。例えば、関心人から指定された条件に合致する行動が感知されると、上記の行動が行われる期間の情報を関心人の周りに表示することができる。より具体的な例を挙げて、児童が歯磨きをする時間、誘拐犯の疑いがある人が幼児の周りでうろつく時間などの情報を当該者の周りに表示することができる。その他にも、関心人の人口統計学的特性情報などの様々な情報を、上記の関心人の周りに、さらにディスプレイすることができる。

一実施形態で、関心人が複数で決定された場合、第１の関心人基準で映像アライメントが行われた第１の結果映像が第１の領域にディスプレイされ、第２の関心人基準で映像アライメントが行われた第２の結果映像が第２の領域にディスプレイされることができる。例えば、図１５に示すように、歯磨きをしている複数の児童（９１、９３、９５）が関心人に決定された場合、それぞれの児童（９１、９３、９５）を基準に映像アライメントが行われ、それぞれの結果映像が分割された領域（９０ａ、９０ｂ、９０ｃ）にディスプレイされることができる。

前述した実施形態で、所定の点数または優先順位によって分割された領域の大きさは、動的に調整することができる。例えば、図１６に示すように、複数の児童（１０１、１０３、１０５）が歯磨きをする場合、各児童の歯磨き点数を基準に分割された領域（１００ａ、１００ｂ、１００ｃ）の大きさを調整することができる。特に、図１６は、歯磨き点数の順位が第２の児童（６３）が最も高く、次いで第１の児童（６１）及び第３の児童（６５）の順序である場合を例として示している。ここで、上記の歯磨き点数は、例えば、各児童（１０１、１０３、１０５）が使用しているスマート歯ブラシから受信された情報、歯磨きガイドコンテンツが提供される場合、上記の歯磨きガイドコンテンツに合わせて歯磨きをしているかどうかを示す映像分析情報（ ｅ．ｇ．コンテンツ映像と撮影映像の適合程度をもとに算出）、歯磨きを行う時間などをもとに、様々な方法で計算することができる。本例によると、児童の競争心理を刺激することにより、児童に適切な歯磨きを誘導する効果が発生することができる。

今まで、図７ないし図１６を参照して、本発明の実施形態に係る映像アライメント方法について説明した。次に、図１７ないし図２０を参照して、本発明のいくつかの実施形態に係るユーザーターゲティングされたサービス提供画面の構成方法について説明する。

以下で後述する上記サービス提供画面の構成方法は、各段階は、コンピューティング装置によって行うことができる。例えば、上記のコンピューティング装置は、サービス提供装置であることができる。ただし、説明の便宜のために、上記のサービス提供画面の構成方法に含まれる各段階の動作主体は、その記載が省略されることもある。また、上記サービス提供画面の構成方法の各段階は、ユーザーターゲティングされたサービス提供画面の構成ソフトウェアが、プロセッサによって実行されることにより、サービス提供装置で行われるオペレーションであることができる。

まず、図１７ないし図１９ｂを参照して、本発明の第１の実施形態に係るユーザーターゲティングされたサービス提供画面の構成方法について説明する。

図１７は、上記第１の実施形態に係るユーザーターゲティングされたサービス提供画面の構成方法に対する流れ図である。ただし、これは、本発明の目的を達成するための望ましい実施形態であるだけで、必要に応じて、一部の段階が追加されたり削除されたりすることは、もちろんのことである。以下でも、理解の便宜を提供するため、入力映像に含まれる人は複数であることを想定して説明する。ただし、前述したように、本発明の範囲がこれに限定されるものではない。

図１７を参照すると、入力映像から複数の人が認識されて（Ｓ２１０）、認識された複数の人の中で関心人が決定される（Ｓ２３０）。段階（Ｓ２１０、Ｓ２３０）は、前述した段階（Ｓ１１０、Ｓ１３０）と同一するため、重複説明を排除するために省略するようにする。

次に、ユーザーの入力なしに関心人を対象としたサービス提供画面が構成されてディスプレイされる（Ｓ２５０）。例えば、上記の関心人がスマート歯ブラシを所持した児童である場合、歯磨きガイドサービスを提供するために、歯磨きガイドコンテンツをディスプレイすることができる。

一実施形態で、図１８ａに示すように、サービス提供画面を構成することができる。具体的には、関心人（１１１、１１３、１１５）が複数である場合、各分割領域（１１０ａ、１１０ｂ、１１０ｃ）に関心人を基準に映像アライメントが行われた結果映像がディスプレイされ、各関心人に対するコンテンツが各分割領域（１１０ａ、１１０ｂ、１１０ｃ）内の一部の領域（１１２、１１４、１１６）でディスプレイされるように、サービス提供画面を構成することができる。実施形態によって、上記結果映像はディスプレイされず、各コンテンツを各分割領域（１１０ａ、１１０ｂ、１１０ｃ）にディスプレイすることもできる。

一実施形態で、図１８ｂに示すように、複数の関心人（１１１、１１３、１１５）に共通のコンテンツが提供される場合、新規分割領域（１１０ｄ）に上記共通コンテンツをディスプレイすることができる。図１８ｂで新規分割領域（１１０ｄ）は下部に位置することが例として図示されたが、新規分割領域（１１０ｄ）の大きさと位置は、コンテンツの解像度などによっていくらでも変更することができる。

一方、本発明の実施形態によると、関心人のユーザー端末から受信したデータを利用してサービス提供画面を構成することもできる。より詳しくは、ユーザー端末または指定された物体の形状を持つオブジェクトが感知された人が関心人に決定された場合、既に構築された顔データベースまたは識別情報データベースを通じて上記関心人の識別情報（例えば、ＩＤ、名前など）を獲得することができる。そうすれば、上記識別情報を利用して上記関心人が保有した上記ユーザー端末に対する情報が照会され、上記ユーザー端末の情報を用いて、上記ユーザー端末から所定のコンテンツを受信して、サービス提供画面を構成することができる。この際、上記識別情報と対応するユーザー端末の情報は、既に保存された情報であることができる。さらに理解の便宜を提供するために、図１９ａ及び図１９ｂを参照して、本実施形態についてさらに説明する。

図１９ａ及び図１９ｂは、発表者が関心人に決定され、発表者の端末から受信した発表コンテンツがサービス提供装置を通じてディスプレイされる例を示している。以下、図１９ａ及び図１９ｂを参照して説明する。

サービス提供装置が発表する場所に設置されたコンピューティング装置であると想定すれば、上記のサービス提供装置は、入力映像（１２０ａ）から認識された複数の人の中に、指先でポインタ形状の物体（１２２）が感知された人（１２１）を関心人に決定することができる。

関心人が決定されると、図１９ｂに図示されたように、上記サービス提供装置は、関心人（１２１）を基準に映像アライメントが行われた結果映像（１２０ｂ）を生成して、画面上の第１の領域にディスプレイし、関心人（１２１）が所持しているユーザー端末（１３０）から受信された発表コンテンツ（１２３）を、上記画面上の第２の領域にディスプレイすることができる。図１９ｂは、それぞれ独立的に分割された領域に結果映像（１２０ｂ）及びコンテンツ（１２３）がディスプレイされることを例として図示したが、前述したように、サービス画面のレイアウト、ディスプレイ方式などは、いくらでも変わることができる。

図１９ａ及び図１９ｂを参照して説明した例によると、自動的に発表者が関心人に決定され、上記発表者がプレゼンテーション（ｐｒｅｓｅｎｔａｔｉｏｎ）を進めることができるようにカスタマイズ型サービスの画面が自動的に構成される。これにより、ユーザーの利便性が大幅に向上することができる。

今まで、図１７ないし図１９ｂを参照して、本発明の第１の実施形態に係るユーザーターゲティングされたサービス提供画面の構成方法について説明した。以下では、図２０を参照して、本発明の第２の実施形態に係るユーザーターゲティングされたサービス提供画面の構成方法について説明する。

図２０は、上記第２実施形態に係るユーザーターゲティングされたサービス提供画面の構成方法に対する流れ図である。ただし、これは、本発明の目的を達成するための望ましい実施形態であるだけに、必要に応じて、一部の段階が追加されたり削除されたりすることがあるのはもちろんのことである。

図２０を参照すると、入力映像から複数の人が認識されている（Ｓ３１０）。

次に、認識された複数の人の生体信号センサーから生体データを受信する（Ｓ３３０）。ここで、上記生体信号センサーは、例えば、ユーザーの身体に付着された生体信号センサー、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）および／またはユーザー端末に取り付けられた生体信号センサーなどを含むことができる。また、上記生体データは心拍数、血圧、酸素飽和度、ストレス指数、歯磨きができている程度などを含むことができる。

次に、受信された生体データを用いて、上記認識された複数の人の中で関心人が決定される（Ｓ３５０）。例えば、血圧が高い人、歯磨きがうまくできていない人、心拍数が高い人などの生体データが正常の範囲にない人を関心人に決定することができる。

一実施形態で、上記の関心人を決定するために認識された複数の人の映像分析結果をさらに利用することができる。たとえば、健康に異常がある人を関心人に決定する場合、顔の血流量情報、表情情報（例えば、しかめ面）などの分析情報の映像分析を通じて導出し、上記導出された情報をさらに利用して、より正確に関心人を決定することができる。

次に、ユーザーの入力なしに関心人を対象としたサービス提供画面が構成されてディスプレイされる（Ｓ３７０）。たとえば、健康に異常のある人が関心人に決定された場合、運動コンテンツ、特定の病気に対するコンテンツなどを提供することができる。または、歯磨きがうまくできていない人が関心人に決定された場合、歯磨きガイドコンテンツを提供することができる。

今まで、図２０を参照して、本発明の第２の実施形態に係るユーザーターゲティングされたサービス提供画面の構成方法について説明した。上述したところによると、ユーザーの生体信号情報を利用したカスタマイズ型サービスを提供することができる。

今まで図１ないし図２０を参照して説明された本発明の概念は、コンピュータが読み取り可能な媒体上に、コンピュータが読み取り可能なコードとして具現することができる。上記コンピュータで読み取り可能な記録媒体は、例えば、移動型記録媒体（ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙディスク、ＵＳＢストレージ、リムーバブルハードディスク）であったり、固定式記録媒体（ＲＯＭ、ＲＡＭ、コンピュータ完備型ハードディスク）であったりすることがある。上記コンピュータで読み取り可能な記録媒体に記録された上記コンピュータプログラムは、インターネットなどのネットワークを通じて他のコンピューティング装置に送信され、上記の他のコンピューティング装置にインストールすることができ、これにより上記の他のコンピューティング装置で使用することができる。

図面で動作等が特定の順序で図示されているが、必ずしも動作等が図示された特定の順序で、または順次に実行されるべきであったり、またはすべての図示された動作等が実行されたりするから希望する結果が得られると理解してはならない。特定の状況では、マルチタスク、および並列処理が有利かもしれない。また、上記に説明した実施形態でさまざまな構成の分離は、そのような分離が必ず必要なことを理解してはならず、説明されたプログラムコンポーネント及びシステムは、一般的に、単一のソフトウェア製品として一緒に統合されたり、多数のソフトウェア製品としてパッケージされたりすることを理解しなければならない。

以上、添付された図面を参照して、本発明の実施形態等を説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形で実施できることを理解することができる。したがって、以上で記述した実施形態等は、すべての面で例示的なものであり、限定的なものではないものと理解しなければならない。

Claims (8)

1. コンピューティング装置が、入力映像で少なくとも一人を認識する段階、
   前記コンピューティング装置が、前記認識された人のうち、第１の関心人及び第２の関心人を決定する段階、
   前記コンピューティング装置が、前記入力映像に対して前記第１の関心人を基準に映像アライメントを実行した結果映像を第１の領域にディスプレイし、前記第２の関心人を基準に映像アライメントを実行した結果映像を第２の領域にディスプレイする段階、
   前記コンピューティング装置が、前記入力映像で表れる前記第１の関心人及び前記第２の関心人それぞれの行動に基づいて点数を算定する段階、及び
   前記コンピューティング装置が、前記第１の関心人及び前記第２の関心人それぞれに対して算定された点数に基づいて、前記第１の領域及び前記第２の領域のうち少なくとも一つの大きさを調整する段階を含む、
   映像アライメント方法。
2. 前記第１の関心人及び第２の関心人を決定する段階は、
   前記認識された人それぞれの人口統計学的特性、前記認識された人それぞれが所持したオブジェクト、又は前記認識された人それぞれに対して、状況ベースの関心人判定ロジックを適用した結果に基づいて関心人を決定する段階を含む、
   請求項１に記載の映像アライメント方法。
3. 前記第１の関心人及び前記第２の関心人それぞれの行動に基づいて点数を算定する段階は、
   前記第１の関心人に対する映像が既に指定された基準映像に符号する程度を算出する段階、及び
   前記第２の関心人に対する映像が前記の既に指定された基準映像に符合する程度を算出する段階を含む、
   請求項１に記載の映像アライメント方法。
4. 前記第１の領域及び前記第２の領域のうち少なくとも一つの大きさを調整する段階は、
   前記第１の関心人に対して算定された点数が前記第２の関心人に対して算定された点数より高いという判定に基づいて、前記第１の領域の大きさを拡大する段階を含む、
   請求項１に記載の映像アライメント方法。
5. 前記第１の領域及び前記第２の領域のうち少なくとも一つの大きさを調整する段階は、
   前記第１の関心人に対して算定された点数が前記第２の関心人に対して算定された点数より高いという判定に基づいて、前記第２の領域の大きさを縮小する段階を含む、
   請求項１に記載の映像アライメント方法。
6. 前記第１の関心人及び前記第２の関心人それぞれに対して算定された点数をディスプレイする段階をさらに含む、
   請求項１に記載の映像アライメント方法。
7. コンピューティング装置と結合して、
   入力映像で少なくとも一人を認識する段階、
   前記認識された人のうち、第１の関心人及び第２の関心人を決定する段階、
   前記入力映像に対して前記第１の関心人を基準に映像アライメントを実行した結果映像を第１の領域にディスプレイし、前記第２の関心人を基準に映像アライメントを実行した結果映像を第２の領域にディスプレイする段階、
   前記入力映像で表れる前記第１の関心人及び前記第２の関心人それぞれの行動に基づいて点数を算定する段階、及び
   前記第１の関心人及び前記第２の関心人それぞれに対して算定された点数に基づいて、前記第１の領域及び前記第２の領域のうち少なくとも一つの大きさを調整する段階を実行させるために、コンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラム。
8. 入力映像を生成するカメラセンサー、
   前記入力映像で少なくとも一人を認識し、前記認識された人のうち、第１の関心人及び第２の関心人を決定し、前記入力映像に対して前記第１の関心人を基準に映像アライメントを実行し、前記第２の関心人を基準に映像アライメントを実行するプロセッサ、及び
   前記第１の関心人を基準に映像アライメントを実行した結果映像を第１の領域に表示し、前記第２の関心人を基準に映像アライメントを実行した結果映像を第２の領域に表示するディスプレイを含み、
   前記プロセッサは、
   前記入力映像に表れる前記第１の関心人及び前記第２の関心人それぞれの行動に基づいて点数を算定し、前記第１の関心人及び前記第２の関心人それぞれに対して算定された点数に基づいて、前記第１の領域及び前記第２の領域のうち少なくとも一つの大きさを調整する、
   コンピューティング装置。

Images