JP7130771B2 - 注目情報の処理方法および装置、記憶媒体ならびに電子機器 - Google Patents

Description

＜関連出願の相互参照＞
本願は、出願番号が２０１８１０３７４７２３.６であり、出願日が２０１８年０４月２４日である中国特許出願に基づいて提出されたものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照のために本願に援用される。
本発明は、情報統計の技術分野に関し、特に、注目情報の処理方法および装置、記憶媒体、ならびに電子機器に関する。

テクノロジーの発展に伴い、各企業はさまざまな方法を使用して自身のサービスを推し広めており、より一般的なサービスの推し広め方法は、いくつかのマルチメディアプラットフォームを通じてユーザーに情報を推奨することである。これら情報は、画像形態、音声形態、ビデオ形態などであってよく、広告がその一例である。

推奨情報の爆発的な増加に伴い、推奨情報は精確性に欠けている。ユーザーの気に入らなかった情報を盲目的に展示すると、マルチメディアリソースが浪費されるだけでなく、ユーザーのマルチメディアリソースへのこだわりも低下する。これから分かるように、ユーザーのある推奨情報に対する注目程度は、後続の精確な推奨に対して、重要な参考価値を有する。

上記の技術的問題を解決するために、本発明の実施形態は、注目情報の処理方法および装置、記憶媒体ならびに電子機器を提供する。

本発明の実施形態によって提供される注目情報の処理方法は、
第１コンテンツデータを展示するステップと、
少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップと、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するステップと、を含む。

本発明の実施例において、前記方法は、
統計された注目情報に基づいて、展示待ちの第２コンテンツデータを推奨するステップと、
前記第２コンテンツデータを表示展示するステップをさらに含む。

本発明の実施例において、少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
少なくとも１つの展示対象の視線方向情報を取得し、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップを含む。

本発明の実施例において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するための指示情報を含む。

前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象の視線が第１表示領域に入ったか否かを確定し、前記第１表示領域は、前記第１コンテンツデータの表示装置における表示領域であり、
視線が第１表示領域に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、
視線が第１表示領域に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられる。

本発明の実施例において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含む。

前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
視線が第１表示領域に入った展示対象に対して、前記展示対象の視線方向情報に基づいて、前記展示対象の視線の第１表示領域に投射された目標位置を確定し、前記目標位置の前記第１表示領域に対する位置関係に基づいて、前記展示対象の前記第１コンテンツデータに対する注目程度を確定するステップをさらに含む。

本発明の実施例において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含む。

前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
視線が第１表示領域に入った展示対象に対して、前記展示対象の視線が第１表示領域に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するステップをさらに含む。

本発明の実施例において、前記少なくとも１つの展示対象の視線方向情報を取得するステップは、
少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するステップと、
前記少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報に基づいて、前記少なくとも１つの展示対象の視線方向情報を計算するステップと、を含む。

本発明の実施例において、前記少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するステップは、
少なくとも１つの展示対象の画像を取得するステップと、
第１ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の眼球角度情報を取得するステップと、
第２ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の頭部姿勢情報を取得するステップと、を含む。

本発明の実施例において、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するステップは、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、異なる注目程度に対応する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計するステップを含む。

本発明の実施例において、前記少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
少なくとも１つの展示対象の地理的位置情報を取得し、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップを含む。

本発明の実施例において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するための指示情報を含む。

前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象の位置が、前記表示装置の位置に基づいて確定される前記第１領域範囲に入ったか否かを確定するステップを含み、
前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、
前記少なくとも１つの展示対象の位置が第１領域範囲に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられることを含む。

本発明の実施例において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含む。

前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象に対して、前記展示対象の前記少なくとも１つの展示対象の位置が第１領域範囲に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するステップをさらに含む。

本発明の実施例において、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するステップは、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計するステップを含む。

本発明の実施例において、前記少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報を取得し、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップ含む。

本発明の実施例において、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するステップは、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、異なるインタラクティブ頻度に対応する人数の注目情報を統計するステップを含む。

本発明の実施形態によって提供される注目情報を処理する装置は、
第１コンテンツデータを展示するための表示ユニットと、
少なくとも１つの展示対象の特徴情報を取得するための取得ユニットと、
前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するための確定ユニットと、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するための統計ユニットと、を備える。

本発明の実施例において、前記装置は、
統計された注目情報に基づいて、展示待ちの第２コンテンツデータを推奨するための推奨ユニットをさらに備え、
前記展示ユニットは、第２コンテンツデータを展示する。

本発明の実施例において、取得ユニットは、さらに、少なくとも１つの展示対象の視線方向情報を取得する。

前記前記確定ユニットは、さらに、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

本発明の実施例において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するために用いられる指示情報を含み、
前記確定ユニットは、
前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象の視線が表示装置上の第１コンテンツデータの表示領域である第１表示領域に入ったか否かを確定するための第１の確定サブユニットを備え、視線が第１表示領域に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、視線が第１表示領域に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられる。

本発明の実施例において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含み、
前記確定ユニットは、
視線が第１表示領域に入った展示対象に対して、前記展示対象の視線方向情報に基づいて、前記展示対象の視線の第１表示領域に投射された目標位置を確定し、前記目標位置の前記第１表示領域に対する位置関係に基づいて、前記展示対象の前記第１コンテンツデータに対する注目程度を確定するための第２の確定サブユニットをさらに備える。

本発明の実施例において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含み、
前記確定ユニットは、
視線が第１表示領域に入った展示対象に対して、前記展示対象の視線が第１表示領域に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するための第３の確定サブユニットをさらに備える。

本発明の実施例において、前記取得ユニットは、
少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するための取得サブユニットと、
前記少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報に基づいて、前記少なくとも１つの展示対象の視線方向情報を計算するための計算サブユニットと、を備える。

本発明の実施例において、前記取得サブユニットは、さらに、
少なくとも１つの展示対象の画像を取得し、
第１ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の眼球角度情報を取得し、
第２ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の頭部姿勢情報を取得する。

本発明の実施例において、前記統計ユニットは、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、異なる注目程度に対応する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計する。

本発明の実施例において、前記取得ユニットは、さらに、少なくとも１つの展示対象の地理的位置情報を取得する。

前記確定ユニットは、さらに、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

本発明の実施例において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するために用いられる指示情報を含み、
前記確定ユニットは、
前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象の位置が、前記表示装置の位置に基づいて確定される前記第１領域範囲に入ったか否かを確定するための第４の確定サブユニットをさらに備え、前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、前記少なくとも１つの展示対象の位置が第１領域範囲に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられる。

本発明の実施例において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含み、
前記確定ユニットは、
前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象に対して、前記展示対象の前記少なくとも１つの展示対象の位置が第１領域範囲に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するための第５の確定サブユニットをさらに備える。

本発明の実施例において、前記統計ユニットは、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計する。

本発明の実施例において、前記取得ユニットは、さらに、少なくとも１つの展示対象と第１コンテンツデータとの間のインタラクティブ情報を取得する。

前記確定ユニットは、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

本発明の実施例において、前記統計ユニットは、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、異なるインタラクティブ頻度に対応する人数の注目情報を統計する。

本発明の実施形態によって提供される記憶媒体は、実行可能命令が記憶されており、前記実行可能命令がプロセッサによって実行されると、上述の注目情報の処理方法が実現される。

本発明の実施形態によって提供される電子機器は、
実行可能な命令を記憶するように構成されたメモリと、
前記メモリと通信して前記実行可能命令を実行することによって、上述の注目情報の処理方法を実現するためのプロセッサとを含む。

本発明の実施形態の技術的解決策は、第１コンテンツデータを展示し、少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定し、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行する。本発明の実施形態の技術的解決策を採用すると、第１コンテンツデータに対する注目情報統計が実現され、統計結果を、後続のマルチメディアリソースを割り当てる根拠あるいは影響要素とし、展示対象自身の用件に符合される情報を展示対象に推奨する精確な推奨を実現できる。

本発明の一実施形態のネットワークアーキテクチャ図である。 本発明の実施例に係る注目情報の処理方法の第１の概略フローチャートである。 本発明の実施例に係る注目情報の処理方法の第２の概略フローチャートである。 本発明の実施例に係る注目情報の処理方法の第３の概略フローチャートである。 本発明の実施例に係る注目情報の処理方法の第４の概略フローチャートである。 本発明の実施例に係る注目情報の処理装置の構成の第１の概略図である。 本発明の実施例に係る注目情報の処理装置の構成の第２の概略図である。 本発明の実施例に係る電子機器の構成の概略図である。

以下、添付の図面を参照して、本発明の様々な例示的な実施形態を詳細に説明する。特に明記しない限り、これらの実施形態に記載される構成要素およびステップの相対的な配置、数値式および数値は、本発明の範囲を限定しないことに留意されたい。

同時に、説明を簡単にするために、図面に示されているさまざまな部品のサイズは、実際の比例関係に従って描かれていないことを理解する必要がある。

少なくとも１つの例示的な実施形態の以下の説明は、実際には単に例示的なものであり、本発明およびそのアプリケーションまたは使用に対する制限として機能するものでは決してない。

関連分野の一般的な技術者に知られている技術、方法、および機器については詳細に説明しない場合があるが、必要に応じて、前記技術、方法、および機器を説明書の一部と見なす必要がある。

以下の図面においては、類似の参考番号と文字は類似の項目を示すため、特定の項目が１つの図面で定義されると、後続の図面でさらに説明する必要がないことに注意してください。

本発明の実施形態は、他の多くの汎用または特殊目的のコンピューティングシステム環境または構成で動作することができるコンピュータシステム／サーバーなどの電子機器に適用されることができる。コンピュータシステム/サーバーなどの電子機器での使用に適した、よく知られたコンピューティングシステム、環境、および/または構成の例は、パーソナルコンピュータシステム、サーバーコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップ、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な消費電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、および上記のシステムのいずれかを含む分散型クラウドコンピューティングテクノロジ環境などが含まれますが、これらに限定されない。

コンピュータシステム/サーバーなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステムの実行可能な命令（プログラムモジュールなど）の一般的なコンテキストで説明できる。一般に、プログラムモジュールは、特定のタスクを実行し、特定の抽象データタイプを実装するルーチン、プログラム、対象プログラム、コンポーネント、ロジック、データ構造などを含む。コンピュータシステム/サーバーは、分散型クラウドコンピューティング環境に実現されることができる。分散型クラウドコンピューティング環境で、タスクは、通信ネットワークを介してリンクされたリモート処理装置によって実行される。分散型クラウドコンピューティング環境では、プログラムモジュールは、ストレージデバイスを含むローカルまたはリモートコンピューティングシステムの記憶媒体に配置できる。

図１は、本発明の実施形態における情報のインタラクティブ実行するすべてのハードウェアエンティティの概略図である。図１は、サーバー１１...１ｎ、表示装置２１～２４を含む。表示装置２１～２４は、有線ネットワークまたはワイヤレスネットワークを介してサーバーと情報のインタラクティブを実行する。表示装置は、携帯電話、デスクトップ、ＰC、オールインワン、ＶＲ機器、ＡＲ機器などを介して実現されます。一例において、サーバー１１...１ｎは、ネットワークを介して第１のタイプの端末（例えば広告主が位置する端末、または、広告素材とコンテンツプロモーションを提供する対象など）とインタラクティブし、第１のタイプの端末（例えば広告主が位置する端末、または、広告素材とコンテンツプロモーションを提供する対象など）が配信する広告を提出した後、該当広告はサーバークラスターに記憶される。管理者を追加することによって、第１のタイプの端末（例えば広告主が位置する端末、または、広告素材とコンテンツプロモーションを提供する対象など）によって配信される広告を確認するなどの一連の処理を実行することができる。第１のタイプの端末（広告主が位置する端末、または、広告素材とコンテンツプロモーションを提供する対象など）に対して、表示装置２１～２４が存在する端末は、第２のタイプの端末（例えば通常の展示対象が位置する端末、又は、広告の展示又は露光の対象）と呼ばれることがある。表示装置にインストールされるすべてのアプリケーションまたは指定されたアプリケーション（ゲームアプリケーション、ビデオアプリケーション、ナビゲーションアプリケーションなど）に広告を追加して、より多くの推奨情報を展示対象に展示することができる。

上記の図１の例は、本発明の実施形態を実施するためのシステムアーキテクチャの例にすぎず、本発明の実施形態は、上記の図１に記載のシステム構造に限定されない。システムアーキテクチャに基づいて、本発明の様々な実施形態が提案される。

図２は、本発明の実施例に係る注目情報の処理方法の第１の概略フローチャートである。図２に示されるように、前記注目情報の処理方法は、以下のステップを含む。

ステップ２０１において、第１コンテンツデータを展示する。

本発明の実施例において、第１コンテンツデータは、任意の種類の推奨情報であり得る。前記推奨情報は、静止画像、動的画像、短いビデオ、長いビデオ、インタラクティブゲームなどであり得るが、これらに限定されない。一例において、第１コンテンツデータは、広告であり得る。

本発明の実施例において、表示装置は、一般的な表示スクリーン、オールインワンマシン、プロジェクター、仮想現実（ＶＲ、Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）装置、拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）装置などであり得る。

ステップ２０２において、少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

ここで、展示対象は、ユーザー、ロボット、または、その他のスマートデバイスであり得る。

本発明の実施例において、特徴情報は、展示対象の視線方向情報、展示対象の地理的位置情報、および、展示対象と第１コンテンツデータとの間のインタラクティブ情報のうちの少なくとも１つを含む。

展示対象の視線方向情報を例に挙げると、展示対象の視線は、展示対象が第１コンテンツデータを注目するか否かを表すことができる。展示対象が第１コンテンツデータを注目する場合、展示対象の第１コンテンツデータに対する注目程度と注意時間とをさらに確定することができる。これらの注目情報は、展示対象への第１コンテンツデータを現す効果を推し量ることができる。

ここで、展示対象の視線方向情報によって注目情報が正確に表現されることができるため、展示対象の視線方向情報によって確定された注目情報も展示対象の本来の意図にもっと符合され、このような注目情報が後続の推奨情報の参考となることで、より精確な情報推奨を実現することができる。

展示対象の地理的位置情報を例に挙げると、展示対象の地理的位置情報は、展示対象が表示装置の近くにあるか否かを示すことができ、別の側面から、展示対象が第１コンテンツデータを注目したか否かを表すこともできる。展示対象が第１コンテンツデータを注目した場合、さらに、展示対象の第１コンテンツデータに対する注目程度と注目時間とを確定でき、これら地理的位置情報に基づいて確定される注目情報も、展示対象への第１コンテンツデータを現す効果を推し量るために用いられることもできる。

ここで、展示対象の地理的位置情報は、カメラやナビゲーションポジショニングシステムによって取得されることができるため、非常に便利で迅速に実現されることができ、コストも低く抑えられる。地理的位置情報によって確定される注目情報を後続の推奨情報の参考にすることで、展示対象の推奨用件をほとんど符合させて、推奨情報を現す効果を向上させることができる。

展示対象と第１コンテンツデータとの間のインタラクティブ情報を例に挙げると、展示対象の第１コンテンツデータに対するインタラクティブ(例えば、閲覧動作、ダウンロード動作、賞賛動作、注目動作、クリック動作など)も、展示対象が第１コンテンツデータを注目するか否かを表すことができる。当該展示対象が第１コンテンツデータを注目した場合、さらに、当該展示対象の第１コンテンツデータに対するインタラクティブ頻度(単位時間内でトリガーされるインタラクティブ操作の回数)を確定でき、これらのインタラクティブ情報に基づいて確定される注目情報も、展示対象への第１コンテンツデータを現す効果を推し量ることができる。

ここで、展示対象のインタラクティブ情報は、表示装置または遠隔制御装置によって直接取得されることができ、別途の装置を必要としないため、非常に便利で迅速に実現することができ、コストも低く抑えられる。インタラクティブ情報によって確定される注目情報は、注目情報を正確に表示することができる。このような注目情報を後続の推奨情報の参考として、より精確な情報推奨が実現されることができる。これにより、展示対象の用件に適合させて、推奨情報を現す効果を大幅に向上させることができる。

ここで、異なる特徴情報は、展示対象と第１コンテンツデータとの間の注目情報を異なる次元から推し量ることができる。一例において、少なくとも１つの展示対象と第１のコンテンツデータとの間の注目情報は、１種の特徴情報に基づいて確定されることができる。別の例において、少なくとも１つの展示対象と第１のコンテンツデータとの間の注目情報は、２種または３種の特徴情報に基づいて確定されることができる。

ステップ２０３において、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行する。

例えば、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、異なる注目程度に対応する人数、異なる注目時間に対応する人数、異なるインタラクティブ頻度に対応する人数のうちの少なくとも１つの注目情報を統計する。

オプションとして、前記方法は、統計された注目情報に基づいて、展示待ちの第２コンテンツデータを推奨するステップと、表示装置に第２コンテンツデータを展示するステップと、をさらに含む。

一実施形態において、表示装置に展示されるコンテンツデータは、サーバーまたはクラウドによってランダムに推奨されたものであってもよいし、特定の参考情報に基づいてパーソナライズに推奨されたものであってもよい。一例において、サーバーまたはクラウドによっていかなる参考情報も取得されなかった場合、展示対象に対してランダムに情報を推奨する。別の例において、サーバーまたはクラウドによって参考情報が取得された場合、前記参考情報に基づいて、展示対象に対してパーソナライズされた情報を推奨する。ここで、参考情報は、各コンテンツデータの注目情報について統計を実行することによって取得することができる。

ここで、参考情報は、特定の情報を注目する人数、異なる注目程度に対応する人数、異なる注目時間に対応する人数、または、異なるインタラクティブ頻度に対応する人数であることができるが、これらに限定されない。コンテンツデータの推奨は、これらの参考情報のうちのいずれか２つ以上と併せて実現されてもよい。

例えば、３つの候補情報があり、それぞれ、情報１、情報２、および、情報３である。ある統計期間で、情報１を注目する人数が３０人であり、情報２を注目する人数が２０人であり、情報３を注目する人数が３人である場合、情報１をコンテンツデータとして表示装置に展示する。

例えば、３つの候補情報があり、それぞれ、情報１、情報２、および、情報３である。ある統計期間で、情報１を注目する人数が３０人であり、情報２を注目する人数が３０人であり、情報３を注目する人数が３０人であり、情報１の、注目程度が高レベル注目程度にある人数が４人であり、情報２の、注目程度が高レベル注目程度にある人数が１７人であり、情報３の、注目程度が高レベル注目程度にある人数が１２人である場合、情報２をコンテンツデータとして表示装置に展示する。

例えば、３つの候補情報があり、それぞれ、情報１、情報２、および、情報３である。ある統計期間で、情報１を注目する人数が３０人であり、情報２を注目する人数が３０人であり、情報３を注目する人数が３０人であり、情報１の、注目時間を３分超えた人数が４人であり、情報２の、注目時間を３分超えた人数が１７人であり、情報３の、注目時間を３分超えた人数が１２人である場合、情報２をコンテンツデータとして表示装置に展示する。

例えば、３つの候補情報があり、それぞれ、情報１、情報２、および、情報３である。ある統計期間で、情報１とのインターラクション回数は１０回であり、情報２とのインターラクション回数は１３回であり、情報３とのインターラクション回数は０回である場合、情報２をコンテンツデータとして表示装置に展示する。

図３は、本発明の実施例に係る注目情報の処理方法の第２の概略フローチャートである。図３に示されるように、前記注目情報の処理方法は、以下のステップを含む。

ステップ３０１において、第１コンテンツデータを展示する。

本発明の実施例において、第１コンテンツデータは、任意の種類の推奨情報であり得る。前記推奨情報は、静止画像、動的画像、短いビデオ、長いビデオ、インタラクティブゲームなどであり得るが、これらに限定されない。一例において、第１コンテンツデータは広告であり得る。

本発明の実施例において、表示装置は、一般的な表示画面、オールインワン機、プロジェクター、ＶＲ装置、ＡＲ装置などであり得る。

一実施形態において、表示装置に展示される第１コンテンツデータは、サーバーまたはクラウドによってランダムに推奨されるものであってもよいし、特定の参考情報に基づいてパーソナライズに推奨されたものであってもよい。一例において、サーバーまたはクラウドによっていかなる参考情報も取得されなかった場合、展示対象に対してランダムに情報を推奨する。別の例において、サーバーまたはクラウドによって参考情報が取得された場合、前記参考情報に基づいて、展示対象に対してパーソナライズされた情報を推奨する。ここで、参考情報は、各第１コンテンツデータの注目情報について統計を実行することによって取得することができる。

ステップ３０２において、少なくとも１つの展示対象の視線方向情報を取得し、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

実施形態では、以下の方法に基づいて、少なくとも１つの展示対象の視線方向情報を取得できる。
当該方法は、少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するステップと、
前記少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報に基づいて、前記少なくとも１つの展示対象の視線方向情報を計算するステップと、を含む。

さらに、少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するステップは、
少なくとも１つの展示対象の画像を取得するステップと、
第１ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の眼球角度情報を取得するステップと、
第２ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の頭部姿勢情報を取得するステップと、を含む。

例えば、カメラを利用して、当該カメラがサポートする撮影範囲内の５つの展示対象(展示対象１から展示対象５である)のターゲット画像(顔画像など)Ｐ１、Ｐ２、Ｐ３、Ｐ４、および、Ｐ５を取得できる。各ターゲット画像を第１のニューラルネットワークおよび第２のニューラルネットワークにそれぞれ入力する。Ｐ１を例に挙げると、第１のニューラルネットワークを用いて、Ｐ１の黒目角度推測情報ｅｙｅ１を取得する。第２のニューラルネットワークを用いてＰ１の頭部姿勢推測情報ｈｅａｄ１を取得する。そして、眼球角度予測情報ｅｙｅ１と頭姿勢予測情報ｈｅａｄ１とに基づいて、展示対象１の視線方向情報を算出することができる。Ｐ２～Ｐ５に対しても、同様に、展示対象２から展示対象５の視線方向情報を取得できる。

本発明の実施例において、少なくとも１つの展示対象の視線方向情報に基づいて、少なくとも１つの展示対象と第１コンテンツデータとの間の注目情報を確定する。ここで、注目情報は、以下のうちの少なくとも１つを含み、それぞれ、
１）展示対象が第１コンテンツデータを注目するか否かを指示するために用いられる指示情報、
２）展示対象の第１コンテンツデータに対する注目程度、および、
３）展示対象の第１コンテンツデータに対する注目時間である。

一実施形態において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するための指示情報を含み、従って、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象の視線が、前記第１コンテンツデータの前記表示装置における表示領域である第１表示領域に入ったか否かを確定するステップを含み、視線が第１表示領域に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、視線が第１表示領域に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられる。

例えば、５つの展示対象(展示対象１から展示対象５また)の視線方向情報Ｓ１、Ｓ１、Ｓ３、Ｓ４、Ｓ５を取得する。なお、視線方向情報は、異なる座標系に基づいて異なる表現形態を有することも理解されたい。Ｓ１、Ｓ３が第１コンテンツデータの存在する第１表示領域に入り、Ｓ２、Ｓ４、Ｓ５が第１コンテンツデータの存在する第１表示領域に入らなかった場合、展示対象１と展示対象３は第１コンテンツデータを注目しており、展示対象２、展示対象４、および、展示対象５は第１コンテンツデータを注目していない。

一実施形態において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含み、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、視線が第１表示領域に入った展示対象に対して、前記展示対象の視線方向情報に基づいて、前記展示対象の視線の第１表示領域に投射された目標位置を確定し、前記目標位置の前記第１表示領域に対する位置関係に基づいて、前記展示対象の前記第１コンテンツデータに対する注目程度を確定するステップを含む。

例えば、５つの展示対象(展示対象１から展示対象５)の視線方向情報Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５を取得する。Ｓ１、Ｓ３が第１コンテンツデータの存在する第１表示領域に入った場合、展示対象１と展示対象３は第１コンテンツデータを注目している。展示対象１の場合、展示対象１の第１コンテンツデータに対する注目程度は、Ｓ１が投射する第１表示領域の目標位置Ｔ１から推し量ることができる。一例において、第１表示領域の中心Ｏからの距離が近いほど、注目程度が高い。これにより、展示対象１の第１コンテンツデータに対する注目程度Ｆ１は、Ｔ１からＯまでの距離に反比例され、同様に、展示対象３の第１コンテンツデータに対する注目程度Ｆ３を得ることができる。一実施形態において、注目程度は、いくつかのレベルに定量化することができる。例えば、中心Ｏとの距離が第１の近傍範囲にあるものが高注目レベルであり、中心Ｏとの距離が第２の近傍範囲にあるものが中注目レベル、中心Ｏとの距離が第３の近傍範囲にあるものが低注目レベルである。

一実施形態において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含み、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、視線が第１表示領域に入った展示対象に対して、前記展示対象の視線が第１表示領域に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するステップを含む。

例えば、５つの展示対象(展示対象１から展示対象５)の視線方向情報Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５を取得する。Ｓ１、Ｓ３が第１コンテンツデータの存在する第１表示領域に入った場合、展示対象１と展示対象３は第１コンテンツデータを注目している。展示対象１の場合、展示対象１の第１コンテンツデータに対する注目時間は、Ｓ１が第１表示領域に入った時間Ｔ１である。同様に、展示対象３の場合、第１コンテンツデータに対する注目時間は、Ｓ３が第１表示領域に入った時間Ｔ３である。

本発明の実施例において、展示対象と第１コンテンツデータとの間の注目情報は、前記の情報のうちの１つまたは任意の２つ以上の情報を含むことができる。

ステップ３０３において、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行する。

ステップ３０２に続いて、異なる注目情報は、異なる次元として、後続の情報推奨のための重要な参考を提供することができる。したがって、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、異なる注目程度に対応する人数、異なる注目時間に対応する人数、異なるインタラクティブ頻度に対応する人数のうちの少なくとも１つの注目情報を統計する必要がある。

一例において、統計期間(例えば、３時間)内に、情報１に対して注目情報の統計を行って、情報１を注目する人数が２０人である情報、情報１を注目しており且つ高注目レベルの人数が７人である情報、情報１を注目しており且つ中注目レベルの人数が６人である情報、情報１を注目しており且つ低注目レベルの人数が７人である情報、情報１を注目しており且つ注目時間が第１の時間範囲にある人数が２人である情報、情報１を注目しており且つ注目時間が第２の時間範囲にある人数が５人である情報、および、情報１を注目しており且つ注目時間が第３の時間範囲にある人数が１３人である情報のうちの少なくとも１つの情報を得る。

以上のように統計された異なる情報は、展示対象の第１コンテンツデータに対する注目状態を異なる次元で推し量ることができる。１つまたは複数の上記の情報を参考として、第１コンテンツデータを効果的に現す程度(すなわち、効果的に見られる程度)を推し量ることができる。したがって、後続の情報の精確な推奨のために重要な参考を提供することができる。

本発明の実施例において、展示対象の視線方向情報によって注目情報を正確に表現されることができるため、展示対象の視線方向情報によって確定された注目情報も展示対象の本来の意図にもっと符合され、このような注目情報が後続の推奨情報の参考となることで、より精確な情報推奨を実現することができる。

図４は、本発明の実施例に係る注目情報の処理方法の第３の概略フローチャートである。図４に示されるように、前記注目情報の処理方法は、以下のステップを含む。

ステップ４０１において、第１コンテンツデータを展示する。

本発明の実施例において、第１コンテンツデータは、任意の種類の推奨情報であり得る。前記推奨情報は、静止画像、動的画像、短いビデオ、長いビデオ、インタラクティブゲームなどであり得るが、これらに限定されない。一例において、第１コンテンツデータは広告であり得る。

本発明の実施例において、表示装置は、一般的な表示画面、オールインワン機、プロジェクター、ＶＲ装置、ＡＲ装置などであり得る。

ステップ４０２において、少なくとも１つの展示対象の地理的位置情報を取得し、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

実施形態では、以下の方法に基づいて、少なくとも１つの展示対象の地理的位置情報を取得できる。
当該方法は、少なくとも１つの展示対象の画像を取得するステップと、
第３ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の地理的位置情報を取得する。

別の実施形態では、以下の方法に基づいて、少なくとも１つの展示対象の地理的位置情報を取得できる。
当該方法は、リレーノード（ワイヤレスアクセスノードなど）を介して各展示対象端末のＧＰＳ情報を取得し、少なくとも１つの展示対象の地理的位置情報を確定する。

本発明の実施例において、少なくとも１つの展示対象の地理的位置情報に基づいて、少なくとも１つの展示対象と第１コンテンツデータとの間の注目情報を確定する。ここで、注目情報は、以下のうちの少なくとも１つを含み、それぞれ、
１）展示対象が第１コンテンツデータを注目するか否かを指示するために用いられる指示情報、および、
２）展示対象の第１コンテンツデータに対する注目時間である。

一実施形態において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するための指示情報を含む。このため、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象の位置が、前記表示装置の位置に基づいて確定される前記第１領域範囲に入ったか否かを確定するステップを含み、前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、前記少なくとも１つの展示対象の位置が第１領域範囲に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられる。

例えば、５つの展示対象(展示対象１から展示対象５)の地理的位置情報Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５を取得する。地理的位置情報は、異なる座標系に基づいて異なる表現形態を有することが理解されるべきである。Ｄ１、Ｄ３が第１領域範囲に入り、Ｄ２、Ｄ４、Ｄ５が第１コンテンツデータの存在する第１領域範囲に入らなかった場合、展示対象１と展示対象３は、第１コンテンツデータを注目しており、展示対象２、展示対象４、展示対象５は第１コンテンツデータを注目していない。

一実施形態において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含み、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象に対して、前記展示対象の前記少なくとも１つの展示対象の位置が第１領域範囲に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するステップをさらに含む。

例えば、５つの展示対象(展示対象１から展示対象５)の地理的位置情報Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５を取得する。Ｄ１、Ｄ３が第１領域範囲に入った場合、展示対象１と展示対象３は、第１コンテンツデータを注目している。展示対象１の場合、第１コンテンツデータの時間は、Ｄ１が第１領域範囲に入った時間Ｔ１である。同様に、展示対象３の場合、第１コンテンツデータを注目する時間は、Ｄ３が前記第１領域範囲に入った時間Ｔ３である。

本発明の実施例において、展示対象と第１コンテンツデータとの間の注目情報は、前記の情報のうちの１つまたは任意の２つ以上を含むことができる。

ステップ４０３において、少なくとも１つの展示対象の地理的位置情報を取得し、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

ステップ４０２に続いて、異なる注目情報は、異なる次元として、後続の情報推奨のための重要な参照を提供することができる。したがって、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計する必要がある。

一例において、統計期間（例えば、３時間）で、情報１の注目情報を統計して、情報１を注目する人数が２０人である情報、情報１を注目しており且つ注目時間が第１の時間範囲内にある人数が２人である情報、情報１を注目しており且つ注目時間が第２の時間範囲内にある人数が５人である情報、および、情報１を注目しており且つ注目時間が第３の時間範囲内にある人数が１３人である情報のうちの少なくとも１つの情報を得る。

統計された異なる情報は、展示対象の第１コンテンツデータに対する注目状態を異なる次元で推し量ることができる。１つまたは複数の上記の情報を参照として、第１コンテンツデータを効果的に現す程度(すなわち、効果的に見られる程度)を推し量ることができ、後続の精確な情報推奨のために重要な参照を提供することができる。

本発明の実施例において、展示対象の地理的位置情報をカメラやナビゲーションポジショニングシステムで取得できるため、非常に便利で迅速に実現されることができ、コストも低く抑えられる。地理的位置情報によって確定される注目情報を後続の推奨情報の参考にすることで、展示対象の推奨用件をほとんど符合させて、推奨情報を現す効果を向上させることができる。

図５は、本発明の実施例に係る注目情報の処理方法の第３の概略フローチャートである。図５に示されるように、前記注目情報の処理方法は、以下のステップを含む。

ステップ５０１において、第１コンテンツデータを展示する。

本発明の実施例において、第１コンテンツデータは、任意の種類の推奨情報であり得る。前記推奨情報は、静止画像、動的画像、短いビデオ、長いビデオ、インタラクティブゲームなどであり得るが、これらに限定されない。一例において、第１コンテンツデータは広告であり得る。

本発明の実施例において、表示装置は、一般的な表示画面、オールインワン機、プロジェクター、ＶＲ装置、ＡＲ装置などであり得る。

ステップ５０２において、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報を取得し、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

展示対象の第１コンテンツデータに対するインタラクティブ(例えば、閲覧動作、ダウンロード動作、賞賛動作、注目動作、クリック動作など)も、展示対象が第１コンテンツデータを注目するか否かを表すことができる。当該展示対象が第１コンテンツデータを注目し、さらに当該展示対象の第１コンテンツデータに対するインタラクティブ頻度(単位時間内でトリガーされるインタラクティブ操作の回数)を確定することができる。

一実施形態において、注目情報は、展示対象と第１コンテンツデータとの間のインタラクティブ情報を含む。

例えば、５つの展示対象(展示対象１から展示対象５)が第１コンテンツデータに対するインタラクティブ操作を実行した。統計期間で、展示対象１が第１コンテンツデータに対して操作を行った回数がＮ１であり、展示対象２が第１コンテンツデータに対して操作を行った回数がＮ２であり、展示対象３が第１コンテンツデータに対して操作を行った回数がＮ３であり、展示対象４が第１コンテンツデータに対して操作を行った回数がＮ４であり、展示対象５が第１コンテンツデータに対して操作を行った回数がＮ５である場合、Ｎ１からＮ５は、５つの展示対象と第１コンテンツデータとの間のインタラクティブ情報を表すことができる。これに限らず、インタラクティブ情報は、各展示対象が第１コンテンツデータを操作する時間に従って推し量ることができる。

ステップ５０３において、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行する。

ステップ５０２に続いて、異なる注目情報は、異なる次元として、その後の情報推奨のための重要な参照を提供することができる。したがって、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、異なるインタラクティブ頻度に対応する人数の注目情報を統計する必要がある。

一例では、統計期間(例えば３時間)内に、情報１の注目情報を統計して、情報１とのインターラクションの頻度が第１の頻度範囲にある人数が６人である情報、および、情報１とのインターラクションの頻度が第２の頻度範囲にある人数が２５人である情報を得る。

本発明の実施例において、展示対象のインタラクティブ情報は、表示装置または遠隔制御装置を利用して直接取得することができ、別途の装置を必要としないため、非常に便利で迅速に実現されることができ、コストも低く抑えられる。インタラクティブ情報によって確定される注目情報は、注目情報を正確に表現することができ、このような注目情報を後続の推奨情報の参考として、より精確な情報推奨を実現することができる。したがって、展示対象の用件に適合させて、推奨情報を現す効果を大幅に向上させることができる。

図６は、本発明の実施例に係る注目情報の処理装置の構成の第１の概略図である。図６に示されるように、前記注目情報の処理装置は、
第１コンテンツデータを展示するための表示ユニット６０１と、
少なくとも１つの展示対象の特徴情報を取得するための取得ユニット６０２と、
前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するための確定ユニット６０３と、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するための統計ユニット６０４と、を備える。

当業者は、図６に示される注目情報の処理装置中のユニットの実現機能は、注目情報の処理方法の関連する説明を参照して理解できることを理解すべきである。図６に示される注目情報の処理装置中の各ユニットの機能は、プロセッサ上で動作するプログラムによって実現されることができ、または、特定の論理回路によって実現されることができる。

図７は、本発明の実施例に係る注目情報の処理装置の構成の第２の概略図である。図７に示されるように、前記注目情報の処理装置は、
第１コンテンツデータを展示するための表示ユニット６０１と、
少なくとも１つの展示対象の特徴情報を取得するための取得ユニット６０２と、
前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するための確定ユニット６０３と、
前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するための統計ユニット６０４と、を備える。

一実施形態において、前記装置は、
統計された注目情報に基づいて、展示待ちの第２コンテンツデータを推奨するための推奨ユニット６０５をさらに備え、
前記展示ユニットは、さらに、第２コンテンツデータを表示装置に展示する。

一実施形態において、前記取得ユニット６０２は、さらに、少なくとも１つの展示対象の視線方向情報を取得する。

前記確定ユニット６０３は、さらに、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

一実施形態において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するために用いられる指示情報を含み、前記確定ユニット６０３は、
前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象の視線が表示装置上の第１コンテンツデータの表示領域である第１表示領域に入ったか否かを確定するための第１の確定サブユニット６０３１を備え、視線が第１表示領域に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、視線が第１表示領域に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられる。

一実施形態において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含み、前記確定ユニット６０３は、
視線が第１表示領域に入った展示対象に対して、前記展示対象の視線方向情報に基づいて、前記展示対象の視線の第１表示領域に投射された目標位置を確定し、前記目標位置の前記第１表示領域に対する位置関係に基づいて、前記展示対象の前記第１コンテンツデータに対する注目程度を確定するための前記第２の確定サブユニット６０３２をさらに備える。

一実施形態において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含み、前記確定ユニット６０３は、
視線が第１表示領域に入った展示対象に対して、前記展示対象の視線が第１表示領域に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するための前記第３の確定サブユニット６０３３をさらに備える。

一実施形態において、前記取得ユニット６０２は、
少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するための取得サブユニット６０２１と、
前記少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報に基づいて、前記少なくとも１つの展示対象の視線方向情報を計算するための計算サブユニット６０２２と、を備える。

一実施形態において、前記取得サブユニット６０２１は、さらに、少なくとも１つの展示対象の画像を取得し、
第１ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の眼球角度情報を取得し、
第２ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の頭部姿勢情報を取得する。

一実施形態において、前記統計ユニット６０４は、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、異なる注目程度に対応する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計する。

一実施形態において、前記取得ユニット６０２は、さらに、少なくとも１つの展示対象の地理的位置情報を取得する。

前記確定ユニット６０３は、さらに、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

一実施形態において、前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するために用いられる指示情報を含み、前記確定ユニット６０３は、
前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象の位置が、前記表示装置の位置に基づいて確定される前記第１領域範囲に入ったか否かを確定するための第４の確定サブユニット６０３４をさらに備え、前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目したことを指示するために用いられ、前記少なくとも１つの展示対象の位置が第１領域範囲に入らなかった展示対象の場合には、前記展示対象に対応する指示情報は、前記展示対象が第１コンテンツデータを注目しなかったことを指示するために用いられる。

一実施形態において、前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含み、前記確定ユニット６０３は、
前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象に対して、前記展示対象の前記少なくとも１つの展示対象の位置が第１領域範囲に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するための第５の確定サブユニット６０３５をさらに備える。

一実施形態において、前記統計ユニット６０４は、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計する。

一実施形態において、前記取得ユニット６０２は、さらに、少なくとも１つの展示対象と第１コンテンツデータとの間のインタラクティブ情報を取得する。

前記確定ユニット６０３は、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定する。

一実施形態において、前記統計ユニット６０４は、さらに、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、異なるインタラクティブ頻度に対応する人数の注目情報を統計する。

当業者は、図７に示される注目情報の処理装置中のユニットの実現機能は、注目情報の処理方法の関連する説明を参照して理解できることを理解すべきである。図７に示される注目情報の処理装置中の各ユニットの機能は、プロセッサ上で動作するプログラムによって実現されることができ、または、特定の論理回路によって実現されることができる。

本発明の実施形態は、電子機器をさらに提供する。例えば、電子機器は、移動端末、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、サーバーなどであり得る。図８は、本発明の実施形態における電子デバイスの１つのアプリケーション実施例の構造の概略図である。次に、図８を参照すると、図８は本発明の実施形態の表示装置またはサーバーを実現するための電子機器１５００の構造の概略図を示す。図８に示すように、電子装置１５００は、１つまたは複数のプロセッサおよび通信部品を備える。前記１つまたは複数のプロセッサは、例えば、１つまたは複数の中央処理ユニット（ＣＰＵ）１５０１、および／または、１つまたは複数のグラフィックス処理ユニット（ＧＰＵ）１５１３などである。前記プロセッサは、読み取り専用メモリ（ＲＯＭ）１５０２内の実行可能命令、または、記憶部１５０８からランダムアクセスメモリ（ＲＡＭ）１５０３にロードされる実行可能命令に応じて、さまざまな適切な動作および処理を実行することができる。通信部１５１２は、ネットワークカードを含むことができるが、これに限定されない。前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されない。プロセッサは、読み取り専用メモリ１５０２および／またはランダムアクセスメモリ１５０３と通信して実行可能命令を実行し、バス１５０４を介して通信部１５１２に接続され、通信部１５１２を介して他の目標デバイスと通信することができる。それにより、本発明の実施形態によって提供される任意の方法に対応する動作を完了する。

さらに、ＲＡＭ１５０３は、装置の操作に必要なさまざまなプログラムやデータを記憶することができる。ＣＰＵ１５０１、ＲＯＭ１５０２、および、ＲＡＭ １５０３は、バス１５０４を介して相互に接続される。ＲＡＭ１５０３の場合、ＲＯＭ１５０２は、オプションのモジュールである。ＲＡＭ１５０３は、実行可能命令を記憶するか、または、実行するときにＲＯＭ１５０２に対する実行可能命令の書き込みを実行する。実行可能命令により、プロセッサ１５０１は前記の通信方法に対応する操作を実行する。入力／出力（Ｉ／Ｏ）インターフェース１５０５もバス１５０４に接続される。通信部１５１２は、統合されて設定されてもよいし、複数のサブモジュール（例えば、複数のＩＢネットワークカード）を有し、バスを介してリンクされてもよい。

キーボード、マウスなどを含む入力部１５０６、カソード光線管（ＣＲＴ）、液晶ディスプレイ（ＬＤＣ）などおよびスピーカーなどを含む出力部１５０７、ハードディスクなどを含む記憶部１５０８、およびＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部１５０９が、コンポーネントがＩ／Ｏインターフェース１５０５に接続される。通信部１５０９は、インターネットなどのネットワークを介して通信処理を実行する。また、ドライバ１５１０は、必要に応じてＩ／Ｏインターフェース１５０５に接続される。必要に応じて、磁気ディスク、光ディスク、磁気光学ディスク、半導体メモリなどの取り外し可能な媒体１５１１がドライバ１５１０に取り付けられる。その結果、読み取られたコンピュータプログラムが必要に応じて記憶部１５０８に取り付けられる。

なお、図８に示されるアーキテクチャは、１つのオプションの実現形態であり、具体的な実行プロセスでは、上述の図８の構成要素の数およびタイプは、実際の必要に応じて、選択、削除、増加、または置換することができる。異なる機能部品の設定について、分離可能な設定および統合可能な設定などの実現形態を採用でき、たとえば、ＧＰＵとＣＰＵを分離可能に設定するか、または、ＧＰＵをＣＰＵに統合可能な設定し、通信部を分離可能な設定するか、または、ＣＰＵやＧＰＵに統合可能な設定してもよい。これらの切り替え可能な実施形態は、いずれも本発明の保護範囲内に入った。

特に、本開示の実施形態によれば、上記のフローチャートを参照して説明したプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施形態は、機械読取可能媒体に有形に含まれるコンピュータプログラムを含むコンピュータプログラム製品を含み、コンピュータプログラムは、フローチャートに示された方法を実行するためのプログラムコードを含み、プログラムコードは、本発明の実施形態によって提供される方法のステップを実行するステップに対応する命令を含むことができる。そのような実施形態では、コンピュータプログラムは、通信部１５０９を介してネットワークからダウンロードしてインストールされるか、および／または、取り外し可能媒体１５１１からインストールされる。このコンピュータプログラムが中央処理装置(ＣＰＵ)１５０１によって実行されるとき、本発明の方法で規定された上述した機能が実行される。

本発明の実施形態の注目情報の処理の技術案は、運転者監視、広告分析、ヒューマンコンピュータインタラクション、セキュリティー監視、医療診断、心理学研究などの各方面に応用できる。例えば、運転者監視に適用する場合、本発明の実施形態の注目情報の処理方法または装置は、運転者の視線方向を判断し、その焦点が妥当であるか否か、および、運転行動と一致するか否かを判断して、運転者が気が散ったときに注意を喚起し、安全運転を支援する。また、ヒューマンコンピュータインタラクションに適用する場合には、本発明の実施形態の注目情報の処理方法や装置によって、実現方向を取得し、視線方向と人の目の位置から展示対象の視線の落下点を出して、視線打鍵、視線操作などのヒューマンコンピュータインタラクションを実行することができる。また、防犯カメラに適用する場合には、本実施形態の注目情報の処理方法や装置によって、実現方向を取得し、人の視線方向から注意方向を判断して、その後の行動を予測するようにしてもよい。

本明細書の実施形態は、漸進的に記載されており、各実施形態は、他の実施形態との違いに焦点を合わせており、様々な実施形態間の同じまたは類似な部分を互いに参照することができる。装置およびシステムの実施形態については、方法の実施形態と基本的に対応されるので、説明が比較的簡単であり、関連する点は方法の実施形態の一部を参照されたい。

本発明の方法、装置、および、システムは、多くの方法で実施することができる。例えば、本発明の方法、装置、および、システムは、ソフトウェア、ハードウェア、ファームウェア、または、ソフトウェアとハードウェアとファームウェアとの任意の組み合わせによって実現することができる。上記の方法のステップの順序は、説明するためのものであり、本明細書に記載の方法のステップは、上記で特に説明されていない限り、上記で特に説明された順序に限定されない。さらに、いくつかの実施形態で、本発明は、記録媒体に記録されたプログラムとして実施されることもでき、これらのプログラムは、本発明による方法を実施するための機械可読命令を含む。したがって、本発明は、本発明による方法を実行するためのプログラムを記憶する記録媒体もカバーする。

本発明の説明は、例示および説明のために提供されたものであり、漏れがないわけではないし、また、本発明は開示された形態に限定されるものではない。多くの修正と変化は、当業者にとって明らかである。実施形態の選択および記述は、本発明の原理および実際の応用をより良く説明し、当業者が、本発明を理解することができるように、特定の用途に適した様々な修正を伴う様々な実施形態を設計する。

Claims (13)

1. 注目情報の処理方法であって、
   第１コンテンツデータを展示するステップと、
   少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップと、
   前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するステップと、
   前記少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   前記少なくとも１つの展示対象の視線方向情報を取得し、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップを含み、
   前記注目情報は、前記展示対象が第１コンテンツデータを注目するか否かを指示するための指示情報を含み、
   前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象の視線が第１表示領域に入ったか否かを確定することであって、前記第１表示領域は、前記第１コンテンツデータの表示装置における表示領域であるステップを含み、
   前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含み、
   前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   視線が第１表示領域に入った展示対象に対して、前記展示対象の視線方向情報に基づいて、前記展示対象の視線の第１表示領域に投射された目標位置を確定し、前記目標位置の前記第１表示領域に対する位置関係に基づいて、前記展示対象の前記第１コンテンツデータに対する注目程度を確定するステップをさらに含み、
   前記第１表示領域の中心から前記目標位置までの距離が近いほど、注目程度が高いことと、を含む
   ことを特徴とする注目情報の処理方法。
2. 統計された注目情報に基づいて、展示待ちの第２コンテンツデータを推奨するステップと、
   前記第２コンテンツデータを展示するステップと、をさらに含む
   ことを特徴とする請求項１に記載の注目情報の処理方法。
3. 前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含み、
   前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   視線が第１表示領域に入った展示対象に対して、前記展示対象の視線が第１表示領域に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するステップをさらに含む
   ことを特徴とする請求項１に記載の注目情報の処理方法。
4. 前記少なくとも１つの展示対象の視線方向情報を取得するステップは、
   少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するステップと、
   前記少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報に基づいて、前記少なくとも１つの展示対象の視線方向情報を計算するステップと、を含む
   ことを特徴とする請求項１または３に記載の注目情報の処理方法。
5. 前記少なくとも１つの展示対象の眼球角度情報および頭部姿勢情報を取得するステップは、
   少なくとも１つの展示対象の画像を取得するステップと、
   第１ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の眼球角度情報を取得するステップと、
   第２ニューラルネットワークを利用して前記少なくとも１つの展示対象の画像を処理して、前記少なくとも１つの展示対象の頭部姿勢情報を取得するステップと、を含む
   ことを特徴とする請求項４に記載の注目情報の処理方法。
6. 前記少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   少なくとも１つの展示対象の地理的位置情報を取得し、前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップを含む
   ことを特徴とする請求項１に記載の注目情報の処理方法。
7. 前記注目情報は、展示対象が第１コンテンツデータを注目するか否かを指示するための指示情報を含み、
   前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象の位置が、表示装置の位置に基づいて確定される第１領域範囲に入ったか否かを確定するステップを含む
   ことを特徴とする請求項６に記載の注目情報の処理方法。
8. 前記注目情報は、前記展示対象の前記第１コンテンツデータに対する注目時間をさらに含み、
   前記少なくとも１つの展示対象の地理的位置情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   前記少なくとも１つの展示対象の位置が第１領域範囲に入った展示対象に対して、前記展示対象の前記少なくとも１つの展示対象の位置が第１領域範囲に入った時間を統計し、統計した時間に基づいて、前記展示対象の前記第１コンテンツデータに対する注目時間を確定するステップをさらに含む
   ことを特徴とする請求項７に記載の注目情報の処理方法。
9. 前記少なくとも１つの展示対象の特徴情報を取得し、前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップは、
   前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報を取得し、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間のインタラクティブ情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するステップ含む
   ことを特徴とする請求項１に記載の注目情報の処理方法。
10. 前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するステップは、
    前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対する、前記第１コンテンツデータを注目する人数、異なる注目程度に対応する人数、および、異なる注目時間に対応する人数のうちの少なくとも１つの注目情報を統計するステップを含む
    ことを特徴とする請求項１、請求項３から請求項９のいずれか一項に記載の注目情報の処理方法。
11. 注目情報の処理装置あって、
    第１コンテンツデータを展示するための表示ユニットと、
    少なくとも１つの展示対象の特徴情報を取得するための取得ユニットと、
    前記少なくとも１つの展示対象の特徴情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定するための確定ユニットと、
    前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報に基づいて、前記第１コンテンツデータに対して注目情報の統計を実行するための統計ユニットと、を備え、
    前記取得ユニットは、さらに、前記少なくとも１つの展示対象の視線方向情報を取得し、前記確定ユニットは、さらに、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象と前記第１コンテンツデータとの間の注目情報を確定することと、
    前記注目情報は、前記展示対象が第１コンテンツデータを注目するか否かを指示するための指示情報を含み、前記確定ユニットは、前記少なくとも１つの展示対象の視線方向情報に基づいて、前記少なくとも１つの展示対象の視線が第１表示領域に入ったか否かを確定することであって、前記第１表示領域は、前記第１コンテンツデータの表示装置における表示領域であることと、
    前記展示対象の前記第１コンテンツデータに対する注目程度をさらに含み、前記確定ユニットは、視線が第１表示領域に入った展示対象に対して、前記展示対象の視線方向情報に基づいて、前記展示対象の視線の第１表示領域に投射された目標位置を確定し、前記目標位置の前記第１表示領域に対する位置関係に基づいて、前記展示対象の前記第１コンテンツデータに対する注目程度を確定することと、
    前記第１表示領域の中心から前記目標位置までの距離が近いほど、注目程度が高いことと、を含む
    ことを特徴とする装置。
12. 記憶媒体であって、
    実行可能命令が記憶されており、前記実行可能命令がプロセッサによって実行されると、請求項１から１０のいずれか一項に記載の方法が実現される
    ことを特徴とする記憶媒体。
13. 電子機器であって、
    実行可能な命令を記憶するためのメモリと、
    前記メモリと通信して前記実行可能命令を実行することによって、請求項１から１０のいずれか一項に記載の方法のステップを実現するためのプロセッサと、を備える
    ことを特徴とする電子機器。

Images