[go: up one dir, main page]

JP2013114695A - デジタルコンテンツのメタデータを生成するための方法および装置 - Google Patents

デジタルコンテンツのメタデータを生成するための方法および装置 Download PDF

Info

Publication number
JP2013114695A
JP2013114695A JP2012261482A JP2012261482A JP2013114695A JP 2013114695 A JP2013114695 A JP 2013114695A JP 2012261482 A JP2012261482 A JP 2012261482A JP 2012261482 A JP2012261482 A JP 2012261482A JP 2013114695 A JP2013114695 A JP 2013114695A
Authority
JP
Japan
Prior art keywords
processing
metadata
digital content
processing tasks
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012261482A
Other languages
English (en)
Other versions
JP2013114695A5 (ja
Inventor
Kamphenkel Oliver
カンペンケル オリバー
Theis Oliver
シース オリバー
Ralf Koehler
ケーラー ラルフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013114695A publication Critical patent/JP2013114695A/ja
Publication of JP2013114695A5 publication Critical patent/JP2013114695A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】メタデータの生成が行われている最中に、すでに生成されたメタデータをレビューできるようにする、デジタルコンテンツのメタデータを生成する。
【解決手段】メタデータ生成は、複数の処理タスクに分割されて(30)、その処理タスクは、2以上の処理ノードに割り振られる(31)。2以上の処理ノードによって生成されたメタデータは、収集されて(36)、そして出力ユニット上で可視化される(36)。
【選択図】図4

Description

本発明は、デジタル画像シーケンスのような、デジタルコンテンツのメタデータを生成するための方法および装置に関する。より詳細には、メタデータの生成が行われている最中に、すでに生成されたメタデータをレビューできるようにする、デジタルコンテンツのメタデータを生成するための方法および装置を説明する。
映画フィルムは、我々の文化遺産の一部である。残念ながら、映画フィルムは、擦り傷、埃、泥、染み、磨耗その他の、好ましくないものによって影響を受けることが多い。これらは、通常、フィルム映像の現像、処理、保存、および映写または走査を行う技術的プロセスから生じる。いくつかの稀なケースではあるが、例えば、レンズの綿毛やスキャナガラス面の泥などの、静止した対象物を捕まえる際にも引き起こされる恐れがある。以下におけるこのようなすべての欠点を、単に「擦り傷および泥」と呼ぶこととする。
擦り傷および泥は、映画鑑賞の質や楽しみを損なう。これは、ほとんどの場合、視覚情報の相当量が失われるからではない。実際には、その反対が当てはまり、擦り傷および泥は、余分な量の情報を提供するが、その情報は、全く関連がない。人間の脳は、その視覚の日常経験に基づいて、欠落した関連情報の代わりをするのに非常に有効である。しかし、世の中の物理的な物事に対する脳の経験による通常の見え方や振る舞い方は、影響を受けた映像を見る時にいつも侵害される。例えば、走査または映写中、フィルムに付着した泥は、一方のフレーム内では現れ、他方のフレーム内では消えている。これは、通常、滑らかに現れて、移動し、そして消える対象物についての人間の経験と相反し、異常な視覚的刺激を例外として脳に対処させる。従って、関連がない情報と関連情報とをこのようにして区別することは、視聴者のストレスを増やし、疲れさせる。擦り傷および泥の除去は、視聴者がリラックスして映画の内容に集中するのを保つのに必要であり、従って、どの修復プロセスでも重要な部分である。
好適には、修復は、走査した後、デジタル処理で実行されることである。走査の前に、泥および潜在的な擦り傷を減らすために化学洗浄処理で溶剤を注入する、湿式走査技術があるが、その技術は、とても費用がかかるいくつかの技術的な問題があるために広く使用されていない。さらに、多くの映像はすでに、走査されてデジタル処理でテープに保管されている。
多くの作業面でアーティストを手助けするソフトウェアが市場に出ているが、擦り傷および泥がついた対象物をそれぞれ見つけて除去することによって、デジタルフィルムを手作業で修復するのは、明らかに時間のかかる仕事である。特に、大量の擦り傷か、または泥が付いた古いコンテンツを手で修復するのは、経済的に実行不可能である。これは、商品価値が未知である映像を大量に保管する場合、なおさら不可能である。
擦り傷および泥の検出および除去を試みるアルゴリズムを有する自動修復ソフトウェアの適用は、手による処理の唯一実行可能な代替手段である。今のところ、擦り傷および泥の検出および除去をほぼ自動的に行う、いくつかのソフトウェアおよびハードウェア製品が市販されている。通常、あるパラメータを手で調整することは、検出および除去を微調整するのに必要であり、各場面を個々に調整することもある。処理の後、修復された出力またはその一部は、異なるパラメータを用いて修復を再実行するオプションで、受諾か、または拒否を行わなければならない。これは、調整に時間がかかり、まだ特別に適合できていない重大な場面の品質が十分でないので、満足ではない。擦り傷および泥の検出は、現在完全には解決されていない重要な問題である。検出されないか、または誤って検出される対象物がなおも一定の割合で存在する。
最近では、メタデータ自動駆動のワークフローを使用して、修復プロセスを、例えば、擦り傷および泥がついた対象物などの、対象物の検出と除去とに区別することが提案されている。言い換えれば、第1ステップにおいて、アーチファクトが検出されて、検出されたアーチファクトについての情報は、メタデータのデータベースに保存される。保存されたメタデータは、その後、第2ステップの前にオペレータによってレビューされ、第2ステップにおいて、検出されたアーチファクトは、メタデータのデータベースに保存された情報に基づいて画像から除去される。この手法の難点は、検出プロセスが完了するまでレビューを開始することができないことである。
従って、本発明の目的は、デジタルコンテンツのメタデータを生成するための方法を提案することであり、その方法によって、全部のデジタルコンテンツが分析される前に生成されたメタデータをレビューするのを可能にする。
発明に従って、デジタルコンテンツのメタデータを生成するための方法は、
−メタデータ生成を複数の処理タスクに分割するステップと、
−複数の処理タスクのうちの2以上の処理タスクを2以上の処理ノードに割り当てるステップと、
−2以上の処理ノードによって生成されたメタデータを収集するステップと、
−収集されたメタデータを出力ユニット上に可視化するステップとを備える。
これによって、デジタルコンテンツのメタデータを生成するための装置は、
−メタデータ生成を複数の処理タスクに分割し、かつ複数の処理タスクのうちの2以上の処理タスクを2以上の処理ノードに割り当てるためのプロセッサと、
2以上の処理ノードによって生成されたメタデータを収集するためのデータコレクタと、
収集されたメタデータを出力ユニット上に可視化するための可視化コントローラとを備える。
発明に従った解決手段は、デジタルコンテンツの必要な処理を、例えば、ネットワーククラウド内の、複数の処理ノードに分散することによって、メタデータの即時処理および即時レビューの問題を解決する。処理ノードによって得られた結果は、その後、中央ノードにおいて収集されて、可視化される。このようにして、デジタルコンテンツおよび生成されたメタデータは、処理をバックグラウンドで継続している間に、注釈を用いて(処理速度以下で)再生されるか、または単独でレビューされることができる。デジタルコンテンツの処理および適切なメタデータの生成は、幅広いコンテンツか、または入り組んだ処理アルゴリズムのために、極めて複雑で時間がかかることもあるので、処理タスクを複数の処理ノードに分散し、同時レビューを可能にするのに十分な速さでメタデータを使用可能にすることによって時間を節約できる。また、パラメータのセットアップが処理に必要な場合、異なる設定を迅速にテストすることができる。
有利なことに、収集されたメタデータは、後処理される。処理ノードは、デジタルコンテンツのごく一部だけに機能するので、収集されたメタデータの後処理は、デジタルコンテンツの大部分または全部のデジタルコンテンツまでも考慮に入れることが可能になる。もちろん、収集されたメタデータおよび/またはデジタルコンテンツへの手動ナビゲーションも、生成されたメタデータをレビューするのに適している。
好ましくは、さらなる処理タスクは、レポートされる状態に依存する処理ノードに割り振られる。処理ノードが、自身に割り振られた処理タスクを完了したことをシグナルした時、この処理ノードは、さらなる処理に使用可能である。従ってすべての処理ノードが継続して動作することを確実にする。
好適には、収集されたメタデータに加え、処理タスクの割り振りおよび/または割り振られた処理タスクの現在の処理状態も可視化される。これは、分散された処理の幅広いトラッキングをその処理と同時に行うことを可能にする。
好ましくは、収集されたメタデータの可視化は、さらなるメタデータが読み出される時に更新され、処理タスクの割り振りの可視化は、さらなる処理タスクが割り振られる時に更新され、あるいは割り振られた処理タスクの現在の処理状態の可視化は、処理状態が変わる時に更新される。このようにして、中央ノードが現在の処理状態の最新の可視化を常に提供することを確実にする。
有利なことに、異なる色、形またはマークは、割り振られていないまたは処理されていない処理タスク、割り振られた処理タスクの割り振りおよび処理状態、および生成されたメタデータを表示するのに使用される。さらに、メタデータは、好ましくは、出力ユニット上で可視化するためにクラスタ化される。両方の手段は、人間のレビューワ(reviewer)が、どのように処理タスクが割り振られて処理されるか、そしてどんなメタデータがすでに使用可能であるかを容易に把握できることを確実にする。
好適には、処理タスクは、例えば、映画のフレームまたはチャンクなどの、デジタルコンテンツ部、および/またはアルゴリズムの処理ステップに関わる。言い換えれば、処理ノードは、デジタルコンテンツの異なる部分で同じ動作を実行するか、またはデジタルコンテンツの同じ部分で大規模な動作のうちの1または複数のステップを実行するか、またはその両方を混ぜて実行する。
有利なことに、処理ノードの処理速度および/または処理ノードの蓄積された処理速度が決定される。これによって、処理ノードの性能を処理タスクの割り振りの考慮に入れることが可能になる。例えば、処理速度が速い処理ノードを、要求の多い処理タスクに割り当てることができる一方、性能が低い処理ノードは、要求の少ない処理タスクを受信する。このようにして、処理タスクは、スマートに分散されて、使用可能な機器は、非常に効率的に使用される。さらに、蓄積された処理速度は、メタデータのレビュープロセスの再生速度を制御するのに適している。
上記の発明では、メタデータの生成に関して説明しているが、同じく発明は、メタデータのデジタルコンテンツへの適用、例えば、事前に生成されたメタデータに基づくデジタルコンテンツの自動修復に適している。この場合、メタデータの適用は、複数の処理タスクに分割されて、処理タスクは、処理ノードに割り振られる。処理タスクの割り振りに加えて、必要なメタデータならびにデジタルコンテンツも処理ノードに分散される。処理ノードによって生成された変更されたデジタルコンテンツは、その後、メーザによって収集されて、出力ユニット上で可視化される。
さらに理解を深めるために、本発明を、以下の説明において図面を参照しながらより詳細に説明していく。本発明は、この例示的な実施形態に限定されないこと、および指定された特徴は、添付の特許請求の範囲に定義された通りに、本発明の範囲から逸脱することなく便宜上組み合わされ、および/または変更されることもできることを理解されたい。
データセットを可視化するための方法を示す図である。 図1の方法に従ってデータセットの可視化を示す図である。 発明に従って方法を実装するのに適したネットワークアーキテクチャを概略的に示す図である。 マスタープロセスの実装を概略的に示す図である。 マスタープロセスのユーザインタフェースを示す図である。 マスタープロセスの再生速度を調整するための方法を示す図である。 マスタープロセスを実行するように適合された装置を概略的に示す図である。
まず始めに、大規模なデータセットを可視化するための解決手段を説明していくが、その解決手段は、後で説明するように、好適には、マスタープロセスの監視に使用される。
図1は、データセットを可視化する出力ユニット1の概略的な図である。出力ユニット1は、例えば、TFTディスプレイなどの画面2を含む。もちろん、同じく出力ユニット1は、グラフィカルユーザインタフェース(GUI)のウィンドウであってよい。出力ユニット1は、水平方向に最大解像度Xを有し、その解像度は、画面またはGUIのウィンドウの使用可能な水平ピクセルによって定義される。出力ユニット1は、データセットを可視化する出力信号OSを出すための装置3に結合されている。好適には、装置3は、例えば、パーソナルコンピュータまたはワークステーションユニットまたは同様の、コンピュータである。出力信号OSは、好適には、装置3によって画面2に出されるビデオ信号の一部である。
メタデータ情報、即ち、長さSのメタデータベクトルMが、装置3に入力される。メタデータベクトルMの長さSは、ベクトルが、いくつかのメタデータ要素Sを備えるという意味であり、例えば、いくつかのメタデータ要素Sから成るメタデータのセットを備える。メタデータ要素は、例えば、フレームのコントラストなどの、単一値、または、例えば、コントラストおよび輝度値などの、データのセットであってよい。装置3は、メタデータベクトルMを処理して、出力ユニット1上で可視化するように構成される。メタデータベクトルMは、バー4、5のそれぞれが、例えば、4つの水平ピクセル(2つの黒ピクセルと2つの白ピクセル)を有する、複数のバー4、5として可視化される。一部のバー5は、これらのバー5の基礎を形成するいくつかのメタデータ要素がまだ不足していることを示した、強調表示が使われている(バツ印が付いたピクセルで示す)。
図2は、メタデータベクトルMを処理して可視化するための方法を概略的に示す。第1ステップ10において、出力ユニット1の最大水平解像度Xが決定される。続いて、ステップ11において、バー4、5当たりの水平ピクセルの数Nが、例えば、ユーザ入力コマンドによって決定される。代替としては、バー4、5当たりの水平ピクセルの数Nは、所定の値である。さらにステップ12において、B=FLOOR(X/N)を計算することによって、表示可能な8つのバーの最大数が決定される。そこでのFLOORは、負の無限大方向の丸め演算である。表示可能なバー4,5の最大数Bが分かると、ステップ13において、単一バーにクラスタ化されなければならないメタデータ要素の数は、C=CELL(S/B)によって計算される。そこでのCELLは、正の無限大方向の丸め演算である。メタデータベクトルMの第1のメタデータ要素から始まり、各要素は、それぞれのクラスタに割り当てられる。S/B>0の余り(余り(S,B)>0)がある場合、最後のクラスタは、それ以外のクラスタのサイズよりも小さくなる。ステップ14において、実メタデータが、例えば、レポジトリやネットワークによって、またはオペレータによって読み出されると、ステップ15において、実データは、決定されたクラスタ数にクラスタ化される。オペレータの入力または一般仕様に依存して、ステップ16において、所定の関数、例えば、マックス関数などが、それぞれのクラスタの各メタデータ要素に適用される。ステップ16において関数が適用されると、クラスタ内のまだ使用されていない要素は、無視される。関数の結果はその後、ステップ17において、それぞれのクラスタに割り当てられる。不足している要素をレビューワに警告するために、ステップ18において、完了していないクラスタは、例えば、色、テクスチャ、マーカーなどによってマークされる。最後に、ステップ19において、値がバーの高さで表示される。メタデータベクトルMの要素が変わるたびに、即ち、不足している要素が使用できるようになった時または要素が新しい値を得た時、所望の関数は再度、対応するクラスタに適用されて、表示が更新される。このため、ステップ20において、メタデータベクトルMの要素がモニタされる。有利なことに、要素が変わるたびに表示が更新される。もちろん、例えば、あまりにも頻繁に更新するのを避けるために、要素の定義された最小数が変わった時にのみ、同じく表示を更新することが可能である。また、好適には、方法の残りのステップが実行される前に、要素の最小数が、まず第一に読み出される。このようにして、有意味な表示をオペレータが使用できるようにすることを確実にする。好適には、変更される必要のある要素の最小数および/または最初に読み出される必要のある要素の数は、ユーザによって設定可能である。
以下において、本発明の着想を、フィルム修復プロセスに関連して説明する。もちろん、その着想は、分散したやり方で実行し、しかも表示可能な結果を配信することができる、他のプロセスに同じく適用可能である。
検出とフィルム修復プロセスのレビューステップとを組み合わせるために、受諾可能なレビューに対し検出速度が十分であることを確実にすることが必要である。関連したメタデータを抽出する処理デジタルコンテンツは、コンテンツに適用されるアルゴリズムが高複雑度を有するため、または大量のデジタルコンテンツが原因で、一般にCPUの負担が大きく、時間のかかるタスクである。例えば、毎秒24フレームの90分の映画は、129,600の単独フレームで構成され、それに対するメタデータを処理する必要がある。従って、全処理が分割され、一部のタスクは、ネットワーククラウド内の単独のプロセッサに分散されて、並行して処理が実行される。図3は、適したネットワークアーキテクチャを示す。「マスター」プロセス6は、コンテンツのセットアップ、アルゴリズム、処理などを管理する。異なる処理ノードにおける複数の「ワーカ」プロセス7は、その後マスター6によって割り当てられる処理ジョブを実行する。
以下において、デジタルコンテンツを、例えば、映画のフレームのような、単独ユニットに分割することができて、かつ用いられるアルゴリズムを単独の処理ステップに分割することができると仮定する。
ワーカ7によって実装される手順は、とても単純である。ワーカ7は、マスター6による処理ジョブの割り振りを待ち受ける。1または複数の処理ジョブがワーカ7に割り当てられた時、ワーカ7は、ジョブ(複数)を処理する。ワーカ7の処理速度についての指標(indication)を有する肯定応答は、処理ジョブが終わった時または定義されたタイムアウトの期限が切れた時に、マスター6に送信される。後者は、ワーカ7がまだ有効(alive)であることをマスター6に通知する。
マスタープロセス6は、処理ジョブを異なるワーカプロセス7に提供しなければならない。このため、処理を(最小の)処理ユニットに分割するという解決手段が提案される。例えば、映画のフレームなどの、すべてのコンテンツユニットは、アルゴリズムの処理ステップに分割される。分割を組み合わせることで、処理ジョブをワーカ7にスマートに割り振る。処理ジョブを、いくつかの処理ユニットで構成することができる。一方、最小の処理ユニットだけをワーカ7に割り振ることは、管理オーバーヘッドが大きくなるので、処理があまり効率的でないという不利を被る恐れがある。また、映画フレームの長いシーケンスに対し、アルゴリズムがより効率的に機能する見込みがある。例えば、1つのフレームに適用される動き推定は、少なくとも先行フレームと後続フレームを分析する必要があるだろう。従って、1フレームに対して3フレームを分析しなければならないだろうし、連続10フレームのシーケンスでは、10フレームに対して12フレームのみを分析すればよいので、かなり効率がよくなるだろう。一方、大きすぎる処理ジョブは、処理と同時に起こる(レビュー用の)通常の再生がより困難になるという不利を被るだろう。これらの問題の解決手段は、ワーカ2に割り振られる処理ジョブに対して最小の処理ユニットをアジャイル構成することである。処理ジョブの構成およびサイズは、ワーカ2の性能およびコンテンツシーケンスの有用なクラスタリングに重点が置かれる。ワーカ2に割り振られる次の処理ジョブは、常に、再生およびレビューのために次に必要となる、割り振られていない処理ジョブから開始する。
マスタープロセス6の実装を、図4に概略的に示す。第1ステップ30において、処理は、(最小の)処理ユニットに分割される。このため、デジタルコンテンツ全体は、コンテンツユニットに分割されて、処理アルゴリズムは、(最小の)処理ステップに分割される。同時にメタデータグラフは、すべての処理ユニットを「処理されていない/割り振られていない」とするエントリーで初期化される。次のステップ31において、最初の処理ジョブは、ワーカ7に割り振られる。処理ジョブを、例えば、処理アルゴリズム全体が映画の一部のフレームに適用されるなどの、いくつかの処理ユニットから構成することができる。最初の処理ジョブのすべての処理ユニットに対応するメタデータグラフのエントリーは、その後、「ワーカに割り振られる、、」に設定される。続いて、ステップ32において、処理ユニットまたは処理ジョブに対する肯定応答がワーカXから受信されたかどうかがチェックされる。処理ジョブが全部終わった時、または定義されたタイムフレームの期限が切れた時に、どのワーカも肯定応答を送信する。肯定応答は、現在の処理ジョブの進捗用のエントリーを包含し、それによって、マスタープロセス6がその進捗バーに従って更新するのが可能になる。肯定応答は、ワーカの現在の処理速度用のエントリーも包含する。ワーカXから肯定応答が受信されて、その後、ステップ33において、そのすべてのワーカXの性能値が計算される。マスタープロセス6は、肯定応答のエントリーからおよび/または肯定応答間の自己測定値からすべてのワーカの性能値、例えば、毎秒処理されるフレーム数などを計算する。次のステップ34において、ワーカXが新しい処理ジョブを必要とするかどうかを決定する。全部の処理ジョブを終えた後、ステップ35において、新しい処理ジョブがワーカに割り振られる。ワーカXに割り振られるジョブのサイズは、ワーカXの性能で割られたジョブの最大時間から計算される。これは、ジョブが、そのジョブの最大時間の後に終わることを確実にする。新しい処理ジョブがワーカXに割り振られる時、適切なメッセージがワーカに送信されて、このような処理ジョブのすべての処理ユニットのメタデータグラフのエントリーが「ワーカXに割り振られた」に設定される。最後に、ステップ36において、ワーカXによって提供された新しいメタデータと、マスタープロセス6によって管理されているメタデータのデータベースとが組み合わされる。さらに、メタデータグラフ表現のメタデータ値が決定する。メタデータグラフにおいて、メタデータ値は、例えば、メタデータのプレビュー、メタデータ自体などの、異なる表現を有することができる。決定されたメタデータ表現は、その後、メタデータグラフに挿入される。
マスタープロセスの上記の実装は、メタデータの生成に適しているだけでなく、メタデータのデジタルコンテンツへの適用、例えば、事前に生成されたメタデータに基づくデジタルコンテンツの自動修復にも適している。この場合、メタデータの適用は、処理ノード7に割り振られる、複数の処理タスクに分割される。もちろん、処理タスクの割り振りに加えて、必要なメタデータならびにデジタルコンテンツも、処理ノード7に分散される必要がある。処理ノード7によって生成された変更されたデジタルコンテンツは、その後、マスター6によって収集されて、出力ユニット上で可視化される。
マスタープロセス6のグラフィカルユーザインタフェース40を図5に示す。そのユーザインタフェースは、破線の長方形で示されている、潜在的メタデータ注釈を含む実ビデオフレームのディスプレイ領域41を備える。メタデータグラフのディスプレイ領域42は、フレームの割り振りおよび処理状態ならびにすでに使用可能なメタデータについての情報を与える。情報領域43は、メタデータグラフのディスプレイ領域42の凡例ならびに現在実行されているアルゴリズムについての情報、アクティブなワーカの数、処理速度などを包含する。図5の例において、現在表示されているフレームは、メタデータグラフのディスプレイ領域42において、線で結ばれた人形が強調表示されている。黒いバーは、対応するフレームの実メタデータ値を指し、区切られた(hashed)バーは、まだ割り振られていないフレームを表し、そして白とグレーのバーは、割り振られたフレームを表し、そこでのグレーのバーは、対応する処理ステップが現在実行されていることを意味する。白とグレーのバー内の数字は、処理ステップが割り振られるワーカを指す。
メタデータ処理の結果をトラックするために、コンテンツは、メタデータ注釈を用いて再生される。アルゴリズムによって、コンテンツおよびワーカ速度や処理時間が異なる。従って、再生速度は、再生位置を現在の処理位置近くに保つように調整される必要がある。図6は、再生速度を調整するのに適した方法を示す。第1のステップ50において、現在表示されているフレームが、指定された表示期間にすでに表示されていたかどうかが繰り返しチェックされる。すでに表示されていた場合、ステップ51において、メタデータが、次のフレームに使用可能であるかどうかがチェックされる。使用可能な場合、ステップ52において、次のフレームおよび関連するメタデータが、読み込まれて、表示される。次のステップ53において、現在の再生位置の後に処理されたフレームの数が増えたかどうかがチェックされる。フレーム数が増えた場合、ステップ54において、指定された表示期間は、再生を加速するために短縮される。フレーム数が増えていない場合、ステップ55において、現在の再生位置の後に処理されたフレームの数が減ったかどうかが決定される。フレーム数が減った場合、ステップ56において、指定された表示期間は、再生を減速するために延長される。
マスタープロセス6を実行するのに適用される装置60を、図7に概略的に示す。装置60は、プロセッサ61を備え、そのプロセッサは、メタデータ生成を複数の処理タスクに分割し、かつインタフェース62経由で、複数の処理タスクのうちの2以上の処理タスクを2以上の処理ノード7に割り振る。データコレクタ63は、2以上の処理ノード7によって生成されたメタデータを収集する。可視化コントローラ64は、さらなるインタフェース65経由で収集されたメタデータを、接続されている出力ユニット1上で可視化する。プロセッサ61は、処理ノード7のうちの1または複数が、それらに割り振られたタスクを完了したかどうかを継続してモニタするので、さらなる処理タスクを提供する必要がある。

Claims (15)

  1. デジタルコンテンツのメタデータを生成するための方法であって、
    −メタデータ生成を複数の処理タスクに分割するステップと、
    −前記複数の処理タスクのうちの2以上の処理タスクを2以上の処理ノードに割り振るステップと、
    −前記2以上の処理ノードによって生成されたメタデータを収集するステップと、
    −前記収集されたメタデータを出力ユニット上で可視化するステップと
    を備えることを特徴とする方法。
  2. 前記デジタルコンテンツは、デジタルフィルムであり、および前記メタデータは、前記デジタルフィルム内で検出されるアーチファクトについての情報であることを特徴とする請求項1に係る方法。
  3. 処理ノードが、それにレポートされる状態に依存して、さらなる処理タスクを割り振られるステップをさらに備えることを特徴とする請求項1または2に係る方法。
  4. 処理タスクの前記割り振りおよび/または前記割り振られた処理タスクの現在の処理状態を可視化するステップをさらに備えることを特徴とする請求項1乃至3のうちの1つに係る方法。
  5. さらなるメタデータが読み出される時に前記収集されたメタデータの前記可視化を行うステップと、さらなる処理タスクが割り振られる時に処理タスクの前記割り振りの前記可視化を行うステップと、または処理状態が変わる時に前記割り振られた処理タスクの前記現在の処理状態の前記可視化を行うステップとをさらに備えることを特徴とする請求項1乃至4のいずれかに係る方法。
  6. 異なる色、形またはマークは、割り振られていないまたは処理されていない処理タスク、割り振られた処理タスクの割り振りおよび処理状態、および生成されたメタデータ、を示すのに使用されることを特徴とする先行する請求項のうちの1つに係る方法。
  7. 前記処理タスクは、前記デジタルコンテンツ部および/またはアルゴリズムの処理ステップに関連することを特徴とする先行する請求項のうちの1つに係る方法。
  8. 前記デジタルコンテンツ部は、映画のフレームまたはチャンクであることを特徴とする請求項7に係る方法。
  9. 前記出力ユニット上で可視化するためにメタデータをクラスタ化するステップをさらに備えることを特徴とする先行する請求項のうちの1つに係る方法。
  10. 前記処理ノードの処理速度および/または前記処理ノードの蓄積された処理速度を決定するステップをさらに備えることを特徴とする先行する請求項のうちの1つに係る方法。
  11. 前記蓄積された処理速度に基づいてメタデータのレビュープロセスの再生速度を制御するステップをさらに備えることを特徴とする請求項10に係る方法。
  12. 前記メタデータをレビューするために前記収集されたメタデータおよび/または前記デジタルコンテンツへの手動ナビゲーションのステップをさらに備えることを特徴とする先行する請求項のうちの1つに係る方法。
  13. デジタルコンテンツのメタデータを生成するための装置であって、
    −メタデータ生成を複数の処理タスクに分割し、および前記複数の処理タスクのうちの2以上の処理タスクを2以上の処理ノードに割り振るためのプロセッサと、
    −前記2以上の処理ノードによって生成されたメタデータを収集するためのデータコレクタと、
    −前記収集されたメタデータを出力ユニット上で可視化するための可視化コントローラと
    を備えることを特徴とする装置。
  14. メタデータをデジタルコンテンツに適用するための方法であって、
    −メタデータの前記適用を複数の処理タスクに分割するステップと、
    −前記複数の処理タスクのうちの2以上の処理タスクを2以上の処理ノードに割り振るステップと、
    −メタデータを前記2以上の処理ノードに分散するステップと
    を備えることを特徴とする方法。
  15. −前記2以上の処理ノードによって生成された変更されたデジタルコンテンツを収集するステップと、
    −前記変更されたデジタルコンテンツを出力ユニット上で可視化するステップと
    をさらに備えることを特徴とする請求項14に係る方法。
JP2012261482A 2011-11-30 2012-11-29 デジタルコンテンツのメタデータを生成するための方法および装置 Pending JP2013114695A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11306589.0 2011-11-30
EP11306589.0A EP2600305A1 (en) 2011-11-30 2011-11-30 Method and apparatus for generating metadata for digital content

Publications (2)

Publication Number Publication Date
JP2013114695A true JP2013114695A (ja) 2013-06-10
JP2013114695A5 JP2013114695A5 (ja) 2016-01-21

Family

ID=47143046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012261482A Pending JP2013114695A (ja) 2011-11-30 2012-11-29 デジタルコンテンツのメタデータを生成するための方法および装置

Country Status (5)

Country Link
US (1) US9038089B2 (ja)
EP (2) EP2600305A1 (ja)
JP (1) JP2013114695A (ja)
KR (1) KR20130061094A (ja)
CN (1) CN103218192A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016527617A (ja) * 2013-07-02 2016-09-08 ヒタチ データ システムズ エンジニアリング ユーケー リミテッドHitachi Data Systems Engineering Uk Limited ファイル・システムの仮想化のための方法および装置、ファイル・システムの仮想化のためのデータ・ストレージ・システム、ならびにデータ・ストレージ・システム内で使用するためのファイル・サーバ

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2600311A1 (en) * 2011-11-30 2013-06-05 Thomson Licensing Method and apparatus for visualizing a data set
US9911398B1 (en) * 2014-08-06 2018-03-06 Amazon Technologies, Inc. Variable density content display
US9794511B1 (en) 2014-08-06 2017-10-17 Amazon Technologies, Inc. Automatically staged video conversations
US9819905B1 (en) 2015-05-28 2017-11-14 Amazon Technologies, Inc. Video communication sessions between whitelisted devices
CN114862436A (zh) * 2022-03-14 2022-08-05 山东浪潮通软信息科技有限公司 一种数据预测分析方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265975A (ja) * 1992-03-16 1993-10-15 Hitachi Ltd 並列計算処理装置
JPH10126721A (ja) * 1996-10-18 1998-05-15 Sharp Corp 動画像検索用情報生成装置
US20030190087A1 (en) * 2002-04-05 2003-10-09 Alexander Kobilansky Automatic detection of vertical scratches in digital images
JP2005510894A (ja) * 2001-04-19 2005-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンス中の欠陥を取り除く方法及び装置
JP2005174456A (ja) * 2003-12-11 2005-06-30 Matsushita Electric Ind Co Ltd 編集用コントローラ
JP2006031358A (ja) * 2004-07-15 2006-02-02 Ziosoft Inc ボリュームレンダリング等の画像処理システム
US20060204127A1 (en) * 2005-03-10 2006-09-14 Muammar Hani K Method and apparatus for digital processing of images

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2659999A (en) 1998-02-05 1999-08-23 Post Optical Services, Inc. Image defect identification system
EP1717755B1 (en) * 2005-03-08 2011-02-09 Oculus Info Inc. System and method for large scale information analysis using data visualization techniques
US20060267997A1 (en) * 2005-05-24 2006-11-30 Walls Jeffrey J Systems and methods for rendering graphics in a multi-node rendering system
WO2007029235A2 (en) 2005-09-05 2007-03-15 Algosoft Limited Automatic digital film and video restoration
KR100772388B1 (ko) * 2005-12-21 2007-11-01 삼성전자주식회사 아날로그 시계 형태의 타임 시프트 사용자 인터페이스 방법및 이를 이용한 pvr 장치
WO2008131520A1 (en) 2007-04-25 2008-11-06 Miovision Technologies Incorporated Method and system for analyzing multimedia content
US7760203B1 (en) * 2007-04-30 2010-07-20 Hewlett-Packard Development Company, L.P. Graphic color-pixel-based visual-analytic representations for datasets
US8312464B2 (en) * 2007-08-28 2012-11-13 International Business Machines Corporation Hardware based dynamic load balancing of message passing interface tasks by modifying tasks
US20090178078A1 (en) * 2008-01-04 2009-07-09 At&T Delaware Intellectual Property, Inc. Systems, methods and computer products for indicators in an interactive program guide
JP5014244B2 (ja) * 2008-05-02 2012-08-29 キヤノン株式会社 映像配信装置及びその制御方法、映像配信システム、プログラム
US20100223649A1 (en) 2009-03-02 2010-09-02 Jason Robert Suitts Automated Assessment of Digital Video Encodings
US8321870B2 (en) * 2009-08-14 2012-11-27 General Electric Company Method and system for distributed computation having sub-task processing and sub-solution redistribution
US8473577B2 (en) * 2010-10-13 2013-06-25 Google Inc. Continuous application execution between multiple devices
US20130013328A1 (en) * 2010-11-12 2013-01-10 John Jospeh Donovan Systems, methods, and devices for an architecture to support secure massively scalable applications hosted in the cloud and supported and user interfaces
CN103210636A (zh) 2010-11-16 2013-07-17 汤姆逊许可公司 胶片自动恢复的方法和装置
EP2485190A1 (en) 2011-02-04 2012-08-08 Thomson Licensing Adapting the resolution of a graphic representation of metadata
US8570318B2 (en) * 2011-08-25 2013-10-29 Intel Corporation Collaborative graphics rendering using mobile devices to support remote display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265975A (ja) * 1992-03-16 1993-10-15 Hitachi Ltd 並列計算処理装置
JPH10126721A (ja) * 1996-10-18 1998-05-15 Sharp Corp 動画像検索用情報生成装置
JP2005510894A (ja) * 2001-04-19 2005-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンス中の欠陥を取り除く方法及び装置
US20030190087A1 (en) * 2002-04-05 2003-10-09 Alexander Kobilansky Automatic detection of vertical scratches in digital images
JP2005174456A (ja) * 2003-12-11 2005-06-30 Matsushita Electric Ind Co Ltd 編集用コントローラ
JP2006031358A (ja) * 2004-07-15 2006-02-02 Ziosoft Inc ボリュームレンダリング等の画像処理システム
US20060204127A1 (en) * 2005-03-10 2006-09-14 Muammar Hani K Method and apparatus for digital processing of images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016527617A (ja) * 2013-07-02 2016-09-08 ヒタチ データ システムズ エンジニアリング ユーケー リミテッドHitachi Data Systems Engineering Uk Limited ファイル・システムの仮想化のための方法および装置、ファイル・システムの仮想化のためのデータ・ストレージ・システム、ならびにデータ・ストレージ・システム内で使用するためのファイル・サーバ

Also Published As

Publication number Publication date
EP2600305A1 (en) 2013-06-05
EP2600306A1 (en) 2013-06-05
KR20130061094A (ko) 2013-06-10
US9038089B2 (en) 2015-05-19
US20130139171A1 (en) 2013-05-30
CN103218192A (zh) 2013-07-24

Similar Documents

Publication Publication Date Title
JP2013114695A (ja) デジタルコンテンツのメタデータを生成するための方法および装置
CA2636858C (en) Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
CA2478671C (en) Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
CN113691801B (zh) 基于视频图像分析的视频监控设备故障监测方法及系统
JP2018005069A5 (ja)
JP6124568B2 (ja) データセットを可視化する方法及び装置
EP3454202B1 (en) Frame drop processing method and system for played ppt
US20020154828A1 (en) User interface for interactive removal of defects in an image sequence
JP5095263B2 (ja) 画像評価装置、および画像評価プログラム
WO2026016869A1 (zh) 信息获取方法、装置、电子设备及计算机可读存储介质
JP5873099B2 (ja) フィルムを自動的に修復する方法および装置
US9219868B2 (en) Image processing device, image processing method, and program
JP2020184225A (ja) 情報処理装置、情報処理方法
TW201246128A (en) Isolating background and foreground objects in video
TW201322254A (zh) 數位內容所用元資料之產生方法及其裝置,以及元資料應用於數位內容之方法
CN117950927B (zh) 一种流畅度确定方法、装置、计算机设备及存储介质
JP2020046744A (ja) 画像処理装置、背景画像の生成方法およびプログラム
TWI682318B (zh) 依據特徵區域判斷監測區域以進行監控之系統及方法
KR20250057510A (ko) 고속 및 광역 반사 필름에 대한 멀티 프로세싱 기반의 불량 이미지 수집 장치 및 방법
CN119790429A (zh) 一种视频脏点检测的方法、设备及电子设备
JP2021196656A5 (ja)
JP2011023855A (ja) 画像処理装置、画像処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170605