JP2007174260A

JP2007174260A - ダイジェスト情報生成装置

Info

Publication number: JP2007174260A
Application number: JP2005369077A
Authority: JP
Inventors: Shin Nakade; 慎中手
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-12-22
Filing date: 2005-12-22
Publication date: 2007-07-05

Abstract

【課題】各ハイライト部分の始点及び終点は重要イベントの前後、時間によって区切られるなどしているため、それぞれの抽出されたハイライト部分の始点や終点は視聴者にとって違和感がある。
【解決手段】映像特徴取得手段１１は、元映像保持手段２から入力された要約前映像から、その映像内容の特徴を取得する。ショットチェンジ検出手段１２は要約前映像におけるショットチェンジを全て検出し、検出した各ショットチェンジのうち、開始ショットのショットチェンジは、シーン開始候補として決定する。シーン始点・終点決定手段１３では、映像特徴取得手段１１により得られた条件を基にして、重要イベント情報保持手段３からの重要度の高いイベントから順に、そのイベントを含むハイライトシーンの始点・終点をショットチェンジ検出手段１２によって検出されたショットチェンジ点の中から決定する。
【選択図】図１

Description

本発明はダイジェスト情報生成装置に係り、特にビデオコンテンツの各ハイライトシーンを自動的にダイジェスト情報として抽出するダイジェスト情報生成装置に関する。

現在、ハードディスクレコーダの普及などにより、視聴者が蓄積するビデオコンテンツの量は、加速度的に増大している。しかし、ビデオコンテンツの蓄積量が増大しても、視聴者がそれを視聴する時間が増えているということではない。そのため、ビデオコンテンツの蓄積量が増大するに伴い、すべてのコンテンツを完全に見ることは視聴者にとって益々難しい問題になってくる。従って、視聴者は、ビデオコンテンツに関し一層選択的になり、視聴するビデオコンテンツを選ぶようになる。だが、ここで選択されなかったビデオコンテンツは視聴されることなく消去されてしまうことになる。そこで、ビデオコンテンツを或る程度まで短縮して示すビデオコンテンツの要約であるダイジェスト情報を提供する技法が開発されている。

例えば、スポーツのテレビ中継番組を記録した記録媒体を再生装置で再生して見る場合、視聴者にとって無駄で見る価値が無いと思われる部分が多々みられる。例えば、野球を例にとると、選手が打撃から守備に交代したり、監督が投手に話しかけたり、審判がホームプレートを掃除したり、打者がバットの素振りをしたり、打者が投手を待っていたり、外野席の観客が映されていたり、解説者が話していたりする時間である。ビデオコンテンツの要約は、このような部分を省略することによって、試合の要約を提供するものである。

他のスポーツでも同様に、視聴者にとって必要の無い映像を省略することによって試合の要約を提供することができる。また、先に挙げたような無駄な部分を省略するだけではなく、視聴者が興味を持つと思われる映像の中でも特に重要なイベント（スポーツ番組ならば一際大きな歓声があがるなど）を中心とし、その前後から成るハイライト部分のみを抽出し、それらを集めることによりダイジェスト映像を作成することで、より短い映像により元の試合と同じレベルの興奮を視聴者に提供することができる。

例えば、自動的にダイジェスト映像を作成する方法として、ビデオコンテンツのハイライト部分における重要度を自動的に計算して、この重要度に応じてイベントを抽出し、要約映像を作成する方法が従来知られている（例えば、特許文献１参照）。

特開２００４−１２６８１１号公報

しかしながら、特許文献１記載の従来のダイジェスト情報生成方法では、ハイライト部分の検出はできるものの、各ハイライト部分の始点及び終点は重要イベントの数秒前から数秒後までのように、時間によって区切られるなどしており、それぞれの抽出された部分の始点や終点は視聴者にとって違和感があるものである。

しかし、スポーツ番組においてハイライト部分を抽出して要約を作成する場合、各ハイライト部分は、そのスポーツのルールによって決定される一つのシーンとして抽出されるべきである。ここでいう「シーン」とは、一連の映像中で文脈的に連続する区間を指す。例えば、テニスであればサーブからどちらかに点数が入るまで、野球であれば投球からストライク、ヒット、ホームラン等の結果が分かるまでといった一連の動きである。抽出された各ハイライト部分の映像がこれより短かった場合、視聴者はその映像によって試合に関する十分な情報を得ることができない。一方、抽出された映像が長すぎる場合は、視聴者につまらないシーンを見せてしまうことになる。

本発明は以上の点に鑑みてなされたもので、コンテンツ内容に合わせて要約情報の各ハイライト部分を、視聴に違和感の無い形の一つのシーンとして自動的に切り出すことが可能なダイジェスト情報生成装置を提供することを目的とする。

上記の目的を達成するため、本発明は、時刻情報を含む一連の映像データからダイジェスト情報を生成するダイジェスト情報生成装置であって、映像データから映像内容の特徴を取得する映像特徴取得手段と、映像データから、映像が物理的に区切られた箇所である複数のショットチェンジをその時点の時刻情報と共に検出し、検出した各ショットチェンジのそれぞれについて、そのショットチェンジが映像データ中で文脈的に連続する区間であるシーンの始点であるかを判別して、そのシーン始点をシーン開始候補としてショットチェンジが発生した時刻と対応付けて保持するショットチェンジ検出手段と、映像特徴取得手段によって得られた特徴と、ショットチェンジ検出手段によって得られたショットチェンジが発生した時刻とシーン開始候補とを対応付けた情報のうち、少なくともショットチェンジが発生した時刻とシーン開始候補とを対応付けた情報に基づいて、映像データ中の各ハイライトシーンの始点と終点とをそれぞれ決定するシーン始点・終点決定手段とを有し、シーン始点・終点決定手段により決定された各ハイライトシーンの始点と終点とを少なくとも含むダイジェスト情報を生成することを特徴とする。

この発明では、映像データの特徴と、映像データ中のショットチェンジが発生した時刻を、映像データから検出した各ショットチェンジのうち、シーンの始点のショットチェンジをシーン開始候補として対応付けた情報のうち、少なくともショットチェンジが発生した時刻とシーン開始候補とを対応付けた情報に基づいて、映像データ中の各ハイライトシーンの始点と終点とをそれぞれ決定するようにしたため、映像データ中で文脈的に連続する区間である一連のシーンをダイジェスト情報として生成することができる。

また、上記の目的を達成するため、本発明は、上記のショットチェンジ検出手段を、検出した各ショットチェンジのそれぞれにおいて、ショットチェンジ後のショットから１フレーム選択した画像の所定の画像領域の色情報に基づいて、シーンの開始候補か否かを判別し、判別したそのシーンの開始候補をショットチェンジが発生した時刻と対応付けて保持する構成としたことを特徴とする。この発明では、シーンの開始候補を、ショットチェンジ後のショットから１フレーム選択した画像の所定の画像領域の色情報に基づいて、判別するため、自動的に、かつ、正確にシーンの開始候補の判別ができる。

また、上記の目的を達成するため、本発明は、映像データ中のイベントの起こった時刻とその重要度からなる重要イベント情報を予め記憶している重要イベント情報保持手段を更に有し、シーン始点・終点決定手段は、映像特徴取得手段によって得られた特徴と、ショットチェンジ検出手段によって得られたショットチェンジが発生した時刻とシーン開始候補とを対応付けた情報と、重要イベント情報保持手段からの重要イベント情報とのうち、少なくともショットチェンジが発生した時刻とシーン開始候補とを対応付けた情報と重要イベント情報とに基づいて、重要イベント情報中のイベントを含むシーンをハイライトシーンとし、そのハイライトシーンの始点と終点とをそれぞれ決定することを特徴とする。

この発明では、重要イベント情報が示すイベントを含むシーンをハイライトシーンとして、その始点と終点とを決定するようにしたため、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成することができる。

本発明によれば、少なくともショットチェンジが発生した時刻とシーン開始候補とを対応付けた情報に基づいて、映像データ中の各ハイライトシーンの始点と終点とをそれぞれ決定することにより、映像データ中で文脈的に連続する区間である一連のシーンをダイジェスト情報として生成するようにしたため、各ハイライトシーンを始点及び終点に違和感の無いシーンとして抽出して視聴させることができる。

また、本発明によれば、重要イベント情報が示すイベントを含むシーンをハイライトシーンとして、その始点と終点とを決定することにより、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成するようにしたため、重要度の高いシーンのみを短時間で視聴するなどの、視聴者の視聴形態に合わせたダイジェスト情報の生成ができる。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になるダイジェスト情報生成装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のダイジェスト情報生成装置は、ハイライトシーンを検出するハイライトシーン検出手段１と、元映像（要約前映像）を保持する元映像保持手段２と、重要イベント情報保持手段３と、ハイライトシーン情報を保持するハイライトシーン情報保持手段４と、要約映像を生成し、出力する再生制御手段５と、入力指示手段６とから構成されている。

元映像保持手段２は、ダイジェスト情報が生成される番組の元の映像（要約前映像）を、記録媒体や記憶素子などにその映像の再生時刻を示す時刻情報と共に予め保持している。ハイライトシーン検出手段１は、元映像保持手段２によって保持されている要約前映像と、重要イベント情報保持手段３によって保持されている重要イベント情報（重要イベント情報は、図２に示すように、各重要イベントの発生時刻とその重要度からなる）とから、各イベントを含んだハイライトシーンを抽出し、シーンの開始、終了時刻及びそのシーンの重要度からなるハイライトシーン情報（ダイジェスト情報）を出力する。ここで、シーンとは、一連の映像中で文脈的に連続する区間で、元映像（要約前映像）の番組がスポーツ番組の場合、一つのプレー毎に区切られる。

すなわち、ハイライトシーン検出手段１は、映像特徴取得手段１１と、ショットチェンジ検出手段１２と、シーン始点・終点決定手段１３とからなり、まず、映像特徴取得手段１１により、元映像保持手段２から入力された要約前映像から、その映像内容の特徴を取得する。映像内容の特徴とは、要約前映像の番組がスポーツ番組の場合、そのスポーツがどのような状況下でなされているかなどの情報である（例えば、野球の場合は、内野が土か芝生のどちらの野球場で行われているか、あるいはテニスの場合は、テニスがどのようなテニスコートで行われているかなど）。この映像特徴取得手段１１による特徴取得作業は、後述するように必要な番組と不要な番組があり、不要な場合この映像特徴取得手段１１による特徴取得作業はスキップする。

続いて、ショットチェンジ検出手段１２により要約前映像におけるショットチェンジをその時の時刻情報と共に全て検出する。ショットチェンジとは、カメラの切り替えなどにより、映像が物理的に区切られた時の区切り点を指す。また、ショットチェンジ検出手段１２は、検出した各ショットチェンジのそれぞれについて、文脈的に連続する区間であるシーンの開始ショットのショットチェンジであるかどうかを判別して、開始ショットのショットチェンジであるときには、それをシーン開始候補として決定し、図３に示すようなショットチェンジ時刻とシーン開始候補であるか否かの情報とを対応付けたショットチェンジ情報を生成して保存する。

シーン始点・終点決定手段１３では、映像特徴取得手段１１により得られた条件を基にして重要度の高いイベントから順に、ハイライトシーンの始点・終点をショットチェンジ検出手段１２によって検出されたショットチェンジ点の中から決定する。

ここで、図４のフローチャートと共に、シーン始点・終点決定手段１３の動作について詳細に説明する。まず、シーン始点・終点決定手段１３は、重要イベント情報保持手段３からの図２に示す重要イベント情報の中から、ハイライトシーンの始点・終点が未決定の重要箇所で、最も重要度の高い箇所（イベント）を選択する（図４のステップＳ１１）。もし、同じ重要度のイベントが複数存在する場合は、発生時刻がより後にあるものを優先して選択する。図２では重要度「１２」のものが最も重要度が高いため、その重要イベント発生時刻１２５３７４ｍｓを変数ｉに代入し、その重要イベント発生時刻の画像から遡ってこの重要イベントを含むシーンの始点を探索する（図４のステップＳ１２）。

続いて、上記の変数ｉが示す時刻が、その重要イベントが含まれるシーンの開始候補時刻と一致するかどうか比較し（図４のステップＳ１３）、一致しなければ変数ｉを１ｍｓだけ差し引き（図４のステップＳ１４）、再び上記の変数ｉがシーンの開始候補時刻と一致するかどうか比較する（図４のステップＳ１３）。なお、シーンの開始時刻候補は、各ショットから一枚検出した代表画像の色相、輝度、彩度が、スポーツ毎のシーン開始ショットと一致するかどうかにより決定されている。

上記の動作を繰り返し、重要イベント発生時刻から遡って行きシーン開始候補時刻が見つかった場合、その時刻がシーンの開始時刻となり、変数ｉに代入される（図４のステップＳ１３〜Ｓ１５）。図３のショットチェンジ情報では、上記の重要イベント開始時刻１２５３７４ｍｓの直前のショットチェンジ時刻１１９７５０ｍｓがこのハイライトシーンの開始時刻である。

相撲番組では、長い取り組みのときに、取り組み中にシーン開始ショットが検出される場合がある。ハイライトシーンがそのような取り組み中のシーン開始ショットから始まらないように、検出されたシーン開始ショットの開始前１５秒以内に他のシーン開始ショットがあった場合に、検出されたシーン開始ショットは無視する、という処理を行ってもよい。

重要イベント発生時刻からある程度遡っても、シーン開始ショットが検出できない場合は、シーンが長くなり過ぎることを防ぐために、重要イベント発生時刻からある定められた時間遡った時点でのショットの始点をシーン始点としてもよい。例えば、重要イベント開始時刻からその９０秒前までの間にシーン開始ショットの始点が検出できなければ、９０秒前のショットの始点をシーン開始点にする。また、野球番組の場合は重要イベントの前には見所がさほど多くないため、他のジャンルよりも短い３０秒前までしか遡らない等、番組のジャンルによって遡る時刻を変更することも好適である。

続いて、ハイライトシーンの終点を決定する。こちらは変数ｋを、まず「０」に初期化した後（図４のステップＳ１６）、最も重要度の高い重要イベント発生時刻（図２の場合、１２５３７４ｍｓ）を変数ｊに代入し（図４のステップＳ１７）、その変数ｊの時刻がショットチェンジ時刻に一致するまで１ｍｓずつ進んで行く（図４のステップＳ１８、Ｓ２２）。変数ｊで示す時刻とショットチェンジ時刻とが一致すると、変数ｋを１だけインクリメントし（図４のステップＳ１９）、ｋが３であるかどうか判定し（図４のステップＳ２０）、ｋが３未満の時には、変数ｊがシーン開始時刻候補かどうか判定する（図４のステップＳ２１）。

変数ｊが示す時刻がシーン開始時刻候補でない場合は、ショットチェンジ時刻に一致した回数を示す変数ｋが「３」になった時、すなわち、３度目のショットチェンジがあった場合、そこをハイライトシーンの終点、すなわち、シーン終了時刻とする（図４のステップＳ１８〜Ｓ２３）。図３のショットチェンジ情報では、上記の重要イベント開始時刻１２５３７４ｍｓから時間が進む方向の３度目のショットチェンジ時刻である１３２８４７ｍｓがハイライトシーンの終点となる。

また、３度目のショットチェンジでなくとも、ショットチェンジ点がシーン開始候補点であった場合、そこがシーンの終点とする（図４のステップＳ２１、Ｓ２３）。例えば、図２の重要度「９」、イベント発生時刻２９３５０ｍｓのシーンの終点は、図３に示すように３度目のショットチェンジが起こる９４２１５ｍｓではなく、その前のシーン開始候補点である４０７６９ｍｓとなる。

この方法の他にも、重要イベント発生時刻から一定時間経過後のショットの終点をシーンの終点とする方法もある。例えば、重要イベント開始時刻から５秒後のショットの終点をシーンの終点としてもよい。また、野球番組の場合、重要イベントの後に見所が多いため、他のジャンルよりも長い１０秒後のショットの終点をシーンの終点にする等、番組のジャンルによって経過時間を変更することも好適である。

この様にして、最も重要度の高い重要イベントを含むシーンの始点・終点を決定する。続いて、全てのハイライトシーン（重要箇所）の始点と終点を抽出し終わったかどうか判定し（図４のステップＳ２４）、すべてのハイライトシーンの始点と終点を抽出し終わっていない場合は、これまでに抽出した要約映像の合計時間やシーン数が、予め設定していた条件を満たしたかどうか判定する（図４のステップＳ２５）。ステップＳ２５で条件を満たしていないと判定された場合は、最初のステップＳ１１に戻り、ステップＳ１１以降の処理を再び繰り返す。

また、ステップＳ２４ですべてのハイライトシーンの始点と終点を抽出し終わったと判定された場合、又はすべてのハイライトシーンの始点と終点を抽出し終わっていなくても、ステップＳ２５で所定の条件を満たしていると判定された場合、そこで処理を終了する。

このように、シーン始点・終点決定手段１３では、重要度の高いイベントから順に重要イベント情報に基づきハイライトシーンを全て抽出することができるが、視聴者の好みに合わせて抽出するハイライトシーンの数や、その合計時間を決定することもできる。これにより、重要度の比較的高いシーンのみを短時間で視聴するなど、視聴者の視聴形態に合わせた要約映像を提供することができる。このハイライトシーン数や合計時間は、入力指示手段６を用いることで視聴者が入力することが可能である。

再び図１に戻って説明するに、以上のハイライトシーン検出手段１によって決定されたハイライトシーンの始点・終点及びそのシーンの重要度からなるハイライトシーン情報を、ハイライトシーン情報保持手段４が記録する。また、再生制御手段５は、入力指示手段６を用いて視聴者が指示を与えることで、元映像保持手段２に保持されている元映像とハイライトシーン情報保持手段４により保持されているハイライトシーン情報とから、要約映像であるダイジェスト情報を生成し、出力する。

このようにして自動的に切り出して生成された要約映像であるダイジェスト情報は、コンテンツ内容に合わせたハイライトシーンの映像であるため、視聴に違和感の無い形の一つのシーンとして視聴者が視聴することができる。

次に、本発明の実施例１について、図面と共に説明する。本実施例はハイライトシーン検出手段１を野球番組に適用した実施例であり、図５のフローチャートと共にその動作を説明する。まず、図１のハイライトシーン検出手段１は、元映像保持手段２から野球番組の画像を１フレーム読み込む（図５のステップＳ３１）。前回、色情報を検出してから３００ｍｓ以上経っている場合、映像特徴取得手段１１によってその画像の色情報を検出する。（図５のステップＳ３２）。

野球場には大きく分けて２つの種類が存在する。内野が土のものと芝のものである。この２つでは、図６の様なピッチャーがボールを投げる場面をセンターカメラでピッチャーの背後から撮影しているショットの画像の特徴が大きく異なる。内野が土の球場ではセンターカメラからのショットの下半分の大部分が土の色になっている（図６（ａ））のに対し、内野が芝の球場では土と芝の色が同程度存在する（図６（ｂ））。

映像特徴取得手段１１では、以下の手法で試合が行なわれている球場が、この２種類のうち、どちらであるかを検出する。具体的には、画像の上部４０％を走査し、その中に芝色の画素が３０％以上含まれていないかどうかを検出する。含まれていなかった場合、その画像はセンターカメラから撮影した画像と判断し、この画像の特徴を取得する。この時、画像の下部２５％を走査し、土色の画素が５０％以上存在するかどうかを検出する。また、同様に土色の画素と芝色の画素が２０％以上ずつ存在するかどうかを検出する。土色の画素が５０％以上存在した場合、その画像は内野が土の球場を撮影したものであると判断する。また、土色の画素と芝色の画素が２０％以上ずつ存在した場合、その画像は内野が芝の球場を撮影したものであると判断する。（図５のステップＳ３３）。

続いて、図１のショットチェンジ検出手段１２が、全てのショットチェンジを検出し（図５のステップＳ３４）、検出したそのショットチェンジが起こったかどうかを判断する（図５のステップＳ３５）。ショットチェンジ検出には様々な方法があるが、ここでは３０ｍｓ前の画像との比較によりショットチェンジが起こったかどうかを判断する。現在の画像と３０ｍｓ前の画像の色相及び輝度のヒストグラムを作成し、その相関を求める。ここで、どちらか一方の相関が閾値以下であった場合、それを、ショットチェンジ候補点とする。

続いて、ショットチェンジ候補点の前後から画像を１フレームずつ選択し、その相関を求める。この相関が閾値以下であった場合、このショットチェンジ候補点ではショットチェンジは起こっているとし、ショットチェンジ候補点はショットチェンジ点（シーン開始ショット）であると決定する（図５のステップＳ３５、Ｓ３６）。一方、相関が閾値以上であった場合は、カメラの動きや、カメラの前を人が通ることなどによる、一時的な相関の低下と考え、このショットチェンジ候補点ではショットチェンジは起こっていないとする（図５のステップＳ３５）。

本実施例の野球番組の場合、ステップＳ２４でショットチェンジが検出された場合、土、芝の球場それぞれの条件で、シーン開始候補点であるかどうかを判断する（図５のステップＳ３５）。野球の場合、ピッチャーがボールを投げる場面からバッターがボールを打つ、または打つことができずにストライク、ヒットなどの結果が確定するまでを一つのシーンとする。よって、シーン開始ショットは図６のようなピッチャーがボールを投げる場面をセンターカメラでピッチャーの背後から撮影しているショットとなる。検出された各ショットチェンジ点において、ショットチェンジ後のショットから画像を１フレーム選択し、この代表画像を用いて、このショットがシーン開始ショットであるか否かを判断する。

画像の下部２５％に土色の画素が５０％以上存在するかどうか、及び画像の上部４０％に芝色の画素が３０％以上含まれているかどうかによって、その画像が土の球場のセンターカメラにより撮影された画像かどうかを判断する。同様に、画像の下部２５％に土色の画素と芝色の画素が２０％以上ずつ存在するかどうか、及び上部４０％を走査し、その中に芝色の画素が３０％以上含まれているかどうかによって、その画像が芝の球場のセンターカメラにより撮影された画像かどうかを判断する。センターカメラにより撮影された画像と判断された場合、その画像を含むショットはそれぞれ土、及び芝の球場での試合を撮影した映像のシーン開始ショットであるとし、このショットへのショットチェンジ点を土、芝それぞれの映像のシーン開始候補点とする（図５のステップＳ３６）。

続いて、全ての画像について検出が終わったかどうかチェックし（図５のステップＳ３７）、全ての画像について検出が終わっていない場合、図５のステップＳ３１に戻り、次の画像を読み込む。映像が終了した場合は、シーン始点・終点決定手段１３による重要シーン始点・終点決定処理へと進む（図５のステップＳ３８）。

シーン始点・終点決定手段１３では、映像特徴取得手段１１とショットチェンジ検出手段１２によって得られた情報および、重要イベント情報保持手段３から得た重要イベント情報から、ハイライトシーンの始点・終点を決定する。まず、映像特徴取得手段１１で内野が土の球場とされた画像と内野が芝の球場とされた画像のフレーム数を比較し、多かった方をこの映像の試合が行われている球場の特徴とする。

これにより、ショットチェンジ検出手段１２によって得られた内野が土の場合のシーン開始候補点情報と、内野が芝の場合のシーン開始候補点情報のどちらを用いるかを選択し、選択された方のシーン開始候補点情報から各ハイライトシーンの始点と終点を決定する。ハイライトシーンの始点・終点は、重要イベントの中から重要度が高く時間が後にあるものから順に決定していく。

ハイライトシーンの始点は重要イベントの直前にあるシーン開始候補点とする。なお、視聴者のハイライトシーンについての理解度を向上させるために、重要イベントの直前にあるシーン開始候補点の１つ前のショットチェンジ点をハイライトシーンの始点としてもよい。また、重要イベントの３０秒前までにシーン開始候補点が検出されない場合は、３０秒前のショットの始点をシーン開始点としてもよい。ハイライトシーンの終点は、重要イベントから３回目のショットチェンジが起こった時点、または重要イベントの直後にあるシーン開始候補点とする（図５のステップＳ３８）。また、重要イベントから１０秒経過後のシーンの終点をシーンの終点とする方法もある。

なお、以上に示した割合等の数値は一例であり、別の数値で検出を行なってもよい。また、野球の他にもソフトボールなど、野球と似た構成をしたスポーツ番組のハイライトシーンも同様の手法で抽出することが期待できる。

次に、本発明の実施例２について、図面と共に説明する。本実施例はハイライトシーン検出手段１をテニス番組に適用した実施例であり、本実施例の動作について図５のフローチャートと共に説明する。まず、ハイライトシーン検出手段１は画像を１フレーム読み込む（図５のステップＳ３１）。前回、色情報を検出してから３００ｍｓ以上経っている場合、映像特徴取得手段１１によってその画像の色情報を検出する（図５のステップＳ３２）。

図７（ａ）、（ｂ）に示すようにテニスコートには芝のものや土のもの、その他様々な色のものが存在する。そこで、映像特徴取得手段１１では、以下の手法で試合が行われているテニスコートの色を検出する。まず、色相を黄から緑の範囲の色相、シアン、青、マゼンタ、赤の５種類に分割し、画像の左右２０％ずつを除いた画像領域で、上記の各色のうち、５０％以上使われている色があるかどうかを判定する。続いて、５０％以上使われている色がある場合、画像はその色のテニスコート全景を映したものであるとし、この画像の特徴、つまり５０％以上使われている色を取得する。

続いて、図１のショットチェンジ検出手段１２が、全てのショットチェンジを検出し（図５のステップＳ３４）、検出したそのショットチェンジが起こったかどうかを判断する（図５のステップＳ３５）。ショットチェンジ検出には様々な方法があるが、本実施例も実施例１と同様に、３０ｍｓ前の画像との比較によりショットチェンジが起こったかどうかを判断する。現在の画像と３０ｍｓ前の画像の色相及び輝度のヒストグラムを作成し、その相関を求める。ここで、どちらか一方の相関が閾値以下であった場合、それを、ショットチェンジ候補点とする。

続いて、ショットチェンジ候補点の前後から画像を１フレームずつ選択し、その相関を求める。この相関が閾値以下であった場合、このショットチェンジ候補点ではショットチェンジは起こっているとし、ショットチェンジ候補点はショットチェンジ点（シーン開始ショット）であると決定する（図５のステップＳ３５、Ｓ２６）。一方、相関が閾値以上であった場合は、カメラの動きや、カメラの前を人が通ることなどによる、一時的な相関の低下と考え、このショットチェンジ候補点ではショットチェンジは起こっていないとする（図５のステップＳ３５）。

本実施例のテニス番組の場合、ショットチェンジが検出された場合、各色のテニスコートにおいて、シーン開始候補点であるかどうかを判断する（図５のステップＳ３５）。テニスの場合、ボールをサーブしてからラリーが終了するまでを一つのシーンとする。そこで、シーン開始ショットは図７（ａ）、（ｂ）のようなコート全景が映されているショットとする。検出された各ショットチェンジ点において、ショットチェンジ後のショットから画像を１フレーム選択し、この代表画像を用いて、このショットがシーン開始ショットであるか否かを判断する。

代表画像の左右２０％ずつを除いた領域の色が領域内の５０％以上の画素が、黄から緑の範囲の色相、シアン、青、マゼンタ、赤の５分割された色相のどれかに含まれていた場合、代表画像はその色のテニスコート全景を移したものであるとし、このショットはシーン開始ショットであるとする。このショットへのショットチェンジ点をその色でのシーン開始候補点とする（図５のステップＳ３６）。

図１のシーン始点・終点決定手段１３では、映像特徴取得手段１１とショットチェンジ検出手段１２によって得られた情報、及び重要イベント情報保持手段３から得た重要イベント情報から、ハイライトシーンの始点・終点を決定する。まず、映像特徴取得手段１１で最も多く選ばれた色をこの映像のテニス試合が行われているテニスコートの色とする。これによりショットチェンジ検出手段１２によって得られた各テニスコート色でのショットチェンジ点情報のどれを用いるかを選択し、選択されたショットチェンジ点情報から各重要イベントの始点と終点を決定する。

重要イベントの中でも重要度が高く時間が後にあるものから順にハイライトシーンの始点・終点を決定する。ハイライトシーンの始点は重要イベントの直前にあるシーン開始候補点とする。なお、視聴者のハイライトシーンについての理解度を向上させるために、重要イベントの直前にあるシーン開始候補点の１つ前のショットチェンジ点をハイライトシーンの始点としてもよい。また、重要イベントの９０秒前までにシーン開始候補点が検出されない場合は、９０秒前のショットの始点をシーン開始点としてもよい。ハイライトシーンの終点は、重要イベントから３回目のショットチェンジが起こった時点、または重要イベントの直後にあるシーン開始候補点とする（図５のステップＳ３８）。また、重要イベントから５秒経過後のシーンの終点をシーンの終点とする方法もある。

なお、以上に示した割合等の数値は一例であり、別の数値で検出を行なってもよい。テニスの他にもバレーボールなど、テニスと似た構成をしたスポーツ番組のハイライトシーンも同様の手法で抽出することが期待できる。

次に、本発明の実施例３について、図面と共に説明する。本実施例はハイライトシーン検出手段１をサッカー番組に適用した実施例であり、本実施例の動作について図５のフローチャートと共に説明する。まず、ハイライトシーン検出手段１は画像を１フレーム読み込む（図５のステップＳ３１）。サッカーの場合、殆どの試合は芝のフィールドで行われ、番組によっての違いも殆ど現れないため、映像特徴取得手段１１は用いない。

続いて、図１のショットチェンジ検出手段１２が、全てのショットチェンジを検出し（図５のステップＳ３４）、検出したそのショットチェンジが起こったかどうかを判断する（図５のステップＳ３５）。ショットチェンジ検出には様々な方法があるが、本実施例も実施例１、２と同様に、３０ｍｓ前の画像との比較によりショットチェンジが起こったかどうかを判断する。現在の画像と３０ｍｓ前の画像の色相及び輝度のヒストグラムを作成し、その相関を求める。ここで、どちらか一方の相関が閾値以下であった場合、それを、ショットチェンジ候補点とする。

サッカーの場合、フィールドでパス、ドリブルなどによってボールを回し、シュートへと至る。パスやドリブルなどでボールを回している場面は殆どの場合、フィールド遠景を映している構図となっている。そこで、シーン開始ショットは図８のようなフィールド遠景が映されているショットとする。検出された各ショットチェンジ点において、ショットチェンジ後のショットから画像を１フレーム選択し、この代表画像を用いて、このショットがシーン開始ショットであるか否かを判断する。代表画像の６０％以上の画素が芝の色であった場合、このショットはシーン開始ショットであるとし、このショットへのショットチェンジ点をシーン開始候補点とする（図５のステップＳ３６）。

図１のシーン始点・終点決定手段１３では、ショットチェンジ検出手段１２によって得られた情報、及び重要イベント情報保持手段３から得た重要イベント情報から、ハイライトシーンの始点・終点を決定する。重要イベントの中でも重要度が高く時間が後にあるものから順にハイライトシーンの始点・終点を決定する。ハイライトシーンの始点は重要イベントの直前にあるシーン開始候補点とする。

なお、視聴者のハイライトシーンについての理解度を向上させるために、重要イベントの直前にあるシーン開始候補点の１つ前のショットチェンジ点をハイライトシーンの始点としてもよい。また、重要イベントの９０秒前までにシーン開始候補点が検出されない場合は、９０秒前のショットの始点をシーン開始点としてもよい。ハイライトシーンの終点は、重要イベントから３回目のショットチェンジが起こった時点、または重要イベントの直後にあるシーン開始候補点とする（図５のステップＳ３８）。また、重要イベントから５秒経過後のシーンの終点をシーンの終点とする方法もある。

なお、以上に示した割合等の数値は一例であり、別の数値で検出を行なってもよい。サッカーの他にもラグビー、アメリカンフットボールなど、サッカーと似た構成をしたスポーツ番組のハイライトシーンも同様の手法で抽出することが期待できる。

次に、本発明の実施例４について、図面と共に説明する。本実施例はハイライトシーン検出手段１を相撲番組に適用した実施例であり、本実施例の動作について図５のフローチャートと共に説明する。まず、ハイライトシーン検出手段１は画像を１フレーム読み込む（図５のステップＳ３１）。相撲の場合、全ての取り組みは土でできた土俵で行われ、番組によっての違いも殆ど現れないため、実施例３と同様、映像特徴取得手段１１は用いない。

続いて、図１のショットチェンジ検出手段１２が、全てのショットチェンジを検出し（図５のステップＳ３４）、検出したそのショットチェンジが起こったかどうかを判断する（図５のステップＳ３５）。ショットチェンジ検出には様々な方法があるが、本実施例も実施例１、２、３と同様に、３０ｍｓ前の画像との比較によりショットチェンジが起こったかどうかを判断する。現在の画像と３０ｍｓ前の画像の色相及び輝度のヒストグラムを作成し、その相関を求める。ここで、どちらか一方の相関が閾値以下であった場合、それを、ショットチェンジ候補点とする。

本実施例の相撲番組の場合、１つの取り組みを１つのシーンとする。このシーンは土俵全体を映したショットから始まる事が多い。そこで、相撲番組のシーン開始ショットは図９のような土俵全体を映しているショットとする。検出された各ショットチェンジ点において、ショットチェンジ後のショットから画像を１フレーム選択し、この代表画像を用いて、このショットがシーン開始ショットであるか否かを判断する。代表画像の下部３０％の内、６０％以上の画素が土の色であった場合、このショットはシーン開始ショットであるとし、このショットへのショットチェンジ点をシーン開始候補点とする（図５のステップＳ３６）。

シーン始点・終点決定手段１３では、ショットチェンジ検出手段１２によって得られた情報と重要イベント情報保持手段３から得た重要イベント情報から、ハイライトシーンの始点・終点を決定する。重要イベントの中でも重要度が高く時間が後にあるものから順にハイライトシーンの始点・終点を決定する。ハイライトシーンの始点は重要イベントの直前にあるシーン開始候補点とする。

なお、以上に示した割合等の数値は一例であり、別の数値で検出を行なってもよい。相撲の他にもボクシング等の格闘技など、相撲と似た構成をしたスポーツ番組のハイライトシーンも同様の手法で抽出することが期待できる。

なお、本発明は以上の実施の形態及び実施例に限定されるものではなく、例えば、入力の映像データの内容により自動的にシーンの始点・終点の決定条件を入力指示手段６を用いて変更する構成としてもよく、また、特徴やショットチェンジの判別のパラメータの変更を入力指示手段６により与えることも可能である。

また、本発明は図１のブロック図の各手段や図５のフローチャートの各処理を、コンピュータにより実行させるためのコンピュータプログラムを含むものである。この場合、コンピュータプログラムは、記録媒体に記録されており、記録媒体を介してコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータにダウンロードされてもよいし、更にはコンピュータ内のメモリなどに予め組み込まれていてもよい。

本発明の一実施の形態のブロック図である。図１中の重要イベント情報保持手段により保持されている重要イベント情報の一例を示す図である。図１中のショットチェンジ検出手段により求められたショットチェンジデータの一例を示す図である。図１中のハイライトシーン検出手段による検出処理説明用フローチャートである。図１中のシーン始点・終点決定手段による処理説明用フローチャートである。本発明の実施例１における特徴取得画像及びシーン開始ショットを示す図である。本発明の実施例２における特徴取得画像及びシーン開始ショットを示す図である。本発明の実施例３におけるシーン開始ショットを示す図である。本発明の実施例４におけるシーン開始ショットを示す図である。

符号の説明

１ハイライトシーン検出手段
２元映像保持手段
３重要イベント情報保持手段
４ハイライトシーン情報保持手段
５再生制御手段
６入力指示手段
１１映像特徴取得手段
１２ショットチェンジ検出手段
１３シーン始点・終点決定手段

Claims

時刻情報を含む一連の映像データからダイジェスト情報を生成するダイジェスト情報生成装置であって、
前記映像データから映像内容の特徴を取得する映像特徴取得手段と、
前記映像データから、映像が物理的に区切られた箇所である複数のショットチェンジをその時点の時刻情報と共に検出し、検出した各ショットチェンジのそれぞれについて、そのショットチェンジが前記映像データ中で文脈的に連続する区間であるシーンの始点であるかを判別して、そのシーン始点をシーン開始候補として前記ショットチェンジが発生した時刻と対応付けて保持するショットチェンジ検出手段と、
前記映像特徴取得手段によって得られた特徴と、前記ショットチェンジ検出手段によって得られた前記ショットチェンジが発生した時刻と前記シーン開始候補とを対応付けた情報のうち、少なくとも前記ショットチェンジが発生した時刻と前記シーン開始候補とを対応付けた情報に基づいて、前記映像データ中の各ハイライトシーンの始点と終点とをそれぞれ決定するシーン始点・終点決定手段と
を有し、前記シーン始点・終点決定手段により決定された前記各ハイライトシーンの始点と終点とを少なくとも含むダイジェスト情報を生成することを特徴とするダイジェスト情報生成装置。
前記ショットチェンジ検出手段は、
検出した前記各ショットチェンジのそれぞれにおいて、ショットチェンジ後のショットから１フレーム選択した画像の所定の画像領域の色情報に基づいて、前記シーンの開始候補か否かを判別し、判別したそのシーンの開始候補を前記ショットチェンジが発生した時刻と対応付けて保持することを特徴とする請求項１記載のダイジェスト情報生成装置。
前記映像データ中のイベントの起こった時刻とその重要度からなる重要イベント情報を予め記憶している重要イベント情報保持手段を更に有し、
前記シーン始点・終点決定手段は、前記映像特徴取得手段によって得られた特徴と、前記ショットチェンジ検出手段によって得られた前記ショットチェンジが発生した時刻と前記シーン開始候補とを対応付けた情報と、前記重要イベント情報保持手段からの前記重要イベント情報とのうち、少なくとも前記ショットチェンジが発生した時刻と前記シーン開始候補とを対応付けた情報と前記重要イベント情報とに基づいて、前記重要イベント情報中の前記イベントを含むシーンを前記ハイライトシーンとし、そのハイライトシーンの始点と終点とをそれぞれ決定することを特徴とする請求項１又は２記載のダイジェスト情報生成装置。