JP4577085B2 - 映像処理装置、映像処理方法 - Google Patents

Description

本発明はテレビジョン放送等の受信映像や、再生映像についての処理を行う映像処理装置、映像処理方法に関する。

特開平１０−１６４５２５号公報 特開平１０−１６４５２４号公報 特開平９−４４９３２号公報

今日、さまざまな情報が放送波などのストリーム型データを介して伝えられ、リアルタイムで視聴されたり、ビデオレコーダなどの記録装置を用いて録画され、再生されて視聴されてる。
特にテレビジョン放送番組では、多様な番組形態により視聴者が知りたい情報を提供することが行われる。例えば街の情報、名所・観光地・温泉等の情報、各種の分野の店舗の情報、イベントの情報、商品の情報などを、番組内で紹介することも多い。説明上、このような番組を情報番組と呼ぶこととする。
視聴者は、リアルタイムでテレビジョン放送されている情報番組を見たり、或いはビデオレコーダに一旦録画した情報番組を再生させて見ることで、番組内で紹介された情報を知ることができる。

上記のような情報番組は、動画と音声により視聴者に対して詳しくかつ分かり易く情報を伝えるという点で優れている。例えばラーメン屋を特集した情報番組であれば、ラーメン屋の外観、店内、出されるラーメン、出演者による感想、店員のインタビューなど、視聴者が知りたい情報が効果的に提供される。

例えば視聴者は、このような情報番組で提供された情報を覚えておきたい場合は、その番組をビデオレコーダで録画しておいたり、或いは過去に録画した番組を再生しているのであれば、その録画内容を消去しないでおく。つまり番組を録画して保存しておけば、知りたいときに知りたい情報を確認できる。
ここで情報番組で提供される情報の保存を考えると、ドラマなどとは異なり、ストリーム型データ（放送内容としての動画映像）を全て保存しておかなくとも十分であるという事情がある。即ち情報番組を見た後に、視聴者にとって保存しておきたい情報、後の時点で確認したい情報は、放送された内容の一部であることが多い。例えば上記ラーメン屋特集の番組についていえば、紹介される店の店名、外観、住所などである。
すると、情報番組を録画して保存しておくことは、視聴者が知りたい情報に比して莫大な情報量を保存することになり、また知りたい情報を探すのが困難になる。
つまり、情報番組としての動画映像自体を保存しておくことは、ビデオレコーダにおける記憶容量を不必要に圧迫することにもなり、また、放送された情報を知りたいときには、録画した番組内容を再生させて知りたい情報を探さなければならず、手間や時間がかかるということになる。
もちろん知りたい情報を一覧してみることもできない。例えばラーメン屋特集番組で紹介された各ラーメン屋の情報を一覧表示させて見ることもできない。

一方、放送番組のようなストリーム型データ内の、上記のような情報を扱いやすくしたり、取り出し保存しやすくするには、表示された映像を見ながら、別の媒体（紙、コンピュータ、ＰＤＡ、写真など）に記録しなおすことが必要であった。
これらの方法は、共通して、該当する情報を記録する前にしかるべき準備が必要であるという点で面倒であり、またリアルタイムで放送を視聴しているときには間に合わない場合もある。たとえば、紙であれば紙と筆記用具を用意することが必要、コンピュータであれば電源を入れてエディタを起動し、文字入力できるような状態にすることが必要、写真であればカメラの電源をいれて撮影可能な状態にすることが必要・・・、などである。
加えて、これらの中で、ストリーム型データとして伝えられた情報を紙やコンピュータなどに文字情報として記録しなおす場合は、情報として有用な画像情報が欠落する。例えばラーメン屋の外観の画像情報が欠落するという不具合がある。
カメラにより画面を撮影し、写真（静止画データ）として記録すれば、画像情報は保存されるが、撮影された画像が情報として意味を持つように注意して撮影する必要があるという面倒或いは困難性がある。たとえば、画面に正対して撮影するなど十分な注意や技術が必要である。

いずれにしても、ストリーム型データとして提供される情報、例えば情報番組の放送内容としての情報については、ユーザーサイドで面倒なく、容量的な負担も小さく、さらには情報の取り扱いが容易な状態で保存しておくことは困難であった。
そこで本発明は、ストリーム型データとして提供される情報について、良好な保存性や取り扱いの容易性を実現することを目的とする。

本発明の映像処理装置は、入力されたキャプチャ指示に応じて、表示装置部で表示させるストリーム映像データにおける１フレーム分の映像データを取り込む映像データキャプチャ手段と、上記映像データキャプチャ手段が取り込んだ映像データに関するデータを取得するデータ取得手段と、上記映像データキャプチャ手段で取り込んだ映像データに関連づける付加データを生成する付加データ生成手段と、上記映像データキャプチャ手段で取り込んだ映像データと、上記付加データ生成手段で生成した付加データとを対応させて、所定の記憶部に記憶させる記憶制御手段と、上記記憶制御手段によって上記記憶部に記憶させた映像データについての一覧画像データを生成し、上記表示装置部に対して出力する一覧表示制御手段と、を備え、上記データ取得手段は、上記映像データキャプチャ手段が取り込んだ映像データに記録されているコード情報を検出し、該コード情報を解析してデコードを行い、コードとして記録された情報を抽出してデータとして取得し、上記付加データ生成手段は、上記データ取得手段で取得されたデータを上記映像データキャプチャ手段で取り込んだ映像データに対応する上記付加データとして生成する。
上記映像データキャプチャ手段は、上記取り込んだ映像データに重畳されている電子番組情報を分離し取り込むとともに、上記データ取得手段は、上記電子番組情報から抽出される文字情報に基づいてデータを取得する。
上記データ取得手段は、検出されたコード情報によって記録された情報が付加データとして用いる情報として、該コード情報に記録された情報からテキストデータ、ＵＲＬデータが得られた場合に付加データとして抽出が可能か否かで判断する。
さらに、有線または無線によりネットワーク接続された外部機器との送受信制御手段を備え、上記送受信制御手段は、上記外部機器との間で映像データ、及び該外部機器の制御信号の送受信を行う。
上記映像データキャプチャ手段は、上記送受信制御手段を介して、上記外部機器から送信される映像データを取り込む。
上記送受信制御手段は、上記記憶制御手段によって上記記憶部に記憶させた映像データについて上記外部機器に対して出力する。
また、上記一覧表示制御手段は、上記記憶部に記憶させた映像データについて、上記付加データに基づいて検索又はソートを行い、該検索又はソートの結果に基づいて上記一覧画像データを生成する。
またユーザー操作に用いられる操作入力手段をさらに備え、上記付加データ生成手段は、上記操作入力手段の操作によって入力されたデータを用いて上記付加データを生成する。この場合、上記操作入力手段の操作によって入力されるデータは例えば文字データである。
またユーザー操作に用いられる操作入力手段をさらに備え、上記付加データ生成手段は、上記操作入力手段の操作によって選択されたデータを用いて上記付加データを生成する。
この場合、上記付加データ生成手段は、選択候補データを発生させるとともに、該選択候補データの中で上記操作入力手段の操作によって選択されたデータを用いて上記付加データを生成する。

本発明の映像処理方法は、入力されたキャプチャ指示に応じて、表示装置部で表示させるストリーム映像データにおける１フレーム分の映像データを取り込む映像データキャプチャステップと、上記映像データキャプチャステップによって取り込んだ映像データに関するデータを取得するデータ取得ステップと、上記映像データキャプチャステップで取り込んだ映像データに関連づける付加データを生成する付加データ生成ステップと、上記映像データキャプチャステップで取り込んだ映像データと、上記付加データ生成ステップで生成した付加データとを対応させて、所定の記憶部に記憶させる記憶制御ステップと、上記記憶制御ステップによって上記記憶部に記憶させた映像データについての一覧画像データを生成し、上記表示装置部に対して出力する一覧表示制御ステップと、を備え、上記データ取得ステップは、上記映像データキャプチャステップで取り込んだ映像データに記録されているコード情報を検出し、該コード情報を解析してデコードを行い、コードとして記録された情報を抽出してデータとして取得し、上記付加データ生成ステップは、上記データ取得ステップで取得されたデータを上記映像データキャプチャステップによって取り込んだ映像データに対応する上記付加データとして生成する。

以上の本発明は、例えばテレビジョンチューナ装置、映像再生装置、情報処理装置、例えばホームネットワークなどのネットワーク上の情報処理装置や映像機器など、ユーザーに対して表示するストリーム型データを扱う装置において適用できる映像処理装置、映像処理方法である。ストリーム型データとは、例えばテレビジョン放送による映像データであったり、録画機器で録画された後に再生された映像データ、或いはＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-Ray Disc）などのパッケージメディアから再生された映像データなどを指す。
放送番組などのストリーム型データは、リアルタイムで、或いは一旦録画された後に再生される際など、テレビジョンモニタ等の表示装置部において映像として表示される。当該放送番組が上述した情報番組であれば、視聴者はその番組内容として各種の情報を知ることができる。このとき、本発明では、表示装置部で表示されている映像（１フレームの映像データ）をキャプチャできるようにする。つまりユーザー（視聴者）が残しておきたい情報としての画面を、そのまま取り込んで保存できるようにする。但し、このキャプチャした映像データには、さらに付加データを関連づけて記憶させる。付加データは、ユーザーによる入力文字や選択したキーワードであったり、映像データに含まれている情報などである。キャプチャされた映像データは付加データと関連づけられて保存されるため、付加データに基づいた取り扱い、例えば抽出、検索、ソート、一覧などが可能になる。

本発明によれば、ストリーム型データから保存したい１画面（１フレーム分の映像データ）を抽出し、これに付加データを関連づけて保存する。このため、ストリーム型データ自体、つまり放送番組などの動画映像を保存しておく必要はなく、情報の保存のために容量的な負担が大きくならない。また１画面分の映像データ、つまり静止画データを保存するため、画像としての有効な情報は失われない。またユーザーは、視聴中に保存しておきたい場面となったらキャプチャ指示の操作をすればよく、情報保存のための用意をしたり
、面倒な操作、作業は必要なくなる。
また保存形態は、付加データと関連づけられた静止画データ形態であることで、情報の取り扱いが容易となる。静止画データ形態であることで、保存されたデータの一覧表示や順次表示に適している。また付加データにより、キャプチャした画像に加えた情報内容を保存できる。さらに付加データを用いた検索、ソートなどが可能となるため、保存したデータの再生確認の際の容易性、利便性が高まる。

付加データについては、ユーザーが入力した文字データなど任意の入力データを用いて生成することで、ユーザーにとって都合の良い情報とすることができる。またキーワード等の選択候補データを表示させ、ユーザーに選択させ、その選択されたデータを用いて付加データを生成することで、ユーザーの付加データ入力が簡易化されると共に、検索などに好適な付加データが生成できる。
また映像データに情報が含まれている場合や番組に関する情報が得られる場合など、キャプチャした映像データに関連するデータを取得して付加データを生成すれば、付加データをユーザーが入力する必要もなくなる。

以下、本発明の実施の形態を次の順序で説明する。
［１．装置構成］
［２．保存するキャプチャファイル形態］
［３．キャプチャ処理例Ｉ］
［４．キャプチャ処理例II］
［５．キャプチャ処理例III］
［６．付加データ入力方式］
［７．キャプチャファイルの表示処理］
［８．他の構成例］

［１．装置構成］

図１に本発明の映像処理装置として機能する装置の構成例を示す。この装置はテレビジョン放送のチューナを内蔵した録画再生機器の例であり、説明上は、ビデオレコーダ１と称することとする。
ビデオレコーダ１は、表示装置２と接続され、表示装置２に対して映像信号を供給して放送映像や再生映像を表示させる。表示装置２は、ＣＲＴモニタ装置、液晶パネル表示装置、或いはプラズマディスプレイパネル表示装置など、所定の表示デバイスによって構成される装置である。
なお、ここではビデオレコーダ１は表示装置２と別体の機器としているが、ビデオレコーダ１は表示装置２としての装置内に内蔵されるものであっても良い。
また、表示装置２は、映像出力だけでなく、映像と共に音声出力も行う。即ちビデオレコーダ１は映像信号と共に映像に対応する音声信号も表示装置２に供給するが、図１では音声信号系は省略してある。

ビデオレコーダ１において、チューナ部１２はアンテナ１３で受信された放送波についての受信復調処理を行い、放送番組としてのストリーム映像データを得る。
なお、チューナ部１２が対応する放送方式は各種考えられ、地上波デジタル放送、地上波アナログ放送、ＢＳ，ＣＳ等のデジタル又はアナログ衛星放送などが考えられる。またチューナ部１２は、必ずしもアンテナ１３で受信する放送波を復調する形態ではなく、いわゆるケーブルテレビ放送や、インターネット等のネットワークを介して供給されるストリーミング放送に対応するチューナ又はデコーダとしてもよい。
またチューナ部１２では、放送信号に重畳されているＥＰＧ（Electronic Programming Guide：電子番組ガイド）データの分離も行われる。分離抽出されたＥＰＧデータはＥＰＧ抽出／記憶部２１に取り込まれ、ＥＰＧデータが構築されて記憶される。

記録再生処理部１７，ＨＤＤ（Hard Disc Drive）１６は、放送番組の録画再生を行う。即ち録画を行う場合は、チューナ部１２で得られたストリーム映像データに対して、記録再生処理部１７で所定の記録用の圧縮処理やエンコード処理を行い、ＨＤＤ１６に供給する。ＨＤＤ１６は供給されたストリーム映像データを記録していく。
再生時には、ＨＤＤ１６で読み出された映像データについて記録再生処理部１７でデコード処理や圧縮処理に対する伸長処理を行い、元のストリーム映像データの形態で出力する。

スイッチ１４は、リアルタイム視聴と再生視聴の際に切り換えられる。放送番組のリアルタイム視聴が行われる場合、スイッチ１４はＴA端子が接続される。これによりチューナ部１２で受信／復調されたストリーム映像データが映像信号処理部１５に供給される。またＨＤＤ１６に録画された放送番組を再生する場合は、スイッチ１４はＴB端子が接続される。これにより記録再生処理部１７で再生処理されたストリーム映像データが映像信号処理部１５に供給される。

映像信号処理部１５は、表示装置２に表示させる映像信号に関する処理を行う。
例えばチューナ部１２又は記録再生処理部１７からスイッチ１４を介して供給されたストリーム映像データは、映像信号処理部１５で必要な信号処理が施され、例えばＮＴＳＣ方式等の所定の方式の映像信号に変換され表示装置２に出力される。もちろんＰＡＬ方式、ＳＥＣＡＭ方式などの場合もある。さらに各方式における信号形態におけるコンポジットビデオ信号、Ｙ／Ｃ信号、ＲＧＢ信号など、出力信号形態は多様である。
また映像信号処理部１５は、後述するキャプチャ指示に応じて、その時点で表示装置２に供給して表示させているストリーム映像データの１フレームを抽出し、これをキャプチャ画像データとしてキャプチャデータ処理部１８に供給する。

キャプチャデータ処理部１８は、映像信号処理部１５から供給されたキャプチャ画像データに関する処理を行う。例えばキャプチャ画像データを保存するために圧縮する処理、キャプチャ画像データを後述する付加データと関連づけてファイル化する処理、データ保存部１９に対する書込／読出処理、データ保存部１９に格納されたファイル（後述するキャプチャファイル）に対する検索やソート等の処理、キャプチャファイルの一覧画像の生成処理などを、コントローラ１１の指示に従って実行する。
データ保存部１９は、キャプチャデータ処理部１８の動作によりキャプチャファイルを記憶する部位である。データ保存部１９は例えばフラッシュメモリ、或いは電源バックアップされたＳ−ＲＡＭなどで構成されてもよいし、メモリカード、光ディスク、光磁気ディスク、ＨＤＤなどの記録メディア及びそれらに対応する記録再生ドライブ機構によって構成されてもよい。
また本例のようにビデオレコーダ１として録画動作のためのＨＤＤ１６を有する場合、ＨＤＤ１６をデータ保存部１９として兼用し、データ保存部１９を独立に設けない場合もあり得る。もちろん放送番組の録画用に、ＨＤＤ１６に代えて、光ディスク、光磁気ディスク、磁気テープなどを記録メディアとする機器の場合に、それらをデータ保存部１９と兼用させても良い。

ＱＲ検出部２０は、ストリーム映像データにＱＲコードが付加されている場合に、そのＱＲコードにより記録された情報を抽出する。そして抽出した情報をコントローラ１１に供給する。なお、ＱＲコードとは、二次元バーコードの一種であり、ここでは映像データに含まれている情報の例としてあげている。映像データにデータを含ませる手法としてはＱＲコードに代表される二次元バーコードを映像として乗せる方式や、例えばアナログ映像信号のブランキング期間に情報信号を乗せる方式、さらにデジタル放送において映像データとともに付加的な情報を放送する方式など多様である。これらの一例として、ここではＱＲコードを挙げ、これに対応してＱＲ検出部２０を設けるようにしている。

ＯＳＤ（On Screen Display）処理部２８は、コントローラ１１の制御に基づいて表示用のイメージデータを発生する。ＯＳＤ処理部２８によって各種のキャラクタ、アイコン等のイメージデータが発生された場合、それらのイメージデータが映像信号処理部１５で映像信号に重畳されることで、表示装置２にイメージデータの表示が行われる。
ＯＳＤ処理部２８によって発生させるイメージデータは、例えば各種の操作メニュー画面、操作用のアイコン等のＧＵＩ画像、メッセージ、チャンネルや音量表示、予約登録のための画像、予約登録確認のための画像、さらには後述する付加データの入力のための画像などである。

コントローラ１１はＣＰＵ（Central Processing Unit ）を備えたマイクロコンピュータにより形成され、ビデオレコーダ１の全体の制御を行う。即ちチューナ部１２での選局動作や記録再生処理部１７での録画又は再生のための処理の指示、ＨＤＤ１６の動作制御、スイッチ１４の切換制御、映像信号処理部１５での映像信号処理やキャプチャ処理の指示、ＯＳＤ処理部２８でのＯＳＤ画像生成の指示、キャプチャデータ処理部１８における各動作の指示、ＥＰＧ抽出／記憶部２１でのＥＰＧデータ抽出及び記憶動作の制御やＥＰＧデータの読込などを、ユーザーの操作や動作プログラムに従って行う。
ＲＡＭ２２、ＲＯＭ２３、フラッシュメモリ２４はコントローラ１１がアクセスするメモリ領域として示している。
ＲＯＭ２３には、コントローラ１１（ＣＰＵ）を動作させるプラットフォームソフトウェアモジュールや起動モジュール等が記憶されている。
ＲＡＭ２２は、ＲＯＭ２３に記憶されている起動モジュールやＯＳ等のプラットフォームソフトウェアプログラム、アプリケーションプログラム、または、その実行において適宜変化するパラメータを一時格納する。またコントローラ１１の各種演算処理のためのワーク領域として用いられる。
フラッシュメモリ２４は、例えば各種処理係数や履歴情報等、電源オフの際にも消失させない情報の記憶に用いられる。

ユーザーの操作のための操作入力手段としてはパネル操作部２５，リモートコマンダー３，或いは接続されたキーボード、マウス等が想定される。
パネル操作部２５は、ビデオレコーダ１の筐体上に設けられた操作キーや操作ダイヤル等の操作子であり、ユーザーはパネル操作部２５における操作子を操作して各種の指示や入力を行うことができる。コントローラ１１はパネル操作部２５による操作入力情報を検出して、所定の制御を行い、該ビデオレコーダ１にユーザーが指示した動作を実行させる。
同様の操作はリモートコマンダー３によっても可能である。ユーザーがリモートコマンダー３を操作することで、例えば赤外線信号として操作信号が出力される。この赤外線操作信号は受光部２７で受光され、電気信号に変換されてコントローラ１１に伝えられる。もちろんリモートコマンダー３は赤外線方式のみでなく、例えば電波を用いたものでもよい。
また端子２６としてキーボードやマウス等の外部入力機器の接続端子が設けられる。端子２６に外部入力機器を接続することで、外部入力機器による操作情報がコントローラ１１に伝えられる。

これらパネル操作部２５、リモートコマンダー３、或いは外部入力機器によるユーザーの操作としては、通常のチューナ付きビデオレコーダ１に対する操作として、例えば選局、録画、録画予約、再生、サーチ、再生停止、一時停止などが行われるが、本例の特徴的な操作として、キャプチャ指示操作が可能とされている。また後述する付加データの入力操作も可能とされる。

図１のビデオレコーダ１は以上の構成となるが、この構成例は以下説明する動作を行うための構成の一例にすぎない。
またコントローラ１１は、上述した各種制御を行うためのソフトウエア機能が搭載されるが、後述する映像キャプチャ動作に関する機能として、図２に示す機能ブロックがソフトウエアにより設けられることになる。即ちキャプチャ処理制御機能３０，付加データ生成処理機能３１、キャプチャファイル記憶制御機能３２，キャプチャファイル表示制御機能３３である。

キャプチャ処理制御機能３０は、ユーザーのキャプチャ指示操作に応じて、そのときに表示装置２に表示されている映像をキャプチャする制御を行う機能である。具体的には、表示装置２で映像を表示している際に、ユーザーのキャプチャ操作を検出することに応じてキャプチャデータ処理部１８に、映像信号処理部１５から１フレーム分の映像データを取り込ませるように制御する。
なお、ユーザーは表示装置２の画面を見ながら所望の時点でキャプチャ指示の操作を行うため、実際には、キャプチャできる映像データとは多少のタイムラグが生じる。つまり映像信号処理部１５での処理によりユーザーの操作タイミングより多少のフレーム分遅れた映像データがキャプチャされるが、映像としてはユーザが見ている映像と、ほぼ同じ映像となるため問題とはならない。或いは、映像信号処理部１５において数フレーム分のフレームメモリを搭載するなどして、表示装置２に出力した映像信号に対応するフレームの映像データを多少の時間蓄積しておけば、上記タイムラグのない映像データキャプチャは可能である。

付加データ生成処理機能３１は、キャプチャした映像データに関連づける付加データを生成する機能である。生成処理例は後述するが、ユーザーの入力に基づいたり、或いはＱＲ検出部２０やＥＰＧ抽出／記憶部２１で抽出される情報を用いて付加データを生成し、キャプチャデータ処理部１８に供給する。
また、ユーザー入力により付加データを生成する場合は、ユーザー操作による文字データ入力処理、或いはキーワードを設定し、それを表示装置２に表示させると共にユーザー操作により選択させる処理なども行う。

キャプチャファイル記憶制御機能３２は、キャプチャデータ処理部１８によるデータ保存部１９への記憶動作を制御する機能である。即ち、キャプチャデータ処理部１８においてキャプチャした映像データと、生成した付加データとを関連づけてファイル化させたり、それをデータ保存部１９に記憶させることなどを指示する。

キャプチャファイル表示制御機能３３はデータ保存部１９に記憶されたキャプチャファイルについて表示装置２に表示させるための処理を制御する機能である。例えばキャプチャデータ処理部１８によるデータ保存部１９のキャプチャファイルの検索処理、ソート処理、一覧画像生成処理などを指示するとともに、キャプチャデータ処理部１８から表示させる映像データを映像信号処理部１５を介して表示装置２に供給させる動作の制御を行う。

以上の各機能を備えたコントローラ１１の制御に基づいて、後述するキャプチャ処理や表示処理が実現される。
なお、この図１，図２の構成例の場合、本発明請求項に記載した各手段は以下のように対応することになる。
本発明請求項の映像データキャプチャ手段は、キャプチャ処理制御機能３０と、その制御に基づいて映像信号処理部１５，キャプチャデータ処理部１８で実行される動作として実現される。
本発明請求項の付加データ生成手段は、付加データ生成処理機能３１に相当する。
本発明請求項の記憶制御手段は、キャプチャファイル記憶制御機能３２と、その制御に基づいてキャプチャデータ処理部１８で実行される動作として実現される。
本発明請求項の一覧表示制御手段は、キャプチャファイル表示制御機能３３と、その制御に基づいてキャプチャデータ処理部１８で実行される動作として実現される。
本発明請求項の操作入力手段は、パネル操作部２５や、リモートコマンダー３及び受光部２７，外部入力機器とその接続端子２６などが該当する。
本発明請求項のデータ取得手段は、ＱＲ検出部２０やＥＰＧ抽出/記憶部２１が該当する。

［２．保存するキャプチャファイル形態］

本例ではキャプチャした映像データを、付加データと関連づけてファイル化し、データ保存部１９に記憶する。この場合のキャプチャファイル形態の例を図３（ａ）（ｂ）に示す。
図３（ａ）は、付加データとキャプチャ映像データを別ファイル形態で記憶する例である。付加データは、付加データファイルに登録される形態とする。
付加データファイルは、ファイルヘッダとしてファイル名、属性、ファイルサイズ、登録付加データ数、各登録付加データの位置（例えばオフセットバイト）、サイズ、登録日時、更新日時などが記述される。そして実際の登録データとして各付加データＡｄｄ＃１、Ａｄｄ＃２・・・が含まれるものとなっている。
一方、キャプチャした映像データＣＶ＃１、ＣＶ＃２・・・は、それぞれファイルヘッダが付加されて１つのキャプチャ映像ファイルとされる。ファイルヘッダにはファイル名、ファイルサイズ、属性、圧縮方式などが記述される。
この場合、例えば付加データファイルにおける各付加データＡｄｄ＃１、Ａｄｄ＃２・・・についてポインタが設けられ、ポインタが対応するキャプチャ映像ファイル（ファイル名やアドレス等）を示すものとすることで、１つの付加データＡｄｄ＃ｘと１つのキャプチャ映像ファイル（映像データＣＶ＃ｘ）が関連づけられるようにする。

図３（ｂ）は、付加データとキャプチャした映像データとあわせて１つのファイルを形成する例である。
例えばファイル＃１は、付加データＡｄｄ＃１と映像データＣＶ＃１を含むようにし、これにファイルヘッダを付加して１つのファイルとしたものである。ファイルヘッダは、ファイル名、属性、登録又は更新日時、付加データや映像データのサイズ、圧縮方式などが記述される。
ファイル＃２，＃３も同様である。

例えばこの図３（ａ）（ｂ）のような形式でキャプチャした映像データと、それに対応して生成された付加データがファイル化されてデータ保存部１９に記憶される。もちろんこれ以外にもファイル形態の例は考えられる。あくまでキャプチャした映像データと、それに対応して生成された１又は複数の付加データが関連づけられる形式であればよい。

図４，図５は上記のようなファイルとして関連づけられる映像データと付加データの例を示している。
図４（ａ）は表示装置２で表示されている映像の１場面を示している。例えば情報番組としてのラーメン屋特集番組内での、或るラーメン屋を紹介している場面である。この場合の映像としてはラーメン屋の外観５０に店名等のテロップ５１が表示されているとしている。
ユーザーがこの場面のタイミングでキャプチャ指示の操作を行った場合、図４（ｂ）のように、その場面に相当する映像データがキャプチャされ、映像データＣＶ＃ｘとされるとともに、付加データＡｄｄ＃ｘが対応づけられて、上記図３（ａ）又は図３（ｂ）のような形態で記憶される。この図４（ｂ）の例は、ユーザーが入力操作を行って「おいしいラーメン屋」という文字列を入力した場合であり、その入力文字データが付加データＡｄｄ＃ｘとされている例である。ユーザーによる文字入力は、キャプチャ指示操作を行った直後でも良いし、後の時点でもよい。

また、図５（ａ）は、図４（ｂ）と同様の情報番組の１場面であるが、画面上の一部にＱＲコード５２が含まれている例である。このような場合、付加データＡｄｄ＃ｘを映像データから抽出した情報により生成することが可能となる。
ユーザーがこの図５（ａ）場面のタイミングでキャプチャ指示操作を行った場合、図５（ｂ）のように、その場面に相当する映像データがキャプチャされ、映像データＣＶ＃ｘとされる。一方、そのキャプチャした映像データはＱＲ検出部５２にも供給され、映像データに含まれているＱＲコード５２の検出及びデコード処理が行われ、ＱＲコードで記録された情報が抽出される。そして、その情報により付加データＡｄｄ＃ｘが生成される。例えばＱＲコードに店名、住所、電話番号が含まれていた場合、図示するように店名、住所、電話番号の文字データが付加データＡｄｄ＃ｘとされ、映像データＣＶ＃ｘと対応づけられて、上記図３（ａ）又は図３（ｂ）のような形態で記憶される。

［３．キャプチャ処理例Ｉ］

本例のビデオレコーダ１で実行されるキャプチャ処理例として、処理例Ｉ、処理例II、処理例IIIをそれぞれ説明していく。なお、以下説明する処理例Ｉ、処理例II、処理例IIIは、コントローラ１１において図２に示したキャプチャ処理制御機能３０，付加データ生成処理機能３１、キャプチャファイル記憶制御機能３２が機能して実行される処理である。
まず図６でキャプチャ処理例Ｉとしてのコントローラ１１の制御処理を説明する。キャプチャ処理例Ｉは付加データをユーザー入力に基づいて生成する例である。

図６のステップＦ１０１は、チューナ部１２で受信復調したストリーム映像データ、又はＨＤＤ１６から再生し、記録再生処理部１７で再生処理されたストリーム映像データを、映像信号処理部１５が表示装置２に供給して表示出力させている状態を示している。つまりコントローラ１１が、チューナ部１２、又はＨＤＤ１６と記録再生処理部１７と、映像信号処理部１５の通常の動作を指示している状態である。
このステップＦ１０１の制御によってストリーム映像データに基づく番組映像等の表示が表示装置２で行われている期間、コントローラ１１はステップＦ１０２，Ｆ１０３でユーザーの操作入力を監視している。
なおユーザーの操作入力とは、パネル操作部２５、リモートコマンダー３、或いは端子２６に接続された外部入力機器による操作のことである。

ユーザーによるキャプチャ指示操作を検知した場合、コントローラ１１は処理をステップＦ１０２からＦ１０４に進める。
ステップＦ１０４では、そのキャプチャ指示操作のタイミングでの表示画面に相当する映像データの１フレームを映像信号処理部１５からキャプチャデータ処理部１８に供給させる。即ち映像データの取り込み（キャプチャ）を実行させる。そしてステップＦ１０５で取り込んだ映像データを、映像データＣＶ＃ｘとして保持させる。例えばまだ付加データと関連づけられていない映像データＣＶ＃ｘとしてデータ保存部１９に記憶しておく。なお、映像データＣＶ＃ｘとしては、キャプチャした１フレームの映像データに対して圧縮処理を施したものとしてもよい。

続いて、ステップＦ１０６では、コントローラ１１は、キャプチャ指示操作の直後に付加データの入力のための操作が開始されるか否かを監視する。
このユーザーの操作を待機する際の処理は多様に考えられる。
例えばキャプチャ指示操作の後、一定時間待機し、ユーザーが付加データの入力操作を開始するか否かを監視するようにする。例えば付加データ入力モードを指示する操作キーなどを用意し、その操作が行われたか否かを監視する。そして一定時間を経過してユーザーが付加データ入力のための操作を行わなかったら、ステップＦ１０６からＦ１０１に戻るようにする。
また、ＯＳＤ処理部２８により、表示装置２の表示画面上でのＯＳＤ表示により、ユーザーに対して、続けて付加データの入力を行うか否かを尋ねるメッセージ及び「ＹＥＳ」「ＮＯ」の操作アイコンを表示させるようにし、それに対するユーザー操作により、ステップＦ１０６の処理を決定してもよい。つまりユーザーが付加データ入力を開始するか否かをメッセージに対するユーザーの入力により判断する。
また、ステップＦ１０６で付加データ入力の有無を待機する期間は、表示装置２の画面上で、キャプチャした映像を固定的に表示させていても良いし、例えばそのまま番組の動画映像を続けながらＰｉｎＰ（Picture in Picture）の子画面でキャプチャ画像を表示させる（或いは逆にキャプチャした映像を親画面として表示させる）などしても良い。

キャプチャ指示操作の直後にユーザーが付加データの入力開始のための操作を行わなかった場合は、ステップＦ１０６からステップＦ１０１に戻る。つまりこの場合は、キャプチャした映像データＣＶ＃ｘに対して、ユーザーは後の時点で付加データの入力を行うものと判断した場合となる。
一方、ユーザーが付加データ入力のための操作、例えば付加データ入力モードを指示する操作を行った場合は、コントローラ１１はステップＦ１０７に進み、その後のユーザー操作に応じた付加データ入力処理を行う。付加データの入力については後に例を挙げて説明するが、例えばステップＦ１０７ではユーザーの文字入力、キーワード表示及びユーザーの選択などのための処理を行うことになる。
そしてユーザーの入力確定操作等により入力内容が確定されたら、ステップＦ１０８からＦ１０９に進み、確定された入力データにより付加データを生成し、キャプチャデータ処理部１８に転送し、キャプチャした映像データＣＶ＃ｘに対応する付加データＡｄｄ＃ｘとして保存させる。
続いてステップＦ１１０で、キャプチャデータ処理部１８に既に保存していた映像データＣＶ＃ｘと、付加データＡｄｄ＃ｘを関連させてファイル化処理を実行させ、例えば図３（ａ）又は図３（ｂ）のようなファイル形態でデータ保存部１９に記憶させる。
その後ステップＦ１０１に戻る。

一方、ステップＦ１０１での通常の動画映像出力制御中に、ステップＦ１０３でユーザーによる付加データ入力開始のための操作、例えば付加データ入力モードの操作などが検知された場合は、コントローラ１１はステップＦ１１１に進む。これは、過去の時点でキャプチャし、まだ付加データを関連づけたファイルとして記憶してない映像データＣＶ＃ｘに対して、ユーザーが付加データを入力しようとする場合である。或いは、既に付加データが関連づけられてファイル化されていたとしても、ユーザーがその付加データを修正するなどの編集を望んだ場合である。
ステップＦ１１１では、入力しようとする付加データに対応させる映像データＣＶ＃ｘを特定する処理を行う。例えば、まだ付加データとして関連づけられない状態でデータ保存部１９に保存されている映像データＣＶ＃ｘ（つまりステップＦ１０５で保存された状態の映像データＣＶ＃ｘ）を読み出し、表示装置２の画面上に一覧表示させて、ユーザーに選択させるようにしてもよい。或いは編集のことも含めて考慮するなら、付加データとの関連づけの有無にかかわらず、全ての映像データＣＶ＃ｘを一覧表示させてユーザーに選択させるようにしても良い。
また一覧表示ではなく、例えば時間的に最後にキャプチャされた映像データＣＶ＃ｘから順番に表示させてユーザーに選択させるような手法も考えられる。
いずれにしても、既にキャプチャした映像データＣＶ＃ｘのうちの１つを、ユーザーが指定できるような方式を採ればよい。
ユーザーの指定操作によって、これからユーザーが入力しようとする付加データに対応させる映像データＣＶ＃ｘが確定されたら、ステップＦ１０７の入力処理に進む。そして上記同様にステップＦ１０７，Ｆ１０８で入力内容が確定されたら、ステップＦ１０９，Ｆ１１０で入力された内容による付加データＡｄｄ＃ｘと映像データＣＶ＃ｘを対応させてファイル化した状態で、データ保存部１９に記憶させることとなる。

以上のようにして、ユーザーのキャプチャ指示操作に応じて映像データがキャプチャされると共に、ユーザーの入力に応じて付加データが生成され、映像データに関連づけられてデータ保存部１９に記憶されることになる。
つまりユーザーにとって、保存しておきたい情報については、画面上の映像と、付加データとして入力した文字等とを併せたものとして保存しておくことができる。映像により有効な情報を保持できるとともに、付加データとして、そのユーザーにとって適切な情報を加えることができるため、ユーザーにとって有意義な情報保存が可能となる。例えば紙やパーソナルコンピュータ等を用いて覚え書きしておくことに比べて非常に情報量が多く、価値の高い情報を保存できる。
また情報の保存のためには、番組等を見ながらキャプチャ指示操作を行えばよく、付加データの入力についてはキャプチャ指示操作直後に行っても、後の時点で行っても良い。このため簡易な操作性で情報保存ができ、ユーザーの手間はかからない。例えば情報保存のために紙と筆記具を用意したり、パーソナルコンピュータを起動したり、カメラを用意するなどの手間もない。
また後述するが、付加データと関連づけられた映像データが保存されることにより、保存した情報の取り扱いが容易となる。

なお、この図６の処理においてステップＦ１０２，Ｆ１０４，Ｆ１０５は図２のキャプチャ処理制御機能３０による処理となる。またステップＦ１０６，Ｆ１０７，Ｆ１０８，Ｆ１０９，Ｆ１０３，Ｆ１１１は付加データ生成処理機能３１の処理となる。またステップＦ１１０はキャプチャファイル記憶制御機能３２の処理となる。

［４．キャプチャ処理例II］

続いて、図７でキャプチャ処理例IIとしてのコントローラ１１の制御処理を説明する。キャプチャ処理例IIは付加データを映像データに含まれている情報に基づいて生成する例である。ここでが例えば図５で説明したようにストリーム映像データ内にＱＲコードとしての画像が含まれている場合を例に挙げる。

図７のステップＦ２０１は、上記図６のステップＦ１０１と同様、チューナ部１２で受信復調したストリーム映像データ、又はＨＤＤ１６から再生し、記録再生処理部１７で再生処理されたストリーム映像データを、映像信号処理部１５が表示装置２に供給して表示出力させている状態を示している。
このステップＦ２０１の制御によってストリーム映像データに基づく番組映像等の表示が表示装置２で行われている期間、コントローラ１１はステップＦ２０２でユーザーの操作入力を監視している。

ユーザーによるキャプチャ指示操作を検知した場合、コントローラ１１は処理をステップＦ２０２からＦ２０３に進める。ステップＦ２０３では、そのキャプチャ指示操作のタイミングでの表示画面に相当する映像データの１フレームを映像信号処理部１５からキャプチャデータ処理部１８に供給させる。即ち映像データの取り込み（キャプチャ）を実行させる。そしてステップＦ２０４で、取り込んだ映像データを、映像データＣＶ＃ｘとして保持させる。例えばまだ付加データと関連づけられていない映像データＣＶ＃ｘとしてデータ保存部１９に記憶しておく。映像データＣＶ＃ｘはキャプチャした１フレームの映像データを圧縮処理したものとしてもよい。
なお、キャプチャした１フレームの映像データはＱＲ検出部２０にも供給される。

次にステップＦ２０５でコントローラ１１は、ＱＲ検出部２０で検出される情報を取り込み、その情報に基づいて付加データを生成する。
ＱＲ検出部２０では、キャプチャした１フレームの映像データ内において、ＱＲコードとしての画像部分を判別し、そのＱＲコードを解析してデコードを行い、ＱＲコードとして記録された情報を抽出する。その情報をコントローラ１１に供給する。コントローラ１１は、この抽出された情報を用いて付加データを生成し、ステップＦ２０６では、付加データを、キャプチャした映像データＣＶ＃ｘに対応する付加データＡｄｄ＃ｘとしてキャプチャデータ処理部１８に保存させる。
続いてステップＦ２０７で、キャプチャデータ処理部１８に既に保存していた映像データＣＶ＃ｘと、付加データＡｄｄ＃ｘを関連させてファイル化処理を実行させ、例えば図３（ａ）又は図３（ｂ）のようなファイル形態でデータ保存部１９に記憶させる。
その後ステップＦ２０１に戻る。

以上のようにして、ユーザーのキャプチャ指示操作に応じて映像データがキャプチャされると共に、映像データから抽出された情報に基づいて付加データが生成され、映像データに関連づけられてデータ保存部１９に記憶されることになる。この場合、ユーザーの操作はキャプチャ指示操作のみとなり、ユーザーが付加データの生成のための入力は行わないため、上記処理例Ｉと同様の効果が得られることに加え、操作の簡易性は一層高まる。
なお、付加データはＱＲコードによるものだけでなく、例えばＥＰＧ抽出／記憶部２１で番組の情報が保存されていれば、その情報を用いることも考えられる。例えばラーメン屋特集の番組であれば、ＥＰＧデータから「ラーメン屋」という文字データを抽出できる。これを付加データとして記憶させても良い。
また、ＱＲコード以外のバーコード、二次元バーコードによる場合や、デジタル映像データとして付加的な情報が含まれている場合、さらにはアナログ放送映像信号のブランキング期間などに情報が重畳されている場合など、それらの情報を抽出して付加データの生成に用いることは当然考えられる。

ところでこの図７の処理においてステップＦ２０２，Ｆ２０３，Ｆ２０４は図２のキャプチャ処理制御機能３０による処理となる。またステップＦ２０５，Ｆ２０６は付加データ生成処理機能３１の処理となる。またステップＦ２０７はキャプチャファイル記憶制御機能３２の処理となる。

［５．キャプチャ処理例III］

次に図８でキャプチャ処理例IIIとしてのコントローラ１１の制御処理を説明する。キャプチャ処理例IIIは付加データの生成について、ユーザー入力に基づいて生成する方式と、映像データから抽出されたデータに基づいて生成する方式を併用する例である。

図８のステップＦ３０１は、図６のステップＦ１０１と同様、チューナ部１２で受信復調したストリーム映像データ、又はＨＤＤ１６から再生し、記録再生処理部１７で再生処理されたストリーム映像データを、映像信号処理部１５が表示装置２に供給して表示出力させている状態を示している。
このステップＦ３０１の制御によってストリーム映像データに基づく番組映像等の表示が表示装置２で行われている期間、コントローラ１１はステップＦ３０２，Ｆ３０３でユーザーの操作入力を監視している。

ユーザーによるキャプチャ指示操作を検知した場合、コントローラ１１は処理をステップＦ３０２からＦ３０４に進める。
ステップＦ３０４では、そのキャプチャ指示操作のタイミングでの表示画面に相当する映像データの１フレームを映像信号処理部１５からキャプチャデータ処理部１８に供給させる。即ち映像データの取り込み（キャプチャ）を実行させる。そしてステップＦ３０５で取り込んだ映像データを、例えば圧縮処理した上で映像データＣＶ＃ｘとして保持させる。例えばまだ付加データと関連づけられていない映像データＣＶ＃ｘとしてデータ保存部１９に記憶しておく。
なお、キャプチャした映像データはＱＲ検出部２０にも供給される。

ステップＦ３０６では、コントローラ１１は、キャプチャ指示操作の直後に、ユーザーによって付加データの入力のための操作が開始されるか否かを監視する。この判断のための処理は上記図６のステップＦ１０６と同様に多様に考えられる。

キャプチャ指示操作の直後にユーザーが付加データの入力開始のための操作を行わなかった場合は、ステップＦ３０６からＦ３０７に進み、コントローラ１１は付加データとして用いる情報の抽出が可能であったか否かを判断する。例えばＱＲ検出部２０から付加データとして用いることに有効な情報が供給されたか否かを判断すればよい。
上記処理例IIで説明したように、例えばキャプチャした映像データにＱＲコードが含まれていれば、ＱＲ検出部２０はＱＲコードから付加データに用いる情報を抽出できる。但し、ＱＲコードを付すのは放送事業者側であり、必ずしも常に画面上にＱＲコードが含まれているわけではない。またＱＲコードによって記録された情報が、必ずしも付加データとして用いることに好適なデータ、例えばテキストデータやＵＲＬ（Uniform Resource Locator）データなどではないかもしれない。
このため、コントローラ１１は、ＱＲ検出部２０から、テキストデータ等、付加データ生成に必要な情報が得られた場合に、付加データが抽出可能であったと判断し、ステップＦ３０７からＦ３０８に進む。そしてステップＦ３０８では、ＱＲ検出部２０から供給された情報に基づいて付加データを生成する。
ステップＦ３０９では、コントローラ１１は生成付加データをキャプチャデータ処理部１８に転送し、キャプチャした映像データＣＶ＃ｘに対応する付加データＡｄｄ＃ｘとして保存させる。
そしてステップＦ３１０で、映像データＣＶ＃ｘと、付加データＡｄｄ＃ｘを関連させてファイル化処理を行い、例えば図３（ａ）又は図３（ｂ）のようなファイル形態でデータ保存部１９に記憶させる。
その後ステップＦ３０１に戻る。

ステップＦ３０７で付加データ抽出ができなかったと判断した場合は、コントローラ１１はステップＦ３０１に戻る。つまりこの場合は、キャプチャした映像データＣＶ＃ｘに対する付加データは、ユーザーが後の時点で入力したデータに基づいて生成するものとすることになる。

一方ステップＦ３０６で、ユーザーがキャプチャ指示操作の直後に付加データ入力のための操作、例えば付加データ入力モードを指示する操作を行った場合は、コントローラ１１はステップＦ３１２に進み、その後のユーザー操作に応じた付加データ入力処理を行う。付加データの入力については後述するが、例えばステップＦ３１２ではユーザーの文字入力、キーワード表示及びユーザーの選択などのための処理を行うことになる。
そしてユーザーの入力確定操作等により入力内容が確定されたら、ステップＦ３１３からＦ３１４に進み、確定された入力データによって付加データを生成し、キャプチャデータ処理部１８に転送して、キャプチャした映像データＣＶ＃ｘに対応する付加データＡｄｄ＃ｘとして保存させる。
次にステップＦ３１０で、キャプチャデータ処理部１８に映像データＣＶ＃ｘと、付加データＡｄｄ＃ｘを関連させてファイル化処理を実行させ、例えば図３（ａ）又は図３（ｂ）のようなファイル形態でデータ保存部１９に記憶させる。
その後ステップＦ３０１に戻る。

一方、ステップＦ３０１での通常の動画映像出力制御中に、ステップＦ３０３でユーザーによる付加データ入力開始のための操作、例えば付加データ入力モードの操作などが検知された場合は、コントローラ１１はステップＦ３１１に進む。これは、過去の時点でキャプチャし、まだ付加データを関連づけたファイルとして記憶してない映像データＣＶ＃ｘに対して、ユーザーが付加データを入力しようとする場合である。或いは、既に付加データが関連づけられてファイル化されていたとしても、ユーザーがその付加データを修正するなどの編集を望んだ場合である。ステップＦ３１１の処理は、図６のステップＦ１１１と同様であり、既にキャプチャした映像データＣＶ＃ｘのうちの１つを、ユーザーの指定に基づいて特定する処理となる。
ユーザーの指定操作によって、これからユーザーが入力しようとする付加データに対応させる映像データＣＶ＃ｘが確定されたら、ステップＦ３１２の入力処理に進む。そして上記同様にステップＦ３１２，Ｆ３１３で入力内容が確定されたら、ステップＦ３１４，Ｆ３１０で入力された内容による付加データＡｄｄ＃ｘと映像データＣＶ＃ｘを対応させてファイル化した状態でデータ保存部１９に記憶させることとなる。

以上のようにして、ユーザーのキャプチャ指示操作に応じて映像データがキャプチャされると共に、ユーザーの入力、又は映像データから抽出した情報に応じて付加データが生成され、映像データに関連づけられてデータ保存部１９に記憶されることになる。
この場合、処理例Ｉと同様の効果が得られるとともに、ユーザーが付加データの入力を行わなくても、抽出された情報で付加データが自動生成されることで、ユーザーの手間は省ける。その一方、ユーザーは、映像に併せてメモしたい文字がある場合などは、文字等を入力して付加データとして記憶させておけばよい。つまりユーザーに応じた使用性が実現できる。
また、仮にＱＲ検出部２０からの情報に基づいて付加データが生成された場合に、その付加データの内容がユーザにとって適切でない情報内容であったら、ステップＦ３０３→Ｆ３１１→Ｆ３１２の処理で付加データの編集を行うこともでき、ユーザーにとって適切な情報の保存状態とすることができる。
なお図８の処理は、ステップＦ３０６，Ｆ３０７により、ユーザーが付加データの入力を行わない場合に、ＱＲ検出部２０からの情報を用いて付加データを生成するものとした。逆に、ステップＦ３０６とＦ３０７の順序を入れ換え、付加データに用いる情報を抽出できない場合に、ユーザーの入力が行われるか否かを判断するようにしてもよい。

この図８の処理においてステップＦ３０２，Ｆ３０４，Ｆ３０５は図２のキャプチャ処理制御機能３０による処理となる。またステップＦ３０６，Ｆ３０７，Ｆ３０８，Ｆ３０９，Ｆ３０３，Ｆ３１１，Ｆ３１２，Ｆ３１３，Ｆ３１４は付加データ生成処理機能３１の処理となる。またステップＦ３１０はキャプチャファイル記憶制御機能３２の処理となる。

［６．付加データ入力方式］

上記図６のキャプチャ処理例Ｉ、及び図８のキャプチャ処理例IIIでは、ユーザー入力に基づいて付加データを生成する例を述べた。
ここでは、これらの場合のユーザーによる付加データの入力方式について各種の例を説明する。

付加データ入力としては、まずユーザーが付加データとして保存しておきたい文字等を入力する方式が考えられる。
その場合、例えばコントローラ１１は、ユーザーによる付加データ入力モードの操作を検知したら、上記図６のステップＦ１０７や図８のステップＦ３１２において、キャプチャデータ処理部１８、ＯＳＤ処理部２８、映像信号処理部１５を制御して、表示装置２の画面上に例えば図９（ａ）のような表示を実行させる。
この図９（ａ）の例では、ユーザーが入力しようとする付加データの対象となるキャプチャした映像データＣＶ＃ｘの画像６０を表示させるとともに、ユーザーに文字入力を求めるメッセージ６２や文字入力ボックス６１を表示させている。
なお、この図９（ａ）の画像（及び後述する図９（ｂ）、図１０、図１１の画像も同様）は、表示装置２の画面全体に表示させてもよいし、そのとき出力中の番組映像等とともに、子画面又は親画面で表示させてもよい。

ユーザーは、この図９（ａ）のような画面表示を見ながら、パネル操作部２５、リモートコマンダー３、或いはキーボード等の外部入力機器を用いて任意の文字を入力していく。入力文字は文字入力ボックス６１に表示され、ユーザーの入力確定操作に応じて入力確定される。
このようにして入力確定された文字データが、ステップＦ１０９又はＦ３１４で付加データＡｄｄ＃ｘとされればよい。
なお入力操作を支援するために、画像をキャプチャしたもとの番組のＥＰＧデータ内の単語を一時的に辞書に登録し、予測入力として使えるようにすることで情報の入力をより簡易化することもできる。

また、ユーザーが文字を直接操作して入力するのではなく、キーワード等の文字候補を選択するという手法も考えられる。
例えばコントローラ１１は、ユーザーによる付加データ入力モードの操作を検知したら、ステップＦ１０７やステップＦ３１２において、キャプチャデータ処理部１８、ＯＳＤ処理部２８、映像信号処理部１５を制御して、表示装置２の画面上に例えば図９（ｂ）のような表示を実行させる。
この図９（ｂ）の例では、ユーザーが入力しようとする付加データの対象となるキャプチャした映像データＣＶ＃ｘの画像６０を表示させるとともに、ユーザーにキーワード選択を求めるメッセージ６４やキーワードボックス６３を表示させている。
キーワードとしての候補については、予め設定されたキーワード群について、ユーザーがメニュー形式で階層的に選択していけるようにしてもよい。例えばキーワードとしてのジャンル等を選択していき、例えば外食店舗などのグループが選択されたときに、図９（ｂ）のようなキーワード候補が表示されればよい。
或いはＥＰＧ抽出／記憶部２１で抽出されたＥＰＧデータからキーワードを生成し、そのキーワードを図９（ｂ）のようにキーワードボックス６３に表示させてもよい。
さらには、ＥＰＧデータから番組内容を判別し、番組内容に応じたキーワード群を表示させてもよい。例えばＥＰＧデータに「ラーメン」という文字が存在すれば、その「ラーメン」が含まれるキーワードグループを図９（ｂ）のように表示させる。

ユーザーは、この図９（ｂ）のような画面表示を見ながら、パネル操作部２５、リモートコマンダー３、或いはキーボードやマウス等の外部入力機器を用いて、キーワードボックス６３内で任意のキーワードを選択し、確定操作（クリック等）する。例えば図９（ｂ）のように「ラーメン」というキーワードを選択する。
このようにして選択されたキーワードが、ステップＦ１０９又はＦ３１４で付加データＡｄｄ＃ｘとされればよい。

なお、図９（ａ）（ｂ）のように付加データの文字入力やキーワード選択を行うための画面表示を表示装置２において実行させるわけであるが、そのために、放送中又は再生中の番組の映像表示が妨げられることを避けたい場合もある。
そこで図９（ａ）（ｂ）のような付加データの入力のための画面を表示する際には、図１０のようにＰｉｎＰ表示を行うようにすればよい。即ち親画面として例えば放送中の映像５９を表示させた上で、子画面で例えば図９（ｂ）のような付加データの入力のための画像としてキャプチャした画像６０，メッセージ６４、キーワードボックス６３などを表示させる。このようにすれば、付加データの入力のための操作期間において放送映像や再生映像が妨げられることはなく、キャプチャ操作直後、つまり放送映像等の継続中に付加データの入力を行う場合などにも好適となる。

ところで、例えば図６のステップＦ１０３からＦ１１１、Ｆ１０７に進む場合や、図８のステップＦ３０３からＦ３１１、Ｆ３１２に進む場合としては、上述のようにまだ付加データＡｄｄ＃ｘが生成されていない場合の他、付加データＡｄｄ＃ｘを編集したい場合もある。
即ちステップＦ１１１、Ｆ３１１で、既に付加データＡｄｄ＃ｘが対応づけられている映像データＣＶ＃ｘが、付加データ入力対象として選択された場合である。
このような場合、コントローラ１１は、ステップＦ１０７やステップＦ３１２において、キャプチャデータ処理部１８、ＯＳＤ処理部２８、映像信号処理部１５を制御して、表示装置２の画面上に例えば図１１のような表示を実行させる。即ち、編集対象となるファイル画像６５を表示させるとともに、ユーザーに付加データの編集入力を求めるメッセージ６７やキーワードボックス６６を表示させている。図１１では編集対象となるファイル画像６５として、そば屋の映像データと「ラーメン屋」という付加データが表示されている。
これはユーザーが誤って「ラーメン屋」という付加データ入力を行ってしまった後に、これを修正したい場合の例である。

ユーザーは、画面を見ながら操作を行って、図示するようにキーワードボックス６６から「そば」を選択する。このようにして選択されたキーワードが、ステップＦ１０９又はＦ３１４で当該映像データＣＶ＃ｘに対応する新たな付加データＡｄｄ＃ｘとされ、ステップＦ３１０で更新記憶されればよい。
なお、図１１ではキーワードボックス６６でキーワードを選択するものとしたが、図９（ａ）のような文字入力ボックスを編集時に表示させて、文字入力として編集操作をユーザーに求めるようにしてもよい。その場合、既に記憶されている付加データとしての文字は、文字入力ボックス内に表示させ、ユーザーがその文字列を変更していけるようにすればよい。

ここまで、ユーザーが付加データ入力を行う場合を述べたが、例えば図８の処理例IIIのように付加データの生成方式としてユーザー入力とデータ抽出を併用する場合は、ユーザーに付加データの生成方法を選択させるようにすることも考えられる。
例えば図８のステップＦ３０５又はＦ３１１の後に、コントローラ１１は図１２のような選択メニューを表示装置２の画面上に表示させ、入力方法の指定を求めるメッセージ６９と選択ボックス６８をユーザーに提示する。ここではユーザーがキーワード入力、文字入力、ＥＰＧデータ抽出、ＱＲコード抽出を選択できる例を示している。
そしてユーザーが入力方法を指定したら、それに応じてステップＦ３０８又はＦ３１２の処理を行い、付加データＡｄｄ＃ｘを生成するようにする。

［７．キャプチャファイルの表示処理］

ここまでは、キャプチャした映像データＣＶ＃ｘと付加データＡｄｄ＃ｘをデータ保存部１９に保存するまでの処理を説明した。
データ保存部１９に保存された映像データＣＶ＃ｘと付加データＡｄｄ＃ｘ（以下、キャプチャファイルと総称する）は、ユーザーの操作に応じて表示装置２の画面上で表示されるようにする。

図１３は、キャプチャファイルを表示する際のコントローラ１１の処理の一例を示している。図１３のステップＦ４０１〜Ｆ４１０は図２で説明したキャプチャファイル表示制御機能によって実行される処理である。
ユーザーがキャプチャファイルの表示を求める操作を行ったことを検知したら、コントローラ１１は処理をステップＦ４０１からＦ４０２に進める。ステップＦ４０２では、コントローラ１１は、ＯＳＤ処理部２８及び映像信号処理部１５を制御して、ユーザーにキーワードを指定する操作を求める表示を実行させる。例えばキーワードボックス等の選択メニューを表示装置２の画面上に表示させる。或いは文字入力ボックスを表示させてキーワードとすべき文字列の入力を求める表示を行うようにしてもよい。

コントローラ１１はユーザーによるキーワードの選択又は入力を待ち、或るキーワードを確定させる操作を検知したら、ステップＦ４０３からＦ４０４に進む。
ステップＦ４０４では、キャプチャデータ処理部１８に指示し、データ保存部１９に記憶されたキャプチャファイルについて、選択されたキーワードに基づいたキャプチャファイルの検索或いはソートを実行させる。例えば「ラーメン」というキーワードが選択された場合の検索例としては、付加データＡｄｄ＃ｘに「ラーメン」という文字列が含まれているキャプチャファイルを抽出させる。
そしてステップＦ４０５でコントローラ１１は、抽出されたキャプチャファイルについての一覧表示を実行させる。この場合、コントローラ１１は、キャプチャデータ処理部１８に抽出したキャプチャファイルをそれぞれ縮小画像とした一覧画面の映像信号を生成させ、またキーワードとしての文字画像をＯＳＤ処理部２８から発生させる。これらを映像信号処理部１５に供給し、表示装置２の画面上に表示させる。
なお、キーワード検索により抽出されたキャプチャファイルについては、例えば記憶日時或いは付加データの内容などによりソートを行って、その順序で一覧表示が行われるようにしても良い。

図１４は一覧表示の例である。表示装置２の画面上に、ユーザーが選択した「ラーメン」というキーワード７０が表示されているとともに、そのキーワードによって検索されたキャプチャファイル７１が一覧表示される。各キャプチャファイル７１としては映像データＣＶ＃ｘと付加データＡｄｄ＃ｘが表示される。
この場合、データ保存部１９に保存されたキャプチャファイルのうち、「ラーメン」というキーワードで抽出されたキャプチャファイルが表示されるため、表示されるキャプチャファイル７１は、すべて付加データＡｄｄ＃ｘに「ラーメン」という文字列が含まれたものとなっている。
ユーザーはこのような一覧表示を見ることで、それまでに記憶させたキャプチャファイルの内容を確認できる。
もちろんより多数のキャプチャファイル７１が検索された場合などは、コントローラ１１はスクロールやページ送りなどの操作に応じて一覧表示画面内のキャプチャファイルを切り換えていき、各キャプチャファイル７１が画面上で確認できるようにする。

一覧表示後に、ユーザーが終了操作を行った場合は、コントローラ１１はステップＦ４０６で一覧表示を終了させ、処理を終える。
一方、一覧表示に対してはユーザーは或るキャプチャファイルを指定する操作ができるようにする。例えば一覧表示されたキャプチャファイル７１について、カーソル移動等の処理で所望のキャプチャファイル７１を選択させるようにする。
ユーザーが或るキャプチャファイルをカーソル移動等で指定し、確定操作を行った場合は、コントローラはステップＦ４０７からＦ４０８に進み、選択されたキャプチャファイル７１を拡大表示させる。例えば図１４において先頭のキャプチャファイル（映像データＣＶ＃１と付加データＡｄｄ＃１のキャプチャファイル７１）をユーザーが選択した場合、コントローラ１１は、そのキャプチャファイルを図１５のように表示装置２の画面上で拡大表示させる。例えばキーワード７０とともに、映像データＣＶ＃１と付加データＡｄｄ＃１を拡大した画像７２を表示させる。
このような拡大画像７２により、ユーザーはキャプチャファイルとして記憶させた情報を詳しく確認できることになる。

なおこの図１５の例では、拡大画像とともに、リスト表示への戻り操作アイコン７３，次および前のキャプチャファイルへの切換の操作のアイコン７４，７５、及び編集操作のアイコン７６を示している。
例えばユーザーが戻り操作アイコン７３を選択する操作を行った場合、コントローラ１１はステップＦ４０９からＦ４０５に進み、表示装置２の画面を図１４の一覧表示の状態に戻す。
また図１３のフローチャートには示していないが、図１５においてユーザーが切換の操作のアイコン７４又は７５を選択する操作を行った場合は、例えばステップＦ４０８内の処理として、一覧表示のために抽出されたキャプチャファイルの中で、次又は前のキャプチャファイルの拡大表示を実行させるようにする。例えば図１５のように映像データＣＶ＃１と付加データＡｄｄ＃１のキャプチャファイル７１が拡大表示された状態からアイコン７４の操作が行われた場合、図１４の一覧表示上で次のキャプチャファイルとなっている、映像データＣＶ＃５と付加データＡｄｄ＃５の拡大表示を行うようにする。

また、図１５の状態で編集操作のアイコン７６が操作された場合、コントローラ１１は処理をステップＦ４１０からＦ４１１に進め、拡大表示されているキャプチャファイル７１についての付加データＡｄｄ＃１の編集処理を行うようにする。ステップＦ４１１については詳述は避けるが、例えば図８のステップＦ３１２→Ｆ３１３→Ｆ３１４→Ｆ３１０と同様の処理を行えばよい。

以上の図１３の処理が行われることで、ユーザーはキャプチャファイルとしてデータ保存部１９に記憶させた情報を容易に確認することができる。
即ちキーワード選択によって該当する情報（キャプチャファイル）を抽出させることができ、また拡大表示させて詳しく内容を確認できる。さらに、付加データＡｄｄ＃ｘを編集することも可能である。
つまり、ユーザーは上述したキャプチャ指示操作によって、放送番組等のストリーム映像を見ながら任意の画像をキャプチャファイルとして記憶させていくことで必要な情報が蓄積され、それを後に一覧表示や拡大表示で容易に確認できる。例えば録画した番組を再生させながら知りたい情報の場面を探すといった面倒な手間はない。さらには、情報番組等は、本例のようにキャプチャファイルで必要な情報を記憶させておけば、番組全体の録画データを保存する必要も少ないため、例えばＨＤＤ１６等の録画用のメディアの容量の効率的な利用も促進できる。
また異なる番組からキャプチャしたキャプチャファイルであっても、同じ種類の情報であれば、キーワードにより共通に一覧表示させることができるため便利である。

なお、図１３ではキーワードでキャプチャファイルを抽出検索するようにしたが、検索等を行わずに、データ保存部１９に記憶された全てのキャプチャファイルを一覧表示させることも当然可能である。例えばユーザーがキーワード等を指定しない場合は、全てのキャプチャファイルを対象として一覧表示させるようにしてもよい。
また抽出検索ではなくソートを行っても良い。例えばキーワードが入力されたら、キーワードが該当するキャプチャファイルから、該当しないキャプチャファイルまでを順に並べて一覧表示させるようにしてもよい。さらにはキーワードではなく、キャプチャファイルとして登録した日時等の順でソートし、一覧表示画面上での順序としてもよい。
また図１４のように一覧表示を実行した後の段階で、各種ソート条件やさらなる絞り込みの条件を入力できるようにし、それに応じてソートや絞り込みの処理を行って一覧表示を行うようにしても良い。

また、一覧表示の形態として各キャプチャファイルの付加データのみをリスト表示する形態や、或いは各キャプチャファイルの映像データのみを一覧表示する形態も考えられる。これらの場合、一覧上で選択されたキャプチャファイルについて、図１５のような拡大画面が表示されて付加データと映像データの両方が確認できるようにすればよい。
また、必ずしも一覧表示ではなく、各キャプチャファイルとしての映像データが１つづつ順に表示されていくようにしてもよい。

また、例えば本例のビデオレコーダ１にメモリカードやディスクなどの可搬性記録メディアに対する記録再生部を備えるようにし、一覧表示でリストアップされたキャプチャファイルや、拡大表示させたキャプチャファイルを記録再生部で可搬性記録メディアに記録させるようにしてもよい。
或いは電子メール送信機能や、ＬＡＮ（Local Area Network）通信機能、ＵＳＢ（Universal Serial Bus）インターフェース機能等を備えるようにし、一覧表示でリストアップされたキャプチャファイルや、拡大表示させたキャプチャファイルを外部機器に送信できるようにしてもよい。
このようにすると、ユーザーはキャプチャファイルとして収集した情報を、携帯電話、携帯用情報機器（ＰＤＡ：Personal Digital Assistant等）、携帯用メディアプレーヤ等に転送し、外出先で情報を確認できるなど利便性を高めることができる。

［８．他の構成例］

以上では、図１のビデオレコーダ１の構成に基づいて実施の形態を説明してきたが、本発明が適用できるハードウエア構成は多様である。
例えばビデオレコーダ１としての装置以外に、録画再生機能のないチューナ機器（放送受信器）、チューナ内蔵のテレビジョン受信器、ＤＶＤ（Digital Versatile Disc）やブルーレイディスク（Blu-Ray Disc）等の光ディスクや他の各種メディアを再生する再生装置などであっても、本発明は適用できる。

また、上述した実施の形態の如き動作は、ネットワークシステムにおいて実現されるようにしても良い。
以下、例えばネートワーク接続された機器に対応するリモートコマンダーが本発明の映像処理装置の実施の形態となる例を図１６〜図２０で説明する。

図１６は、例えば家庭や会社等の団体その他において複数の機器をネットワーク接続した例を示しており、この場合、テレビジョン受像器８１，８２，８３、ビデオレコーダ（記録再生装置）８４，８５がそれぞれ相互に通信可能なネットワークの例としている。例えば各機器は家庭内の別の部屋に配置され、有線又は無線によるネットワーク通信が可能とされる。もちろん各機器が遠隔地に配置されている場合もある。
各機器に対しては、ＩＰ（Internet Protocol）リモートコマンダー（以下、ＩＰリモコンと略称する）８０により操作可能とされる。このＩＰリモコン８０は、ワイヤレスＬＡＮなどのネットワーク通信で各機器との間でコマンド信号や映像データ等のデータの送受信を行うことができるようにされている。

ＩＰリモコン８０は、ユーザーが所持できる小型軽量の筐体で形成され、例えば液晶パネルによる表示部９１や各種操作キー９２を備え、ユーザーはＩＰリモコン８０により操作を行うことができ、また映像を見ることができる。
図１７にＩＰリモコン８０の内部構成を示す。図示する装置内の各部はバス１００を介してデータや制御信号のやりとりを行う。

ＣＰＵ９３は、ＩＰリモコン８０における各部の動作のための必要な演算処理を行い、各部を制御する。ＣＰＵ９３は入力スイッチマトリクス部１０３で検出された操作キー９２による操作情報に基づいて、必要な制御を行う。
ＲＯＭ／ＲＡＭ９４は、ＣＰＵ９３の動作プログラムの記憶やリモートコマンダーとして出力する各種コマンド情報の格納に用いられ、また演算処理のワーク領域や受信したデータのバッファ領域として用いられる。また本例では、キャプチャファイルの保存に用いられる。
なお、ＲＯＭ／ＲＡＭ９４としては各種メモリ領域を総括的に示しており、ＲＯＭ、Ｄ−ＲＡＭ、Ｓ−ＲＡＭ、不揮発性メモリなどが含まれる。

ネットワーク通信部９６は、例えば図１６に示したネットワークにおける各機器との間のデータ通信を行う。
データ入出力インターフェース９５は、例えばネットワーク通信部９６による外部機器との通信のためのインターフェース処理を行う。例えばＣＰＵ９３が送信しようとする制御信号やデータに対して所定の通信フォーマット処理を行い、バス１００を介してネットワーク通信部９６に転送し送信させる。またネットワーク通信部９６により受信された各種データの入力処理を行い、バス１００を介して所要の部位（ＣＰＵ９３，ＲＯＭ／ＲＡＭ９４、コーデック処理部９７、ＧＤＰ９８等）に転送する。
コーデック処理部９７は、出力する音声データのデコード処理やデジタルオーディオ処理、Ｄ／Ａ変換処理等を行い、アナログオーディオ信号をアンプ１０１に供給してスピーカ１０２からの音声出力を実行させる。
ＧＤＰ（グラフィックディスプレイプロセッサ）９８は、出力する映像データに関する処理や、各種画像の描画処理等を行う。ＧＤＰ９８で処理又は生成された映像データは表示部９１に供給され、映像表示出力される。
赤外線通信部９９は、赤外線信号により外部機器に操作コマンド信号を出力する。

ＣＰＵ９３において機能するソフトウエア構成を図１８に示す。
ソフトウエア機能として、図示するようにＯＳ（Operating System）１１０、ネットワークプロトコル処理部１１１、グラフィックスプロセッサ１１２、無線ＬＡＮ処理部１１３、ウインドウシステム１１４、画像取得部１１５、映像ストリーム処理部１１６，リモート機器制御部１１７、映像／音声デコーダ部１１８、リモートコマンダアプリケーション１１９、情報付加部１２０が形成される。
ＯＳ１１０による基本処理上で機能するグラフィックプロセッサ１１２，ウインドウシステム１１４により、表示部９１での表示動作が制御される。
またネットワークプロトコル処理部１１１、無線ＬＡＮ処理部１１３によりネットワーク通信部９６、データ入出力インターフェース９５の動作が制御される。
また映像ストリーム処理部１１６、映像／音声デコーダ部１１８により、表示部９１やスピーカ部１０２から出力される映像データ、音声データに関する処理が制御される。
リモート機器制御部１１７により、ネットワーク通信による外部機器への制御情報の送信動作等が制御される。
リモートコマンダアプリケーション１１９により、赤外線コマンド信号の出力動作が制御される。

そして本例のＩＰリモコン８０の特徴的な動作として、画像取得部１１５により映像のキャプチャ処理が制御される。
また情報付加部１２０により、キャプチャ映像に付加する付加データの処理が行われる。
情報付加部１２０としては、文字入力部１２１，キーワード指定部１２２，キーワード取得部１２３，ＱＲコード検出・認識部１２４、ＥＰＧ処理部１２５，ＥＰＧ取得部１２６が設けられる。
文字入力部１２１は、ユーザーが付加データを文字入力する場合の処理を行う。
キーワード指定部１２２は、ユーザーが付加データをキーワード選択により入力する場合の処理を行う。
キーワード取得部１２３は、キーワードとなる候補文字列を生成する場合の処理を行う。例えばＥＰＧデータやＱＲコードからキーワードを抽出する。
ＱＲコード検出・認識部１２４は、キャプチャされた映像データにＱＲコードが含まれている場合に、その検出と記録されたデータ内容の抽出処理を行う。
ＥＰＧ取得部１２６はＥＰＧデータを取得する。例えばネットワーク通信を介して外部装置からＥＰＧデータを取得する処理を行う。
ＥＰＧ処理部１２５は、取得したＥＰＧデータについてのデータ内容の認識処理や選定処理等を行う。

以上の構成のＩＰリモコン８０によっては、図１６のようなネットワークに関して、例えば以下のような各種動作が実行できる。
・テレビジョン受像器８１，８２，８３、ビデオレコーダ８４，８５のそれぞれに対して、赤外線コマンド信号を出力する通常のリモートコマンダーとしての動作。
・無線ＬＡＮとしてのネットワーク通信により、テレビジョン受像器８１，８２，８３，ビデオレコーダ８４，８５に制御信号を供給し、所定の動作を要求する動作。例えば個々の機器の動作制御（電源オン／オフ、録画、再生、受信チャンネル設定など）や、関連動作の指示が可能である。関連動作の指示としては、例えばビデオレコーダ８４で映像コンテンツを再生させ、テレビジョン受像器８２で表示させるなどの動作の指示や、テレビジョン受像器８３で受信復調された放送映像をビデオレコーダ８５で録画させる動作の指示などが可能とされる。
・テレビジョン受像器８１，８２，８３，ビデオレコーダ８４，８５のいずれかにおいて受信或いは再生される映像信号／音声信号を当該ＩＰリモコン８０に送信させ、ＩＰリモコン８０の表示部９１，スピーカ部１０２で映像／音声を出力する動作。
・ＩＰリモコン８０で表示される映像をテレビジョン受像器８１，８２，８３，ビデオレコーダ８４，８５において表示させたり記録させたりする動作。

そして以上のような通常のＩＰリモコン８０の動作に加えて、本例では、上述した実施の形態と同様の映像キャプチャに関する動作が実行可能とされる。
ＩＰリモコン８０によって放送映像又は再生映像をキャプチャする際のＣＰＵ９３の処理例を図１９に示す。なお、ＩＰリモコン８０によるキャプチャ処理としては、図６，図７，図８で説明したビデオレコーダ１の場合と同様に各種の処理例が考えられ、またそれらの変形例も考えられるが、図１９では、図８のキャプチャ処理例IIIと同様の処理をＩＰリモコン８０において実行する場合として示している。

図１６のネットワークにおいては、テレビジョン受像器８１，８２，８３において、受信した放送番組の映像を表示させることができるだけでなく、テレビジョン受像器８１，８２，８３は、それぞれビデオレコーダ８４又は８５で再生された映像を出力することもできる。今、ユーザーはテレビジョン受像器８１により、放送映像又は再生映像を見ているものとし、その映像出力に対してＩＰリモコン８０によって映像キャプチャを行う例で説明する。

図１９の処理は、ユーザーがＩＰリモコン８０を用いて映像キャプチャに関する操作を行った場合のＣＰＵ９３の処理例である。
ＣＰＵ９３は、ステップＦ５０１でユーザーのキャプチャ指示操作を監視し、またステップＦ５０２で付加データ入力開始の操作を監視している。
ユーザーは、テレビジョン受像器８１で番組を視聴しているとき、取り込んでおきたい映像が表示されたタイミングで、ＩＰリモコン８０の操作キー９２によりキャプチャ指示操作を行うことができる。

ユーザーによるキャプチャ指示操作を検知した場合、ＣＰＵ９３は処理をステップＦ５０１からＦ５０３に進める。
ステップＦ５０３では、ＣＰＵ９３はテレビジョン受像器８１に対して、映像のキャプチャ要求を送信する。この送信は、ネットワーク通信部９６から送信すればよいが、赤外線通信部９９による赤外線信号として送信することも考えられる。なお、図１６の例のようにテレビジョン受像器が複数、ネットワーク接続されている場合は、ＩＰリモコン８０はキャプチャ要求の送信先の機器を特定する必要がある。これはユーザーが、ＩＰリモコン８０を用いて操作する対象の機器を指示した場合は、その機器を送信先として特定すればよい。例えば、ユーザーがテレビジョン受像器８１についての放送受信を指示する操作を行った場合や、或いはビデオレコーダ８４で再生させてテレビジョン受像器８１による表示出力を指示した場合においては、その後にキャプチャ指示操作は、テレビジョン受像器８１の表示映像に対するものと判断し、ＣＰＵ９３はテレビジョン受像器８１をキャプチャ要求の送信対象とすればよい。

例えばテレビジョン受像器８１は、ＩＰリモコン８０からのキャプチャ要求に対して、その時点で表示していた映像信号の１フレームの映像データを、ＩＰリモコン８０側に送信する動作を行う。ＩＰリモコン８０では、ネットワーク通信部９６により当該映像データを受信する。ＣＰＵ９３は、ステップＦ５０４で、受信された映像データの取り込みステップＦ５０５で、取り込んだ映像データを、映像データＣＶ＃ｘとして保持させる。例えばまだ付加データと関連づけられていない映像データＣＶ＃ｘとしてＲＯＭ／ＲＡＭ９４に記憶しておく。
なお、キャプチャされた１フレームの映像データについては、テレビジョン受像器８１側で圧縮処理してからＩＰリモコン８０に送信すればよいが、圧縮せずにＩＰリモコン８０に送信し、ＩＰリモコン８０側で圧縮処理してＲＯＭ／ＲＡＭ９４に記憶するようにしても良い。

またＣＰＵ９３はステップＦ５０５では、映像データＣＶ＃ｘを表示部９１に表示させる。このとき、付加データの入力を求める表示も同時に行えばよい。
図２０にステップＦ５０３、Ｆ５０４、Ｆ５０５の処理による様子を示す。ＩＰリモコン８０からはテレビジョン受像器８１に対してキャプチャ要求が送信され、テレビジョン受像器８１はその時点で表示している映像データをＩＰリモコン８０に送信する。ＩＰリモコン８０は、受信した映像データを記憶すると共に、図示するようにキャプチャした画像６０を表示部９１に表示させる。このとき、例えばメッセージ６４やキーワードボックス６３も表示させて、ユーザに付加データの入力を求めるようにする。もちろん図９のような文字入力ボックス６１を表示させてもよい。

ステップＦ５０６では、ＣＰＵ９３は、キャプチャ指示操作の直後に、ユーザーによって付加データの入力のための操作が開始されるか否かを監視する。例えば図２０のような画面に対してキーワード指定操作を行うか否かを監視する。

キャプチャ指示操作の直後にユーザーが付加データの入力開始のための操作を行わなかった場合は、ステップＦ５０６からＦ５０７に進み、ＣＰＵ９３は付加データとして用いる情報の抽出が可能であったか否かを判断する。例えばキャプチャした映像データＣＶ＃ｘにＱＲコードが付加されており、かつ付加データとして用いることに有効な情報がデコードできたか否かを判断すればよい。
ＣＰＵ９３は、ＱＲコードから、テキストデータ等、付加データ生成に必要な情報が得られた場合に、付加データが抽出可能と判断し、ステップＦ５０７からＦ５０８に進む。そしてステップＦ５０８では、ＱＲコードかデコードされた情報に基づいて付加データを生成する。
ステップＦ５０９では、ＣＰＵ９３は生成付加データを、キャプチャした映像データＣＶ＃ｘに対応する付加データＡｄｄ＃ｘとする。

そしてステップＦ５１０で、映像データＣＶ＃ｘと、付加データＡｄｄ＃ｘを関連させてファイル化処理を行い、例えば図３（ａ）又は図３（ｂ）のようなファイル形態でＲＯＭ／ＲＡＭ９４に記憶させる。
その後ステップＦ５０１，Ｆ５０２の操作監視処理に戻る。
なお、このようにキャプチャファイルをＲＯＭ／ＲＡＭ９４に記憶する以外に、外部の記憶装置に記憶させることもできる。
例えばＣＰＵ９３はステップＦ５１０において、ファイル化した映像データＣＶ＃ｘと付加データＡｄｄ＃ｘと、記録要求をビデオレコーダ８４に送信する。ビデオレコーダ８４では、これに応じてキャプチャファイルを内部の記録媒体に保存する。もちろんビデオレコーダ８４に限らず、ファイル記録可能な他の装置に記録させても良い。
或いは、ＩＰリモコン８０にカードスロットを形成し、メモリカードを装着可能とした場合は、そのメモリカードにキャプチャファイルを記録するようにしてもよい。

ステップＦ５０７で付加データ抽出ができなかったと判断した場合は、ＣＰＵ９３はステップＦ５０１、Ｆ５０２の操作監視処理に戻る。つまりこの場合は、キャプチャした映像データＣＶ＃ｘに対する付加データは、ユーザーが後の時点で入力したデータに基づいて生成するものとすることになる。

一方ステップＦ５０６で、ユーザーがキャプチャ指示操作の直後に付加データ入力のための操作、例えば図２０の画面表示対してキーワードを指定する操作を行った場合は、ＣＰＵ９３はステップＦ５１２に進み、ユーザー操作に応じた付加データ入力処理を行う。上述したように付加データの入力については多様に考えられる。
そしてユーザーの操作により入力内容が確定されたら、ステップＦ５１３からＦ５１４に進み、確定された入力データによって付加データを生成し、キャプチャした映像データＣＶ＃ｘに対応する付加データＡｄｄ＃ｘとする。
次にステップＦ５１０で、映像データＣＶ＃ｘと、付加データＡｄｄ＃ｘを関連させてファイル化処理を実行させ、例えば図３（ａ）又は図３（ｂ）のようなファイル形態でＲＯＭ／ＲＡＭ９４、もしくは外部の記録可能な装置に記憶させる。

また、ステップＦ５０２でユーザーによる付加データ入力開始のための操作、例えば付加データ入力モードの操作などが検知された場合は、ＣＰＵ９３はステップＦ５１１に進む。つまり過去の時点でキャプチャし、まだ付加データを関連づけたファイルとして記憶してない映像データＣＶ＃ｘに対して、ユーザーが付加データを入力しようとする場合や、或いは、既に付加データが関連づけられているキャプチャファイルについてユーザーが付加データを修正する編集を行う場合である。ステップＦ５１１の処理は、付加データの入力を行う対象となる映像データＣＶ＃ｘをユーザーの指定に基づいて特定する処理となる。
その後、上述のステップＦ５１２，Ｆ５１３，Ｆ５１４，Ｆ５１０の処理で付加データの入力又は編集、ファイル化、キャプチャファイルとしての記録を行う。
なお、キャプチャファイルを外部の記憶装置、例えばビデオレコーダ８４等に保存する場合、既に外部機器に保存されているキャプチャファイルの編集については、それら外部機器と通信を行いながら上記ステップＦ５１１〜Ｆ５１０の処理を行えばよい。

以上のように、ＩＰリモコン８０を用いたキャプチャ処理が実行される。
なお、図１９は一例であり、上記図６のように付加データをユーザー入力により生成する処理方式、図７のように付加データをＱＲコードやＥＰＧデータ等から自動生成する処理方式も可能である。また付加データ入力に際して、図１２で説明したように入力方式をユーザーが選択できるようにすることも可能である。つまり、図１〜図１５で説明した実施の形態と同様に各種の変形例が想定できる。
また、上記例ではテレビジョン受像器８１でストリーム映像を見ながら、キャプチャ指示操作に応じて映像データをＩＰリモコン８０に取り込むようにしたが、ネットワーク通信により、テレビジョン受像器８１，８２，８３で受信されたストリーム映像や、ビデオレコーダ８４，８５で再生したストリーム映像をＩＰリモコン８０に供給し、ＩＰリモコン８０の表示部９１でストリーム映像を見ることもできる。その場合、キャプチャ処理は、ＩＰリモコン８０内で、表示処理中のストリーム映像に対して行われればよい。

以上のようにＩＰリモコン８０によってキャプチャ処理されて保存されたキャプチャファイルについては、ＣＰＵ９３が上述した図１３と同様の処理で、ユーザーの操作に応じて表示させることができる。
即ちＣＰＵ９３は、ユーザーが操作キー９２によりキャプチャファイルの表示要求の操作を行った場合、図１３のステップＦ４０２，Ｆ４０３，Ｆ４０４，Ｆ４０５の処理を行って、ＲＯＭ／ＲＡＭ９４に記憶されたキャプチャファイルの検索や表示部９１での一覧表示を行うようにすればよい。またステップＦ４０６〜Ｆ４１１の処理もＣＰＵ９３が実行するようにして、拡大表示や編集処理を行えばよい。
なお、上記のようにＩＰリモコン８０にカードスロットを設けてメモリカードにキャプチャファイルを保存する場合も、同様の処理が可能である。
ただし、ＩＰリモコン８０がビデオレコーダ８４，８５等の外部のデータ記録可能な機器にキャプチャファイルを保存するようにする場合は、ＣＰＵ９３は、その外部機器に対してキャプチャファイルの一覧表示、拡大表示、編集等を要求することになる。

以上のようにネットワーク機器に対応するＩＰリモコン８０においても、映像キャプチャやキャプチャファイルの一覧表示等を行うことができ、図１〜図１５で説明した実施の形態と同様の効果を得ることができる。
さらにこのＩＰリモコン８０のような携帯可能な機器の場合、ＩＰリモコン８０を持ち運ぶことで、保存したキャプチャファイルを携帯できることにもなり、例えばラーメン屋の情報を保持しながら、そのラーメン屋を探すといったことも可能となるため、さらに便利に利用できる。
なお、ここではＩＰリモコン８０としての機器で説明したが、携帯電話機やＰＤＡ（Personal Digital Assistant）などでも、上記動作を実行させるようにすることができ、その場合も、キャプチャファイルの携帯性が得られることになる。

ところで、図１６のネットワーク構成例では、ＩＰリモコン８０が、テレビジョン受像器８１，８２，８３、ビデオレコーダ８４，８５のそれぞれと相互に無線ＬＡＮ通信を行うものとしたが、図２１のようなネットワーク構成も考えられる。
この図２１では、テレビジョン受像器８１，８２，８３、ビデオレコーダ８４，８５が有線ＬＡＮにより相互通信可能とされ、この有線ＬＡＮ上に無線ＬＡＮ用のアクセスポイント１５０が設けられる。そしてＩＰリモコン８０は、アクセスポイント１５０を介して有線ＬＡＮネットワークにアクセスする。つまりＩＰリモコン８０はアクセスポイント１５０を介した通信によりネットワーク上の各機器を制御し、またデータの送受信を行う構成である。
このようなネットワーク構成においても、上述した動作は同様に実現できる。

本発明の実施の形態のビデオレコーダのブロック図である。 実施の形態のコントローラの機能の説明図である。 実施の形態の記憶されるファイル形態の説明図である。 実施の形態のキャプチャファイルの説明図である。 実施の形態のキャプチャファイルの説明図である。 実施の形態のキャプチャ処理例Ｉのフローチャートである。 実施の形態のキャプチャ処理例IIのフローチャートである。 実施の形態のキャプチャ処理例IIIのフローチャートである。 実施の形態の付加データ入力の説明図である。 実施の形態の付加データ入力時の表示画面例の説明図である。 実施の形態の編集時の入力の説明図である。 実施の形態の入力方法選択の説明図である。 実施の形態のキャプチャファイル表示処理のフローチャートである。 実施の形態のキャプチャファイル一覧表示の説明図である。 実施の形態のキャプチャファイル拡大表示の説明図である。 実施の形態のネットワーク構成の説明図である。 実施の形態のＩＰリモコンのブロック図である。 実施の形態のＩＰリモコンのソフトウエア構成の説明図である。 実施の形態のＩＰリモコンのキャプチャ処理のフローチャートである。 実施の形態のＩＰリモコンでのキャプチャ時の表示例の説明図である。 実施の形態のネットワーク構成の他の例の説明図である。

符号の説明

１ ビデオレコーダ、２ 表示装置、３ リモートコマンダー、１１ コントローラ、１２ チューナ部、１５ 映像信号処理部、１６ ＨＤＤ、１７ 記録再生処理部、１８ キャプチャデータ処理部、１９ データ保存部、２０ ＱＲ検出部、２１ ＥＰＧ抽出／記憶部、２５ パネル操作部、２６ 端子、２７ 受光部、２８ ＯＳＤ処理部、３０ キャプチャ処理制御機能、３１ 付加データ生成処理機能、３２ キャプチャファイル記憶制御機能、３３ キャプチャファイル表示制御機能、８０ ＩＰリモコン、８１，８２，８３ テレビジョン受像器、８４，８５ ビデオレコーダ、９１ 表示部、９２ 操作キー、９３ ＣＰＵ、９４ ＲＯＭ／ＲＡＭ

Claims (13)

1. 入力されたキャプチャ指示に応じて、表示装置部で表示させるストリーム映像データにおける１フレーム分の映像データを取り込む映像データキャプチャ手段と、
   上記映像データキャプチャ手段が取り込んだ映像データに関するデータを取得するデータ取得手段と、
   上記映像データキャプチャ手段で取り込んだ映像データに関連づける付加データを生成する付加データ生成手段と、
   上記映像データキャプチャ手段で取り込んだ映像データと、上記付加データ生成手段で生成した付加データとを対応させて、所定の記憶部に記憶させる記憶制御手段と、
   上記記憶制御手段によって上記記憶部に記憶させた映像データについての一覧画像データを生成し、上記表示装置部に対して出力する一覧表示制御手段と、
   を備え、
   上記データ取得手段は、上記映像データキャプチャ手段が取り込んだ映像データに記録されているコード情報を検出し、該コード情報を解析してデコードを行い、コードとして記録された情報を抽出してデータとして取得し、
   上記付加データ生成手段は、上記データ取得手段で取得されたデータを上記映像データキャプチャ手段で取り込んだ映像データに対応する上記付加データとして生成する
   映像処理装置。
2. 上記コード情報は、ＱＲコード、バーコード、二次元バーコードによる情報およびデジタル映像データとして付加的な情報であることを特徴とする請求項１に記載の映像処理装置。
3. 上記映像データキャプチャ手段は、上記取り込んだ映像データに重畳されている電子番組情報を分離し取り込むとともに、
   上記データ取得手段は、上記電子番組情報から抽出される文字情報に基づいてデータを取得することを特徴とする請求項１に記載の映像処理装置。
4. 上記データ取得手段は、検出されたコード情報によって記録された情報が付加データとして用いる情報として、該コード情報に記録された情報からテキストデータ、ＵＲＬデータが得られた場合に付加データとして抽出が可能と判断することを特徴とする請求項１に記載の映像処理装置。
5. さらに、有線または無線によりネットワーク接続された外部機器との送受信制御手段を備え、
   上記送受信制御手段は、上記外部機器との間で映像データ、及び該外部機器の制御信号の送受信を行うことを特徴とする請求項１に記載の映像処理装置。
6. 上記映像データキャプチャ手段は、上記送受信制御手段を介して、上記外部機器から送信される映像データを取り込むことを特徴とする請求項５に記載の映像処理装置。
7. 上記送受信制御手段は、上記記憶制御手段によって上記記憶部に記憶させた映像データについて上記外部機器に対して出力することを特徴とする請求項５に記載の映像処理装置。
8. 上記一覧表示制御手段は、上記記憶部に記憶させた映像データについて、上記付加データに基づいて検索又はソートを行い、該検索又はソートの結果に基づいて上記一覧画像データを生成することを特徴とする請求項１に記載の映像処理装置。
9. ユーザー操作に用いられる操作入力手段をさらに備え、
   上記付加データ生成手段は、上記操作入力手段の操作によって入力されたデータを用いて上記付加データを生成することを特徴とする請求項１に記載の映像処理装置。
10. 上記操作入力手段の操作によって入力されるデータは文字データであることを特徴とする請求項９に記載の映像処理装置。
11. ユーザー操作に用いられる操作入力手段をさらに備え、
    上記付加データ生成手段は、上記操作入力手段の操作によって選択されたデータを用いて上記付加データを生成することを特徴とする請求項１に記載の映像処理装置。
12. 上記付加データ生成手段は、選択候補データを発生させるとともに、該選択候補データの中で上記操作入力手段の操作によって選択されたデータを用いて上記付加データを生成することを特徴とする請求項１１に記載の映像処理装置。
13. 入力されたキャプチャ指示に応じて、表示装置部で表示させるストリーム映像データにおける１フレーム分の映像データを取り込む映像データキャプチャステップと、
    上記映像データキャプチャステップによって取り込んだ映像データに関するデータを取得するデータ取得ステップと、
    上記映像データキャプチャステップで取り込んだ映像データに関連づける付加データを生成する付加データ生成ステップと、
    上記映像データキャプチャステップで取り込んだ映像データと、上記付加データ生成ステップで生成した付加データとを対応させて、所定の記憶部に記憶させる記憶制御ステップと、
    上記記憶制御ステップによって上記記憶部に記憶させた映像データについての一覧画像データを生成し、上記表示装置部に対して出力する一覧表示制御ステップと、
    を備え、
    上記データ取得ステップは、上記映像データキャプチャステップで取り込んだ映像データに記録されているコード情報を検出し、該コード情報を解析してデコードを行い、コードとして記録された情報を抽出してデータとして取得し、
    上記付加データ生成ステップは、上記データ取得ステップで取得されたデータを上記映像データキャプチャステップによって取り込んだ映像データに対応する上記付加データとして生成する
    映像処理方法。

Images