[go: up one dir, main page]

JP2007250048A - 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 Download PDF

Info

Publication number
JP2007250048A
JP2007250048A JP2006070054A JP2006070054A JP2007250048A JP 2007250048 A JP2007250048 A JP 2007250048A JP 2006070054 A JP2006070054 A JP 2006070054A JP 2006070054 A JP2006070054 A JP 2006070054A JP 2007250048 A JP2007250048 A JP 2007250048A
Authority
JP
Japan
Prior art keywords
display
video
image
frame
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006070054A
Other languages
English (en)
Other versions
JP2007250048A5 (ja
Inventor
Junichi Ogikubo
純一 荻窪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006070054A priority Critical patent/JP2007250048A/ja
Publication of JP2007250048A publication Critical patent/JP2007250048A/ja
Publication of JP2007250048A5 publication Critical patent/JP2007250048A5/ja
Pending legal-status Critical Current

Links

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】一連の映像の中から所望シーンの画探し作業や編集作業を容易化させるようにする。
【解決手段】本発明は、複数の表示映像データに対する表示順に時間差を設け、かつ動画像が表示される複数の映像表示部Ｗ５７１〜Ｗ５７ｎを３次元螺旋状の螺旋映像表示部群５８として提示することになるため、一度の画面表示の中であっても３次元螺旋構造ゆえに一段と多くの複数の表示映像データを提示し得、かつ３次元螺旋状の表示形態による動画像によって瞬間瞬間で複数の映像表示部毎に異なるシーンの表示映像データを目視確認させることができるので、時系列の流れをオペレータに対して直感的に認識させながら、表示映像データに基づく一連の映像の中からオペレータ所望シーンの映像部分を容易に探索させ、かくしてオペレータの画探し作業や編集作業を容易化させることができる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体に関し、例えばノンリニア編集装置に適用して好適なものである。
従来、テレビジョン放送局等のコンテンツ制作現場においては、ビデオカメラで撮影することにより得られた映像音声素材（以下、これをクリップと呼ぶ）からその一部を切り取るようにして新たな１つのクリップを作成し、同様に作成した複数のクリップを繋ぎ合わせるようにして１本のコンテンツを作成している（例えば、非特許文献１参照）。
図１２１は、このような編集作業に用いられる編集装置のディスプレイに表示されるＧＵＩ（Graphical User Interface）画面（以下、これを編集画面と呼ぶ）の一例を示すものである。この図１２１からも明らかなように、この編集画面１は、クリップ一覧表示部２、モニタ部３、ストーリーボード部４、タイムライン部５及びエフェクト情報表示部６Ａ〜６Ｃから構成されている。
この場合クリップ一覧表示部２には、その編集装置に登録されている各種ビン及びファイルの中から所望の１つのビン又はファイルを選択して、そのビン又はファイルに収納されているクリップの一覧を表示させることができるようになされている。
そしてオペレータは、これらクリップ一覧表示部２に一覧表示されたクリップの中から所望のクリップを選択し、これをモニタ部３にドラッグアンドドロップすることによって、そのクリップの先頭画像をモニタ部３内に表示させることができる。
またオペレータは、その状態でモニタ部３の下部に表示されたボタン群７の中から対応するボタンをクリックすることによって、かかるドラッグアンドドロップされたクリップの再生を開始させてその再生映像をモニタ部３に表示させることや、その表示された再生映像を早送り又は巻き戻し等させることができ、さらにボタン群７の上側に表示されたそのクリップ全体における現在の表示画像の位置を表すスクラブカーソル８をマウス操作により左右に移動させることによって、そのときのスクラブカーソル８の位置に応じた画像をモニタ部３に表示させることができる。
かくしてオペレータは、モニタ部３に表示される再生映像を目視確認しながら、かかるボタン群７内の再生ボタン等やスクラブカーソル８を操作することによって所望のフレームを探索し、そのフレームの画像をモニタ部３に表示させた状態で当該モニタ部３の下部に設けられたイン点ボタン９ＩＮ又はアウト点ボタン９ＯＵＴをクリックすることにより、そのクリップから切り取るべき映像音声部分の開始点（以下、イン点）及び終了点（以下、アウト点）をそれぞれ指定することができる。
そして、このようにしてイン点及びアウト点を指定したクリップについては、当該イン点及びアウト点で挟まれる映像音声部分を新たなクリップとして、ドラッグアンドドロップによりストーリーボード部４に貼り付けることができる。これにより編集画面１においては、編集に使用するクリップを予めストーリーボード部４に並べることによって、オペレータが編集結果を容易にイメージし得るようになされている。なお、このときストーリーボード部４には、貼り付けられた各クリップの先頭画像等の代表画像のサムネイル及び詳細情報が表示される。
そしてオペレータは、この後かかるストーリーボード部４に貼り付けた各クリップを、それぞれドラッグアンドドロップによりタイムライン部５のビデオトラック１０Ｖ上に並べるように順次貼り付けるようにする。このときビデオトラック１０Ｖには、タイムスケール１１を指標として、貼り付けられたクリップの素材長に応じた長さの帯１２Ｖが表示される。またこのときそのクリップに音声がある場合には、オーディオトラック１０Ａにおけるタイムスケール１１上の同じ位置に同じ長さの帯１２Ａが表示される。
ここで、このようにタイムライン部５のビデオトラック１０Ｖやオーディオトラック１０Ａに帯１２Ｖ、１２Ａが表示されることは、編集映像音声の出力時にタイムスケール１１で表された時間にその帯１２Ｖ、１２Ａに対応するクリップの映像が表示され又は音声が出力されることを意味する。従って、このような操作により編集映像として表示され、又は編集音声として出力されるクリップの映像又は音声を順次規定してなる編集リストを作成することができる。
なお、このようにして編集リストを作成する際に、例えば第１のクリップの映像から第２のクリップの映像への切り替わり時に映像特殊効果処理を施したいときには、エフェクト情報表示部６Ａ〜６Ｃのうちのエフェクト一覧表示部６Ｃに一覧表示された、この編集装置が実行できる各種映像特殊効果の中から、所望する映像特殊効果と対応付けられたアイコン（以下、これをエフェクトアイコンと呼ぶ）１３を、タイムライン部５のトラジショントラック１０Ｔにおける第１及び第２のクリップの切り替わり部分とタイムスケール１１上で同じ位置にドラッグアンドドロップにより貼り付けるようにする。
これにより編集映像における第１のクリップの映像と第２のクリップの映像との繋ぎ部分において、上述のようにトラジショントラック１０Ｔに貼り付けられたエフェクトアイコン１３と対応付けられた映像特殊効果処理を実行すべき旨の指示を入力することができる。
特開２０００−２５１４５１公報
ところで、上述のような編集画面１を用いた編集作業において、イン点やアウト点とすべきフレームの探索作業は、上述のようにスクラブカーソル８を左右に動かすスクラブ（Scrub）と呼ばれるマウス操作により、そのクリップの映像を高速再生させて所望のフレームを見つけ出すことにより行われる。
しかしながら、このようなスクラブによる所望フレームの探索作業（以下、適宜、これを画探し作業と呼ぶ）は、その操作に習熟していなければ多くの時間を要するものである。また対象とする映像音声素材が、例えば圧縮効率を高めるために１ＧＯＰ（Group of Pictures）内に複数フレームをもつ方式、いわゆるＭＰＥＧ（Motion Picture Expert Group）方式のロングＧＯＰ（Long GOP）フォーマットで圧縮符号化が行われている場合や、前後のＧＯＰのデータをも利用して圧縮するオープンＧＯＰフォーマットの場合には、フレームを復号化処理するために複数のフレーム及びＧＯＰをも復号化処理しなければならない場合があることから、高速なランダム再生が困難となる。この結果、かかる場合には、表示映像の応答性が悪くなって、スクラブによる画探し作業がさらにやり難いものとなる。
さらに上述のようにクリップ同士を繋げるいわゆるカット編集の操作も、従来は、編集画面１内のタイムライン部５のビデオとラック１０Ｖやオーディオトラック１０Ａにクリップを貼り付けるようにして行い、イン点及びアウト点の前後の映像確認をその後の再生やスクラブにより行っていた。このためかかるカット編集を行うためには、上述のようにいくつかのステップが必要であり、簡易に行うことが困難な問題があった。
さらに、通常、編集作業では、映像と音声とを意識して編集するのが常であるが、音声については映像を目視確認しながらスピーカから出力される音を頼りにするか、又は編集画面１のタイムライン部５のオーディオトラック１０Ａに表示される音声のレベル波形（例えば図１２１中のタイムライン部５の「オーディオ３」のオーディオトラック１０Ａを参照）を確認しながら編集する必要があり、映像と音声とを連携させた編集作業を容易に行い得ない問題があった。
本発明は以上の点を考慮してなされたもので、画探し作業や編集作業を容易化させ得る画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体を提案しようとするものである。
かかる課題を解決するため本発明の画像処理装置、画像処理方法及び画像処理プログラムにおいては、映像データから、表示画面上の複数の映像表示部に対してそれぞれ表示させるための複数の表示映像データを生成する画像生成手段と、複数の映像表示部に対して表示させる複数の表示映像データを、表示順に時間差を設けながら動画像の状態で、表示画面上で３次元螺旋状に配置して表示させる画像処理手段とを設けるようにした。
これにより、複数の表示映像データに対する表示順に時間差を設け、かつ動画像が表示される複数の映像表示部を３次元螺旋状の表示形態で提示することになるため、一度の画面表示の中であっても３次元螺旋構造ゆえに一段と多くの複数の表示映像データを提示し得、かつ３次元螺旋状の表示形態による動画像によって瞬間瞬間で複数の映像表示部毎に異なるシーンの表示映像データを目視確認させることができるので、時系列の流れをオペレータに対して直感的に認識させながら、表示映像データに基づく一連の映像の中からオペレータ所望の映像部分を容易に探索させて画探し作業や編集作業を容易化させることができる。
さらに本発明のプログラム格納媒体においては、映像データから、表示画面上の複数の映像表示部に対してそれぞれ表示させるための複数の表示映像データを生成する画像生成ステップと、複数の映像表示部に対して表示させる複数の表示映像データを、表示順に時間差を設けながら動画像の状態で、表示画面上で３次元螺旋状に配置して表示させる画像処理ステップとを含む処理を情報処理装置に実行させるようにした。
この結果このプログラム格納媒体によれば、複数の表示映像データに対する表示順に時間差を設け、かつ動画像が表示される複数の映像表示部を３次元螺旋状の表示形態で提示することになるため、一度の画面表示の中であっても３次元螺旋構造ゆえに一段と多くの複数の表示映像データを提示し得、かつ３次元螺旋状の表示形態による動画像によって瞬間瞬間で複数の映像表示部毎に異なるシーンの表示映像データを目視確認させることができるので、時系列の流れをオペレータに対して直感的に認識させながら、表示映像データに基づく一連の映像の中からオペレータ所望の映像部分を容易に探索させて画探し作業や編集作業を容易化させることができる。
本発明によれば、複数の表示映像データに対する表示順に時間差を設け、かつ動画像が表示される複数の映像表示部を３次元螺旋状の表示形態で提示することになるため、一度の画面表示の中であっても３次元螺旋構造ゆえに一段と多くの複数の表示映像データを提示し得、かつ３次元螺旋状の表示形態による動画像によって瞬間瞬間で複数の映像表示部毎に異なるシーンの表示映像データを目視確認させることができるので、時系列の流れをオペレータに対して直感的に認識させながら、表示映像データに基づく一連の映像の中からオペレータ所望の映像部分を容易に探索させて編集作業を容易化させることができ、かくして画探し作業や編集作業を容易化させ得る画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体を実現することができる。
以下図面について、本発明の一実施の形態を詳述する。
（１）本実施の形態による編集システムの構成
図１に示すように、１は全体として本実施の形態による編集システムを示し、大きく分けて編集装置２、記憶装置２２及び複数台のビデオテープレコーダ２３１〜２３ｎ等から構成されている。
この編集システム１においは、ビデオテープに記録された映像音声の一部又は全部をクリップとして、編集装置２を介してＲＡＩＤ（Redundant Arrays of Independent Disks）でなる大容量の記憶装置２２に取り込み得るようになされている。
またこの編集システム１では、記憶装置２２に取り込まれたクリップを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容を規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、その結果得られた編集映像及び編集音声を記憶装置２２に蓄積したり、ビデオテープレコーダ２３１〜２３ｎを介してビデオテープに記録し得るようになされている。
この場合、編集装置１においては、マイクロプロセッサ３に対してＧＰＵ４、ＸＤＲ（Extreme Data Rate）−ＲＡＭ５及びサウスブリッジ６が接続されると共に、当該サウスブリッジ６にハードディスク装置７、ＵＳＢインタフェース８及びサウンド入出力コーデック９が接続されている。このサウンド入出力コーデック９にはスピーカ４１が接続されている。
またサウスブリッジ６には、ＰＣＩバス１５を介してマウス３８、キーボード３９、ビデオテープレコーダ２３１〜２３ｎ、記憶装置２２及び操作コントローラ３７が接続されている。なおＧＰＵ４にはディスプレイ４０が接続されている。
ところでマイクロプロセッサ３は、ＯＳ（Operating System）等の基本プログラムを実行する汎用のメインＣＰＵコア３Ｍと、当該メインＣＰＵコア３Ｍに内部バス１２を介して接続された複数（この場合８個）のＲＩＳＣ（Reduced Instruction Set Computer）タイプの信号処理プロセッサ（以下、これをサブＣＰＵコアと呼ぶ）３ＳＡ〜３ＳＨと、例えば２５６[MByte]の容量を持つＸＤＲ−ＲＡＭ５に対するメモリコントロールを行うメモリコントローラ１３と、サウスブリッジ６との間でデータの入出力を管理するＩ／Ｏ（In/Out）コントローラ１４とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４[GHz]を可能としている。
この編集装置１のマイクロプロセッサ３は、主にＭＰＥＧデコーダ、ＪＰＥＧ2000、H.264／AVC(Advanced Video Coding)等のコーデックの役割を担い、デコードした結果得られる再生映像をＧＰＵ４へデータ転送したり、再生速度ｖ（後述する）等の設定を変更したり、或いは物理演算等を行うようになされている。
特にマイクロプロセッサ３は、８個のサブＣＰＵコア３ＳＡ〜３ＳＨがデコーダの役割をそれぞれ担い、当該８個のサブＣＰＵコア３ＳＡ〜３ＳＨがＨＤ（High Definition）の再生映像を同時並列的にデコードすることが可能である。
またメインＣＰＵコア３Ｍは、８個のサブＣＰＵコア３ＳＡ〜３ＳＨが行う以外の処理や管理を行うようになされており、サウスブリッジ６を介してマウス３８、キーボード３９或いは操作コントローラ３７から供給された命令を受け付け、当該命令に応じた種々の処理を実行する。
このようにマイクロプロセッサ３は、８個のサブＣＰＵコア３ＳＡ〜３ＳＨによって同時並列的に再生映像をデコードすることができるようになされており、かつマイクロプロセッサ３とＧＰＵ４との間を帯域幅の大きなバス１０により例えば最大３０[Gbyte/sec]の転送速度でデータ転送し得るようになされているため、多くの枚数の高精細な再生画像をデコードして短時間にデータ転送し得るようになされている。
因みに、この場合８個のサブＣＰＵコア３ＳＡ〜３ＳＨでは、例えば同時に２枚のＨＤの再生映像をそれぞれデコードすることが可能であり、すなわちマイクロプロセッサ３からＧＰＵ４へは一度に１６枚（この場合）もの高精細な再生画像を高速転送することができる。但し、８個のサブＣＰＵコア３ＳＡ〜３ＳＨが同時にデコード可能なＨＤの枚数としてはこれに限るものではなく、更に多くの枚数の再生映像をデコードすることが可能である。
一方ＧＰＵ４は、ディスプレイ４０に表示する再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、座標変換計算処理や、再生映像の拡大・縮小処理等を行う機能を司り、マイクロプロセッサ３の処理負担を軽減させるようになされている。
実際上、マイクロプロセッサ３は、起動時、ハードディスク装置７に格納された制御プログラムに基づき、当該ハードディスク装置７に格納されている必要なソフトウェアを読み出してＸＤＲ−ＲＡＭ５に展開し、この後このソフトウェア及びオペレータ操作に基づいて必要な制御処理を実行する。
マイクロプロセッサ３は、マウス３８、キーボード３９或いは操作コントローラ３７が操作されて、ビデオテープに記録された映像音声を記憶装置２２に取り込むためのクリップ取込みウィンドウの表示命令が入力されると、これに応動してハードディスク装置７を制御することにより、対応する画像データを読み出させる一方、これと併せてＧＰＵ４を制御することにより、この画像データに基づく上述のクリップ取込みウィンドウをディスプレイ４０に表示させる。
またマイクロプロセッサ３は、この状態でマウス３８、キーボード３９或いは操作コントローラ３７が操作されて、ビデオテープレコーダ２３１〜２３ｎに対する再生動作命令が入力されると、これに応動してビデオテープレコーダ２３１〜２３ｎを制御することにより、ビデオテープに記録された映像音声信号の再生動作を実行させる。
この結果このビデオテープレコーダ２３１〜２３ｎからは、当該ビデオテープレコーダ２３１〜２３ｎに装填されたビデオテープから再生された映像音声信号が出力され、そのうち映像信号がＰＣＩバス１５、サウスブリッジ６及びマイクロプロセッサ３を順次介してＧＰＵ４に与えられる。
ＧＰＵ４は、マイクロプロセッサ３の制御のもとに、供給される映像信号に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ４０に送出することにより、当該映像信号に基づく映像をクリップ取込みウィンドウ内の所定位置に表示させる。一方、マイクロプロセッサ３は、このとき映像音声信号から抽出した音声信号をサウンド入出力コーデック９を介してスピーカ４１へ送出することにより、当該音声信号に基づく音声をスピーカ４１から出力させる。
かくしてオペレータは、ディスプレイ４０に表示された映像及びスピーカ４１から出力される音声に基づいて、マウス３８、キーボード３９或いは操作コントローラ３７を用いて映像及び音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタイムコードや素材長、クリップＩＤ、クリップ名、その映像音声の撮影日時、そのクリップの作成日時等の管理情報をメタデータとして登録することができる。そしてこのメタデータとして登録されたそのクリップの管理情報が、マイクロプロセッサ３の制御のもとに、ハードディスク装置７内のクリップ管理情報データベースに登録される。
またマイクロプロセッサ３は、この後マウス３８、キーボード３９或いは操作コントローラ３７が操作されて、そのクリップの取込み命令が入力されると、これに応動してビデオテープレコーダ２３１〜２３ｎを制御することにより、指定されたクリップの映像音声の再生動作を実行させる。
この結果、ビデオテープレコーダ２３１〜２３ｎからは、ビデオテープから再生されたそのクリップの映像音声信号が出力され、そのうち映像信号がＰＣＩバス１５、サウスブリッジ６、マイクロプロセッサ３及びバス１０を順次介してＧＰＵ４に与えられる。またマイクロプロセッサ３は、これと併せてＧＰＵ４及び記憶装置２２を制御することにより、ビデオテープレコーダ２３１〜２３ｎから与えられる、かかるクリップの映像音声信号をＧＰＵ４を介して記憶装置２２に格納する。
このようにしてこの編集システム１においては、指定されたクリップの映像音声をビデオテープから再生して記憶装置２２に取り込むことができるようになされている。
一方、オペレータは、この後マウス３８、キーボード３９或いは操作コントローラ３７を用いた所定操作により編集作業を行うための編集画面（後述する）をディスプレイ４０に表示させることができ、この編集画面を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またオペレータは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができるようになされている。
そしてマイクロプロセッサ３は、編集リストが作成された後マウス３８が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのオペレータによる設定の編集データをファイル化してハードディスク装置７内の編集リストデータベースに登録する。
またマイクロプロセッサ３は、編集リストの作成後又は作成途中において、マウス３８、キーボード３９或いは操作コントローラ３７が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置２２を制御することにより、必要なクリップの映像音声信号を記憶装置２２に読み出させる。
かくしてこの記憶装置２２から読み出された映像音声信号のうち映像信号がＰＣＩバス１５、サウスブリッジ６、マイクロプロセッサ３及びバス１０を順次介してＧＰＵ４に与えられ、この後マイクロプロセッサ３の制御のもとに、当該ＧＰＵ４において必要に応じて映像特殊効果加工処理が施される。
そしてＧＰＵ４は、マイクロプロセッサ３の制御のもとに、供給される映像信号に対して映像特殊効果加工処理を施すことにより得られた編集映像信号に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ４０へ送出する。
一方、マイクロプロセッサ３は、映像音声信号のうち音声信号に対して音声ミキシング処理を施し、その結果得られた編集音声信号をサウンド入出力コーデック９を介してスピーカ４１へ送出する。
この結果、編集画面内の所定位置に編集映像が表示され、スピーカ４１から編集音声が出力される。このようにしてこの編集システム１においては、オペレータが編集リストに基づく編集映像及び編集音声を確認しながら編集作業を行うことができる。
さらにマイクロプロセッサ３は、編集リストが作成された後、マウス３８、キーボード３９或いは操作コントローラ３７が操作されてその実行命令が入力されると、これに応動して記憶装置２２を制御することにより、編集処理に利用するクリップの映像音声信号を記憶装置２２から読み出させてＰＣＩバス１５、サウスブリッジ６及びバス１０を介してＧＰＵ４へ送出させる。
そしてこのときＧＰＵ４は、マイクロプロセッサ３の制御のもとに、上述の再生モード時と同様にして、供給される各クリップの映像音声信号に対して必要に応じて特殊効果加工処理や音声ミキシング処理を施す一方、その結果得られた編集映像信号をバス１０、マイクロプロセッサ３、サウスブリッジ６及びＰＣＩバス１５を順次介して記憶装置２２又は対応するビデオテープレコーダ２３１〜２３ｎへ送出する。
かくして記憶装置２２は、マイクロプロセッサ３の制御のもとに、供給される編集映像信号を指定されたアドレス位置に記憶する。またビデオテープレコーダ２３１〜２３ｎは、マイクロプロセッサ３の制御のもとに、供給される編集映像信号をビデオテープの指定された位置に記録する。
このようにしてこの編集システム１においては、予め作成した編集データに従って、指定されたクリップの映像音声を指定された状態に編集加工して記憶装置２２に蓄積したり、ビデオテープに記録したりすることができるようになされている。
従って編集システム１では、編集装置２のマイクロプロセッサ３及びＧＰＵ４により、ディスプレイ４０に表示した編集画面の再生映像に対して、特殊効果の施された映像表示を実行し得ると共に、種々の拡張操作や編集処理を実行し得るようになされている。
ところで、マイクロプロセッサ３における８個のサブＣＰＵコア３ＳＡ〜３ＳＨで同時並列的にデコードされた複数の再生映像は、バス１０を介してＧＰＵ４へデータ転送されるのだが、このときの転送速度は例えば最大３０[Gbyte/sec]であり、特殊効果の施された複雑な再生映像であっても高速かつ滑らかに表示し得るようになされている。
（２）編集画面における操作手順
（２−１）編集画面における再生映像の表示方法
ここでマイクロプロセッサ３は、マウス３８、キーボード３９或いは操作コントローラ３７が操作されて編集画面を表示すべき命令が入力されると、ハードディスク装置７及びＧＰＵ４を制御することにより、図２に示すような編集画面５０をディスプレイ４０に表示させる。
この編集画面５０は、図１２１について上述した編集画面１のクリップ一覧表示部２、ストーリーボード部４、タイムライン部５及びエフェクト情報表示部６Ａ〜６Ｃとそれぞれ同様の機能を有するクリップ一覧表示部５１、ストーリーボード部５２、タイムライン部５３及びエフェクト情報表示部５４と、この編集画面５０に固有の機能を有する表示部５５とから構成される。なお、編集画面５０の場合、後述のように編集作業は主として表示部５５を用いて行われるため、ストーリーボード部５２及びタイムライン部５３は補助的に設けられている。
そしてマイクロプロセッサ３は、編集画面５０の表示部５５に対して、図３に示すように、例えば一連の流れをもった動画像でなるクリップの再生映像を表示するのに適した複数の映像表示部Ｗ５７１〜Ｗ５７ｎを、画面の奥行き方向（以下、これを奥側と呼ぶ）から手前の正面方向（以下、これを手前側と呼ぶ）へ向けて渦巻き状に順次配置することにより構成される螺旋映像表示部群５８を表示し得るようになされている。
この場合において、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎは、画面の最も手前側に位置する映像表示部Ｗ５７ｎを基準映像表示部として最も大きく、ここから渦巻き状に画面の奥側へ進むにつれて徐々に小さくなると共に互いの間隔が狭められるように配置され、かつ手前側の映像表示部Ｗ５７とその後に位置する映像表示部Ｗ５７とが重なる部分では後側の映像表示部Ｗ５７が手前側の映像表示部Ｗ５７によって隠れるように表示される。
但し、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにおいては、半透明の再生映像がそれぞれ表示されるようになされており、例えば最も手前側の映像表示部Ｗ５７ｎによって隠される後側の映像表示部Ｗ５７ｍの一部分（破線で示す部分）についても透けた状態でオペレータに目視確認させ得るようになされている。
なお、この場合のマイクロプロセッサ３は、ハードディスク装置７から複数の映像表示部Ｗ５７１〜Ｗ５７ｎの表示サイズ及び表示部５５（図２）上における表示位置を含む表示情報を取得し、この表示情報に基づいてＧＰＵ４により画像処理を施すことによって当該複数の映像表示部Ｗ５７１〜Ｗ５７ｎに表示すべき表示映像データをそれぞれ生成するようになされている。因みに、複数の映像表示部Ｗ５７１〜Ｗ５７ｎが画面上に配置される表示位置は原則として固定されたものであり、視線対象の各映像表示部Ｗ５７１〜Ｗ５７ｎの位置が変化しない分だけオペレータの視線がぶれることがなく視認性が格段的に向上されている。
そしてこの編集画面５０（図２）では、例えばクリップ一覧表示部５１に一覧表示されたクリップの中からオペレータ所望のクリップがドラッグアンドドロップ操作に応じて表示部５５内に移動され、その後、表示部５５の左下隅に表示された再生ボタン５６がクリックされたことをマイクロプロセッサ３が認識すると、当該マイクロプロセッサ３は図４に示すように、この螺旋映像表示部群５８における各映像表示部Ｗ５７１〜Ｗ５７ｎの画面奥側に位置する映像表示部Ｗ５７１から、その手前側に隣接する映像表示部Ｗ５７２、Ｗ５７３、……、Ｗ５７ｍ、Ｗ５７ｎに対して、図５に示すような、予め設定された所定の等間隔でなる時間差（以下、この時間を再生時間差と呼ぶ）ΔＴをもって順次再生し、そのクリップの再生映像を順番に表示するようになされている。
つまり、最初に最も奥側の映像表示部Ｗ５７１にそのクリップの再生映像が先頭から表示され、その後、再生時間差ΔＴ分の時間経過後に一つ手前側に位置する次の映像表示部Ｗ５７２にそのクリップの再生映像が先頭から表示され、さらにその後当該再生時間差ΔＴ分の時間経過後にその一つ手前側に位置する次の映像表示部Ｗ５７３にその再生映像が先頭から表示され、……というように、そのクリップの再生映像が、かかる等間隔の再生時間差ΔＴをもって各映像表示部Ｗ５７１〜Ｗ５７ｎに矢印ａ（図４）方向の時系列の流れとして順次表示されることとなる。
従ってマイクロプロセッサ３は、複数の映像表示部Ｗ５７１〜Ｗ５７ｎ間において、それぞれ動画像の状態で再生時間差ΔＴ分の時間差を設けながら、複数の映像表示部Ｗ５７１〜Ｗ５７ｎが表示順に連携した螺旋映像表示部群５８として、そのクリップの再生映像を順次連動表示させ得るようになされている。
従って、螺旋映像表示部群５８における複数の映像表示部Ｗ５７１〜Ｗ５７ｎを目視確認しているオペレータにとっては、画面の奥側から手前側へ向かって再生時間差ΔＴの時間差が設けられて表示される再生映像により、あたかも映像表示部Ｗ５７１〜Ｗ５７ｎが螺旋の中心から迫ってくるかのような印象を受けると共に、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像の進行としては画面手前側よりも奥側の方が進んでいるため、あたかもオペレータ自身が螺旋の中心を画面奥側へ進んでいるかのような印象を受けるようになされている。
これにより編集装置２では、螺旋映像表示部群５８を構成する複数の映像表示部Ｗ５７１〜Ｗ５７ｎのうち映像表示部Ｗ５７１に表示された所望シーンをオペレータが見失うことがあっても、画面の手前側に後から順次現れる映像表示部Ｗ５７２以降にもその所望シーンを必ず表示することになるので、画探しのために映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像を巻き戻させるような煩雑な操作をオペレータに強いることなく、オペレータをただ待たせてさえいれば良く、画探し作業や編集作業を一段と容易化させ得るようになされている。
また図６に示すように螺旋映像表示部群５８を構成する各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示されるクリップは、予め設定された画像更新速度、すなわち再生速度ｖにより再生映像が表示される。従って、かかる再生速度ｖの設定値が大きい場合には、これに応じて各映像表示部Ｗ５７１〜Ｗ５７ｎに等速度で高速再生された再生映像がそれぞれ表示され、当該設定された再生速度ｖが遅い場合には、これに応じて各映像表示部Ｗ５７１〜Ｗ５７ｎに等速度でスロー再生された再生映像がそれぞれ表示されることとなる。
特に、螺旋映像表示部群５８（図３）では、各映像表示部Ｗ５７１〜Ｗ５７ｎ間に再生時間差ΔＴの時間差が設けられた状態で再生映像が表示されることになるため、螺旋映像表示部群５８の螺旋を構成している各映像表示部Ｗ５７１〜Ｗ５７ｎの所定間隔毎にタイムコード通知枠ＴＣ１〜ＴＣ４を表示し、各映像表示部Ｗ５７１〜Ｗ５７ｎにおける再生映像の再生経過時間をオペレータに提示して当該オペレータによる画探し作業及び編集作業を補助するようになされている。因みに、編集装置２では、タイムコード枠ＴＣ１〜ＴＣ４を全ての各映像表示部Ｗ５７１〜Ｗ５７ｎに対して表示することも可能であり、オペレータにとって不要なときは一切表示しないように選択することもできるようになされている。
なお、これら再生時間差ΔＴ及び再生速度ｖの初期値は、表示部５５の上部に表示されたツールバー５９における「設定」がクリックされたことに応じて表示される図示しないコンテキストメニューの中から「再生時間差・再生速度」をオペレータが選択したときに表示される図７に示すような再生時間差・再生速度設定ダイアログ６０を用いて設定することができる。
実際上、かかる再生時間差ΔＴ及び再生速度ｖの初期値をオペレータが設定する場合には、これら再生時間差ΔＴ及び再生速度ｖにそれぞれ対応させてこの時間差・再生速度設定ダイアログ６０に設けられた各テキストボックス６１、６２内の数値を、例えば対応するアップダウンキー６３Ａ、６３Ｂ、６４Ａ、６４Ｂをクリック操作し、又はキーボード３９を用いて所望する数値を直接入力するようにして変更した後に、「ＯＫ」ボタン６５をクリックすれば良く、このときこれらテキストボックス６１、６２内に表示されていた数値が、それぞれかかる再生時間差ΔＴ及び再生速度ｖの初期値として設定される。
これによりこの編集装置２のマイクロプロセッサ３においては、例えば各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示する再生映像の再生時間差ΔＴを小さくし、かつこれら再生映像の再生速度ｖを遅く設定することによって、クリップの狭い範囲の映像を当該螺旋映像表示部群５８として表示させることができ、また各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示する再生映像の再生時間差ΔＴを大きく、かつこれら再生映像の再生速度ｖを遅く設定することによって、クリップの広い範囲の映像を当該螺旋映像表示部群５８として表示させ得るようになされている。
実際上、図６に示したような螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像は、再生速度ｖが変更されることに応じて可変速表示され、また再生時間差ΔＴ分が変更されることに応じて任意の時間間隔で時間差表示されることになるため、全体としては太矢印ＳＴ１に示すような画面中央の奥側から手前側へ渦巻き状に可変速表示された状態で連動表示される。
この場合、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎでは、画面中央の最も奥側に存在する映像表示部Ｗ５７１に対して最も時間的に進んだタイミングの再生映像が表示されることになり、最も手前側に存在する映像表示部Ｗ５７ｎに対して最も時間的に遅れたタイミングの再生映像が表示されることになるため、時系列順に画面の奥側から手前側へ向かう進行方向に沿って螺旋状に流れるような映像表示が行われていることをオペレータに対して直感的に認識させ得るようになされている。
また図８に示すように、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像としては、再生速度−ｖと設定された場合、逆戻り方法に可変速表示され、また再生時間差ΔＴ分が変更されることに応じて任意の時間間隔で時間差表示されることになるため、全体としては太矢印ＳＴ２に示すような画面の手前側から奥側へ向かって螺旋状に流れるように可変速表示された状態で連動表示される。
さらにこの編集画面５０では、表示部５５内に既に１又は複数の螺旋映像表示部群５８が表示されている状態において、編集装置２はクリップ一覧表示部５１に表示された他のクリップが表示部５５内にドラッグアンドドロップされたことに応じて、表示部５５内にそれまで表示されていた１又は複数の螺旋映像表示部群５８に加え、その新たにドラッグアンドドロップされたクリップに対応する螺旋映像表示部群５８を表示部５５内に表示させることができる。
逆に、編集画面５０では、表示部５５内に既に１又は複数の螺旋映像表示部群５８が表示されている状態において、編集装置２は表示部５５内の１又は複数の螺旋映像表示部群５８が選択されてクリップ一覧表示部５１にドラッグアンドドロップされたことに応じて、それまで表示部５５内に表示されていた１又は複数の螺旋映像表示部群５８から、選択した１又は複数の螺旋映像表示部群５８を削除することもできる。あるいは、編集装置２は、オペレータが表示部５５内の１又は複数の螺旋映像表示部群５８を選択して、Deleteキーを押すことによっても、１又は複数の螺旋映像表示部群５８を削除することができる。
そして編集装置２は、表示部５５に複数の螺旋映像表示部群５８を表示させた場合に、マウス操作により１つの螺旋映像表示部群５８が選択された後に、オペレータによる再生ボタン５６に対するクリック操作に応じて、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ対応したクリップの再生映像をそれぞれのタイミングで表示させることができる。なお、この場合における上述の再生時間差ΔＴ及び再生速度ｖの初期値は、いずれも上述の再生時間差・再生速度設定ダイアログ６０を用いて設定された値となる。
ところで、このような編集システム１における編集装置２のマイクロプロセッサ３に設けられた８個のサブＣＰＵコア３ＳＡ〜３ＳＨを用いて同時並列的にデコード処理を行う並列デコード処理手順を次に説明する。
図９に示すように編集装置２のマイクロプロセッサ３は、ルーチンＲＴ１の開始ステップから入って、続くステップＳＰ１へ移り、マウス３８やキーボード３９から入力された制御信号をサウスブリッジ６を介してマイクロプロセッサ３に取り込み、当該制御信号をメインＣＰＵコア３Ｍで認識すると、次のステップＳＰ２へ移る。
ステップＳＰ２において編集装置２のマイクロプロセッサ３は、ステップＳＰ１で認識した制御信号が映像表示部Ｗ５７１〜Ｗ５７ｎに表示すべきクリップを特定する命令であったとき、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示するクリップの描画ループをメインＣＰＵコア３Ｍで設定し、次のステップＳＰ３へ移る。
ステップＳＰ３において編集装置２のマイクロプロセッサ３は、当該クリップに対応した再生映像、表示位置、表示サイズ等の各種物理演算をメインＣＰＵコア３Ｍで行い、次のステップＳＰ４へ移る。
ステップＳＰ４において編集装置２のマイクロプロセッサ３は、メインＣＰＵコア３Ｍで描画ループを構成すべきクリップの再生映像のフレーム位置計算を行うと共に、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示するクリップの再生映像を何れのサブＣＰＵコア３ＳＡ〜３ＳＨでデコードさせるかの担当をメインＣＰＵコア３Ｍにより割り当て、次のステップＳＰ５へ移る。
ステップＳＰ５において編集装置２のマイクロプロセッサ３は、記憶装置２２から再生映像の出力に必要なフレームを読み出し、ステップＳＰ４で割り当てたサブＣＰＵコア３ＳＡ〜３ＳＨへ分配し、次のステップＳＰ６へ移る。
ステップＳＰ６において編集装置２のマイクロプロセッサ３は、デコーダとしての役割を担う８個のサブＣＰＵコア３ＳＡ〜３ＳＨにより、ステップＳＰ５で分配されたフレームを同時並列的にデコードし、次のステップＳＰ７へ移る。
ステップＳＰ７において編集装置２のマイクロプロセッサ３は、メインＣＰＵコア３Ｍにより、ステップＳＰ６でデコードされた複数の再生映像を、表示部５５の画面上に表示すべき位置やサイズを示した表示情報（表示サイズ及び表示位置）と共にＧＰＵ４へ高速データ転送し、次のステップＳＰ８へ移る。
ステップＳＰ８において編集装置２のマイクロプロセッサ３は、ＧＰＵ４により、メインＣＰＵコア３Ｍからデータ転送された複数の再生映像を表示情報（表示サイズ及び表示位置）に従って各映像表示部Ｗ５７１〜Ｗ５７ｎの所定位置に貼り付けて表示し、次のステップＳＰ９へ移って処理を終了する。
このように編集装置２のマイクロプロセッサ３では、８個のサブＣＰＵコア３ＳＡ〜３ＳＨが各映像表示部Ｗ５７１〜Ｗ５７ｎに表示する再生映像のデコーダとしての役割をそれぞれ担って同時並列的にデコードし、そのデコードされた再生映像を帯域幅の大きなバス１０により例えば最大３０[Gbyte/sec]の転送速度でＧＰＵ４へ高速データ転送し得るようになされている。
これにより編集装置２のマイクロプロセッサ３では、多くの枚数の高精細な再生画像をデコードして短時間にＧＰＵ４へデータ転送することができ、かくして複数の映像表示部Ｗ５７１〜Ｗ５７ｎ間において動画像の状態で時間差を設けながら表示順に連携した螺旋映像表示部群５８として表示部５５にレスポンス良く滑らかに連動表示させ得るようになされている。
一方、編集画面５０（図２）では、表示部５５の上部に表示されたツールバー５９の「設定」がクリックされ、かくして表示される図示しないコンテキストメニューの中から「音声出力モード」が選択されたことに応じて、メインプロセッサ３はクリップの再生映像を表示部５５に表示しているときの音声出力モードとして、例えば「メイン音声出力モード」及び「全音声出力モード」のうちのいずれか１つを設定することができる。
そして音声出力モードとして「メイン音声出力モード」が設定されたときには、そのとき操作している螺旋映像表示部群５８の最も手前側に位置する映像表示部Ｗ５７ｎに表示された再生映像に付随する再生音声のみがスピーカ４１から出力され、「全音声出力モード」が設定されたときには、画面の最も手前側に位置する映像表示部Ｗ５７ｎから離れた映像表示部Ｗ５７ｍ、……、Ｗ５７１に表示された再生映像の音声ほど小さい音量となるように音量調整された状態で、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示された再生映像に付随する全ての再生音声がスピーカ４１から出力される。
ただし、音声出力モードとして「全音声出力モード」が設定された場合において、各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示された再生映像同士の再生時間差ΔＴが大きくなった場合や、シーンチェンジを検出した場合など、予め定められた音混ざりが予測される所定の場合には、画面最も手前側に位置する映像表示部Ｗ５７ｎ及びその近傍数個の映像表示部Ｗ５７ｍ、……、に表示された各再生映像の音声のみをスピーカ４１から出力するように自動的に出力音声が調整される。これによりマイクロプロセッサ３は、「全音声出力モード」時においてもオペレータにとって聴取し易い良好な状態で音声を出力し得るようになされている。
（２−２）編集画面における再生映像の表示に関するマイクロプロセッサの処理
ここでマイクロプロセッサ３は、上述のような螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに対する再生映像の表示や再生音声の出力に関する各種処理を、ハードディスク装置７（図１）に格納された制御プログラムに基づき、図１０に示す再生処理手順ＲＴ２に従って実行するようになされている。
すなわちマイクロプロセッサ３は、編集画面５０のクリップ一覧表示部５１から１つのクリップが表示部５５にドラッグアンドドロップされた後に再生ボタン５６がクリック（表示部５５に複数の螺旋映像表示部群５８が表示されている場合には、１つの螺旋映像表示部群５８が選択されて再生ボタン５６がクリック）されると、この再生処理手順ＲＴ２から入り、次のステップＳＰ１１において、その螺旋映像表示部群５８に対応するクリップのクリップＩＤを確認する。
続いてステップＳＰ１２においてマイクロプロセッサ３は、そのとき設定されている再生映像の再生速度ｖ（又は−ｖ）及び再生時間差ΔＴの各初期値と、音声出力モードの設定内容とをそれぞれ確認し、その後次のステップＳＰ１３へ移って、マウス３８、キーボード３９或いは操作コントローラ３７により決定された再生映像の再生速度ｖ（又は−ｖ）及び再生時間差ΔＴ並びに表示形態を確認する。
このときステップＳＰ１４においてマイクロプロセッサ３は、停止操作あるいはクリップのストリームが終了しているか否かを判定し、肯定結果が得られると次のステップＳＰ１０へ移って螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに対する更新処理を中止し、否定結果が得られると次のステップＳＰ１５へ移る。
ステップＳＰ１５においてマイクロプロセッサ３は、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示すべき再生映像の表示位置及びその大きさと、これら再生映像に付随する各再生音声の出力音量とをそれぞれ計算する。
そしてマイクロプロセッサ３は、この後ステップＳＰ１６へ移って、ステップＳＰ１１で確認したクリップのクリップＩＤに基づいて記憶装置２２を制御することにより、そのクリップの映像音声信号をステップＳＰ１２で確認したそのとき設定されている再生速度ｖで読み出し、必要に応じてその映像音声信号を復号し、当該映像音声信号のうちの再生映像に関してはステップＳＰ１５において計算した表示位置及び大きさで表示させるための映像信号を生成した後、ＧＰＵ４内のメモリに一時的に蓄積する。
さらにマイクロプロセッサ３は、この映像信号に対応した再生映像に付随する再生音声の音声信号を、ステップＳＰ１５においてその再生映像について算出した出力音量の音量レベルで生成し、その音声信号をサウンド入出力コーデック９内のメモリに一時的に蓄積する。
ステップＳＰ１７においてマイクロプロセッサ３は、全ての映像表示部Ｗ５７１〜Ｗ５７ｎに出力するのに必要な再生映像及び再生音声が準備できたか否かを判断し、否定結果が得られた場合にはステップＳＰ１６へ戻り、肯定結果が得られた場合には次のステップＳＰ１８へ移る。
ステップＳＰ１８においてマイクロプロセッサ３は、各映像表示部Ｗ５７１〜Ｗ５７ｎにおける画面表示周期時間（再生時間差ΔＴ）の経過を監視し、当該画面表示周期時間が経過した場合には次のステップＳＰ１９へ移って各映像表示部Ｗ５７１〜Ｗ５７ｎに対して再生映像を出力することにより螺旋映像表示部群５８を表示し、その再生映像に付随する再生音声を所定の音量でスピーカ４１から出力すると同時にステップＳＰ１３へ戻り、次の各映像表示部Ｗ５７１〜Ｗ５７ｎに対する再生映像音声の準備を行う。
なおマイクロプロセッサ３は、ステップＳＰ１６において、以前に再生したＧＰＵ４内のメモリに残っている再生映像の映像信号のうち再利用できるものがあれば使い、足りないもののみを生成し、当該生成した映像信号をＧＰＵ４内のメモリに蓄積されている古いデータから順に上書きしていくようになされている。
（２−３）編集画面の表示部における各種操作方法
次に、編集画面５０の表示部５５における各種操作方法について説明する。
（２−３−１）基本操作
編集装置２のマイクロプロセッサ３は、図１１に示すように編集画面５０の表示部５５において、螺旋映像表示部群５８内の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示された再生映像のうちのそのとき所望のシーンを表示している例えば映像表示部Ｗ５７ｅがオペレータによりクリック（この場合、例えば最初に映像表示部Ｗ５７ｅがクリック）されたことに応じて、その映像表示部Ｗ５７ｅが編集操作に伴う編集位置に対応した再生映像であることを所定色に着色（図中はハッチングにより示す）して強調表示させ得るようになされている。
そしてマイクロプロセッサ３は、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに対する強調表示を、螺旋映像表示部群５８におけるそのシーンの流れ（再生映像の時系列の流れ）に従って、図１１及び図１２に示すように、再生時間差ΔＴをもって螺旋映像表示部群５８の映像表示部Ｗ５７ｅよりも画面の手前側に位置する映像表示部Ｗ５７ｈ、Ｗ５７ｊ、……、Ｗ５７ｎへと順次移動させるようになされている。
これによりオペレータは、この螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにおける強調表示の流れに基づいて、かかる所望のシーンが現在どの映像表示部Ｗ５７１〜Ｗ５７ｎに表示されているかを瞬時に目視確認し得るようになされている。
すなわち螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに対する強調表示は、オペレータが最初に着目した編集操作に伴う編集位置に対応するシーン（例えば映像表示部Ｗ５７ｅ）であり、それが移動したときであっても終始かかるシーンを再生しているときの各映像表示部Ｗ５７ｈ、…、Ｗ５７ｊ、…、Ｗ５７ｎへと変更しながら強調表示され続けることになるため、図１２の長い太矢印に示すように映像表示部Ｗ５７１〜Ｗ５７ｎに対して流れるような映像表示が行われるなかで、オペレータに対して最初に着目したシーンを強調表示により瞬時かつ直感的に認識させ得るようになされている。
なお、図１２の短い太矢印に示すように、例えばオペレータが最初に着目した編集操作に伴う編集位置に対応するシーンが映像表示部Ｗ５７ｈであったときは、そのオペレータが着目したシーンが強調表示されるので、オペレータに対してはそこから流れが始まるかのように印象付けさせることができるようになされている。
また編集装置２のマイクロプロセッサ３は、図１３（Ａ）に示すように、例えばキーボード３９における方向キー７０のうちの上方向に対応した「上（↑）」キー７０Ｕが押圧操作され（図１３（Ａ−１））、又はマウス３８の右ボタンが押圧操作された状態で、カーソル７１によって螺旋映像表示部群５８における各映像表示部Ｗ５７１〜Ｗ５７ｎの一部である例えば映像表示部Ｗ５７α〜Ｗ５７βに沿って（すなわち画面の奥側から手前側へ向かって）なぞるように当該カーソル７１を移動させる表示操作入力（図１３（Ａ−２））が行われると、そのクリップの映像表示速度を上げることができる。
この場合マイクロプロセッサ３は、マウス３８による表示操作入力に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じてクリップの映像表示速度を上げるようになされている。
なお、ここで言う『クリップの映像表示速度を上げる』とは、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖが増加し、かつこれと連携して隣接する映像表示部Ｗ５７１〜Ｗ５７ｎ間における再生映像の再生時間差ΔＴが増加することを意味する。
そして、この「再生映像の表示速度」の変化の大きさは、そのときキーボード３９の「上（↑）」キー７０Ｕを押圧操作し又はマウス操作により螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎ上をなぞったときの時間が長いほど大きくなる。つまりこの時間が長いほど、かかる再生速度ｖ及び再生時間差ΔＴが共により多く増加して、そのクリップの映像全体としての見た目（再生映像の各シーンの流れ）の表示速度が上がることとなる。
すなわち表示部５５では、キーボード３９の「上（↑）」キー７０Ｕが押圧操作され、マウス操作によりカーソル７１を介して螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎ上をなぞられたときの時間が長いほど、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の表示加速度ＧＳ１を増加させ得るようになされている。因みに表示部５５では、時間を用いるのではなく、例えばキーボード３９の「上（↑）」キー７０Ｕに対する押下回数が多いほど再生映像の表示加速度ＧＳ１を増加させるようにしても良い。
これに対して、編集装置２のマイクロプロセッサ３では、図１３（Ｂ）に示すように、例えばキーボード３９の方向キー７０のうちの下方向に対応した「下（↓）」キー７０Ｄが押圧操作され（図１１（Ｂ−１））、又はマウス３８の右ボタンが押圧操作された状態で、カーソル７１によって螺旋映像表示部群５８における各映像表示部Ｗ５７１〜Ｗ５７ｎの一部である例えば映像表示部Ｗ５７β〜Ｗ５７αに沿って（すなわち螺旋の手前側から奥側へ向かって）なぞるように当該カーソル７１を移動させる表示操作入力（図１３（Ｂ−２））が行われると、そのクリップの映像表示速度を下げることができる。
この場合マイクロプロセッサ３は、マウス３８による表示操作入力に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じてクリップの映像表示速度を下げるようになされている。
なお、ここで言う『クリップの映像の表示速度を下げる』とは、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖが減少し、かつこれと連携して隣接する映像表示部Ｗ５７１〜Ｗ５７ｎ間における再生映像の再生時間差ΔＴが減少することを意味する。
そしてこの「再生映像の表示速度」の変化の大きさは、そのときキーボード３９の「下（↓）」キー７０Ｄを押圧操作し又はマウス操作により螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎ上をなぞったときの時間が長いほど大きくなる。つまりこの時間が長いほど、かかる再生速度ｖ及び再生時間差ΔＴが共に減少して、そのクリップの映像全体としての見た目の表示速度が下がることとなる。
すなわち表示部５５では、キーボード３９の「下（↓）」キー７０Ｄが押圧操作され、マウス操作によりカーソル７１を介して螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎ上をなぞられたときの時間が長いほど、螺旋映像表示部群５８内の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の表示加速度ＧＳ２を減少させ得るようになされている。因みに表示部５５では、時間を用いるのではなく、例えばキーボード３９の「下（↓）」キー７０Ｄに対する押下回数が多いほど再生映像の表示加速度ＧＳ２を減少させるようにしても良い。
この場合において、かかる再生速度ｖや再生時間差ΔＴが「０」となった後は、その再生速度ｖ又は再生時間差ΔＴはさらに減少（すなわち、負方向に増加）する。従ってこの場合には、今まで螺旋映像表示部群５８において画面の奥側から手前側へ向かって流れていた再生映像の各シーンの流れが徐々に遅くなってやがて止まり、その後、螺旋の手前側から奥側へ向かって流れ始めてリバース再生に変わり、やがてその速度が次第に上がっていくように見えるようになる。
従って、螺旋映像表示部群５８における複数の映像表示部Ｗ５７１〜Ｗ５７ｎを目視確認しているオペレータにとっては、螺旋の手前側から奥側へ向かって再生時間差ΔＴの時間差が設けられて進行度合いが進む再生映像により、あたかも映像表示部Ｗ５７１〜Ｗ５７ｎによる再生映像が螺旋の中心へ逃げていくかのような、言い換えるとオペレータ自身が螺旋の中心から手前側へ後退していくかのような印象を受けるようになされている。
さらに編集装置２のマイクロプロセッサ３は、マウス５０の左ボタンが押圧操作された状態で、当該マウス操作に応動して編集画面５０の表示部５５上を自由に移動するように表示されるカーソル７１により螺旋映像表示部群５８の一部を例えば１秒以上同じ位置で押さえるように操作されたことに応じて、そのクリップの映像を停止させることができる。なお、ここで言う『クリップの映像を停止させる』とは、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに、再生時間差ΔＴを保った状態で静止画像をそれぞれ表示させることをいう。
（２−３−２）拡張操作
（２−３−２−１）再生時間差及び再生速度の変更操作
一方、編集装置２のマイクロプロセッサ３は、上述のような基本操作のほか、キーボード３９の「シフト」キーが押圧操作されたまま、上述の『クリップの映像の表示速度を上げる』操作、つまりキーボード３９の方向キー７０の「上（↑）」キー７０Ｕが押圧操作され、又はマウス３８の右ボタンが押圧操作された状態で、カーソル７１によって螺旋映像表示部群５８に表示された再生映像の一部を、その螺旋映像表示部群５８における画面の奥側から手前側へ向かう流れに沿ってなぞるように当該カーソル７１が移動されたことに応じて、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像の再生速度ｖを固定としながら、隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴを増加させることができる。
この場合マイクロプロセッサ３は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じて各映像表示部Ｗ５７１〜Ｗ５７ｎに表示する再生映像の再生速度ｖを固定としながら、その再生映像の再生時間差ΔＴを増大させるようになされている。
このとき、互いに隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の連続性は低くなるが、螺旋映像表示部群５８全体として、時間的に広い範囲の再生映像を表示させることができる。
これに対して編集装置２のマイクロプロセッサ３では、例えばキーボード３９の「シフト」キーが押圧操作されたまま、上述の『クリップの映像の表示速度を下げる』操作、つまりキーボード３９の方向キー７０の「下（↓）」キー７０Ｄが押圧操作され、又はマウス３８の右ボタンが押圧操作された状態で、カーソル７１によって螺旋映像表示部群５８に表示された再生映像の一部を、その螺旋映像表示部群５８における画面の奥側から手前側へ向かう流れに沿ってなぞるように当該カーソル７１が移動されたことに応じて、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像の再生速度ｖを固定としながら、隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴを減少させることができる。
この場合マイクロプロセッサ３は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度ｖを固定としながら、再生映像の再生時間差ΔＴを減少させるようになされている。
このとき螺旋映像表示部群５８全体としては、時間的に狭い範囲の再生映像が表示されることとなるが、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像の連続性は高く、同じシーンが短い再生時間差ΔＴをもってその螺旋映像表示部群５８内を画面の奥側から手前側へ流れるように各映像表示部Ｗ５７１〜Ｗ５７ｎに順次表示されるようになる。そして、この流れは、隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴを減少させるほど速くなる。
また編集装置２のマイクロプロセッサ３では、例えばキーボード３９の「シフト」キー及び「ＡＬＴ」キーの双方が押圧操作されたまま、かかる『クリップの映像の表示速度を上げる』操作が行われたことに応じて、隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴを固定としながら、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像の再生速度ｖを増大させることができる。
この場合もマイクロプロセッサ３は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生時間差ΔＴを固定としながら、再生映像の再生速度ｖを増大させるようになされている。
この結果、螺旋映像表示部群５８にクリップ全体の映像から見て時間的に狭い範囲の再生映像を表示させたまま、その螺旋映像表示部群５８における再生映像の各シーンの流れを速くすることができる。なおこの場合には、互いに隣接する各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の連続性が高くなる。
これに対して編集装置２のマイクロプロセッサ３では、例えばキーボード３９の「シフト」キー及び「ＡＬＴ」キーの双方が押圧操作されたまま、かかる『クリップの映像の表示速度を下げる』操作が行われたことに応じて、互いに隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴを固定としながら、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像の再生速度ｖを減少させることができる。
この場合もマイクロプロセッサ３は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生時間差ΔＴを固定としながら、再生映像の再生速度ｖを減少させるようになされている。
この結果、マイクロプロセッサ３は、螺旋映像表示部群５８に対して、クリップ全体の映像から見て時間的に狭い範囲の再生映像を表示させたまま、その螺旋映像表示部群５８における再生映像の各シーンの流れを遅くすることができる。なおこの場合には、互いに隣接した各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の連続性が低くなる。
（２−３−２−２）再生映像の瞬間送り又は戻し操作
一方、編集装置２のマイクロプロセッサ３では、図１４（Ａ）に示すように、キーボード３９の方向キー７０の「左（←）」キー７０Ｌが押圧操作され（図１４（Ａ−１））、又はマウス３８の左ボタンが押圧操作された状態で、１秒以内にカーソル７１によって螺旋映像表示部群５８に表示された再生映像の一部（映像表示部Ｗ５７ｉ）が表示選択操作（つかみ）され、その螺旋映像表示部群５８に沿って画面の奥側から手前側へ向かってなぞるように映像表示部Ｗ５７ｌまで当該カーソル７１が移動された（図１４（Ａ−２））ときの螺旋映像表示部群移動操作に応じて、その螺旋映像表示部群５８に表示される再生映像の再生速度ｖと、互いに隣接する各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴとの双方を共に固定した状態のまま、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置を、図１５に示すように、当該螺旋映像表示部群５８に沿ってカーソル７１がなぞられた方向（画面の奥側から手前側へ向かう方向）と同一方向へ当該カーソル７１と一体に移動させることもできる。
ところで、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎが画面上に配置される表示位置は固定されたものであると上述したが、再生映像の瞬間送り又は戻し操作という拡張操作が行われる場合、編集装置２のマイクロプロセッサ３は各映像表示部Ｗ５７１〜Ｗ５７ｎにおける画面上の表示位置を移動させ得るようになされている。
この場合マイクロプロセッサ３は、キーボード３９又はマウス３８による螺旋映像表示部群移動操作に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度ｖ及び再生時間差ΔＴの双方を固定としながら、各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置を当該螺旋映像表示部群５８に沿って画面の奥側から手前側へ向かってカーソル７１と一体に移動させるようになされている。
そのとき、図１６に示すように再生映像を表示していた螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎ、……、がカーソル７１によってなぞられた位置にまでシフトして表示される。またこれに伴って、それまでその位置に表示されていた映像表示部Ｗ５７１〜Ｗ５７ｎの全体がカーソル７１の移動量に合わせて螺旋の手前側へ向かってシフトし、シフト後の映像表示部Ｗ５７ｎ、Ｗ５７ｍ、……、の表示サイズが以前よりも少し大きく変更されて新たに表示される（図１５）。
なおマイクロプロセッサ３は、映像表示部５７ｉに対する表示選択操作（図１５）に応じて当該映像表示部５７ｉを強調表示（破線で囲われた部分）すると共に、その映像表示部５７ｉからそれ以前の映像表示部５７、……、を表示順に順次強調表示することにより、映像表示部５７ｉの移動開始点までの流れをオペレータに対して直感的に認識させ得るようになされている。
このときマイクロプロセッサ３は、表示選択操作された瞬間の映像表示部Ｗ５７ｉに対する表示映像データ又は各映像表示部Ｗ５７１〜Ｗ５７ｎに対する表示映像データの全てをその状態で一時的に停止（保持）し、その状態をオペレータに目視確認させ得るようになされている。
また、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき最も手前側に位置する映像表示部Ｗ５７ｎ（図１４（Ａ−２））に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、最も手前側に位置する映像表示部Ｗ５７ｎから３次元螺旋上の距離が離れた映像表示部Ｗ５７ｍ、Ｗ５７ｌ、Ｗ５７ｋ、……に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。
因みにマイクロプロセッサ３は、映像表示部Ｗ５７ｉに対する表示選択操作を解除する表示選択解除操作が入力された場合、当該映像表示部Ｗ５７ｉに対する表示映像データ又は各映像表示部Ｗ５７１〜Ｗ５７ｎに対する表示映像データの全てを停止状態から解除し、複数の映像表示部Ｗ５７１〜Ｗ５７ｎ間において動画像の状態で時間差を設けながら、当該複数の映像表示部Ｗ５７１〜Ｗ５７ｎが表示順に連携した螺旋映像表示部群５８として再度連動表示させるようになされている。
これに対して編集装置２のマイクロプロセッサ３では、図１４（Ｂ）に示すように、キーボード３９の方向キー７０の「右（→）」キー７０Ｒが押圧操作され（図１４（Ｂ−１））、又はマウス３８の左ボタンが押圧操作された状態で１秒以内にカーソル７１によって螺旋映像表示部群５８の一部（映像表示部５７ｌ）が選択（つかみ）され、その螺旋映像表示部群５８に沿って螺旋の奥側から手前側へ向かってなぞるように映像表示部５７ｉまで当該カーソル７１が移動された（図１４（Ｂ−２））ときの螺旋映像表示部群移動操作に応じて、その螺旋映像表示部群５８に表示される再生映像の再生速度ｖと、互いに隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴとの双方を共に固定した状態のまま、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置を、図１７に示すように、当該螺旋映像表示部群５８に沿ってなぞられた方向（螺旋の手前側から奥側へ向かう方向）と同一方向へカーソル７１と一体に移動させることができる。
この場合マイクロプロセッサ３は、キーボード３９又はマウス３８による螺旋映像表示部群移動操作に対応した表示状態変更情報をＰＣＩバス１５を介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度ｖ及び再生時間差ΔＴの双方を固定としながら、各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置を当該螺旋映像表示部群５８に沿って螺旋の手前側から奥側へ向かってカーソル７１と一体に移動させるようになされている。
そのとき、図１８に示すように再生映像を表示していた螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎ、……、がカーソル７１によってなぞられた位置にまでシフトして表示される。またこれに伴って、それまでその位置に表示されていた映像表示部Ｗ５７１〜Ｗ５７ｎの全体がカーソル７１の移動量に合わせて画面の奥側へ向かってシフトし、シフト後の映像表示部Ｗ５７ｎ、Ｗ５７ｍ、……、の表示サイズが以前よりも少し小さく変更されて新たに表示される（図１７）。
なおマイクロプロセッサ３は、映像表示部５７ｉに対する表示選択操作（図１７）に応じて当該映像表示部５７ｉを強調表示（破線で囲われた部分）すると共に、その映像表示部５７ｉからそれ以前の映像表示部５７、……、を表示順に順次強調表示することにより、映像表示部５７ｉの移動開始点までの流れをオペレータに対して直感的に認識させ得るようになされている。
これにより表示部５５では、フォワード方向へ流れるように映像表示部Ｗ５７１〜Ｗ５７ｎを再生させた状態で、螺旋映像表示部群移動操作に応じて各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置をバックワード側へ瞬時に移動させることができるので、ＭＰＥＧ方式のロングＧＯＰフォーマットでリバース再生を行った場合等のような表示映像の応答性が悪くなるようなことがなく、過去のシーンを直ちに再表示させ得るようになされている。
この場合もマイクロプロセッサ３は、映像表示部Ｗ５７ｉに対する表示選択操作（図１７）に応じて当該映像表示部Ｗ５７ｉを強調表示（破線で囲われた部分）すると共に、その映像表示部５７ｉからそれ以前の映像表示部Ｗ５７、……、を表示順に順次強調表示することにより、映像表示部Ｗ５７ｉの移動開始点までの流れをオペレータに対して直感的に認識させ得るようになされている。
またこのときマイクロプロセッサ３は、表示選択操作された瞬間の映像表示部Ｗ５７ｉに対する表示映像データ又は各映像表示部Ｗ５７ｉに対する表示映像データの全てをその状態で一時的に停止（保持）し、その状態をオペレータに目視確認させ得るようになされている。
因みにマイクロプロセッサ３は、映像表示部Ｗ５７ｉに対する表示選択操作を解除する表示選択解除操作が入力された場合、当該映像表示部Ｗ５７ｉに対する表示映像データ又は各映像表示部Ｗ５７１〜Ｗ５７ｎに対する表示映像データの全てを停止状態から解除し、複数の映像表示部Ｗ５７１〜Ｗ５７ｎ間において動画像の状態で時間差を設けながら、当該複数の映像表示部Ｗ５７１〜Ｗ５７ｎが表示順に連携した螺旋映像表示部群５８として再度連動表示させるようになされている。
またこの場合において、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき画面の最も手前側に位置する映像表示部Ｗ５７ｎに表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、最も手前側に位置する映像表示部Ｗ５７ｎから３次元螺旋上の距離が離れた映像表示部Ｗ５７ｍ、Ｗ５７ｌ、Ｗ５７ｋ、……、に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。
（２−３−２−３）映像表示部群の拡大縮小操作
他方、編集装置２のマイクロプロセッサ３では、例えば１つの螺旋映像表示部群５８がマウス操作により選択され、その後マウス３８の左ボタンがクリックされたまま、キーボード３９の方向キー７０のうちの「下（↓）」キー７０Ｄが押圧操作されたことに応じて、その螺旋映像表示部群５８の表示状態を全体的に小さくさせることができ、また１つの螺旋映像表示部群５８がマウス操作により選択され、その後マウス３８の左ボタンがクリックされたまま、キーボード３９の方向キー７０のうちの「上（↑）」キー７０Ｕが押圧操作されたことに応じて、その螺旋映像表示部群５８の表示状態を全体的に大きくさせ得るようになされている。
これにより表示部５５では、例えばある第１のクリップの編集作業中に他の第２のクリップの映像音声部分を切り出して第１のクリップに挿入するインサート編集が行われる場合、編集途中の第１のクリップに対応した螺旋映像表示部群５８を全体的に小さく表示させることにより当該表示部５５内に大きなスペースを作ってから、新しい第２のクリップに対応した螺旋映像表示部群５８をそのスペースに表示させて所望の映像音声部分の切出し操作を行わせ、その後第１のクリップに対応した螺旋映像表示部群５８の表示サイズを戻して、当該切り出した第２のクリップの映像音声部分を第１のクリップの所望位置に挿入するといった編集操作を行わせることができる。
（２−３−３）各種基本又は拡張操作入力に対するマイクロプロセッサの処理
ここでマイクロプロセッサ３は、上述のような各種基本又は拡張操作入力に対する処理を、ハードディスク装置７（図１）に格納された制御プログラムに基づき、図９に示す表示変更処理手順ＲＴ１に従って実行する。
例えば、図９のステップＳＰ１において認識した操作が上述の『クリップの映像の表示速度を上げる』操作であった場合、マイクロプロセッサ３は、記憶装置２２を制御して、対応する螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示させる再生映像の再生速度ｖに応じて、映像表示部Ｗ５７１〜Ｗ５７ｎに表示する各映像を選択し、生成する。
このときマイクロプロセッサ３は、各映像表示部Ｗ５７１〜Ｗ５７ｎ間の再生フレームの間隔を広げると共に、各映像表示部Ｗ５７１〜Ｗ５７ｎ内においても表示再生速度を上げることにより、映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖを増加させ、かつ互いに隣接する映像表示部Ｗ５７１〜Ｗ５７ｎ間における再生映像の再生時間差ΔＴを増加させる。
またマイクロプロセッサ３は、ステップＳＰ１において認識した操作が上述の『クリップの映像の表示速度を下げる』操作であった場合には、記憶装置２２を制御して、対応する螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示させる再生映像の再生速度ｖに応じて、映像表示部Ｗ５７１〜Ｗ５７ｎに表示する各映像を選択し、生成する。
このときもマイクロプロセッサ３は、各映像表示部Ｗ５７１〜Ｗ５７ｎ間の再生フレームの間隔を狭くすると共に、各映像表示部Ｗ５７１〜Ｗ５７ｎ内においても表示再生速度を下げることにより、映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖを減少させ、かつ互いに隣接する映像表示部Ｗ５７１〜Ｗ５７ｎ間における再生映像の再生時間差ΔＴを減少させる。
さらにマイクロプロセッサ３は、ステップＳＰ１において認識した操作が『クリップの映像を停止させる』操作であった場合には、記憶装置２２を制御して、対応する螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示させる再生映像の再生を停止させる一方、ＧＰＵ４を制御して、当該螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに再生停止直前の最後のフレームをそれぞれ表示させ続ける。この結果、各映像表示部Ｗ５７１〜Ｗ５７ｎに、もとの再生時間差ΔＴを保った状態でそれぞれ対応する静止画像が表示されることとなる。
さらにマイクロプロセッサ３は、ステップＳＰ１において認識した操作が『キーボード３９の「シフト」キーを押圧したまま、「クリップの映像を停止させる」』操作等の各種拡張操作であった場合には、表示部５５の螺旋映像表示部群５８に表示される各再生映像や、その螺旋映像表示部群５８自体の表示映像を、その拡張操作に応じた状態に変化させるように記憶装置２２やＧＰＵ４を制御する。
そしてマイクロプロセッサ３は、ステップＳＰ８において、表示部５５に表示された螺旋映像表示部群５８内の各再生映像や螺旋映像表示部群５８自体の表示映像を操作入力に応じた状態に変更するようになされている。
（２−４）表示部における編集内容設定のための各種操作
次に、表示部５５における編集内容設定のための具体的な個々の操作の操作手順について説明する。
まず同一クリップ内でのカット編集について説明する。表示部５５にドラッグアンドドロップしたクリップについて、そのクリップ内でのカット編集を行う場合には、図１９（Ａ）に示すように、まずそのクリップの再生映像を開始させ、必要に応じてその螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示された各再生映像の再生速度ｖや、互いに隣接した各映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像の再生時間差ΔＴを上述のようにして変更しながら、切り取るべき映像音声部分の最初のフレームＦＲＩＮを探すようにする。
そしてそのフレームＦＲＩＮが編集位置として決まったら、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像を全て停止させ、その状態でそのフレームＦＲＩＮの画像が表示されている映像表示部Ｗ５７１〜Ｗ５７ｎをクリックする。この編集操作入力の結果、マイクロプロセッサ３は、そのフレームＦＲＩＮを切り取るべき映像音声部分のイン点として設定し、その映像表示部Ｗ５７１〜Ｗ５７ｎのうちイン点として設定した枠部分を所定色（例えば黄色）に着色する。
次に、これと同様にして、切り取ろうとする映像音声部分の最後のフレームの次のフレームＦＲＯＵＴを探し出し、そのフレームＦＲＯＵＴが編集位置として決まったら、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像を全て停止させ、その状態でそのフレームＦＲＯＵＴの画像が表示されている映像表示部Ｗ５７１〜Ｗ５７ｎをオペレータにクリックさせるようにする。この編集操作入力の結果、マイクロプロセッサ３は、そのフレームＦＲＯＵＴを切り取るべき映像音声部分のアウト点として設定し、その映像表示部Ｗ５７１〜Ｗ５７ｎのうち切り取られるフレームの枠部分を所定色（例えば白色）に着色して表示する。
そしてマイクロプロセッサ３は、このようにしてそのクリップ内にイン点及びアウト点を編集位置として設定した後に、必要に応じて各映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像の再生時間差ΔＴを上述のようにして変更することにより、イン点及びアウト点の各フレームＦＲＩＮ、ＦＲＯＵＴの画像をそれぞれその螺旋映像表示部群５８に静止させた状態で表示させ、その後図１９（Ｂ）に示すように、イン点及びアウト点を繋ぎ合わせる操作、つまりかかるアウト点に設定されたフレームＦＲＯＵＴの画像を、イン点に設定されたフレームＦＲＩＮの画像上に重ねるようにドラッグアンドドロップする編集操作入力をオペレータに行わせる。
この結果、図１９（Ｃ）に示すように、そのクリップ全体の映像音声部分のうちのイン点に設定されたフレームＦＲＩＮからアウト点に設定されたフレームＦＲＯＵＴの１つ前のフレームまでの映像音声部分を削除し、イン点に設定されたフレームＦＲＩＮの１つ前のフレームとアウト点に設定されたフレームＦＲＯＵＴとを繋ぎ合わせるべき旨の編集データが作成され、この編集データに基づく加工処理により得られる編集映像音声の映像が、そのクリップと同じ表示形態で表示部５５に表示される。つまり、かかるように表示形態が変更されたカット編集後の編集映像音声の所定再生時間差ΔＴごとの再生映像を各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示した螺旋映像表示部群５８Ａが表示部５５に表示されることになる。
なお、このような加工処理により切り出される映像音声部分を削除することなく、別クリップとして残しておきたいときには、まず表示部５５のツールバー５９に表示された「設定」をクリックすることにより表示されるコンテキストメニューの中から「分離モード」を選択して設定し、その後図２０（Ａ）及び（Ｂ）に示すように、図１９（Ａ）及び（Ｂ）について上述したカット編集のときと同様にしてイン点及びアウト点の各フレームＦＲＩＮ、ＦＲＯＵＴをそれぞれ設定し、さらにその後アウト点に設定したフレームＦＲＯＵＴの画像をドラッグアンドドロップにより、イン点に設定したフレームＦＲＩＮ上に重ねる編集操作入力を行う。
この結果、図２０（Ｃ）に示すように、そのクリップ全体の映像音声部分のうちのイン点に設定されたフレームＦＲＩＮの１つ前のフレームと、アウト点に設定されたフレームＦＲＯＵＴとを繋ぎ合わせ、さらにイン点に設定されたフレームＦＲＩＮからアウト点に設定されたフレームＦＲＯＵＴの１つ前のフレームまでの映像音声部分を別クリップとすべき旨の編集データが作成される。
このとき表示部５５には、かかる編集データに基づく加工処理により得られるカット編集後の表示形態が変更された編集映像音声の映像と、別クリップとして生成されたイン点のフレームＦＲＩＮからアウト点のフレームＦＲＯＵＴの１つ前のフレームまでの映像音声部分の映像とがそのクリップと同じ表示形態で表示部５５に表示される。
つまりかかるカット編集により得られた編集映像音声の所定再生時間差ΔＴごとの再生映像が各映像表示部５７１〜５７ｎにそれぞれ表示された螺旋映像表示部群５８Ａと、かかる別クリップとされた映像音声部分の所定再生時間差ΔＴごとの再生映像が複数の映像表示部５７にそれぞれ表示された螺旋映像表示部群５８Ｂとが表示部５５に表示されることとなる。
なお、この場合マイクロプロセッサ３は、螺旋映像表示部群５８Ａ及び螺旋映像表示部群５８Ｂにおけるそれぞれの表示情報（表示サイズ及び表示位置を含む）に応じて、螺旋映像表示部群５８Ａと螺旋映像表示部群５８Ｂとが表示部５５内に収まるよう上下方向に僅かに圧縮した状態に変形して表示するようになされている。
このようにマイクロプロセッサ３は、キーボード３９又はマウス３８による上述のような編集操作入力が行われると、当該編集操作入力に対応した編集情報をＰＣＩバス１５を介して取得し、当該編集情報の内容に応じて各映像表示部Ｗ５７１〜Ｗ５７ｎの表示形態を変更させ得るようになされている。
因みにマイクロプロセッサ３は、編集位置として設定する編集操作入力を解除するための編集位置設定解除操作が入力された場合、各映像表示部Ｗ５７１〜Ｗ５７ｎに対する表示映像データの全てを停止状態から解除し、複数の映像表示部Ｗ５７１〜Ｗ５７ｎ間において動画像の状態で時間差を設けながら、当該複数の映像表示部Ｗ５７１〜Ｗ５７ｎが表示順に連携した螺旋映像表示部群５８として再度連動表示させるようになされている。
さらに１つのクリップを、所望フレームを境として２つのクリップに分離したいときには、上述のようにして「分離モード」を設定し、その後上述と同様にして編集位置として所望するフレームＦＲＩＮをイン点に設定する。この結果図２１（Ａ）に示すように、マイクロプロセッサ３は、そのフレームＦＲＩＮの画像が表示されている映像表示部Ｗ５７１〜Ｗ５７ｎの枠部分を所定色（例えば黄色）に着色し、これによりそのフレームを分離する際の境とすべきフレームとして設定することができる。そして、例えばその後キーボード３９の「オルト（Alt）」キー及び「スペース」キーの双方を押圧するような編集操作入力を行う。
この結果、図２１（Ｂ）に示すように、そのクリップのイン点に設定されたフレームＦＲＩＮを境として分割すべき編集データが生成され、この編集データに基づく加工処理により得られるそのクリップの前半及び後半の各映像音声部分の映像がそのクリップと同じ表示形態で表示部５５に表示される。
つまり、そのクリップにおける前半の映像音声部分のうち所定再生時間差ΔＴごとの再生映像が複数の映像表示部Ｗ５７にそれぞれ表示された螺旋映像表示部群５８Ａと、そのクリップにおける後半の映像音声部分のうち所定再生時間差ΔＴごとの再生映像が複数の映像表示部Ｗ５７にそれぞれ表示された螺旋映像表示部群５８Ｂとが表示部５５に表示されることとなる。
なお、この場合にもマイクロプロセッサ３は、螺旋映像表示部群５８Ａ及び螺旋映像表示部群５８Ｂにおけるそれぞれの表示情報（表示サイズ及び表示位置を含む）に応じて、螺旋映像表示部群５８Ａと螺旋映像表示部群５８Ｂとが表示部５５内に収まるよう上下方向に僅かに圧縮した状態に変形して表示するようになされている。
一方、かかる編集画面５０では、表示部５５に２つのクリップの螺旋映像表示部群５８をそれぞれ表示させ、これらを利用して２つのクリップを繋ぎ合わせるいわゆるアッセンブル編集や、一方のクリップの所望位置に他方のクリップの一部を挿入するインサート編集などのカット編集を行うこともできる。
実際上、アッセンブル編集を行う場合、上述した操作により、図２２（Ａ）に示すように、アッセンブル編集に使用する２つのクリップに対応付けられた螺旋映像表示部群５８（５８Ａ、５８Ｂ）を表示部５５内にそれぞれ表示させる。
続いて、表示部５５に表示された２つの螺旋映像表示部群５８（５８Ａ、５８Ｂ）のうち、下地にしようとする一方の第１のクリップと対応付けられた螺旋映像表示部群５８Ａをマウス操作により選択した後に、カット編集のときと同様にして、この第１のクリップ内に第１の編集位置としてイン点を設定する。
またこの後、表示部５５に表示された２つの螺旋映像表示部群５８（５８Ａ、５８Ｂ）のうち、挿入側にしようとする他方の第２のクリップと対応付けられた螺旋映像表示部群５８Ｂをマウス操作により選択した後に、カット編集のときと同様にして、この第２のクリップ内に第２の編集位置としてイン点及び必要に応じてアウト点を設定する。
そして、この後図２２（Ｂ）に示すように、第１の編集位置として設定された第１のクリップのイン点と第２の編集位置として設定された第２のクリップのイン点とを繋ぎ合わせる操作、つまり第２のクリップと対応付けられた螺旋映像表示部群５８Ｂに表示された第２のクリップのイン点に設定されたフレームＦＲＩＮ−２の画像を、第１のクリップと対応付けられた螺旋映像表示部群５８Ａに表示された第１のクリップのイン点に設定されたフレームＦＲＩＮ−１の画像上に重ねるようにドラッグアンドドロップする編集接続操作を行う。
この結果、図２２（Ｃ）に示すように、マイクロプロセッサ３は、第１のクリップの先頭のフレームからイン点に設定されたフレームとＦＲＩＮ−１の１フレーム前までの映像音声部分と、第２のクリップの先頭のフレームからイン点に設定されたフレームＦＲＩＮ−２まで（第２のクリップ内にアウト点を設定したときには、イン点に設定されたフレームＦＲＩＮ−２からアウト点に設定されたフレームまで）の映像音声部分とを繋げ合わせるべき旨の編集データを生成し、またこの編集データに基づく加工処理により得られる編集映像音声の映像をそのときの第１及び第２のクリップの映像と同じ表示形態で表示部５５に表示する。つまりマイクロプロセッサ３は、ＧＰＵ４により、かかる編集映像音声の所定再生時間差ΔＴごとの映像を各映像表示部５７にそれぞれ表示した螺旋映像表示部群５８Ｃを表示部５５に表示する。
これに対してインサート編集を行う場合には、アッセンブル編集時と同様にして、図２３（Ａ）に示すように、インサート編集に使用しようとする２つのクリップの螺旋映像表示部群５８（５８Ａ、５８Ｂ）を表示部５５内にそれぞれ表示させる。
続いて、表示部５５に表示されたこれら２つの螺旋映像表示部群５８（５８Ａ、５８Ｂ）のうち、下地にしようとする一方の第１のクリップと対応付けられた映像表示群５８Ａをマウス操作により選択した後に、カット編集のときと同様にして、この第１のクリップ内にイン点及びアウト点を第１の編集位置としてそれぞれ設定する一方、これと同様にして他方の第２のクリップ内にイン点及びアウト点を第２の編集位置としてそれぞれ設定する。
そして、この後図２３（Ｂ）に示すように、第１のクリップのイン点と第２のクリップのイン点とを繋ぎ合わせる操作、つまり第２のクリップと対応付けられた螺旋映像表示部群５８Ｂに表示されたイン点のフレームＦＲＩＮ−２の画像を、第１のクリップと対応付けられた螺旋映像表示部群５８Ａに表示されたイン点のフレームＦＲＩＮ−１の画像上に重ねるようにドラッグアンドドロップする編集接続操作を行う。
この結果、マイクロプロセッサ３は、図２３（Ｃ）に示すように、第１のクリップにおける先頭のフレームからイン点に設定されたフレームＦＲＩＮ−１の１つ前のフレームまでの映像音声部分と、第２のクリップのイン点に設定されたフレームＦＲＩＮ−２からアウト点に設定されたフレームＦＲＯＵＴ−２の１フレーム前までの映像音声部分と、第１のクリップのアウト点に設定されたフレームＦＲＯＵＴ−１から当該第１のクリップの最後のフレームまでの映像音声部分とを順次繋ぎ合わせるべき旨の編集データを生成し、この編集データに基づく加工処理により得られる編集映像音声の映像をそのときの第１及び第２のクリップの映像と同じ表示形態で表示部５５に表示する。つまり、かかる編集映像音声の所定再生時間差ΔＴごとの映像を各映像表示部Ｗ５７にそれぞれ表示した螺旋映像表示部群５８Ｃを表示部５５に表示するようになされている。
他方、このように得られたアッセンブル編集又はインサート編集の編集映像音声について、第１及び第２のクリップの切替わり部分に映像特殊効果を設定したい場合には、図２４（Ａ）に示すように、カット編集時と同様にして、かかる編集映像音声における第１のクリップ側の終わり近傍にイン点を編集位置として設定すると共に、第２のクリップ側の始まり近傍にアウト点を設定する。
次いで、図２４（Ｂ）に示すように編集画面５０（図２）のエフェクト情報表示部５４に表示されるエフェクト一覧の中から所望する映像特殊効果と対応付けられたエフェクトアイコン１３を選択し、例えばこれをドラッグアンドドロップにより、対応する螺旋映像表示部群５８Ｃのイン点として設定されたフレームＦＲＩＮからアウト点として設定されたフレームＦＲＯＵＴまでの間のいずれかのフレームの画像上に貼り付けるようにする。
この結果、マイクロプロセッサ３はその編集映像音声について、図２４（Ｃ）に示すように、第１及び第２のクリップの切替わり部分において、貼り付けられたエフェクトアイコン１３に対応する映像特殊効果処理を施すべき編集データを生成し、当該編集データに基づく加工処理により得られる編集映像音声の映像を元の編集映像音声の映像と同じ表示形態で表示部５５に表示する。
つまり、かかる映像特殊効果処理が施された編集映像音声の所定再生時間差ΔＴごとの映像を各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示した螺旋映像表示部群５８Ｃが表示部５５に表示されることになり、第１及び第２のクリップの切替わり部分では互いの表示内容が重なって次第に一方が他方に対して何時までも邪魔になることがないようにフェードアウトしていくようになされている。
このようにしてオペレータは、この編集画面５０の表示部５５を利用して、所望のクリップを順次繋ぎ合わせ、所望位置に所望の映像特殊効果を設定してなる編集映像音声を得るための編集データを作成することができる。
なお、上述のようにして編集データを作成後、これらを編集リストとして保存したいときには、表示部５５のツールバー５９の「ファイル」をクリックすることによって表示される図示しないコンテキストメニューの中から「編集リストの保存」を選択するようにする。この結果、そのとき作成した各編集データが１つの編集リストとしてファイルかされてハードディスク装置７（図１）内の編集リストデータベースに登録される。
（２−５）各種操作に対するマイクロプロセッサの処理
ここで、マイクロプロセッサ３は、操作入力に対する上述のような各種表示映像等の変更処理を、ハードディスク装置７（図１）に格納された制御プログラムに基づき、図２５に示す編集操作応答処理手順ＲＴ３に従って実行する。
すなわちマイクロプロセッサ３は、図９に示す再生処理手順ＲＴ１に従って指定されたクリップの螺旋映像表示部群５８を編集画面５０の表示部５５に表示し終えると、図９を用いた上述の表示変更処理手順ＲＴ１と並行してこの編集操作応答処理手順ＲＴ３を開始し、続くステップＳＰ２１において、そのとき表示部５５に表示している螺旋映像表示部群５８上でオペレータによりクリックされたか否かを判断する。
そしてマイクロプロセッサ３は、このステップＳＰ２１において否定結果を得るとステップＳＰ２２へ移り、オペレータにより所定の編集操作入力が行われたか否かを判定する。なお、ここでいう「編集操作入力」とは、図１９及び図２０１について上述したように、同一クリップ内にイン点やアウト点が設定された後に、アウト点に設定されたフレームＦＲＯＵＴの画像をイン点に設定されたフレームＦＲＩＮの画像上にドラッグアンドドロップする操作や、図２１について上述したように、「分離モード」が設定されている状態で、あるクリップにイン点が設定され、その後キーボード３９の「オルト（Alt）」キー及び「スペース」キーの双方が押圧操作される操作、図２２及び図２３について上述したように、第１及び第２のクリップにそれぞれ対応する螺旋映像表示部群５８が表示部５５に表示された状態で、これら第１及び第２のクリップにイン点（及びアウト点）がそれぞれ設定され、その後第２のクリップのイン点に設定されたフレームＦＲＩＮ−２の画像を第１のクリップのイン点のフレームＦＲＩＮ−１の画像上にドラッグアンドドロップする操作、又は図２４について上述したように、エフェクトアイコン１３を螺旋映像表示部群５８上にドラッグアンドドロップする操作等をいう。
そしてマイクロプロセッサ３は、このステップＳＰ２２において否定結果を得ると、ステップＳＰ２１に戻って、この後ステップＳＰ２１−ＳＰ２２−ＳＰ２１のループを繰り返しながら、ステップＳＰ２１又はステップＳＰ２２において肯定結果を得るのを待ち受ける。
そしてマイクロプロセッサ３は、やがてオペレータによって表示部５５内に表示された螺旋映像表示部群５８上でクリック操作が行われたことによりステップＳＰ２１において肯定結果を得ると、次のステップＳＰ２３へ移り、そのときクリックされたフレームを状況に応じてイン点又はアウト点として設定すると共に、これと併せてＧＰＵ４を制御することにより、その螺旋映像表示部群５８におけるそのイン点又はアウト点に設定されたフレームＦＲＩＮ、ＦＲＯＵＴ（ＦＲＩＮ−１、ＦＲＩＮ−２、ＦＲＯＵＴ−１、ＦＲＯＵＴ−２）の画像を表示している映像表示部Ｗ５７１〜Ｗ５７ｎの枠部を所定色に着色させる。
またマイクロプロセッサ３は、クリップにイン点（及びアウト点）が設定された後に、オペレータが所定の編集操作を入力することによりステップＳＰ２２で肯定結果を得ると、次のステップＳＰ２４へ移って、その編集操作に応じた編集結果を得るための編集データを生成する。
そしてマイクロプロセッサ３は、この後ステップＳＰ２５へ移って、ＧＰＵ４を制御することにより、このようにして生成した編集データに基づく映像、つまり図１９（Ｃ）、図２０（Ｃ）、図２１（Ｂ）、図２２（Ｃ）〜図２４（Ｃ）について上述したような編集後の表示形態が変更された編集映像音声の螺旋映像表示部群５８を表示部５５内に表示させた後、ステップＳＰ２６へ移って、この編集操作応答処理手順ＲＴ３を終了する。
このようにしてマイクロプロセッサ３は、オペレータにより入力された編集操作入力に応じた編集データを生成すると共に、当該編集操作入力に応じて表示形態が変更された編集結果の映像を表示部５５に表示させる。
（３）螺旋映像表示部群に対する視点変更方法
（３−１）螺旋映像表示部群の表示形態
ところで編集装置２のマイクロプロセッサ３は、編集画面５０の表示部５５に表示した螺旋映像表示部群５８に対して、どのような視点から目視確認しているのかをオペレータに対して示したり、その視点を任意に変更し、変更後の視点に対応した表示形態の螺旋映像表示部群５８を表示部５５に表示し得るようになされている。
ここで螺旋映像表示部群５８は、所定の３次元映像生成ソフトウェアに従いＧＰＵ４によりその内部メモリ上の３Ｄ空間でレンダリングされた結果生成されるものであり、図２６に示すように、３Ｄ空間上で仮想的に生成された仮想時間軸ＴＰを中心として当該仮想時間軸ＴＰを巻き付けるように複数の映像表示部Ｗ５７１〜Ｗ５７ｎが順次配置され、その映像表示部Ｗ５７１〜Ｗ５７ｎによって作られる円の直径が仮想時間軸ＴＰの進行に連れて次第に大きくなるようなスパイラル構造を有している。
すなわち、表示部５５に表示すべき螺旋映像表示部群５８のデフォルトとして設定されている表示形態としては、仮想時間軸ＴＰにおける進行方向側の一端にオペレータの視点ＥＰ１があると仮定したとき、図３に示したように、画面の奥側から手前側へ近づくに連れて、複数の映像表示部Ｗ５７１〜Ｗ５７ｎによって作られる円が次第に大きくなるような螺旋映像表示部群５８が３次元的に表示されることになる。
このため編集装置２のマイクロプロセッサ３は、表示部５５に螺旋映像表示部群５８を表示したとき、仮想時間軸ＴＰを中心として各映像表示部Ｗ５７１〜Ｗ５７ｎによって作られる円の直径が当該仮想時間軸ＴＰの進行に連れて次第に大きくなるようなスパイラル構造をその正面からオペレータに目視確認させることが出来るので、全ての映像表示部Ｗ５７１〜Ｗ５７ｎがどれ一つとして隠れてしまうことなく全て提示し得るようになされている。
ここで螺旋映像表示部群５８は、映像表示部Ｗ５７１、映像表示部Ｗ５７２、映像表示部Ｗ５７３、……、映像表示部Ｗ５７ｍ、映像表示部Ｗ５７ｎの順番で仮想時間軸ＴＰの周囲に順次出現し、その出現した順番に映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像が再生開始されることになる。
従って、螺旋映像表示部５８における各映像表示部Ｗ５７１〜Ｗ５７ｎの再生開始から所定時間経過後のタイミングでは、表示部５５における画面中、螺旋の最も奥側に存在する映像表示部Ｗ５７１が時間的に一番未来の再生映像を表示しており、螺旋の最も手前側に存在する映像表示部Ｗ５７ｎが時間的に一番過去の再生映像を表示していることになる。
すなわち仮想時間軸ＴＰの進行が最も進んでいる先端側の映像表示部Ｗ５７ｎでは時間的に一番過去の再生映像を表示し、仮想時間軸ＴＰの開始地点に近い後端側の映像表示部Ｗ５７１では時間的に一番進んだ未来の再生映像を表示し、仮想時間軸ＴＰの進行方向と各映像表示部Ｗ５７１〜Ｗ５７ｎにおける再生処理の進み度合いとが逆向きになる。
図２７に示すように、この編集装置２では、編集画面５０の表示部５５に螺旋映像表示部群５８を表示中、オペレータに対して当該螺旋映像表示部群５８を表示しているときの視点及び視線方向を、表示部５５内に表示したサブ３Ｄ空間画像ＩＭ１及びキャラクタＣＡ１によって視覚的に表現するようになされている。ここでサブ３Ｄ空間画像ＩＭ１の中には、螺旋映像表示部群５８と同じ表示形態でかつ縮小されたサブ螺旋映像表示部群５８Ｓ及びサブ時間軸ＳＴＰ１が表示されている。
すなわち、サブ３Ｄ空間画像ＩＭ１の中に表示されているサブ螺旋映像表示部群５８Ｓの３Ｄ空間座標と、ＧＰＵ４の内部メモリ上の３Ｄ空間に生成された螺旋映像表示部群５８の３Ｄ空間座標とは、互いに３Ｄ空間として拡大縮小関係にあるだけなので基本的に同じ座標系である。
実際上、編集装置２のマイクロプロセッサ３は、編集画面５０のクリップ一覧表示部５１から所望のクリップがオペレータによって選択された後、表示部５５にドラッグアンドドロップされたことを認識すると、ＧＰＵ４によって当該クリップに対応した螺旋映像表示部群５８を表示すると共に、ＧＰＵ４により螺旋映像表示部群５８に対応したサブ螺旋映像表示部群５８Ｓ及び仮想時間軸ＴＰに対応したサブ時間軸ＳＴＰ１を含むサブ３Ｄ空間画像ＩＭ１を生成し、これを螺旋映像表示部群５８と一緒に表示するようになされている。
また編集装置２のマイクロプロセッサ３は、表示部５５のカーソル７１を介してサブ３Ｄ空間画像ＩＭ１近傍のキャラクタＣＡ１が選択されてドラッグ操作が行われると、そのドラッグ操作の方向へキャラクタＣＡ１を移動させて表示すると共に、その移動後のキャラクタＣＡ１のサブ３Ｄ空間画像ＩＭ１における位置を視点座標（確認位置）としたときの視点座標データを生成し、その確認位置から視線方向矢印ＡＬ１の角度で見えるであろうサブ螺旋映像表示部群５８Ｓに対応した表示形態の螺旋映像表示部群５８をＧＰＵ４によって表示部５５に表示するようになされている。
このように編集装置２では、サブ３Ｄ空間画像ＩＭ１近傍に表示されたキャラクタＣＡ１のサブ螺旋映像表示部群５８Ｓに対する確認位置（視点座標）によって当該螺旋映像表示部群５８に対する視点をイメージとしてオペレータに視覚的に提示し、かつその視点からのサブ螺旋映像表示部群５８Ｓに対する視線方向矢印ＡＬ１を当該キャラクタＣＡ１の視線方向としてオペレータに視覚的に提示することにより、表示部５５の螺旋映像表示部群５８に対する視点及び視線方向をオペレータに対して直感的に認識させ得るようになされている。
ところで、編集装置２のマイクロプロセッサ３は、編集画面５０のクリップ一覧表示部５１から所望のクリップがオペレータによって複数選択された後、複数のクリップが表示部５５にドラッグアンドドロップされたことを認識すると、ＧＰＵ４により当該複数のクリップに対応した複数の螺旋映像表示部群５８を表示部５５に表示すると共に、図２８に示すように、ＧＰＵ４により当該複数の螺旋映像表示部群５８にそれぞれ対応したサブ螺旋映像表示部群５８Ｓ２、サブ時間軸ＳＴＰ２及びサブ螺旋映像表示部群５８Ｓ３、サブ時間軸ＳＴＰ３を含むサブ３Ｄ空間画像ＩＭ１を生成して表示し得るようになされている。
この場合、編集装置２のマイクロプロセッサ３は、複数の螺旋映像表示部群５８を構成する各映像表示部Ｗ５７１〜Ｗ５７ｎに表示すべき再生映像にタイムコード情報が付加されている場合、２つのサブ螺旋映像表示部群５８Ｓ２、サブ螺旋映像表示部群５８Ｓ３をタイムコード情報に基づいて同期させた状態で表示するようになされている。
ここでマイクロプロセッサ３は、サブ螺旋映像表示部群５８Ｓ２におけるサブ時間軸ＳＴＰ２と、サブ螺旋映像表示部群５８Ｓ３におけるサブ時間軸ＳＴＰ３との長さが互いに異なるとき、長い方のサブ時間軸ＳＴＰ２（又はサブ時間軸ＳＴＰ３）に合わせて短い方のサブ時間軸ＳＴＰ３（又はサブ時間軸ＳＴＰ２）を表示するようになされている。
これにより編集装置２では、サブ螺旋映像表示部群５８Ｓ２のサブ映像表示部ＷＳ５７１〜ＷＳ５７ｎ全体と、サブ螺旋映像表示部群５８Ｓ３の映像表示部ＷＳ５７１〜ＷＳ５７ｎ全体とをサブ３Ｄ空間画像ＩＭ１の内部に収納した状態で表示することができ、かくしてサブ螺旋映像表示部群５８Ｓ２及びサブ螺旋映像表示部群５８Ｓ３の全体像をオペレータに目視確認させ得るようになされている。
また図２９に示すように編集装置２のマイクロプロセッサ３は、複数のサブ螺旋映像表示部群５８Ｓ２、サブ螺旋映像表示部群５８Ｓ３が含まれるサブ３Ｄ空間画像ＩＭ１を表示部５５に表示した状態で、オペレータによるドラッグ操作が行われると、サブ螺旋映像表示部群５８Ｓ２、サブ螺旋映像表示部群５８Ｓ３の位置を移動し得るようになされており、その移動後のサブ螺旋映像表示部群５８Ｓ２、サブ螺旋映像表示部群５８Ｓ３の配置に連動させて表示部５５に表示している複数の螺旋映像表示部群５８の配置についても移動して表示し得るようになされている。
なお編集装置２のマイクロプロセッサ３は、このとき編集処理の容易性を更に向上すべく、サブ螺旋映像表示部群５８Ｓ２、サブ螺旋映像表示部群５８Ｓ３をサブ時間軸ＳＴＰ２、ＳＴＰ３の長手方向（未来方向又は過去方向）に沿って移動し得るようにもなされている。
具体的には、また、図３０（Ａ）に示すように編集装置２のマイクロプロセッサ３は、サブ３Ｄ空間画像ＩＭ１の正面にキャラクタＣＡ１が配置された正面視点を螺旋映像表示部群５８に対してデフォルト設定された表示形態としたとき、カーソル７１によるドラッグ操作に応じて、図３０（Ｂ）に示すようにサブ３Ｄ空間画像ＩＭ１の左斜め上にキャラクタＣＡ１が配置された左斜め上視点に変更したり、図３０（Ｃ）に示すようにサブ３Ｄ空間画像ＩＭ１の右斜め下にキャラクタＣＡ１が配置された右斜め下視点に変更したり、図３０（Ｄ）に示すようにサブ３Ｄ空間画像ＩＭ１の右横にキャラクタＣＡ１が配置された右横視点に変更したり、図３０（Ｅ）に示すようにサブ３Ｄ空間画像ＩＭ１の真上にキャラクタＣＡ１が配置された真上視点に変更したり、図３０（Ｆ）に示すようにサブ３Ｄ空間画像ＩＭ１の内部にキャラクタＣＡ１が配置された内部視点に変更し得るようになされている。
これにより編集装置２のマイクロプロセッサ３は、編集画面５０の表示部５５に螺旋映像表示部群５８を表示中、サブ３Ｄ空間画像ＩＭ１の３Ｄ空間座標とカーソル７１によって移動されたキャラクタＣＡ１の視点座標との相対的位置関係によって決まる変更後の新たな視点及び視線方向に応じて、ＧＰＵ４により螺旋映像表示部群５８の表示形態を変更して表示するようになされている。
すなわちマイクロプロセッサ３では、キャラクタＣＡ１の視点座標を動かしたときの視点及び視線方向と、表示部５５の螺旋映像表示部群５８に対する視点とを連動して一致させた状態で表示し得るようになされている。
なお編集装置２のマイクロプロセッサ３では、視点の変更に当たってカーソル７１によるドラッグ操作ではなく、キー入力によって視点の変更を実行し得るようにもなされており、カーソル７１によってキャラクタＣＡ１が選択された後、例えばキーボード３９上の「Ｗ」キーに対する押下操作に応じて当該キャラクタＣＡ１を上方向へ移動させ、「Ａ」キーに対する押下操作に応じて当該キャラクタＣＡ１を左方向へ移動させ、「Ｘ」キーに対する押下操作に応じて当該キャラクタＣＡ１を下方向へ移動させ、「Ｄ」キーに対する押下操作に応じて当該キャラクタＣＡ１を右方向へ移動させ得るようにもなされている。
このように編集装置２のマイクロプロセッサ３では、サブ３Ｄ空間画像ＩＭ１の空間座標を固定（ロック）したまま、キャラクタＣＡ１の視点座標を動かすことにより視点及びその視線方向を変更する空間座標ロックモードの視点変更手法を用いているが、例えばキーボード３９上の「Ｆ１」キーに対する押下操作に応じてモードを切り換え、空間座標ロックモードとは逆に、キャラクタＣＡ１の視点座標を固定（ロック）したままサブ３Ｄ空間画像ＩＭ１を回転させて空間座標を動かすことにより視点及びその視線方向を変更する視点座標ロックモードの視点変更手法に変更することも可能である。
因みに編集装置２のマイクロプロセッサ３は、例えばキーボード３９上の「Ｆ２」キーに対する押下操作に応じてモードを切り換え、図３１に示すようにサブ３Ｄ空間画像ＩＭ１の３Ｄ空間座標と、キャラクタＣＡ１の視点座標との相対的位置関係を維持したまま、カーソル７１によるドラッグ操作によりサブ３Ｄ空間画像ＩＭ１及びキャラクタＣＡ１を一緒に回転させることが可能であり、これによりサブ３Ｄ空間画像ＩＭ１及びキャラクタＣＡ１をオペレータにとって目視確認し易い角度に変更して表示し得るようになされている。
ところで編集装置２のマイクロプロセッサ３は、空間座標ロックモードの視点変更手法を用いて、図３０（Ｆ）に示したようにサブ３Ｄ空間画像ＩＭ１の内部にキャラクタＣＡ１が配置された内部視点に変更した場合、図３２に示すように自動的にサブ３Ｄ空間画像ＩＭ１を所定倍率に拡大することによりサブ３Ｄ空間画像ＩＭ２を生成し得るようになされている。
この場合、サブ３Ｄ空間画像ＩＭ１をサブ３Ｄ空間画像ＩＭ２に拡大するときの拡大率については、当該サブ３Ｄ空間画像ＩＭ１及びＩＭ２があくまでサブ的な表示であるため、表示部５５の螺旋映像表示部群５８に対して邪魔になることがないような一定の倍率以下に制限されている。
（３−２）視点の変更に応じた螺旋映像表示部群に対する表示処理手順
続いて、上述のサブ３Ｄ空間画像ＩＭ１とキャラクタＣＡ１との相対的位置関係により視点及びその視線方向が変化することに応じて表示部５５の螺旋映像表示部群５８の表示形態を変更して表示する表示処理手順について次に説明する。
図３３に示すように編集装置２のマイクロプロセッサ３は、ルーチンＲＴ４の開始ステップから入って次のステップＳＰ４１へ移り、マウス３８、キーボード３９或いは操作コントローラ３７を介して入力された制御信号（例えば螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示すべき再生映像の再生速度ｖ、再生時間差ΔＴ、オペレータのドラッグ操作に応じた移動後におけるサブ３Ｄ空間画像ＩＭ１の３Ｄ空間座標やキャラクタＣＡ１の視点座標）をＰＣＩバス１５及びサウスブリッジ６を介して取り込みメインＣＰＵコア３Ｍによって認識した後、次のステップＳＰ４２へ移る。
ステップＳＰ４２において編集装置２のマイクロプロセッサ３は、ステップＳＰ４１で認識した制御信号が螺旋映像表示部群５８の表示形態を変更して表示するための命令であったとき、新たな表示形態で螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示すべきクリップの描画ループをメインＣＰＵコア３Ｍで設定し、次のステップＳＰ４３へ移る。
ステップＳＰ４３において編集装置２のマイクロプロセッサ３は、ステップＳＰ４２で設定したクリップの再生映像の表示サイズ、その表示サイズでなる各フレームの３Ｄ空間における３次元空間座標計算、キャラクタＣＡ１の視点座標計算等の各種物理演算処理をメインＣＰＵコア３Ｍにより実行させ、次のステップＳＰ４４へ移る。
ステップＳＰ４４において編集装置２のマイクロプロセッサ３は、メインＣＰＵコア３Ｍによって描画ループを構成するクリップの再生映像を何れのサブＣＰＵコア３ＳＡ〜３ＳＨによってデコードさせるかの担当を当該メインＣＰＵコア３Ｍにより割り当て、次のステップＳＰ４５へ移る。
ステップＳＰ４５において編集装置２のマイクロプロセッサ３は、記憶装置２２から再生映像の出力に必要なクリップのフレームを読み出し、ステップＳＰ４４で割り当てたサブＣＰＵコア３ＳＡ〜３ＳＨへ分配し、次のステップＳＰ４６へ移る。
ステップＳＰ４６において編集装置２のマイクロプロセッサ３は、デコーダとしての役割を担う８個のサブＣＰＵコア３ＳＡ〜３ＳＨにより、ステップＳＰ４５で分配されたフレームを同時並列的にデコードし、次のステップＳＰ４７へ移る。
ステップＳＰ４７において編集装置２のマイクロプロセッサ３は、メインＣＰＵコア３Ｍにより、ステップＳＰ４６でデコードされた再生映像を表示部５５の画面上（３Ｄ空間上）にどのように配置すべきかを求めるため、サブ３Ｄ空間画像ＩＭ１の３Ｄ空間座標やキャラクタＣＡ１の視点座標を再生映像の３次元表示位置情報として再生映像と共にＧＰＵ４へ高速データ転送し、次のステップＳＰ４８へ移る。
ステップＳＰ４８において編集装置２のマイクロプロセッサ３は、ＧＰＵ４により、サブ３Ｄ空間画像ＩＭ１の３Ｄ空間座標及びキャラクタＣＡ１の視点座標からなる３次元表示位置情報に基づいて、そのとき設定されている視点及び視線方向に応じた表示形態の螺旋映像表示部群５８を表示部５５に表示するための２次元座標の表示位置情報に変換し、メインＣＰＵコア３Ｍからデータ転送された再生映像を、２次元座標の表示位置情報に基づく表示サイズ及び表示位置に従って各映像表示部Ｗ５７１〜Ｗ５７ｎの所定位置に貼り付けて表示することにより新たな視点及び視線方向に対応した表示形態でなる螺旋映像表示部群５８を描画し、次のステップＳＰ４９へ移って処理を終了する。
このように編集装置２では、マイクロプロセッサ３における８個のサブＣＰＵコア３ＳＡ〜３ＳＨが各映像表示部Ｗ５７１〜Ｗ５７ｎに表示する再生映像のデコーダとしての役割をそれぞれ担って同時並列的にデコードし、そのデコードされた再生映像を帯域幅の大きなバス１０により例えば最大３０[Gbyte/sec]の転送速度でＧＰＵ４へ高速データ転送し得るようになされているため、多くの枚数の高精細な再生映像をデコードして短時間にＧＰＵ４へデータ転送することができる。
これによりＧＰＵ４では、内部メモリ上の３Ｄ空間に生成した螺旋映像表示部群５８を新たな視点及び視線方向に変更して表示部５５に表示する際、サブ３Ｄ空間画像ＩＭ１の３Ｄ空間座標及びキャラクタＣＡ１の視点座標からなる３次元表示位置情報を表示部５５の２次元座標の表示位置情報に変換し、これを用いて各映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像を表示することができるため、複数の映像表示部Ｗ５７１〜Ｗ５７ｎ間において動画像の状態で互いに再生時間差ΔＴを設けながら螺旋状の表示順に連携した螺旋映像表示部群５８として表示部５５にレスポンス良く滑らかに連動表示させ、なおかつ、その視点及び視線方向を３Ｄ空間上の座標変換処理によって自在に制御し得るようになされている。
（３−３）視点変更後の螺旋映像表示部群
編集装置２のマイクロプロセッサ３は、例えば図３４に示すように、編集画面５０の表示部５５に表示されているサブ３Ｄ空間画像ＩＭ１に対するキャラクタＣＡ１の位置をカーソル７１によって動かしたことに応じて、表示部５５に表示されている螺旋映像表示部群５８（図２７）を下方からの表示形態に変更して表示し得るようになされている。
この場合、図２７に示した螺旋映像表示部群５８では、サブ３Ｄ空間画像ＩＭ１のサブ時間軸ＳＴＰ１に対してキャラクタＣＡ１の視点及びその視線方向が正対して配置されたときの表示形態となっているのに対し、図３４に示した螺旋映像表示部群５８では、サブ３Ｄ空間画像ＩＭ１のサブ時間軸ＳＴＰ１に対して斜め下方向からのキャラクタＣＡ１の視点及びその視線方向に変更されており、その角度で目視されたときの表示形態となっている。
すなわち編集装置２では、サブ３Ｄ空間画像ＩＭ１のサブ螺旋映像表示部群５８に対するキャラクタＣＡ１の視点及びその視線方向と、実際の表示部５５にその角度が変更されて表示された螺旋映像表示部群５８に対する視点及びその視線方向とを連動させるようになされている。
この場合オペレータは、表示部５５に表示された螺旋映像表示部群５８（図３４）の全体像を目視確認することが出来るので、仮想時間軸ＴＰの正面からの角度で表示された螺旋映像表示部群５８（図２７）では認識することが困難であったクリップ全体の長さをイメージとして確認したり、螺旋映像表示部群５８における要所要所のタイムコード通知枠ＴＣ１〜ＴＣ４を介して時系列の流れを認識し得るようになされている。
また編集装置２では、各映像表示部Ｗ５７１〜Ｗ５７ｎによってそれぞれ表示された再生映像のシーンが全て異なるので、オペレータの所望するシーンが螺旋映像表示部群５８を構成する複数の映像表示部Ｗ５７１〜Ｗ５７ｎの何れかに表示されている可能性が高く、オペレータの画探し作業を容易化し得ると共に編集作業についても容易化し得るようになされている。
さらに編集装置２は、各映像表示部Ｗ５７１〜Ｗ５７ｎに対して同じ再生映像を所定の再生時間差ΔＴだけずらして表示しているため、オペレータが所望するシーンを最初の映像表示部Ｗ５７１で見逃した場合でも、その映像表示部Ｗ５７１以降の映像表示部Ｗ５７２、Ｗ５７３、Ｗ５７４、……にもそのシーンを再生時間差ΔＴ後以降に順次表示することになり、一度見失ったシーンについてもオペレータに対して巻き戻し再生させることなく再度オペレータに目視させ、画探し作業及び編集作業を容易化させることができる。
ところで、編集装置２のマイクロプロセッサ３は、例えば図３５に示すように、編集画面５０の表示部５５に表示されているサブ３Ｄ空間画像ＩＭ１に対するキャラクタＣＡ１の位置をカーソル７１によって更に動かしたことに応じて、螺旋映像表示部群５８（図３４）に対する視点が更に下方に位置したときの表示形態に変更して表示し得るようになされている。
この場合も、螺旋映像表示部群５８では、サブ３Ｄ空間画像ＩＭ１のサブ時間軸ＳＴＰ１に対して更に斜め下方向からのキャラクタＣＡ１の視点及びその視線方向に変更されており、その角度で目視されたときの表示形態となっている。
また図３６に示すように編集装置２のマイクロプロセッサ３は、編集画面５０の表示部５５に表示されているサブ３Ｄ空間画像ＩＭ１に対するキャラクタＣＡ１の位置をカーソル７１によって更に動かし、サブ３Ｄ空間画像ＩＭ１におけるサブ時間軸ＳＴＰ１の近傍であって、そのサブ時間軸ＳＴＰ１と略平行な視線方向を持つような位置にキャラクタＣＡ１の視点を移動させたことに応じて、仮想時間軸ＴＰに略平行な位置からの視点及び視線方向に応じた表示形態に螺旋映像表示部群５８（図３４）を変更して表示し得るようになされている。
因みに、編集装置２のマイクロプロセッサ３は、上述のようにサブ３Ｄ空間画像ＩＭ１の空間座標を固定（ロック）したまま、キャラクタＣＡ１の視点座標を動かすことにより視点及びその視線方向を変更する空間座標ロックモードの視点変更手法を用いるのではなく、図３７に示すように、キャラクタＣＡ１の視点座標を固定（ロック）したままサブ３Ｄ空間画像ＩＭ１を回転させることによりキャラクタＣＡ１とサブ３Ｄ空間画像ＩＭ１との相対的位置関係を変化させて視点及びその視線方向を変更する視点座標ロックモードの視点変更手法を用いることにより、図３６に示した螺旋映像表示部群５８と同じ表示形態に変更することもできる。
すなわち表示部５５に表示された螺旋映像表示部群５８（図３６及び図３７）については同じ角度から見える向きの表示形態であるが、図３６のサブ３Ｄ空間画像ＩＭ１と、図３７のサブ３Ｄ空間画像ＩＭ１とではオペレータに対するサブ３Ｄ空間画像ＩＭ１の見え方が異なるだけであり、本質的に異なるわけではない。
さらに図３８に示すように編集装置２のマイクロプロセッサ３は、編集画面５０の表示部５５に表示されているサブ３Ｄ空間画像ＩＭ１に対するキャラクタＣＡ１の位置をカーソル７１によって更に動かし、サブ３Ｄ空間画像ＩＭ１におけるサブ時間軸ＳＴＰ１の近傍であって、そのサブ時間軸ＳＴＰ１と略平行な視線方向を持ち、サブ螺旋映像表示部群５８Ｓの最も手前側に位置する映像表示部Ｗ５７ｎの近傍にキャラクタＣＡ１の視点を移動させたことに応じて、仮想時間軸ＴＰに略平行な位置から螺旋映像表示部群５８の最も手前側の映像表示部Ｗ５７ｎにキャラクタＣＡ１の視点が非常に近くなり、その角度からの表示形態に当該螺旋映像表示部群５８を変更して表示し得るようになされている。
この場合、編集装置２のマイクロプロセッサ３は、表示部５５における画面の最も手前側に螺旋映像表示部群５８の映像表示部Ｗ５７ｎ、５７ｍ、Ｗ５７ｌ、……、が非常に拡大された状態で表示されることになるため、これら拡大された映像表示部Ｗ５７ｎ、５７ｍ、Ｗ５７ｌ、……、に表示する再生映像については動画のフレーム更新速度を、それ以外の映像表示部Ｗ５７に対するフレーム更新速度よりも格段に上げるようになされており、これにより映像表示部Ｗ５７ｎ、５７ｍ、Ｗ５７ｌ、……、に表示する再生映像を滑らかな動画像としてオペレータに提示し得るようになされている。
但し編集装置２のマイクロプロセッサ３は、拡大された映像表示部Ｗ５７ｎ、５７ｍ、Ｗ５７ｌ、Ｗ５７ｋ、……、に表示する再生映像については動画のフレーム更新速度を、それ以外の映像表示部Ｗ５７に対するフレーム更新速度よりも格段に上げる一方で、そのフレームの解像度については所定レベルだけ低下させるようになされており、これにより映像表示部Ｗ５７ｎ、５７ｍ、Ｗ５７ｌ、Ｗ５７ｋ、……、に再生映像を表示する際の処理負荷を軽減して動画再生タイミングに追従し得るようになされている。
これに対して編集装置２のマイクロプロセッサ３は、拡大されていない映像表示部Ｗ５７ｋ以前の部分については、動画像を構成する複数のフレームにおけるフレーム更新速度を上げることなく出力させるようになされており、これによりオペレータにとって画質の判断し難い映像表示部Ｗ５７ｋ以前の部分については再生映像の画質を落としながらＧＰＵ４の処理負担を軽減し得るようになされている。
このように編集装置２のマイクロプロセッサ３は、サブ３Ｄ空間画像ＩＭ１に対するキャラクタＣＡ１の位置をカーソル７１によって動かし、螺旋映像表示部群５８の最も手前側に位置する着目すべき映像表示部Ｗ５７ｎ、５７ｍ、Ｗ５７ｌ、Ｗ５７ｋ、……、を拡大表示すると同時に、これら拡大された映像表示部Ｗ５７ｎ、５７ｍ、Ｗ５７ｌ、Ｗ５７ｋ、……、に表示する再生映像のフレーム周波数を上げて表示することにより、オペレータに滑らかな再生映像を目視確認させることができるので、当該オペレータの画探し作業や編集作業を一段と容易化させ得るようになされている。
従ってオペレータは、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎのうち精査に画探しを行うとする部分については、カーソル７１によってキャラクタＣＡ１を動かして螺旋映像表示部群５８のうち拡大表示された各映像表示部Ｗ５７１〜Ｗ５７ｎを目視確認するようにすれば良く、オペレータ自身の意思で画探し作業の容易化を図ることができるようになされている。
このときも螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎには、所定間隔毎にタイムコード通知枠ＴＣ１〜ＴＣ４が付加されているので、オペレータはこれを目安に画探し作業を容易化することができるようになされている。
（３−４）視点変更後の螺旋映像表示部群に対する２次元画像表示処理
ところで編集装置２のマイクロプロセッサ３は、図３９に示すように視点変更後の螺旋映像表示部群５８を表示中に、当該螺旋映像表示部群５８を構成している複数の映像表示部Ｗ５７１〜Ｗ５７ｎのうち例えば映像表示部Ｗ５７ｇがカーソル７１によって選択操作されたことを認識すると、その映像表示部Ｗ５７ｇがその時点で表示している再生映像の該当フレームを中心として前後４フレームずつからなる計９フレーム分の画像ＳＧ１〜ＳＧ９を互いに重ならないように２次元上に並べて表示部５５内に表示するようになされている。なお、これらの画像ＳＧ１〜ＳＧ９においても動画像が表示されることになる。
これにより編集装置２は、視点変更後の螺旋映像表示部群５８（図３９）を構成している複数の映像表示部Ｗ５７１〜Ｗ５７ｎが前後互いに重なり合っているため、当該各映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像をオペレータに目視確認し難い場合であっても、そのオペレータによって選択操作された映像表示部Ｗ５７ｇがその時点で表示している再生映像の該当フレームを中心として前後４フレームずつからなる計９フレーム分の画像ＳＧ１〜ＳＧ９を２次元的に並べて展開することができるので、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに対する視認性を格段に向上させると共にオペレータの画探し作業を格段的に容易化させ得るようになされている。
なお編集装置２は、オペレータによって選択操作された映像表示部Ｗ５７ｇがその時点で表示している再生映像の該当フレームを中心として前後４フレームずつからなる計９フレーム分の画像ＳＧ１〜ＳＧ９を表示するばかりでなく、オペレータによる設定によって、該当フレームを中心として所定フレーム数飛びに計９フレーム分の画像ＳＧ１〜ＳＧ９を集めて表示することも可能である。
因みに編集装置２では、各映像表示部Ｗ５７１〜Ｗ５７ｎにおいて再生映像をそれぞれ表示するに当たって、所定フレーム数（例えば５フレーム）単位で間引いた残りのフレームだけを用いて所定のフレームレートで再生しているような再生速度ｖが速く設定されている場合、上述のようにカーソル７１によって選択操作された映像表示部Ｗ５７ｇがその時点で表示している再生映像の該当フレームを中心として、当初間引かれていたその前後４フレームずつからなる計９フレーム分の画像ＳＧ１〜ＳＧ９を展開して表示するようにもなされている。
なお、この例で挙げた計９フレーム分の画像ＳＧ１〜ＳＧ９は、螺旋映像表示部郡５８を構成している複数の映像表示部Ｗ５７１〜Ｗ５７ｎの各々の再生速度に応じて更新される。従って、再生停止状態にあれば、９フレーム分の静止画像になり、映像表示部Ｗ５７１〜Ｗ５７ｎが１倍速で再生されていれば、２次元展開された画像も１倍速で再生される。
（３−５）視点変更後の螺旋映像表示部群に対するカット編集処理
さらに編集装置２のマイクロプロセッサ３は、図４０に示すように編集画面５０の表示部５５に螺旋映像表示部群５８と、螺旋映像表示部群７８とを同時に並べて表示した状態で、この２つの螺旋映像表示部群５８及び螺旋映像表示部群７８をアッセンブル編集し得るようになされている。
実際上、編集装置２のマイクロプロセッサ３は、表示部５５に表示された２つの螺旋映像表示部群５８と螺旋映像表示部群７８とのうち、下地側にしようとする第１のクリップと対応付けられた螺旋映像表示部群５８をマウス操作により選択した後に、所望の映像表示部Ｗ５７ｈに対して第１の編集位置に相当するイン点（ＩＮ１）を設定する。
またこの後、編集装置２のマイクロプロセッサ３は、表示部５５に表示された２つの螺旋映像表示部群５８と螺旋映像表示部群７８とのうち、挿入側にしようとする第２のクリップと対応付けられた螺旋映像表示部群７８をマウス操作により選択した後に、所望の映像表示部Ｗ７７ｉに対して第２の編集位置に相当するイン点（ＩＮ２）及び必要に応じてアウト点を設定する。
そして、この後、オペレータは、第１の編集位置として設定された螺旋映像表示部群５８のイン点（ＩＮ１）と、第２の編集位置として設定された螺旋映像表示部群７８のイン点（ＩＮ２）とを繋ぎ合わせる操作、つまり螺旋映像表示部群７８に表示された第２の編集位置のイン点（ＩＮ２）に設定されたフレーム画像を、螺旋映像表示部群５８に表示された第１のイン点（ＩＮ１）に設定されたフレーム画像上に重ねるようにドラッグアンドドロップする編集接続操作を行う。
この結果、編集装置２のマイクロプロセッサ３は、第２のクリップである螺旋映像表示部群７８における映像表示部Ｗ７７１からイン点（ＩＮ２）に設定された映像表示部Ｗ７７ｉの１つ前までの映像音声部分と、第１のクリップである螺旋映像表示部群５８における映像表示部Ｗ５７１〜Ｗ５７ｎのうちイン点（ＩＮ１）に設定された映像表示部Ｗ５７ｈから映像表示部Ｗ５７ｎまでの映像音声部分とを繋ぎ合わせるべき旨の編集データを生成し、またこの編集データに基づく加工処理により得られる編集映像音声の映像をそのときの第１及び第２のクリップと同じ表示形態の新たな螺旋映像表示部群（図示せず）として表示部５５に表示するようになされている。
このように編集装置２では、映像表示部Ｗ５７１〜Ｗ５７ｎ及び映像表示部Ｗ７７１〜Ｗ７７ｎを螺旋状に表現することにより、映像表示部Ｗ５７１〜Ｗ５７ｎ及び映像表示部Ｗ７７１〜Ｗ７７ｎを表示部５５の画面内に全て一度に表示することができ、かくして第１のクリップ及び第２のクリップの全体像を螺旋映像表示部群５８及び螺旋映像表示部群７８としてオペレータに示しながら、当該螺旋映像表示部群５８と螺旋映像表示部群７８とをどの位置で繋ぎ合わせるかの２つのイン点（ＩＮ１、ＩＮ２）をオペレータに対して容易に決定させ得るようになされている。
（４）スクラブ機能
かかる構成に加えて、この編集装置２では、オペレータが動画の内容を確認しながら画探しするために、スクラブの機能が搭載されている。
スクラブとは、オペレータが指定するピクチャであるフレームまたはフィールドの再生を意味する。オペレータによるピクチャの指定は、例えば、オペレータが、GUI（Graphical User Interface）としてのつまみを移動するなどの操作をすることにより行われるものである。
この実施の形態では、つまみは、図２に示したように、編集画面５０における表示部５５の最下段のスクラブバー６６に対して移動自在なスクラブつまみ６７として設けられており、再生時間差ΔＴ（図５）を隔てて同一の再生映像が表示される各映像表示部Ｗ５７１〜Ｗ５７ｎのうち、予め指定された例えば映像表示部Ｗ５７ｎ（図３）に表示される再生映像の再生位置に応動するようになっている。
このスクラブつまみ６７をゆっくり動かす操作がされた場合、そのスクラブつまみ６７の位置に対応する再生位置のフレームの絵柄がゆっくり変化するので、いわゆるスロー再生が行われることとなる。一方、スクラブつまみ６７を速く動かす操作がされた場合、そのスクラブつまみ６７の位置に対応する再生位置のフレームの絵柄が速く変化するので、いわゆる高速再生が行われることとなる。このことから、スクラブは、変速（特殊）再生の一種であるということができる。
一方、この編集装置２においては、上述したように、３Ｄ仮想空間と、キャラクタＣＡ１（図２７）との相対的位置関係を、表示部５５に表示中の螺旋映像表示部群５８に対する表示形態を変更するようになされている。
従ってこの編集装置２においては、オペレータの所望の視点に応じた螺旋映像表示部群５８（図３４〜図４０）の表示形態に変更した状態で、スクラブ（変速（特殊）再生）も行うことができ、この結果、螺旋映像表示部群５８に表示される再生映像の全体の流れや、その再生映像での着目すべき一部分の流れなどを詳細に分析させた上で画探しすることも可能となる。
ところが、このスクラブを行うときには、スクラブつまみ６７の位置に対応する再生位置のフレームの符号化データを読み出し、該符号化データを画像データに復号して、その画像データ（に対応する画像）を再生時間差ΔＴ（図５）を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）に表示する必要がある。いわゆるノンリニア編集が一般的になっている現在では、動画の内容を容易に確認し、編集点を決定するための手段としてのスクラブの機能はより重要性を増しており、オペレータが動画の内容をより詳しく、スムースに確認することができるようにするためのスクラブの機能が求められている。
そこで、この編集装置２（図１）は、上述の編集画面５０（図２）における表示部５５の螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）に対して再生時間差ΔＴ（図５）を隔ててそれぞれ表示された再生映像を、その再生時間差ΔＴを維持した状態で、スクラブつまみ６７の移動操作に応じて、適切に表示するようになされている。
かかる処理は、マイクロプロセッサ３及びＧＰＵ４（図１）によって行われ、その処理内容としては、上述の編集画面５０を介して編集する前に行う処理（以下、これを編集前処理と呼ぶ）と、該編集前処理結果に基づいて、螺旋映像表示部群５８に対して再生時間差ΔＴ（図５）を隔てて再生映像を維持した状態で、スクラブつまみ６７の移動操作に応じて表示する処理（以下、これをスクラブ処理と呼ぶ）とに分けることができる。以下に、マイクロプロセッサ３及びＧＰＵ４による編集前処理及びスクラブ処理について順次説明する。
（４−１）編集前処理
マイクロプロセッサ３及びＧＰＵ４による編集前処理を機能として表した場合、その構成は、図４１に示すように、画像処理部１００１、音声処理部１００２、ＡＶファイル作成部１００３、Ｆｙファイル作成部１００４及び記録部／通信部１００５とすることができる。
この画像処理部１００１には、操作コントローラ３７、マウス３８又はキーボード３９の操作により指定され、ビデオテープレコーダ２３１〜２３ｎ（図１）に装填されたビデオテープから再生されたクリップの映像音声信号のうちの映像信号が入力され、一方、音声処理部１００２には、該映像音声信号のうちの音声信号が入力される。
画像処理部１００１は、映像信号に対して、フレーム単位で、時系列に、Ａ／Ｄ(Analog/Digital)変換処理や、ノイズを除去するノイズ除去処理等の必要な処理を施し、その処理後の画像データをＡＶファイル作成部１００３とＦｙファイル作成部１００４に供給する。
音声処理部１００２は、音声信号に対して、フレーム単位で、時系列に、Ａ／Ｄ(Analog/Digital)変換処理や、ノイズを除去するノイズ除去処理等の必要な処理を施し、その処理後の音声データをＡＶファイル作成部１００３に供給する。
ＡＶファイル作成部１００３は、画像処理部１００１からの時系列の画像データと、音声処理部１００２からの時系列の音声データとを格納したAVファイルを作成し、記録部／通信部１００５に供給する。
Ｆｙファイル作成部１００４は、画像処理部１００１からの画像データの変化の程度を表す変化量を、フレーム単位で求める。また、Ｆｙファイル作成部１００４は、必要に応じて、フレームの変化量に基づき、そのフレームを映像表示部Ｗ５７１〜Ｗ５７ｎ（図２）に表示するときの表示方法を表す表示タイプを、ピクチャ単位で決定する。さらに、Ｆｙファイル作成部１００４は、フレーム単位の変化量と表示タイプとのうちのいずれか一方、または両方が格納されたファイル（以下、適宜、Fyファイルという）を、画像処理部１００１からの時系列の画像データのメタデータが格納されたメタファイル（メタデータファイル）（の１つ）として作成し、記録部／通信部１００５に供給する。
ピクチャとは、フレームまたはフィールドを意味する。以下では、ピクチャとして、フレームを採用することとするが、ピクチャとしては、フィールドを採用することも可能である。
記録部／通信部１００５は、ＡＶファイル作成部１００３から供給されるAVファイルと、Fyファイル作成部１００４から供給される、そのAVファイルに対応するFyファイル、即ち、AVファイル作成部１００３から供給されるAVファイルに格納された画像データから作成され、Fyファイル作成部１００４から供給されるFyファイルとを、例えば記憶装置２２（図１）に記録する。
ここで、あるAVファイルfavと、そのAVファイルfavに対応するFyファイルfFyとには、例えば、互いに対応するファイルであることが分かるようなファイル名が付される。即ち、AVファイルfavと、そのAVファイルfavに対応するFyファイルfFyとのファイル名は、例えば、拡張子のみが異なるファイル名（拡張子が異なり、拡張子以外の部分が同一のファイル名）にされる。
次に、図４２は、図４１のＡＶファイル作成部１００３の構成例を示している。図４２において、ＡＶファイル作成部１００３は、本線エンコーダ１０１１、プロキシエンコーダ１０１２、およびファイル作成部１０１３で構成されている。
本線エンコーダ１０１１は、本線画像エンコーダ１０１１Ｖと本線音声エンコーダ１０１１Ａとで構成される。
本線画像エンコーダ１０１１Ｖには、画像処理部１００１（図４１）から、本線データとしての画像データが供給される。本線画像エンコーダ１０１１Ｖは、画像処理部１００１からの本線データとしての画像データを、例えば、MPEG2（例えば、MPEG IMX方式等）で符号化（エンコード）し、ファイル作成部１０１３に供給する。
本線音声エンコーダ１０１１Ａには、音声処理部１００２（図４１）から、音声データが供給される。本線音声エンコーダ１０１１Ａは、音声処理部１００２からの音声データを、本線データとしての、例えば、AES(Audio Engineering Society)3方式の音声データに変換し、ファイル作成部１０１３に供給する。
プロキシエンコーダ１０１２は、プロキシ画像エンコーダ１０１２Ｖとプロキシ音声エンコーダ１０１２Ａとで構成される。
プロキシ画像エンコーダ１０１２Ｖには、画像処理部１００１（図４１）から、本線データとしての画像データが供給される。プロキシ画像エンコーダ１０１２Ｖは、画像処理部１００１からの本線データとしての画像データの画素数を間引き、これにより、例えば、本線データより解像度（空間解像度）が低いプロキシデータとしての画像データを求める。さらに、プロキシ画像エンコーダ１０１２Ｖは、プロキシデータとしての画像データを、例えば、MPEG4で符号化し、ファイル作成部１０１３に供給する。
プロキシ音声エンコーダ１０１２Ａには、音声処理部１００２（図４１）から、音声データが供給される。プロキシ音声エンコーダ１０１２Ａは、音声処理部１００２からの音声データを、プロキシデータとしての、例えば、ITU-T（International Telecommunication Union, Telecommunication Standardization Sector） G.711 A-Law方式の音声データに変換し、ファイル作成部１０１３に供給する。
ファイル作成部１０１３は、本線画像エンコーダ１０１１Ｖからの本線データとしての画像データ（の符号化データ）、本線音声エンコーダ１０１１Ａからの本線データとしての音声データ、プロキシ画像エンコーダ１０１２Ｖからのプロキシデータとしての画像データ、プロキシ音声エンコーダ１０１２Ａからのプロキシデータとしての音声データを、例えば、再生時間で約２秒分ずつ多重化し、その多重化によって得られるビットストリームが格納された所定のフォーマットのAVファイル、即ち、本線データ（としての画像データおよび音声データ）とプロキシデータ（としての画像データおよび音声データ）とが、再生時間で約２秒分ずつ多重化されたビットストリームが格納された所定のフォーマットのAVファイルを作成し、記録部／通信部１００５（図４１）に供給する。
次に、図４３は、図４１のＦｙファイル作成部１００４の構成例を示している。
Ｆｙファイル作成部１００４は、データ縮小部１０２１、変化量算出部１０２２、表示タイプ決定部１０２３、選択部１０２４、およびファイル作成部１０２５で構成されている。
データ縮小部１０２１には、画像処理部１００１（図４１）から、フレーム単位の画像データが供給される。データ縮小部１０２１は、画像処理部１００１からのフレーム単位の画像データの画素数を間引き、その結果得られる画素数の少ない画像データを、変化量算出部１０２２に供給する。
即ち、データ縮小部１０２１は、画像処理部１００１からの画像データのフレームの横と縦の画素数が、それぞれ、例えば、1/8になるように間引きを行う。
従って、画像処理部１００１（図４１）からデータ縮小部１０２１に供給される画像データのフレームが、例えば、横×縦が720×480画素で構成されるとすると、データ縮小部１０２１は、例えば、図４４に示すように、画像処理部１００１からの720×480画素の画像データの画素を間引くことにより、横と縦の画素数がそれぞれ1/8の90×60画素の画像データとする。
即ち、データ縮小部１０２１は、画像処理部１００１からの720×480画素の画像データを、例えば、横×縦が8×8画素のブロックに分割し、そのブロックを構成する画素の画素値の平均値等を、ブロックに割り当てることで、90×60画素の画像データを生成する。
ここで、データ縮小部１０２１において、画像処理部１００１からの画像データの画素数を少なくするのは、データ量を低減して、その後の処理の負担を軽減するためであり、Fyファイル作成部７６が十分な性能を有し、処理の負担を軽減する必要がない場合には、データ縮小部１０２１において、画像処理部１００１からの画像データを、そのまま、後段の変化量算出部１０２２に供給すること、あるいは、データ縮小部１０２１を設けずに、Ｆｙファイル作成部１００４を構成することができる。
変化量算出部１０２２は、データ縮小部１０２１から供給される画像データの変化の程度を表す変化量を、フレーム単位で求め、時系列に、表示タイプ決定部１０２３と選択部１０２４に供給する。なお、変化量算出部１０２２では、フレーム単位の変化量として、時間的な変化の程度を表す変化量（以下、適宜、時間変化量という）と、空間的な変化を表す変化量（以下、適宜、空間変化量という）とのうちの一方、または両方を求めることができる。
ここで、時間変化量とは、時間方向の画像の変化の程度を表し、例えば、あるフレームの時間変化量は、そのフレームと、そのフレームの１フレーム前のフレームとの間の画像の変化の程度、即ち、画像の動きの程度を表す。そこで、時間変化量を、以下、適宜、動き情報ともいう。
また、空間変化量とは、空間方向の画像の変化の程度を表し、例えば、あるフレームの空間変化量とは、そのフレームを構成する画素の画素値の変化の程度、即ち、画像の細かさ（複雑さ）を表す。そこで、空間変化量を、以下、適宜、細かさ情報ともいう。
表示タイプ決定部１０２３は、変化量算出部１０２２から時系列に供給されるフレーム単位の変化量に基づき、そのフレームを表示するときの表示方法を表す表示タイプを、フレーム単位で決定し、選択部１０２４に供給する。ここで、表示タイプの詳細については、後述する。
選択部１０２４は、変化量算出部１０２２から供給されるフレーム単位の変化量と、表示タイプ決定部１０２３から供給されるフレーム単位の表示タイプとのうちのいずれか一方、または両方を選択し、ファイル作成部１０２５に供給する。
ここで、選択部１０２４において、どのような選択を行うかは、例えば、あらかじめ設定しておくこと、あるいは、オペレータの操作に応じて決定すること等が可能である。なお、選択部１０２４において、変化量算出部１０２２から供給されるフレーム単位の変化量のみを、いわば固定的に選択する場合には、Ｆｙファイル作成部１００４は、表示タイプ決定部１０２３および選択部１０２４を設けずに構成することができる。
ファイル作成部１０２５は、選択部１０２４から供給される、フレーム単位の変化量と表示タイプとのうちの一方、または両方を格納した所定のフォーマットFyファイルを作成し、記録部／通信部７７（図４１）に供給する。
次に、図４５のフローチャートを参照して、図４３のＦｙファイル作成部１００４が行う処理（Fyファイル作成処理）について説明する。
まず最初に、ステップＳ１００１において、データ縮小部１０２１は、画像処理部１００１（図４１）からの画像データの画素数を間引くデータ縮小を必要に応じて行い、その結果得られる画像データを、変化量算出部１０２２に供給して、ステップＳ１００２に進む。
ステップＳ１００２では、変化量算出部１０２２が、データ縮小部１０２１からの画像データを用いて、画像処理部１００１（図４１）からの画像データの変化の程度を表す変化量を、フレーム単位で求め、時系列に、表示タイプ決定部１０２３と選択部１０２４に供給して、ステップＳ１００３に進む。
ステップＳ１００３では、表示タイプ決定部１０２３が、変化量算出部１０２２からのフレーム単位の変化量に基づき、そのフレームを表示するときの表示方法を表す表示タイプを、フレーム単位で決定し、選択部１０２４に供給して、ステップＳ１００４に進む。
ステップＳ１００４では、選択部１０２４が、変化量算出部１０２２から供給されるフレーム単位の変化量と、表示タイプ決定部１０２３から供給されるフレーム単位の表示タイプとのうちのいずれか一方、または両方を選択し、ファイル作成部１０２５に供給して、ステップＳ１００５に進む。
ステップＳ１００５では、ファイル作成部１０２５が、選択部１０２４から供給される、フレーム単位の変化量と表示タイプとのうちの一方、または両方を格納した所定のフォーマットFyファイルを作成し、記録部／通信部１００５（図４１）に供給して、処理を終了する。
次に、図４６は、図４３の変化量算出部１０２２の構成例を示している。
上述したように、変化量算出部１０２２では、フレーム単位の変化量として、時間的な変化の程度を表す動き情報（時間変化量）と、空間的な変化を表す細かさ情報（空間変化量）とのうちの一方、または両方を求めることができる。
図４６の上から１番目は、フレーム単位の変化量として、動き情報のみを求める場合の変化量算出部１０２２の構成例を示しており、図４６の上から２番目は、フレーム単位の変化量として、細かさ情報のみを求める場合の変化量算出部１０２２の構成例を示している。また、図４６の上から３番目（下から１番目）は、フレーム単位の変化量として、動き情報と細かさ情報との両方を求める場合の変化量算出部１０２２の構成例を示している。
図４６の上から１番目の変化量算出部１０２２は、動き情報算出部１０３１を有し、図４６の上から２番目の変化量算出部１０２２は、細かさ情報算出部１０３２を有する。また、図４６の上から３番目の変化量算出部１０２２は、動き情報算出部１０３１と細かさ情報算出部１０３２とを有する。
そして、動き情報算出部１０３１と細かさ情報算出部１０３２とには、データ縮小部１０２１（図４３）からの画像データが供給される。
動き情報算出部１０３１は、データ縮小部１０２１からの画像データを用い、フレーム単位で動き情報を求めて出力する。細かさ情報算出部１０３２は、データ縮小部１０２１からの画像データを用い、フレーム単位で細かさ情報を求めて出力する。
次に、図４７を参照して、図４６の動き情報算出部１０３１において求められるフレーム単位の動き情報について説明する。
動き情報算出部１０３１は、例えば、図４７に示すように、ある動画を構成する時系列のフレームのうちの先頭からi番目のフレームである第iフレームの動き情報として、その１フレーム前の第i-1フレームから第iフレームまでの画像の変化量を求める。なお、この場合、第１フレームの動き情報は、存在しないことになる。但し、第１フレームの動き情報としては、例えば、第２フレームの動き情報と同一の動き情報を採用することができる。あるいは、第０フレームの画像が、画素値がすべて０の画像、または第１フレームと同一の画像であるとして、第１フレームの動き情報を求めることができる。
次に、図４８は、図４６の動き情報算出部１０３１の構成例を示している。
図４８において、動き情報算出部１０３１は、動きベクトル検出部１０４１と統計量算出部１０４２とから構成されている。
動きベクトル検出部１０４１には、データ縮小部１０２１（図４３）からの画像データが供給される。動きベクトル検出部１０４１は、データ縮小部１０２１からの画像データのフレームを、順次、注目フレームとし、注目フレームの１フレーム前のフレーム（以下、適宜、前フレームという）を、例えば、16×16画素のブロック（MPEGにおけるマクロブロック）に分割する。さらに、動きベクトル検出部１０４１は、前フレームの各マクロブロックについて、前フレームから注目フレームに向かう動きを表す動きベクトルを求め、統計量算出部１０４２に供給する。
統計量算出部１０４２は、動きベクトル検出部１０４１からの、前フレームのマクロブロックについて求められた動きベクトルの統計量を求め、注目フレームの動き情報として出力する。
図４９を参照して、図４８の動き情報算出部１０３１の処理について、さらに説明する。
動き情報算出部１０３１では、動きベクトル検出部１０４１が、前フレームを16×16画素のマクロブロックに分割し、前フレームの各マクロブロックについて、そのマクロブロックに最も類似する注目フレームの16×16画素のブロック（以下、類似ブロックという）を検出する。そして、動きベクトル検出部１０４１は、マクロブロックの、例えば、左上を始点とするとともに、類似ブロックの左上を終点とするベクトルを、マクロブロックの動きベクトル△F0(h,v)として求める。
いま、前フレームの左からh番目で、上からv番目のマクロブロックの位置をF0(h,v)と表すとともに、マクロブロックF0(h,v)から、そのマクロブロックF0(h,v)の動きベクトル△F0(h,v)だけ移動した位置の注目フレームの16×16画素のブロック、即ち、類似ブロックの位置をF1(h,v)と表すこととすると、マクロブロックF0(h,v)の動きベクトル△F0(h,v)は、式△F0(h,v)=F1(h,v)-F0(h,v)で表される。
統計量算出部１０４２は、前フレームのマクロブロックについて求められた動きベクトルの統計量として、例えば、前フレームのすべてのマクロブロックの動きベクトル△F0(h,v)の大きさ|△F0(h,v)|の総和D0=Σ|△F0(h,v)|を求め、この総和D0を、注目フレームの動き情報として出力する。
なお、総和D0=Σ|△F0(h,v)|におけるサメーションΣは、hを、１から、前フレームの横方向のマクロブロックの数までに変えるとともに、vを、１から、前フレームの縦方向のマクロブロックの数までに変えてのサメーションを表す。
ここで、前フレームの各マクロブロックF0(h,v)の動きベクトル△F0(h,v)の大きさが大きいと、その和である動き情報D0も大きくなる。従って、注目フレームの動き情報D0が大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。
なお、上述の場合には、前フレームのマクロブロックについて求められた動きベクトルの統計量として、前フレームのすべてのマクロブロックの動きベクトル△F0(h,v)の大きさ|△F0(h,v)|の総和D0=Σ|△F0(h,v)|を求めるようにしたが、前フレームのマクロブロックについて求められた動きベクトルの統計量としては、その他、例えば、前フレームのマクロブロックについて求められた動きベクトルの分散を採用することが可能である。
この場合、統計量算出部１０４２では、前フレームのすべてのマクロブロックの動きベクトル△F0(h,v)の平均値△aveが求められ、前フレームのすべてのマクロブロックF0(h,v)の動きベクトル△F0(h,v)の分散σ0が、例えば、式σ0=Σ(△F0(h,v)-△ave)2を演算することで求められる。
なお、分散σ0=Σ(△F0(h,v)-△ave)2におけるサメーションΣは、hを、１から、前フレームの横方向のマクロブロックの数までに変えるとともに、vを、１から、前フレームの縦方向のマクロブロックの数までに変えてのサメーションを表す。
分散σ0も、総和D0と同様に、注目フレームの画像の動きが大きい（激しい）と大きくなる。
ここで、図４２の本線画像エンコーダ１０１１Ｖにおいて、画像データの符号化が行われる場合に、動きベクトル△F0(h,v)が求められるときには、統計量算出部１０４２（図４８）は、本線画像エンコーダ１０１１Ｖで求められる動きベクトル△F0(h,v)を用いて、上述したような統計量を求めることができる。この場合、図４８の動き情報算出部１０３１は、動きベクトル検出部１０４１を設けずに構成することができる。
次に、図５０は、図４６の動き情報算出部１０３１の他の構成例を示している。
図５０において、動き情報算出部１０３１は、ヒストグラム作成部１０５１、ヒストグラム記憶部１０５２、および差分演算部１０５３から構成されている。
ヒストグラム作成部１０５１には、データ縮小部１０２１（図４３）からの画像データが供給される。ヒストグラム作成部１０５１は、データ縮小部１０２１からの画像データのフレームを、順次、注目フレームとし、注目フレームの画素値の、いわば簡略的なヒストグラムを作成し、注目フレームのヒストグラムとして、ヒストグラム記憶部１０５２と差分演算部１０５３に供給する。
ヒストグラム記憶部１０５２は、ヒストグラム作成部１０５１から供給される注目フレームのヒストグラムを記憶する。ここで、ヒストグラム記憶部１０５２は、少なくとも、２フレーム分のヒストグラムを記憶することができるだけの記憶容量を有しており、ヒストグラム作成部１０５１から供給される今回の注目フレームのヒストグラムと、前回の注目フレーム、即ち、前フレームのヒストグラムとを記憶する。
差分演算部１０５３は、ヒストグラム作成部１０５１から供給される注目フレームのヒストグラムと、ヒストグラム記憶部１０５２に記憶された前フレームのヒストグラムとの、後述する差分絶対値和を求め、注目フレームの動き情報として出力する。
図５１を参照して、図５０の動き情報算出部１０３１の処理について、さらに説明する。
データ縮小部１０２１（図４３）からヒストグラム作成部１０５１に供給される画像データの画素値が、例えば、０乃至２５５の整数値が表現可能な８ビットで表されるとすると、ヒストグラム作成部１０５１は、０乃至２５５の範囲を、例えば、０乃至３１，３２乃至６３，６４乃至９５，９６乃至１２７，１２８乃至１５９，１６０乃至１９１，１９２乃至２２３，２２４乃至２５５の８つの小範囲に８等分し、各小範囲に含まれる画素値の度数を求めることにより、注目フレームの簡略的なヒストグラムを作成する。
例えば、いま、第i+1フレームが注目フレームであるとすると、差分演算部１０５３では、図５１に示すように、注目フレームである第i+1フレームと、前フレームである第iフレームとのヒストグラムの同一の小範囲の度数どうしの差分値の絶対値△（図５１において影を付して示す部分）が求められる。さらに、差分演算部１０５３では、ヒストグラムの８つの小範囲について求められた度数の差分値の絶対値の総和（差分絶対値和）Σ△が求められ、注目フレームの動き情報として出力される。
ここで、注目フレームの動きが大きい（激しい）場合には、注目フレームの画素値の度数分布は、前フレームの画素値の度数分布と異なるものになる。従って、注目フレームの差分絶対値和Σ△が大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。
次に、図５２は、図４６の細かさ情報算出部１０３２の構成例を示している。
図５２において、細かさ情報算出部１０３２は、DCT(Discrete Cosine Transform)変換部１０６１、重み係数算出部１０６２、および積算部１０６３から構成されている。
DCT変換部１０６１には、データ縮小部１０２１（図４３）からの画像データが供給される。DCT変換部１０６１は、データ縮小部１０２１からの画像データのフレームを、順次、注目フレームとし、注目フレームを、例えば、8×8画素のブロックに分割する。さらに、DCT変換部１０６１は、注目フレームの各ブロックをDCT変換し、各ブロックについて得られる8×8個のDCT係数を、積算部１０６３に供給する。
重み係数算出部１０６２は、ブロックの8×8個のDCT係数それぞれに付す重みを求め、積算部１０６３に供給する。
積算部１０６３は、DCT変換部１０６１から供給されるブロックの8×8個のDCT係数それぞれに、重み係数算出部１０６２から供給される重みを付して積算し、積算値を求める。さらに、積算部１０６３は、注目フレームの各ブロックについて求められた積算値の総和を求め、注目フレームの細かさ情報として出力する。
図５３を参照して、図５２の細かさ情報算出部１０３２の処理について、さらに説明する。
図５３左は、DCT変換の基底画像を示している。基底画像は、8×8個のパターン（周波数成分）からなり、右側のパターンほど、また下側のパターンほど、高い周波数成分のパターンとなる。
ブロックの8×8個のDCT係数のうちの、左からi（i＝１，２，・・・，８）番目で、上からj（j＝１，２，・・・，８）番目のDCT係数Fi-1,j-1は、基底画像の左からi番目で、上からj番目のパターンの周波数成分がブロックに含まれている程度（度合い）を表す。
図５３右は、図５２の重み係数算出部１０６２が算出する重みGi-1,j-1を示している。
重みGi-1,j-1は、DCT係数Fi-1,j-1に付す重みであり、重み係数算出部１０６２は、重みGi-1,j-1を、例えば、式Gi-1,j-1=i×jにしたがって求める。従って、重み係数算出部１０６２では、高い周波数成分のDCT係数Fi-1,j-1に付す重みGi-1,j-1ほど、大きな値の重みが求められる。
図５２の積算部１０６３は、DCT変換部１０６１から供給されるブロックのDCT係数Fi-1,j-1に、重み係数算出部１０６２から供給される重みGi-1,j-1を乗算し、乗算値Gi-1,j-1×Fi-1,j-1を求める。そして、積算部１０６３は、ブロックの8×8個のDCT係数Fi-1,j-1それぞれについて得られる乗算値Gi-1,j-1×Fi-1,j-1を積算し、積算値V=ΣGi-1,j-1×Fi-1,j-1を求める。ここで、積算値V=ΣGi-1,j-1×Fi-1,j-1におけるサメーションΣは、i,jを、それぞれ、１から８までに変えてのサメーションを表す。
さらに、積算部１０６３は、注目フレームのすべてのブロックについて得られた積算値Vの総和Kを求め、注目フレームの細かさ情報として出力する。
ここで、注目フレームに高周波成分が含まれるほど、積算値Vの総和Kである細かさ情報は大きくなるので、注目フレームの画像が細かい（複雑な）画像であるということになる。
次に、図５４は、図４６の細かさ情報算出部１０３２の他の構成例を示している。
図５４において、細かさ情報算出部１０３２は、平均値算出部１０７１、差分値演算部１０７２、および積算部１０７３から構成されている。
平均値算出部１０７１と差分値演算部１０７２には、データ縮小部１０２１（図４３）からの画像データが供給される。平均値算出部１０７１は、データ縮小部１０２１からの画像データのフレームを、順次、注目フレームとし、注目フレームを、例えば、図５５に示すように、8×8画素のブロックに分割する。さらに、平均値算出部１０７１は、注目フレームの各ブロックの画素値の平均値を求め、差分値演算部１０７２に供給する。
ここで、8×8画素のブロックのラスタスキャン順で、k番目の画素の画素値をPkと表すこととすると、平均値算出部１０７１は、平均値Paveを、式Pave=1/(8×8)×ΣPkにしたがって求める。なお、平均値Pave=1/(8×8)×ΣPkにおけるサメーションΣは、kを、１から８×８（＝６４）までに変えてのサメーションを表す。
差分値演算部１０７２は、平均値算出部１０７１と同様に、注目フレームを、8×8画素のブロックに分割し、ブロックの各画素値Pkと、平均値算出部１０７１から供給される、そのブロックの画素値の平均値Paveとの差分値の絶対値|Pk-Pave|を求め、積算部１０７３に供給する。
積算部１０７３は、差分値演算部１０７２から供給されるブロックの各画素について求められた差分値の絶対値|Pk-Pave|を積算し、積算値Q=Σ|Pk-Pave|を求める。ここで、積算値Q=Σ|Pk-Pave|におけるサメーションΣは、kを、１から８×８（＝６４）までに変えてのサメーションを表す。
さらに、積算部１０７３は、注目フレームのすべてのブロックについて得られた積算値Qの総和を求め、注目フレームの細かさ情報として出力する。
なお、注目フレームについて求められる、積算値Qの総和は、イントラAC(Intra-AC)と呼ばれるもので、その値が大きいほど、注目フレームにおける画素値にばらつきが大きい。従って、積算値Qの総和である細かさ情報が大きいほど、注目フレームの画像が細かい（複雑な）画像であるということになる。
ここで、本実施の形態では、上述した動き情報や細かさ情報といった変化量は、後述するように、スクラブ（を含む変速再生）に利用されるが、変化量は、その他、例えば、シーンチェンジを検出する場合や、MPEG符号化の効率化を図る場合などに利用することができる。
次に、図５６から図６２を参照して、図４３の表示タイプ決定部１０２３について説明する。
図５６は、変化量算出部１０２２（図４３）で求められるフレームごとの変化量を示している。なお、図５６において、横軸はフレーム（先頭から何番目のフレームであるか）を表し、縦軸は変化量を表す。
いま、変化量が、例えば、動き情報であるとすると、動きの激しい（大きい）フレームでは、変化量も大きくなり、動きのない（少ない）フレームでは、変化量は小さくなる。
表示タイプ決定部１０２３（図４３）は、変化量算出部１０２２において求められる、図５６に示したようなフレーム単位の変化量に基づき、各フレームを表示するときの表示方法を表す表示タイプを、複数の表示タイプの中から決定する。
図５７は、表示タイプ決定部１０２３が決定する表示タイプの例を示している。
図５７においては、表示タイプとして、静止画での表示を表す静止画タイプV1、並びに、フレームを表示するときの解像度やフレームを表示するときの表示レート（フレームレート）が異なる通常タイプV2、および高表示レート低解像度タイプV3の３つがある。
ここで、フレームを表示するときの解像度とは、ディスプレイ４０（図１）等の表示装置に表示される画像の空間解像度を意味する。例えば、本線データとプロキシデータそれぞれとしての画像データについては、本線データの方が解像度が高く、プロキシデータの方が解像度が低い。
また、フレームを表示するときの表示レートとは、ディスプレイ４０等の表示装置において表示を更新する周波数（周期）を意味する。例えば、動画のフレームレート（例えば、30Hzなど）と同一の表示レートで表示を更新するとともに、表示対象のフレームを、フレームレートと同一のレートで、あるフレームからその次のフレーム（あるフレームの時間的に次のフレーム）に更新すれば、動画が１倍速で表示される。
さらに、例えば、動画のフレームレートの２倍の表示レートで表示を更新するとともに、表示対象のフレームを、フレームレートの２倍のレートで、あるフレームからその次のフレームに更新すれば、動画が２倍速で表示される。
なお、例えば、動画のフレームレートと同一の表示レートで表示を更新するとともに、表示対象のフレームを、フレームレートの２倍のレートで、あるフレームからその次のフレームに更新すれば、動画は、やはり、２倍速で表示される。
但し、動画のフレームレートの２倍の表示レートで表示を更新するとともに、表示対象のフレームを、フレームレートの２倍のレートで更新する場合には、動画を構成するフレームが、いわばコマ落ちすることなくすべて表示されるが、動画のフレームレートと同一の表示レートで表示を更新するとともに、表示対象のフレームを、フレームレートの２倍のレートで更新する場合には、動画を構成するフレームが１フレームおきに表示されるコマ落ち状態となる。
従って、表示対象のフレームが、フレームレートよりも高いレートで更新される場合には、表示レートを高くすることにより、コマ落ちを防止（低減）することができる。
静止画タイプV1のフレームについては、例えば、表示対象のフレームが変更されても、その表示対象のフレームの画像が、直前に表示されたフレーム（の画像）と同一の画像であるとみなすことができる限り、直前に表示されたフレーム（の画像）が表示される（し続けられる）。
通常タイプV2のフレームについては、例えば、動画のフレームレートと同一の表示レート（以下、適宜、通常レートという）で、本線データとしての画像データと同一の解像度（プロキシデータとしての画像データよりも高い解像度）（以下、適宜、通常解像度という）で、画像が表示される。
高表示レート低解像度タイプV3のフレームについては、例えば、通常レートよりも高い、例えば、通常レートの２倍の表示レートで、プロキシデータとしての画像データと同一の解像度（本線データとしての画像データよりも低い解像度）で、画像が表示される。
表示タイプとして、図５７に示したように、３つの静止画タイプV1、通常タイプV2、および高表示レート低解像度タイプV3がある場合、変化量算出部１０２２では、フレームの時間的な変化の程度を表す動き情報が、変化量として求められる。そして、表示タイプ決定部１０２３は、例えば、各フレームの変化量（動き情報）と、２つの所定の閾値とを比較し、その比較の結果に基づき、フレームの表示タイプを、静止画タイプV1、通常タイプV2、または高表示レート低解像度タイプV3のうちのいずれかに決定する。
即ち、図５８は、図５６に示したフレーム単位の変化量に基づき、表示タイプ決定部１０２３がフレーム単位で決定する表示タイプを示している。
表示タイプ決定部１０２３は、フレーム単位の変化量（動き情報）を、式L<Hの関係がある閾値Lまたは閾値Hと比較する。そして、表示タイプ決定部１０２３は、動き情報が閾値H以上のフレーム、即ち、動き情報が時間的な変化の程度が大であることを表すフレームの表示タイプを、低い解像度、または高い表示レートの低解像度／高表示レートタイプの一種である高表示レート低解像度タイプV3に決定する。
ここで、例えば、編集で行われるスクラブにおいて、時間的な変化の程度が大のフレーム、つまり、動きが大きいフレームの表示においてコマ落ちが生じると、画像の時間的な変化を見逃しやすくなるため、動きが大きいフレームは、高い表示レートで表示することが望ましい。
しかしながら、表示レートを高くすると、スクラブを行う装置にかかる負担が大きくなる。さらに、動きが大きいフレームのデータ量は多いため、その処理の負担は、動きが大きくないフレームの処理の負担よりも大きい。
そこで、本実施の形態では、動きが大きいフレームについては、高い表示レートで表示するが、その代わりに、解像度が低い画像を表示する低解像度／高表示レートタイプの一種である高表示レート低解像度タイプV3を採用することとする。解像度が低い画像は、解像度が高い画像に比較して、データ量が少ないので、動きが大きいフレームについて、低い解像度の画像を、高い表示レートで表示することにより、編集において画像の時間的な変化を見逃すことを防止しながら、スクラブを行う装置にかかる負担を低減することができる。
一方、表示タイプ決定部１０２３は、動き情報が閾値L未満のフレーム、即ち、動き情報が時間的な変化の程度が小であることを表すフレームの表示タイプを、静止画での表示を表す静止画タイプV1に決定する。
ここで、例えば、編集で行われるスクラブにおいて、時間的な変化の程度が小のフレーム、つまり、動きがない（ほとんどない）フレームが連続している場合に、そのようなフレームの中で、表示対象のフレームが更新されたときに、ディスプレイ４０（図１）等の表示装置の表示を、直前に表示されたフレーム（の画像）から、更新後の表示対象のフレーム（の画像）に変更しても、表示装置に表示される画像は（ほとんど）変化しない。
このように、表示装置に表示される画像が変化しないのにもかかわらず、表示対象のフレームが更新されたときに、表示装置の表示を、直前に表示されたフレームから、更新後の表示対象のフレームに変更することは、スクラブを行う装置に、いわば無駄な負担をかけることになる。
また、動きがない（ほとんどない）フレームが連続している場合に、そのようなフレームの中で、表示対象のフレームが更新されたときに、ディスプレイ４０（図１）等の表示装置の表示を、直前に表示されたフレームから、更新後の表示対象のフレームに変更すると、表示装置に表示される画像が僅かに変化することがある。この場合、動きがないフレームが連続し、編集点として設定されることがほとんどないフレームの区間において、スクラブを行う装置を操作するオペレータの注意を、いわば無駄にひくことになり、オペレータに負担をかけることになる。
そこで、本実施の形態では、動きがないフレームについては、表示対象のフレームが変更されても、その表示対象のフレームの画像が、直前に表示されたフレームと同一の画像であるとみなすことができる限り、直前に表示されたフレーム（の画像）が表示される静止画タイプV1を採用することとする。これにより、スクラブを行う装置や、その操作を行うオペレータに無駄な負担をかけることを防止することができる。
表示タイプ決定部１０２３は、動き情報が閾値H以上のフレーム、および動き情報が閾値L未満のフレーム以外のフレーム、つまり、動き情報が、閾値L以上で閾値H未満のフレームの表示タイプを、通常タイプV2に決定する。
即ち、ある程度の動きがあるが、それほど大きな動きではないフレームについては、通常レート（動画のフレームレートと同一の表示レート）で、かつ、通常解像度で、画像を表示する通常タイプV2が採用される。
ここで、動画を構成する時系列のフレーム（の並び）において、表示タイプが静止画タイプV1のフレームが連続する区間を、静止画区間といい、表示タイプが通常タイプV2のフレームが連続する区間を、通常区間という。また、表示タイプが高表示レート低解像度タイプV3のフレームが連続する区間を、高表示レート低解像度区間という。
次に、図５９は、図４３の表示タイプ決定部１０２３の構成例を示している。
図５９において、表示タイプ決定部１０２３は、記憶部１０８１、閾値処理部１０８２、連続性判定部１０８３、および決定部１０８４で構成されている。
記憶部１０８１には、変化量算出部１０２２（図４３）からフレーム単位の変化量が供給される。記憶部１０８１は、変化量算出部１０２２からのフレーム単位の変化量を一時記憶する。
閾値処理部１０８２は、記憶部１０８１に記憶されたフレーム単位の変化量と、閾値HまたはLとを比較し、その比較の結果を表す比較情報を、フレーム単位で、連続性判定部１０８３と決定部１０８４に供給する。
連続性判定部１０８３は、閾値処理部１０８２からのフレーム単位の比較情報に基づき、閾値H以上の変化量のフレームが、ある複数のフレーム数であるNフレーム以上連続するかどうかと、閾値H未満の変化量のフレームが、Nフレーム以上連続するかどうか等を判定し、その判定結果を表す判定情報を、決定部１０８４に供給する。
決定部１０８４は、閾値処理部１０８２からの比較情報や、連続性判定部１０８３からの判定情報に基づき、動画を構成する各フレームの表示タイプを決定して出力する。
次に、図６０および図６１のフローチャートを参照して、図５９の表示タイプ決定部１０２３の処理について説明する。
表示タイプ決定部１０２３は、変化量算出部１０２２（図４３）からフレーム単位の変化量が供給されると、ステップＳ１０１１において、そのフレーム単位の変化量を、記憶部１０８１にキャッシュ（一時記憶）させ、ステップＳ１０１２に進む。
ここで、変化量算出部１０２２から表示タイプ決定部１０２３には、例えば、動き情報が変化量として供給されることとする。また、表示タイプ決定部１０２３は、例えば、図５７に示した静止画タイプV1、通常タイプV2、および高表示レート低解像度タイプV3のうちの３つの中から、各フレームの表示タイプを決定することとする。
ステップＳ１０１２では、閾値処理部１０８２が、記憶部１０８１に記憶されたフレーム単位の変化量（動き情報）と、閾値HまたはL（の一方、あるいは両方）とを比較する閾値処理を行い、フレーム単位の変化量と、閾値HまたはLとの比較の結果を表す比較情報を、フレーム単位で、連続性判定部１０８３に供給して、ステップＳ１０１３に進む。
ステップＳ１０１３では、連続性判定部１０８３が、いま、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームのうちの、例えば、まだ、注目フレームとしていない時系列順で最も先行するフレームを、注目フレームに選択し、ステップＳ１０１４に進む。
ステップＳ１０１４では、連続性判定部１０８３が、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値H以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H以上のフレームが、上述した複数フレーム数であるNフレーム以上連続して存在するかどうかを判定する。
ステップＳ１０１４において、注目フレームの変化量が閾値H以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H以上のフレームがNフレーム以上連続して存在すると判定された場合、連続性判定部１０８３は、その判定の結果を表す判定情報を、決定部１０８４に供給して、ステップＳ１０１５に進む。
ステップＳ１０１５では、決定部１０８４は、連続性判定部１０８３からの判定情報に基づき、注目フレームの表示タイプを、高表示レート低解像度タイプV3に決定し、ステップＳ１０２０に進む。
ここで、ステップＳ１０１４およびＳ１０１５によれば、注目フレームの変化量が閾値H以上であるだけでなく、さらに、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H以上のフレームがNフレーム以上連続して存在する場合に、注目フレームの表示タイプが、高表示レート低解像度タイプV3に決定されるが、これは、次のような理由による。
即ち、後述するように、表示タイプが静止画タイプV1、通常タイプV2、および高表示レート低解像度タイプVの３つの中から決定される場合には、スクラブにおいて、表示タイプが静止画タイプV1のフレームと、通常タイプV2のフレームとについては、解像度が高い画像（通常解像度の画像）、つまり、（プロキシデータよりも）データ量が多い本線データの画像データを処理して画像が表示される。一方、表示タイプが高表示レート低解像度タイプV3のフレームについては、解像度が低い画像、つまり、（本線データよりも）データ量が少ないプロキシデータの画像データを処理して画像が表示される。
いま、例えば、記憶装置２２（図１）が、本線データとプロキシデータとが記録されるプロフェッショナルディスクである場合において、その記憶装置２２に記録された本線データ、またはプロキシデータを用いてスクラブを行うこととすると、表示タイプが静止画タイプV1または通常タイプV2のフレームについては、記憶装置２２から本線データを読み出す必要があり、高表示レート低解像度タイプV3のフレームについては、記憶装置２２からプロキシデータを読み出す必要がある。
記憶装置２２において、本線データとプロキシデータとは、物理的に離れた位置に記録されるため、例えば、極端には、表示タイプが、静止画タイプV1または通常タイプV2のフレームと、高表示レート低解像度タイプV3のフレームとが交互に現れると、記憶装置２２（に記録されたデータ）を対象としたスクラブ時に、シークが頻繁に発生し、スクラブを行う装置の性能によっては、スクラブバー６６（図３）の操作によって指定されたフレームの表示をスムースに行うことが困難になることがある。
そこで、本実施の形態では、シークが頻繁に発生するのを防止するために、表示タイプが高表示レート低解像度タイプV3のフレームが、Nフレーム以上連続し、かつ、表示タイプが静止画タイプV1または通常タイプV2のフレームも、Nフレーム以上連続するように、表示タイプが決定される。
即ち、例えば、上述したように、ステップＳ１０１４およびＳ１０１５において、注目フレームの変化量が閾値H以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H以上のフレームがNフレーム以上連続して存在する場合に、注目フレームの表示タイプが、高表示レート低解像度タイプV3に決定される。
ここで、フレーム数Nは、例えば、記憶装置２２を再生するドライブ５等の最大のシーク時間や、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームの総数等を考慮して決定することができる。また、フレーム数Nは、オペレータの操作に対応して決定しても良い。
また、フレーム数Nは、表示タイプを決定するときに、変化量が閾値H以上のフレームが連続して存在すべき最小のフレーム数（さらには、後述するように、変化量が閾値H未満のフレームが連続して存在すべき最小のフレーム数）であるので、以下、適宜、最小限度フレーム数Nという。
なお、シークが問題となるのは、動画を構成する時系列のフレームにおいて、本線データを用いて画像が表示される静止画タイプV1または通常タイプV2のフレームと、プロキシデータを用いて画像が表示される高表示レート低解像度タイプV3のフレームとが、頻繁に切り替わる場合である。いずれも本線データを用いて画像が表示される静止画タイプV1のフレームと、通常タイプV2のフレームとが切り替わる場合は、シークは問題とならない。
一方、ステップＳ１０１４において、注目フレームの変化量が閾値H以上でないと判定されるか、または、注目フレームの変化量が閾値H以上であっても、注目フレームの直前、直後、および前後のいずれにも、変化量が閾値H以上のフレームが最小限度フレーム数N以上連続して存在しないと判定された場合、ステップＳ１０１６に進み、連続性判定部１０８３が、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値H未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H未満のフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ステップＳ１０１６において、注目フレームの変化量が閾値H未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H未満のフレームが最小限度フレーム数N以上連続して存在すると判定された場合、連続性判定部１０８３は、その判定の結果を表す判定情報を、決定部１０８４に供給して、ステップＳ１０１７に進む。
注目フレームの変化量が閾値H未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H未満のフレームが最小限度フレーム数N以上連続して存在するとの判定の結果を表す判定情報の供給を連続性判定部１０８３から受けた決定部１０８４は、ステップＳ１０１７において、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値L以上であるかどうかを判定する。
ステップＳ１０１７において、注目フレームの変化量が閾値L以上であると判定された場合、即ち、注目フレームの変化量が閾値L以上閾値H未満である場合、ステップＳ１０１８に進み、決定部１０８４は、注目フレームの表示タイプを、通常タイプV2に決定して、ステップＳ１０２０に進む。
また、ステップＳ１０１７において、注目フレームの変化量が閾値L以上でないと判定された場合、即ち、注目フレームの変化量が閾値L未満である場合、ステップＳ１０１９に進み、決定部１０８４は、注目フレームの表示タイプを、静止画タイプV1に決定して、ステップＳ１０２０に進む。
ここで、ステップＳ１０１６乃至Ｓ１０１９によれば、注目フレームの変化量が閾値H未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H未満のフレームがNフレーム以上連続して存在する場合に、注目フレームの表示タイプが、その注目フレームの変化量が閾値L以上であれば、通常タイプV2に決定され、注目フレームの変化量が閾値L未満であれば、静止画タイプV1に決定されるが、これは、上述したように、スクラブ時に、シークが頻繁に発生することを防止するためである。
ステップＳ１０２０では、連続性判定部１０８３が、いま、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームの中で、まだ、注目フレームに選択していないフレームがあるかどうかを判定する。
ステップＳ１０２０において、まだ、注目フレームに選択していないフレームがあると判定された場合、ステップＳ１０１３に戻り、上述したように、まだ、注目フレームに選択していないフレームが、注目フレームに新たに選択され、以下、同様の処理が繰り返される。
また、ステップＳ１０２０において、注目フレームに選択していないフレームがないと判定された場合、表示タイプ決定部１０２３は、処理を終了する。
一方、ステップＳ１０１６において、注目フレームの変化量が閾値H未満でないと判定されるか、または、注目フレームの変化量が閾値H未満であっても、注目フレームの直前か、直後、および前後のいずれにも、変化量が閾値H未満のフレームが最小限度フレーム数N以上連続して存在しないと判定された場合、図６１のステップＳ１０２１に進み、連続性判定部１０８３は、注目フレームの直前か、直後、または前後に亘って、変化量が閾値Hをまたぐフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ここで、図６２は、フレーム単位の変化量を示している。なお、図６２において、横軸はフレームを表し、縦軸は変化量を表す。また、図６２では、閾値HとLのうちの、閾値Hのみを図示してある。
注目フレームの変化量が閾値H以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H以上のフレームがNフレーム以上連続して存在する場合には、図６０のステップＳ１０１５において、注目フレームの表示タイプは、高表示レート低解像度タイプV3に決定される。
また、注目フレームの変化量が閾値H未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値H未満のフレームが最小限度フレーム数N以上連続して存在する場合には、図６０のステップＳ１０１８またはＳ１０１９において、注目フレームの表示タイプは、通常タイプV2または静止画タイプV1に決定される。
従って、図６１のステップＳ１０２１の処理が行われるのは、注目フレームの直前か、直後、および前後のいずれにも、変化量が閾値H以上のフレームがNフレーム以上連続して存在せず、かつ、変化量が閾値H未満のフレームも最小限度フレーム数N以上連続して存在しない場合、つまり、注目フレームが、例えば、図６２の区間T1,T2,T3,T4として示すような、変化量が閾値Hをまたぐフレームが存在する区間（変化量が閾値H以上のフレームと、閾値H未満のフレームとが混在する区間）であり、かつ、変化量が閾値H以上のフレームが連続するフレーム数と、変化量が閾値H未満のフレームが連続するフレーム数が、多くても最小限度フレーム数N未満の区間（以下、適宜、混在区間という）のフレームである場合である。
なお、混在区間は、図６２に示すように、必ず、変化量が閾値H以上のフレームがNフレーム以上連続して存在する区間（以下、適宜、大変化量区間という）と、変化量が閾値H未満のフレームが最小限度フレーム数N以上連続して存在する区間（以下、適宜、小変化量区間という）との間か、２つの大変化量区間どうしの間、または、２つの小変化量区間どうしの間に挟まれる形で存在する。
混在区間は、区間長（フレーム数）が最小限度フレーム数N以上の区間と、最小限度フレーム数N未満の区間とに分けることができる。ここで、図６２における混在区間T1乃至T4のうちの、混在区間T2は、区間長が最小限度フレーム数N以上の区間であり、他の混在区間T1,T3,T4は、区間長が最小限度フレーム数N未満の区間である。
また、混在区間は、大変化量区間と小変化量区間との間に挟まれる区間、大変化量区間どうしの間に挟まれる区間、または小変化量区間どうしの間に挟まれる区間のうちのいずれかに分けることができる。ここで、図６２における混在区間T1乃至T4のうちの、混在区間T1とT2は、大変化量区間どうしの間に挟まれる区間であり、混在区間T3は、大変化量区間と小変化量区間との間に挟まれる区間である。また、混在区間T4は、小変化量区間どうしの間に挟まれる区間である。
図６１に戻り、上述したように、ステップＳ１０２１において、連続性判定部１０８３は、注目フレームの直前か、直後、または前後に亘って、変化量が閾値Hをまたぐフレームが、最小限度フレーム数N以上連続して存在するかどうか、即ち、注目フレームが存在する混在区間が、区間長が最小限度フレーム数N以上の区間であるか否かを判定する。
ステップＳ１０２１において、注目フレームの直前か、直後、または前後に亘って、変化量が閾値Hをまたぐフレームが、最小限度フレーム数N以上連続して存在すると判定された場合、即ち、注目フレームが存在する混在区間が、例えば、図６２の混在区間T2のような、区間長が最小限度フレーム数N以上の区間である場合、ステップＳ１０２２に進み、決定部１０８４は、注目フレームの表示タイプを、例えば、通常タイプV2に決定して、図６０のステップＳ１０２０に進み、以下、上述した処理が行われる。
即ち、変化量が閾値Hをまたぐフレームが、最小限度フレーム数N以上連続して存在する混在区間のフレームについては、そのすべてのフレームの表示タイプを、本線データ（としての画像データ）を用いて画像が表示される通常タイプV2とするか、または、プロキシデータ（としての画像データ）を用いて画像が表示される高表示レート低解像度タイプV3にすることによって、シークが頻繁に発生することを防止することができる。
そこで、本実施の形態では、変化量が閾値Hをまたぐフレームが最小限度フレーム数N以上連続して存在する混在区間のフレームの表示タイプは、すべて、通常タイプV2とされる。なお、変化量が閾値Hをまたぐフレームが最小限度フレーム数N以上連続して存在する混在区間のフレームの表示タイプは、すべて、通常タイプV2とする他、高表示レート低解像度タイプV3とすることが可能である。
ここで、シークが頻繁に発生することを防止することだけに注目すれば、混在区間のフレームの表示タイプを、本線データを用いて画像が表示される静止画タイプV1とすることも可能である。しかしながら、混在区間は、変化量が閾値Hをまたぐフレームが存在する区間であるから、混在区間のフレームの表示タイプを、変化量が閾値L未満のフレームの表示タイプである静止画タイプV1とすることは好ましくない。このため、混在区間のフレームの表示タイプは、通常タイプV2または高表示レート低解像度タイプV3のうちのいずれかとされる。
一方、ステップＳ１０２１において、注目フレームの直前か、直後、および前後のいずれにも、変化量が閾値Hをまたぐフレームが、最小限度フレーム数N以上連続して存在しないと判定された場合、即ち、注目フレームが存在する混在区間（以下、適宜、注目混在区間という）が、例えば、図６２の混在区間T1やT3,T4のような、区間長が最小限度フレーム数N未満の区間である場合、ステップＳ１０２３に進み、連続性判定部１０８３は、区間長が最小限度フレーム数N未満の注目混在区間の左側にある、時間的に先行するフレームのうちの、注目混在区間に隣接するフレーム（以下、適宜、左フレームという）の変化量と、注目混在区間の右側にある、時間的に後行するフレームのうちの、注目混在区間に隣接するフレーム（以下、適宜、右フレームという）の変化量とのうちのいずれか一方の変化量が閾値H以上であり、他方の変化量が閾値H未満であるかどうか、つまり、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間であるかどうかを判定する。
ステップＳ１０２３において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間であると判定された場合、即ち、区間長が最小限度フレーム数N未満の注目混在区間が、例えば、図６２の混在区間T3のような、大変化量区間と小変化量区間とに挟まれる混在区間である場合、ステップＳ１０２２に進み、上述したように、決定部１０８４は、注目フレームの表示タイプを、通常タイプV2に決定して、図６０のステップＳ１０２０に進み、以下、上述した処理が行われる。
即ち、区間長が最小限度フレーム数N未満の注目混在区間を挟む大変化量区間と小変化量区間とは、いずれも、区間長が最小限度フレーム数N以上の区間である。さらに、大変化量区間のフレームの表示タイプは、プロキシデータを用いて画像が表示される高表示レート低解像度タイプV3に決定され、小変化量区間のフレームの表示タイプは、本線データを用いて画像が表示される通常タイプV2または静止画タイプV1に決定される。
また、大変化量区間と小変化量区間とに挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その大変化量区間のフレームの表示タイプとして決定される高表示レート低解像度タイプV3、またはその小変化量区間のフレームの表示タイプとして決定される通常タイプV2と同一の表示タイプとすることにより、高表示レート低解像度タイプV3または通常タイプV2のフレームが、最小限度フレーム数N以上連続することとなって、シークが頻繁に発生することを防止することができる。
そこで、本実施の形態では、変化量が閾値Hをまたぐフレームが最小限度フレーム数N未満の注目混在区間であって、大変化量区間と小変化量区間とに挟まれる注目混在区間のフレームの表示タイプは、すべて、通常タイプV2とされる。なお、変化量が閾値Hをまたぐフレームが最小限度フレーム数N未満の注目混在区間であって、大変化量区間と小変化量区間とに挟まれる注目混在区間のフレームの表示タイプは、すべて、通常タイプV2とする他、高表示レート低解像度タイプV3とすることが可能である。
一方、ステップＳ１０２３において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間でないと判定された場合、ステップＳ１０２４に進み、連続性判定部１０８３は、区間長が最小限度フレーム数N未満の注目混在区間の左側にある、時間的に先行するフレームのうちの、注目混在区間に隣接するフレーム（左フレーム）の変化量と、注目混在区間の右側にある、時間的に後行するフレームのうちの、注目混在区間に隣接するフレーム（右フレーム）の変化量とのいずれもが閾値H以上であるかどうかあるかどうか、つまり、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間どうしの間に挟まれる区間であるかどうかを判定する。
ステップＳ１０２４において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間どうしの間に挟まれる区間でないと判定された場合、即ち、区間長が最小限度フレーム数N未満の注目混在区間が、例えば、図６２の混在区間T4のような、小変化量区間どうしの間に挟まれる混在区間である場合、ステップＳ１０２２に進み、上述したように、決定部１０８４は、注目フレームの表示タイプを、通常タイプV2に決定して、図６０のステップＳ１０２０に進み、以下、上述した処理が行われる。
即ち、２つの小変化量区間どうしの間に挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その２つの小変化量区間のフレームの表示タイプとして決定される（決定されうる）通常タイプV2と同一の表示タイプとすることにより、通常タイプV2のフレームが最小限度フレーム数N以上連続することとなって、シークが頻繁に発生することを防止することができる。
一方、ステップＳ１０２４において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間どうしの間に挟まれる区間であると判定された場合、即ち、区間長が最小限度フレーム数N未満の注目混在区間が、例えば、図６２の混在区間T1のような、大変化量区間どうしの間に挟まれる混在区間である場合、ステップＳ１０２５に進み、決定部１０８４は、注目フレームの表示タイプを、高表示レート低解像度タイプV3に決定して、図６０のステップＳ１０２０に進み、以下、上述した処理が行われる。
即ち、２つの大変化量区間どうしの間に挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その２つの大変化量区間のフレームの表示タイプとして決定される高表示レート低解像度タイプV3と同一の表示タイプとすることにより、高表示レート低解像度タイプV3のフレームが最小限度フレーム数N以上連続することとなって、シークが頻繁に発生することを防止することができる。
次に、図６３は、図４３の変化量算出部１０２２において、変化量として動き情報が求められ、表示タイプ決定部１０２３において、動き情報に基づき、表示タイプが決定され、選択部１０２４において、変化量と表示タイプの両方が選択された場合の、図４３のファイル作成部１０２５が作成するFyファイルの例を示している。
図６３のFyファイルにおいては、左から右方向に、先頭から何番目のフレームかを表すフレームナンバ、フレームナンバに対応するフレームのタイムコード、フレームナンバに対応するフレームの変化量としての動き情報、フレームナンバに対応するフレームの表示タイプが、順次配置されている。
なお、図６３のFyファイルでは、表示タイプは、図５７に示した静止画タイプV1、通常タイプV2、高表示レート低解像度タイプV3の３つのうちのいずれかに決定されている。
さらに、図６３のFyファイルでは、表示タイプの決定には、閾値LとHとして、それぞれ１と５が採用されている。また、最小限度フレーム数Nは、Fyファイルを作成した動画のフレームの総数Fと、所定の係数Pとから、式N=F×Pによって求められる値が採用されている。ここで、Fyファイルを作成した動画のフレームの総数Fが、例えば、3000フレームであり、所定の係数Pが、例えば、0.01であるとすると、最小限度フレーム数Nは、30(=3000×0.01)フレームである。
次に、図５７では、変化量として、動き情報を採用し、フレームの動き情報に基づいて、そのフレームの表示タイプを、静止画タイプV1、通常タイプV2、高表示レート低解像度タイプV3の３つのうちのいずれかに決定するようにしたが、フレームの表示タイプを決定する決定方法は、これに限定されるものではない。
即ち、図６４は、図４３の表示タイプ決定部１０２３が決定する表示タイプの他の例を示している。
図６４においては、表示タイプとして、静止画での表示を表す静止画タイプV11、並びに、フレームを表示するときの解像度やフレームを表示するときの表示レートが異なる通常タイプV12、高表示レート通常解像度タイプV13、超高表示レート低解像度タイプV14、および超超高表示レート低解像度タイプV15の５つがある。
静止画タイプV11のフレームについては、図５７の静止画タイプV1と同様に、表示対象のフレームが変更されても、その表示対象のフレームの画像が、直前に表示されたフレーム（の画像）と同一の画像であるとみなすことができる限り、直前に表示されたフレーム（の画像）が表示される（し続けられる）。
通常タイプV12のフレームについては、図５７の通常タイプV2と同様に、動画のフレームレートと同一の表示レート（通常レート）で、本線データとしての画像データと同一の解像度（通常解像度）で、画像が表示される。
高表示レート通常解像度タイプV13のフレームについては、通常レートよりも高い、例えば、通常レートの２倍の表示レートで、本線データとしての画像データと同一の解像度（通常解像度）で、画像が表示される。
超高表示レート低解像度タイプV14のフレームについては、高表示レート通常解像度タイプV13の表示レートよりも高い、例えば、通常レートの３倍の表示レートで、プロキシデータとしての画像データと同一の解像度（本線データとしての画像データよりも低い解像度）で、画像が表示される。
超超高表示レート低解像度タイプV15のフレームについては、超高表示レート低解像度タイプV14の表示レートよりも高い、例えば、通常レートの４倍の表示レートで、プロキシデータとしての画像データと同一の解像度（本線データとしての画像データよりも低い解像度）で、画像が表示される。
ここで、通常レートが、例えば、NTSC(National Television System Committee)方式と同一の（約）３０フレーム／秒であるとすると、通常タイプV12、高表示レート通常解像度タイプV13、超高表示レート低解像度タイプV14、超超高表示レート低解像度タイプV15の表示レートは、それぞれ、３０，６０，９０，１２０フレーム／秒である。
表示タイプとして、図６４に示したように、５つの静止画タイプV11、通常タイプV12、高表示レート通常解像度タイプV13、超高表示レート低解像度タイプV14、および超超高表示レート低解像度タイプV15がある場合、変化量算出部１０２２（図４３）では、フレームの時間的な変化の程度を表す動き情報が、変化量として求められる。そして、表示タイプ決定部１０２３（図４３）は、例えば、各フレームの動き情報と、４つの所定の閾値とを比較し、その比較の結果に基づき、フレームの表示タイプを、静止画タイプV11、通常タイプV12、高表示レート通常解像度タイプV13、超高表示レート低解像度タイプV14、または超超高表示レート低解像度タイプV15のうちのいずれかに決定する。
即ち、図６５は、フレーム単位の変化量としての動き情報と、その変化量に基づき、表示タイプ決定部１０２３（図４３）がフレーム単位で決定する表示タイプとを示している。
なお、図６５において、横軸はフレームを表し、縦軸は変化量を表す。
表示タイプ決定部１０２３（図４３）は、フレーム単位の変化量（動き情報）を、式TH1<TH2<TH3<TH4の関係がある閾値TH1,TH2,TH3,TH4と比較する。そして、表示タイプ決定部１０２３は、動き情報が閾値TH4以上のフレーム、即ち、動き情報が時間的な変化の程度が極めて大であることを表すフレームの表示タイプを、低い解像度、または高い表示レートの低解像度／高表示レートタイプの一種である超超高表示レート低解像度タイプV15に決定する。図６５では、動き情報が閾値TH4以上のフレームが連続する区間D5のフレームの表示タイプが、超超高表示レート低解像度タイプV15に決定されている。
また、表示タイプ決定部１０２３は、動き情報が閾値TH3以上で閾値TH4未満のフレーム、即ち、動き情報が時間的な変化の程度が極めて大に近い程度に大であることを表すフレームの表示タイプを、低い解像度、または高い表示レートの低解像度／高表示レートタイプの一種であり、超超高表示レート低解像度タイプV15より表示レートが低い超高表示レート低解像度タイプV14に決定する。図６５では、動き情報が閾値TH3以上で閾値TH4未満のフレームが連続する区間D4とD6のフレームの表示タイプが、超高表示レート低解像度タイプV14に決定されている。
さらに、表示タイプ決定部１０２３は、動き情報が閾値TH2以上で閾値TH3未満のフレーム、即ち、動き情報が時間的な変化の程度が極めて大までには至らないが、それでも大であることを表すフレームの表示タイプを、超高表示レート低解像度タイプV14より表示レートが低く、かつ解像度が高い高表示レート通常解像度タイプV13に決定する。図６５では、動き情報が閾値TH2以上で閾値TH3未満のフレームが連続する区間D3とD7のフレームの表示タイプが、高表示レート通常解像度タイプV13に決定されている。
また、表示タイプ決定部１０２３は、動き情報が閾値TH1以上で閾値TH2未満のフレーム、即ち、動き情報が時間的な変化の程度がそれほど大ではないことを表すフレームの表示タイプを、高表示レート通常解像度タイプV13より表示レートが低い通常タイプV12に決定する。図６５では、動き情報が閾値TH1以上で閾値TH2未満のフレームが連続する区間D2とD8のフレームの表示タイプが、通常タイプV12に決定されている。
さらに、表示タイプ決定部１０２３は、動き情報が閾値TH1未満のフレーム、即ち、動き情報が時間的な変化の程度が小であることを表すフレームの表示タイプを、静止画での表示を表す静止画タイプV11に決定する。図６５では、動き情報が閾値TH1未満のフレームが連続する区間D1とD9のフレームの表示タイプが、静止画タイプV11に決定されている。
次に、図６６および図６７のフローチャートを参照して、表示タイプが、図６４に示した静止画タイプV11、通常タイプV12、高表示レート通常解像度タイプV13、超高表示レート低解像度タイプV14、または超超高表示レート低解像度タイプV15のうちのいずれかに決定される場合の、図５９の表示タイプ決定部１０２３の処理について説明する。
表示タイプ決定部１０２３は、変化量算出部１０２２（図４３）からフレーム単位の変化量が供給されると、ステップＳ１０３１において、そのフレーム単位の変化量を、記憶部１０８１（図５９）にキャッシュ（一時記憶）させ、ステップＳ１０３２に進む。
ここで、変化量算出部１０２２から表示タイプ決定部１０２３には、例えば、動き情報が変化量として供給されることとする。
ステップＳ１０３２では、閾値処理部１０８２（図５９）が、記憶部１０８１に記憶されたフレーム単位の変化量（動き情報）と、閾値TH1,TH2,TH3、またはTH4とを比較する閾値処理を行い、フレーム単位の変化量と、閾値TH1,TH2,TH3、またはTH4との比較の結果を表す比較情報を、フレーム単位で、連続性判定部１０８３に供給して、ステップＳ１０３３に進む。
ステップＳ１０３３では、連続性判定部１０８３（図５９）が、いま、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームのうちの、まだ、注目フレームとしていない時系列順で最も先行するフレームを、注目フレームに選択し、ステップＳ１０３４に進む。
ステップＳ１０３４では、連続性判定部１０８３が、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値TH3以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3以上のフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ステップＳ１０３４において、注目フレームの変化量が閾値TH3以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3以上のフレームが最小限度フレーム数N以上連続して存在すると判定された場合、連続性判定部１０８３は、その判定の結果を表す判定情報を、決定部１０８４（図５９）に供給して、ステップＳ１０３５に進む。
注目フレームの変化量が閾値TH3以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3以上のフレームが最小限度フレーム数N以上連続して存在するとの判定の結果を表す判定情報の供給を連続性判定部１０８３から受けた決定部１０８４は、ステップＳ１０３５において、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値TH4以上であるかどうかを判定する。
ステップＳ１０３５において、注目フレームの変化量が閾値TH4以上であると判定された場合、ステップＳ１０３６に進み、決定部１０８４は、注目フレームの表示タイプを、超超高表示レート低解像度タイプV15に決定し、ステップＳ１０４３に進む。
また、ステップＳ１０３５において、注目フレームの変化量が閾値TH4以上でないと判定された場合、即ち、注目フレームの変化量が閾値TH3以上で閾値TH4未満である場合、ステップＳ１０３７に進み、決定部１０８４は、注目フレームの表示タイプを、超高表示レート低解像度タイプV14に決定し、ステップＳ１０４３に進む。
ここで、ステップＳ１０３４乃至Ｓ１０３７によれば、注目フレームの変化量が閾値TH3以上であるだけでなく、さらに、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3以上のフレームがNフレーム以上連続して存在する場合に、注目フレームの表示タイプが、超超高表示レート低解像度タイプV15、または超高表示レート低解像度タイプV14のうちのいずれかに決定されるが、これは、次のような理由による。
即ち、表示タイプが、図６４に示した静止画タイプV11、通常タイプV12、高表示レート通常解像度タイプV13、超高表示レート低解像度タイプV14、および超超高表示レート低解像度タイプV15の中から決定される場合には、スクラブにおいて、表示タイプが、静止画タイプV11のフレーム、通常タイプV12のフレーム、および高表示レート通常解像度タイプV13のフレームについては、解像度が高い画像（通常解像度の画像）、つまり、（プロキシデータよりも）データ量が多い本線データの画像データを処理して画像が表示される。
一方、表示タイプが、超高表示レート低解像度タイプV14のフレーム、および超超高表示レート低解像度タイプV15のフレームについては、解像度が低い画像、つまり、（本線データよりも）データ量が少ないプロキシデータの画像データを処理して画像が表示される。
いま、例えば、記憶装置２２（図１）が、本線データとプロキシデータとが記録されるプロフェッショナルディスクである場合において、その記憶装置２２に記録された本線データ、またはプロキシデータを用いてスクラブを行うこととすると、図６０で説明した場合と同様に、動画を構成する時系列のフレームにおいて、プロキシデータを用いて画像が表示される超高表示レート低解像度タイプV14のフレーム、または超超高表示レート低解像度タイプV15のフレームと、本線データを用いて画像が表示される静止画タイプV11、通常タイプV12、または高表示レート通常解像度タイプV13のフレームとが頻繁に切り替わると、シークが頻繁に発生し、スクラブバー６６（図３）の操作によって指定されたフレームの表示をスムースに行うことが困難になることがある。
上述のようなシークが頻繁に発生することを防止するには、プロキシデータを用いて画像が表示される超高表示レート低解像度タイプV14のフレーム、または超超高表示レート低解像度タイプV15のフレームと、本線データを用いて画像が表示される静止画タイプV11、通常タイプV12、または高表示レート通常解像度タイプV13のフレームとが頻繁に切り替わらないようにする必要がある。
一方、超高表示レート低解像度タイプV14のフレーム、および超超高表示レート低解像度タイプV15のフレームでは、いずれも、プロキシデータを用いて画像が表示されるから、超高表示レート低解像度タイプV14のフレームと、超超高表示レート低解像度タイプV15のフレームとの切り替わりについては、シークは問題とならない。
さらに、静止画タイプV11のフレーム、通常タイプV12のフレーム、および、高表示レート通常解像度タイプV13のフレームでは、いずれも、本線データを用いて画像が表示されるから、静止画タイプV11のフレーム、通常タイプV12のフレーム、または、高表示レート通常解像度タイプV13のフレームのうちの任意の１つの表示タイプのフレームと、他の１つの表示タイプのフレームとの切り替わりについても、シークは問題にならない。
そこで、図６６および図６７では、プロキシデータを用いて画像が表示される表示タイプ（超高表示レート低解像度タイプV14、超超高表示レート低解像度タイプV15）のフレームと、本線データを用いて画像が表示される表示タイプ（静止画タイプV11、通常タイプV12、高表示レート通常解像度タイプV13）のフレームとの切り替わりが、少なくとも最小限度フレーム数Nだけ連続するフレームの区間において生じないように、上述したステップＳ１０３４乃至Ｓ１０３７において、注目フレームの変化量が、閾値TH3以上であり、かつ、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3以上のフレームが、最小限度フレーム数N以上連続する場合に、注目フレームの表示タイプが、超高表示レート低解像度タイプV14、または超超高表示レート低解像度タイプV15のうちのいずれかに決定される。
また、プロキシデータを用いて画像が表示される表示タイプのフレームと、本線データを用いて画像が表示される表示タイプのフレームとの切り替わりが、少なくとも最小限度フレーム数Nだけ連続するフレームの区間において生じないように、後述するステップＳ１０３８乃至Ｓ１０４２において、注目フレームの変化量が、閾値TH3未満であり、かつ、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3未満のフレームが、最小限度フレーム数N以上連続する場合に、注目フレームの表示タイプが、静止画タイプV11、通常タイプV12、または高表示レート通常解像度タイプV13のうちのいずれかに決定される。
即ち、ステップＳ１０３４において、注目フレームの変化量が閾値TH3以上でないと判定されるか、または、注目フレームの変化量が閾値TH3以上であっても、注目フレームの直前、直後、および前後のいずれにも、変化量が閾値TH3以上のフレームが最小限度フレーム数N以上連続して存在しないと判定された場合、ステップＳ１０３８に進み、連続性判定部１０８３が、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値TH3未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3未満のフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ステップＳ１０３８において、注目フレームの変化量が閾値TH3未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3未満のフレームが最小限度フレーム数N以上連続して存在すると判定された場合、連続性判定部１０８３は、その判定の結果を表す判定情報を、決定部１０８４に供給して、ステップＳ１０３９に進む。
注目フレームの変化量が閾値TH3未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3未満のフレームが最小限度フレーム数N以上連続して存在するとの判定の結果を表す判定情報の供給を連続性判定部１０８３から受けた決定部１０８４は、ステップＳ１０３９において、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が、閾値TH1未満であるか、閾値TH1以上閾値TH2未満であるか、または閾値TH2以上閾値TH3未満であるかを判定する。
ステップＳ１０３９において、注目フレームの変化量が閾値TH1未満であると判定された場合、ステップＳ１０４０に進み、決定部１０８４は、注目フレームの表示タイプを、静止画タイプV11に決定して、ステップＳ１０４３に進む。
また、ステップＳ１０３９において、注目フレームの変化量が閾値TH1以上閾値TH2未満であると判定された場合、ステップＳ１０４１に進み、決定部１０８４は、注目フレームの表示タイプを、通常タイプV12に決定して、ステップＳ１０４３に進む。
また、ステップＳ１０３９において、注目フレームの変化量が閾値TH2以上閾値TH3未満であると判定された場合、ステップＳ１０４２に進み、決定部１０８４は、注目フレームの表示タイプを、高表示レート通常解像度タイプV13に決定して、ステップＳ１０４３に進む。
ここで、ステップＳ１０３８乃至Ｓ１０４２によれば、上述したように、注目フレームの変化量が閾値TH3未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3未満のフレームがNフレーム以上連続して存在する場合に、注目フレームの表示タイプが、いずれも本線データを用いて画像が表示される静止画タイプV11、通常タイプV12、または高表示レート通常解像度タイプV13に決定されるが、これは、上述したように、スクラブ時に、シークが頻繁に発生することを防止するためである。
ステップＳ１０４３では、連続性判定部１０８３が、いま、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームの中で、まだ、注目フレームに選択していないフレームがあるかどうかを判定する。
ステップＳ１０４３において、まだ、注目フレームに選択していないフレームがあると判定された場合、ステップＳ１０３３に戻り、上述したように、まだ、注目フレームに選択していないフレームが、注目フレームに新たに選択され、以下、同様の処理が繰り返される。
また、ステップＳ１０４３において、注目フレームに選択していないフレームがないと判定された場合、表示タイプ決定部１０２３は、処理を終了する。
一方、ステップＳ１０３８において、注目フレームの変化量が閾値TH3未満でないと判定されるか、または、注目フレームの変化量が閾値TH3未満であっても、注目フレームの直前か、直後、および前後のいずれにも、変化量が閾値TH3未満のフレームが最小限度フレーム数N以上連続して存在しないと判定された場合、図６７のステップＳ１０５１に進み、連続性判定部１０８３は、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3をまたぐフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ここで、注目フレームの変化量が閾値TH3以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3以上のフレームがNフレーム以上連続して存在する場合には、図６６のステップＳ１０３６またはＳ１０３７において、注目フレームの表示タイプは、超高表示レート低解像度タイプV14、または超超高表示レート低解像度タイプV15に決定される。
また、注目フレームの変化量が閾値TH3未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3未満のフレームが最小限度フレーム数N以上連続して存在する場合には、図６６のステップＳ１０４０乃至Ｓ１０４２において、注目フレームの表示タイプは、静止画タイプV11、通常タイプV12、または高表示レート通常解像度タイプV13に決定される。
従って、図６７のステップＳ１０５１の処理が行われるのは、注目フレームの直前か、直後、および前後のいずれにも、変化量が閾値TH3以上のフレームがNフレーム以上連続して存在せず、かつ、変化量が閾値TH3未満のフレームも最小限度フレーム数N以上連続して存在しない場合、つまり、注目フレームが、変化量が閾値TH3をまたぐフレームが存在する区間（変化量が閾値TH3以上のフレームと、閾値TH3未満のフレームとが混在する区間）であり、かつ、変化量が閾値TH3以上のフレームが連続するフレーム数と、閾値TH3未満のフレームが連続するフレーム数が、多くても最小限度フレーム数N未満の区間（これも、以下、適宜、混在区間という）のフレームである場合である。
なお、混在区間は、図６２で説明した場合と同様に、必ず、変化量が閾値TH3以上のフレームがNフレーム以上連続して存在する区間（これも、以下、適宜、大変化量区間という）と、変化量が閾値TH3未満のフレームが最小限度フレーム数N以上連続して存在する区間（これも、以下、適宜、小変化量区間という）との間か、２つの大変化量区間どうしの間、または、２つの小変化量区間どうしの間のうちのいずれかに挟まれる形で存在する。
以上から、混在区間は、区間長（フレーム数）が最小限度フレーム数N以上の区間と、最小限度フレーム数N未満の区間とに分けることができる。
また、混在区間は、大変化量区間と小変化量区間との間に挟まれる区間、大変化量区間どうしの間に挟まれる区間、または小変化量区間どうしの間に挟まれる区間のうちのいずれかに分けることができる。
ステップＳ１０５１では、連続性判定部１０８３は、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3をまたぐフレームが、最小限度フレーム数N以上連続して存在するかどうか、即ち、注目フレームが存在する混在区間が、区間長が最小限度フレーム数N以上の区間であるか否かを判定する。
ステップＳ１０５１において、注目フレームの直前か、直後、または前後に亘って、変化量が閾値TH3をまたぐフレームが、最小限度フレーム数N以上連続して存在すると判定された場合、ステップＳ１０２に進み、決定部１０８４は、注目フレームの表示タイプを、本線データを用いて画像が表示される表示タイプのうちの、例えば、高表示レート通常解像度タイプV13に決定して、図６６のステップＳ１０４３に進み、以下、上述した処理が行われる。
即ち、変化量が閾値TH3をまたぐフレームが、最小限度フレーム数N以上連続して存在する混在区間のフレームについては、そのすべてのフレームの表示タイプを、本線データ（としての画像データ）を用いて画像が表示される表示タイプとするか、または、プロキシデータ（としての画像データ）を用いて画像が表示される表示タイプにすることによって、シークが頻繁に発生することを防止することができる。
そこで、図６７では、変化量が閾値TH3をまたぐフレームが最小限度フレーム数N以上連続して存在する混在区間のフレームの表示タイプは、すべて、本線データを用いて画像が表示される表示タイプのうちの、例えば、高表示レート通常解像度タイプV13とされる。
なお、変化量が閾値TH3をまたぐフレームが最小限度フレーム数N以上連続して存在する混在区間のフレームの表示タイプは、その他、本線データを用いて画像が表示される表示タイプのうちの、例えば、通常タイプV12とすることが可能である。また、変化量が閾値TH3をまたぐフレームが最小限度フレーム数N以上連続して存在する混在区間のフレームの表示タイプは、その他、例えば、プロキシデータを用いて画像が表示される超高表示レート低解像度タイプV14、または超超高表示レート低解像度タイプV15のうちのいずれか一方とすることが可能である。
一方、ステップＳ１０５１において、注目フレームの直前か、直後、および前後のいずれにも、変化量が閾値TH3をまたぐフレームが、最小限度フレーム数N以上連続して存在しないと判定された場合、即ち、注目フレームが存在する混在区間（注目混在区間）が、区間長が最小限度フレーム数N未満の区間である場合、ステップＳ１０５３に進み、連続性判定部１０８３は、区間長が最小限度フレーム数N未満の注目混在区間の左側にある、時間的に先行するフレームのうちの、注目混在区間に隣接するフレーム（左フレーム）の変化量と、注目混在区間の右側にある、時間的に後行するフレームのうちの、注目混在区間に隣接するフレーム（右フレーム）の変化量とのうちのいずれか一方の変化量が閾値TH3以上であり、他方の変化量が閾値TH3未満であるかどうか、つまり、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間であるかどうかを判定する。
ステップＳ１０５３において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間であると判定された場合、ステップＳ１０５２に進み、上述したように、決定部１０８４は、注目フレームの表示タイプを、高表示レート通常解像度タイプV13に決定して、図６６のステップＳ１０４３に進み、以下、上述した処理が行われる。
即ち、区間長が最小限度フレーム数N未満の注目混在区間を挟む大変化量区間と小変化量区間とは、いずれも、区間長が最小限度フレーム数N以上の区間である。さらに、大変化量区間のフレームの表示タイプは、プロキシデータを用いて画像が表示される表示タイプ（超高表示レート低解像度タイプV14、または超超高表示レート低解像度タイプV15）に決定され、小変化量区間のフレームの表示タイプは、本線データを用いて画像が表示される表示タイプ（静止画タイプV11、通常タイプV12、または高表示レート通常解像度タイプV13）に決定される。
また、大変化量区間と小変化量区間とに挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その大変化量区間のフレームの表示タイプ、またはその小変化量区間のフレームの表示タイプと同一の表示タイプとすることにより、シークが頻繁に発生することを防止することができる。
そこで、図６７では、変化量が閾値TH3をまたぐフレームが最小限度フレーム数N未満の注目混在区間であって、大変化量区間と小変化量区間とに挟まれる注目混在区間のフレームの表示タイプは、すべて、本線データを用いて画像が表示される表示タイプのうちの、例えば、高表示レート通常解像度タイプV13とされる。
なお、変化量が閾値TH3をまたぐフレームが最小限度フレーム数N未満の注目混在区間であって、大変化量区間と小変化量区間とに挟まれる注目混在区間のフレームの表示タイプは、その他、例えば、本線データを用いて画像が表示される表示タイプのうちの通常タイプV12や、プロキシデータを用いて画像が表示される表示タイプのうちの超高表示レート低解像度タイプV14とすることが可能である。
一方、ステップＳ１０５３において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間でないと判定された場合、ステップＳ１０５４に進み、連続性判定部１０８３は、区間長が最小限度フレーム数N未満の注目混在区間の左側にある、時間的に先行するフレームのうちの、注目混在区間に隣接するフレーム（左フレーム）の変化量と、注目混在区間の右側にある、時間的に後行するフレームのうちの、注目混在区間に隣接するフレーム（右フレーム）の変化量とのいずれもが閾値TH3以上であるかどうかあるかどうか、つまり、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間どうしの間に挟まれる区間であるかどうかを判定する。
ステップＳ１０５４において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間どうしの間に挟まれる区間でないと判定された場合、ステップＳ１０５２に進み、上述したように、決定部１０８４は、注目フレームの表示タイプを、本線データを用いて画像が表示される表示タイプのうちの、例えば、高表示レート通常解像度タイプV13に決定して、図６６のステップＳ１０４３に進み、以下、上述した処理が行われる。
即ち、２つの小変化量区間どうしの間に挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その２つの小変化量区間のフレームの表示タイプとして決定される、本線データを用いて画像が表示される表示タイプと同一の表示タイプとすることにより、シークが頻繁に発生することを防止することができる。
一方、ステップＳ１０５４において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間どうしの間に挟まれる区間であると判定された場合、ステップＳ１０５５に進み、決定部１０８４は、注目フレームの表示タイプを、プロキシデータを用いて画像が表示される表示タイプのうちの、例えば、超高表示レート低解像度タイプV14に決定して、図６６のステップＳ１０４３に進み、以下、上述した処理が行われる。
即ち、２つの大変化量区間どうしの間に挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その２つの大変化量区間のフレームの表示タイプとして決定される、プロキシデータを用いて画像が表示される表示タイプと同一の表示タイプとすることにより、シークが頻繁に発生することを防止することができる。
次に、図６８は、図４３の表示タイプ決定部１０２３が決定する表示タイプの他の例を示している。
図６８においては、表示タイプとして、フレームを表示するときの解像度やフレームを表示するときの表示レートが異なる低解像度通常表示レートタイプC1、通常タイプC2、および通常解像度低表示レートタイプC3の３つがある。
低解像度通常表示レートタイプC1のフレームについては、動画のフレームレートと同一の表示レート（通常レート）で、プロキシデータとしての画像データと同一の解像度（本線データとしての画像データよりも低い解像度）で、画像が表示される。
通常タイプC2のフレームについては、通常レートの表示レートで、本線データとしての画像データと同一の解像度（通常解像度という）で、画像が表示される。
通常解像度低表示レートタイプC3のフレームについては、通常レートよりも低い、例えば、通常レートの１／２倍の表示レートで、本線データとしての画像データと同一の解像度（プロキシデータとしての画像データよりも高い解像度）で、画像が表示される。
表示タイプとして、図６８に示したように、３つの低解像度通常表示レートタイプC1、通常タイプC2、および通常解像度低表示レートタイプC3がある場合、変化量算出部１０２２（図４３）では、フレームの空間的な変化の程度を表す細かさ情報が、変化量として求められる。そして、表示タイプ決定部１０２３は、例えば、各フレームの変化量（細かさ情報）と、２つの所定の閾値とを比較し、その比較の結果に基づき、フレームの表示タイプを、低解像度通常表示レートタイプC1、通常タイプC2、または通常解像度低表示レートタイプC3のうちのいずれかに決定する。
即ち、図６９は、フレーム単位の変化量としての細かさ情報と、その変化量に基づき、表示タイプ決定部１０２３（図４３）がフレーム単位で決定する表示タイプとを示している。
なお、図６９において、横軸はフレームを表し、縦軸は変化量を表す。
表示タイプ決定部１０２３は、フレーム単位の変化量（細かさ情報）を、式L<Hの関係がある閾値Lまたは閾値Hと比較する。そして、表示タイプ決定部１０２３は、細かさ情報が閾値H以上のフレーム、即ち、細かさ情報が空間的な変化の程度が大であることを表すフレームの表示タイプを、高い解像度、または低い表示レートの高解像度／低表示レートタイプの一種である通常解像度低表示レートタイプC3に決定する。
ここで、例えば、編集で行われるスクラブにおいて、空間的な変化の程度が大のフレーム、つまり、画素値の変化が大きい画像（複雑な画像）のフレームの表示を低解像度で行うと、画像の空間的な変化を見逃しやすくなるため、複雑な画像のフレームは、高い解像度で表示することが望ましい。
しかしながら、複雑な画像を高い解像度で表示する処理の負担は、複雑でない、例えば、平坦な画像を表示する処理の負担より大きくなる。
そこで、複雑な画像のフレームについては、高解像度で表示するが、その代わりに、低い表示レートで画像を表示する高解像度／低表示レートタイプの一種である通常解像度低表示レートタイプC3を採用することとする。画像を低い表示レートで表示する場合には、画像を高い表示レートで表示する場合に比較して、処理の負担が少ないので、複雑な画像のフレームについて、高い解像度の画像を、低い表示レートで表示することにより、編集において画像の空間的な変化を見逃すことを防止しながら、スクラブを行う装置にかかる負担を低減することができる。
一方、表示タイプ決定部１０２３は、細かさ情報が閾値L未満のフレーム、即ち、細かさ情報が空間的な変化の程度が小であることを表すフレームの表示タイプを、通常解像度低表示レートタイプC3よりも低い解像度で、かつ、通常解像度低表示レートタイプC3よりも高い通常レートの表示レートで画像を表示する低解像度通常表示レートタイプC1に決定する。
ここで、空間的な変化の程度が小のフレーム、つまり、平坦な画像のフレームについては、高い解像度で画像を表示しても、低い解像度で画像を表示した場合と、細部の見え方は、それほど変わらない。
このように、高い解像度で表示しても、低い解像度で表示しても、細部の見え方がほとんど変わらない画像を、高い解像度で表示することは、スクラブを行う装置に、いわば無駄な負担をかけることになる。
そこで、平坦な画像のフレームの表示タイプは、通常解像度低表示レートタイプC3よりも低い解像度で、かつ、通常解像度低表示レートタイプC3よりも高い通常レートの表示レートで画像を表示する低解像度通常表示レートタイプC1とされる。これにより、スクラブを行う装置に無駄な負担をかけることを防止することができる。
表示タイプ決定部１０２３は、細かさ情報が閾値H以上のフレーム、および細かさ情報が閾値L未満のフレーム以外のフレーム、つまり、細かさ情報が、閾値L以上で閾値H未満のフレームの表示タイプを、通常タイプC2に決定する。
即ち、それほど複雑ではないが、平坦でもない画像のフレームの表示タイプは、通常レート（動画のフレームレートと同一の表示レート）で、かつ、通常解像度で、画像を表示する通常タイプC2とされる。
次に、図７０および図７１のフローチャートを参照して、表示タイプが、変化量としての細かさ情報に基づき、図６８に示した低解像度通常表示レートタイプC1、通常タイプC2、または通常解像度低表示レートタイプC3のうちのいずれかに決定される場合の、図５９の表示タイプ決定部１０２３の処理について説明する。
表示タイプ決定部１０２３は、変化量算出部１０２２（図４３）からフレーム単位の変化量が供給されると、ステップＳ１０６１において、そのフレーム単位の変化量を、記憶部１０８１（図５９）にキャッシュ（一時記憶）させ、ステップＳ１０６２に進む。
ここで、図７０および図７１では、変化量算出部１０２２から表示タイプ決定部１０２３には、細かさ情報が変化量として供給される。
ステップＳ１０６２では、閾値処理部１０８２が、記憶部１０８１に記憶されたフレーム単位の変化量（細かさ情報）と、閾値HまたはLとを比較する閾値処理を行い、フレーム単位の変化量と、閾値HまたはLとの比較の結果を表す比較情報を、フレーム単位で、連続性判定部１０８３に供給して、ステップＳ１０６３に進む。
ステップＳ１０６３では、連続性判定部１０８３が、いま、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームのうちの、まだ、注目フレームとしていない時系列順で最も先行するフレームを、注目フレームに選択し、ステップＳ１０６４に進む。
ステップＳ１０６４では、連続性判定部１０８３が、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値L未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値未満のフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ステップＳ１０６４において、注目フレームの変化量が閾値L未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L未満のフレームが最小限度フレーム数N以上連続して存在すると判定された場合、連続性判定部１０８３は、その判定の結果を表す判定情報を、決定部１０８４に供給して、ステップＳ１０６５に進む。
ステップＳ１０６５では、決定部１０８４は、連続性判定部１０８３からの判定情報に基づき、注目フレームの表示タイプを、低解像度通常表示レートタイプC1に決定し、ステップＳ１０７０に進む。
ここで、ステップＳ１０６４およびＳ１０６５によれば、注目フレームの変化量が閾値L未満であるだけでなく、さらに、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L未満のフレームがNフレーム以上連続して存在する場合に、注目フレームの表示タイプが、低解像度通常表示レートタイプC1に決定されるが、これは、次のような理由による。
即ち、表示タイプが、図６８に示した低解像度通常表示レートタイプC1、通常タイプC2、および通常解像度低表示レートタイプC3の中から決定される場合には、スクラブにおいて、表示タイプが、低解像度通常表示レートタイプC1のフレームについては、解像度が低い画像、つまり、（本線データよりも）データ量が少ないプロキシデータを処理して画像が表示される。
一方、表示タイプが、通常タイプC2、および通常解像度低表示レートタイプC3のフレームについては、解像度が高い画像、つまり、（プロキシデータデータよりも）データ量が多い本線データの画像データを処理して画像が表示される。
いま、例えば、記憶装置２２（図１）が、本線データとプロキシデータとが記録されるプロフェッショナルディスクである場合において、その記憶装置２２に記録された本線データ、またはプロキシデータを用いてスクラブを行うこととすると、図６０で説明した場合と同様に、動画を構成する時系列のフレームにおいて、プロキシデータを用いて画像が表示される低解像度通常表示レートタイプC1のフレームと、本線データを用いて画像が表示される通常タイプC2、または通常解像度低表示レートタイプC3のフレームとが頻繁に切り替わると、シークが頻繁に発生し、スクラブバー６６（図３）の操作によって指定されたフレームの表示をスムースに行うことが困難になることがある。
上述のようなシークが頻繁に発生することを防止するには、プロキシデータを用いて画像が表示される低解像度通常表示レートタイプC1のフレームと、本線データを用いて画像が表示される通常タイプC2、または通常解像度低表示レートタイプC3のフレームとが頻繁に切り替わらないようにする必要がある。
一方、通常タイプC2のフレーム、および通常解像度低表示レートタイプC3のフレームでは、いずれも、本線データを用いて画像が表示されるから、通常タイプC2のフレームと、通常解像度低表示レートタイプC3のフレームとの切り替わりについては、シークは問題とならない。
そこで、図７０および図７１では、プロキシデータを用いて画像が表示される表示タイプ（低解像度通常表示レートタイプC1）のフレームと、本線データを用いて画像が表示される表示タイプ（通常タイプC2、通常解像度低表示レートタイプC3）のフレームとの切り替わりが、少なくとも最小限度フレーム数Nだけ連続するフレームの区間において生じないように、上述したステップＳ１０６４およびＳ１０６５において、注目フレームの変化量が、閾値L未満であり、かつ、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L未満のフレームが、最小限度フレーム数N以上連続する場合に、注目フレームの表示タイプが、プロキシデータを用いて画像が表示される低解像度通常表示レートタイプC1に決定される。
また、プロキシデータを用いて画像が表示される表示タイプのフレームと、本線データを用いて画像が表示される表示タイプのフレームとの切り替わりが、少なくとも最小限度フレーム数Nだけ連続するフレームの区間において生じないように、後述するステップＳ１０６６乃至Ｓ１０６９において、注目フレームの変化量が、閾値L以上であり、かつ、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L以上のフレームが、最小限度フレーム数N以上連続する場合に、注目フレームの表示タイプが、本線データを用いて画像が表示される通常タイプC2、または通常解像度低表示レートタイプC3に決定される。
即ち、ステップＳ１０６４において、注目フレームの変化量が閾値L未満でないと判定されるか、または、注目フレームの変化量が閾値L未満であっても、注目フレームの直前、直後、および前後のいずれにも、変化量が閾値L未満のフレームが最小限度フレーム数N以上連続して存在しないと判定された場合、ステップＳ１０６６に進み、連続性判定部１０８３が、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値L以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L以上のフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ステップＳ１０６６において、注目フレームの変化量が閾値L以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L以上のフレームが最小限度フレーム数N以上連続して存在すると判定された場合、連続性判定部１０８３は、その判定の結果を表す判定情報を、決定部１０８４に供給して、ステップＳ１０６７に進む。
注目フレームの変化量が閾値L以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L以上のフレームが最小限度フレーム数N以上連続して存在するとの判定の結果を表す判定情報の供給を連続性判定部１０８３から受けた決定部１０８４は、ステップＳ１０６７において、閾値処理部１０８２からの比較情報に基づき、注目フレームの変化量が閾値H以上であるかどうかを判定する。
ステップＳ１０６７において、注目フレームの変化量が閾値H以上であると判定された場合、ステップＳ１０６８に進み、決定部１０８４は、注目フレームの表示タイプを、通常解像度低表示レートタイプC3に決定して、ステップＳ１０７０に進む。
また、ステップＳ１０６７において、注目フレームの変化量が閾値H以上でないと判定された場合、即ち、注目フレームの変化量が閾値L以上閾値H未満である場合、ステップＳ１０６９に進み、決定部１０８４は、注目フレームの表示タイプを、通常タイプC2に決定して、ステップＳ１０７０に進む。
ここで、ステップＳ１０６６乃至Ｓ１０６９によれば、注目フレームの変化量が閾値L以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L以上のフレームがNフレーム以上連続して存在する場合に、表示タイプが本線データを用いて画像が表示される通常解像度低表示レートタイプC3、または通常タイプC2のうちのいずれかに決定されるが、これは、上述したように、スクラブ時に、シークが頻繁に発生することを防止するためである。
ステップＳ１０７０では、連続性判定部１０８３が、いま、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームの中で、まだ、注目フレームに選択していないフレームがあるかどうかを判定する。
ステップＳ１０７０において、まだ、注目フレームに選択していないフレームがあると判定された場合、ステップＳ１０６３に戻り、上述したように、まだ、注目フレームに選択していないフレームが、注目フレームに新たに選択され、以下、同様の処理が繰り返される。
また、ステップＳ１０７０において、注目フレームに選択していないフレームがないと判定された場合、表示タイプ決定部１０２３は、処理を終了する。
一方、ステップＳ１０６６において、注目フレームの変化量が閾値L以上でないと判定されるか、または、注目フレームの変化量が閾値L以上であっても、注目フレームの直前、直後、および前後のいずれにも、変化量が閾値L以上のフレームが最小限度フレーム数N以上連続して存在しないと判定された場合、図７１のステップＳ１０７１に進み、連続性判定部１０８３は、注目フレームの直前か、直後、または前後に亘って、変化量が閾値Lをまたぐフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ここで、注目フレームの変化量が閾値L未満であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L未満のフレームがNフレーム以上連続して存在する場合には、図７０のステップＳ１０６５において、注目フレームの表示タイプは、低解像度通常表示レートタイプC1に決定される。
また、注目フレームの変化量が閾値L以上であり、注目フレームの直前か、直後、または前後に亘って、変化量が閾値L以上のフレームが最小限度フレーム数N以上連続して存在する場合には、図７０のステップＳ１０６８またはＳ１０６９において、注目フレームの表示タイプは、通常解像度低表示レートタイプC3、または通常タイプC2に決定される。
従って、図７１のステップＳ１０７１の処理が行われるのは、注目フレームの直前、直後、および前後のいずれにも、変化量が閾値L未満のフレームがNフレーム以上連続して存在せず、かつ、変化量が閾値L以上のフレームも最小限度フレーム数N以上連続して存在しない場合、つまり、注目フレームが、変化量が閾値Lをまたぐフレームが存在する区間（変化量が閾値L未満のフレームと、閾値L以上のフレームとが混在する区間）であり、かつ、変化量が閾値L未満のフレームが連続するフレーム数と、閾値L以上のフレームが連続するフレーム数が、多くても最小限度フレーム数N未満の区間（これも、以下、適宜、混在区間という）のフレームである場合である。
なお、混在区間は、図６２で説明した場合と同様に、必ず、変化量が閾値L未満のフレームがNフレーム以上連続して存在する区間（これも、以下、適宜、小変化量区間という）と、変化量が閾値L以上のフレームが最小限度フレーム数N以上連続して存在する区間（これも、以下、適宜、大変化量区間という）との間か、２つの大変化量区間どうしの間、または、２つの小変化量区間どうしの間のうちのいずれかに挟まれる形で存在する。
以上から、混在区間は、区間長（フレーム数）が最小限度フレーム数N以上の区間と、最小限度フレーム数N未満の区間とに分けることができる。
また、混在区間は、大変化量区間と小変化量区間との間に挟まれる区間、大変化量区間どうしの間に挟まれる区間、または小変化量区間どうしの間に挟まれる区間のうちのいずれかに分けることができる。
ステップＳ１０７１では、連続性判定部１０８３は、注目フレームの直前か、直後、または前後に亘って、変化量が閾値Lをまたぐフレームが、最小限度フレーム数N以上連続して存在するかどうか、即ち、注目フレームが存在する混在区間が、区間長が最小限度フレーム数N以上の区間であるか否かを判定する。
ステップＳ１０７１において、注目フレームの直前か、直後、または前後に亘って、変化量が閾値Lをまたぐフレームが、最小限度フレーム数N以上連続して存在すると判定された場合、ステップＳ１０７２に進み、決定部１０８４は、注目フレームの表示タイプを、本線データを用いて画像が表示される表示タイプのうちの、例えば、通常タイプC2に決定して、図７０のステップＳ１０７０に進み、以下、上述した処理が行われる。
即ち、変化量が閾値Lをまたぐフレームが、最小限度フレーム数N以上連続して存在する混在区間のフレームについては、そのすべてのフレームの表示タイプを、本線データ（としての画像データ）を用いて画像が表示される表示タイプとするか、または、プロキシデータ（としての画像データ）を用いて画像が表示される表示タイプにすることによって、シークが頻繁に発生することを防止することができる。
そこで、図７１では、変化量が閾値Lをまたぐフレームが最小限度フレーム数N以上連続して存在する混在区間のフレームの表示タイプは、すべて、本線データを用いて画像が表示される表示タイプのうちの、例えば、通常タイプC2とされる。
なお、変化量が閾値Lをまたぐフレームが最小限度フレーム数N以上連続して存在する混在区間のフレームの表示タイプは、その他、例えば、プロキシデータを用いて画像が表示される低解像度通常表示レートC1とすることが可能である。
一方、ステップＳ１０７１において、注目フレームの直前、直後、および前後のいずれにも、変化量が閾値Lをまたぐフレームが、最小限度フレーム数N以上連続して存在しないと判定された場合、即ち、注目フレームが存在する混在区間（注目混在区間）が、区間長が最小限度フレーム数N未満の区間である場合、ステップＳ１０７３に進み、連続性判定部１０８３は、区間長が最小限度フレーム数N未満の注目混在区間の左側にある、時間的に先行するフレームのうちの、注目混在区間に隣接するフレーム（左フレーム）の変化量と、注目混在区間の右側にある、時間的に後行するフレームのうちの、注目混在区間に隣接するフレーム（右フレーム）の変化量とのうちのいずれか一方の変化量が閾値L未満であり、他方の変化量が閾値L以上であるかどうか、つまり、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間であるかどうかを判定する。
ステップＳ１０７３において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間であると判定された場合、ステップＳ１０７２に進み、上述したように、決定部１０８４は、注目フレームの表示タイプを、通常タイプC2に決定して、図７０のステップＳ１０７０に進み、以下、上述した処理が行われる。
即ち、区間長が最小限度フレーム数N未満の注目混在区間を挟む大変化量区間と小変化量区間とは、いずれも、区間長が最小限度フレーム数N以上の区間である。さらに、大変化量区間のフレームの表示タイプは、本線データを用いて画像が表示される表示タイプ（通常タイプC2、または通常解像度低表示レートタイプC3）決定され、小変化量区間のフレームの表示タイプは、プロキシデータを用いて画像が表示される表示タイプ（低解像度通常表示レートタイプC1）に決定される。
また、大変化量区間と小変化量区間とに挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その大変化量区間のフレームの表示タイプ、またはその小変化量区間のフレームの表示タイプと同一の表示タイプとすることにより、シークが頻繁に発生することを防止することができる。
そこで、図７１では、変化量が閾値Lをまたぐフレームが最小限度フレーム数N未満の注目混在区間であって、大変化量区間と小変化量区間とに挟まれる注目混在区間のフレームの表示タイプは、すべて、本線データを用いて画像が表示される表示タイプのうちの、例えば、通常タイプC2とされる。
なお、変化量が閾値Lをまたぐフレームが最小限度フレーム数N未満の注目混在区間であって、大変化量区間と小変化量区間とに挟まれる注目混在区間のフレームの表示タイプは、その他、例えば、小変化量区間のフレームの表示タイプ、即ち、プロキシデータを用いて画像が表示される低解像度通常表示レートタイプC1とすることが可能である。
一方、ステップＳ１０７３において、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間と小変化量区間との間に挟まれる区間でないと判定された場合、ステップＳ１０７４に進み、連続性判定部１０８３は、区間長が最小限度フレーム数N未満の注目混在区間の左側にある、時間的に先行するフレームのうちの、注目混在区間に隣接するフレーム（左フレーム）の変化量と、注目混在区間の右側にある、時間的に後行するフレームのうちの、注目混在区間に隣接するフレーム（右フレーム）の変化量とのいずれもが閾値L未満であるかどうかあるかどうか、つまり、区間長が最小限度フレーム数N未満の注目混在区間が、小変化量区間どうしの間に挟まれる区間であるかどうかを判定する。
ステップＳ１０７４において、区間長が最小限度フレーム数N未満の注目混在区間が、小変化量区間どうしの間に挟まれる区間でないと判定された場合、即ち、区間長が最小限度フレーム数N未満の注目混在区間が、大変化量区間どうしの間に挟まれる区間である場合、ステップＳ１０７２に進み、上述したように、決定部１０８４は、注目フレームの表示タイプを、大変化量区間のフレームの表示タイプ、即ち、本線データを用いて画像が表示される表示タイプのうちの、例えば、通常タイプC2に決定して、図７０のステップＳ１０７０に進み、以下、上述した処理が行われる。
即ち、２つの大変化量区間どうしの間に挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その２つの大変化量区間のフレームの表示タイプとして決定される、本線データを用いて画像が表示される表示タイプと同一の表示タイプとすることにより、シークが頻繁に発生することを防止することができる。
一方、ステップＳ１０７４において、区間長が最小限度フレーム数N未満の注目混在区間が、小変化量区間どうしの間に挟まれる区間であると判定された場合、ステップＳ１０７５に進み、決定部１０８４は、注目フレームの表示タイプを、プロキシデータを用いて画像が表示される低解像度通常表示レートタイプC1に決定して、図７０のステップＳ１０７０に進み、以下、上述した処理が行われる。
即ち、２つの小変化量区間どうしの間に挟まれる、区間長が最小限度フレーム数N未満の注目混在区間のフレームについては、その２つの小変化量区間のフレームの表示タイプとして決定される、プロキシデータを用いて画像が表示される低解像度通常表示レートタイプC1と同一の表示タイプとすることにより、シークが頻繁に発生することを防止することができる。
次に、図７２は、図４３の変化量算出部１０２２において、変化量として動き情報と細かさ情報が求められ、表示タイプ決定部１０２３において、動き情報に基づく表示タイプと細かさ情報に基づく表示タイプが決定され、選択部１０２４において、変化量と表示タイプの両方が選択された場合の、図４３のファイル作成部１０２５が作成するFyファイルの例を示している。
図７２のFyファイルにおいては、左から右方向に、先頭から何番目のフレームかを表すフレームナンバ、フレームナンバに対応するフレームのタイムコード、フレームナンバに対応するフレームの変化量としての動き情報と細かさ情報、フレームナンバに対応するフレームの動き情報に基づく表示タイプと細かさ情報に基づく表示タイプが、順次配置されている。
図７３は、図４３の変化量算出部１０２２において、変化量として動き情報と細かさ情報が求められ、選択部１０２４において、変化量のみが選択された場合の、図４３のファイル作成部１０２５が作成するFyファイルの例を示している。
図７３のFyファイルにおいては、左から右方向に、先頭から何番目のフレームかを表すフレームナンバ、フレームナンバに対応するフレームのタイムコード、フレームナンバに対応するフレームの変化量としての動き情報と細かさ情報が、順次配置されている。
図７４は、図４３の変化量算出部１０２２において、変化量として動き情報と細かさ情報が求められ、表示タイプ決定部１０２３において、動き情報に基づく表示タイプと細かさ情報に基づく表示タイプが決定され、選択部１０２４において、表示タイプのみが選択された場合の、図４３のファイル作成部１０２５が作成するFyファイルの例を示している。
図７４のFyファイルにおいては、左から右方向に、先頭から何番目のフレームかを表すフレームナンバ、フレームナンバに対応するフレームのタイムコード、フレームナンバに対応するフレームの動き情報に基づく表示タイプと細かさ情報に基づく表示タイプが、順次配置されている。
次に、上述の場合には、表示タイプを、動き情報または細かさ情報のうちのいずれか一方に基づいて決定するようにしたが、表示タイプは、動き情報および細かさ情報の両方に基づいて決定することも可能である。
即ち、図７５は、図４３の表示タイプ決定部１０２３が決定する表示タイプの他の例を示している。
図７５においては、表示タイプとして、静止画での表示を表す静止画タイプVC1、並びに、フレームを表示するときの解像度やフレームを表示するときの表示レートが異なる通常タイプVC2、高表示レート低解像度タイプVC3、および通常表示レート低解像度タイプVC4の４つがある。
静止画タイプVC1のフレームについては、図５７の静止画タイプV1と同様に、表示対象のフレームが変更されても、その表示対象のフレームの画像が、直前に表示されたフレーム（の画像）と同一の画像であるとみなすことができる限り、直前に表示されたフレーム（の画像）が表示される（し続けられる）。
通常タイプVC2のフレームについては、図５７の通常タイプV2と同様に、動画のフレームレートと同一の表示レート（通常レート）で、本線データとしての画像データと同一の解像度（通常解像度）で、画像が表示される。
高表示レート低解像度タイプVC3のフレームについては、図５７の高表示レート低解像度タイプV3と同様に、通常レートよりも高い、例えば、通常レートの２倍の表示レートで、プロキシデータとしての画像データと同一の解像度（本線データとしての画像データよりも低い解像度）で、画像が表示される。
通常表示レート低解像度タイプVC4のフレームについては、通常レートの表示レートで、プロキシデータとしての画像データと同一の解像度（本線データとしての画像データよりも低い解像度）で、画像が表示される。
ここで、高表示レート低解像度タイプVC3と、通常表示レート低解像度タイプVC4とは、高表示レート低解像度タイプVC3では、通常レートよりも高い表示レートで画像が表示されるのに対して、通常表示レート低解像度タイプVC4では、通常レート（の表示レート）で画像が表示される点だけが異なる。
表示タイプとして、図７５に示したように、４つの静止画タイプVC1、通常タイプVC2、高表示レート低解像度タイプVC3、および通常表示レート低解像度タイプVC4がある場合、変化量算出部１０２２（図４３）では、動き情報と細かさ情報が、変化量として求められる。そして、表示タイプ決定部１０２３（図４３）は、動き情報と細かさ情報の両方に基づき、即ち、例えば、動き情報と２つの閾値とを比較するとともに、細かさ情報と１つの閾値とを比較し、それらの比較の結果に基づき、フレームの表示タイプを、静止画タイプVC1、通常タイプVC2、高表示レート低解像度タイプVC3、または通常表示レート低解像度タイプVC4のうちのいずれかに決定する。
即ち、図７６は、フレーム単位の変化量としての動き情報および細かさ情報と、その動き情報および細かさ情報に基づき、表示タイプ決定部１０２３（図４３）がフレーム単位で決定する表示タイプとを示している。
なお、図７６上は、フレーム単位の動き情報を表しており、図７６下は、フレーム単位の細かさ情報を表している。
また、図７６において、横軸はフレームを表し、縦軸は変化量（動き情報、細かさ情報）を表す。
表示タイプ決定部１０２３（図４３）は、フレーム単位の動き情報を、式L<Hの関係がある閾値LまたはHと比較し、その比較結果に基づき、いわば仮の表示タイプを決定する（表示タイプを仮決定する）。
即ち、表示タイプ決定部１０２３は、例えば、図５７乃至図６２で説明した場合と同様にして、フレームの動き情報に基づき、そのフレームの仮の表示タイプを、図５７に示した静止画タイプV1、通常タイプV2、または高表示レート低解像度タイプV3のうちのいずれかに決定する（表示タイプを仮決定する）。
これにより、図５７乃至図６２で説明したように、大まかには、動き情報が閾値L未満のフレームの表示タイプは、静止画タイプV1に、動き情報が閾値L以上閾値H未満のフレームの表示タイプは、通常タイプV2に、動き情報が閾値H以上のフレームの表示タイプは、高表示レート低解像度タイプV3に、それぞれ仮決定される。
また、表示タイプ決定部１０２３（図４３）は、フレーム単位の細かさ情報を、所定の閾値Kと比較し、その比較結果と、動き情報に基づいて仮決定された仮の表示タイプとに基づき、フレームの表示タイプを、図７５に示した静止画タイプVC1、通常タイプVC2、高表示レート低解像度タイプVC3、または通常表示レート低解像度タイプVC4のうちのいずれかに最終的に決定する。
即ち、表示タイプ決定部１０２３は、仮の表示タイプが静止画タイプV1のフレームの表示タイプを、静止画タイプVC1に最終的に決定し、仮の表示タイプが高表示レート低解像度タイプV3のフレームの表示タイプを、高表示レート低解像度タイプVC3に最終的に決定する。
また、表示タイプ決定部１０２３は、仮の表示タイプが通常タイプV2のフレームのうちの、細かさ情報が閾値K以上のフレーム、つまり、平坦な画像とは言えない画像のフレームの表示タイプを、通常タイプVC2に最終的に決定する。さらに、表示タイプ決定部１０２３は、仮の表示タイプが通常タイプV2のフレームのうちの、細かさ情報が閾値K未満のフレーム、つまり、平坦な画像のフレームの表示タイプを、通常表示レート低解像度タイプVC4に最終的に決定する。
即ち、仮の表示タイプが通常タイプV2のフレームは、それほど大きな動きではないが、ある程度の動きがあるフレームである。また、細かさ情報が閾値K未満のフレームは、平坦な画像のフレームである。従って、仮の表示タイプが通常タイプV2のフレームのうちの、細かさ情報が閾値K未満のフレームは、ある程度の動きがあるが、平坦な画像のフレームである。
ある程度の動きがある画像であっても、平坦な画像であれば、低解像度で表示しても、画像の空間的な変化を見逃しやすくはならない。また、スクラブにおいて、画像を低解像度で表示する場合には、スクラブを行う装置にかかる負荷を軽減することができる。
そこで、ある程度の動きがある、仮の表示タイプが通常タイプV2のフレームについては、表示タイプが、原則として、通常解像度で画像が表示される通常タイプVC2に最終的に決定されるが、細かさ情報が閾値K未満である場合に限り、通常解像度より低い解像度で画像が表示される通常表示レート低解像度タイプVC4に最終的に決定される。
ここで、図７６では、細かさ情報が閾値K未満のフレームの区間DPのフレームであり、かつ、動き情報に基づく仮の表示タイプが通常タイプV2のフレームの表示タイプが、通常表示レート低解像度タイプVC4に最終的に決定されている。
なお、フレーム単位の動き情報と細かさ情報に基づいて、図７５に示した静止画タイプVC1、通常タイプVC2、高表示レート低解像度タイプVC3、または通常表示レート低解像度タイプVC4のうちのいずれかに最終的に決定される表示タイプを、以下、適宜、最終表示タイプという。
次に、図７７のフローチャートを参照して、表示タイプ（最終表示タイプ）が、動き情報と細かさ情報の両方に基づき、図７５に示した静止画タイプVC1、通常タイプVC2、高表示レート低解像度タイプVC3、または通常表示レート低解像度タイプVC4のうちのいずれかに決定される場合の、図５９の表示タイプ決定部１０２３の処理について説明する。
なお、変化量算出部１０２２（図４３）では、変化量として、動き情報と細かさ情報とが求められ、表示タイプ決定部１０２３に供給される。
表示タイプ決定部１０２３は、ステップＳ１０８１において、変化量算出部１０２２（図４３）からのフレーム単位の動き情報に基づき、図６０および図６１で説明したようにして、動き情報に基づく表示タイプ（仮の表示タイプ）を決定し、ステップＳ１０８２に進む。
ステップＳ１０８２では、表示タイプ決定部１０２３は、変化量算出部１０２２から供給されるフレーム単位の細かさ情報を、記憶部１０８１（図５９）にキャッシュさせ、ステップＳ１０８３に進む。
ステップＳ１０８３では、閾値処理部１０８２（図５９）が、記憶部１０８１に記憶されたフレーム単位の細かさ情報と閾値Kとを比較する閾値処理を行い、フレーム単位の細かさ情報変化量と閾値Kとの比較の結果を表す比較情報を、フレーム単位で、連続性判定部１０８３に供給して、ステップＳ１０８４に進む。
ステップＳ１０８４では、連続性判定部１０８３（図５９）が、いま、Fyファイル作成部７６（図４３）でFyファイルを作成しようとしている動画を構成するフレームのうちの、まだ、注目フレームとしていない時系列順で最も先行するフレームを、注目フレームに選択し、その注目フレームの情報を、決定部１０８４（図５９）に供給して、ステップＳ１０８５に進む。
ステップＳ１０８５では、決定部１０８４が、注目フレームの動き情報に基づく表示タイプ（ステップＳ１０８１で決定された仮の表示タイプ）が、静止画タイプV1であるかどうかを判定する。
ステップＳ１０８５において、注目フレームの動き情報に基づく表示タイプが、静止画タイプV1であると判定された場合、ステップＳ１０８６に進み、決定部１０８４は、注目フレームの最終表示タイプ（注目フレームの動き情報と細かさ情報に基づく表示タイプ）を、静止画タイプVC1に最終的に決定し、ステップＳ１０９３に進む。
また、ステップＳ１０８５において、注目フレームの動き情報に基づく表示タイプが、静止画タイプV1でないと判定された場合、ステップＳ１０８７に進み、決定部１０８４が、注目フレームの動き情報に基づく表示タイプが、高表示レート低解像度タイプV3であるかどうかを判定する。
ステップＳ１０８７において、注目フレームの動き情報に基づく表示タイプが、高表示レート低解像度タイプV3であると判定された場合、ステップＳ１０８８に進み、決定部１０８４は、注目フレームの最終表示タイプを、高表示レート低解像度タイプVC3に最終的に決定し、ステップＳ１０９３に進む。
また、ステップＳ１０８７において、注目フレームの動き情報に基づく表示タイプが、高表示レート低解像度タイプV3でないと判定された場合、即ち、注目フレームの動き情報に基づく表示タイプが、通常タイプV2である場合、ステップＳ１０８９に進み、連続性判定部１０８３（図５９）は、閾値処理部１０８２からの比較情報に基づき、動き情報に基づく表示タイプが通常タイプV2の注目フレームの細かさ情報が閾値K未満のフレームであり、注目フレームの直前か、直後、または前後に亘って、細かさ情報が閾値K未満のフレームが、最小限度フレーム数N以上連続して存在するかどうかを判定する。
ステップＳ１０８９において、注目フレームの細かさ情報が閾値K未満でないか、または、注目フレームの細かさ情報が閾値K未満であっても、注目フレームの直前、直後、および前後のいずれにも、細かさ情報が閾値K未満のフレームが最小限度フレーム数N以上連続して存在しないと判定された場合、連続性判定部１０８３は、その判定の結果を表す判定情報を、決定部１０８４（図５９）に供給して、ステップＳ１０９０に進む。
注目フレームの細かさ情報が閾値K未満でないとの判定の結果、または、注目フレームの直前、直後、および前後に亘ってのいずれにも、細かさ情報が閾値K未満のフレームが最小限度フレーム数N以上連続して存在しないとの判定の結果を表す判定情報の供給を連続性判定部１０８３から受けた決定部１０８４（図５９）は、ステップＳ１０９０において、動き情報に基づく表示タイプが通常タイプV2の注目フレームの最終表示タイプを、通常タイプVC2に最終的に決定し、ステップＳ１０９３に進む。
また、ステップＳ１０８９において、注目フレームの細かさ情報が閾値K未満であり、注目フレームの直前か、直後、または前後に亘って、細かさ情報が閾値K未満のフレームが最小限度フレーム数N以上連続して存在すると判定された場合、ステップＳ１０９１に進み、連続性判定部１０８３（図５９）は、細かさ情報が閾値K未満の、注目フレームの直前、直後、または前後に亘る、最小限度フレーム数N以上連続するフレームの区間のフレームのうちの、動き情報に基づく表示タイプが通常タイプV2のフレームの表示タイプを、通常表示レート低解像度タイプVC4に変更した場合に、同一の表示タイプが連続するフレーム数が、最小限度フレーム数N未満となる区間が生じるかどうかを判定する。
即ち、ステップＳ１０９１では、例えば、図７６において、区間DPが、細かさ情報が閾値K未満のフレームが最小限度フレーム数N以上連続する区間であるとすると、その区間DPのフレームのうちの、動き情報に基づく表示タイプが通常タイプV2のフレームの表示タイプを、通常表示レート低解像度タイプVC4に変更した場合に、Fyファイルを作成しようとしている動画について最終的に得られる、動き情報と細かさ情報に基づく表示タイプの時系列において、同一の表示タイプが連続する区間の中に、その同一の表示タイプが連続する数が、最小限度フレーム数N未満となる区間が生じるかどうかが判定される。
ステップＳ１０９１において、細かさ情報が閾値K未満の、注目フレームの直前、直後、または前後に亘る、最小限度フレーム数N以上連続するフレームの区間のフレームのうちの、動き情報に基づく表示タイプが通常タイプV2のフレームの表示タイプを、通常表示レート低解像度タイプVC4に変更すると、同一の表示タイプが連続するフレーム数が、最小限度フレーム数N未満となる区間が生じると判定された場合、即ち、動き情報に基づく表示タイプが通常タイプV2の注目フレームの最終表示タイプを、通常表示レート低解像度タイプVC4にすると、シークが頻発するおそれがある場合、ステップＳ１０９０に進み、決定部１０８４（図５９）は、上述したように、動き情報に基づく表示タイプが通常タイプV2の注目フレームの最終表示タイプを、通常タイプVC2に最終的に決定し、ステップＳ１０９３に進む。
また、ステップＳ１０９１において、細かさ情報が閾値K未満の、注目フレームの直前、直後、または前後に亘る、最小限度フレーム数N以上連続するフレームの区間のフレームのうちの、動き情報に基づく表示タイプが通常タイプV2のフレームの表示タイプを、通常表示レート低解像度タイプVC4に変更しても、同一の表示タイプが連続するフレーム数が、最小限度フレーム数N未満となる区間が生じないと判定された場合、ステップＳ１０９２に進み、決定部１０８４（図５９）は、動き情報に基づく表示タイプが通常タイプV2の注目フレームの最終表示タイプを、通常表示レート低解像度タイプVC4に最終的に決定し、ステップＳ１０９３に進む。
ここで、表示タイプ（最終表示タイプ）が、図７５に示した静止画タイプVC1、通常タイプVC2、高表示レート低解像度タイプVC3、および通常表示レート低解像度タイプVC4の中から決定される場合には、スクラブにおいて、表示タイプが、静止画タイプVC1のフレームと、通常タイプVC2のフレームとについては、解像度が高い画像（通常解像度の画像）、つまり、（プロキシデータよりも）データ量が多い本線データの画像データを処理して画像が表示される。
また、表示タイプが、高表示レート低解像度タイプVC3のフレームと、通常表示レート低解像度タイプVC4のフレームとについては、解像度が低い画像、つまり、（本線データよりも）データ量が少ないプロキシデータの画像データを処理して画像が表示される。
いま、例えば、記憶装置２２（図１）が、本線データとプロキシデータとが記録されるプロフェッショナルディスクである場合において、その記憶装置２２に記録された本線データ、またはプロキシデータを用いてスクラブを行うこととすると、図６０で説明した場合と同様に、動画を構成する時系列のフレームにおいて、プロキシデータを用いて画像が表示される高表示レート低解像度タイプVC3のフレーム、または通常表示レート低解像度タイプVC4のフレームと、本線データを用いて画像が表示される静止画タイプVC1、または通常タイプVC2のフレームとが頻繁に切り替わると、シークが頻繁に発生し、スクラブバー６６（図３）の操作によって指定されたフレームの表示をスムースに行うことが困難になることがある。
上述のようなシークが頻繁に発生することを防止するには、プロキシデータを用いて画像が表示される高表示レート低解像度タイプVC3のフレーム、または通常表示レート低解像度タイプVC4のフレームと、本線データを用いて画像が表示される静止画タイプVC1、または通常タイプVC2のフレームとが頻繁に切り替わらないようにする必要がある。
そのため、図７７では、ステップＳ１０９０乃至Ｓ１０９２において、細かさ情報が閾値K未満の、注目フレームの直前、直後、または前後に亘る、最小限度フレーム数N以上連続するフレームの区間のフレームのうちの、動き情報に基づく表示タイプが通常タイプV2のフレームの表示タイプを、通常表示レート低解像度タイプVC4に変更しても、同一の表示タイプが連続するフレーム数が、最小限度フレーム数N未満となる区間が生じない場合に限り、動き情報に基づく表示タイプが通常タイプV2の注目フレームの最終表示タイプを、通常表示レート低解像度タイプVC4に決定し、他の場合（同一の表示タイプ（最終表示タイプ）が連続するフレーム数が、最小限度フレーム数N未満となる区間が生じる場合）には、動き情報に基づく表示タイプが通常タイプV2の注目フレームの最終表示タイプを、通常表示レート低解像度タイプVC4に決定するようになっている。
ステップＳ１０９３では、連続性判定部１０８３が、いま、Ｆｙファイル作成部１００４（図４３）でFyファイルを作成しようとしている動画を構成するフレームの中で、まだ、注目フレームに選択していないフレームがあるかどうかを判定する。
ステップＳ１０９３において、まだ、注目フレームに選択していないフレームがあると判定された場合、ステップＳ１０８４に戻り、上述したように、まだ、注目フレームに選択していないフレームが、注目フレームに新たに選択され、以下、同様の処理が繰り返される。
また、ステップＳ１０９３において、注目フレームに選択していないフレームがないと判定された場合、表示タイプ決定部１０２３は、処理を終了する。
次に、図７８は、図４３の変化量算出部１０２２において、変化量として動き情報と細かさ情報が求められ、表示タイプ決定部１０２３において、動き情報と細かさ情報に基づく表示タイプ（最終表示タイプ）が決定され、選択部１０２４において、変化量と表示タイプの両方が選択された場合の、図４３のファイル作成部１０２５が作成するFyファイルの例を示している。
図７８のFyファイルにおいては、左から右方向に、先頭から何番目のフレームかを表すフレームナンバ、フレームナンバに対応するフレームのタイムコード、フレームナンバに対応するフレームの変化量としての動き情報と細かさ情報、フレームナンバに対応するフレームの動き情報と細かさ情報に基づく表示タイプ（最終表示タイプ）が、順次配置されている。
以上の編集前処理において、フレームの変化量を求めるのに用いる画素値の種類は、特に限定されるものではない。即ち、画素値が、例えば、輝度信号(Y)と色差信号(Cb,Cr)からなる場合には、輝度信号を用いて変化量を求めることもできるし、色差信号を用いて変化量を求めることもできる。但し、人間の視覚に対する影響は、色差信号の変化よりも、輝度信号の変化の方が大であるので、変化量は、輝度信号を用いて求めるのが望ましい。
また、画素値が、R,G,Bの色成分からなる場合には、例えば、R,G,Bの色成分の自乗和等を用いて、変化量を求めることができる。
さらに、変化量としての動き情報としては、図４８乃至図５１で説明した値以外の動きの激しさを定量的に表す値を採用することができる。同様に、変化量としての細かさ情報としては、図５２乃至図５５で説明した値以外の画像の細かさを定量的に表す値（例えば、ディフィカルティ(difficulty)やフラットネスと呼ばれる値等）を採用することができる。
また、例えば、図５２で説明したように、MPEG2方式で符号化された画像データを用いて変化量を求める場合には、その画像データのMPEG2方式での符号化によって得られている符号化ビットストリームを解析（パース）し、その解析の結果を用いて、変化量を求めることができる。
即ち、符号化ビットストリームには、動きベクトルが含まれるので、変化量としての動き情報を、図４８および図４９で説明したように、動きベクトルを用いて求める場合には、符号化ビットストリームを解析することにより、その解析の結果として、符号化ビットストリームに含まれる動きベクトルを得て、その動きベクトルを用いて、動き情報を求めることができる。
また、符号化ビットストリームには、8×8画素のブロックをDCT変換して得られるDCT係数が含まれるので、変化量としての細かさ情報を、図５２および図５３で説明したように、DCT係数を用いて求める場合には、符号化ビットストリームを解析することにより、その解析の結果として、符号化ビットストリームに含まれるDCT係数を得て、そのDCT係数を用いて、細かさ情報を求めることができる。
さらに、8×8画素のブロックをDCT変換して得られるDCT係数のうちの、左上のDCT係数である、いわゆる直流成分は、ブロックの8×8画素それぞれの画素値の平均値であるから、変化量としての細かさ情報を、図５４および図５５で説明したように、ブロックの画素値の平均値を用いて求める場合には、符号化ビットストリームを解析することにより、その解析の結果として、符号化ビットストリームに含まれるDCT係数のうちの直流成分を得て、その直流成分、即ち、ブロックの画素値の平均値を用いて、細かさ情報を求めることができる。
（４−２）スクラブ処理
次に、マイクロプロセッサ３及びＧＰＵ４によるスクラブ処理について説明する。このマイクロプロセッサ３及びＧＰＵ４による処理を機能的に表した場合、その機能的構成は、図７９に示すように、GUI制御部１１１１、ストリーム復号位置検出部１１１２、データ供給制御部１１１３、Fyファイル管理部１１１４、表示タイプ取得部１１１５、デコーダ１１１６および表示制御部１１１７とすることができる。
このGUI制御部１１１１は、表示制御部１１１７を制御することにより、ディスプレイ４０に、例えば、図２に示した編集画面（図２）等のGUIを表示させる。また、GUI制御部１１１１は、ディスプレイ４０に表示されたGUIに対する、操作コントローラ３７、マウス３８又はキーボード３９のオペレータの操作に応じて、該操作コントローラ３７、マウス３８又はキーボード３９から供給される操作信号を受信し、その操作信号に応じて、必要な情報等を、ストリーム復号位置検出部１１１２や、データ供給制御部１１１３、表示制御部１１１７等に供給する。
即ち、GUI制御部１１１１は、例えば、操作コントローラ３７、マウス３８又はキーボード３９から供給される操作信号に応じて、スクラブの対象となる本線データまたはプロキシデータのストリーム（AVファイル）を指示する情報や、スクラブにおいて再生すべきフレームを指示する情報とともに、フレームの再生を要求するコマンド（命令）を、ストリーム復号位置検出部１１１２に供給する。
また、GUI制御部１１１１は、操作コントローラ３７、マウス３８又はキーボード３９から供給される操作信号に応じて、変化量に基づいて表示タイプを決定するときに用いられる閾値を、データ供給制御部１１１３に供給する。
さらに、GUI制御部１１１１は、再生時間差・再生速度ｖ設定ダイアログ（図７）に基づき、操作コントローラ３７、マウス３８又はキーボード３９から供給される再生時間差及び再生速度ｖを、データ供給制御部１１１３に供給する。
ストリーム復号位置検出部１１１２は、GUI制御部１１１１からのコマンドに応じて、螺旋映像表示部群５８に表示するフレームを特定する情報としてのフレームナンバと、そのフレームのデータ（本線データまたはプロキシデータ）を含むストリームを特定する情報としてのストリームナンバを生成し、データ供給制御部１１１３に供給する。
データ供給制御部１１１３は、ブロックどうしの間でやりとりされるデータの中継等を行う。
即ち、データ供給制御部１１１３は、例えば、GUI制御部１１１１からの閾値を受信し、その閾値を、Fyファイル管理部１１１４に供給する。また、データ供給制御部１１１３は、例えば、ストリーム復号位置検出部１１１２からのフレームナンバおよびストリームナンバを受信し、そのフレームナンバおよびストリームナンバを、表示タイプ取得部１１１５に供給する。また、データ供給制御部１１１３は、例えば、記憶装置２２から読み出されたFyファイルを受信することにより取得し、そのFyファイルを、Fyファイル管理部１１１４に供給する。
Fyファイル管理部１１１４は、データ供給制御部１１１３から供給されるFyファイルの管理（記憶）を行う。
表示タイプ取得部１１１５は、Fyファイル管理部１１１４で管理されているFyファイルを参照することにより、データ供給制御部１１１３から供給されるフレームナンバ（さらには、必要なストリームナンバ）によって特定されるフレーム、即ち、螺旋映像表示部群５８に表示するフレームの表示タイプを取得し、デコーダ１１１６および表示制御部１１１７、その他の編集システムを構成する必要なブロックである、例えば、GUI制御部１１１１などに供給する。
デコーダ１１１６は、メモリ制御部１１１６Ａを内蔵しており、データ供給制御部１１１３から供給されるストリーム（本線データまたはプロキシデータ）を復号し、その結果得られるフレームの画像データ（ベースバンドの画像データ）を、表示制御部１１１７に供給する。
なお、デコーダ１１１６は、ストリームを復号するにあたって必要なデータを、XDRAM５（図１）に記憶させながら、ストリームの復号を行うが、デコーダ１１１６が内蔵するメモリ制御部１１１６Ａは、XDRAM５に対するデータの読み書きを制御する。また、デコーダ１１１６は、後述するように、螺旋映像表示部群５８に表示するフレームの表示タイプが静止画タイプである場合に、デコードを行わないことがあるが、螺旋映像表示部群５８に表示するフレームの表示タイプが静止画タイプであることについては、表示タイプ取得部１１１５からの表示タイプを参照することにより認識する。
表示制御部１１１７は、GUI制御部１１１１から供給される情報や、Fyファイル管理部１１１４で管理されているFyファイル等に応じて、ディスプレイ４０に対して編集画面（図２）等を表示させる。
また、表示制御部１１１７は、デコーダ１１１６から供給されるフレームの画像データに対応する画像を、表示タイプ取得部１１１５から供給される表示タイプと、データ供給制御部１１１３から供給される再生時間差及び再生速度ｖとに基づいて、編集画面５０における表示部５５の螺旋映像表示部群５８に表示する。
即ち、表示制御部１１１７は、デコーダ１１１６から供給されるフレームの画像データを、再生速度ｖに対応するフレーム数だけ間引き、当該間引き対象とならなかったフレームの画像データの画像を、そのフレームの表示タイプが表す表示方法で、該オペレータにより設定された再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
なお、表示制御部１１１７は、再生パラメータとしての再生時間差及び再生速度ｖがデータ供給制御部１１１３から供給されない場合（つまりオペレータにより設定操作が行われていない場合）には、予めデフォルトとして設定された再生パラメータを用いるようになされている。また、ディスプレイ４０では、XDRAM５（図１）の一部の記憶領域に記憶されているデータに対応する画像が表示されるようになっており、表示制御部１１１７は、そのXDRAM５（図１）に画像データを書き込むことで、その画像データに対応する画像を、螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）に表示させる。
ところで、スクラブにおいて螺旋映像表示部群５８に表示するフレームとして指示されたフレームを、注目フレームということとした場合、表示タイプ取得部１１１５では、Fyファイル管理部１１１４で管理（記憶）されているFyファイルに基づいて注目フレームの表示タイプが取得され、これが表示制御部１１１７に供給される。
またこの場合、デコーダ１１１６では、記憶装置２２からデータ供給制御部１１１３を介して供給されるデータが、注目フレームの画像データに復号され、これが表示制御部１１１７に供給される。したがって、表示制御部１１１７は、注目フレームの画像データに対応する画像を、そのフレームの表示タイプが表す表示方法で、かつ再生速度ｖに対応するタイミングで、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させることになる。
ちなみに、Fyファイルには、上述したように、フレーム単位の変化量と表示タイプのいずれか一方、または両方が選択されて格納されるため、Fyファイルには、変化量と表示タイプの両方が格納されている場合、変化量が格納されているが、表示タイプが格納されていない場合、表示タイプが格納されているが、変化量が格納されていない場合がある。
Fyファイルに表示タイプが格納されている場合、即ち、変化量と表示タイプの両方が格納されている場合と、表示タイプが格納されているが、変化量が格納されていない場合とにおいては、Fyファイルに格納されている表示タイプを、そのまま用いて、注目フレームの画像データに対応する画像を、螺旋映像表示部群５８に表示させることができる。
また、Fyファイルに変化量が格納されている場合、即ち、変化量と表示タイプの両方が格納されている場合と、変化量が格納されているが、表示タイプが格納されていない場合とにおいては、Fyファイル管理部１１１４において、Fyファイルに格納されているフレーム単位の変化量に基づき、フレーム単位の表示タイプを求め、その表示タイプを用いて、注目フレームの画像データに対応する画像を、螺旋映像表示部群５８に表示させることができる。
次に、図８０は、図７９のFyファイル管理部１１１４と表示タイプ取得部１１１５の構成例を示している。
Fyファイル管理部１１１４は、ファイル記憶部１１２１、変化量取得部１１２２、表示タイプ決定部１１２３、および表示タイプ書き込み部１１２４から構成されている。
ファイル記憶部１１２１は、データ供給制御部１１１３（図８０）から供給されるFyファイル（に格納されたデータ）を記憶する。
変化量取得部１１２２は、ファイル記憶部１１２１に記憶されたFyファイルから、フレーム単位の変化量を読み出すことにより取得し、表示タイプ決定部１１２３に供給する。
表示タイプ決定部１１２３は、記憶部１１３１、閾値処理部１１３２、連続性判定部１１３３、および決定部１１３４から構成され、変化量取得部１１２２から供給されるフレーム単位の変化量に基づき、図５９の表示タイプ決定部１０２３と同様にして、フレーム単位の表示タイプを決定（再決定）し、表示タイプ書き込み部１１２４に供給する。
ここで、表示タイプ決定部１１２３において、記憶部１１３１、閾値処理部１１３２、連続性判定部１１３３、または決定部１１３４は、図５９の表示タイプ決定部１０２３の記憶部１０８１、閾値処理部１０８２、連続性判定部１０８３、または決定部１０８４とそれぞれ同様に構成される。
なお、閾値処理部１１３２は、閾値処理部１０８２と同様に、フレーム単位の変化量と閾値とを比較するが、閾値処理部１１３２が変化量と比較する閾値は、図５３のGUI制御部１１１１からデータ供給制御部１１１３を介して、閾値処理部１１３２に供給されるようになっている。
表示タイプ書き込み部１１２４は、Fyファイル管理部１１１４から供給されるフレーム単位の表示タイプを、ファイル記憶部１１２１に記憶されているFyファイル（図６３）に格納されているフレーム番号およびタイムコードに対応付けて記憶させる（書き込む）。
表示タイプ取得部１１１５は、表示タイプ読み出し部１１４１から構成される。表示タイプ読み出し部１１４１は、Fyファイル管理部１１１４で管理されているFyファイル、即ち、Fyファイル管理部１１１４のファイル記憶部１１２１に記憶されているFyファイルから、データ供給制御部１１１３から供給される注目フレームのフレームナンバに対応付けられている表示タイプを読み出すことにより取得し、図７９のデコーダ１１１６や表示制御部１１１７等に供給する。
次に、図７９において行われるスクラブでは、例えば、図２に示したスクラブバー６６のスクラブつまみ６７の位置によって、ディスプレイ４０（に表示される螺旋映像表示部群５８）に表示する（再生映像の）フレーム（注目フレーム）が指定される。
即ち、図８０のGUI制御部１１１１は、表示制御部１１１７にスクラブバー６６を表示させ、そのスクラブバー６６のスクラブつまみ６７の位置によって指定されるフレームを、注目フレームとして認識する。
ここで、図８１を参照して、スクラブつまみ６７の位置と、その位置によって指定されるフレームとの関係について説明する。
図８１は、スクラブバー６６を示している。
スクラブバー６６においては、スクラブつまみ６７が移動可能な水平方向の移動可能範囲（水平方向が、例えば、１０数cm程度の長さの範囲）は、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像（のストリーム）を構成するフレームの数と同一の小区間（以下、適宜、指定区間という）に区分される。
ここで、図８１では、移動可能範囲が、F個の指定区間に区分されている。
また、指定区間の水平方向の長さ（移動可能範囲を指定区間に区切るときの幅）を区間長ということとすると、図８１では、移動可能範囲は、同一の区間長の指定区間に区分されている（等分されている）。
移動可能範囲を区分する各指定区間には、例えば、左側の指定区間から右側の指定区間の方向に、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームが、時系列に割り当てられる。従って、移動可能範囲の左からi番目の指定区間を第i指定区間というとともに、該再生映像を構成するフレームの、先頭からi番目のフレームを第iフレームということとすると、第i指定区間には、第iフレームが割り当てられる。
GUI制御部１１１１は、スクラブつまみ６７が位置している指定区間を、螺旋映像表示部群５８に直前に表示されたフレームの表示タイプが表す表示レートに応じたタイミングで検出し、その指定区間に割り当てられているフレームを、注目フレームとして認識する。
ここで、表示タイプとして、図５７に示した静止画タイプV1、通常タイプV2、および高表示レート低解像度タイプV3の３つを採用し、静止画タイプV1と通常タイプV2の表示レートが、例えば、３０フレーム／秒であり、高表示レート低解像度タイプV3の表示レートが、例えば、６０フレーム／秒であるとする。なお、この通常タイプV2の表示レートは、再生パラメータのうちの再生速度ｖに対応する表示レートである。
図８２は、通常タイプV2と高表示レート低解像度タイプV3のフレームそれぞれのスクラブでの表示方法を示している。
GUI制御部１１１１は、螺旋映像表示部群５８に直前に表示されたフレームの表示タイプが、３０フレーム／秒の表示レートの静止画タイプV1または通常タイプV2であるときには、１／３０秒間隔で、スクラブつまみ６７が位置している指定区間を検出し、その指定区間に割り当てられているフレームを、注目フレームとして認識する。従って、表示タイプが、通常タイプV2であるときには、螺旋映像表示部群５８に表示されるフレーム（注目フレーム）は、１／３０秒間隔、つまり、３０フレーム／秒の表示レートで更新される。
また、GUI制御部１１１１は、螺旋映像表示部群５８に直前に表示されたフレームの表示タイプが、例えば、６０フレーム／秒の表示レートの高表示レート低解像度タイプV3であるときには、１／６０秒間隔で、スクラブつまみ６７が位置している指定区間を検出し、その指定区間に割り当てられているフレームを、注目フレームとして認識する。従って、表示タイプが、高表示レート低解像度タイプV3であるときには、螺旋映像表示部群５８に表示されるフレーム（注目フレーム）は、１／６０秒間隔、つまり、６０フレーム／秒の表示レートで更新される。
以上から、スクラブつまみ６７が、例えば、１／３０秒間に、２つの指定区間分の長さだけ左から右に移動する速さで移動された場合、表示タイプが、例えば、通常タイプV2のフレームが連続する通常区間では、１／３０秒間隔で、１フレームおきのフレーム、つまり、第iフレーム、第i+2フレーム、第i+4フレーム、・・・が注目フレームとなり、その結果、螺旋映像表示部群５８では、画像が、コマ落ち状態で、２倍速で表示される。
また、スクラブつまみ６７が、上述の場合と同様に、１／３０秒間に、２つの指定区間分の長さだけ左から右に移動する速さで移動された場合、即ち、１／６０秒間に、１つの指定区間分の長さだけ左から右に移動する速さで移動された場合、表示タイプが、例えば、高表示レート低解像度タイプV3のフレームが連続する高表示レート低解像度区間では、１／６０秒間隔で、１フレームごとのフレーム、つまり、第iフレーム、第i+1フレーム、第i+2フレーム、・・・が注目フレームとなり、その結果、螺旋映像表示部群５８では、画像が、コマ落ちなしで、２倍速で表示される。
以上のように、スクラブつまみ６７を、２倍速の表示（再生）を行うような速い移動速度で移動させた場合、コマ落ちが生じる表示タイプのフレームと、コマ落ちが生じない表示タイプのフレームとがある。即ち、表示レートが通常タイプV2に比べて高い高表示レート低解像度タイプV3のフレーム、つまり、動きが大きいフレームについては、スクラブつまみ６７が速く動かされても、コマ落ちが生じにくくなっている。これにより、動きが大きいフレームについて、画像の時間的な変化を見逃すのを防止することができる。
なお、上述したように、通常区間では、１／３０秒間隔で、注目フレームが更新されるのに対して、高表示レート低解像度区間では、通常区間の１／２の１／６０秒間隔で、注目フレームが更新される。
従って、デコーダ１１１６（図７９）は、高表示レート低解像度区間のフレーム（表示タイプが高表示レート低解像度タイプV3のフレーム）を、通常区間のフレーム（表示タイプが通常タイプV2のフレーム）の２倍の速度で復号する必要がある。さらに、高表示レート低解像度区間のフレームは、通常区間のフレームよりも動きの大きなフレームであるから、解像度が一定である場合には、デコーダ１１１６での復号に要するデータのデータ量については、高表示レート低解像度区間のフレームの方が、通常区間のフレームよりも多い。以上から、高表示レート低解像度区間のフレームの表示には、通常区間のフレームの表示に比較して大きな負荷がかかる。
そこで、この編集装置２では、通常区間のフレームを表示する場合には、本線データとしての画像データを復号し、高表示レート低解像度区間のフレームを表示する場合には、本線データよりもデータ量が少ないプロキシデータとしての画像データを復号し、これにより、高表示レート低解像度区間のフレームの表示にかかる負荷を軽減するようになっている。
また、上述の場合には、スクラブつまみ６７が、例えば、１／３０秒間に、２つの指定区間分の長さだけ左から右に移動する速さで移動されることとしたが、その他、例えば、スクラブつまみ６７が、１／３０秒間に、１つの指定区間分の長さだけ左から右に移動する速さで移動されることとした場合には、表示タイプが、通常タイプV2のフレームが連続する通常区間では、１／３０秒間隔で、１フレームごとのフレームが注目フレームとなり、その結果、螺旋映像表示部群５８では、画像が、コマ落ちなしで、１倍速で表示される。
また、スクラブつまみ６７が、１／３０秒間に、１つの指定区間分の長さだけ左から右に移動する速さで移動された場合には、スクラブつまみ６７は、１／６０秒間に、１つの指定区間分の長さの１／２だけ左から右に移動するから、表示タイプが、高表示レート低解像度タイプV3のフレームが連続する高表示レート低解像度区間では、１／３０秒間に、同一のフレームが注目フレームとなり、その結果、螺旋映像表示部群５８では、やはり、画像が、コマ落ちなしで、１倍速で表示される。
次に、図８３を参照して、表示タイプが静止画タイプV1のフレームの表示について説明する。
この編集装置２では、表示タイプが静止画タイプV1のフレームが連続する静止画区間のフレームについては、その静止画区間のフレームの中で、注目フレーム（表示対象のフレーム）が変更されても、螺旋映像表示部群５８に直前に表示されたフレームの画像が表示される。
即ち、静止画区間のフレームについては、その静止画区間のフレームが注目フレームである限り、その静止画区間において最初に注目フレームとなったフレームの画像が表示し続けられる。
従って、例えば、図８３の上から１番目に示すように、スクラブの開始時に、スクラブつまみ６７が、静止画区間以外の区間（ここでは、通常区間または高表示レート低解像度区間）のフレームを注目フレームに指定している場合において、オペレータがスクラブつまみ６７を左から右方向に移動させ、これにより、静止画区間のフレームの中で、その静止画区間の左端に位置するフレーム（静止画区間の中で時間的に最も先行するフレーム）が、最初に、注目フレームに指定されると、デコーダ１１１６（図７９）において、その最初に注目フレームに指定されたフレームの画像データが復号され、螺旋映像表示部群５８において、対応する画像が表示される。
そして、その後は、静止画区間のフレームが注目フレームに指定されている限り、最初に注目フレームに指定されたフレームの画像が、現在の注目フレームの画像として表示される。従って、デコーダ１１１６では、静止画区間のフレームが注目フレームに指定されている限り、現在の注目フレームの画像データの復号は、最初に注目フレームに指定されたフレームの画像データの復号を除いて行われない。
また、例えば、図８３の上から２番目に示すように、スクラブの開始時に、スクラブつまみ６７が、静止画区間のフレームを注目フレームに指定している場合には、デコーダ１１１６（図７９）において、スクラブの開始時に注目フレームに指定されたフレームの画像データが復号され、螺旋映像表示部群５８において、対応する画像が表示される。
そして、その後は、静止画区間のフレームが注目フレームに指定されている限り、スクラブの開始時に注目フレームに指定されたフレームの画像が、現在の注目フレームの画像として表示される。従って、デコーダ１１１６では、静止画区間のフレームが注目フレームに指定されている限り、現在の注目フレームの画像データの復号は、スクラブの開始時に注目フレームに指定されたフレームの画像データの復号を除いて行われない。
さらに、例えば、図８３の上から３番目（下から１番目）に示すように、スクラブの開始時に、スクラブつまみ６７が、静止画区間以外の区間（ここでは、通常区間または高表示レート低解像度区間）のフレームを注目フレームに指定している場合において、オペレータがスクラブつまみ６７を右から左方向に移動させ、これにより、静止画区間のフレームの中で、その静止画区間の右端に位置するフレーム（静止画区間の中で時間的に最も後行するフレーム）が、最初に、注目フレームに指定されると、デコーダ１１１６（図７９）において、その最初に注目フレームに指定されたフレームの画像データが復号され、螺旋映像表示部群５８において、対応する画像が表示される。
そして、その後は、静止画区間のフレームが注目フレームに指定されている限り、最初に注目フレームに指定されたフレームの画像が、現在の注目フレームの画像として表示される。従って、デコーダ１１１６では、静止画区間のフレームが注目フレームに指定されている限り、現在の注目フレームの画像データの復号は、最初に注目フレームに指定されたフレームの画像データの復号を除いて行われない。
次に、図８４のフローチャートを参照して、スクラブの処理について説明する。
例えば、オペレータが、操作コントローラ３７、マウス３８又はキーボード３９を操作して、編集対象となるAVファイルを指定すると、その操作に対応した操作信号が、操作コントローラ３７、マウス３８又はキーボード３９からGUI制御部１１１１に供給される。
GUI制御部１１１１は、ステップＳ１１１１において、キーボード３９またはマウス３８からの操作信号に応じて、編集対象となるAVファイルを認識して、ステップＳ１１１２に進む。
ステップＳ１１１２では、Fyファイル管理部１１１４が、GUI制御部１１１１が編集対象として認識したAVファイルに対応するFyファイルをキャッシュ（一時記憶）し、ステップＳ１１１３に進む。
即ち、GUI制御部１１１１は、編集対象として認識したAVファイルに対応するFyファイルを供給するように、ストリーム復号位置検出部１１１２を介して、データ供給制御部１１１３を制御する。データ供給制御部１１１３は、GUI制御部１１１１からの制御にしたがい、記憶装置２２からFyファイルを読み出し、Fyファイル管理部１１１４に供給する。ステップＳ１１１２において、Fyファイル管理部１１１４は、以上のようにして、データ供給制御部１１１３から供給されるFyファイルを、ファイル記憶部１１２１（図５４）に記憶させる。
ステップＳ１１１３では、Fyファイル管理部１１１４の変化量取得部１１２２（図８０）が、直前のステップＳ１１１２でファイル記憶部１１２１に記憶されたFyファイルに、表示タイプが存在するかどうかを判定する。
ステップＳ１１１３において、ファイル記憶部１１２１に記憶されたFyファイルに、表示タイプが存在すると判定された場合、後述するステップＳ１１１４をスキップして、ステップＳ１１１５に進む。
また、ステップＳ１１１３において、ファイル記憶部１１２１に記憶されたFyファイルに、表示タイプが存在しないと判定された場合、変化量取得部１１２２は、ファイル記憶部１１２１に記憶されたFyファイルから、フレーム単位の変化量を読み出し、表示タイプ決定部１１２３（図８０）に供給して、ステップＳ１１１４に進む。
なお、ここでは、ファイル記憶部１１２１に記憶されたFyファイルには、少なくとも、フレーム単位の変化量としての動き情報が記憶されているものとする。
ステップＳ１１１４では、表示タイプ決定部１１２３が、変化量取得部１１２２から供給されるフレーム単位の変化量に基づき、図５９の表示タイプ決定部１０２３と同様にして、フレーム単位の表示タイプを決定し、表示タイプ書き込み部１１２４（図８０）に供給する。そして、表示タイプ書き込み部１１２４は、表示タイプ決定部１１２３からの表示タイプを、ファイル記憶部１１２１のFyファイルに書き込み、ステップＳ１１１４からステップＳ１１１５に進む。
なお、表示タイプ決定部１１２３の閾値処理部１１３２（図８０）は、ステップＳ１１１４で表示タイプを決定するにあたって、変化量と閾値とを比較するが、その閾値としては、図５９の表示タイプ決定部１０２３の閾値処理部１０８２が用いるのと同一の閾値を使用する。
また、上述したように、ステップＳ１１１３からステップＳ１１１５に進むとき、またはステップＳ１１１４からステップＳ１１１５に進むとき、図２の編集画面５０その他のGUIをディスプレイ４０に表示する。
ステップＳ１１１５では、GUI制御部１１１１が、編集プログラムを終了するように、操作コントローラ３７、マウス３８又はキーボード３９が操作されたかどうかを判定する。
ステップＳ１１１５において、編集プログラムを終了するように、操作コントローラ３７、マウス３８又はキーボード３９が操作されていないと判定された場合、ステップＳ１１１６に進み、GUI制御部１１１１は、ステップＳ１１１３からステップＳ１１１５に進むとき、またはステップＳ１１１４からステップＳ１１１５に進むときに表示された編集画面５０（図２）のスクラブバー６６が有するスクラブつまみ６７が移動されたかどうか、即ち、操作コントローラ３７、マウス３８又はキーボード３９を操作することにより、スクラブつまみ６７を移動したかどうかを判定する。
ステップＳ１１１６において、スクラブつまみ６７が移動されたと判定された場合、即ち、オペレータが、スクラブつまみ６７を移動するように、操作コントローラ３７、マウス３８又はキーボード３９を操作し、その操作に対応する操作信号が、操作コントローラ３７、マウス３８又はキーボード３９からGUI制御部１１１１に供給された場合、GUI制御部１１１１は、スクラブつまみ６７が位置する指定区間（図８１）に割り当てられたフレームを注目フレームとし、その注目フレームの情報を、ストリーム復号位置検出部１１１２およびデータ供給制御部１１１３を介して、表示タイプ取得部１１１５に供給して、ステップＳ１１１７に進む。
ステップＳ１１１７では、表示タイプ取得部１１１５が、GUI制御部１１１１から、ストリーム復号位置検出部１１１２およびデータ供給制御部１１１３を介して供給される注目フレームの情報に基づき、注目フレームの表示タイプを、Fyファイル管理部１１１４のファイル記憶部１１２１（図８０）から読み出すことにより取得し、GUI制御部１１１１、デコーダ１１１６、および表示制御部１１１７に供給する。さらに、ステップＳ１１１７では、デコーダ１１１６と表示制御部１１１７が、表示タイプ取得部１１１５からの注目フレームの表示タイプを判定し、その判定の結果に基づき、注目フレームの画像を表示する表示制御処理（後述するステップＳ１１１８乃至Ｓ１１２３）を行って、ステップＳ１１１５に戻る。
即ち、ステップＳ１１１７において、注目フレームの表示タイプが、静止画タイプV1であると判定された場合、ステップＳ１１１８に進み、表示制御部１１１７は、直前に注目フレームであったフレーム（以下、適宜、前回フレームという）の表示タイプが静止画タイプV1であり、かつ、前回フレームと注目フレームとが、同一の静止画区間のフレームであるかどうかを、Fyファイル管理部１１１４のファイル記憶部１１２１に記憶されたFyファイルを参照することにより判定する。
ステップＳ１１１８において、前回フレームと注目フレームとが、同一の静止画区間のフレームでないと判定された場合、ステップＳ１１１９に進み、デコーダ１１１６は、データ供給制御部１１１３が記憶装置２２から注目フレームの本線データ（さらには、その注目フレームの復号に必要なデータ）を読み出し、デコーダ１１１６に供給するのを待って、その注目フレームの本線データを取得（受信）して、ステップＳ１１２０に進む。
ステップＳ１１２０では、デコーダ１１１６は、データ供給制御部１１１３から取得した注目フレームの本線データを復号し、その結果得られる画像データを、表示制御部１１１７に供給して、ステップＳ１１２１に進む。ステップＳ１１２１では、表示制御部１１１７が、デコーダ１１１６からの注目フレームの画像データをバッファリングし、ステップＳ１１２２に進み、該バッファリングされた画像データに対応する画像を、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
従って、表示タイプが静止画タイプV1のフレームの画像としては、本線データとしての画像データに対応する画像、即ち、（プロキシデータとしての画像データに対応する画像よりも）解像度が高い画像が表示される。
一方、ステップＳ１１１８において、前回フレームと注目フレームとが、同一の静止画区間のフレームであると判定された場合、ステップＳ１１２２に進み、表示制御部１１１７は、直前（間近）に行われたステップＳ１１２１でバッファリングされた画像データに対応する画像を、注目フレームの画像として、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
即ち、前回フレームと注目フレームとが、同一の静止画区間のフレームである場合には、その静止画区間のフレームの画像としては、その静止画区間のフレームの中で、最初に注目フレームとなったフレームの画像が表示される。従って、この場合、デコーダ１１１６において復号を行わずに済むので、この編集装置２にかかる負荷を軽減することができる。
一方、ステップＳ１１１７において、注目フレームの表示タイプが、通常タイプV2であると判定された場合、ステップＳ１１１９乃至Ｓ１１２２に順次進み、上述したように、注目フレームの画像が表示される。
即ち、ステップＳ１１１９において、デコーダ１１１６は、データ供給制御部１１１３が記憶装置２２から注目フレームの本線データを読み出し、デコーダ１１１６に供給するのを待って、その注目フレームの本線データを取得して、ステップＳ１１２０に進む。
ステップＳ１１２０では、デコーダ１１１６は、データ供給制御部１１１３から取得した注目フレームの本線データを復号し、その結果得られる画像データを、表示制御部１１１７に供給して、ステップＳ１１２１に進む。ステップＳ１１２１では、表示制御部１１１７が、デコーダ１１１６からの注目フレームの画像データをバッファリングし、ステップＳ１１２２に進み、該バッファリングされた画像データに対応する画像を、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
従って、表示タイプが通常タイプV2のフレームの画像としては、本線データとしての画像データに対応する画像、即ち、（プロキシデータとしての画像データに対応する画像よりも）解像度が高い画像が表示される。
一方、ステップＳ１１１７において、注目フレームの表示タイプが、高表示レート低解像度タイプV3であると判定された場合、ステップＳ１１２３に進み、デコーダ１１１６は、データ供給制御部１１１３が記憶装置２２から注目フレームのプロキシデータ（さらには、注目フレームの復号に必要なデータ）を読み出し、デコーダ１１１６に供給するのを待って、その注目フレームのプロキシデータを取得して、ステップＳ１１２０に進む。
ステップＳ１１２０では、デコーダ１１１６は、データ供給制御部１１１３から取得した注目フレームのプロキシデータを復号し、その結果得られる画像データを、表示制御部１１１７に供給して、ステップＳ１１２１に進む。ステップＳ１１２１では、表示制御部１１１７が、デコーダ１１１６からの注目フレームの画像データをバッファリングし、ステップＳ１１２２に進み、該バッファリングされた画像データに対応する画像を、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
従って、表示タイプが高表示レート低解像度タイプV3のフレームの画像としては、プロキシデータとしての画像データに対応する画像、即ち、（本線データとしての画像データに対応する画像よりも）解像度が低い画像が表示される。
一方、ステップＳ１１１６において、スクラブつまみ６７が移動されていないと判定された場合、ステップＳ１１２２に進み、表示制御部１１１７は、直前（間近）に行われたステップＳ１１２１で、当該バッファリングされた画像データに対応する画像を、注目フレームの画像として、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
即ち、スクラブつまみ６７が、前回のステップＳ１１１６の判定が行われたときから移動されていない場合には、表示制御部１１１７は、フレームバッファ１１１７Ａに記憶された画像データに対応する画像、つまり、直前に表示された画像（前回のステップＳ１１２２において表示された画像）を、再度表示させる。
以上のように、ステップＳ１１２２において、注目フレームの画像が表示された後は、ステップＳ１１２４に進み、GUI制御部１１１１は、ステップＳ１１１７で表示タイプ取得部１１１５から供給された注目フレームの表示タイプを判定する。
ステップＳ１１２４において、注目フレームの表示タイプが高表示レート低解像度タイプV3であると判定された場合、ステップＳ１１２５に進み、GUI制御部１１１１は、前回のステップＳ１１１６での、スクラブつまみ６７が移動されたかどうかの判定を行ってから、高表示レート低解像度タイプV3の表示レートに対応する時間である、例えば、１／６０秒が経過したかどうかを判定する。
ステップＳ１１２５において、１／６０秒が経過していないと判定された場合、ステップＳ１１２５に戻る。
また、ステップＳ１１２５において、１／６０秒が経過したと判定された場合、ステップＳ１１１５に戻り、以下、上述した処理が繰り返される。
従って、表示タイプが高表示レート低解像度タイプV3のフレームが注目フレームとなっている場合には、GUI制御部１１１１が、ステップＳ１１１６において、高表示レート低解像度タイプV3に応じた１／６０秒の周期で、スクラブつまみ６７が移動されたかどうかを判定する。
そして、スクラブつまみ６７が移動されたと判定された場合、表示制御部１１１７は、移動後のスクラブつまみ６７が位置する指定区間（図５５）に割り当てられたフレームのプロキシデータを復号することにより得られる画像データに対応する画像（低解像度の画像）を、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
また、スクラブつまみ６７が移動されていないと判定された場合、表示制御部１１１７は、直前にディスプレイ４０に表示された画像を、再度表示させる。
以上のようにして、表示タイプが高表示レート低解像度タイプV3のフレームについては、その表示レートである６０フレーム／秒で、画像が表示される。
一方、ステップＳ１１２４において、注目フレームの表示タイプが静止画タイプV1または通常タイプV2のうちのいずれかであると判定された場合、ステップＳ１１２６に進み、GUI制御部１１１１は、前回のステップＳ１１１６での、スクラブつまみ６７が移動されたかどうかの判定を行ってから、静止画タイプV1と通常タイプV2の表示レートに対応する時間である、例えば、１／３０秒が経過したかどうかを判定する。
ステップＳ１１２６において、１／３０秒が経過していないと判定された場合、ステップＳ１１２６に戻る。
また、ステップＳ１１２６において、１／３０秒が経過したと判定された場合、ステップＳ１１１５に戻り、以下、上述した処理が繰り返される。
従って、表示タイプが静止画タイプV1または通常タイプV2のうちのいずれかのフレームが注目フレームとなっている場合には、GUI制御部１１１１が、ステップＳ１１１６において、静止画タイプV1と通常タイプV2に応じた１／３０秒の周期で、スクラブつまみ６７が移動されたかどうかを判定する。
そして、スクラブつまみ６７が移動されたと判定された場合、表示制御部１１１７は、移動後のスクラブつまみ６７が位置する指定区間（図５５）に割り当てられたフレームの本線データを復号することにより得られる画像データに対応する画像（高解像度の画像）を、再生時間差ΔＴ（図５）の時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させる。
また、スクラブつまみ６７が移動されていないと判定された場合、表示制御部１１１７は、直前にディスプレイ４０に表示された画像を、再度表示させる。
以上のようにして、表示タイプが静止画タイプV1と通常タイプV2のフレームについては、その表示レートである３０フレーム／秒で、画像が表示される。
一方、ステップＳ１１１５において、編集プログラムを終了するように、キーボード３９またはマウス３８が操作されたと判定された場合、即ち、例えば、オペレータが、編集プログラムを終了するように、キーボード３９またはマウス３８を操作し、その操作に対応した操作信号が、キーボード３９またはマウス３８からGUI制御部１１１１に供給された場合、スクラブの処理（編集プログラムの実行）は終了する。
以上のように、再生速度ｖに対応する表示レートを基準として、スクラブつまみ６７によって指定されているフレームである注目フレームの表示タイプを取得し、その表示タイプが表す表示方法で、再生時間差ΔＴの時間差を隔てて螺旋映像表示部群５８（映像表示部Ｗ５７１〜Ｗ５７ｎ）にそれぞれ表示させるようにしたので、スクラブを適切に行うことができる。
即ち、表示タイプが静止画タイプV1のフレーム、つまり、動きがないフレームが注目フレームである場合には、その注目フレームを含む、静止画タイプV1のフレームが連続する静止画区間において最初に注目フレームとなったフレームの画像データを、本線データを復号することにより得て、その画像データに対応する画像を表示するので、同一のフレームの高画質の画像が表示され、その結果、オペレータは、画像の内容を、容易に確認することができる。さらに、同一の静止画区間のフレームが連続して注目フレームとなっている限りは、本線データを復号する必要がないので、編集装置２にかかる負担を軽減することができる。
また、表示タイプが高表示レート低解像度タイプV3フレーム、つまり、動きが大きい（激しい）フレームが注目フレームである場合には、高い表示レートで、画像を表示するので、オペレータは、動きの激しい画像の内容を正確に確認することができる。
さらに、表示タイプが高表示レート低解像度タイプV3フレームが注目フレームである場合には、本線データよりもデータ量が少ないプロキシデータを復号し、その結果得られる画像データに対応する画像を表示するので、編集装置２にかかる負担を軽減し、編集装置２に大きな負荷がかかることに起因して、編集プログラムが応答しなくなること（編集装置２がハングアップすること）を防止することができる。
また、表示タイプが通常タイプV2のフレーム、つまり、激しくはないが、ある程度の動きがあるフレームが注目フレームである場合には、表示タイプが高表示レート低解像度タイプV3のフレームより低い表示レートではあるが、表示タイプが高表示レート低解像度タイプV3のフレームより高い解像度の画像が表示される。表示タイプが通常タイプV2のフレームは、表示タイプが高表示レート低解像度タイプV3のフレームより画像の動き（フレーム間の画素値の変化）が小さいので、表示タイプが高表示レート低解像度タイプV3のフレームより低い表示レートで表示しても、オペレータが、画像の内容を正確に確認することができる。
さらに、表示タイプが通常タイプV2のフレームは、表示タイプが高表示レート低解像度タイプV3のフレームより画像の動きが小さいので、表示タイプが通常タイプV2のフレームの本線データのデータ量は、表示タイプが高表示レート低解像度タイプV3のフレームの本線データのデータ量よりも少ない。従って、表示タイプが通常タイプV2のフレームが注目フレームである場合に、本線データを復号し、その結果得られる画像データに対応する高解像度の画像を表示しても、編集装置２にかかる負荷は、表示タイプが高表示レート低解像度タイプV3のフレームの本線データを復号する場合にかかる負荷よりも小さくなる。
以上のように、スクラブの処理は、すべてのフレームを同一の表示方法で表示するのではなく、画像の変化量（動き情報、細かさ情報）に応じて、所定のパラメータを変更して再生映像を表示する。このパラメータは、具体的には、表示に関するパラメータ（表示パラメータ）として、画像の解像度を変えるとともに、再生に関するパラメータとして（再生パラメータ）、表示レート（フレームレート）、再生速度ｖを変えるようにした。加えて、画像の変化量に応じて、必要なフレームだけを復号するようにした。これらによって、適切なスクラブが可能となる。
（４−３）他のスクラブの処理の形態
なお、上述のスクラブの処理では、表示タイプが、動き情報に基づいて決定される、図５７に示した静止画タイプV1、通常タイプV2、および高表示レート低解像度タイプV3の３つであるとしたが、スクラブの処理は、表示タイプが、例えば、図６４に示した静止画タイプV11、通常タイプV12、高表示レート通常解像度タイプV13、超高表示レート低解像度タイプV14、および超超高表示レート低解像度タイプV15の５つであっても行うことができるし、表示タイプが、例えば、細かさ情報に基づいて決定される、図６８に示した低解像度通常表示レートタイプC1、通常タイプC2、および通常解像度低表示レートタイプC3の３つであっても行うことができる。
また、上述のスクラブの処理では、記憶装置２２に、解像度が高い画像の本線データと、解像度が低い画像のプロキシデータとを記録し、即ち、同一内容の２種類の解像度の画像を記録し、フレームの表示タイプに応じて、解像度が高い画像、または解像度が低い画像を表示するようにしたが、その他、例えば、記憶装置２２に、高、中、低の３種類の解像度の画像を記録し、フレームの表示タイプに応じて、解像度が高の画像、解像度が中の画像、または解像度が低の画像を表示することが可能である。
さらに、上述のスクラブの処理では、フレームを割り当てる指定区間の区間長を一定としたが、その指定区間に割り当てるフレームの変化量としての、例えば、動き情報に応じた重み付けをした区間長とすることも可能である。
上述のスクラブの処理では、スクラブつまみ６７の位置が、表示レートに対応する周期で検出され、スクラブつまみ６７が位置する指定区間に割り当てられたフレームを注目フレームとして、その注目フレームが、螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎに、再生時間差ΔＴを隔ててそれぞれ表示される。
図８１で説明したように、スクラブバー６６の移動可能範囲が、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームの数と同一の数の、区間長が同一の指定区間に区分されている場合、スクラブつまみ６７を一定の速さで移動させると、スクラブつまみ６７は、ある単位時間において、ある一定の距離、ひいては、ある一定の数の指定区間を移動する。従って、表示レートが一定であれば、スクラブつまみ６７が一定の速度で一定の距離だけ移動されることによって、ある一定のフレーム数のフレームが表示される。
つまり、説明を簡単にするために、表示レートが一定であると過程すると、螺旋映像表示部群５８に表示されている再生映像に、動きが激しいフレームが連続する区間（以下、適宜、動きあり区間という）と、動きがないフレームが連続する区間（以下、適宜、動きなし区間という）とが存在する場合において、スクラブバー６６の移動可能範囲のうちの、動きあり区間のフレームが割り当てられている指定区間の範囲と、動きなし区間のフレームが割り当てられている指定区間の範囲のぞれぞれで、スクラブつまみ６７を一定の速度で一定の距離だけ移動しても、螺旋映像表示部群５８に表示されるフレームの数は変わらない。
しかしながら、動きあり区間のフレームが割り当てられている指定区間の範囲において、スクラブつまみ６７を移動させると、動きあり区間のフレームは、動きが激しいために、螺旋映像表示部群５８に表示される画像は大きく変化する（動く）。
一方、動きなし区間のフレームが割り当てられている指定区間の範囲において、スクラブつまみ６７を移動させると、動きない区間のフレームは、動きが（ほとんど）ないために、螺旋映像表示部群５８に表示される画像は（ほとんど）変わらない。
従って、スクラブバー６６の移動可能範囲を、区間長が同一の指定区間に区分した場合には、スクラブつまみ６７を一定の速度で一定の距離だけ移動させたときに、螺旋映像表示部群５８に表示される画像が大きく変化する範囲と、変わらない範囲とが生じる。
そして、動きなし区間のフレームが割り当てられている指定区間の範囲においては、スクラブつまみ６７をある程度移動させても、螺旋映像表示部群５８に表示される画像が変わらないので、スクラブつまみ６７を操作しているオペレータに煩わしさを感じさせることがある。
一方、動きあり区間のフレームが割り当てられている指定区間の範囲においては、スクラブつまみ６７をある程度移動させると、螺旋映像表示部群５８に表示される画像が大きく変化するので、スクラブつまみ６７を操作しているオペレータには、所望の画像のフレームを探し出すために、精細な（細かな）スクラブつまみ６７の操作が要求されることがある。
そこで、フレームを割り当てる指定区間の区間長は、一定ではなく、その指定区間に割り当てるフレームの変化量としての、例えば、動き情報に応じた重み付けをした区間長とし、これにより、スクラブバー６６の移動可能範囲を、変化量である動き情報が大のフレームが割り当てられる指定区間ほど、区間長が大の指定区間に区分することができる。以下にこの具体例を挙げる。
図８５は、以上のように、指定区間の区間長に重み付けをする場合の重みの例を示している。
図８５において、横軸はフレーム（先頭から何番目のフレームであるか）を表し、縦軸は変化量である動き情報を表す。
図８５では、式L1>L2>L3>L4を満たす閾値L1,L2,L3,L4を用いて、動き情報が閾値L1以上のフレームが割り当てられる指定区間の区間長の重みwが、例えば、１とされ、動き情報が閾値L2以上閾値L1未満のフレームが割り当てられる指定区間の区間長の重みwが、例えば、０．７とされる。また、動き情報が閾値L3以上閾値L2未満のフレームが割り当てられる指定区間の区間長の重みwが、例えば、０．５とされ、動き情報が閾値L4以上閾値L3未満のフレームが割り当てられる指定区間の区間長の重みwが、例えば、０．３とされる。さらに、動き情報が閾値L4未満のフレームが割り当てられる指定区間の区間長の重みwが、例えば、０．１とされる。
以上のような重みwを用いた重み付けをした区間長は、例えば、次のようにして求めることができる。
即ち、区間長に同一の重みwによる重み付けがされる指定区間が連続する区間を、同一重み区間ということとし、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームに割り当てられる指定区間のシーケンスが、Q個の同一重み区間に分けられるとする。
また、Q個の同一重み区間のうちの、先頭からq番目の同一重み区間を構成する指定区間の数、ひいては、q番目の同一重み区間を構成する指定区間に割り当てられているフレームの数をFqと表すとともに、q番目の同一重み区間を構成する各指定区間の区間長に付される重みをwqと表すこととする。
なお、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像のフレームの総数Fは、式F=F1+F2+・・・FQで表される。
いま、移動可能範囲の長さを１とすると、重み付けをしない場合、指定区間の区間長は、1/Fで表される。
一方、重み付けをする場合、先頭からq番目の同一重み区間を構成する指定区間の区間長は、wq／（ΣwiFi）で表される。即ち、先頭からq番目の同一重み区間の長さは、wqFq／（ΣwiFi）で表されるので、wqFq／（ΣwiFi）を、q番目の同一重み区間を構成する指定区間（に割り当てられているフレーム）の数Fqで除算することにより、重み付けをする場合の、先頭からq番目の同一重み区間を構成する指定区間の区間長を求めることができる。但し、ΣwiFiは、サフィックスiを、１からQに変えてのwiFiの総和を表す。
なお、重み付けをしない場合の、指定区間の区間長は、重み付けをする場合の重みw1,w2,・・・,wQがすべて同一の重みwであるとすることにより求めることができる。即ち、重み付けをする場合、先頭からq番目の同一重み区間を構成する指定区間の区間長は、上述したように、wq／（ΣwiFi）であるが、w1,w2,・・・,wQを、同一の重みwとすると、wq／（ΣwiFi）=w／（wΣFi）=1/ΣFi=1/Fとなる。
次に、図８５では、表示タイプを決定するのに用いられる閾値とは関係がない４つの閾値L1,L2,L3,L4を用いて、フレームに割り当てられる指定区間の区間長の重みwを求めるようにしたが、区間長の重みwは、その他、例えば、表示タイプを決定するのに用いられる閾値を用いて行うことが可能である。
即ち、図８６は、動き情報に基づく表示タイプを決定するのみ用いられる閾値HおよびLを用いて求められる重みの例を示している。
図８６において、横軸はフレーム（先頭から何番目のフレームであるか）を表し、縦軸は変化量である動き情報を表す。
図８６では、動き情報が閾値H以上のフレームが割り当てられる指定区間の区間長の重みwが、例えば、０．５とされ、動き情報が閾値L以上閾値H未満のフレームが割り当てられる指定区間の区間長の重みwが、例えば、０．３とされる。また、動き情報が閾値L未満のフレームが割り当てられる指定区間の区間長の重みwが、例えば、０．１とされる。
なお、フレームに割り当てられる指定区間の区間長の重みwは、その他、例えば、フレームの表示タイプが、そのフレームの動き情報に基づいて決定される場合に、その表示タイプに応じて決定することができる。
即ち、表示タイプが、動き情報に基づいて決定される場合には、その表示タイプがフレームの動きの程度を表す。具体的には、例えば、図５７に示したように、表示タイプが、動き情報に基づいて、静止画タイプV1、通常タイプV2、または高表示レート低解像度タイプV3のうちのいずれかに決定される場合には、原則として、静止画タイプV1のフレームは、動き情報が閾値L未満のフレームであり、通常タイプV2のフレームは、動き情報が閾値L以上閾値H未満のフレームである。また、高表示レート低解像度タイプV3のフレームは、動き情報が閾値H以上のフレームである。
従って、図８６で説明した閾値HおよびLを用いる場合と同様に、表示タイプを用いて、静止画タイプV1のフレームが割り当てられる指定区間の区間長の重みwを０．１に、通常タイプV2のフレームが割り当てられる指定区間の区間長の重みwを０．３に、高表示レート低解像度タイプV3のフレームが割り当てられる指定区間の区間長の重みwを０．５に、それぞれすることができる。
なお、フレームに割り当てられる指定区間の区間長の重みwを、そのフレームの表示タイプに応じて決定する場合には、静止画タイプV1のフレームが連続する静止画区間、通常タイプV2のフレームが連続する通常区間、高表示レート低解像度タイプV3のフレームが連続する高表示レート低解像度区間は、いずれも、同一重み区間ともなる。
次に、図８７は、区間長に重み付けをしない場合と、重み付けをする場合それぞれの指定区間を示している。
区間長に重み付けをしない場合には、図８７の上半分側に示すように、スクラブバー６６の移動可能範囲が、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームの数の、同一の区間長の指定区間に区分され、図８１で説明したように、左の指定区間から、螺旋映像表示部群５８に表示される再生映像を構成するフレームが時系列に割り当てられる。
区間長に重み付けをしない場合、静止画タイプV1のフレームが連続する静止画区間、通常タイプV2のフレームが連続する通常区間、高表示レート低解像度タイプV3のフレームが連続する高表示レート低解像度区間のいずれのフレームに割り当てられる指定区間の区間長もdになっている。
一方、区間長に重み付けをする場合には、図８７の下半分側に示すように、スクラブバー６６の移動可能範囲が、指定区間に区分され、図８１で説明したように、左の指定区間から、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームが時系列に割り当てられるが、変化量である動き情報が大のフレームが割り当てられる指定区間ほど、区間長が大になっている。
即ち、図８７では、静止画タイプV1のフレームが連続する静止画区間のフレーム、つまり、動きがないフレームに割り当てられる指定区間の区間長は、重み付けをしない場合の区間長dの1/2倍のd/2になっている。また、通常タイプV2のフレームが連続する通常区間のフレーム、つまり、激しいとまでは言えない動きがあるフレームに割り当てられる指定区間の区間長は、重み付けをしない場合の区間長dと同一のdになっている。さらに、高表示レート低解像度タイプV3のフレームが連続する高表示レート低解像度区間のフレーム、つまり、動きが激しいフレームに割り当てられる指定区間の区間長は、重み付けをしない場合の区間長dの3倍の3dになっている。
従って、区間長に重み付けをする場合には、スクラブつまみ６７が、区間長に重み付けをしない場合の1/2の移動量だけ移動されると、静止画区間のフレームの表示が終了する。その結果、スクラブつまみ６７をある程度移動させても、螺旋映像表示部群５８に表示される画像が変わらずに、スクラブつまみ６７を操作しているオペレータに煩わしさを感じさせることを防止することができる。
さらに、区間長に重み付けをする場合には、スクラブつまみ６７が、区間長に重み付けをしない場合の3倍の移動量だけ移動されると、螺旋映像表示部群５８に表示される注目フレームが、高表示レート低解像度区間のあるフレームから次のフレームに変更される。その結果、オペレータは、スクラブつまみ６７を、それほど精細な（細かな）に操作しなくても、所望の画像のフレームを容易に探し出すことができる。
なお、図８７には、横方向のスケールを、スクラブバー６６の移動可能範囲のスケールと一致させたタイプ情報（表示タイプを時系列に表す帯状の領域のGUI）を図示してある。
横方向のスケールが、スクラブバー６６の移動可能範囲のスケールと一致するタイプ情報においては、スクラブつまみ６７の位置におけるタイプ情報（の模様）が、スクラブつまみ６７が位置する指定区間に割り当てられたフレームの表示タイプを表す。
図８７において、タイプ情報としての帯状の領域のうちの、斜線を付して示す領域D1は、静止画タイプV1のフレームが連続する静止画区間を表しており、模様を付さずに示す領域D2は、通常タイプV2のフレームが連続する通常区間を表す。また、横線を付して示す領域D3は、高表示レート低解像度タイプV3のフレームが連続する高表示レート低解像度区間を表す。
図８７では、上述したように、区間長に重み付けをした場合の、静止画タイプV1のフレームが連続する静止画区間のフレームに割り当てられる指定区間の区間長は、重み付けをしない場合の区間長dの1/2倍のd/2になっているので、区間長に重み付けをした場合の静止画区間を表す領域D1の横方向の長さも、区間長に重み付けをしない場合の1/2倍になる。
また、図８７では、区間長に重み付けをした場合の、通常タイプV2のフレームが連続する通常区間のフレームに割り当てられる指定区間の区間長は、重み付けをしない場合の区間長dと同一のdになっているので、区間長に重み付けをした場合の通常区間を表す領域D2の横方向の長さも、区間長に重み付けをしない場合と同一になる。
さらに、図８７では、区間長に重み付けをした場合の、高表示レート低解像度タイプV3のフレームが連続する高表示レート低解像度区間のフレームに割り当てられる指定区間の区間長は、重み付けをしない場合の区間長dの3倍の3dになっているので、区間長に重み付けをした場合の高表示レート低解像度区間を表す領域D3の横方向の長さも、区間長に重み付けをしない場合の3倍になる。
以上のように、区間長に重み付けをした場合には、タイプ情報は、重み付け後の区間長に応じ、区間長に重み付けをしない場合と異なるものになる（逆に言えば、区間長に重み付けをしない場合には、タイプ情報は、区間長に重み付けをした場合と異なるものになる）。
この編集装置２では、動作モードとして、上述したような、指定区間の区間長に重み付けをする重み付けオンモードと、重み付けをしない重み付けオフモードとを設け、オペレータの操作に応じて、動作モードを、重み付けオンモードまたは重み付けオフモードに切り替えることができる。
そこで、図８８のフローチャートを参照して、この編集装置２のマイクロプロセッサ３が、指定区間の区間長に関して行う処理（区間長に関する処理）について説明する。
なお、編集画面５０（図２）の所定位置には、動作モードを、重み付けオンモードまたは重み付けオフモードに切り替えるときに操作される、図示せぬ重みボタンが設けられているとし、オペレータが、その重みボタンを操作することで、動作モードが、重み付けオンモードまたは重み付けオフモードに切り替えられることとする。
また、スクラブバー６６の移動可能範囲の長さは１であるとする。
区間長に関する処理では、ステップＳ１１３１において、GUI制御部１１１１が、動作モードが切り替えられたかどうかを判定する。ステップＳ１１３１において、動作モードが重み付けオンモードに切り替えられたと判定された場合、ステップＳ１１３２に進み、GUI制御部１１１１は、Fyファイル管理部１１１４（図８０）のファイル記憶部１１２１に記憶されたFyファイルにおける変化量または表示タイプに基づき、上述したように、フレームに割り当てられる各指定区間の区間長に付す重みを求めて、ステップＳ１１３３に進む。
ステップＳ１１３３では、GUI制御部１１１１が、フレームに割り当てられる各指定区間の区間長に付す重みに基づき、各指定区間について、重み付けをした区間長を求める。
即ち、ステップＳ１１３２において、変化量または表示タイプに基づき、上述したように、フレームに割り当てられる各指定区間の区間長に付す重みが求められた場合には、GUI制御部１１１１は、区間長に同一の重みwによる重み付けがされる指定区間が連続する区間を、同一重み区間として認識する。
そして、上述したように、スクラブの対象の動画を構成するフレームに割り当てられる指定区間のシーケンスが、Q個の同一重み区間に分けられるとすると、GUI制御部１１１１は、Q個の同一重み区間のうちの、先頭からq番目の同一重み区間を構成する指定区間の数Fqと、ステップＳ１１３３で求められた、ｑ番目の同一重み区間を構成する指定区間の区間長に付される重みwqとを用い、先頭からq番目の同一重み区間を構成する指定区間の区間長wq／（ΣwiFi）を求める。
GUI制御部１１１１は、ステップＳ１１３３でQ個の同一重み区間それぞれを構成する指定区間の区間長wq／（ΣwiFi）を求めると、その指定区間の区間長wq／（ΣwiFi）を、表示制御部１１１７（図８０）に供給して、ステップＳ１１３４に進み、編集画面４０の表示部５５に表示されているスクラブバー６６の移動可能範囲を区分する指定区間の区間長を、ステップＳ１１３３で求めた区間長に設定（変更）し、ステップＳ１１３１に戻る。
一方、ステップＳ１１３１において、動作モードが重み付けオフモードに切り替えられたと判定された場合、ステップＳ１１３５に進み、GUI制御部１１１１は、フレームに割り当てられる各指定区間の区間長を同一の1/Fに設定（変更）するとともに、その区間長1/Fを表示制御部１１１７に供給し、ステップＳ１１３１に戻る。なお、上述したように、Fは、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームの総数を表す。
ところで、上述のスクラブバー６６の先頭Ｂｓｔから後尾Ｂｅｄまでの移動可能範囲に対して、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像の最初から最後までに対応するフレームを割り当てたが、例えば図８９に示すように、当該再生映像の一部の範囲として、開始位置を指定するための始点インジゲータＩＧｓｔから、終了位置を指定するための終点インジゲータＩＧｅｄまでの範囲（割り当て範囲）に対応するフレームを割り当てることもできる。
この場合、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像の先頭のフレームから終わりのフレームまでの範囲のすべてではなく、一部の範囲を、割り当て範囲（スクラブバー６６の移動可能範囲の先頭の指定区間から終わりの指定区間までに割り当てられるフレームの範囲）とすることができる。
このように、スクラブバー６６の移動可能範囲に対して、再生映像の一部の範囲を割り当て範囲とすることにより、すべての範囲を割り当て範囲とする場合に比較して、スクラブバー６６の移動可能範囲の先頭の指定区間から終わりの指定区間までに割り当てられるフレームの数が少なくなり、その結果、指定区間の区間長が長くなる。
従って、指定区間の区間長が短いことに起因して、螺旋映像表示部群５８に表示する注目フレームとするフレームが、スクラブつまみ６７の移動前と移動後とで大きく変化することを防止することができ、その結果、所望の画像のフレームを、容易に探し出すことが可能となる。
なお、始点インジゲータＩＧｓｔおよび終点インジゲータＩＧｅｄは、スクラブバー６６の移動可能範囲の先頭の指定区間から終わりの指定区間までに割り当てるフレームの範囲である割り当て範囲を表すから、割り当て範囲情報ということができるとともに、割り当て範囲を指定するときに操作されるから、範囲指定操作手段ということもできる。
次に、図９０のフローチャートを参照して、図８９で説明したように、スクラブバー６６の移動可能範囲（の指定区間）に割り当てるフレームの範囲（割り当て範囲）を、始点インジゲータＩＧｓｔおよび終点インジゲータＩＧｅｄに応じて設定する割り当て範囲設定処理について説明する。
操作コントローラ３７、マウス３８又はキーボード３９から所定のスクラブ範囲設定開始操作がされると、ステップＳ１１４１において、GUI制御部１１１１（図５３）が、表示制御部１１１７を制御することにより、スクラブバー６６の所定位置に始点インジゲータＩＧｓｔおよび終点インジゲータＩＧｅｄを表示させ、ステップＳ１１４２に進む。
ステップＳ１１４２では、GUI制御部１１１１（図５３）が、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームのうちの、始点インジゲータＩＧｓｔの位置に対応するフレームから、終点インジゲータＩＧｅｄの位置に対応するフレームまでの範囲を、割り当て範囲として、その割り当て範囲のフレームを、スクラブバー６６の移動可能範囲に割り当てる。
即ち、いま、説明を簡単にするために、上述した指定区間の区間長に対する重み付けを考慮しないとすれば、GUI制御部１１１１は、スクラブバー６６の移動可能範囲を、その長さを割り当て範囲のフレームの数で除算した除算値を区間長とする指定区間に区分し、割り当て範囲のフレームを、移動可能範囲の先頭の指定区間から終わりの指定区間までに割り当てる。
そして、ステップＳ１１４２からステップＳ１１４３に進み、GUI制御部１１１１が、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄ（図８９）の移動が開始されたかどうか、即ち、オペレータが、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動するように、操作コントローラ３７、マウス３８またはキーボード３９を操作したかどうかを判定する。
ステップＳ１１４３において、始点インジゲータＩＧｓｔおよび終点インジゲータＩＧｅｄの移動のいずれも開始されていないと判定された場合、ステップＳ１１４３に戻る。
また、ステップＳ１１４３において、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄの移動が開始されたと判定された場合、即ち、オペレータが、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動するように、操作コントローラ３７、マウス３８またはキーボード３９を操作し、その操作に対応する操作信号が、操作コントローラ３７、マウス３８またはキーボード３９からGUI制御部１１１１に供給されている場合、GUI制御部１１１１は、キーボード３９またはマウス３８からの操作信号に応じて、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動する位置を求め、その位置を表す情報を、表示制御部１１１７に供給して、ステップＳ１１４４に進む。
ステップＳ１１４４では、表示制御部１１１７が、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを、直前に表示されていた位置に代えて、GUI制御部１１１１からの情報に応じた位置に表示させ、ステップＳ１１４５に進む。
ステップＳ１１４５では、GUI制御部１１１１が、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄの移動が終了されたかどうか、即ち、オペレータが、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動させる操作コントローラ３７、マウス３８またはキーボード３９の操作を終了したかどうかを判定する。
ステップＳ１１４５において、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動させる操作が終了されていないと判定された場合、即ち、オペレータが、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動するように、操作コントローラ３７、マウス３８またはキーボード３９を操作し続けており、その操作に対応する操作信号が、操作コントローラ３７、マウス３８またはキーボード３９からGUI制御部１１１１に供給されている場合、GUI制御部１１１１は、操作コントローラ３７、マウス３８またはキーボード３９からの操作信号に応じて、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動する位置を求め、その位置を表す情報を、表示制御部１１１７に供給して、ステップＳ１１４４に戻り、以下、同様の処理が繰り返される。
ここで、ステップＳ１１４３乃至Ｓ１１４５の処理によって、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動される操作にしたがって、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄが、横方向に移動される。
一方、ステップＳ１１４５において、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動させる操作が終了されたと判定された場合、即ち、オペレータが、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動させる操作コントローラ３７、マウス３８またはキーボード３９の操作を終了し、始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを移動させる操作に対応する操作信号が、操作コントローラ３７、マウス３８またはキーボード３９からGUI制御部１１１１に供給されなくなった場合、GUI制御部１１１１は、移動が終了された始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄの（横方向の）位置を認識して、ステップＳ１１４２に戻り、螺旋映像表示部群５８に表示された編集対象（つまりスクラブの対象）の再生映像を構成するフレームのうちの、始点インジゲータＩＧｓｔの位置に対応するフレームから、終点インジゲータＩＧｅｄの位置に対応するフレームまでの範囲を、割り当て範囲として、その割り当て範囲のフレームを、スクラブバー６６の移動可能範囲に割り当て、以下、同様の処理が繰り返される。
以上のように、オペレータは、GUIとしての始点インジゲータＩＧｓｔまたは終点インジゲータＩＧｅｄを操作して、螺旋映像表示部群５８に表示された編集対象の再生映像を構成するフレームのうちの、スクラブの対象となるフレームの範囲（スクラブバー６６の移動可能範囲に割り当てられるフレームの範囲（割り当て範囲）を、容易に変更することができる。
なお、図７２の割り当て範囲設定処理は、例えば、所定のスクラブ範囲設定終了操作がされたときに終了する。
このように、フレームを割り当てる指定区間の区間長を、動き情報等に応じた重み付けをした区間長とすることによって、スクラブバー６６の移動可能範囲を、変化量である動き情報が大のフレームが割り当てられる指定区間ほど、区間長が大の指定区間に区分することができる。
さらに上述のスクラブの処理では、螺旋映像表示部群５８で表示するフレームの画像のサイズを一定としたが、例えば、そのフレームの表示タイプに応じて変更することができる。つまり、上述の、画像の変化量に応じて変更する表示パラメータとして、画像サイズ（表示サイズ）をさらに加えることが可能である。以下にその具体例を説明する。
なお、この例では、フレームの表示タイプは、例えば、動き情報に基づいて、図５７で説明した静止画タイプV1、通常タイプV2、または高表示レート低解像度タイプV3のうちのいずれかに決定されていることとする。
また、静止画タイプV1のフレームの画像については、例えば、対角線の長さ、または横と縦の長さをあるデフォルトのサイズが設定されており、そのデフォルトのサイズで表示される。
通常タイプV2のフレームの画像については、例えば、デフォルトのサイズの1.5倍のサイズが設定されており、当該対角線の長さ、または横と縦の長さをデフォルトのサイズの1.5倍のサイズで表示される。
高表示レート低解像度タイプV3のフレームの画像については、例えば、デフォルトのサイズの2倍のサイズが設定されており、当該対角線の長さ、または横と縦の長さをデフォルトのサイズの2倍のサイズで表示される。
以上のように、表示タイプに応じたサイズで画像を表示するには、図８４で説明したスクラブの処理のステップＳ１１２２において行えばよい。
ここで、図９１のフローチャートを参照して、表示タイプに応じたサイズで、画像を表示する場合の、図８４のステップＳ１１２２の処理（表示処理）について説明する。
なお、ここでは、上述したように、表示タイプが、例えば、図５７で説明した静止画タイプV1、通常タイプV2、または高表示レート低解像度タイプV3のうちのいずれかに決定されていることとする。また、静止画タイプV1のフレームの画像については、あるデフォルトのサイズが設定されており、通常タイプV2のフレームの画像については、例えば、デフォルトのサイズの1.5倍のサイズが設定されていることとする。さらに、高表示レート低解像度タイプV3のフレームの画像については、例えば、デフォルトのサイズの2倍のサイズが設定されていることとする。
表示制御部１１１７（図７９）は、ステップＳ１１５１において、表示タイプ取得部１１１５（図７９）から供給される、スクラブつまみ６７が位置している指定区間に割り当てられているフレーム（注目フレーム）の表示タイプが、静止画タイプV1、通常タイプV2、または高表示レート低解像度タイプV3のうちのいずれであるかを判定する。
ステップＳ１１５１において、注目フレームの表示タイプが、静止画タイプV1であると判定された場合、ステップＳ１１５２に進み、表示制御部１１１７は、螺旋映像表示部群５８のうち、対応する映像表示部Ｗ５７１〜Ｗ５７ｎに、デフォルトのサイズで、フレームバッファ１１１７Ａ（図７９）に記憶された画像データに基づく画像を表示させる。
また、ステップＳ１１５１において、注目フレームの表示タイプが、通常タイプV2であると判定された場合、ステップＳ１１５３に進み、表示制御部１１１７は、螺旋映像表示部群５８のうち、対応する映像表示部Ｗ５７１、５７２、……、又はＷ５７ｎを、デフォルトのサイズの1.5倍のサイズに拡大するとともに、当該拡大した映像表示部（以下、これを、適宜、拡大表示部と呼ぶ）に、フレームバッファ１１１７Ａに記憶された画像データに基づく画像を表示させる。
また、ステップＳ１１５１において、注目フレームの表示タイプが、高表示レート低解像度タイプV3であると判定された場合、ステップＳ１１５４に進み、表示制御部１１１７は、螺旋映像表示部群５８のうち、対応する映像表示部Ｗ５７１〜Ｗ５７ｎを、デフォルトのサイズの2倍に拡大するとともに、当該拡大映像表示部に、フレームバッファ１１１７Ａに記憶された画像データに基づく画像を表示させる。
また、螺旋映像表示部群５８（に表示される画像）のサイズは、スクラブつまみ６７が操作されている間（例えば、ドラッグされている間）だけ、上述のように表示タイプに応じて変更し、スクラブつまみ６７の操作が停止された場合には、デフォルトのサイズとすることができる。
このように、通常タイプV2のフレームの画像には、ある程度の動きがあるので、通常タイプV2のフレームの画像を、デフォルトのサイズよりも大きいサイズで表示することにより、オペレータは、画像の動きの詳細を確認することができる。
また、高表示レート低解像度タイプV3のフレームの画像には、激しい動きがあるので、高表示レート低解像度タイプV3のフレームの画像を、通常タイプV2のフレームの画像よりも大きなサイズで表示することにより、オペレータは、画像の動きをより詳細に確認することができる。
さらに、表示タイプごとに異なるサイズで画像を表示することにより、オペレータは、螺旋映像表示部群５８に表示されている映像全体（再生映像）の中でのその画像の動きの程度を直感的に把握することができる。
特に、螺旋映像表示部群５８（図３）の表示形態を、図７６で上述した表示形態に変更した状態において、以上のような画像のサイズの変更手法を採用した場合、図９２乃至図１０１に示すようになる。但し、これら図９２乃至図１０１では、便宜上、絵柄の激しい１枚の画像が孤立して現れている場合を示しており、また各映像表示部Ｗ５７１〜Ｗ５７ｎでの表示レートは同一である場合を仮定している。
これら図９２乃至図１０１からも分かるように、絵柄の変化が激しい画像の表示対象となる映像表示部Ｗ５７（これら図ではＷ５７ｃ〜Ｗ５７ｌ）は拡大映像表示部Ｗ５７Ｘとして順次変更され、当該拡大映像表示部Ｗ５７Ｘに対して、絵柄の変化が激しい画像が、他の画像よりもそのサイズが大きく表示されることで強調され、かつ、仮想時間軸ＴＰを奥側から手前側に、再生時間差ΔＴを隔てて流れるように推移していくことになる。
また、再生映像に対して、絵柄の変化が激しい画像が連続する区間として存在する場合、図１０２に示すように、該区間における各画像を表示対象とする映像表示部Ｗ５７（この図ではＷ５７ｃ〜Ｗ５７ｇ）が、拡大映像表示部Ｗ５７Ｘ１〜Ｗ５７Ｘ５として、連なった状態で、再生時間差ΔＴを隔てて流れるように推移していくことになる。但し、この図１０２では、図９２乃至図１０１と同様に、各映像表示部Ｗ５７１〜Ｗ５７ｎでの表示レートは同一である場合を仮定している。
さらに、再生映像に対して、絵柄の変化が激しい画像が連続する区間が複数存在する場合、図１０３に示すように、該区間における各画像を表示対象とする映像表示部Ｗ５７（この図ではＷ５７ｃ１〜Ｗ５７ｇ１、Ｗ５７ｃ２〜Ｗ５７ｇ２、Ｗ５７ｃ３〜Ｗ５７ｇ３、Ｗ５７ｃ４〜Ｗ５７ｇ４）が、拡大映像表示部Ｗ５７Ｘ１１〜Ｗ５７Ｘ１５、Ｗ５７Ｘ２１〜Ｗ５７Ｘ２５、Ｗ５７Ｘ５１〜Ｗ５７Ｘ３５、Ｗ５７Ｘ４１〜Ｗ５７Ｘ４５として、区間ごとに連なった状態で、再生時間差ΔＴを隔てて流れるように推移していくことになる。但し、この図１０３では、図９２乃至図１０１と同様に、各映像表示部Ｗ５７１〜Ｗ５７ｎでの表示レートは同一である場合を仮定している。
このように、オペレータは、絵柄の変化が激しい画像が拡大して流れるように提示されることによって、例えばシーンチェンジ等の絵柄の変化が激しい画像の内容を、螺旋映像表示部群５８全体を意識しつつ直感的に把握することができる。
なお、螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎが動画として再生されている場合には、スクラブという操作を行わなくても、画像の変化量に応じて画像サイズを変更することができる。したがってスクラブという操作を行わない場合であっても、オペレータは、絵柄の変化が激しい画像の内容を、螺旋映像表示部群５８全体を意識しつつ直感的に把握することができる。
また、上述の具体例では、動き情報に基づいて決定された表示タイプごとに異なるサイズで画像を表示したが、これに代え、その他、例えば、細かさ情報に基づいて決定された表示タイプごとに異なるサイズで表示するようにしてもよく、あるいは、細かさ情報及び動き情報の双方に基づいて決定された表示タイプごとに異なるサイズで表示するようにしてもよい。
なお、画像を、細かさ情報に基づいて決定された表示タイプごとに異なるサイズで表示する場合には、例えば、細かさの程度が大の細かさ情報に基づいて決定される表示タイプの画像ほど、大きなサイズで表示する等といったことが可能であり、これによりオペレータは、画像の詳細を、直感的に認識することができる。
また、細かさ情報及び動き情報の双方に基づいて決定された表示タイプごとに異なるサイズで表示する場合には、例えば、動きの程度が大の細かさ情報に基づいて決定される表示タイプの画像ほど、大きなサイズで表示するとともに、細かさの程度が大きいほど、色が濃くなるように対応する映像表示部Ｗ５７Ｘ１、Ｗ５７２、……、又はＷ５７ｎ枠を色表示する等といったことが可能であり、これによりオペレータは、画像の詳細を、一段と直感的に認識することができる。
以上のように注目フレームの表示タイプに応じて画像のサイズの変更を行う場合について述べたが、この他、例えば、オペレータによるスクラブつまみ６７の操作に応じて行うことも可能である。
即ち、オペレータは、一般に、所望の画像を探す場合において、螺旋映像表示部群５８に表示される画像に、それほど注目していないときには、スクラブつまみ６７を速く移動させるように操作し、逆に、注目しているときには、スクラブつまみ６７をゆっくり移動させるように操作する。
そこで、スクラブつまみ６７が速く移動されている場合には、画像を、デフォルトのサイズで表示し、スクラブつまみ６７がゆっくり移動されている場合には、画像を、デフォルトのサイズよりも大きいサイズで表示することができる。このようにすることで、オペレータは、所望の画像を探しやすくなる。
また、上述のスクラブの処理では、螺旋映像表示部群５８に表示するフレームを指定するときに操作される手段として、スクラブつまみ６７を有するスクラブバー６６を採用し、スクラブつまみ６７の位置によって、螺旋映像表示部群５８に表示するフレームを指定するようにしたが、螺旋映像表示部群５８に表示するフレームの指定は、その他、例えば、いわゆる（GUIではなくて実物の）ジョグダイヤルやシャトルリング等を操作することによって行うことが可能である。
なお、螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎが動画として再生されている場合には、ジョグダイヤルやシャトルリング等によりスクラブという操作を行わなかったとしても、画像の変化量に応じて画像サイズを変更することができる。よってオペレータは、絵柄の変化が激しい画像の内容を、螺旋映像表示部群５８全体を意識しつつ直感的に把握することができる。
また、上述のスクラブの処理では、動画の画像データの変化の程度を表す変化量（動き情報、細かさ情報）をフレームごとに求め、その変化量に基づき、表示タイプをフレームごとに決定し、その表示タイプを用いて、スクラブに関する各種の処理を行うようにしたが、表示タイプは、その他、例えば、動画に音声データが付随する場合には、その音声データのレベル（パワー）そのものや、その変化の程度を表す値に基づいて決定することが可能である。即ち、例えば、音声データのレベルが、小から大に変化する（音声の盛り上がりがある）フレームでは、注目すべきシーンの画像が映っている可能性が高いので、音声データのレベルが小から大に変化するフレームの表示タイプとしては、例えば、動き情報がある程度大であれば、表示レートが高い表示タイプを決定し、また、例えば、細かさ情報がある程度大であれば、解像度が高い表示タイプを決定するようにすることができる。
また、上述のスクラブの処理では、記憶装置２２に記録された本線データとプロキシデータ、即ち、２種類の解像度の画像データを用いて、スクラブを行うようにしたが、スクラブは、その他、例えば、１種類の解像度、または３種類以上の解像度の画像データを用いて行うことが可能である。
また、上述のスクラブの処理では、図５９の表示タイプ決定部１０２３において（図８０の表示タイプ決定部１１２３でも同様）、シークの問題に対処するために、変化量がある閾値以上またはある閾値未満のフレームが最小限度フレーム数N以上連続するか否かの判定（連続性の判定）を行うようにしたが、シークの問題に対処する必要がなければ、連続性の判定を行わずに、変化量がある閾値以上またはある閾値未満であるかどうかによって、表示タイプを決定することができる。
また、上述のスクラブの処理では、フレームごとに変化量を求め、フレームごとの変化量に基づき、フレームごとに表示タイプを決定するようにしたが、変化量は、その他、複数フレームごとに求めることが可能である。同様に、表示タイプも、複数フレームごとに求めることが可能である。
即ち、図１０４は、複数フレームとしての、例えば、1GOPを構成するフレームごと（単位）の変化量を示している。なお、図１０４において、横軸はフレームを表し、縦軸は変化量を表す。
図１０４では、太線が、1GOPを構成するフレームごとの変化量を示している。1GOPを構成するフレームごとの変化量としては、例えば、その1GOPを構成するすべてのフレームの変化量の平均値や、1GOPを構成するフレームのうちのIピクチャの変化量などを採用することができる。
図１０４に示したように、1GOPを構成するフレームごとの変化量を求める場合には、その変化量に基づき、フレームごとの変化量からフレームごとの表示タイプを決定した場合と同様にして、1GOPを構成するフレームごと（単位）の表示タイプを決定することができる。
また、複数フレームとしての、例えば、1GOPを構成するフレームごとの表示タイプは、1GOPを構成するフレームごとの変化量に基づいて決定する他、フレームごとの変化量に基づいて決定することが可能である。
即ち、図１０５は、フレームごとの変化量と、フレームごとの表示タイプとの両方が格納されたFyファイルを示している。
例えば、いま、1GOPが１５フレームで構成されるとすると、1GOPを構成する１５フレームごとの表示タイプは、例えば、その1GOPを構成する１５フレームにおいて最も割合が多い表示タイプに決定することができる。
この場合、例えば、図１０５のFyファイルに示した先頭から１番目のフレームから１５番目のフレームで構成される1GOPでは、フレームごとの表示タイプV1,V2,V3の中で、表示タイプV2の割合が最も多いので、その1GOPの表示タイプはV2に決定される。
例えば、図１０５のFyファイルに示した先頭から９番目のフレームについては、フレームごとの表示タイプはV1となるが、1GOPごとの表示タイプはV2となる。
以上のように、変化量や表示タイプを、複数フレームとしての、例えば、1GOPを構成するフレームごと求めて（決定して）、Fyファイルに格納する場合には、フレームごとの変化量や表示タイプをFyファイルに格納する場合に比較して、Fyファイルの容量（ファイルサイズ）を小さくすることができ、また、Fyファイルの解析（ファイルパース）に要する処理の負担を軽減することができる。
なお、Fyファイルの作成時に、画像データをMPEG方式で符号化する場合において、1GOPを構成するフレームごとの変化量や表示タイプを求めるときには、その変化量や表示タイプは、MPEG方式での符号化の結果得られるストリーム中のGOPヘッダに含めるようにすることができる。
ここで、上述のスクラブ処理では、画像データをMPEG方式で符号化して、記憶装置２２に記録するため、図７９のデコーダ１１１６では、画像データを、MPEG方式で復号する必要がある。MPEG方式では、例えば、１５フレームを1GOPとして、各フレームが、I(Intra)ピクチャ、P(Predictive)ピクチャ、またはB(Bidirectionally Predictive )ピクチャのうちのいずれかのピクチャタイプのピクチャとして符号化される。そして、I,P,Bピクチャのうちの、PピクチャとBピクチャとは、それらより先に符号化されるIまたはPピクチャを参照画像（予測画像を生成するベースになる画像）として符号化されるため、その参照画像を復号した後でなければ復号することができない。
即ち、例えば、いま、1GOPが１５フレームで構成されることとし、その１５フレームの各フレームを、ピクチャタイプを示すI,P、またはBと、表示順を示す数字とで表すこととすると、1GOPの１５フレームの並びは、例えば、Ｂ１、Ｂ２、Ｉ３、Ｂ４、Ｂ５、Ｐ６、Ｂ７、Ｂ８、Ｐ９、Ｂ１０，Ｂ１１、Ｐ１２、Ｂ１３、Ｂ１４、Ｐ１５と表すことができる。
いま、上述のような１５フレームB1乃至P15からなるGOPのうちの、例えば、先頭から６番目のPピクチャP6が、３番目のIピクチャI3を参照画像として符号化され、９番目のPピクチャP9が、６番目のPピクチャP6を参照画像として符号化され、１２番目のPピクチャP12が、９番目のPピクチャP9を参照画像として符号化され、１５番目のPピクチャP15が、１２番目のPピクチャP12を参照画像として符号化されたとする。さらに、１３番目のBピクチャB13が、１２番目のPピクチャP12と１５番目のPピクチャP15とを参照画像として符号化されたとする。
この場合、例えば、１３番目のBピクチャB13が、ビューワ１５に表示する注目フレームとなると、３番目のIピクチャI3を復号し、６番目のPピクチャP6を、３番目のIピクチャI3を参照して復号し、９番目のPピクチャP9を、６番目のPピクチャP6を参照して復号し、１２番目のPピクチャP12を、９番目のPピクチャP9を参照して復号し、１５番目のPピクチャP15を、１２番目のPピクチャP12を参照して復号した後でなければ、１２番目のPピクチャP12と１５番目のPピクチャP15とを参照することができないので、１３番目のBピクチャB13を復号することができない。従って、BピクチャB13の復号に時間を要することとなる。
そこで、他のピクチャの復号に参照されるPピクチャP6,P9,P12,P15を、それぞれ、IピクチャI6,I9,I12,I15として、P-to-Iファイルと呼ばれる別ファイルに格納しておき、デコーダ１１１６においては、そのP-to-Iファイルに格納されたピクチャを必要に応じて参照して復号を行うことができる。この場合、例えば、BピクチャB13は、P-to-Iファイルに格納されたIピクチャI12とI15とを参照し、短時間で復号することができる。
以上のように上述のスクラブの処理は、変化量に応じて変更するパラメータとして、表示に関するパラメータ（表示パラメータ）にあっては、解像度、画像サイズを適用し、再生に関するパラメータ（再生パラメータ）にあっては、表示レート（フレームレート）、再生速度ｖを適用するようにしたが、これら表示パラメータ、再生パラメータについて種々の組み合わせを適宜設定することができる。
また、上述のスクラブの処理は、再生パラメータにあっては、表示レート（フレームレート）、再生速度ｖの他に、再生時間差ΔＴを適用することもできる。この場合、例えば、画像の変化が大きいほど再生時間差ΔＴも大きくするとともに、当該再生時間差ΔＴに応じて映像表示部Ｗ５７間の距離を広げるように又は狭めるようにしてもよい。このようにすれば、画像の変化が激しい部分になったときに、その部分についての表示形態が変わるため、より一段と画探しを容易化させることが可能となる。
以上、スクラブを行う場合について説明したが、本発明は、スクラブ以外の変速再生（ｎ倍速再生）を行う場合にも適用可能である。
なお、上述してはいるが、螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎが動画として再生されている場合には、スクラブという操作を行わなくても、当該螺旋映像表示部群５８では画像自体が流れていくように見えるので、同様の効果を得ることができる。
（５）描画間隔自動変更機能
ところで、編集装置２は、映像表示部Ｗ５７１〜Ｗ５７ｎに対して再生映像を所定フレームごとに間引いて表示する場合、その再生映像のなかで、一定の変化量（閾値）を超えるフレームを現表示対象とする映像表示部Ｗ５７（Ｗ５７１、Ｗ５７２、……、又はＷ５７ｎ−１）と、当該フレームを再生時間差ΔＴ後に表示対象となる映像表示部Ｗ５７（Ｗ５７２、Ｗ５７２、……、又はＷ５７ｎ）との間に、当該間引いたフレーム数に対応する数の映像表示部（以下、これを、適宜、新規映像表示部と呼ぶ）を新たに作成し、その作成したそれぞれの新規映像表示部に、間引いたフレームを表示し得るようになっている。
ここで、マイクロプロセッサ３及びＧＰＵ４による処理を説明するが、便宜上、動画を構成するフレームが所定フレームごとに間引かれ、再生映像を構成するフレームとして残された複数のフレームのなかで、例えば１９番目のフレームだけが一定の変化量（閾値）を超えるフレームであると仮定し、このフレームを主に着目して説明する。
即ち、マイクロプロセッサ３及びＧＰＵ４は、編集画面５０を表示した状態において、動画を構成するフレームのうち、一定の変化量（閾値）未満となる１〜１８番目のフレームについては所定フレームごとに間引き、当該間引き対象とならなかったフレームをデコードした後に再生時間差ΔＴを隔てて、表示部５５の映像表示部Ｗ５７１〜Ｗ５７ｎに順次表示する。
ちなみに、この変化量は、上述のスクラブ処理の編集前処理により記憶装置２２に記憶されたＦｙファイルから取得することができる。
一方、マイクロプロセッサ３及びＧＰＵ４は、例えば図１０６に示すように、一定の変化量（閾値）以上となる１９番目のフレームを認識した場合には間引き処理を停止し、上述のスクラブ処理のように表示レートを変更せずに、当該間引き対象となるはずであったｍ枚のフレーム（以下、これを間引フレームと呼ぶ）についても、順次デコードする。
そして、マイクロプロセッサ３及びＧＰＵ４は、１９番目の画像（フレーム）を映像表示部Ｗ５７１に表示するとともに、ｍ枚の間引フレームに対応する数の新規映像表示部Ｗ５７ＮＸ１〜Ｗ５７ＮＸｍを新たに作成し、その作成した各新規映像表示部Ｗ５７ＮＸ１〜Ｗ５７ＮＸｍに、対応する間引フレームを表示する。
この１９番目の画像（フレーム）は、再生時間差ΔＴを隔てて、映像表示部Ｗ５７２、Ｗ５７３、……に順次表示され、新規映像表示部Ｗ５７ＮＸ１〜Ｗ５７ＮＸｍは、１９番目の画像の画像と同様に再生時間差ΔＴを隔てて、現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間（Ｗ５７２とＷ５７３との間、Ｗ５７３とＷ５７４との間、……）に表示されることとなる。
この結果、例えば図１０７及び図１０８に示すように、絵柄の変化が激しい画像が表示されている現表示対象の映像表示部Ｗ５７ｃと、仮想時間軸ＴＰ（図２６）の進行方向に向かって次の映像表示部Ｗ５７ｄとの再生時間差ΔＴ間における描写推移が、新規映像表示部Ｗ５７ＮＸ１〜Ｗ５７ＮＸｍに対して細かく提示されることとなり、これによりオペレータは、絵柄が激しい画像の描写内容を直感的に把握することができる。ちなみに、この図１０７及び図１０８では、ｍ＝５である場合を示している。
なお、マイクロプロセッサ３及びＧＰＵ４は、ｍ枚の間引フレーム以降のフレームについては再び間引き処理を開始し、当該間引き対象とならなかったフレームをデコードした後に再生時間差ΔＴを隔てて、表示部５５の映像表示部Ｗ５７１〜Ｗ５７ｎに順次表示する。
このようにして編集装置２は、映像表示部Ｗ５７１〜Ｗ５７ｎに対して再生映像を所定フレームごとに間引いて表示する場合、その再生映像のなかで、一定の変化量（閾値）を超えるフレームについては間引かずに、該フレームについてを、現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間（Ｗ５７２とＷ５７３との間、Ｗ５７３とＷ５７４との間、……）に、新規映像表示部Ｗ５７ＮＸ１〜Ｗ５７ＮＸｍを作成して表示することができる。
上述の描画間隔における変更手法では、現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間に表示する対象は、間引対象のフレーム（間引フレーム）全てとしたが、必ずしも間引対象のフレーム全てとしなくてもよく、任意のフレーム数としてもよい。
また、現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間に表示する対象のフレーム数（間引フレーム数）は、例えば、第１の閾値以上第２の閾値未満であるときには、第１のフレーム数とし、第２の閾値以上第３の閾値未満であるときには、第１のフレーム数よりも多い第２のフレーム数とし、第３の閾値以上であるときには、第２のフレーム数よりも多い第３のフレーム数とする等いったように、変化量に応じて段階的に切り替えることもできる。
このようにすれば、編集装置２は、絵柄の変化の程度によって現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間に表示されるフレーム数を変えることができるため、オペレータはに対して、その表示される画像自体のみならず、フレーム数によっても、再生映像における変化部分を把握させることができ、この結果、より一段と直感的に画探しさせることができる。
さらに、上述の描画間隔における変更手法は、変化量に応じた間引フレーム数で、現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間に間引フレームを表示するとともに、その間引フレームを、変化量に応ずるサイズで表示することもできる。
このようにすれば、編集装置２は、絵柄の変化の程度によって現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間に表示されるフレーム数及びそのサイズを変えることができるため、オペレータはに対して、その表示される画像自体のみならず、フレーム数及びフレームサイズによっても、再生映像における変化部分を把握させることができ、この結果、より一段と直感的に画探しさせることができる。
さらに、上述の描画間隔における変更手法は、上述のスクラブ処理と組み合わせることもできる。即ち、変化量に応じた間引フレーム数で、現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間に間引フレームを表示するとともに、その変化量に対応する表示タイプに従って、画像（間引フレーム以外のフレーム）の解像度と表示レートを変えるようにすることもできる。
このようにすれば、編集装置２は、絵柄の変化の程度によって現表示対象の映像表示部Ｗ５７と、その次に表示対象となる映像表示部Ｗ５７との間に表示されるフレーム数、及び、当該映像表示部Ｗ５７に表示されるフレームの解像度及び表示レートを変えることができるため、オペレータはに対して、スクラブつまみ６７の移動の速さにかかわらず再生映像を滑らかに表示させるとともに、その表示される画像自体の詳細を把握させることができ、この結果、より一段と直感的に画探しさせることができる。
ただし、螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎが動画として再生されてさえいれば、スクラブという操作を行わなくても、当該螺旋映像表示部群５８では画像自体が流れていくように見えるので、図１０７及び図１０８に示したように、３Ｄ空間上における動画像の認識において、同様の効果を得ることができる。
（６）動作及び効果
以上の構成において、この編集システム１の編集装置２では、ディスプレイ４０に表示された編集画面５０のクリップ一覧表示部５１から所望のクリップを選択して表示部５５にドラッグアンドドロップし、この後必要に応じてそのクリップに対応付けられた螺旋映像表示部群５８を選択した後に再生ボタン５６がクリックされると、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに一定の時間差をもってそのクリップの再生映像をそれぞれ表示する。
そしてこのような映像表示方法によれば、かかるクリップの再生映像の各シーンが、その螺旋映像表示部群５８を構成している複数の映像表示部Ｗ５７１〜Ｗ５７ｎを画面の奥側から手前側へ向けて、そのとき設定されている再生時間差ΔＴをもって各映像表示部Ｗ５７１〜Ｗ５７ｎに対する再生処理を開始することにより、３次元的な奥行き感を持たせることができる。
従って編集装置２では、オペレータがシーンチェンジ点などのフレームを画探しする場合であっても、各映像表示部Ｗ５７１〜Ｗ５７ｎに再生時間差ΔＴの時間間隔で同じ再生映像が順次表示することになるので、従来の編集画面１（図１２１）のようにモニタ部３に表示された２次元の再生映像を１コマずつオペレータが動かしながら目視して所望のフレームを画探しする場合に比べて、再生映像を１コマずつ動かすような煩雑なコマ送り操作をオペレータに強いることなく、簡単かつ直感的に画探し作業を実行させることができる。
特に編集装置２のマイクロプロセッサ３は、螺旋状に配置した各映像表示部Ｗ５７１〜Ｗ５７ｎによってスパイラル構造の螺旋映像表示部群５８を表示するようにしたことにより、表示部５５の一画面中に全ての映像表示部Ｗ５７１〜Ｗ５７ｎをどれ一つとして隠れてしまうことなく表示し得、オペレータに所望シーンの画探し作業や編集作業を容易に実行させることができる。
このことは、編集装置２が各映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像を全て停止したときに重要な要素となり、螺旋映像表示部群５８を構成している各映像表示部Ｗ５７１〜Ｗ５７ｎに対して、それぞれ時間的にずれた周辺フレームの静止画像を順次表示することになるため、コマ送り操作によって画探し作業を行わせずに済むという格別な効果を有する。
また編集装置２では、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに対して表示順に再生時間差ΔＴを設けながら動画像の状態で互いに連携した再生映像を表示することにより、螺旋映像表示部群５８の奥側へ向かって再生映像が順次進行していき、例えば新しいシーンへの突入時にシーンチェンジの更新変化が各映像表示部Ｗ５７１〜Ｗ５７ｎの手前側から奥側へ再生映像の進行と共に順次移り変わっていくので、螺旋映像表示部群５８全体を通じて再生映像の進行方向へ時間が流れる様子（再生速度や再生方向）をオペレータに体感させながら画探し作業や編集作業を直感的に実行させることができる。
なお編集装置２は、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示すべき再生映像をリバース再生した場合、螺旋映像表示部群５８全体が奥側へ下がっていくような感覚をオペレータに体感させながら画探し作業や編集作業を実行させることができる。
さらに編集装置２は、螺旋映像表示部群５８をＧＰＵ４の内部メモリ上の３Ｄ仮想空間に配置しているため、当該３Ｄ仮想空間と同じ座標系を有するサブ３Ｄ空間画像ＩＭ１及びキャラクタＣＡ１を介して螺旋の渦の奥側へ向かって視点を移動させることが可能であり、移動後の内部視点から見える表示形態に螺旋映像表示部群５８を変えて表示部５５に表示することができる。
従って編集装置２は、各映像表示部Ｗ５７１〜Ｗ５７ｎにおける再生映像を一時停止している状態であっても、視点を螺旋の渦の奥側へ向かって移動させると共に螺旋映像表示部群５８の表示形態を変えながら表示することにより、螺旋の渦の中心をくぐりながら未来へ向かって再生処理を進めているような印象をオペレータに与えることができ、エンターテインメント性の高いＧＵＩ(Graphical User Interface)を提供することができる。
これに加えて編集装置２では、サブ３Ｄ空間画像ＩＭ１とキャラクタＣＡ１との相対的位置関係によって螺旋映像表示部群５８に対する視点及び視線方向を変更するようにしたことにより、螺旋映像表示部群５８を構成する複数の映像表示部Ｗ５７１〜Ｗ５７ｎが作る円の外側に視点を移動させた場合、螺旋映像表示部群５８の表示形態を帯状に変化させて表示（図３４〜図４０等）することができるので、螺旋映像表示部群５８全体の長さからクリップ全体の再生時間をオペレータにイメージさせたり、クリップ全体をオペレータにとって編集容易な位置又は角度に変更することができる。
さらに編集装置２では、個々のクリップの切り出し、複数クリップの編集処理及び編集映像の確認処理といった作業を１つの表示部５５内で行うことができるため、従来の編集装置のようにクリップの切り出しは編集画面１のモニタ部３を用いて行い、編集処理はストーリーボード部４及びタイムライン部５を用いて行い、編集映像の確認処理はモニタ部３を用いて行うといった煩雑な作業を必要とせず、かかる一連の編集作業を表示部５５内で一括して行うことができる。かくするにつき、いわゆる画探し作業のみならず、編集作業を全体として容易化させることができる。
さらに編集装置２では、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに再生映像をそれぞれ表示する際、音声出力モードとして「メイン音声出力モード」及び「全音声出力モード」を選択することができるため、そのとき対象としているクリップの再生音声の内容に応じて音声出力モードに切り換えることにより、出力音声による所望の映像音声部分の探索作業も可能となる。
またこの場合において、この編集装置２では、音声出力モードとして「全音声出力モード」を設定したときには、基準映像表示部Ｗ５７ｎから離れた映像表示部Ｗ５７１〜Ｗ５７ｍに表示された再生映像の音声ほど小さい音量となるように音量調整された状態で、そのとき操作している螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示された再生映像に付随する全て再生音声がスピーカ４１から出力されるため、音声を３次元的に表現することができ、その分クリップの内容によって、かかる出力音声に基づく所望の映像音声部分の探索作業をより容易化させることができる。もちろん、編集の容易性だけでなく、螺旋型の帯状表示による再生を行うだけでも今までに無い奥行き感を感じさせる音声表現が可能となる。
また本発明の編集装置２は、編集画面５０における複数の映像表示部Ｗ５７１〜Ｗ５７ｎに対して表示させる複数の表示映像データを生成する。また編集装置２は、映像表示部Ｗ５７１〜Ｗ５７ｎに表示させる映像音声信号における各画像データの変化の程度を表す変化量に基づき、そのピクチャ（フレーム）を表示するときの表示方法を表す表示タイプを、ピクチャ単位で決定する（図４１〜図７８等）。
そして編集装置２は、ピクチャ単位の表示タイプを表すタイプ情報に応じて、各表示映像データに対応する画像の解像度や表示レートを変更し、当該変更された画像の解像度や表示レートで該各表示映像データを、表示順に時間差を設けながら動画像の状態で編集画面５０の所定位置に表示させる（図７９〜図１０６等）。
したがって、この編集装置２は、編集画面５０に対して、動画像の各画像をそれぞれ時間差を隔てて表示順に表示することができるため、当該画像の内容（ストーリー）が流れるように描画させることができ、この結果、オペレータに対して、動画の内容を直感的に把握させながら画探しさせることができ、かくして編集点（イン点およびアウト点）を容易に探索させることができる。
さらに、動画像の各画像についてそれぞれ時間差を隔てて表示順に表示する表示方法として、この編集装置２は、全ての画像について同一の表示方法で表示するのではなく、当該画像の表示タイプに応じて、画像の解像度と表示レート等を変更し、さらには、注目フレームとなったフレームをすべて復号するのではなく、表示タイプに応じて、必要なフレームだけを復号する。
したがって、この編集装置２は、たとえ再生速度ｖの可変等があったとしても、動画像の内容（ストーリー）を流れるように描画し、また、各画像の変化に応じて表示態様を可変することができ、この結果、オペレータに対して、動画の内容を直感的に把握させながら画探しさせることができ、かくして編集点（イン点およびアウト点）を容易に探索させることができる。
さらに、この編集装置２は、時間差を隔てて表示順に表示する動画像の各画像を、３次元螺旋状に配置する。したがって、この編集装置２は、単に縦又は横に並べる場合に比して、多くの画像をその時間的連続性を保って提示させることができることから、編集対象となるか否かをより長い時間精査させることができ、この結果、画探しの効率性を高めさせることができる。
以上の構成によれば、選択されたクリップの再生映像を表示順に再生時間差ΔＴを設けながら動画像の状態で３次元螺旋状に配置して表示するようにしたことにより、再生映像に時間的な奥行きや画探し容易な表示形態を持たせることができ、かくして、従来の編集画面１のように２次元１画面の再生映像を目視しながら所望する映像部分を探索する場合に比べて、所望の映像部分の探索をオペレータに簡単かつ直感的に実行させて編集作業を容易化させ得る編集システムを実現することができる。
また、以上の構成によれば、全ての各映像表示部Ｗ５７１〜Ｗ５７ｎに表示する再生映像の画像について全て同一の表示方法で表示するのではなく、当該画像の表示タイプに応じて、画像の解像度と表示レート等を変更し、さらには、注目フレームとなったフレームをすべて復号するのではなく、表示タイプに応じて、必要なフレームだけを復号するようにしたことにより、オペレータに対して、再生映像の内容を直感的に把握させながら画探しさせることができ、かくして編集点を容易に探索させることができる。
（７）第２の実施の形態
（７−１）本実施の形態による編集システムの構成
図１において、９０は第２の実施の形態による編集システムを示し、編集画面５０の表示部５５に表示される螺旋映像表示部群５８（図２）の各映像表示部Ｗ５７１〜Ｗ５７ｎの大きさが、画面の奥側から手前側へ向かって次第に大きくなるだけではなく、その映像表示部Ｗ５７１〜Ｗ５７ｎに表示される再生映像に付随する再生音声の音声レベルに応じて変動する点を除いて第１の実施の形態による編集システム１（図１）と同様に構成されており、上述した第１の実施の形態における編集装置２と同様の各種処理を実行し得るようになされている。
すなわちこの編集システム９０の場合、編集装置２のマイクロプロセッサ３は、上述のように記憶装置２２からＰＣＩバス１５及びサウスブリッジ６を介して与えられるクリップの映像音声信号に基づいて、図２に示したように、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそのクリップの再生映像をそれぞれ表示させる一方、これら再生映像に付随する各再生音声のフレームごとの音声レベル（音声信号の信号レベル）のピークレベルをＧＰＵ４へ順次通知するようになされている。
そしてＧＰＵ４は、かかるマイクロプロセッサ３からの通知に基づいて、これら各再生音声について、その再生音声のピークレベルが予め設定された閾値Ｔｈｄよりも大きいか否かをそれぞれ判断し、大きいと判断したときには、そのフレームの画像を表示する際に、対応する映像表示部Ｗ５７１〜Ｗ５７ｎを通常表示すべきサイズよりも大きく表示させるようになされている。
例えば、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像がそれぞれ図１０９（Ａ）であり、そのときこれら再生映像に付随する再生音声の音声レベル（音声信号の信号レベル）が図１０９（Ｂ）である場合には、画面の最も手前側に位置する基準の映像表示部Ｗ５７ｎから奥側に数えて２〜４番目の映像表示部Ｗ５７ｌ、Ｗ５７ｋ、Ｗ５７ｊに表示される再生映像に付随する各再生音声の音声レベルがそれぞれ閾値Ｔｈｄよりも大きいことから、この瞬間では図１０９（Ｃ）において十字の矢印で示すように、これらの映像表示部Ｗ５７ｌ、Ｗ５７ｋ、Ｗ５７ｊが他よりも一段と大きく表示されることとなる。
またこの場合においてマイクロプロセッサ３は、かかる大きく表示させる映像表示部Ｗ５７ｌ、Ｗ５７ｋ、Ｗ５７ｊについて、その映像表示部Ｗ５７ｌ、Ｗ５７ｋ、Ｗ５７ｊに表示される再生映像に付随した再生音声の音声レベルが大きければ大きいほど、当該映像表示部Ｗ５７ｌ、Ｗ５７ｋ、Ｗ５７ｊの拡大率を大きくして表示するようにＧＰＵ４を制御する。
従って、例えば図１０９（Ｂ）の例では、この瞬間では基準映像表示部Ｗ５７ｎから右側に２番目の映像表示部Ｗ５７ｌに表示される再生映像に付随した再生音声の音声レベルが最も高く、基準映像表示部Ｗ５７ｎから右側に数えて３番目及び４番目の映像表示部Ｗ５７ｋ、Ｗ５７ｊにそれぞれ表示される再生映像に付随した再生音声の音声レベルがこれよりも少し低いほぼ同じ大きさであるため、基準映像表示部Ｗ５７ｎから右側に２番目の映像表示部Ｗ５７ｌが最も大きい拡大率で拡大表示され、他の基準映像表示部Ｗ５７ｋ、Ｗ５７ｊがこれよりも少し小さい拡大率で拡大表示されることとなる。
このようにしてこの編集システム９０では、編集画面５０の表示部５５において、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示された再生映像に付随する再生音声の音声レベルをオペレータに対して視覚的に認識させ得るように表示し得、これによりオペレータが直感的にクリップの内容を認識して、画探しや編集作業を容易に実行し得るようになされている。
（７−２）映像表示部拡大表示処理手順
ここで、実際上、編集システム９０における編集装置２のマイクロプロセッサ３は、上述のような映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像に付随する再生音声の音声レベルに応じて映像表示部Ｗ５７ｌ、Ｗ５７ｋ、Ｗ５７ｊを拡大表示させる処理を、ハードディスク装置７（図１）に格納された制御プログラムに基づき、図１１０に示す映像表示部拡大表示処理手順ＲＴ５に従って実行する。
すなわちマイクロプロセッサ３は、図１０に示す再生処理手順ＲＴ２に従ってクリップの再生映像を螺旋映像表示部群５８に表示させ終えると、図１０を用いた上述の表示変更処理手順ＲＴ２及び図２５について上述した編集操作応答処理手順ＲＴ３と並行してこの映像表示部拡大表示処理手順ＲＴ５をＧＰＵ４に開始させる。
ステップＳＰ５１において編集装置２のマイクロプロセッサ３は、表示部５５に表示する螺旋映像表示部群５８の１つの映像表示部Ｗ５７１〜Ｗ５７ｎについて、表示フレーム（例えば、１フレーム分）に付随する再生音声のピークレベルを取得し、次のステップＳＰ５２へ移る。
ステップＳＰ５２において編集装置２のマイクロプロセッサ３は、再生音声のピークレベルが予め設定された閾値Ｔｈｄよりも大きいか否かを判断し、否定結果を得るとステップＳＰ５１へ戻り、肯定結果を得ると次のステップＳＰ５３へ移る。
ステップＳＰ５３において編集装置２のマイクロプロセッサ３は、再生音声のピークレベルが予め設定された閾値Ｔｈｄよりも大きいことを判別した映像表示部Ｗ５７１〜Ｗ５７ｎについて、そのピークレベルに応じて拡大率を算出し、この後ステップＳＰ５４へ移ってこの算出結果に基づいて当該映像表示部Ｗ５７１〜Ｗ５７ｎの拡大率を制御する。
かくして、このとき編集画面５０の表示部５５に表示された螺旋映像表示部群５８の映像表示部Ｗ５７１〜Ｗ５７ｎが、通常時の大きさ（ピークレベルが閾値Ｔｈｄ以下の場合の大きさ）と比べてステップＳＰ５３で算出した拡大率に応じた大きさに拡大されて表示されることになる。
次いで編集装置２のマイクロプロセッサ３は、ステップＳＰ５１に戻って、この後対象とする映像表示部Ｗ５７１〜Ｗ５７ｎを順次循環的に切り換えながら、ステップＳＰ５１〜ステップＳＰ５４における処理を同様に実行するようになされている。
このようにして編集装置２のマイクロプロセッサ３は、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示された再生映像に付随する再生音声の音声レベルが大きいとき、その映像表示部Ｗ５７１〜Ｗ５７ｎをその音声レベルに応じた大きさに表示させ得るようになされている。
（７−３）第２の実施の形態における動作及び効果
以上の構成において、この編集システム１の編集装置２では、螺旋映像表示部群５８内の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示されている再生映像に付随した再生音声の音声レベルに応じて、当該音声レベルが大きいときには、これに応じて対応する映像表示部Ｗ５７１〜Ｗ５７ｎの表示サイズを大きく拡大して表示する。
そしてこのような映像表示方法によれば、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎの大きさに基づいてそのとき各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示されている再生映像に付随した再生音声の音声レベルについても、各映像表示部Ｗ５７１〜Ｗ５７ｎの表示サイズによって視覚的に認識させることができるため、画探し作業を実行し易くすると共に、映像と音声とを連携させた編集処理をオペレータに対して容易に実行させることができる。
以上の構成によれば、螺旋映像表示部群５８内の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示されている再生映像に付随した再生音声の音声レベルに応じて、当該音声レベルが大きいときには、これに応じて対応する映像表示部Ｗ５７１〜Ｗ５７ｎも大きく表示するようにしたことにより、３次元螺旋状の表示形態で各映像表示部Ｗ５７１〜Ｗ５７ｎを動画像として連携表示させることの視覚効果と、各映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像と再生音声とが連携した表示効果とによってオペレータの画探し及び編集作業を一段と容易に実行させ得るようにすることができ、かくして第１の実施の形態による編集システム１に比べてより一層と編集作業を容易化させ得る編集システム９０を実現することができる。
（８）他の実施の形態
なお上述の第１及び第２の実施の形態においては、本発明をノンリニア編集装置である編集装置２に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の形態の編集装置や、編集装置以外の種々の映像表示制御装置に広く適用することができる。
また上述の第１及び第２の実施の形態においては、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ再生映像を表示するに際して、その都度、記憶装置２２を制御して対応するクリップの映像音声信号を読み出させるようにした場合について述べたが、本発明はこれに限らず、例えばＧＰＵ４内にバッファメモリを設け、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ再生映像を表示するに際しては、対応するクリップの映像音声信号を記憶装置２２から１度だけ読み出してこれをＧＰＵ４内のバッファメモリに保持し、その後このバッファメモリに保持された映像音声信号に基づいて、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに再生映像を表示するようにしても良い。なおこの場合には、１又は複数の映像素材の映像音声信号を記憶する記憶手段は記憶装置２２及びかかるバッファメモリから構成されることとなる。また、第１及び第２の実施の形態においては、記憶装置２２に、映像音声信号を保存する説明を行ったがハードディスク装置７に全てあるいは一部を保存しても良い。
さらに上述の第１及び第２の実施の形態においては、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに対して動画像でなる再生映像をそれぞれ表示するようにした場合について述べたが、本発明はこれに限らず、画面の奥側に存在し、オペレータにとって視認性の良くない映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像についてはその再生速度ｖを遅くしたり、解像度を落としたり、あるいは静止画像を表示したり、ときには何も表示しないようにしても良い。これにより編集装置２は、オペレータにとって認識できない程度の画像サイズであれば、無理に高解像度の動画像を表示しなくて済む分だけマイクロプロセッサ３の処理負荷を軽減することができる。
さらに上述の第１及び第２の実施の形態においては、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに所定間隔毎のタイムコード通知枠ＴＣ１〜ＴＣ４を表示するようにした場合について述べたが、本発明はこれに限らず、再生経過時刻をオペレータに認識させることが出来れば、映像表示部Ｗ５７１〜Ｗ５７ｎに対して表示映像データを時系列に表示する速度を示す速度表示データとして、フレーム番号通知枠やフィールド番号通知枠等のその他種々の通知枠を表示するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに螺旋状に複数連続して並べた螺旋映像表示部群５８を編集画面５０の表示部５５に表示するようにした場合について述べたが、本発明はこれに限らず、図１１１に示すように、螺旋映像表示部群５８を構成する複数の映像表示部Ｗ５７１〜Ｗ５７ｎを時系列に４分割し、第１螺旋映像表示部群５８Ａを表示部５５Ａに表示し、第２螺旋映像表示部群５８Ｂを表示部５５Ｂに表示し、第３螺旋映像表示部群５８Ｃを表示部５５Ｃに表示し、第４螺旋映像表示部群５８Ｄを表示部５５Ｄに表示するようにしても良い。
この表示部５５Ａでは、画面下部に再生、停止、一時停止、早送り、早戻し等の各種操作ボタン群５５Ａ１が設けられ、その下部に全体の１／４時間に相当するクリップ部分の再生タイミング表示バー５５Ａ２が設けられると共に、その下部のタイムライン上にスライダー５５Ａ３が設けられ、表示部５５Ｂ、表示部５５Ｃ及び表示部５５Ｄに対しても同様の各種操作ボタン群５５Ｂ１、５５Ｃ１及び５５Ｄ１、再生タイミング表示バー５５Ｂ２、５５Ｃ２及び５５Ｄ２、スライダー５５Ｂ３、５５Ｃ３及び５５Ｄ３が設けられている。
特に、再生タイミング表示バー５５Ａ２、５５Ｂ２、５５Ｃ２及び５５Ｄ２については、画面最下部分の表示エリア５５Ｅにクリップの全てが時系列に沿って一本化された状態で表示され、そのうち例えば再生タイミング表示バー５５Ｄ２が選択されると、図１１２に示すように、表示エリア５５Ｅ上に表示部５５Ｄが拡大表示されるようになされている。
なお再生タイミング表示バー５５Ａ２、５５Ｂ２、５５Ｃ２及び５５Ｄ２では、現在、複数の映像表示部部Ｗ５７１〜Ｗ５７ｎに表示されている再生映像の部分が１／４時間のうちのどの辺に相当するのかを白抜エリアＷＥによって表現すると共に、その中でオペレータにより選択された強調表示されている映像表示部部Ｗ５７ｋ、Ｗ５７ｎに対応する部分を所定色のバーＢ１及びＢ２によって示すようになされている。これにより編集システム１及び９０では、４つの表示部５５Ａ、表示部５５Ｂ、表示部５５Ｃ及び表示部５５Ｄを介して１度に４つの時間範囲のクリップ部分に相当する螺旋状の再生映像をオペレータに対して提示し得、編集作業の効率化を促進し得るようになされている。
さらに上述の第１及び第２の実施の形態においては、複数の映像表示部Ｗ５７１〜Ｗ５７ｎを螺旋状に３次元的に配置した螺旋映像表示部群５８として表示部５５に表現するようにした場合について述べたが、本発明はこれに限らず、図１１３に示すように、複数の映像表示部部Ｗ５７１〜Ｗ５７ｎが奥側から手前側へ順次向かってきたときに、最も手前側に位置した映像表示部Ｗ５７ｎの再生映像を最終的には手前側に倒して消滅させるよう表示部５５に表現するようにしても良い。
このとき編集装置２では、例えば映像表示部Ｗ５７１〜Ｗ５７ｎに対して所定間隔毎にその時点におけるタイムコードを表したタイムコード通知枠ＴＣ３及びＴＣ４を表示することにより、クリップの時間的な流れをオペレータに対して直感的に提示するようにしても良い。この場合も編集装置２では、複数の映像表示部部Ｗ５７１〜Ｗ５７ｎに表示する再生映像の再生速度ｖ及び再生時間差ΔＴを任意に設定することにより、オペレータにとって編集し易い螺旋映像表示部群５８を表示部５５に表現することができる。
さらに上述の第１及び第２の実施の形態においては、複数の映像表示部部Ｗ５７１〜Ｗ５７ｎを螺旋状に３次元的に配置した螺旋映像表示部群５８として表示部５５に表現するようにした場合について述べたが、本発明はこれに限らず、図１１４に示すように、両手の間で左手と右手の間で、その左手から右手の方向へ映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像を時系列に順次飛ばすようして表現された螺旋映像表示部群５８を表示部５５に表示するようにしても良い。
この場合、編集装置２のマイクロプロセッサ３では、図１１５に示すように左手の掌が矢印ｅに示す手前側へ倒すように操作されたことを認識すると、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに対する再生映像を時系列に流す速度に応じて手前側から奥側へ倒れるように表示角度を変更して順次飛ばすように連動表示し、図１１６に示すように左手の掌が矢印ｆに示す奥側へ倒すように操作されたことを認識すると、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに対する再生映像を奥側から手前側へ倒れるように表示角度を変更して順次飛ばすように連動表示することができる。
因みに編集装置２は、例えば複数の映像表示部映像表示部Ｗ５７１〜Ｗ５７ｎに対して時系列に流す再生映像の速度を表すその時点におけるタイムコード通知枠ＴＣ１〜ＴＣ４を所定間隔毎に表示することにより、クリップの時間的な流れをオペレータに対して直感的に認識させるようにしても良い。この場合も編集装置２では、複数の映像表示部Ｗ５７１〜Ｗ５７ｎに表示する再生映像の再生速度ｖ及び再生時間差ΔＴを任意に設定することにより、オペレータにとって編集し易い螺旋映像表示部群５８を表示部５５を表示することができる。
さらに上述の第１及び第２の実施の形態においては、複数の映像表示部Ｗ５７１〜Ｗ５７ｎを螺旋状に３次元的に配置した螺旋映像表示部群５８として表示部５５に表現するようにした場合について述べたが、本発明はこれに限らず、図１１７（Ａ）及び（Ｂ）に示すように、複数の映像表示部Ｗ５７１〜Ｗ５７ｎの再生画像が奥側から手前側へ表示される際、途中からあたかも滑り台を順次滑り落ちるような表示形態で螺旋映像表示部群５８を表示部５５に表示するようにしても良い。
この場合、編集装置２は、既に表示し終わった映像表示部Ｗ５７１〜Ｗ５７ｎの再生画像については順次積み上げて表示すると共に、これから表示予定の映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像についても複数枚分を重ねられた状態で表示するようになされているため、現在表示している再生映像部分がクリップ全体のどの辺りであるかを直感的に認識させ得るようになされている。
因みに編集装置２は、これとは逆に、右側に積み重ねられた映像表示部５７の再生映像があたかも滑り台を順次駆け上るように帯状表示部５５に表現するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、図１１に示したように螺旋映像表示部群５８内の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示された再生映像のうちのそのとき所望のシーンを表示している映像表示部Ｗ５７１〜Ｗ５７ｎをクリック（この場合、例えば最初に映像表示部Ｗ５７ｎをクリック）することによって、その映像表示部Ｗ５７ｎが編集操作に伴う編集位置に対応した再生映像であることを所定色に着色して強調表示するようにした場合について述べたが、本発明はこれに限らず、シーンチェンジが含まれるクリップの表示映像データを映像表示部Ｗ５７１〜Ｗ５７ｎに表示する際、そのシーンチェンジの表示映像データを表示する映像表示部Ｗ５７１〜Ｗ５７ｎだけを強調表示するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、螺旋映像表示部群５８の最も手前側に位置する映像表示部Ｗ５７ｎを最も大きく、かつこれから離れるにつれて徐々に小さくなるように各映像表示部Ｗ５７１〜Ｗ５７ｎを表示することにより、螺旋映像表示部群５８の手前側に位置する映像表示部Ｗ５７ｎに近づくほど注目度を向上させるようにした場合について述べたが、本発明はこれに限らず、これに加えて例えば最も手前側に位置する映像表示部Ｗ５７ｎから距離が離れるにつれて極端に解像度を下げ、各映像表示部Ｗ５７１〜Ｗ５７ｎの配置間隔を狭め又はぼかすように各映像表示部Ｗ５７１〜Ｗ５７ｎに再生映像を表示するようにしても良い。このようにすることによって、より一層と螺旋映像表示部群５８の最も手前側に位置する映像表示部Ｗ５７ｎに近づくほど注目度を向上させることができる。なお、複数の映像表示部Ｗ５７１〜Ｗ５７ｎの最も手前側に位置する映像表示部Ｗ５７ｎに近づくほど注目度を向上させる手法としては、この他種々の手法を広く適用することができる。
さらに上述の第１及び第２の実施の形態においては、複数の映像表示部Ｗ５７１〜Ｗ５７ｎのうち手前側とその後側とが重なる部分については後側の映像表示部が透けて表示されるようにした場合について述べたが、本発明はこれに限らず、透けて表示することにより見難くなる場合には、後側の映像表示部が透けて表示されるのではなく手前側の映像表示部によってあえて隠れたまま表示ようにしても良い。
さらに上述の第１及び第２の実施の形態においては、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示する再生映像間の再生時間差ΔＴや各再生映像の再生速度ｖを、全ての再生映像間の再生時間差ΔＴ及び各再生映像の再生速度ｖについて一定とするようにした場合について述べたが、本発明はこれに限らず、これを再生映像間ごとに又は再生映像ごとに独立に設定するようにしても良い。
この場合には、表示部５５の表示画面上において各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖや各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴを、表示画面上における各映像表示部Ｗ５７１〜Ｗ５７ｎの座標位置（絶対座標位置）に応じて再生制御するようにすれば良い。
具体的には、ＧＰＵ４が、表示画面上における各映像表示部Ｗ５７１〜Ｗ５７ｎの座標位置をそれぞれ検出すると共に、この検出結果に基づいて、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示する再生映像の再生速度ｖや各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴがそのときの設定値となるように記憶装置２２を制御するようにする。
例えば再生時間差ΔＴの変更方法としては、螺旋映像表示部群５８の最も手前側に位置する映像表示部Ｗ５７ｎから奥側へ行くほど再生時間差ΔＴを大きくする。視覚効果としてオペレータは、螺旋状に画面の奥側から高速に再生映像が手前側へ飛んできて手前側に近付くに連れてスピードが落ちて再生映像が表示されるように見える。
またオペレータの所定の操作入力によって各映像表示部Ｗ５７１〜Ｗ５７ｎや螺旋映像表示部群５８の位置が変更（移動）された場合、マイクロプロセッサ３及びＧＰＵ４がこれに応じてディスプレイ４０上における各映像表示部Ｗ５７１〜Ｗ５７ｎや螺旋映像表示部群５８の表示位置を変更する一方で、変更後の各映像表示部Ｗ５７１〜Ｗ５７ｎや螺旋映像表示部群５８の座標位置を順次検出して、その座標位置の変化に応じて各映像表示部Ｗ５７１〜Ｗ５７ｎに表示させる再生映像の再生速度ｖや再生時間差ΔＴを制御するようにすれば良い。またマイクロプロセッサ３及びＧＰＵ４の一部機能として再生状態を検出する再生状態検出機能を搭載するようにしても良い。なお再生状態とは、再生速度、再生時刻（映像素材中の相対時刻等）のパラメータの集合などが考えられる。
さらに上述の第１及び第２の実施の形態においては、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖ及び再生時間差ΔＴをオペレータ操作に応じて変更できるようにした場合について述べたが、本発明はこれに限らず、例えば可変ビットレートで圧縮符号化された映像を再生する場合に、発生符号量が多い高ビットレートで圧縮符号化された部分は動きの速い映像部分と推測することができることから、その部分では映像をゆっくりと確認できるように再生速度ｖを及び又は再生時間差ΔＴを小さくする一方、発生符号量が少ない低ビットレートで圧縮符号化された部分は動きが少ない映像部分と推測することができることから、その部分では映像をある程度速く流すように再生速度ｖ及び又は再生時間差ΔＴを大きくするようにしても良い。このようにすることによってオペレータにとって螺旋映像表示部群５８の再生映像を目視確認し易く、かつ編集し易くなる。なお、この場合の再生制御及び表示制御は、発生符号量等の閾値を予めメニュー画面等から設定する、又は編集システムにおいて自動的に制御するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、編集画面５０の表示部５５内に螺旋映像表示部群５８のみを表示するようにした場合について述べたが、本発明はこれに限らず、表示部５５内に螺旋映像表示部群５８に沿ってタイムスケールを表示するようにしても良い。このようにすることによって編集映像音声の時間情報をオペレータに対して容易に確認させるようにすることができる。
さらに上述の第１及び第２の実施の形態においては、編集画面５０（図２）にタイムライン部５３を補助的に設けるようにした場合について述べたが、本発明はこれに限らず、タイムライン部５３を時間軸表示用としての機能をもたせるようにしても良い。この場合には、螺旋映像表示部群５８の基準となる最も手前側に位置する映像表示部Ｗ５７ｎにそのとき表示されている再生映像が、対応するクリップ全体のどの部分に相当するかをタイムライン部５３に表示するような機能をもたせるようにすれば良い。
さらに上述の第１及び第２の実施の形態においては、図１９〜図２４について上述した操作を行うごとに、当該操作に応じた加工処理の処理結果を、かかる表示形態と同じ表示形態で編集画面５０の表示部５５内に順次表示するようにした場合について述べたが、この場合において、例えば直前の編集内容を自動的にバックアップしておき、かかる操作後にその操作直前の状態に戻れるようにしても良い。
さらに上述の第１及び第２の実施の形態においては、キーボード３９の方向キー７０の「上（↑）」キー７０Ｕが押圧操作され、又はマウス３８の右ボタンが押圧操作された状態で、カーソル７１によって螺旋映像表示部群５８に表示された再生映像の一部を、その映像表示部群５８に沿って左方向に引くように当該カーソル７１を移動させる操作を行ったときに、その螺旋映像表示部群５８内の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖを増加させ、かつこれと連携して隣接する映像表示部Ｗ５７１〜Ｗ５７ｎ間における再生映像の再生時間差ΔＴを増加させるようにした場合について述べたが、本発明はこれに限らず、例えばかかる再生速度ｖ及び再生時間差ΔＴのいずれか一方のみを増加させるように編集装置２を構築するようにしても良い。
同様に、上述の第１及び第２の実施の形態においては、キーボード３９の方向キー７０の「下（↓）」キー７０Ｄが押圧操作され、又はマウス３８の右ボタンが押圧操作された状態で、カーソル７１によって螺旋映像表示部群５８に表示された再生映像の一部を、その螺旋映像表示部群５８に沿って右方向に引くように当該カーソル７１を移動させる操作を行ったときに、その螺旋映像表示部群５８内の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖを減少させ、かつこれと連携して隣接する映像表示部Ｗ５７１〜Ｗ５７ｎ間における再生映像の再生時間差ΔＴを減少させるようにした場合について述べたが、本発明はこれに限らず、例えばかかる再生速度ｖ及び再生時間差ΔＴのいずれか一方のみを減少させるように編集装置２を構築するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生速度ｖ及び再生時間差ΔＴを設定自在とすることにより、螺旋映像表示部群５８に表示される再生映像の見た目を変更することができるようにした場合について述べたが、本発明はこれに限らず、再生映像の再生速度ｖ及び再生時間差ΔＴのほかに例えばフレーム・フィールド間隔を数値設定できるようにすることによって、螺旋映像表示部群５８に表示される再生映像の見た目を変更することができるようにしても良く、当該再生映像の見た目を変更するパラメータとしてこの他のパラメータを設定自在とするようにしても良い。
さらに上述の第１及び第２の実施の形態においては、図１５（Ａ）、（Ｂ）又は図１７（Ａ）、（Ｂ）について上述した再生映像の瞬間送り又は瞬間戻し操作の結果、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置を、当該螺旋映像表示部群５８に沿って、引かれた方向へカーソル７１と一体に移動表示することにより、それまでその螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎに表示していた再生映像があたかも瞬時に未来側又は過去側に送られたように見せるようにした場合について述べたが、本発明はこれに限らず、各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置は変えずに、かかる操作が入力されたときに各映像表示部Ｗ５７１〜Ｗ５７ｎに表示した再生映像のみを瞬間的に早送り又は早戻しするようにして、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示していた再生映像をあたかも瞬時に未来側に進み又は過去側に戻したように見せるようにしても良い。
さらに上述の第２の実施の形態においては、再生音声の音声レベルのピークレベルが予め設定された閾値Ｔｈｄよりも大きいときにのみ、そのフレームの画像を表示する際に、対応する各映像表示部Ｗ５７１〜Ｗ５７ｎを通常表示すべきサイズよりも大きく表示させるようにした場合について述べたが、本発明はこれに限らず、かかる閾値Ｔｈｄを設定することなく、対応する再生音声の音声レベルに応じて各映像表示部Ｗ５７１〜Ｗ５７ｎを拡大又は縮小させるように表示するようにしても良い。
さらに上述の第２の実施の形態においては、再生音声の音声レベルのピークレベルが閾値Ｔｈｄよりも大きいときに、そのフレームの画像を表示する際に、対応する映像表示部Ｗ５７１〜Ｗ５７ｎを通常表示すべきサイズよりも大きく表示させるようにした場合について述べたが、本発明はこれに限らず、音声レベルの平均を閾値Ｔｈｄと比較して、平均が閾値Ｔｈｄよりも大きいときにはその映像表示部Ｗ５７１〜Ｗ５７ｎを拡大表示する一方、当該平均が閾値Ｔｈｄよりも小さいときにはその映像表示部Ｗ５７１〜Ｗ５７ｎを縮小表示するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、図６においてフォワード方向再生時に画面の奥側から手前側へ流れるように各映像表示部Ｗ５７１〜Ｗ５７ｎを表示するようにした場合について述べたが、本発明はこれに限らず、オペレータの設定により流れる方向を任意に切り換えられるようにし、クリップによっては画面の手前側から奥側へ流れる場合を正方向として、画面の手前側から奥側へ流れるように各映像表示部Ｗ５７１〜Ｗ５７ｎを表示するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、表示部５５の画面上における各映像表示部Ｗ５７１〜Ｗ５７ｎを固定した状態で表示するようにした場合について述べたが、本発明はこれに限らず、各映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像の再生速度ｖが極めて低速時でかつ再生時間差ΔＴが１フレーム以下の場合、各映像表示部Ｗ５７１〜Ｗ５７ｎに表示中の画像については更新することなく各映像表示部Ｗ５７１〜Ｗ５７ｎ全体を再生方向へ向かって動かしていくかのように各映像表示部Ｗ５７１〜Ｗ５７ｎの位置を順次ずらすことにより、低速再生時に一段と滑らかな動きの画像表示群を目視確認させるようにしても良い。
例えば編集装置２では、図１１８（Ａ）及び（Ｂ）に示すように、各映像表示部Ｗ５７１〜Ｗ５７ｎの再生映像についてはそれぞれ更新することなく停止させた状態で、各映像表示部Ｗ５７１〜Ｗ５７ｎ自体の画面上における位置を順次隣へずらすことにより一斉に１コマずつ画面の奥側から手前側へシフトしているかのような低速の動きを表現することができる。
さらに上述の第１及び第２の実施の形態においては、図２４で示したように編集点に対するエフェクト操作の方法としては、イン点及びアウト点において、同時に、エフェクト処理を行うようにした場合について述べたが、本発明はこれに限らず、イン点及びアウト点に対して個別にエフェクト設定できるようにしてもよい。具体的には、図２４（Ｂ）において、エフェクトアイコン１３を選択後、イン点のフレーム付近にドラッグアンドドロップすることによりイン点側の設定を、アウト点のフレーム付近にドラッグアンドドロップすることによりアウト点側の設定を行う。
なお、このときのエフェクト効果がかかるフレームの前後数フレームやエフェクト効果がかかるフレームの前後数秒間に関してもエフェクト処理を行うことができ、オペレータが事前に設定しておく方法と、エフェクト設定後に調整する方法の両者を選択させるようにしておく。後者の具体的な方法としては、編集点のエフェクトフレームをシフトキーを押下しながらクリック後、シフトキーを押下したままエフェクト区間を延ばす、あるいは縮める先のフレームをクリックすることにより可能とすることができる。
さらに上述の第１及び第２の実施の形態においては、螺旋映像表示部５８に対する表示形態を変更するために、サブ３Ｄ空間画像ＩＭ１に対する確認位置アイコンとしてキャラクタＣＡ１の位置を変更するようにした場合について述べたが、本発明はこれに限らず、単に人の目を表したアイコンや、単なる矢印アイコン等のその他種々の形態でなる確認位置アイコンを用いるようにしても良い。
さらに上述の第１及び第２の実施の形態においては、螺旋映像表示部５８に対する表示形態を変更するために用いられるサブ３Ｄ空間画像ＩＭ１を略立方体形状に形成するようにした場合について述べたが、本発明はこれに限らず、球体等、その他種々の形状によりサブ３Ｄ空間画像ＩＭ１を形成するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、本発明を図１のように構成された編集装置２、９０に適用するようにした場合について述べたが、本発明はこれに限らず、編集装置としての機能の提供が可能な画像処理装置であれば、この他種々の構成の画像処理装置に広く適用することができる。なおこの画像処理装置には、例えばコンピュータ、ビデオカメラ、ディジタルカメラ、ゲーム機器、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機器）、ストレージ機器（例えば光ディスク装置、ホームサーバ）、発明に係る機能を搭載した処理ボードや処理カードが含まれる。なお、いずれの画像処理装置の場合にも、筐体と、信号処理部と、外部インタフェースとを共通構成とし、商品形態に応じた周辺装置が組み合わされて構成される。例えば、ビデオカメラやディジタルカメラであれば、前述の構成に加え、カメラユニットや撮像された映像データを記憶媒体に保存するための書込み回路を有する。また例えば携帯電話機その他の通信機能を有する電子機器であれば、前述の構成に加え、送受信回路やアンテナを有する。
さらに上述の第１及び第２の実施の形態においては、マイクロプロセッサ３がハードディスク装置７に格納された画像処理プログラムとしての制御プログラムを起動して、螺旋映像表示部５８に対する視点に応じた表示変更処理等を実行するようにした場合について述べたが、本発明はこれに限らず、制御プログラムが格納されたプログラム格納媒体をマイクロプロセッサ３にインストールすることにより上述の表示変更処理等を実行するようにしても良い。
このように上述した表示変更処理等を実行するための制御プログラムをハードディスク装置７にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＤＶＤ（Digital Versatile Disc）等のパッケージメディアのみならず、制御プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。またこれらプログラム格納媒体に制御プログラムを格納する手段として、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してもよく、ルータやモデム等の各種通信インタフェースを介して格納するようにしても良い。
さらに上述の第１及び第２の実施の形態においては、マウス３８又はキーボード３９を用いて各映像表示部Ｗ５７１〜Ｗ５７ｎに対する再生映像の瞬間送り又は戻し操作、螺旋映像表示部群５８の表示形態変更操作又は螺旋映像表示部群５８の拡大縮小操作等を行うようにした場合について述べたが、本発明はこれに限らず、これらの操作を操作コントローラ３７を用いて行うようにしてもよい。
なおこの操作コントローラ３７は、図１１９に示すように、三日月状で流線型を帯びた立体となっており、左右対称に形成される。この操作コントローラ３７の表面のうち、三日月状を呈する面の一方を上面とした場合、当該上面には、十字キーＣＫと、十字に配された「△」、「×」、「○」及び「□」ボタンＢ１〜Ｂ４とがおおよそ左右対称に形成されている。
この十字キーＣＫは、上下の押圧操作によって、再生速度を加速又は減速させ、左右の押圧操作によって、カーソル７１を移動させ得るようになされている。また「△」ボタンＢ１はカーソルメニューを表示させ、「×」ボタンＢ２はカーソル７１の指定を解除又はカーソルメニューを消去させ、「○」ボタンＢ３はカーソル７１の指定又は決定をさせ、「□」ボタンＢ４はカーソルメニュー以外の各種メニューを表示させ得るようになされている。
一方、この操作コントローラ３７の上面の内周側には、右ジョグレバーＲＪ及び左ジョグレバーＬＪが左右対称に設けられている。この右ジョグレバーＲＪ及び左ジョグレバーＬＪは、周囲に押し倒す操作によって、カーソル７１によって選択された螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎを、当該螺旋映像表示部群５８に沿って手前側から奥側へ向かう方向又は奥側から手前側へ向かう方向に移動させることができるようになされている。
他方、この操作コントローラ３７の外周側面には、右側ボタンＲＢ及び左側ボタンＬＢが左右対称に設けられている。この右側ボタンＲＢ又は左側ボタンＬＢは、押圧操作によって、螺旋映像表示部群５８自体を、オペレータの所望位置に移動させることができるようになされている。
このような操作コントローラ３７における操作の一例として、基本操作の中から、螺旋映像表示部群５８に沿ってなぞられた方向（奥側から手前側へ向かう方向）と同一方向へカーソル７１と一体に移動させる（図１５）ための操作を、図１２０を用いて説明する。
すなわち、オペレータは、まず十字キーＣＫの左右の押圧操作によって、螺旋映像表示部群５８上にカーソルを位置させることにより、その螺旋映像表示部群５８を選択する（図１２０（Ａ））。
このとき、カーソル７１を螺旋映像表示部群５８上から外すように位置させた場合には、その螺旋映像表示部群５８に対する選択が解除される。一方、その選択を決定する場合には、「○」ボタンＢ３の押圧操作によって、カーソル７１によって螺旋映像表示部群５８を指定して（つかむ）ことができる（図１２０（Ｂ））。
この状態において、オペレータは、右ジョグレバーＲＪを螺旋映像表示部群５８に沿って奥側から手前側に対応する方向に押し倒すと（図１２０（Ｃ））、その螺旋映像表示部群５８に表示される再生映像の再生速度ｖと、互いに隣接する映像表示部Ｗ５７１〜Ｗ５７ｎにそれぞれ表示される再生映像の再生時間差ΔＴとの双方が共に固定された状態のまま、その螺旋映像表示部群５８の各映像表示部Ｗ５７１〜Ｗ５７ｎの表示位置が、当該螺旋映像表示部群５８に沿ってなぞられた方向（奥側から手前側へ向かう方向）と同一方向へカーソル７１と一体に移動されることになる。
このように編集装置２では、マウス３８又はキーボード３９以外に操作コントローラ３７を用いた場合であっても基本操作以外の各種拡張操作を行うことができ、オペレータに対してあたかもゲーム感覚で直感的に画探し作業や編集作業を実行させることができる。
さらに上述の第１及び第２の実施の形態においては、本発明の画像処理装置としての編集装置を、画像生成手段としてのマイクロプロセッサ３、画像処理手段としてのＧＰＵ４によって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる画像生成手段、画像処理手段によって画像処理装置を構成するようにしても良い。
なお、発明の趣旨の範囲内で上述のほかに様々な変形例が考えられる。また本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。
本発明は、ノンリニア編集装置のほか、これ以外の編集装置や、編集装置以外の映像を表示する種々の映像表示制御装置に広く適用することができる。
本発明による編集システムの構成を示す略線的ブロック図である。 本実施の形態による編集画面の構成を示す略線図である。 螺旋映像表示部群の説明に供する略線図である。 螺旋映像表示部群の各映像表示部に対する再生順序の説明に供する概念図である。 各映像表示部にそれぞれ表示される再生映像の再生時間差の説明に供するタイミングチャートである。 Ｆｏｗａｒｄ方向へ流れるような映像表示の説明に供する略線図である。 再生時間差・再生速度設定ダイアログを示す略線図である。 Ｒｅｖｅｒｓｅ方向へ流れるような映像表示の説明に供する略線図である。 並列デコード処理手順を示すフローチャートである。 再生処理手順（表示変更処理手順）を示すフローチャートである。 表示部における基本操作（１）の説明に供する略線図である。 着色された映像表示部の流れの説明に供するタイミングチャートである。 表示部における基本操作（２）の説明に供する略線図である。 表示部における拡張操作（１）の説明に供する略線図である。 拡張操作による映像表示部の移動（１−１）の説明に供する概念図である。 拡張操作による映像表示部の移動（１−２）の説明に供するタイミングチャートである。 拡張操作による映像表示部の移動（２−１）の説明に供する概念図である。 拡張操作による映像表示部の移動（２−２）の説明に供するタイミングチャートである。 １つのクリップ内でカット編集（１）を行う際の説明に供する略線図である。 一つのクリップ内でのカット編集（２）を行い際の説明に供する略線図である。 クリップの分離操作の説明に供する略線図である。 複数クリップを用いたカット編集の説明に供する略線図である。 複数クリップを用いたインサート編集の説明に供する略線図である。 映像特殊効果の設定の説明に供する略線図である。 編集操作応答処理手順を示すフローチャートである。 螺旋映像表示部群のスパイラル構造の説明に供する略線図である。 視点を示すサブ３Ｄ空間画像の説明に供する略線図である。 複数のサブ螺旋映像表示部群の説明に供する略線図である。 サブ螺旋映像表示部群の移動の説明に供する略線図である。 サブ３Ｄ空間画像を固定した視点変更の説明に供する略線図である。 サブ３Ｄ空間画像及びキャラクタの回転の説明に供する略線図である。 サブ３Ｄ空間画像の拡大表示の説明に供する略線図である。 視点変更に応じた螺旋映像表示部群に対する表示処理手順を示すフローチャートである。 視点変更後の螺旋映像表示部群（１）を示す略線図である。 視点変更後の螺旋映像表示部群（２）を示す略線図である。 視点変更後の螺旋映像表示部群（３）を示す略線図である。 視点座標ロックモードによる視点変更後の螺旋映像表示部群を示す略線図である。 視点変更後の螺旋映像表示部群（４）を示す略線図である。 イン点探索中における２次元画像表示例を示す略線図である。 複数クリップを用いたカット編集処理例の説明に供する略線図である。 マイクロプロセッサ及びＧＰＵによる編集前処理の機能構成を示すブロック図である。 ＡＶファイル作成部の構成例を示すブロック図である。 Ｆｙファイル作成部の構成例を示すブロック図である。 データ縮小部の処理を説明するための図である。 Fyファイル作成処理を説明するフローチャートである。 変化量算出部の構成例を示すブロック図である。 動き情報算出部において求められるフレーム単位の動き情報を説明する図である。 動き情報算出部の構成例を示すブロック図である。 動き情報算出部の処理を説明する図である。 動き情報算出部の他の構成例を示すブロック図である。 動き情報算出部の処理を説明する図である。 細かさ情報算出部の構成例を示すブロック図である。 細かさ情報算出部の処理を説明する図である。 細かさ情報算出部の他の構成例を示すブロック図である。 平均値算出部の処理を説明する図である。 変化量算出部で求められるフレームごとの変化量を示す図である。 表示タイプの例を説明する図である。 表示タイプ決定部がフレーム単位で決定する表示タイプを説明する図である。 表示タイプ決定部の構成例を示すブロック図である。 表示タイプ決定処理（１）を説明するフローチャートである。 表示タイプ決定処理（２）を説明するフローチャートである。 フレーム単位の変化量を示す図である。 Fyファイルの例（１）を示す図である。 表示タイプの例（１）を説明する図である。 フレーム単位の動き情報と表示タイプとを示す図である。 表示タイプ決定処理（３）を説明するフローチャートである。 表示タイプ決定処理（４）を説明するフローチャートである。 表示タイプの例（２）を説明する図である。 フレーム単位の細かさ情報と表示タイプとを示す図である。 表示タイプ決定処理（５）を説明するフローチャートである。 表示タイプ決定処理（６）を説明するフローチャートである。 Fyファイルの例（２）を示す図である。 Fyファイルの例（３）を示す図である。 Fyファイルの例（４）を示す図である。 表示タイプの例（３）を説明する図である。 動き情報および細かさ情報と表示タイプとを示す図である。 表示タイプ決定処理（７）を説明するフローチャートである。 Fyファイルの例（５）を示す図である。 マイクロプロセッサ及びＧＰＵによるスクラブ処理の機能構成を示すブロック図である。 Fyファイル管理部と表示タイプ取得部との構成例を示すブロック図である。 スクラブつまみの位置と、その位置によって指定されるフレームとの関係について説明する図である。 通常タイプと高表示レート低解像度タイプのフレームそれぞれのスクラブでの表示方法を示す図である。 表示タイプが静止画タイプのフレームの表示を説明する図である。 スクラブの処理を説明するフローチャートである。 指定区間の区間長に重み付けをする重みの例（１）を示す図である。 指定区間の区間長に重み付けをする重みの例（２）を示す図である。 区間長に重み付けをしない場合と、重み付けをする場合それぞれの指定区間を示す図である。 区間長に関する処理を説明するフローチャートである。 割り当て範囲の設定を説明する図である。 割り当て範囲設定処理を説明するフローチャートである。 表示処理を説明するフローチャートである。 拡大映像表示部の推移（１）の表示例を示す図である。 拡大映像表示部の推移（２）の表示例を示す図である。 拡大映像表示部の推移（３）の表示例を示す図である。 拡大映像表示部の推移（４）の表示例を示す図である。 拡大映像表示部の推移（５）の表示例を示す図である。 拡大映像表示部の推移（６）の表示例を示す図である。 拡大映像表示部の推移（７）の表示例を示す図である。 拡大映像表示部の推移（８）の表示例を示す図である。 拡大映像表示部の推移（９）の表示例を示す図である。 拡大映像表示部の推移（１０）の表示例を示す図である。 拡大映像表示部の推移（１１）の表示例を示す図である。 拡大映像表示部の推移（１２）の表示例を示す図である。 1GOPを構成するフレームごとの変化量を示す図である。 1GOPを構成するフレームごとの表示タイプを決定する方法を説明する図である。 描画間隔の緻密化を説明する図である。 再生時間差に対応する画像間の描写の緻密化（１）を示す図である。 再生時間差に対応する画像間の描写の緻密化（２）を示す図である。 第２の実施の形態における再生映像の表示方法の説明に供する略線図である。 映像表示部拡大表示処理手順を示すフローチャートである。 他の実施の形態における映像表示部の構成（１−１）を示す略線図である。 他の実施の形態における映像表示部の構成（１−２）を示す略線図である。 他の実施の形態における表示部の再生映像（１）を示す略線図である。 他の実施の形態における表示部の再生映像（２）を示す略線図である。 他の実施の形態における表示部の再生映像（２−１）を示す略線図である。 他の実施の形態における表示部の再生映像（２−２）を示す略線図である。 他の実施の形態における表示部の再生映像（３）の説明に供する略線図である。 他の実施の形態における低速再生時の映像表示部の移動の説明に供する略線図である。 他の実施の形態における操作コントローラの構成を示す略線図である。 他の実施の形態における操作コントローラを用いた操作順例を示す略線図である。 従来の編集画面の構成例を示す略線図である。
符号の説明
１、９０……編集システム、２……編集装置、２２……記憶装置、３……マイクロプロセッサ、４……ＧＰＵ、５……ＸＤＲ−ＲＡＭ、３７……操作コントローラ、３８……マウス、３９……キーボード、４０……ディスプレイ、４１……スピーカ、５０……編集画面、５５……表示部、Ｗ５７１〜Ｗ５７ｎ……映像表示部、５８、７７……螺旋映像表示部群、ＩＭ１……サブ３Ｄ空間画像、ＣＡ１……キャラクタ。

Claims (30)

  1. 映像データから、表示画面上の複数の映像表示部に対してそれぞれ表示させるための複数の表示映像データを生成する画像生成手段と、
    上記複数の映像表示部に対して表示させる上記複数の表示映像データを、表示順に時間差を設けながら動画像の状態で、上記表示画面上で３次元螺旋状に配置して表示させる画像処理手段と
    を具えることを特徴とする画像処理装置。
  2. 上記画像生成手段は、符号化ストリームを復号処理することにより、上記複数の表示映像データを生成する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 上記符号化ストリームを記憶する記憶手段と、
    上記記憶手段から上記符号化ストリームを読み出す読出手段と
    を更に有し、
    上記画像生成手段は、上記読出手段により読み出された上記符号化ストリームを復号処理することにより、上記複数の表示映像データを生成する
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 上記画像処理手段は、上記表示画面上で３次元螺旋状に配置された上記複数の映像表示部が表示順に連携した螺旋映像表示部群として、上記複数の表示映像データを上記表示画面上に表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  5. 上記画像処理手段は、上記複数の映像表示部における表示サイズ及び表示位置を含む表示情報を取得し、当該取得した表示情報を用いて上記表示映像データを上記表示画面上に表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  6. 上記画像処理手段は、上記複数の表示映像データを可変速表示させた状態で、上記複数の表示映像データを上記表示画面上に表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  7. 上記画像処理手段は、上記複数の表示映像データの表示速度をそれぞれ等しくさせた状態で、上記複数の表示映像データを上記表示画面上に表示させる
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 上記画像処理手段は、上記複数の映像表示部の間で等間隔の上記時間差を設けながら、上記複数の表示映像データを上記表示画面上に表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  9. 上記画像処理手段は、上記螺旋映像表示部群に含まれる上記複数の映像表示部のうち表示基準となる基準映像表示部に表示される基準表示映像データを、上記複数の表示映像データのなかで最も大きくなるように表示させる
    ことを特徴とする請求項４に記載の画像処理装置。
  10. 上記画像処理手段は、上記基準表示映像データを除いた上記複数の表示映像データを、上記基準映像表示部から上記３次元螺旋状上の距離が離れるに連れて表示サイズを徐々に小さくするように表示させる
    ことを特徴とする請求項９に記載の画像処理装置。
  11. 上記画像処理手段は、上記基準表示映像データを上記螺旋映像表示部群の最も手前側に位置するように表示させる
    ことを特徴とする請求項９に記載の画像処理装置。
  12. 上記画像処理手段は、上記基準表示映像データを除いた上記複数の表示映像データを、上記基準映像表示部から上記３次元螺旋状上の距離が離れるに連れて解像度を下げるように表示させる
    ことを特徴とする請求項９に記載の画像処理装置。
  13. 上記画像処理手段は、上記複数の表示映像データを、互いに隣接するそれぞれの上記映像表示部において重なり合う状態で表示させると共に、上記映像表示部における重なり合う部分をそれぞれ透かせた状態で表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  14. 上記画像処理手段は、上記基準表示映像データを除いた上記複数の表示映像データを、上記基準映像表示部から上記３次元螺旋状上の距離が離れるにつれて、上記複数の映像表示部における配置間隔を狭めて表示させる
    ことを特徴とする請求項９に記載の画像処理装置。
  15. 上記画像処理手段は、上記螺旋映像表示部群における上記複数の表示映像データを時系列に流す速度に応じて、上記複数の映像表示部の表示角度を変更して表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  16. 上記画像生成手段は、上記螺旋映像表示部群における上記複数の表示映像データを時系列に流す速度を示す速度表示データを更に生成し、
    上記画像処理手段は、上記速度表示データを、上記表示画面上のアイコンとして表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  17. 上記画像処理手段は、編集位置に対応する上記表示映像データを上記映像表示部に表示する際、上記編集位置に対応する上記映像表示部又は上記編集位置に対応する上記表示映像データを強調表示させる
    ことを特徴とする請求項に１記載の画像処理装置。
  18. 上記画像処理手段は、シーンチェンジに対応する上記表示映像データを上記映像表示部に表示する際、上記シーンチェンジに対応する上記映像表示部又は上記シーンチェンジに対応する上記表示映像データを強調表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  19. 上記画像生成手段は、上記複数の映像表示部で構成される表示領域の数に応じて、上記符号化ストリームを時間軸上で複数に分割して分割符号化ストリームを生成し、上記分割符号化ストリームを復号処理して上記表示領域毎に上記複数の表示映像データを生成する
    ことを特徴とする請求項２に記載の画像処理装置。
  20. 上記画像生成手段は、
    上記符号化ストリームを復号処理する複数の復号部と、
    上記複数の映像表示部の数に応じて、上記符号化ストリームの復号処理を上記複数の復号部に割り当てる制御部と
    を具えることを特徴とする請求項２に記載の画像処理装置。
  21. 上記複数の表示映像データを上記表示画面上でオペレータが目視確認する際の確認位置を示す確認位置情報を生成する確認位置情報生成手段を更に有し、
    上記画像処理手段は、上記複数の表示映像データを、上記確認位置情報生成手段により生成された上記確認位置情報に応じて配置することにより上記表示画面上に表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  22. 上記確認位置情報生成手段は、上記確認位置を移動させるための確認位置移動操作が行われた際、上記表示画面上で３次元螺旋状に配置された上記複数の映像表示部における基準位置に対して、上記確認位置情報を上記確認位置操作入力に応じて変更し、
    上記画像処理手段は、上記複数の表示映像データを、上記確認位置情報生成手段により変更された上記確認位置情報に応じて再配置することにより上記表示画面上に表示させる
    ことを特徴とする請求項２１に記載の画像処理装置。
  23. 上記確認位置移動操作は、上記表示画面上に設けられた３次元仮想空間において、上記３次元螺旋状に配置された上記複数の映像表示部を上記基準位置から拡大又は縮小させる操作である
    ことを特徴とする請求項２２に記載の画像処理装置。
  24. 上記確認位置移動操作は、上記表示画面上に設けられた３次元仮想空間において、上記３次元螺旋状に配置された上記複数の映像表示部を回転させる操作である
    ことを特徴とする請求項２２に記載の画像処理装置。
  25. 上記確認位置移動操作は、上記表示画面上に設けられた３次元空間において、上記３次元螺旋状に配置された上記複数の映像表示部における基準軸に対して未来方向又は過去方向へ移動させる操作である
    ことを特徴とする請求項２２に記載の画像処理装置。
  26. 上記複数の映像表示部に対応する上記複数の表示映像データを上記表示画面上でオペレータが目視確認する際の上記表示画面上の確認位置を示す確認位置情報を生成する確認位置情報生成手段を更に有し、
    上記画像処理手段は、上記確認位置情報生成手段により生成された上記確認位置情報を、所定の確認位置アイコンとして上記表示画面上に表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  27. 上記確認位置情報生成手段は、上記確認位置を移動させる確認位置移動操作が行われた際、上記表示画面上で３次元螺旋状に配置された上記複数の映像表示部における基準位置に対して、上記確認位置情報を上記確認位置操作入力に応じて変更し、
    上記画像処理手段は、上記確認位置情報生成手段により変更された上記確認位置情報に対応する位置に対して、所定の確認位置アイコンとして上記表示画面上に表示させる
    ことを特徴とする請求項２６に記載の画像処理装置。
  28. 映像データから、表示画面上の複数の映像表示部に対してそれぞれ表示させるための複数の表示映像データを生成する画像生成ステップと、
    上記複数の映像表示部に対して表示させる上記複数の表示映像データを、表示順に時間差を設けながら動画像の状態で、上記表示画面上で３次元螺旋状に配置して表示させる画像処理ステップと
    を具えることを特徴とする画像処理方法。
  29. 情報処理装置に対して、
    映像データから、表示画面上の複数の映像表示部に対してそれぞれ表示させるための複数の表示映像データを生成する画像生成ステップと、
    上記複数の映像表示部に対して表示させる上記複数の表示映像データを、表示順に時間差を設けながら動画像の状態で、上記表示画面上で３次元螺旋状に配置して表示させる画像処理ステップと
    を実行させることを特徴とする画像処理プログラム。
  30. 映像データから、表示画面上の複数の映像表示部に対してそれぞれ表示させるための複数の表示映像データを生成する画像生成ステップと、
    上記複数の映像表示部に対して表示させる上記複数の表示映像データを、表示順に時間差を設けながら動画像の状態で、上記表示画面上で３次元螺旋状に配置して表示させる画像処理ステップと
    を含む処理を情報処理装置に実行させることを特徴とする画像処理プログラムを格納したプログラム格納媒体。
JP2006070054A 2006-03-14 2006-03-14 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 Pending JP2007250048A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006070054A JP2007250048A (ja) 2006-03-14 2006-03-14 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006070054A JP2007250048A (ja) 2006-03-14 2006-03-14 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体

Publications (2)

Publication Number Publication Date
JP2007250048A true JP2007250048A (ja) 2007-09-27
JP2007250048A5 JP2007250048A5 (ja) 2008-12-04

Family

ID=38594170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006070054A Pending JP2007250048A (ja) 2006-03-14 2006-03-14 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体

Country Status (1)

Country Link
JP (1) JP2007250048A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016059761A1 (ja) * 2014-10-17 2016-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 記録媒体、再生方法、および再生装置
JP2019067481A (ja) * 2014-10-17 2019-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体
JP2019079475A (ja) * 2017-10-27 2019-05-23 大日本印刷株式会社 画像再生システム及び画像再生方法
US20210409473A1 (en) * 2017-07-20 2021-12-30 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
JP2022519172A (ja) * 2019-01-15 2022-03-22 北京字節跳動網絡技術有限公司 画像表示方法と装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165802A (ja) * 1997-08-20 1999-03-09 Fujitsu Ltd コンテンツ表示方法及びコンテンツ表示装置
WO2000033572A1 (en) * 1998-11-30 2000-06-08 Sony Corporation Information providing device and method
JP2002074322A (ja) * 2000-08-31 2002-03-15 Sony Corp 情報処理装置及び情報処理方法並びにデータ記録媒体
JP2004274171A (ja) * 2003-03-05 2004-09-30 Nec Corp オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
WO2005043373A1 (en) * 2003-10-31 2005-05-12 Koninklijke Philips Electronics, N.V. Method and system for organizing content on a time axis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165802A (ja) * 1997-08-20 1999-03-09 Fujitsu Ltd コンテンツ表示方法及びコンテンツ表示装置
WO2000033572A1 (en) * 1998-11-30 2000-06-08 Sony Corporation Information providing device and method
JP2002074322A (ja) * 2000-08-31 2002-03-15 Sony Corp 情報処理装置及び情報処理方法並びにデータ記録媒体
JP2004274171A (ja) * 2003-03-05 2004-09-30 Nec Corp オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
WO2005043373A1 (en) * 2003-10-31 2005-05-12 Koninklijke Philips Electronics, N.V. Method and system for organizing content on a time axis

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016059761A1 (ja) * 2014-10-17 2016-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 記録媒体、再生方法、および再生装置
JPWO2016059761A1 (ja) * 2014-10-17 2017-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体
JP2017199450A (ja) * 2014-10-17 2017-11-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 再生方法、および再生装置
JP2017204320A (ja) * 2014-10-17 2017-11-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 再生方法、および再生装置
JP2017204319A (ja) * 2014-10-17 2017-11-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体
JP2019067481A (ja) * 2014-10-17 2019-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体
US20210409473A1 (en) * 2017-07-20 2021-12-30 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
US11722542B2 (en) * 2017-07-20 2023-08-08 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
JP2019079475A (ja) * 2017-10-27 2019-05-23 大日本印刷株式会社 画像再生システム及び画像再生方法
JP2022519172A (ja) * 2019-01-15 2022-03-22 北京字節跳動網絡技術有限公司 画像表示方法と装置
JP7273163B2 (ja) 2019-01-15 2023-05-12 北京字節跳動網絡技術有限公司 画像表示方法と装置

Similar Documents

Publication Publication Date Title
CN101326821B (zh) 图像处理设备和图像处理方法
JP4727342B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
EP2127368B1 (en) Concurrent presentation of video segments enabling rapid video file comprehension
US8327267B2 (en) Image data processing apparatus, image data processing method, program, and recording medium
US8411735B2 (en) Data processing apparatus, data processing method, and program
JP5421627B2 (ja) 映像データ表示装置及びその方法
CN100588227C (zh) 数据处理设备、数据处理方法和程序
US20030090504A1 (en) Zoom editor
KR101919475B1 (ko) 사용자 인터페이스 제공 장치 및 방법
KR20080100434A (ko) 콘텐츠 액세스 트리
JP2008141746A (ja) 動画再生システム及び方法
JP2007250048A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP2011071813A (ja) ３次元に表示された動画コンテンツ編集プログラム、装置及び方法
JP2006115469A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
CN100474391C (zh) 图像处理装置和图像处理方法
JP2006115468A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP4613851B2 (ja) データ処理装置およびデータ処理方法、並びにプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081015

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081015

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110303