[go: up one dir, main page]

JP2001501781A - Multi-format A / V production system with frame conversion - Google Patents

Multi-format A / V production system with frame conversion

Info

Publication number
JP2001501781A
JP2001501781A JP09526804A JP52680497A JP2001501781A JP 2001501781 A JP2001501781 A JP 2001501781A JP 09526804 A JP09526804 A JP 09526804A JP 52680497 A JP52680497 A JP 52680497A JP 2001501781 A JP2001501781 A JP 2001501781A
Authority
JP
Japan
Prior art keywords
video
format
production
program
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP09526804A
Other languages
Japanese (ja)
Other versions
JP4445592B2 (en
Inventor
欣也 鷲野
バリー エイチ シュワーブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=22254682&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2001501781(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Individual filed Critical Individual
Priority claimed from PCT/US1996/001501 external-priority patent/WO1997027704A1/en
Publication of JP2001501781A publication Critical patent/JP2001501781A/en
Application granted granted Critical
Publication of JP4445592B2 publication Critical patent/JP4445592B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 入力番組は種々のどのような画像やテレビ方式にも変換できることができ、そして幾つかの実際に実用の方式を使って、データー圧縮された画像として記録されます。処理される中で、(180参照の)画像は、一般的な技術である画素補間により、アスペクト比と大きさを、必要とする値にするように、(182、184に)リサイズされます。そして、受信する側が、ソースの信号と同じアスペクト比を持たない場合は、ビデオの一連のデーターの中で信号は、オプションとして、受信側でパンとスキャンの操作を制御できるようにできます。一般の方式間の相互フレーム変換は、一般に良く知られている、映画からNTSCそして映画からPALへの変換に用いられる技術を使うことにより、あるいはフレーム間補間により行われます。最適なデジタイズする上のパラメーターの賢明な選択により、このシステムは使用者が、アスペクト比、解像度そしてフレーム速度の相互関連できるファミリーの関係を築くことができます。そしてこの関係は、現在実用の、そして未来の方式に互換性を持った上でできます。 (57) [Summary] The input program can be converted to any of a variety of images and television formats, and is recorded as a data-compressed image using some practical methods. During processing, the image (see 180) is resized (by 182, 184) to achieve the required aspect ratio and size by pixel interpolation, a common technique. And if the receiver does not have the same aspect ratio as the source signal, the signal can optionally be controlled by the receiver to control the pan and scan operations in the video stream. Mutual frame conversion between common formats is performed by using the well-known techniques used for film to NTSC and film to PAL conversion, or by inter-frame interpolation. With a judicious choice of parameters for optimal digitizing, this system allows the user to establish an interconnected family relationship of aspect ratio, resolution and frame rate. And this relationship can be made compatible with current and future methods.

Description

【発明の詳細な説明】 フレーム変換を伴うマルチフォーマットA/V制作システム 発明の分野 この発明は、一般的にビデオ制作、写真画像処理、そしてコンピュータグラフ ィックデザインに関連するもので、とりわけ高品位テレビ番組を含む、テレビ、 その他の用途に使用される映像の業務用品質の編集と処理をすることができるマ ルチフォーマットのビデオ制作システムに関連します。 発明の背景 種々の番組配給方法(ケーブルTV、ホームビデオ、放送など)を通して実用に なっている数多くのテレビチャンネルが、急激に増え続けており、それにともな う番組制作、とりわけ高品質のHDTVの番組の需要が、番組制作者にとって、 技術的にも経済的にも、特別な難題となってきています。業務用の編集機や画像 処理機器の値段は、R&Dやその他の要因により、上がり続けていますが、一方 、パーソナルコンピューターを含む、一般向けのハードに関しては、プロでない 人、または初心者でも、十分に手の届くコストで、かなりの特殊効果を行うこと ができるようになりました。結果として、これら二つの分野の区別がつきにくく なりました。一般向けのPCベースの機器は現段階では業務用機器が持つ実時間 でフル解像度の画像を処理できる能力を持ち合わせていませんが、次々と紹介さ れる新しい世代のマイクロプロセッサーの処理はどんどん早くなっていますし、 より高い解像度の用途に使えるようになってきています。さらに、メモリー回路 やその他のデーターの記憶装置の値段も継続して下がり、そのような機器の容量 は劇的に 増加してきています。そしてこれらの発展によって、PCベースの画像処理シ ステムを業務用の用途に使用する可能性が高まっています。 専用の機器の分野に関しては、伝統的に二つの分野の業務用の画像処理システ ムの発展に関心が持たれています。その一つは最も高品質の映画の特殊効果を目 的としており、そしてもう一つは、現在の放送システムの現実と経済性の中で完 全な35mm劇場映画の品質を提供できるテレビ放送用を目的としています。今まで の一般的な35mm劇場映画の品質は、上映用で1200本同等かそれ以上の解像度があ り、カメラのネガティブでは2500本かそれ以上の解像度があると思われてきまし た。これらを踏まえて、現在審議されている画像方式はHDTV放送を高いレベ ルの制作用に2500かそれ以上の走査線を持つビデオシステムになるように検討さ れてきました。そしてこのHDTVの方式を下位変換することによってNTSCかPA Lに互換性をもたせる方式になるような階層構造になっています。提議されてい るほとんどのものが順次方式を使っていますが、この発展的な処理の一つとして 、飛び越し走査も認められた方式として検討されています。もう一つの重要な事 柄はコンピューターグラフィックに互換性がある方式であることです。 現在のコンピューターと画像処理の技術的な方向性は、1200の走査線より少な い制作機器により画像拡大して、上位変換する階層構造の方式によって画像を劇 場上映用や映画の特殊効果用そして映画の記録用に変換できます。さらに、一般 用のハードの発展は、これまで参照されたどれにも述べられていない主題である 経済的制作の側面に取り組むことを可能にします。発明の概要 ここに提出する発明は、経済的なマルチフォーマットビデオ制作システムを提 供することを可能にする一般用のハードを利用するものです。この実現において は、特別の画像処理の機能が、高性能パーソナルコンピューターかワークステー ションに含まれ、ユーザーが、入力したビデオ番組の編集と処理をして、異なっ たフレーム速度、ピクセルの大きさ、あるいは異なった両方を持つ最終の方式の 送出番組を制作することを可能にします。このシステムの内部制作の方式は、標 準とワイドスクリーンテレビ、高品位テレビ、そして映画に関連する、現存する 、そして将来計画されている方式に最大の互換性を提供するように、選択されま す。映画と互換性をもつ為に、内部制作の方式のフレーム速度は毎秒24であるこ とを提起します。画像は、各々の用途の特定の要求を充足させるように、システ ムにより拡大・縮小して、リサイズされ、そしてフレーム速度は、フレーム間補 間によって処理されたり、あるいは毎秒24から30フレームに変換する3:2プルダ ウンか、非同期の読み出しそして書き込みをすることにより、番組の記録設備を 使ってフレーム変換を操作します。 この発明は、複数のインターフェース機器で構成され、それらは、ある入力方 式のビデオ番組を標準・ワイドスクリーンの方式の画像を表す出力信号に変換す るための標準・ワイドスクリーンインターフェース機器を含み、そして付属の表 示機器に信号を出力します。高品位テレビインターフェース機器は、HDTVの 方式の画像を表す出力信号に、入力した方式のビデオ番組を変換するように作用 して、そして表示機器に信号を出力します。 ビデオ番組入力、グラフィックプロセッサー、そしてオペレーター用のインター フェース間を通信、操作する集中制御器は、オペレーターがグラフィックプロセ ッサーによって、テレビインターフェースを使用して、一つあるいはそれ以上の 変換ができるように命令を出すことができます。ここに提出する発明は、このよ うに、低価格の一般用のハードを使用して、そして高いS/N比を維持した、比較 的低いピクセルの大きさでの制作を促進します。そして、その後に、高品位方式 の最終番組に結果を拡大します。この発明と競争している研究方法は、対照的で 、そのやり方というのは、高解像度で扱うことを推薦していて、必要ならば、よ り低価格の方式に下方変換するといった、この提出している発明が削減しようと 努力している高いコストの専用のハードの必要性を助長するものとなっています 。 図面の簡単な説明 図1Aから1Dは、望ましいそしてその代わりのピクセルでの画像のアスペクト比 を示します; 図2は、ディスクベースの記録の機能図を示します; 図3は、マルチフォーマットA/V制作システムを構成する部分を示します。; 図4は、フレーム変換を実行する為の、非同期の読み出しそして書き込みをす ることにより、ビデオ番組の記録手段を実現する代わりの方法を示す機能図です 。; 図5は、マルチフォーマットA/V制作システムの、種々の現存するそして計画 されているビデオフォーマットへの相互関係を示します; 図6は、放送番組供給や衛星受信そしてデーターネットワークインターフェー スを 含む完全なテレビ制作システムの実現を示します。 発明の詳細な説明 ここに提出する発明は、主に、現在そして未来の画像処理やテレビの方式と互 換性を保ちながら、アスペクト比、解像度、そしてフレーム速度の相互関連性を 確立する為の、不可欠なフレーム速度変換を含む、異なる画像処理またはテレビ 方式の変換に関係しています。これらの方式は現在実用のマルチスキャンコンピ ューターモニター上に、表示できるピクセルの大きさの画像を含み、そして専用 のハードにより、これらのモニターの能力を越える高いピクセル数のフレームを 見ることができるようにします。画像は、各々の用途の特定な必要性を充足させ るように、システムによって、大きく、あるいは小さくリサイズされ、そしてフ レーム速度は、フレーム間補間によって、例えば(毎秒24から30フレームに変換 する、映画からNTSCのような)3:2プルダウンを使用するような、またはフレーム 速度自身(PALのテレビ表示の為に、24から25fpsに)を早めることによる伝統的方 法によって適応しています。リサイズの操作は、画像のアスペクト比の保存に関 係するか、あるいは、ある部分を切り落とすことにより、画像を圧搾するような 、ノンリニアの変化を行うことにより、あるいは、パン、スキャン、そしてその 他の映像の中心を変化させることによって、アスペクト比を変えることができま す。映画が、しばしば普遍の方式として、参照されるのは、主に、35mmの映画機 器が標準で、世界中で使用されているからで、この発明の内部の、あるいは制作 のフレームは毎秒24フレームであることが提起されています。 この選択は、また、24フレームの速度が、30フレームより感度の高いカメラの 実現を可能にする、追加の長所を持ち、それは、順次走査を使用するシステムに とっては、より一層重大であり、その為に、その速度は、ある他の提案によるシ ステムにおける毎秒60フィールドに対して、毎秒48フィールドになります。 画像の大きさは、今までのCCDタイプのカメラを使用することが可能ですが、 全体の信号の回路を通して、直接にデジタル処理を使用することが好まれ、そし てこれは、典型的アナログRGB処理回路を完全なデジタル回路で入れ替えるこ とによって実現されます。制作の効果は、画像の大きさが、適切である時はいつ でも行うことができ、そして記録する為に、リサイズされます。画像は、可搬型 ハードディスク、可搬型媒体でのハードディスクドライブ、光学か光学磁気ベー スのドライブ、あるいはテープベースのドライブを働かせた、記録機器に、圧縮 されたデーターの形が好まれて、デジタルデーターを書き込むことにより、記録 されます。画像処理のデーターレートとディスクドライブとの読み書きが、増加 するので、現在数秒必要としている、多くの処理は、すぐに実時間で達成できる ようになり、遅い速度で、映画のフレームを記録する必要がなくなります。スロ ーモーションやファーストモーションのような、その他の制作効果も、具体化さ れ、そして今日の技術で、どうしても限界があるのが、これらの効果のフレーム 速度だけです。特に、ノンリニア編集、アニメーション、そして特殊効果のよう な技術は、このシステムの実現から有利になります。音声の場合に、データーレ ートの必要条件は、音質に大きく機能します。音声信号は、制作の為の、交互に 噛み合った、または同期したシステムによって、別々に扱われ、 あるいは音声データーはビデオデーターストリームの中に交互に重ね合わせられ ます。この方法の選択は、望まれる制作処理のタイプにより、そして現在の技術 の限界によります。幅広い種々のビデオの方式と機器の構成は、この発明に応用 でますが、このシステムは、現在実用の機器そして方法に最も互換性があるもの として、説明されます。図1Aは、画像のサイズそしてピクセルの大きさの互換性 のあるシステムの一つの例を表わしています。選択されるフレーム速度は、映画 の要素との互換性の為に、毎秒24フレーム(2:1のインターレースで)が好まれ 、選択される画像のピクセルの大きさは、全てのHDTVシステムに予定されて いるワイドスクリーンアスペクト比に互換性を持たせる為に、1024x576(0.562 5Mpxl)が好まれ、そして今までの4:3のアスペクト比が、PALシステム(768x57 6−0.421875Mpxl)に使用されます。全ての具体化は、他のピクセルの形も使用 されますが、正方形のピクセルによることが好まれます。(多くの画像処理ソフ トのパッケージで実用的な、良く知られた、複雑なサンプル技術を使用するか、 あるいは代わりに、これから説明するハードの回路を使用した)2048x1152(2. 25Mpxl)へのリサイズは、HDTV表示に、あるいは劇場上映システムにも、向 いた画像を提供います。そして、さらなる4096x2304(9.0Mpxl)へのリサイズ は、最も要求の厳しい制作効果にも適切です。画像は、16:9のワイドスクリーン TVフレームの為に5:1のデーター圧縮され、あるいはHDTVの為に10:1にさ れます。データーファイルは、そこで、RGBのワイドスクリーンのフレームで 、ほぼ8.1MB/secだけ必要で、RGBのHDTVのフレームでは16.1MB/secだけ 必要とします。 この発明のもう一つの具体化は、図1Bに示されています。この場合、ユーザー は、4:3のアスペクト比で撮影される、映画制作に一般的に使用される技術に従 います。ワイドスクリーンに上映される時は、フレームの上と下がアパチャープ レートにより、遮られて、画像が望むアスペクト比(典型的に1.85:1か1.66:1) を表します。もし元の画像の方式が、4:3の比で、1024x768のピクセルの大きさ で、毎秒24フレームで記録されたならば、全ての画像処理は、この大きさを保ち ます。現存の方式との完全な互換性は、大きさを変えてこれらの画像から直接に NTSCやPALの画像を制作できる結果を生み、そして前述のワイドスクリーン画像 は、画像の上から96本の列を、そして画像の下から96本の列を取り除いて、結果 として、上記で説明した、1024x576の画像の大きさになって提供されます。こ れらの方式のそれぞれのデーターの容量は、0.75Mpxlになり、そして上記で説明 したデーター記録の必要性は、同じ様になります。 この発明のもう一つの具体化は、図1Cに描かれています。このシステムは、F CC(連邦通信委員会)のATV研究委員会によって検討され、そして幾つか提案 されているデジタルHDTVフォーマットの中で、推薦されている画像の大きさ に従います。採用されているこの方式は、1280x720のピクセルの大きさを持つ ワイドスクリーンを想定しています。これらの画像の大きさ(毎秒24フレーム、 2:1のインターレースで)を使用して、現存の方式との互換性は、その画像のそ れぞれの側から、160本の縦線を取り除くことによって、このフレームサイズか ら得られるNTSCとPALの画像として、実現し、 その結果として、960x720のピクセルの大きさを持つ画像になります。この新し い画像は、大きさを変えて、NTSCの640x480か、PALの768x576のピクセルの大き さを持つ画像を創ります;それに対応したワイドスクリーンの方式は、それぞれ 、854x480そして1024x576になります。この場合、1280x720のピクセルの大きさ を持つ画像は、1,000本の水平解像度で、0.87890625Mpxlを含みます;さらに、F CCのATSCで評価中のこのシステムはまた、ただの640x360のピクセルを維持した 詳細な、二つのクローマ信号の10分の1を想定しています。上記で説明されたこ のデーター記録の必要性は、同じ様になります。プログレッシブ走査での毎秒24 フレームの開発の方向は、2048x1152のピクセルの大きさを持つ画像を制作する 、以前に説明した方法を使用するように、はっきりと明示され、そして実際的で もあります。 この発明のさらなる別の具体化を、図1Dに示します。図1Bの参照で説明しまし たシステムでのように、使用者は、4:3のアスペクト比の画像で撮影される、映 画制作に一般的に使用される技術に従います。ワイドスクリーン方式の画像とし て上映された時、アパチャープレートによって上と下の場所が再び遮られて、画 像が望まれるアスペクト比(典型的に1.85:1か1.66:1)を表します。元の画像方 式が、4:3の比で、そして1280x960のピクセルの大きさで、毎秒24フレームで記 録されているので、全ての画像処理はこれらの大きさを保ちます。現存の方式と の完全な互換性は、大きさを変えることにより、これらの画像から直接にNTSCと PALの画像を制作できる結果を生み、そして前述したワイドスクリーン画像は、 画像の上から120本の横列のピクセルを、 画像の下から120本の横列のピクセルを取り除き、提供され、結果として、上記 で説明した1280x720の画像サイズになります。これらのフレームのそれぞれのデ ーター容量は、0.87890625Mpxlで、そしてデーター記録の必要性は同じ様になり ます。 ここに説明されたどの場合でも、位置と画像の中心の信号をデータストリーム の中に含むことにより、パンとスキャン操作を実行する為に、受像機か表示モニ ターが利用できるような情報を含むことができます。そしてその情報により、表 示器のアスペクト比と違う信号を表示するように適切に働きます。例えば、ワイ ドスクリーンで送信された番組は、今までの一般的な4:3のアスペクト比の表示 器が自動的に適切な位置にパンするように、画像の中心の位置を変えるように指 示する情報を含みます。クレジットや特別なパノラマ映像の表示には、モニター はオプションとしていっぱいのレターボックスに切り替えることができるか、画 像を中心にして、画像の両側面を取り去ったいっぱいの高さといっぱいの幅で表 示器の画像の上下を何もないようにしたレターボックスとの中間のような、中間 の状態に対応する情報を含んで、画面の大きさを変えます。この位置と大きさの 情報は、使用する表示方式の制限の中で、元の素材の芸術的価値を維持できるよ うに、映画からビデオにトランスファーする時の典型的な操作であるパンとスキ ャンを使用者が制御して決定できます。 現在ののCCD素子のカメラは、 f8で2000luxの感度で、水平輝度解像度800本以上、そしてS/N比62dBの画像を創 ります。けれども、典型的なHDTVカメラでは、1,000TV本の解像度と、同 様な感度で、広帯域アナログ増幅器とCCD素子の物理的大きさの制限により、 54dBだけのS/N比で、画像を創ります。この発明のカメラシステムでもって、よ り一般的CCD素子を使用し、そしてコンピューターでの、画像のリサイズによ り、HDTVタイプの画像を創ることで、より改善されたS/N比が得られます。 この新しい設計のアプローチに順応したカメラが実際に具体化することにおいて 、大規模な照明の用意の必要がなくなり、その次に、リモート制作での発電機そ して、スタジオ用途でのAC電源の需要が少なくなります。 CCDベースのカメラで、赤と青のCCDの画素は合わせ、緑のCCD画素は 1/2ピクセル幅だけ水平にずらして、解像度を上げる技術は一般的になっていま す。この場合、画像の情報は位相があっていますが、偽信号のゆえに擬似情報は 位相がずれています。三つのカラー信号が混合された時、画像情報は、そこなわ れていませんが、ほとんどの偽情報は、打ち消されてしまいます。この技術は、 対象が単一の色である時は、きわめて効果が少なく、偽情報を抑える為に、それ ぞれのCCDに光学低域フィルターを実装するのが一般的な方法です。さらに、 この技術は、コンピューターベースの画像には、カラーのピクセル画像が常に合 っているので、用いる事ができません。 けれども、一般的使用のビデオでは、この画素ずらしの用途の結果は、輝度信号 の水平解像度を、約800本にはっきりと上げることができます。 累進的により高い容量、そしてデーター送信速度のハードディスクドライブの 可能性は、継続的により長い、そして高い解像度の画像の表示を実時間で可能に します。以前に述べたデーターレートで、ワイドスクリーンフレームは、毎分48 6MBの必要があり、そのことから、現在実用の10GBのディスクドライブは、21分 以上のビデオを記録します。今後予想される100GBのディスクドライブ(2.5イン チか3.5インチのコバルトクロームを使用したディスク、バリウムフェライトあ るいは他の高密度磁気記録素材を使用して、)が実用になった時、これらの機器 は、210分あるいは、3.5時間のビデオを記録します。この用途で、データー記録 機器は、編集や制作活動ができるようにし、そしてこれらの機器が、ベータカム やENGカメラで、そしてビデオ制作で現在使用されるビデオカセットと全く同 じ様に働くことが期待されます。このデーター記録機器は、可搬型記録媒体の、 磁気、光学、光学磁気ディスクドライブによって、あるいはPCMCIAの標準のよう な、可搬型ディスクドライブ機器によって、実現されます。PCMCIA媒体は、1.8 インチの大きさですが、一方の可搬型媒体の記録機器は、この限界に制限される のではなく、そして2.5インチか3.5インチディスクのようなより大きい媒体を働 かせることができ、これによって、より長い継続番組のデーター記録をできるよ うにするか、あるいは同じ大きさの媒体の限界の中で、データー圧縮比を低くす るか、より高いピクセル数の画像を記録するように適応できます。 図2は、ビデオカメラの中で、あるいは別々に編集と制作設備の中で、働く記 録機器ベースのデジタルレコーダーの機能図を示します。示されているように、 可搬型ハードディスクドライブ70は、バス制御器72を通して、インターフェース し、実際には、光学、あるいは光学磁気ドライブのような、代わりの記録方法が 、SCSIかPCMCIAのような種々のインターフェースバス方式により、使用できます 。このディスクドライブシステムは、現在、毎秒20MBのデーター送信速度を達成 していますが、高容量可搬型メモリーモジュールのような、高速で他のデーター 記録機器が、待ち望まれています。マイクロプロセッサー74が、種々の構成部分 をまとめる、64ビットか、それより広いデーターバス80を制御します。現在、実 用のマイクロプロセッサーは、DEC社のAlpha21064、あるいはMIPS社のMI PS R4400が含まれますが、将来においては、データーの送信速度毎秒100MBを維 持することができる、既に紹介されたIntel社のP6、あるいはPowerPC 620に 依存します。76に示されている、256MBまでのROMは、78に示されている、256 MBあるいはそれ以上のRAMのように、操作用に使用されます。現在のPCベー スのビデオ制作システムは、複雑な編集効果ができるように最低64MBのRAMを 装備しています。グラフィックプロセッサー82は、入力ビデオ信号84と、出力ビ デオ信号86を処理するのに必要な、種々の巧みな操作を行う専用のハードを代表 します。それらの信号は、RGBの方式で示されていますが、入力か出力は、Y/ R-Y/B-Y、YIQ,YUV、あるいは他の普通に使用されている方式のような、代わりの 方式で構成できます。とくに、プロセッサー82のソフトベースの実現は可能です が、 標準・ワイドスクリーン信号(NTSC/PAL/Widescreen)には、5:1のデーター圧縮 を働かせるシステムで、そしてHDTV信号(上で説明されたように、2048x115 2の)には、10:1のデーター圧縮比を働かせるシステムで、ハードベースで実現 されることが好まれます。このデーター圧縮の多くの実用的なオプションの一つ の例は、現在実用なモーションJPEGシステムです。画像のリサイズは、Gene sis Microchip社のgm865x1かgm833x3のような、専用マイクロプロセッサーによ って実行されます。音声信号は、FCCによって、あるいは、マイクロソフト社 のAVI(音声・ビデオの交互の重ね合わせ)ファイル方式のような、マルチメ ディア記録機構で使用される、音声・ビデオ信号をまとめるのに実用的な方法の 一つによって、既に評価中のデジタルテレビ送信のいくつかのシステムの中で、 提案されているような、データーストリームの中に含まれます。代わりのものと して、音声信号を記録する独立したシステムが、同じシステムと電気回路によっ て制御された、別れたデジタル記録設備を働かせることによってか、あるいは上 記で説明されたカメラシステムの外部の完全に別れた機器を実現することによっ て、具体化されます。 図3は、マルチフォーマットA/V制作システムを構成する構成部分を示します 。図2のコンピューターディスクベースの記録システムの場合のように、インタ ーフェースバス制御器106は、内部ハードディスクドライブ100、テープバックア ップドライブ102、そして可搬型媒体を持ったハードディスクドライブ、あるい は可搬型ハードディスクドライブ104を含むことが好まれ、種々の記録機器を利 用できるように提供します。具体化されたインターフェースバス標準は、他のも のの中から、SCSI-2、あるいはPCMCIAを含みます。データーは、マイクロプロセ ッサー110の制御のもとでこれら機器間を相互に送信されます。 現在、データーバス108は、図3コンピューターディスクベースビデオレコーダ ーに推薦されているような、マイクロプロセッサーを使用した、64ビット幅で示 されているように操作されますが、PowerPC620のような、より高性能のマイクロ プロセッサーが実用になりしだい、データーバスは、128ビットに適応するよう に広げれます。そして、一つのプロセッサーで1,000 MIPSの目標が期待されて、 複数の平衡処理の使用ができるようになります。256MBまでのROM112は、必要 なソフトを働かせる事が期待され、そして最低でも1,024MBのRAM114は、複雑 な画像操作、フレーム間補間、そして複雑な制作効果に必要なフレーム補間を可 能にし、種々の画像フォーマットとの間の変換を可能にします。 このシステムの重要な点は、一般的に示されたグラフィックップロセッサー11 6の柔軟性です。実質的には、専用のハードが、画像処理や拡大・縮小のような 操作には、最も良い性能を発揮しますが、これらの機能を想定したシステムを必 要とはしていません。三つの別々のセクションは、三つの分類された信号を処理 するように働きます。これから説明しますビデオ入力と出力信号は、例えば、R GBとして、示されていますが、Y/R-Y/B-Y、YIQ、YUV、あるいは他の代わりの もののようなどれでもこの発明の一部として働かせれます。一つの可能性のある 具体化としては、下記に説明されているようなそれそれのセクションに別々の回 路を作ることで、現在、あるいは未来のPCベースの電気的、そして物理的相互 接続の標準と互換できるように、これらの基板が製造されるべきです。 標準・ワイドスクリーンビデオインターフェース120は、 1024x576か1024x768の画像サイズ内で、操作することを目的とし、一般的に122 に示されているように、デジタルRGB信号を処理する為に受け入れ、これらの 方式にデジタルRGB出力を創ります。D/A変換器と関連したアナログ増幅器を 持った、これまでの内部回路は、内部画像を、アナログRGB信号とコンポジッ トビデオ信号を含む、2番目のセットの出力に変換するように働きます。これら の出力は、オプションとして、一般的なマルチスキャンコンピュータービデオモ ニターか、RGB信号入力(示されていない)機能を持った、一般的ビデオモニ ターのどちらにも供給されます。三番目のセットの出力は、アナログY/Cビデ オ信号を供給します。グラフィックプロセッサーは、標準NTSC、PAL、あるいはS ECAMのフォーマットのこれらの信号を受けたり、あるいは出力したりするように 構成され、そして追加として、医療画像あるいは他の特別な用途の為の方式に役 立ち、あるいはコンピューターグラフィックの用途の、どのような望まれる方式 の為にも役立ちます。これらの毎秒24フレームの画像を30フレーム(実際には29 .97フレーム)NTSCと25フレームPALへの変換は、映画素材を走査するするのに使 用されているのと同様の方法で実施され、それは、一般的な3:2プルダウンのフ ィールド処理を使用してNTSCに、あるいは画像を毎秒25フレームのより早い速度 で走らせることによってPALにします。他のHDTVのフレーム速度、アスペク ト比、そしてライン速度に対しては、フレーム相関とフレーム間補間そして画像 変換が、コンピューターグラフィックやテレビの分野で良く知られている同等の 技術を使って実行できます。 HDTVビデオインターフェース124は、2048x1152か2048x1536の画像サイズ( 必要ならばリサイズして)内で操作することを目的として、デジタルRGB(ある いは代わり)の信号を処理の為に受け取り、 そして126に一般的に示されているように、同じ画像の方式でデジタル出力を創 ります。標準・ワイドスクリーンインターフェース120の場合のように、D/A変換 器を構成して、そしてアナログ増幅器に関連した今までの内部回路は、アナログ RGB信号とコンポジットビデオ信号の為の、二つ目のセットの出力に内部画像 を変換するように働きます。 図3に示されているグラフィックプロセッサー116の三つ目の部分は、フィル ム出力ビデオインターフェース128で、レーザーフィルムレコーダーのような機 器と使用することを目的とした特別なビデオ出力を含みます。これらの出力は、 フォーマット変換に必要な、ここで説明するリサイズ技術を使用して、内部で働 く画像サイズから4096x2304か4096x3072の画像サイズを提供できるように構成さ れることが好まれます。毎秒24フレームは映画用の標準のフレーム速度ですが、 特にNTSCの素材が使用される時に、一部の制作には毎秒30フレームが使用され、 そして代わりの画像サイズと同様に、代わりのフレーム速度は、この発明の申請 に適当であると予測されます。 このシステムの幾つかの追加の機能は、図3に表わしてあります。グラフィッ クプロセッサーは、カラープリンターでの使用の特別な出力132をふくみます。 スクリーン表示から最も高い品質の印刷を生み出す為には、プリンターの解像度 を画像の解像度に合わせて調整する必要があり、そしてこれは、システムによっ て創られる種々の画像サイズに対して、グラフィックプロセッサーによって自動 的に最適化されます。さらに、光学の画像をシステムの中に取り入れる、静止画 像スキャナー、あるいはフィルムスキャナーのように実施されている、画像スキ ャナー134を含む用意がされています。オプションの音声プロセッサー136は、 アナログかデジタルの形のどちらでも音声信号を受け取れるように用意され、13 8で一般的に指摘されている部分に示されているように、アナログかデジタルの どちらの信号も出力します。ここで説明されているようなビデオ信号と内部混合 された音声を含む素材の為に、これらの信号は、編集効果の音声プロセッサーに 送られ、そして他の機器へのインターフェースを提供します。 図3は、信号入力のそれぞれの種類の一つの組みだけを示していますが、シス テムは、複数のソースそして種々の方式から、同時に信号を扱うことができます 。望まれる性能のレベル、信号の画像サイズ、そしてフレーム速度により、シス テムは、複数のハードディスク機器とバス制御器そして複数グラフィックプロセ ッサーと共に実現され、そこで実況カメラ信号、記録された素材、そしてスキャ ンされた画像のどの組み合わせでもまとめる事を可能にします。改良されたデー ター圧縮機構とハードのスピードの発展は、実時間で、段々と高いフレーム速度 と画像サイズを処理することを可能にします。 単純な再生によりPAL信号を出力することは大きな問題ではありません。何故 なら記録されたビデオ信号は望まれるどのようなフレーム速度でも再生できるか らです。そして、映画の素材が毎秒25フレームで表示されることはさしつかえあ りません。実際これは、PALとかSECAMのテレビの国々で映画からビデオテープに 移すのに使われている標準の方法です。NTSCと映画の速度の画像の両方を同時に 出力することは、3:2のフィールドの重ねあわせの方法で行うことができます 。5X24=2X60すなわち二つのフレームを五つのビデオのフィールドに散 らばらせます。このように同時に毎秒24枚の映画の映像と毎秒30枚のビデオ 映像を再生することが可能になります。 30fpsとNTSCの正確な29.97fpsの速度の違いは、システムのフレーム速度を23.97 6fpsに少し改造することにより僅かなものとなります。これは普通の映画上映で は気が付きませんし、普通の映画の速度から許容できる逸脱です。 24fpsの制作用途に構成されたシステムから25fpsのPALタイプの出力を管理す ること(またその逆の場合)は、説明すべき技術的課題を提供します。これらの 変換とその他のフレーム変換を実現する代わりの方法は図4に参照され説明され ています。デジタルの番組の信号404は信号圧縮回路408に供給され、もし入力の 番組の信号がアナログの形402で供給されているならば、その時は、A/D変換機40 6で処理されてデジタルの形に代えられます。信号圧縮器408は実効データー速度 を落とすように、入力の番組の信号を処理します。それは業界においてよく知ら れているJPEGやMPEG-1やMPEG-2などの一般的に使われているデーター圧縮方法を 使っています。その代わりとして、デジタルの番組の信号404はデーター圧縮さ れた形で供給されます。この時点で、デジタルの番組の信号はデーターバス410 に供給されます。参考の方法として、記録手段Aの412と記録手段Bの414として 指定された幾つかのデジタル記録機は、コントロラー418の管理のもとに、デジ タルバス410に供給されたデジタルの番組の信号を記録することを含みます。二 つの記録手段412と414は交互に使われて、一つが容量がいっぱいになるまで、ソ ース信号を記録します。この時点でその他の記録手段がその容量がまたいっぱい になるまで、番組の信号を記録し続けます。番組の信号の最大番組記録容量は、 入力信号のフレーム速度やピクセルでのフレームの大きさやデーターの圧縮比や 記録手段の全体の数と容量などのような種々の要因により決められます。利用で きる記録容量がいっぱいになった時は、このデーター記録方法は自動的に以前に 書き込まれた信号の上に再び書き込まれるようになります。さらに追加の記録手 段が追加されれば、時間の遅延とフレーム速度の変換の容量は増加しますし、全 ての記録手段が同じタイプあるいは同じ容量である必要はありません。実際に記 録手段は一般に実用になっている記録技術のどれでも使うことができます。例え ば、磁気ディスクか光学あるいは磁気光学ディスクまたは半導体の記憶装置など です。 番組の信号の再生が望まれる時は、制御器418の管理の下でそして使用者イン ターフェース420を通して、信号処理器416が供給されている種々の記録手段から 記録された番組の信号を取り出します。そして必要とされるどのような信号変換 も行います。例えば、もし入力の番組の信号が625本の放送システムに対応する2 5fpsの速度で供給されたならば、信号処理器は画面の大きさを調整して525本の 放送システムに対応する30fpsの信号に変換されるようにフレーム間補間がされ ます。PALからNTSCなどへのカラー信号符号化変換かフレームの大きさやアスペ クト比の変換のような他の変換も必要ならば行われます。信号処理器の出力はそ の後デジタルの形となり422から取り出せますし、D/A変換器424によりアナログ の形で426から取り出せます。実際には、ここには示されていませんが、別々に 別れたデーターバスが出力信号を供給します。そして 記録手段は、ビデオ表示用途につかわれているデュアルポートRAMかマルチヘッ ドアクセスのディスクあるいはディスク状の記録器などのようなデュアルアクセ ス(同時利用)の方法を用いることができ、それにより同時にランダムアクセス で読んだり書き込んだりできることを供給できるように構成できます。単一ヘッ ドの記録手段で実行する場合は、それに合った入力と出力のバッファを用意する ことを含み、記録・再生のヘッドの物理的な位置変換の時間を許容します。 上記で述べたばかりの同期して記録、そして再記録できることを含む番組の記 録手段の使用に際して、もし再生を始める前にその全てが記録されることがわか っていれば、入力と出力信号の流れの間に、何も重なる部分がなくなります。そ して代表的にいえば、どの記録された方式が最も少ない記憶装置を必要とするか によりますが、最初の記録の前か後のどちらでも番組の必要とするどれかのフレ ーム速度への変換を効率良く行う行うことが良いでしよう。例えば、番組の入力 が毎秒24フレームの速度であれば、そのプログラムはたいていそのフレーム速度 のまま記録できるようにすることが最も効率が良いでしよう。そして出力する時 に、高いフレーム速度に変換を行います。さらに、特定の出力の形に変換される 前に、全ての番組が記録されるような場合には、テープによる記録のビット単位 のコストの低いことを考慮して、テープによる方式に番組を記録することが最も 効率が良いでしよう。もちろんディスクも使えますし、その記録容量が増え続け ていますのでより実用的になるでしよう。もし番組が入力されるか記録される間 に、別のフレーム速度に出力しなくてはならないことがわかっている場合は、 ディスクに記録することが最も効率が良く、上記で説明した技術の一つを使って 、継続するかたちでフレーム速度の変換を行うことです。この場合、高容量ビデ オ記録は、実際に、最も早いアクセス時間を提供できる大きいビデオバッファの 役割をするものとします。経済的な考慮やその他の要因にもよりますが、全ての 固体の半導体タイプを使う場合を含むその他の記憶装置の手段も使えます。ある 特定の用途の場合、より複雑な変換方法が必要とされます。例えば、命までの設 計のフレーム速度変換において、もし番組の信号が24fpsの速度の方式を25fpsの 速度で表示したいのであれば、単純に25fpsの速度で信号を供給できるようにソ ースの信号の再生する速度をあげれば良いことは、よく知られている方法です。 これは24fpsの映画素材を25fpsのPALの方式に変換するのにつかわれる手順です 。けれども、これを実現するには、出力信号の使用者はソース信号の再生に関し て制御できなくてはなりません。直接の放送衛星による送出のような広範囲な送 出システムにおいては、これは不可能なことです。24fpsで送出されたソースの 信号は良く知られている3:2プルダウンの技術を使用して、30fpsに変換すること は容易にできますが、同時に25fpsへの変換は容易にはできません。それは24フ レームの進行をフレーム間の補間をする必要回路の処理は複雑で高価である為で す。けれども、図4のシステムを使っての変換は簡単です。もし、例えば、120 分続く24fpsの番組がその方式で送信されるならば、全体で172,800(120X60X24 )フレームあり、25fpsでのスピードを早めた番組の表示は、 入力のフレーム速度は毎秒につき一フレームづつか番組全体を通して7,200フレ ームだけ出力のフレーム速度より遅れることを意味します。24fpsの送信速度で 、これは300秒の送信時間に対応します。別に言い換えれば、24fpsの入力の番組 と25fpsの出力の番組が同時に終わる為には、入力の処理は出力の処理を始める3 00秒前に出発させなくてはなりません。そこで、この処理を行う為には、300秒 の番組素材を維持する容量の記録手段を必要とし、実際に信号のバッファとして 働きます。例として、ここに発表される標準TVの8.1MB/秒からHDTVの16 .2MB/秒に速度が変わるデーター圧縮のシステムにおいては、4.7GBまでのデーター を記録する必要があり、それは複数のディスクか一般の記録技術を利用します 。 25fpsの信号を24fpsで表示する場合あるいは30fpsのような24fpsからの変換に よりできるその他のデータ速度の場合は同じような状況がおこります。この場合 は、ソースの信号は出力の信号より早いフレーム速度で供給され、それは送信の 最初から番組を見る視聴者はソースの信号の速度より遅れることになります。そ して、記録手段により、ソースの信号が到着した後、表示する時間として番組の フレームをある程度保持する必要があります。上記のように120分番組の場合、 ソース信号の視聴はソース信号が終わった後300秒で終わることになり、そして 同様の計算が記録手段の容量に当てはまります。 30fpsから24fpsへのあるいは25fpsへのフレーム速度の変換は、 より複雑です。何故ならば、何らかのフレーム間補間が必要だからです。ある場 合は、複数のフレーム記録装置を通して、一般的に良く知られている方法である この種の補間ができます。それはNTSCからPAL(30fpsから25fps)への変換に典 型的に用いられます。この時点で上記に説明した方法と機器により25fpsから24f psへの変換が行われます。 このフレーム変換を実行する別の方法は、実際には3:2プルダウンの手順と反 対を行うことです。連続する信号の毎5フィールドを選びそして一つを間引いた ら、残ったフィールドは5:4の結果の比率となり、30fpsから24fpsに変換するの に望まれる結果になります。この場合は、四つの連続するフィールドをそれぞれ 奇数を偶数フィールドに偶数を奇数フィールドにするなどの、フィールドの表示 を反対にすることにより映像信号を再インターレースしなくてはなりません。そ して信号の流れが奇数と偶数フィールドの間で交代して継続します。次の四つの フィールドは保持されて、五番めのフィールドが取り去られます。そしてその次 の四つのフィールドの表示が再び反対になります。このパターンは番組を通して 継続されます。もしオリジナルのソースの素材が映画のような24fpsからであれ ば、その時もし繰り返されるフィールドが例えば3:2の連続の3フィールドが変換 するときに表示されていたならば、これらのフィールドを取り除くことは単純に その元の形に戻すだけです。もし望まれる変換が30fpsから25fpsであるならば、 ここの上記で説明された記録によりフレームを変換する方法用いることにより同 様な手順で行えます。あるいは、代わりとして、30fpsから24fpsへの変換で説明 した方法により、毎六フィールドごとに間引きすればできます。 オリジナルのソースの素材のフレーム速度と中間の変換により、使用者は画質の 劣化が最も少ない方法を選びます。 これらの用途において、記録手段の出現により、視聴者が番組の送出を制御で きるようになりました。それはユーザーインターフェースを使って、信号が記録 されているときか、その後で、信号の再生の遅延やその他の特性を制御すること です。実際に、非常に広い範囲での入力のフレーム速度と出力のフレーム速度の 変換がこのシステムにより実用になっています。 図5は、全ての可能な具体例は含まれてはいませんが、この発明と互換性があ る種々のフィルムとビデオの方式の内部相関関係を示します。典型的操作で、マ ルチフォーマットA/V制作システム162は、フィルムベースの素材を受け取り、そ して毎秒24フレームのこの内部の方式で、既に現場で制作された素材とそれらを 組み合わせます。実際、素材は、どのフレーム速度あるいは方式でのビデオを含 む他のどの方式からでも変換できます。制作効果が実施された後、出力信号は、 164に示されている毎秒30フレームでのHDTV、166で示されている毎秒30フレ ームのNTSC・ワイドスクリーン、170に示されている毎秒25フレームのPAL-SECAM ・ワイドスクリーン、あるいは172に示されている毎秒25フレームのHDTVを 含み、しかし、それだけに限られるのではなく、必要とされるどの使用にも構成 することができます。さらに、毎秒24フレームでの出力信号は、フィルム記録器 168を使用できます。 図6は、ユニバーサルテレビ制作システムを提供する、画像サイズ、アスペク ト比、そしてフレーム速度の選択可能の一つに関係する具体例を示します。 示されたように、信号は、普通の放送信号210、衛星受信機212、そして高帯域デ ーターネットワーク214を含む、幾つかのソースのどれからでも供給されます。 これらの信号は、データーの伸長プロセッサー222に供給される前に、データー ネットワークあるいは情報スーパーハイウェイの為に、適切なアダプター器220 そしてデジタルチューナー218へ提供されます。プロセッサー222は、必要などの ようなデーター伸長そして種々の信号ソースの為の信号調整を提供して、そして デジタルチューナー218、そしてアダプター220は、オプションとして現存するハ ードの一部として含まれますが、一般目的のコンピューターの為の、プラグイン 回路基板として実現されることが好まれます。 プロセッサー222の出力は、内部データーバス226に供給されます。このシステ ムマイクロプロセッサー228は、データーバスを制御して、そして16から64MBの RAM230、そして64MBまでのROM232を備えています。このマイクロプロセッ サーは、PowerPC 604かPowerPC 620のような、以前に説明されたものの一つを使 用して、実行されます。ハードディスク制御器234は、例えば、内部ハードディ スクドライブ器236、可搬型ハードディスクドライブ器238、あるいはテープドラ イブ240を含む、種々の記録媒体にアクセスでき、これらの記録器はまた、上記 で説明したように、PCをレコーダーとして、機能させれます。グラフィックプ ロセッサー242は、オプションとして、別なプラグイン回路基板として実施され る、専用のハー ドを構成して、種々のフレームサイズ(ピクセルで)、アスペク ト比、そしてフレーム速度との間の変換に必要とする画像操作を行います。この グラフィックプロセッサーは、望まれる表示出力のタイプにより、16から32MBの RAMそして2から8MBのVRAMを使用します。 アスペクト比16:9で1280x720のフレームサイズには、低い範囲のDRAMとVR AMで十分ですが、2048x1152のフレームサイズでは、高い範囲のDRAMとV RAMが必要です。一般に、1280x720のサイズは、20インチまでの普通のマルチ シンクコンピューター表示モニターには、十分で、そして2048x1152のサイズは 、35インチまでの普通のマルチシンクコンピューター表示モニターが、適切です 。アナログビデオ出力244は、これらの種々の表示器の為に、役立っています。 このシステムを使用して、(毎秒25フレームには、毎秒24フレームの信号をスピ ードアップによって見れる)768x576のPAL/SECAM、1024x576ワイドスクリーン、 そして2048x1152のHDTV、そして(毎秒30フレームには、良く知られた3:2プ ルダウンの技術、そして毎秒30フレームをわずかに遅くして見せた毎秒29.97フ レームにする技術を役立てて)640X480NTSCと854x480ワイドスクリーン、そして1 280x720USAと1920x1080NHK(Japan)HDTVを含む、種々の方式を表示できます 。殆どのNTSCのモニターは、たぶん、色搬送波周波数の調整は必要とするものの 、毎秒30フレームに同期するでしょうが、多くのPALとSECAMのモニターは、毎秒 24フレームの信号を受け付けないでしょう。この場合、より複雑なフレーム速度 変換技術が、実況放送を見るのに必要になります。何故ならば、毎秒24フレーム の入力信号の速度は、毎秒25フレームの表示速度と歩調を合わせることができな いからです。けれども、実際には、未来のテレビセットは、この潜在的問題を削 除するマルチシンク設計を具体化することが期待されています。DETAILED DESCRIPTION OF THE INVENTION          Multi-format A / V production system with frame conversion Field of the invention   The invention generally relates to video production, photographic image processing, and computer graphing. Television, including, inter alia, high-definition television programs, A computer that can edit and process professional-quality video for other uses. Related to multi-format video production systems.                                Background of the Invention   Practical through various program distribution methods (cable TV, home video, broadcasting, etc.) The number of TV channels that are Program production, especially the demand for high-quality HDTV programs, It has become a special challenge both technically and economically. Professional editing machines and images Processing equipment prices continue to rise due to R & D and other factors, while Not professional when it comes to consumer hardware, including personal computers Perform significant special effects at a reasonable cost, even for humans or beginners Is now available. As a result, it is difficult to distinguish between these two areas became. At this stage, PC-based devices for general use have the real time of commercial devices Does not have the ability to process full-resolution images, New generation microprocessors are getting faster and faster, It can be used for higher resolution applications. In addition, the memory circuit Prices of such and other data storage devices continue to fall, and the capacity of such devices Is dramatically   Is increasing. And with these developments, PC-based image processing systems The possibility of using the stem for professional purposes is increasing.   In the field of dedicated equipment, traditionally, there are two areas of professional image processing systems. Interest in the development of the system. One of them is the highest quality movie special effects And the other is complete in the reality and economy of the current broadcast system. Intended for television broadcasts that can provide full 35mm theatrical movie quality. until now The quality of typical 35mm theatrical movies is for screenings with a resolution of 1200 or better. Camera negatives have been thought to have 2500 or more resolutions. Was. Based on these facts, the currently deliberated image format has a high level of HDTV broadcasting. Considered to be a video system with 2500 or more scan lines for video production Has been And by lowering the HDTV system, NTSC or PA It has a hierarchical structure that makes L compatible. Has been proposed Most of them use the sequential method, but one of the advanced processes is , Interlaced scanning is also being considered as a recognized method. Another important thing The pattern is to be compatible with computer graphics.   The current technical direction of computer and image processing is less than 1200 scan lines. The image is enlarged by a new production device and the It can be converted for on-the-spot screening, movie special effects, and movie recording. In addition, general The development of hardware for use is a subject that has never been mentioned before. Enables you to tackle aspects of economic production.Summary of the Invention   The invention submitted here provides an economical multi-format video production system. It makes use of general-purpose hardware that can be provided. In this realization The special image processing function is a high-performance personal computer or workstation. Users can edit and process the input video program to Frame rate, pixel size, or both Enables you to produce broadcast programs. The method of internal production of this system is Existing, related to quasi- and widescreen television, high-definition television, and movies And to provide maximum compatibility with future planned schemes. You. For compatibility with movies, the frame rate for in-house production should be 24 per second. And raises. The images are systematized to meet the specific requirements of each application. Frame size, resize, and frame rate 3: 2 puller that is processed depending on time or converts from 24 to 30 frames per second Or read and write asynchronously to create a program recording facility. Use to manipulate frame conversion.   The present invention comprises a plurality of interface devices, each of which has a certain input method. Format video program into an output signal representing a standard / widescreen image. Includes standard and widescreen interface equipment for Outputs a signal to the display device. High-definition TV interface devices are HDTV Acts to convert the input format video program to an output signal representing the format image And output the signal to the display device. Video program input, graphics processor and operator interface The centralized controller, which communicates and operates between the faces, allows the operator to One or more using the television interface You can issue instructions to do the conversion. The invention submitted here is Compared using low-cost general-purpose hardware and maintaining a high S / N ratio Enhances production at very low pixel size. And then, the high-quality method Expand your results to the final show. The research methods competing with this invention are in contrast , The practice is to recommend working in high resolution and if necessary The proposed invention, such as down-converting to a lower cost Has encouraged the need for dedicated high-cost hardware .                             BRIEF DESCRIPTION OF THE FIGURES   Figures 1A to 1D show the aspect ratio of the image in the desired and alternative pixels Indicates;   Figure 2 shows a functional diagram of the disc-based recording;   Figure 3 shows the parts that make up the multi-format A / V production system. ;   FIG. 4 illustrates asynchronous read and write operations for performing frame conversion. Is a functional diagram showing an alternative way to implement a means of recording video programs . ;   FIG. 5 shows various existing and planned multi-format A / V production systems. Indicates the relationship to the video format being used;   Figure 6 shows the broadcast program supply, satellite reception, and data network interface. The Demonstrate the realization of a complete television production system, including:                             Detailed description of the invention   The inventions submitted here are primarily compatible with current and future image processing and television formats. Interoperability between aspect ratio, resolution, and frame rate while maintaining interchangeability Different image processing or television, including essential frame rate conversion to establish Relates to method conversion. These methods are currently used in multi-scan computers. Includes a pixel-sized image that can be displayed on a computer monitor, and Hardware allows for high pixel count frames that exceed the capabilities of these monitors. So that you can see it. Images meet the specific needs of each application As large or small, depending on the system The frame rate can be calculated by inter-frame interpolation, e.g. (converted from 24 to 30 frames per second Like using a 3: 2 pulldown (like NTSC from a movie, or frame) Traditional way by accelerating the speed itself (24 to 25 fps for PAL TV display) Adapted by law. The resizing operation is related to saving the image's aspect ratio. Or squeeze an image by cutting off a part By performing non-linear changes, or panning, scanning, and You can change the aspect ratio by changing the center of another image. You. Films are often referred to as a universal format, primarily for 35mm cinema Because the vessel is standard and used worldwide, It has been proposed that the frames are 24 frames per second.   This choice is also useful for cameras with a speed of 24 frames, but more sensitive than 30 frames. It has the additional advantage of enabling it to be implemented in systems that use progressive scanning. For that matter, it is even more critical, so its speed is limited by some other proposals. 48 fields per second, compared to 60 fields per second in the stem.   The size of the image can use the conventional CCD type camera, It is preferred to use digital processing directly through the whole signal circuit, and This replaces typical analog RGB processing circuits with completely digital circuits. And is achieved by The effect of the production is when the image size is appropriate But it can be done and resized for recording. The image is portable Hard disk, hard disk drive in portable media, optical or optical magnetic base Compression to a recording device using a media drive or tape-based drive The form of the data is preferred, and by writing digital data, Will be Image processing data rate and disk drive read / write increase So many operations that currently take seconds can be quickly accomplished in real time And eliminates the need to record movie frames at slower speeds. Slot -Other production effects, such as motion and fast motion, also take shape. And the limitations of today's technology are the frames of these effects Only speed. Especially for non-linear editing, animation and special effects Technology will benefit from the implementation of this system. For audio, the data The requirements of the card play a great role in sound quality. Audio signals are alternated for production Handled separately by meshed or synchronized systems, Alternatively, the audio data is alternately superimposed on the video data stream. You. The choice of this method depends on the type of production process desired and It depends on the limit. A wide variety of video formats and equipment configurations apply to this invention However, this system is the most compatible with currently available equipment and methods. As described. Figure 1A shows image size and pixel size compatibility Represents one example of a system with The frame rate selected is movie 24 frames per second (2: 1 interlaced) preferred for compatibility with other elements The pixel size of the selected image is intended for all HDTV systems 1024 x 576 (0. 562 5Mpxl), and the previous 4: 3 aspect ratio was changed to PAL system (768x57 6-0. 421875Mpxl). All embodiments also use other pixel shapes However, it is preferable to use square pixels. (Many image processing software Use well-known, complex sample techniques that are practical in Or alternatively, 2048x1152 (using the hardware circuitry described below) (2. Resize to 25Mpxl) is suitable for HDTV display or theater screening system. We provide the image that was. And another 4096x2304 (9. 0Mpxl) Is also suitable for the most demanding production effects. Images are 16: 9 widescreen 5: 1 data compression for TV frames or 10: 1 for HDTV. Will be The data file is there in RGB widescreen frames , Almost 8. Only 1MB / sec is required, and 16.60 for RGB HDTV frames. 1MB / sec only You need.   Another embodiment of the invention is shown in FIG. 1B. In this case, the user Follows the commonly used techniques for filmmaking, shot in 4: 3 aspect ratio. is. When showing on a wide screen, the top and bottom of the frame are apertured Depending on the rate, the image may be obstructed and the aspect ratio desired (typically 1. 85: 1 or 1. 66: 1) Represents If the original image format is 1024 x 768 pixels in 4: 3 ratio So, if recorded at 24 frames per second, all image processing will keep this size You. Full compatibility with existing schemes is available directly from these images at varying sizes. Produces the results of producing NTSC and PAL images, and the widescreen images mentioned above Removes the 96 rows from the top of the image and the 96 rows from the bottom of the image, and returns the result As described above, it is provided in 1024x576 image size. This The data capacity of each of these methods is 0. Will be 75Mpxl, and described above The need for recorded data is similar.   Another embodiment of the invention is depicted in FIG. 1C. This system uses F Considered by the ATV Research Committee of the CC (Federal Communications Commission) and some suggestions Recommended image size in the digital HDTV format Follow The method adopted has a pixel size of 1280x720 We assume wide screen. The size of these images (24 frames per second, Compatibility with existing schemes (with 2: 1 interlacing) By removing 160 vertical lines from each side, this frame size Realized as NTSC and PAL images obtained from The result is an image with a pixel size of 960x720. This new The size of the image is changed to NTSC 640x480 or PAL 768x576 pixels. Create images with the same quality; corresponding widescreen methods , 854x480 and 1024x576. In this case, 1280x720 pixel size The image with has a horizontal resolution of 1,000 lines and a resolution of 0. 87890625Mpxl including; F The system, which is being evaluated at CC's ATSC, also maintained just 640x360 pixels A detailed, one-tenth of the two chroma signals is assumed. What was explained above The need for data recording is similar. 24 per second in progressive scan The direction of frame development produces images with pixel size of 2048x1152 , Explicitly using the method described earlier, and There is also.   Yet another embodiment of the present invention is shown in FIG. 1D. Explained with reference to Figure 1B As in a system that has been modified, the user will be able to capture the image in a 4: 3 aspect ratio image. Follow the techniques commonly used in image production. Widescreen images When the film was screened, the upper and lower areas were blocked again by the aperture plate, The aspect ratio at which the image is desired (typically 1. 85: 1 or 1. 66: 1). Original image The formula is written at 24 frames per second, with a ratio of 4: 3 and a pixel size of 1280x960. All image processing keeps these dimensions as they are recorded. The existing scheme Full compatibility with NTSC directly from these images by resizing The result is the ability to produce PAL images, and the widescreen images mentioned above, 120 rows of pixels from the top of the image, 120 rows of pixels from the bottom of the image are removed and provided, as a result The image size is 1280x720 as described in. The data for each of these frames Data capacity is 0. 87890625Mpxl, and the need for data recording is similar You.   In each of the cases described here, the signal at the position and center of the image is To perform pan and scan operations by using a receiver or display monitor. Information that can be made available to the reporter. And with that information, It works properly to display a signal different from the indicator's aspect ratio. For example, Wai Shows sent on the touchscreen display the usual 4: 3 aspect ratio Finger to reposition the center of the image so that the pan automatically pans to the proper position. Contains information to indicate. Monitor for credits and special panoramic video displays Can switch to full letterbox as an option or With the image at the center, the full height and full width are shown with both sides of the image removed. Intermediate, such as in the middle of a letterbox with nothing above and below the indicator image Change the size of the screen to include information corresponding to the state of. Of this position and size Information can preserve the artistic value of the original material, subject to the limitations of the presentation used. Like pan and skip, which are typical operations when transferring from a movie to a video. The user can control and decide.   Current CCD camera is Creates an image with a horizontal luminance resolution of 800 lines or more and an S / N ratio of 62 dB with a sensitivity of 2000lux at f8 You. However, a typical HDTV camera has a resolution of 1,000 TV With the same sensitivity, due to the limitation of the physical size of the wideband analog amplifier and the CCD element, Creates images with an S / N ratio of only 54dB. With the camera system of the present invention, Use common CCD elements, and use a computer to resize the image. By creating HDTV type images, you can obtain an improved S / N ratio. In adapting the camera to this new design approach, The need for large-scale lighting was eliminated, and then generators and remote production As a result, there is less demand for AC power in studio applications.   A CCD based camera where the red and blue CCD pixels are combined and the green CCD pixel is Techniques for increasing resolution by shifting horizontally by half a pixel width have become common. You. In this case, the image information is in phase, but the pseudo information is Out of phase. When the three color signals are mixed, the image information Although not done, most false information is neglected. This technology is When the target is a single color, it is extremely ineffective and is used to reduce false information. It is common practice to mount an optical low-pass filter on each CCD. further, This technology ensures that color pixel images always match computer-based images. It cannot be used. However, for commonly used video, the result of this pixel shift application is that the luminance signal , The horizontal resolution can be clearly increased to about 800 lines.   For progressively higher capacity and data transmission speed hard disk drives Possibilities enable continuous display of longer, higher resolution images in real time To do. At the previously mentioned data rates, widescreen frames are 48 It needs 6MB, which makes a currently practical 10GB disk drive 21 minutes Record more videos. 100GB disk drive (2. 5 in H or 3. 5 inch cobalt chrome disc, barium ferrite Or using other high-density magnetic recording materials) when these devices become practical. Is 210 minutes or 3. Record 5 hours of video. In this application, data recording The devices will allow editing and production activities, and these devices will And ENG cameras, and exactly like the video cassettes currently used in video production It is expected to work the same. This data recording device is a portable recording medium, By magnetic, optical, optical magnetic disk drive or as per PCMCIA standard It is realized by portable disk drive equipment. PCMCIA media is 1. 8 The size of an inch, but portable media recording equipment is limited to this limit Not, and 2. 5 inches or 3. Works with larger media such as 5-inch disks This allows you to record data for longer programs. Or lower the data compression ratio within the limits of the same size media. Or adapt to record higher pixel count images.   Figure 2 shows the working notes in a video camera or separately in an editing and production facility. Here is a functional diagram of a recording device-based digital recorder. As shown, The portable hard disk drive 70 is interfaced through a bus controller 72. In practice, there are alternative recording methods, such as optical or optical magnetic drives. Can be used with various interface bus schemes, such as SCSI or PCMCIA . This disk drive system currently achieves a data transmission rate of 20MB per second However, high-speed other data such as high-capacity portable memory modules Recording equipment is eagerly awaited. Microprocessor 74 is used for various components Controls a 64-bit or wider data bus 80. Currently, The microprocessor for DEC Alpha21064 or MIPS MI PS R4400 is included, but in the future, data transmission speed will be maintained at 100MB per second. You can have an already introduced Intel P6 or PowerPC 620 Depends. ROM up to 256 MB, shown at 76, 256 MB, shown at 78 Used for operation, like MB or more of RAM. Current PC base Video production systems require at least 64 MB of RAM for complex editing effects. Equipped. The graphics processor 82 receives the input video signal 84 and the output video signal. Represents a dedicated hardware that performs various skillful operations required for processing the video signal 86 To do. The signals are shown in RGB format, but the input or output is Y / Alternatives such as R-Y / B-Y, YIQ, YUV, or other commonly used methods Can be configured by method. In particular, a soft-based implementation of processor 82 is possible But, 5: 1 data compression for standard and widescreen signals (NTSC / PAL / Widescreen) On a system that works with HDTV signals (as explained above, 2048x115 2) is a system that uses a 10: 1 data compression ratio and is implemented on a hardware basis. Is preferred. One of the many practical options for this data compression An example of this is a motion JPEG system that is currently in practical use. Image resizing With a dedicated microprocessor, such as the sis Microchip gm865x1 or gm833x3 Is executed. The audio signal is transmitted by the FCC or by Microsoft Multimedia like AVI (Alternate Audio / Video Overlay) file format A practical way to combine audio and video signals used in media recording mechanisms. By one, among several systems of digital television transmissions that are already being evaluated, Included in the data stream, as suggested. With alternatives Independent systems that record audio signals are connected to the same system and electrical circuits. Or by operating a separate and controlled digital recording facility By implementing a completely separate device external to the camera system described above. And be embodied.   Figure 3 shows the components that make up the multi-format A / V production system . As with the computer disk based recording system of FIG. The interface bus controller 106 controls the internal hard disk drive 100 and the tape backup Drive 102 and a hard disk drive with portable media, or Preferably include a portable hard disk drive 104 and utilize a variety of recording devices. Will be provided for use. The embodied interface bus standards are Among them, SCSI-2 or PCMCIA is included. Data is stored in the microprocessor These devices are transmitted to each other under the control of the computer 110. At present, the data bus 108 is a computer disk-based video recorder shown in FIG. 64-bit width using a microprocessor, as recommended by It operates as if it were a higher performance microcontroller, such as the PowerPC620. As processors become practical, the data bus will adapt to 128 bits Can be spread out. And a single processor is expected to achieve a target of 1,000 MIPS, Allows the use of multiple equilibration processes. ROM 112 up to 256 MB is required Software is expected to work, and at least 1,024 MB of RAM 114 Image manipulation, inter-frame interpolation, and frame interpolation required for complex production effects And convert between various image formats.   An important aspect of this system is that it is generally 6 flexibility. Effectively, dedicated hardware is used for image processing and enlargement / reduction. It performs best, but requires a system that assumes these features. It is not important. Three separate sections process three classified signals To work. The video input and output signals that will be described below are, for example, R Shown as GB, but Y / R-Y / B-Y, YIQ, YUV, or other alternative Any such thing can work as part of this invention. One possible The reification is separated into separate sections as described below. By creating a path, the current or future PC-based electrical and physical interaction These boards should be manufactured to be compatible with connection standards.   The standard widescreen video interface 120 It is intended to operate within an image size of 1024x576 or 1024x768, and is generally 122 And accept these for processing digital RGB signals, as shown in Create digital RGB output in the system. Analog amplifier associated with D / A converter The conventional internal circuit has been used to convert the internal image to analog RGB signals. It works to convert to a second set of outputs, including video signals. these The output of the optional multi-scan computer video General video monitor with monitor or RGB signal input (not shown) Supplied to both The output of the third set is an analog Y / C video Supply the signal. Graphics processor is standard NTSC, PAL or S To receive or output these signals in ECAM format Configured and, additionally, useful for medical imaging or other special purpose applications. Any desired format for standing or computer graphic applications It is also useful for 30 frames of these 24 frames per second image (actually 29 frames . 97 frame) NTSC and 25 frame PAL conversion is used to scan movie material. This is done in a manner similar to that used, which is a common 3: 2 pull-down NTSC using field processing or faster images at 25 frames per second PAL by running with. Other HDTV frame rate, aspect ratio Frame correlation, inter-frame interpolation and image Transformation is equivalent to computer graphics and television You can do it using technology.   The HDTV video interface 124 has an image size of 2048x1152 or 2048x1536 ( For the purpose of operating within (resize if necessary) digital RGB (some Or instead) signals for processing, And create a digital output in the same image format, as generally shown at 126. You. D / A conversion as in standard / widescreen interface 120 Until now, the internal circuits that make up the amplifier and related to the analog amplifier Internal image on second set of outputs for RGB and composite video signals Works to convert.   The third part of the graphics processor 116 shown in FIG. The video output interface 128 allows you to use a machine such as a laser film recorder. Includes special video output intended for use with instruments. These outputs are Works internally using the resizing techniques described here, required for format conversion. Image size to provide 4096x2304 or 4096x3072 image size. Is preferred. 24 frames per second is the standard frame rate for movies, Especially when NTSC material is used, some productions use 30 frames per second, And, as with alternative image sizes, alternative frame rates are It is expected to be suitable for.   Some additional features of this system are shown in Figure 3. Graphic The coprocessor includes special outputs 132 for use in color printers. To produce the highest quality prints from the screen display, the resolution of the printer Must be adjusted to the resolution of the image, and this depends on the system. Automatically by graphics processor for various image sizes created Optimized. In addition, still images that incorporate optical images into the system Image scanners implemented like image scanners or film scanners Prepared to include Chanar 134. Optional audio processor 136 It is prepared to receive audio signals in either analog or digital form, As indicated in the section generally pointed out in 8, analog or digital Both signals are output. Video signal and internal mixing as described here These signals are sent to the audio processor of the editing effect for the material containing the edited audio. Sent, and provides an interface to other equipment.   Figure 3 shows only one set of each type of signal input, System can handle signals from multiple sources and different formats simultaneously . Depending on the level of performance desired, the image size of the signal, and the frame rate, the system System has multiple hard disk devices, a bus controller and multiple graphics processors. With the live camera signal, recorded material, and scans. It allows you to combine any combination of images that have been merged. Improved day The development of the compression mechanism and the speed of the hardware is real-time, with the progressively higher frame rates And allows you to handle image size.   Outputting a PAL signal by simple playback is not a major problem. why Can the recorded video signal be reproduced at any desired frame rate? It is. And it's no wonder that movie material is displayed at 25 frames per second No. In fact, this is from movie to videotape in PAL and SECAM TV countries. The standard method used to transfer. Both NTSC and movie speed images simultaneously The output can be done by a 3: 2 field overlay method . 5 × 24 = 2 × 60, that is, two frames spread over five video fields Let me spread. Thus, at the same time, 24 movies per second and 30 videos per second You can play the video. 30fps and NTSC accurate 29. The difference in speed of 97fps is 23. 97 A slight modification to 6fps will make it a little bit. This is a regular movie screening Is not noticeable and is an acceptable deviation from normal movie speed.   Manage PAL type output of 25 fps from a system configured for 24 fps production Doing so and vice versa provides a technical challenge to explain. these An alternative way of implementing the transform and other frame transforms is described with reference to FIG. I am. The digital program signal 404 is supplied to a signal compression circuit 408, and if the input If the program signal is supplied in analog form 402, then the A / D converter 40 It is processed in 6 and converted to digital form. The signal compressor 408 is the effective data rate Process the signal of the input program so that it drops. It is well known in the industry Commonly used data compression methods such as JPEG, MPEG-1 and MPEG-2 I am using. Instead, the digital program signal 404 is data compressed. Supplied in a different form. At this point, the digital program signal is Will be supplied to As a reference method, the recording means A 412 and the recording means B 414 Some designated digital recorders, under the control of controller 418, Includes recording digital program signals supplied to Talbus 410. two The two recording means 412 and 414 are used alternately, one until the capacity is full. Source signal. At this point, other recording means are full Continue recording the program signal until. The maximum program recording capacity of a program signal is The frame rate of the input signal, the size of the frame in pixels, the data compression ratio, It is determined by various factors such as the total number and capacity of the recording means. By use When the recording capacity becomes full, this data recording method automatically It will be written over the written signal again. Additional recording hands With additional stages, the capacity for time delay and frame rate conversion increases, It is not necessary that all recording means be of the same type or capacity. Actually writing The recording means can use any of the commonly used recording techniques. example For example, magnetic disk or optical or magneto-optical disk or semiconductor storage device is.   When playback of the program signal is desired, it is under the control of controller 418 and user input. Through the interface 420, from various recording means to which the signal processor 416 is supplied. Extract the signal of the recorded program. And what signal conversion is needed Also do. For example, if the input program signal corresponds to a broadcasting system with 625 lines, If supplied at a speed of 5 fps, the signal processor adjusts the screen size to 525 lines. Interframe interpolation is performed so that the signal is converted to a 30 fps signal corresponding to the broadcast system. You. Color signal encoding conversion from PAL to NTSC, etc. Other conversions, such as the conversion of the aspect ratio, are also performed if necessary. The output of the signal processor is After that, it becomes digital form and can be taken out from 422, and D / A converter 424 In the form of 426. In fact, not shown here, but separately A separate data bus provides the output signal. And Recording means can be dual port RAM or multi-head RAM used for video display. Dual-access disc such as a dual-access disc or disc-shaped recorder (Simultaneous use) method, which allows random access at the same time. Can be configured to supply what can be read and written by. Single head If you want to execute with the recording means of the code, prepare the input and output buffer suitable for it. It allows time for the physical position conversion of the recording / playback head.   Synchronous recording and re-recording of programs, including those just described above When using the recording means, you can see that everything is recorded before starting playback If there is, there will be no overlap between the input and output signal flows. So Typically, which recorded method requires the least storage device Depending on the program, any frame required before or after the first recording It would be a good idea to perform the conversion to the frame speed efficiently. For example, enter a program If the speed is 24 frames per second, the program will usually It would be most efficient to be able to record as is. And when outputting And to convert to a higher frame rate. In addition, it is converted to a specific output form Before, if all programs are recorded, the bit unit of recording on tape Recording programs in tape format is the most Let's be efficient. Of course, you can use a disc, and its storage capacity keeps increasing. So it will be more practical. If the program is being entered or recorded If you know that you need to output to a different frame rate, Recording to disk is the most efficient, using one of the techniques described above , To convert the frame rate on an ongoing basis. In this case, a high capacity video The recording is actually a large video buffer that can provide the fastest access time. Shall play a role. Depending on economic considerations and other factors, all Other storage means are available, including when using solid semiconductor types. is there For certain applications, more complex conversion methods are required. For example, setting up to life When converting the frame rate of a program to 25 fps, If you want to display at speed, you can simply supply the signal at 25 fps. It is a well-known method to increase the speed at which the source signal plays. This is the procedure used to convert 24fps movie material to 25fps PAL format . But to achieve this, the user of the output signal must And control it. Extensive transmission, such as direct broadcast satellite transmission In a delivery system, this is not possible. Of the source sent at 24fps The signal is converted to 30 fps using the well-known 3: 2 pulldown technique Is easy, but at the same time it is not easy to convert to 25fps. It is 24 The processing of the circuit that needs to interpolate the progress of the frame between frames is complicated and expensive. You. However, conversion using the system in Figure 4 is easy. If, for example, 120 If a 24 fps program lasting for a minute is transmitted in that format, a total of 172,800 (120X60X24 ) The display of the program with the frame and the speed increased at 25 fps, The input frame rate can be one frame per second or 7,200 frames throughout the program. Means that the frame is behind the output frame rate. At a transmission speed of 24fps , Which corresponds to a transmission time of 300 seconds. In other words, a program with 24 fps input Input processing starts output processing in order for the program with 25 fps output to end at the same time 3 You have to leave 00 seconds before. Therefore, it takes 300 seconds to perform this process. Requires a recording means of the capacity to maintain the program material of work. As an example, the standard TV 8. 1MB / s to HDTV 16 . For data compression systems that change speed to 2MB / s, 4. Data up to 7GB Need to record, it utilizes multiple discs or common recording technology .   When displaying 25fps signal at 24fps or converting from 24fps like 30fps A similar situation occurs for other possible data rates. in this case Means that the source signal is provided at a faster frame rate than the output signal, Viewers who watch the program from the beginning will be behind the speed of the source signal. So Then, after the signal of the source arrives by the recording means, the time for displaying the program is You need to hold the frame to some extent. As mentioned above, in the case of a 120-minute program, Viewing the source signal will end 300 seconds after the source signal ends, and A similar calculation applies to the capacity of the recording means.   The conversion of frame rate from 30fps to 24fps or 25fps, More complicated. That's because some inter-frame interpolation is needed. A place Is a well-known method through multiple frame recorders This kind of interpolation is possible. It is a reference for converting NTSC to PAL (30fps to 25fps). Used for type. At this point, 25 fps to 24 f using the method and equipment described above Conversion to ps is performed.   Another way to perform this frame conversion is actually the opposite of the 3: 2 pulldown procedure. Is to do a pair. Choose every 5 fields of consecutive signals and thin out one The remaining fields are the ratio of the result of 5: 4, and convert from 30 fps to 24 fps. The desired result. In this case, four consecutive fields Display fields, such as making odd numbers into even fields and making even numbers into odd fields The video signal must be reinterlaced by reversing. So The signal flow then alternates between the odd and even fields and continues. The next four The fields are kept and the fifth field is removed. And then The display of the four fields is reversed again. This pattern is Will continue. If the original source material is from 24fps like a movie For example, if the repeated field is converted to a continuous field of 3: 2, for example, Removing these fields is simply a matter of Just restore it to its original shape. If the desired conversion is 30fps to 25fps, By using the method of converting frames by recording described here above, You can do it in the following steps. Or, alternatively, convert from 30fps to 24fps This is done by thinning out every six fields. The frame rate and intermediate conversion of the original source material allows the user to Choose the method with the least degradation.   In these applications, the advent of recording means allows viewers to control the transmission of programs. You can now. It uses the user interface to record the signal To control the delay and other characteristics of signal playback when and after is. In fact, a very wide range of input and output frame rates The conversion is made practical with this system.   FIG. 5 does not include all possible embodiments, but is compatible with the present invention. It shows the internal correlation between various film and video formats. Typical operation Multiformat A / V production system 162 receives film-based material and With this internal method of 24 frames per second, the materials already produced on site and Combine. In fact, the material includes video at any frame rate or format. You can convert from any other method. After the production effect has been implemented, the output signal HDTV at 30 frames per second as shown at 164, 30 frames per second as shown at 166 NTSC widescreen, PAL-SECAM at 25 frames per second as shown on 170 ・ Wide screen or 25 frames per second HDTV as shown in 172 Includes, but is not limited to, configured for any required use can. In addition, the output signal at 24 frames per second is 168 can be used.   Fig. 6 shows the image size and aspect ratio of a universal TV production system. Here is a specific example that relates to one of the selectable frame rates and frame rates. As shown, the signal comprises a normal broadcast signal 210, a satellite receiver 212, and a high-bandwidth signal. From any of several sources, including network 214. Before these signals are provided to the data decompression processor 222, the data Suitable adapter 220 for network or information superhighway Then, it is provided to the digital tuner 218. The processor 222 is Providing data conditioning such as data decompression and various signal sources, and The digital tuner 218 and adapter 220 are optional Plug-ins for general-purpose computers, included as part of the It is preferable to be realized as a circuit board.   The output of processor 222 is provided to internal data bus 226. This system Microprocessor 228 controls the data bus and provides 16 to 64 MB It has RAM230 and ROM232 up to 64MB. This microprocessor The server uses one of the previously described ones, such as the PowerPC 604 or PowerPC 620. Is used. The hard disk controller 234 is, for example, an internal hard disk drive. Disk drive 236, portable hard disk drive 238, or tape drive A variety of storage media can be accessed, including Eve 240, and these recorders also As explained in, the PC can function as a recorder. Graphic The processor 242 is optionally implemented as a separate plug-in circuit board A dedicated hard disk, with various frame sizes (in pixels) and aspect ratios. Performs any image manipulations required to convert between camera ratios and frame rates. this Graphics processors range from 16 to 32 MB depending on the type of display output desired. Uses RAM and 2 to 8 MB of VRAM. A 1280x720 frame size with an aspect ratio of 16: 9 requires a lower range of DRAM and VR AM is sufficient, but with a frame size of 2048x1152, a high range of DRAM and V RAM is required. Generally, a 1280x720 size will fit in a regular multi Sufficient for a sink computer display monitor, and the size of 2048x1152 is A normal multi-sync computer display monitor up to 35 inches is suitable . Analog video output 244 is useful for these various displays. Using this system (25 frames per second, signals at 24 frames per second 768x576 PAL / SECAM, 1024x576 widescreen, And 2048x1152 HDTV, and (30 frames per second, a well-known 3: 2 format Technology, and 29 frames per second that showed 30 frames per second slightly slower. 97 f 640x480 NTSC, 854x480 widescreen, and 1) Various formats can be displayed, including 280x720USA and 1920x1080NHK (Japan) HDTV . Most NTSC monitors will probably need to adjust the chrominance carrier frequency, Many PAL and SECAM monitors will synchronize at 30 frames per second, It will not accept 24 frame signals. In this case, more complex frame rates Conversion technology is needed to watch live broadcasts. Because 24 frames per second The input signal speed cannot keep pace with the display speed of 25 frames per second. Because However, in practice, future television sets will eliminate this potential problem. It is expected to embody a multi-sync design to eliminate.

Claims (1)

【特許請求の範囲】 1. 複数の表示の方式の一つのA/V番組を代表する入力信号を受け取る手段と 、 A/V番組を受け取り、そして番組の表示の方式は、中間の制作の方式に変換 するように接続される、グラフィックプロセッサーとを有し、 前記プロセッサーが、 (a)制作方式のビデオ番組を、標準・ワイドスクリーン方式に代表さ れる出力信号に変換する用に作動する、標準・ワイドスクリーンイン ターフェース器と、 (b)制作方式のビデオ番組を、HDTV方式に代表される出力信号に 変換する用に作動する、高品位テレビ(HDTV)インターフェース器 と、 を有し、 高容量ビデオ記録手段と、 使用者インターフェースと、 入力信号と、グラフィックプロセッサーと、高容量ビデオ記録手段と、使用 者インターフェースと、を受け取る手段と効果的通信ができる制御器とを有し 、 使用者が命令を出すことにより、インターフェースが (a)A/V番組を、制作方式に変換し、 (b)高容量ビデオ記録手段の中の制作方式の番組を記録し、 (c)入力信号を受け取る手段から直接か、あるいは高容量ビデオ記録手 段のどちらからでも、制作方式の番組を標準・ワイドスクリーン番組 に変換し、 (d)入力信号を受け取る手段から直接か、あるいは高容量ビデオ記録手 段のどちらからでも、制作方式の番組をHDTV番組に変換する、 ことができ、 表示機器を使用するようになっているマルチフォーマットA/V制作システム。 2.グラフィックプロセッサーが、フィルム出力ビデオインターフェースをさら に含み、制御器が、入力信号を受け取る手段から直接に、あるいは高容量ビデ オ記録手段から、入力方式のビデオ番組を、写真制作の出力信号に変換するよ うに、使用者により出された命令に対応してさらに操作される、請求の範囲第 1項に記載のマルチフォーマットA/V制作システム。 3.RGB、YIQ、YUV、及びY/R−Y/B−Yの標準の方式のどれとで も互換性がある入力及び出力信号を含む、請求の範囲第1項に記載のマルチフ ォーマットA/V制作システム。 4.別々の輝度とクローマ成分のビデオ信号とを利用するビデオ方式と互換性の ある入力及び出力信号を含む、請求の範囲第1項のマルチフォーマットA/V制 作システム。 5.ビデオ番組を表す入力信号を受け取る手段が、デジタルビデオカメラを含む 、請求の範囲第1項に記載のマルチフォーマットA/V制作システム。 6.ビデオ番組を受け取る手段が、可搬型高容量磁気記録媒体を含む、請求の範 囲第1項に記載のマルチフォーマットA/V制作システム。 7.アスペクト比の変更が、方式の変換のどれか一つから生じた結果の場合、制 御器は、さらに表示器の上にはっきりと見分けをつけ、アスペクト比の変更が できるように役立つ、請求の範囲第1項に記載のマルチフォーマットA/V制作 システム。 8.入力信号のビデオの部分に関連してパン・スキャンの操作の制御の手段をさ らに含む、請求の範囲第1項に記載のマルチフォーマットA/V制作システム。 9.制作方式を一つかそれ以上の出力方式に変換する手段が制作方式に関連する ピクセル数を拡大する補間手段を含む、請求の範囲第1項に記載のマルチフォ ーマットA/V制作システム。 10.高容量のビデオ記録手段が、番組のフレーム速度変換を行う為に、非同期 な番組の記録と再生ができることを含む、請求の範囲第1項に記載のマルチフ ォーマットA/V制作システム。 11. 使用者入力とカラー表示を持つ一般的コンピューターのプラットフォー ムの一部として形づくられるマルチフォーマットA/V制作システムにおいて、 複数の入力の方式の一つで入力ビデオ番組を受け取る手段と、 高容量ビデオ記録手段と、 高容量ビデオ記録手段の容量内で記録できて、そしてカラー表示できる方式 のようなものがまだなければ、入力番組を毎秒24フレームの制作方式に変換す る手段と、 入力から直接に、あるいは記録されたものからのどちらからでも、制作方式 を一つあるいは二つ以上の 毎秒30フレームのNTSC、 毎秒25フレームのPAL/SECAM、 毎秒25フレームのHDTV、 毎秒30フレームのHDTV、そして 毎秒24フレームの映画互換ビデオ。 という方式に変換する手段と、を有する上記システム。 12.制作方式を一つかそれ以上の出力に変換する手段が、制作方式に関連する ピクセルの数を拡張する補間の手段を含む、請求の範囲第11項に記載のマル チフォーマットA/V制作システム。 13.高容量のビデオ記録手段が、番組を必要とするフレーム速度を持つ出力方 式に供給する為に、非同期の記録と再生することができる能力を含む、請求の 範囲第11項のマルチフォーマットA/V制作システム。 14.非同期の記録と再生の能力が、毎秒24フレームの制作方式のフレーム速度 から、毎秒25フレームの出力のフレーム速度に、フレーム速度を早めるのに使 用される、請求の範囲第11項に記載のマルチフォーマットA/V制作システム 。 15. カラーモニターを持つ高性能パーソナルコンピューターにおいて、ビデ オ番組を制作する方法が、 入力ビデオ番組を受信し、 入力ビデオ番組を、既に決まったフレーム速度とピクセルの画像の大きさを 持つ制作方式に変換し、 高容量ビデオ記録媒体を提供し、 高容量ビデオ記録媒体に制作方式の番組を記録し、 モニター上にはっきりとわかるように画面の一部が切り落とされた番組を含 み、カラーモニター上のビデオ番組を既に決まったフレーム速度とピクセルの 画像の大きさを使用して、表示し、 出力方式が、制作方式から、異なったフレーム速度とピクセルの画面の大き さ持った出力方式を含み、出力方式の望まれる編集された版の番組を創る為の ビデオ番組を処理し、制作方式の番組を高容量記録手段からアクセスし、 出力方式の望まれる編集された版の番組を出力すること、 を有する、前記方法。 16.非同期で番組を記録し再生できる高容量のビデオ記録手段を提供する段階 を含み、最終方式の望まれる編集された版のビデオ番組を創るようにビデオ番 組を処理する段階が、制作方式の番組のフレーム速度に変換する為に、非同期 の番組の記録と再生できる能力を含む、請求の範囲第15項に記載の方法。 17.最終方式の望まれる編集された版のビデオ番組を創るようにビデオ番組を 処理する段階が、制作方式のピクセルの大きさより大きいピクセルの大きさを 持つ最終方式の望まれる編集された版のビデオ番組を制作するように、補間の 段階を含む、請求の範囲第15項に記載の方法。 18.受け取った入力のビデオ番組に関連して、パン・スキャンの操作の制御の 段階をさらに含む、請求の範囲第15項に記載の方法。[Claims] 1. Means for receiving an input signal representative of one A / V program in a plurality of display modes; ,     Receives A / V programs, and converts the program display format to an intermediate production format   And a graphics processor connected to       Said processor,           (a) A video program of a production system is represented by a standard / widescreen system.           Standard widescreen input that operates to convert the output signal to           Interface device,           (b) Convert a production video program into an output signal represented by the HDTV system           High Definition Television (HDTV) interface device that works for conversion           When,       Has,     High capacity video recording means;     User interface,     Input signal, graphic processor, high capacity video recording means, use   User interface, and means for receiving and a controller capable of effective communication.   ,     When the user issues a command, the interface is         (a) Convert an A / V program into a production system,         (b) recording a production program in the high capacity video recording means;         (c) directly from the means receiving the input signal, or from a high capacity video recording           Standard and widescreen programs can be produced from either stage           To         (d) directly from the means receiving the input signal, or           Convert production programs to HDTV programs from either stage,     It is possible,   A multi-format A / V production system that uses display equipment. 2. Graphics processor exposes film output video interface   And the controller can control the input signal directly from the   E Convert the input video program from the recording means to an output signal for photo production.   Claim that is further operated in response to a command issued by the user.   The multi-format A / V production system according to item 1. 3. Any of the standard RGB, YIQ, YUV, and Y / RY / BY formats   2. The multi-function system according to claim 1, further comprising compatible input and output signals.   Format A / V production system. 4. Compatible with video systems using separate luminance and chroma video signals   A multi-format A / V system as claimed in claim 1 including certain input and output signals.   Work system. 5. Means for receiving an input signal representative of a video program includes a digital video camera   A multi-format A / V production system according to claim 1. 6. Claims wherein the means for receiving the video program includes a portable high capacity magnetic recording medium.   2. The multi-format A / V production system according to item 1. 7. If the aspect ratio change results from one of the method conversions,   The control also clearly distinguishes it on the display, and changes in the aspect ratio   Multi-format A / V production according to claim 1, which helps to be able to   system. 8. A means of controlling the operation of the pan scan in relation to the video part of the input signal.   The multi-format A / V production system according to claim 1, further comprising: 9. Means for converting a production method to one or more output methods are related to the production method   2. The multi-function device according to claim 1, further comprising interpolation means for enlarging the number of pixels.   -Matt A / V production system. 10. High-capacity video recording means asynchronous to perform frame rate conversion of programs   2. The multi-function device according to claim 1, wherein the multi-function device can record and reproduce various programs.   Format A / V production system. 11. General computer platform with user input and color display   In a multi-format A / V production system that is formed as part of a system,     Means for receiving an input video program in one of a plurality of input modes;     High capacity video recording means;     A system capable of recording within the capacity of high-capacity video recording means and displaying in color   If there is no such thing, convert the input program to a production method of 24 frames per second   Means,     Production method, either directly from the input or from the recorded one   One or more         NTSC at 30 frames per second,         PAL / SECAM at 25 frames per second,         HDTV at 25 frames per second,         HDTV at 30 frames per second, and         Movie compatible video at 24 frames per second.     Means for converting into a system. 12. The means by which a production method is converted to one or more outputs is relevant to the production method   The multi-function device according to claim 11, further comprising means for interpolation for expanding the number of pixels.   Format A / V production system. 13. High-capacity video recording means the output method with the frame rate required for the program   Claims, including the ability to record and play back asynchronously to feed the formula   A multi-format A / V production system according to item 11. 14. Asynchronous recording and playback capability, the frame rate of the production method of 24 frames per second   To increase the frame rate to a frame rate of 25 frames per second output.   The multi-format A / V production system according to claim 11, which is used.   . 15. Video on a high-performance personal computer with a color monitor   How to make an o program,     Receiving the input video program,     The input video program can be converted to a predefined frame rate and pixel image size.   Convert to the production method that has     Providing high capacity video recording media,     Record production programs on high-capacity video recording media,     Include programs with parts of the screen cut off so that they can be clearly seen on the monitor.   Video program on a color monitor at a predetermined frame rate and pixel   Use image size to display,     The output format differs from the production format, with different frame rates and pixel screen sizes.   To create a program with an edited version of the desired output format   Process video programs, access production programs from high-capacity recording means,     Outputting the desired edited version of the program in the output mode;     The above method, comprising: 16. Providing high-capacity video recording means that can record and play back programs asynchronously   Video numbers to create the desired edited version of the video program in the final format.   Processing the set is asynchronous to convert to the frame rate of the production program   16. The method of claim 15 including the ability to record and play back programs. 17. Video program to create the desired edited version of the video program in the final format   The processing step determines the pixel size larger than the production method pixel size.   Interpolation to produce the desired edited version of the video program in the final format   16. The method of claim 15, comprising steps. 18. Controls the operation of the pan scan in relation to the incoming video program   The method of claim 15, further comprising a step.
JP52680497A 1996-01-23 1996-01-23 Multi-format A / V production system with frame conversion Expired - Fee Related JP4445592B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US1996/001501 WO1997027704A1 (en) 1993-04-21 1996-01-23 Multi-format audio/video production system with frame-rate conversion

Publications (2)

Publication Number Publication Date
JP2001501781A true JP2001501781A (en) 2001-02-06
JP4445592B2 JP4445592B2 (en) 2010-04-07

Family

ID=22254682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52680497A Expired - Fee Related JP4445592B2 (en) 1996-01-23 1996-01-23 Multi-format A / V production system with frame conversion

Country Status (2)

Country Link
JP (1) JP4445592B2 (en)
CA (1) CA2243859C (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035552A (en) * 2007-09-26 2008-02-14 Sony Corp Imaging apparatus and imaging method
US7411617B2 (en) 2002-08-16 2008-08-12 Sony Corporation Image processing apparatus, image processing method, recording medium, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7411617B2 (en) 2002-08-16 2008-08-12 Sony Corporation Image processing apparatus, image processing method, recording medium, and program
JP2008035552A (en) * 2007-09-26 2008-02-14 Sony Corp Imaging apparatus and imaging method

Also Published As

Publication number Publication date
JP4445592B2 (en) 2010-04-07
CA2243859C (en) 2005-12-27
CA2243859A1 (en) 1997-07-31

Similar Documents

Publication Publication Date Title
JP4412744B2 (en) Multi-format audio / video production system with frame rate conversion
US5537157A (en) Multi-format audio/video production system
JP4485496B2 (en) Method for producing video program and method for converting video formats to each other
USRE38079E1 (en) Multi-format audio/video production system
US20020118296A1 (en) Integrated multi-format audio/video production system
US20040071211A1 (en) Video production system with mixed frame removal
EP1052645A2 (en) Video editing system
JP4445592B2 (en) Multi-format A / V production system with frame conversion
US7649552B2 (en) Video signal processing apparatus
WO2005050978A1 (en) Video production system with mixed frame removal
JP3024204U (en) Chroma key system
Bancroft A Multi-Frame Rate, Compression-Free, Video Recorder for Universal DTV Mastering in High Resolution
Wiswell 24-Frame and Multiple Frame-rate Post Systems and Equipment Design Considerations
JPH07298157A (en) Image display device
JPS63283283A (en) Multi-image display device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060404

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060703

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060824

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100118

R150 Certificate of patent or registration of utility model

Ref document number: 4445592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees