[go: up one dir, main page]

KR20080101644A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20080101644A
KR20080101644A KR1020077026395A KR20077026395A KR20080101644A KR 20080101644 A KR20080101644 A KR 20080101644A KR 1020077026395 A KR1020077026395 A KR 1020077026395A KR 20077026395 A KR20077026395 A KR 20077026395A KR 20080101644 A KR20080101644 A KR 20080101644A
Authority
KR
South Korea
Prior art keywords
display
image
frame
video
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020077026395A
Other languages
English (en)
Inventor
준이찌 오기꾸보
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080101644A publication Critical patent/KR20080101644A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G06T11/26—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 화상 처리 장치는, 복수의 표시 영상 데이터에 대한 표시순으로 시간차를 설정하고, 또한 동화상이 표시되는 복수의 영상 표시부를 표시하는 것으로 되기 때문에, 각각의 영상 표시부 자체에 재생 영상을 제시할 뿐만 아니라, 이들 영상 표시부 전체의 시계열의 흐름에 의해서도 재생 영상을 제시할 수 있는 한편, 모든 각 영상 표시부에 표시하는 재생 영상의 화상에 대해서, 그 화상의 변화량에 따라서, 픽쳐 단위 또는 GOP 단위마다, 표시 양태 또는 재생 양태를 변화시켜서 표시하게 되기 때문에, 화상의 변화의 차이를 시각적으로 제시할 수 있다. 따라서, 재생 영상의 내에서 변화가 있는 위치를 직감적으로 인식시키면서, 표시 영상 데이터에 기초하는 일련의 영상 중에서 오퍼레이터가 원하는 영상 부분을 용이하게 탐색시켜서 화상 찾기 작업이나 편집 작업을 용이화시킬 수 있다.
Figure P1020077026395
화상 처리 장치, 영상 데이터, 재생 영상, 시계열, 변화량, 화상 찾기, 편집

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}
본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 예를 들면, 영상 소재를 편집하는 편집 장치 또는 영상 소재의 내용으로부터 특정한 씬을 확인하는 영상 브라우저에 적용하기에 바람직한 것이다.
종래, 텔레비전 방송국 등의 콘텐츠 제작 현장에서는, 비디오 카메라로 촬영함으로써 얻어진 영상 음성 소재(이하, 이것을 클립이라고 부름)로부터 그 일부를 절취하도록 하여 새로운 1개의 클립을 작성하고, 마찬가지로 작성한 복수의 클립을 서로 연결시키도록 하여 1개의 콘텐츠를 작성하고 있다(예를 들면, 특허 문헌 1 참조).
도 104는, 이와 같은 편집 작업에 이용되는 편집 장치의 디스플레이에 표시되는 GUI(Graphical User Interface) 화면(이하, 이것을 편집 화면이라고 부름)의 일례를 도시하는 것이다. 이 도 104로부터도 알 수 있는 바와 같이, 이 편집 화면(2001)은, 클립 일람 표시부(2002), 모니터부(2003), 스토리 보드부(2004), 타임 라인부(2005) 및 이펙트 정보 표시부(2006A 내지 2006C)로 구성되어 있다.
이 경우 클립 일람 표시부(2002)에는, 그 편집 장치에 등록되어 있는 각종 빈 및 파일 중에서 원하는 1개의 빈 또는 파일을 선택하고, 그 빈 또는 파일에 수납되어 있는 클립의 일람을 표시시킬 수 있도록 이루어져 있다.
그리고 오퍼레이터는, 이들 클립 일람 표시부(2002)에 일람 표시된 클립 중에서 원하는 클립을 선택하고, 이것을 모니터부(2003)에 드랙 앤 드롭함으로써, 그 클립의 선두 화상을 모니터부(2003) 내에 표시시킬 수 있다.
또한 오퍼레이터는, 그 상태에서 모니터부(2003) 하부에 표시된 버튼군(2007) 중에서 대응하는 버튼을 클릭함으로써, 이러한 드랙 앤 드롭된 클립의 재생을 개시시켜서 그 재생 영상을 모니터부(2003)에 표시시키는 것이나, 그 표시된 재생 영상을 앞으로 감기 또는 되감기 등 시키는 것이 가능하고, 또한 버튼군(2007)의 상측에 표시된 그 클립 전체에서의 현재의 표시 화상의 위치를 나타내는 스크럽 커서(2008)를 마우스 조작에 의해 좌우로 이동시킴으로써, 그때의 스크럽 커서(2008)의 위치에 따른 화상을 모니터부(2003)에 표시시킬 수 있다.
이렇게 하여 오퍼레이터는, 모니터부(2003)에 표시되는 재생 영상을 눈으로 확인하면서, 이러한 버튼군(2007) 내의 재생 버튼 등이나 스크럽 커서(2008)를 조작함으로써 원하는 프레임을 탐색하고, 그 프레임의 화상을 모니터부(2003)에 표시시킨 상태에서 그 모니터부(2003)의 하부에 설정된 인 점 버튼(2009IN) 또는 아웃 점 버튼(2009OUT)을 클릭함으로써, 그 클립으로부터 절취할 영상 음성 부분의 개시점(이하, 인 점) 및 종료점(이하, 아웃 점)을 각각 지정할 수 있다.
그리고, 이와 같이 하여 인 점 및 아웃 점을 지정한 클립에 대해서는, 그 인 점 및 아웃 점에서 끼여지는 영상 음성 부분을 새로운 클립으로 하여, 드랙 앤 드롭에 의해 스토리 보드부(2004)에 붙일 수 있다. 이에 의해 편집 화면(2001)에서는, 편집에 사용하는 클립을 미리 스토리 보드부(2004)에 배열함으로써, 오퍼레이터가 편집 결과를 용이하게 이미지할 수 있도록 이루어져 있다. 또한, 이때 스토리 보드부(2004)에는, 붙여진 각 클립의 선두 화상 등의 대표 화상의 썸네일 및 상세 정보가 표시된다.
그리고 오퍼레이터는, 이후 이러한 스토리 보드부(2004)에 붙인 각 클립을, 각각 드랙 앤 드롭에 의해 타임 라인부(2005)의 비디오 트랙(2010V) 상에 배열하도록 순차적으로 붙이도록 한다. 이때 비디오 트랙(2010V)에는, 타임 스케일(2011)을 지표로 하여, 붙여진 클립의 소재 길이에 따른 길이의 띠(2012V)가 표시된다. 또한 이때 그 클립에 음성이 있는 경우에는, 오디오 트랙(2010A)에서의 타임 스케일(2011) 상의 동일한 위치에 동일한 길이의 띠(2012A)가 표시된다.
여기에서, 이와 같이 타임 라인부(2005)의 비디오 트랙(2010V)이나 오디오 트랙(2010A)에 띠(2012V, 2012A)가 표시되는 것은, 편집 영상 음성의 출력시에 타임 스케일(2011)에서 나타낸 시간에 그 띠(2012V, 2012A)에 대응하는 클립의 영상이 표시되거나 또는 음성이 출력되는 것을 의미한다. 따라서, 이와 같은 조작에 의해 편집 영상으로서 표시되거나, 또는 편집 음성으로서 출력되는 클립의 영상 또는 음성을 순차적으로 규정하여 이루어지는 편집 리스트를 작성할 수 있다.
또한, 이와 같이 하여 편집 리스트를 작성할 때에, 예를 들면 제1 클립의 영상으로부터 제2 클립의 영상으로의 절환시에 영상 특수 효과 처리를 실시하고자 할 때에는, 이펙트 정보 표시부(2006A 내지 2006C) 중 이펙트 일람 표시부(6C)에 일람 표시된, 이 편집 장치를 실행할 수 있는 각종 영상 특수 효과 중에서, 원하는 영상 특수 효과와 대응지어진 아이콘(이하, 이것을 이펙트 아이콘이라고 부름)(13)을, 타임 라인부(2005)의 트랜지션 트랙(2010T)에서의 제1 및 제2 클립의 절환 부분과 타임 스케일(2011) 상에서 동일한 위치에 드랙 앤 드롭에 의해 붙여지도록 한다.
이에 의해 편집 영상에서의 제1 클립의 영상과 제2 클립의 영상의 연결 부분에서, 전술한 바와 같이 트랜지션 트랙(2010T)에 붙여진 이펙트 아이콘(13)과 대응지어진 영상 특수 효과 처리를 실행할 취지의 지시를 입력할 수 있다.
특허 문헌 1: 특개 2000-251451 공보.
그런데, 전술한 바와 같은 편집 화면(2001)을 이용한 편집 작업에서, 인 점이나 아웃 점으로 할 프레임의 탐색 작업은, 클립의 영상을 앞으로 감기 또는 되감기 재생을 복수회 반복하여 행하는 조작, 또는, 전술한 바와 같이 스크럽 커서(2008)를 좌우로 움직이는 스크럽(Scrub)이라 불리는 마우스 조작에 의해, 그 클립의 영상을 고속 재생시켜서 원하는 프레임을 찾아냄으로써 행해진다.
그러나, 이와 같은 앞으로 감기 또는 되감기 재생을 복수회 반복하여 행하는 조작 또는 스크럽에 의한 마우스 조작 등에 의한 원하는 프레임 탐색 작업(이하, 적절하게, 이것을 화상 찾기 작업이라고 부름)은, 그 조작에 익숙해 있지 않으면 많은 시간을 요하는 것이다. 또한 대상으로 하는 영상 음성 소재가, 예를 들면 압축 효율을 높이기 위해서 1GOP(Group of Pictures) 내에 복수 프레임을 갖는 방식, 소위 MPEG(Motion Picture Expert Group) 방식의 롱 GOP(Long GOP) 포맷으로 압축 부호화가 행해지고 있는 경우나, 전후의 GOP의 데이터를 이용하여 압축하는 오픈 GOP 포맷인 경우에는, 프레임을 복호화 처리하기 위해서 복수의 프레임 및 GOP를 복호화 처리해야만 하는 경우가 있기 때문에, 고속의 랜덤 재생이 곤란하게 된다. 이 결과, 이러한 경우에는, 표시 영상의 응답성이 나빠져서, 화상 찾기 작업이 더욱 하기 어려운 것으로 된다.
또한, 전술한 바와 같이 클립끼리를 연결하는 소위 컷트 편집의 조작도, 종래에는, 편집 화면(2001) 내의 타임 라인부(2005)의 비디오 트랙(2010V)이나 오디오 트랙(2010A)에 클립을 붙이도록 하여 행하고, 인 점 및 아웃 점의 전후의 영상 확인을 그 후의 재생이나 스크럽에 의해 행하고 있었다. 이 때문에 이러한 컷트 편집을 행하기 위해서는, 전술한 바와 같이 몇 가지의 스텝이 필요하여, 간이하게 행하는 것이 곤란한 문제가 있었다.
또한, 통상적으로, 편집 작업에서는, 영상과 음성을 의식하여 편집하는 것이 일반적인데, 음성에 대해서는 영상을 눈으로 확인하면서 스피커로부터 출력되는 소리에 의지하거나, 또는 편집 화면(2001)의 타임 라인부(2005)의 오디오 트랙(2010A)에 표시되는 음성의 레벨 파형(예를 들면 도 104에서의 타임 라인부(2005)의 「오디오3」의 오디오 트랙(2010A)을 참조)을 확인하면서 편집할 필요가 있어, 영상과 음성을 제휴시킨 편집 작업을 용이하게 행할 수 없는 문제가 있었다.
본 발명은 이상의 점을 고려하여 이루어진 것으로, 편집 씬 확인 또는 특정 씬의 확인으로서 화상 찾기 작업, 또는, 편집 작업 자체를 용이화시킬 수 있는 화상 처리 장치 및 제안하려고 하는 것이다.
이러한 과제를 해결하기 위해서 본 발명은, 화상 처리 장치로서, 영상 데이터로부터, 표시 화면 상의 복수의 영상 표시부에 대하여 각각 표시시키기 위한 복수의 표시 영상 데이터를 생성하는 화상 생성 수단과, 영상 데이터에서의 각 화상 데이터의 변화의 정도를 나타내는 변화량에 기초하여, 그 픽쳐를 표시할 때의 표시 방법을 나타내는 표시 타입을, 픽쳐 단위 또는 GOP 단위로 결정하는 표시 타입 결정 수단과, 표시 타입 결정 수단에 의해 결정된 픽쳐 단위 또는 GOP 단위의 표시 타입을 나타내는 타입 정보에 따라서, 표시 영상 데이터에 대응하는 표시 파라미터 또는 재생 파라미터를 변경하는 파라미터 변경 수단과, 파라미터 변경 수단에 의해 변경된 표시 파라미터 또는 재생 파라미터를 이용하여, 표시 영상 데이터를, 표시순으로 시간차를 설정하면서 동화상의 상태에서 표시 화면 상에 표시시키는 화상 처리 수단을 설치하도록 하였다.
이에 의해, 이 화상 처리 장치는, 복수의 표시 영상 데이터에 대한 표시순으로 시간차를 설정하고, 또한 동화상이 표시되는 복수의 영상 표시부를 표시하게 되기 때문에, 각각의 영상 표시부 자체에 재생 영상을 제시할 뿐만 아니라, 이들 영상 표시부 전체의 시계열의 흐름에 의해서도 재생 영상을 제시할 수 있는 한편, 모든 각 영상 표시부에 표시하는 재생 영상의 화상에 대해서, 그 화상의 변화량에 따라서, 픽쳐 단위 또는 GOP 단위마다, 표시 양태 또는 재생 양태를 변화시켜서 표시하게 되기 때문에, 화상의 변화의 차이를 시각적으로 제시할 수 있다. 따라서, 이 화상 처리 장치는, 이들 제시의 조합에 의해, 오퍼레이터에 대하여, 재생 영상 내에서 변화가 있는 위치를 직감적으로 인식시키면서, 표시 영상 데이터에 기초하는 일련의 영상 중에서 오퍼레이터가 원하는 영상 부분을 용이하게 탐색시켜서 화상 찾기 작업이나 편집 작업을 용이화시킬 수 있다.
또한 본 발명은, 화상 처리 방법으로서, 영상 데이터로부터, 표시 화면 상의 복수의 영상 표시부에 대하여 각각 표시시키기 위한 복수의 표시 영상 데이터를 생성하는 화상 생성 스텝과, 영상 데이터에서의 각 화상 데이터의 변화의 정도를 나타내는 변화량에 기초하여, 그 픽쳐를 표시할 때의 표시 방법을 나타내는 표시 타입을, 픽쳐 단위 또는 GOP 단위로 결정하는 표시 타입 결정 스텝과, 표시 타입 결정 스텝에서 결정된 픽쳐 단위 또는 GOP 단위의 표시 타입을 나타내는 타입 정보에 따라서, 표시 영상 데이터에 대응하는 표시 파라미터 또는 재생 파라미터를 변경하는 파라미터 변경 스텝과, 파라미터 변경 스텝에서 변경된 표시 파라미터 또는 재생 파라미터를 이용하여, 표시 영상 데이터를, 표시순으로 시간차를 설정하면서 동화상의 상태에서 표시 화면 상에 표시시키는 화상 처리 스텝을 설정하도록 했다.
이에 의해, 이 화상 처리 방법은, 복수의 표시 영상 데이터에 대한 표시순으로 시간차를 설정하고, 또한 동화상이 표시되는 복수의 영상 표시부를 표시하게 되기 때문에, 각각의 영상 표시부 자체에 재생 영상을 제시할 뿐만 아니라, 이들 영상 표시부 전체의 시계열의 흐름에 의해서도 재생 영상을 제시할 수 있는 한편, 모든 각 영상 표시부에 표시하는 재생 영상의 화상에 대해서, 그 화상의 변화량에 따라서, 픽쳐 단위 또는 GOP 단위마다, 표시 양태 또는 재생 양태를 변화시켜서 표시하게 되기 때문에, 화상의 변화의 차이를 시각적으로 제시할 수 있다. 따라서, 이 화상 처리 방법은, 이들 제시의 조합에 의해, 오퍼레이터에 대하여, 재생 영상 내에서 변화가 있는 위치를 직감적으로 인식시키면서, 표시 영상 데이터에 기초하는 일련의 영상 중에서 오퍼레이터가 원하는 영상 부분을 용이하게 탐색시켜서 화상 찾기 작업이나 편집 작업을 용이화시킬 수 있다.
본 발명에 따르면, 화상의 변화의 차이를 시각적으로 제시시킬 수 있고, 이들 제시의 조합에 의해, 오퍼레이터에 대하여, 재생 영상 내에서 변화가 있는 위치를 직감적으로 인식시키면서, 표시 영상 데이터에 기초하는 일련의 영상 중에서 오퍼레이터가 원하는 영상 부분을 용이하게 탐색시켜서 화상 찾기 작업이나 편집 작업을 용이화시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 실현할 수 있다.
도 1은, 본 발명에 따른 편집 시스템의 구성을 도시하는 개략선적 블록도.
도 2는, 본 실시 형태에 따른 편집 화면의 구성을 도시하는 개략선도.
도 3은, 나선 영상 표시부군의 설명을 하기 위한 개략선도.
도 4는, 나선 영상 표시부군의 각 영상 표시부에 대한 재생 순서의 설명을 하기 위한 개념도.
도 5는, 각 영상 표시부에 각각 표시되는 재생 영상의 재생 시간차의 설명을 하기 위한 타이밍차트.
도 6은, Foward 방향으로 흐르도록 한 영상 표시의 설명을 하기 위한 개략선도.
도 7은, 재생 시간차·재생 속도 설정 다이얼로그를 도시하는 개략선도.
도 8은, Reverse 방향으로 흐르도록 한 영상 표시의 설명을 하기 위한 개략선도.
도 9는, 병렬 디코드 처리 수순을 나타내는 플로우차트.
도 10은, 재생 처리 수순(표시 변경 처리 수순)을 나타내는 플로우차트.
도 11은, 표시부에서의 기본 조작(1)의 설명을 하기 위한 개략선도.
도 12는, 착색된 영상 표시부의 흐름의 설명을 하기 위한 타이밍차트.
도 13은, 표시부에서의 기본 조작(2)의 설명을 하기 위한 개략선도.
도 14는, 표시부에서의 확장 조작(1)의 설명을 하기 위한 개략선도.
도 15는, 확장 조작에 따른 영상 표시부의 이동(1-1)의 설명을 하기 위한 개념도.
도 16은, 확장 조작에 따른 영상 표시부의 이동(1-2)의 설명을 하기 위한 타이밍차트.
도 17은, 확장 조작에 따른 영상 표시부의 이동(2-1)의 설명을 하기 위한 개념도.
도 18은, 확장 조작에 따른 영상 표시부의 이동(2-2)의 설명을 하기 위한 타이밍차트.
도 19는, 나선 영상 표시부군의 스파이럴 구조의 설명을 하기 위한 개략선도.
도 20은, 시점을 나타내는 서브 3D 공간 화상의 설명을 하기 위한 개략선도.
도 21은, 복수의 서브 나선 영상 표시부군의 설명을 하기 위한 개략선도.
도 22는, 서브 나선 영상 표시부군의 이동의 설명을 하기 위한 개략선도.
도 23은, 서브 3D 공간 화상을 고정한 시점 변경의 설명을 하기 위한 개략선도.
도 24는, 서브 3D 공간 화상 및 캐릭터의 회전의 설명을 하기 위한 개략선도.
도 25는, 서브 3D 공간 화상의 확대 표시의 설명을 하기 위한 개략선도.
도 26은, 시점 변경에 따른 나선 영상 표시부군에 대한 표시 처리 수순을 나타내는 플로우차트.
도 27은, 시점 변경 후의 나선 영상 표시부군(1)을 도시하는 개략선도.
도 28은, 시점 변경 후의 나선 영상 표시부군(2)을 도시하는 개략선도.
도 29는, 시점 변경 후의 나선 영상 표시부군(3)을 도시하는 개략선도.
도 30은, 시점 좌표 로크 모드에 의한 시점 변경 후의 나선 영상 표시부군을 도시하는 개략선도.
도 31은, 시점 변경 후의 나선 영상 표시부군(4)을 도시하는 개략선도.
도 32는, 인 점 탐색중에서의 2차원 화상 표시예를 도시하는 개략선도.
도 33은, 마이크로프로세서 및 GPU에 의한 편집 전처리의 기능 구성을 도시하는 블록도.
도 34는, AV 파일 작성부의 구성예를 도시하는 블록도.
도 35는, Fy 파일 작성부의 구성예를 도시하는 블록도.
도 36은, 데이터 축소부의 처리를 설명하기 위한 도면.
도 37은, Fy 파일 작성 처리를 설명하는 플로우차트.
도 38은, 변화량 산출부의 구성예를 도시하는 블록도.
도 39는, 움직임 정보 산출부에서 구해지는 프레임 단위의 움직임 정보를 설명하는 도면.
도 40은, 움직임 정보 산출부의 구성예를 도시하는 블록도.
도 41은, 움직임 정보 산출부의 처리를 설명하는 도면.
도 42는, 움직임 정보 산출부의 다른 구성예를 도시하는 블록도.
도 43은, 움직임 정보 산출부의 처리를 설명하는 도면.
도 44는, 세밀함 정보 산출부의 구성예를 도시하는 블록도.
도 45는, 세밀함 정보 산출부의 처리를 설명하는 도면.
도 46은, 세밀함 정보 산출부의 다른 구성예를 도시하는 블록도.
도 47은, 평균값 산출부의 처리를 설명하는 도면.
도 48은, 변화량 산출부에서 구해지는 프레임마다 변화량을 나타내는 도면.
도 49는, 표시 타입의 예를 설명하는 도면.
도 50은, 표시 타입 결정부가 프레임 단위로 결정하는 표시 타입을 설명하는 도면.
도 51은, 표시 타입 결정부의 구성예를 도시하는 블록도.
도 52는, 표시 타입 결정 처리(1)를 설명하는 플로우차트.
도 53은, 표시 타입 결정 처리(2)를 설명하는 플로우차트.
도 54는, 프레임 단위의 변화량을 나타내는 도면.
도 55는, Fy 파일의 예(1)를 도시하는 도면.
도 56은, 표시 타입의 예(1)를 설명하는 도면.
도 57은, 프레임 단위의 움직임 정보와 표시 타입을 도시하는 도면.
도 58은, 표시 타입 결정 처리(3)를 설명하는 플로우차트.
도 59는, 표시 타입 결정 처리(4)를 설명하는 플로우차트.
도 60은, 표시 타입의 예(2)를 설명하는 도면.
도 61은, 프레임 단위의 세밀함 정보와 표시 타입을 도시하는 도면.
도 62는, 표시 타입 결정 처리(5)를 설명하는 플로우차트.
도 63은, 표시 타입 결정 처리(6)를 설명하는 플로우차트.
도 64는, Fy 파일의 예(2)를 도시하는 도면.
도 65는, Fy 파일의 예(3)를 도시하는 도면.
도 66은, Fy 파일의 예(4)를 도시하는 도면.
도 67은, 표시 타입의 예(3)를 설명하는 도면.
도 68은, 움직임 정보 및 세밀함 정보와 표시 타입을 도시하는 도면.
도 69는, 표시 타입 결정 처리(7)를 설명하는 플로우차트.
도 70은, Fy 파일의 예(5)를 도시하는 도면.
도 71은, 마이크로프로세서 및 GPU에 의한 스크럽 처리의 기능 구성을 도시하는 블록도.
도 72는, Fy 파일 관리부와 표시 타입 취득부의 구성예를 도시하는 블록도.
도 73은, 스크럽 손잡이의 위치와, 그 위치에 의해 지정되는 프레임과의 관계에 대해서 설명하는 도면.
도 74는, 통상 타입과 고표시 레이트 저해상도 타입의 프레임 각각의 스크럽에서의 표시 방법을 도시하는 도면.
도 75는, 표시 타입이 정지 화상 타입의 프레임의 표시를 설명하는 도면.
도 76은, 스크럽의 처리를 설명하는 플로우차트.
도 77은, 지정 구간의 구간 길이에 가중값 부여를 하는 가중값의 예(1)를 도시하는 도면.
도 78은, 지정 구간의 구간 길이에 가중값 부여를 하는 가중값의 예(2)를 도시하는 도면.
도 79는, 구간 길이에 가중값 부여를 하지 않는 경우와, 가중값 부여를 하는 경우 각각의 지정 구간을 도시하는 도면.
도 80은, 구간 길이에 관한 처리를 설명하는 플로우차트.
도 81은, 할당 범위의 설정을 설명하는 도면.
도 82는, 할당 범위 설정 처리를 설명하는 플로우차트.
도 83은, 표시 처리를 설명하는 플로우차트.
도 84는, 확대 영상 표시부의 추이(1)의 표시예를 도시하는 도면.
도 85는, 확대 영상 표시부의 추이(2)의 표시예를 도시하는 도면.
도 86은, 확대 영상 표시부의 추이(3)의 표시예를 도시하는 도면.
도 87은, 확대 영상 표시부의 추이(4)의 표시예를 도시하는 도면.
도 88은, 확대 영상 표시부의 추이(5)의 표시예를 도시하는 도면.
도 89는, 확대 영상 표시부의 추이(6)의 표시예를 도시하는 도면.
도 90은, 확대 영상 표시부의 추이(7)의 표시예를 도시하는 도면.
도 91은, 확대 영상 표시부의 추이(8)의 표시예를 도시하는 도면.
도 92는, 확대 영상 표시부의 추이(9)의 표시예를 도시하는 도면.
도 93은, 확대 영상 표시부의 추이(10)의 표시예를 도시하는 도면.
도 94는, 확대 영상 표시부의 추이(11)의 표시예를 도시하는 도면.
도 95는, 확대 영상 표시부의 추이(12)의 표시예를 도시하는 도면.
도 96은, 1GOP를 구성하는 프레임마다 변화량을 나타내는 도면.
도 97은, 1GOP를 구성하는 프레임마다 표시 타입을 결정하는 방법을 설명하는 도면.
도 98은, 묘화 간격의 치밀화를 설명하는 도면.
도 99는, 재생 시간차에 대응하는 화상 사이의 묘사의 치밀화(1)를 도시하는 도면.
도 100은, 재생 시간차에 대응하는 화상 사이의 묘사의 치밀화(2)를 도시하는 도면.
도 101은, 제2 실시 형태에서의 재생 영상의 표시 방법의 설명을 하기 위한 개략선도.
도 102는, 영상 표시부 확대 표시 처리 수순을 나타내는 플로우차트.
도 103은, 다른 실시 형태에서의 저속 재생시의 영상 표시부의 이동의 설명 을 하기 위한 개략선도.
도 104는, 종래의 편집 화면의 구성예를 도시하는 개략선도.
[부호의 설명]
90: 편집 시스템
2: 편집 장치
22: 기억 장치
3: 마이크로프로세서
4: GPU
5: XDR-RAM
37: 조작 컨트롤러
38: 마우스
39: 키보드
40: 디스플레이
41: 스피커
50: 편집 화면
55: 표시부
W571~W57n: 영상 표시부
58: 나선 영상 표시부군
IM1: 서브 3D 공간 화상
CA1: 캐릭터
이하 도면에 대해서, 본 발명의 1실시 형태를 상술한다.
(1) 본 실시 형태에 따른 편집 시스템의 구성
도 1에 도시하는 바와 같이, 1은 전체적으로 본 실시 형태에 따른 편집 시스템을 나타내고, 크게 나누어서 편집 장치(2), 기억 장치(22) 및 복수대의 비디오 테이프 리코더(231 내지 23n) 등으로 구성되어 있다.
이 편집 시스템(1)에서는, 비디오 테이프에 기록된 영상 음성의 일부 또는 전부를 클립으로 하여, 편집 장치(2)를 통해서 RAID(Redundant Arrays of Independent Disks)로 이루어지는 대용량의 기억 장치(22)에 받아들일 수 있도록 이루어져 있다.
또한 이 편집 시스템(1)에서는, 기억 장치(22)에 받아들여진 클립을 원하는 상태로 서로 연결시켜 원하는 편집 영상 음성을 얻기 위한 편집 내용을 규정한 편집 리스트를 작성할 수 있고, 또한 이 작성한 편집 리스트에 따라서 실제로 편집 처리를 실행하고, 그 결과 얻어진 편집 영상 및 편집 음성을 기억 장치(22)에 축적하거나, 비디오 테이프 리코더(231 내지 23n)를 통해서 비디오 테이프에 기록할 수 있도록 이루어져 있다.
이 경우, 편집 장치(1)에서는, 마이크로프로세서(3)에 대하여 GPU(4), XDR(Extreme Data Rate)-RAM(5) 및 사우스 브리지(6)가 접속됨과 함께, 그 사우스 브릿지(6)에 하드디스크 장치(7), USB 인터페이스(8) 및 사운드 입출력 코덱(9)이 접속되어 있다. 이 사운드 입출력 코덱(9)에는 스피커(41)가 접속되어 있다.
또한 사우스 브릿지(6)에는, PCI 버스(15)를 통해서 마우스(38), 키보드(39), 비디오 테이프 리코더(231 내지 23n), 기억 장치(22) 및 조작 컨트롤러(37)가 접속되어 있다. 또한 GPU(4)에는 디스플레이(40)가 접속되어 있다.
그런데 마이크로프로세서(3)는, 0S(0perating System) 등의 기본 프로그램을 실행하는 범용의 메인 CPU 코어(3M)와, 그 메인 CPU 코어(3M)에 내부 버스(12)를 통해서 접속된 복수(이 경우 8개)의 RISC(Reduced Instruction Set Computer) 타입의 신호 처리 프로세서(이하, 이것을 서브 CPU 코어라고 부름)(3SA 내지 3SH)와, 예를 들면 256[MByte]의 용량을 갖는 XDR-RAM(5)에 대한 메모리 컨트롤을 행하는 메모리 컨트롤러(13)와, 사우스 브릿지(6)와의 사이에서 데이터의 입출력을 관리하는 I/O(In/Out) 컨트롤러(14)가 1칩으로 집적된 멀티 코어 구성으로 이루어지고, 예를 들면 동작 주파수 4[GHz]를 가능하게 하고 있다.
이 편집 장치(1)의 마이크로프로세서(3)는, 주로 MPEG 디코더, JPEG2000, H.264/AVC(Advanced Video Coding) 등의 코덱의 역할을 담당하고, 디코드한 결과 얻어지는 재생 영상을 GPU(4)에 데이터 전송하거나, 재생 속도 v(후술함) 등의 설정을 변경하거나, 혹은 물리 연산 등을 행하도록 이루어져 있다.
특히 마이크로프로세서(3)는, 8개의 서브 CPU 코어(3SA 내지 3SH)가 디코더의 역할을 각각 담당하고, 그 8개의 서브 CPU 코어(3SA 내지 3SH)가 HD(High Definition)의 재생 영상을 동시 병렬적으로 디코드하는 것이 가능하다.
또한 메인 CPU 코어(3M)는, 8개의 서브 CPU 코어(3SA 내지 3SH)가 행하는 이외의 처리나 관리를 행하도록 이루어져 있고, 사우스 브릿지(6)를 통해서 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)로부터 공급된 명령을 접수하고, 그 명령에 따른 다양한 처리를 실행한다.
이와 같이 마이크로프로세서(3)는, 8개의 서브 CPU 코어(3SA 내지 3SH)에 의해 동시 병렬적으로 재생 영상을 디코드할 수 있도록 이루어져 있고, 또한 마이크로프로세서(3)와 GPU(4) 사이를 대역폭이 큰 버스(10)에 의해 예를 들면 최대30[Gbyte/sec]의 전송 속도로 데이터 전송할 수 있도록 이루어져 있기 때문에, 많은 매수의 고정밀한 재생 화상을 디코드하여 단시간에 데이터 전송할 수 있도록 이루어져 있다.
덧붙여서, 이 경우 8개의 서브 CPU 코어(3SA 내지 3SH)에서는, 예를 들면 동시에 2매의 HD의 재생 영상을 각각 디코드하는 것이 가능하고, 즉 마이크로프로세서(3)로부터 GPU(4)에는 한번에 16매(이 경우)나 되는 고정밀한 재생 화상을 고속 전송할 수 있다. 단, 8개의 서브 CPU 코어(3SA 내지 3SH)가 동시에 디코드 가능한 HD의 매수로서는 이것에 한하는 것은 아니며, 더 많은 매수의 재생 영상을 디코드하는 것이 가능하다.
한편 GPU(4)는, 디스플레이(40)에 표시하는 재생 영상을 움직일 때의 텍스쳐의 붙임 등에 관한 최종적인 렌더링 처리에 부가하여, 좌표 변환 계산 처리나, 재생 영상의 확대·축소 처리 등을 행하는 기능을 담당하여, 마이크로프로세서(3)의 처리 부담을 경감시키도록 이루어져 있다.
실제 상, 마이크로프로세서(3)는, 기동시, 하드디스크 장치(7)에 저장된 제어 프로그램에 기초하여, 그 하드디스크 장치(7)에 저장되어 있는 필요한 소프트웨어를 읽어내어 XDR-RAM(5)에 전개하고, 이후 이 소프트웨어 및 오퍼레이터 조작에 기초하여 필요한 제어 처리를 실행한다.
마이크로프로세서(3)는, 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)가 조작되어, 비디오 테이프에 기록된 영상 음성을 기억 장치(22)에 취득하기 위한 클립 취득 윈도우의 표시 명령이 입력되면, 이에 응동하여 하드디스크 장치(7)를 제어함으로써, 대응하는 화상 데이터를 읽어내게 하는 한편, 이와 아울러 GPU(4)를 제어함으로써, 이 화상 데이터에 기초하는 전술한 클립 취득 윈도우를 디스플레이(40)에 표시시킨다.
또한 마이크로프로세서(3)는, 이 상태에서 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)가 조작되고, 비디오 테이프 리코더(231 내지 23n)에 대한 재생 동작 명령이 입력되면, 이에 응동하여 비디오 테이프 리코더(231 내지 23n)를 제어함으로써, 비디오 테이프에 기록된 영상 음성 신호의 재생 동작을 실행시킨다.
이 결과 이 비디오 테이프 리코더(231 내지 23n)로부터는, 그 비디오 테이프 리코더(231 내지 23n)에 장전된 비디오 테이프로부터 재생된 영상 음성 신호가 출력되고, 그 중 영상 신호가 PCI 버스(15), 사우스 브릿지(6) 및 마이크로프로세서(3)를 순차적으로 통해서 GPU(4)에 주어진다.
GPU(4)는, 마이크로프로세서(3)의 제어 하에, 공급되는 영상 신호에 대하여 소정의 신호 처리를 실시하고, 그 결과 얻어진 영상 신호를 디스플레이(40)에 송출함으로써, 그 영상 신호에 기초하는 영상을 클립 취득 윈도우 내의 소정 위치에 표시시킨다. 한편, 마이크로프로세서(3)는, 이때 영상 음성 신호로부터 추출한 음성 신호를 사운드 입출력 코덱(9)을 통해서 스피커(41)에 송출함으로써, 그 음성 신호에 기초하는 음성을 스피커(41)로부터 출력시킨다.
이렇게 하여 오퍼레이터는, 디스플레이(40)에 표시된 영상 및 스피커(41)로부터 출력되는 음성에 기초하여, 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)를 이용하여 영상 및 음성의 원하는 부분을 지정할 수 있고, 또한 그 영상 음성 부분을 클립으로 하여 그 인 점 및 아웃 점의 타임 코드나 소재 길이, 클립 ID, 클립명, 그 영상 음성의 촬영 일시, 그 클립의 작성 일시 등의 관리 정보를 메타데이터로서 등록할 수 있다. 그리고 이 메타데이터로서 등록된 그 클립의 관리 정보가, 마이크로프로세서(3)의 제어 하에, 하드디스크 장치(7) 내의 클립 관리 정보 데이터베이스에 등록된다.
또한 마이크로프로세서(3)는, 이후 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)가 조작되고, 그 클립의 취득 명령이 입력되면, 이에 응동하여 비디오 테이프 리코더(231 내지 23n)를 제어함으로써, 지정된 클립의 영상 음성의 재생 동작을 실행시킨다.
이 결과, 비디오 테이프 리코더(231 내지 23n)로부터는, 비디오 테이프로부 터 재생된 그 클립의 영상 음성 신호가 출력되고, 그 중 영상 신호가 PCI 버스(15), 사우스 브릿지(6), 마이크로프로세서(3) 및 버스(10)를 순차적으로 통해서 GPU(4)에 주어진다. 또한 마이크로프로세서(3)는, 이와 더불어 GPU(4) 및 기억 장치(22)를 제어함으로써, 비디오 테이프 리코더(231 내지 23n)로부터 주어지는, 이러한 클립의 영상 음성 신호를 GPU(4)를 통해서 기억 장치(22)에 저장한다.
이와 같이 하여 이 편집 시스템(1)에서는, 지정된 클립의 영상 음성을 비디오 테이프로부터 재생하여 기억 장치(22)에 취득할 수 있도록 이루어져 있다.
한편, 오퍼레이터는, 이후 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)를 이용한 소정 조작에 의해 편집 작업을 행하기 위한 편집 화면(후술함)을 디스플레이(40)에 표시시킬 수 있고, 이 편집 화면을 이용하여 어느 클립과 어느 클립을 어떻게 서로 연결시킬 것인가라고 하는 편집 내용을 규정한 편집 리스트를 작성할 수 있다. 또한 오퍼레이터는, 편집 리스트의 작성 후 또는 작성 도중에서, 그 편집 리스트에 기초하는 편집 영상 및 편집 음성을 확인할 수 있도록 이루어져 있다.
그리고 마이크로프로세서(3)는, 편집 리스트가 작성된 후 마우스(38)가 조작되어 그 편집 리스트의 등록 명령이 입력된 경우에는, 그 편집 리스트에서 규정된 모든 오퍼레이터에 의한 설정의 편집 데이터를 파일화하여 하드디스크 장치(7) 내의 편집 리스트 데이터베이스에 등록한다.
또한 마이크로프로세서(3)는, 편집 리스트의 작성 후 또는 작성 도중에서, 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)가 조작되고, 그 편집 리스트에 기 초하는 편집 영상 음성의 재생 명령이 입력되면, 이에 응동하여 기억 장치(22)를 제어함으로써, 필요한 클립의 영상 음성 신호를 기억 장치(22)에 읽어내게 한다.
이렇게 하여 이 기억 장치(22)로부터 읽어 내어진 영상 음성 신호 중 영상 신호가 PCI 버스(15), 사우스 브릿지(6), 마이크로프로세서(3) 및 버스(10)를 순차적으로 통해서 GPU(4)에 주어지고, 이후 마이크로프로세서(3)의 제어 하에, 그 GPU(4)에서 필요에 따라서 영상 특수 효과 가공 처리가 실시된다.
그리고 GPU(4)는, 마이크로프로세서(3)의 제어 하에, 공급된다. 영상 신호에 대하여 영상 특수 효과 가공 처리를 실시함으로써 얻어진 편집 영상 신호에 대하여 소정의 신호 처리를 실시하고, 그 결과 얻어진 영상 신호를 디스플레이(40)에 송출한다.
한편, 마이크로프로세서(3)는, 영상 음성 신호 중 음성 신호에 대하여 음성 믹싱 처리를 실시하고, 그 결과 얻어진 편집 음성 신호를 사운드 입출력 코덱(9)을 통해서 스피커(41)에 송출한다.
이 결과, 편집 화면 내의 소정 위치에 편집 영상이 표시되고, 스피커(41)로부터 편집 음성이 출력된다. 이와 같이 하여 이 편집 시스템(1)에서는, 오퍼레이터가 편집 리스트에 기초하는 편집 영상 및 편집 음성을 확인하면서 편집 작업을 행할 수 있다.
또한 마이크로프로세서(3)는, 편집 리스트가 작성된 후, 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)가 조작되어 그 실행 명령이 입력되면, 이에 응동하여 기억 장치(22)를 제어함으로써, 편집 처리에 이용하는 클립의 영상 음성 신호를 기억 장치(22)로부터 읽어내게 하여 PCI 버스(15), 사우스 브릿지(6) 및 버스(10)를 통해서 GPU(4)에 송출시킨다.
그리고 이때 GPU(4)는, 마이크로프로세서(3)의 제어 하에, 전술한 재생 모드시와 마찬가지로 하여, 공급되는 각 클립의 영상 음성 신호에 대하여 필요에 따라서 특수 효과 가공 처리나 음성 믹싱 처리를 실시하는 한편, 그 결과 얻어진 편집 영상 신호를 버스(10), 마이크로프로세서(3), 사우스 브리지(6) 및 PCI 버스(15)를 순차적으로 통해서 기억 장치(22) 또는 대응하는 비디오 테이프 리코더(231 내지 23n)에 송출한다.
이렇게 하여 기억 장치(22)는, 마이크로프로세서(3)의 제어 하에, 공급되는 편집 영상 신호를 지정된 어드레스 위치에 기억한다. 또한 비디오 테이프 리코더(231 내지 23n)는, 마이크로프로세서(3)의 제어 하에, 공급되는 편집 영상 신호를 비디오 테이프의 지정된 위치에 기록한다.
이와 같이 하여 이 편집 시스템(1)에서는, 미리 작성한 편집 데이터에 따라서, 지정된 클립의 영상 음성을 지정된 상태에 편집 가공하여 기억 장치(22)에 축적하거나, 비디오 테이프에 기록하거나 할 수 있도록 이루어져 있다.
따라서 편집 시스템(1)에서는, 편집 장치(2)의 마이크로프로세서(3) 및 GPU(4)에 의해, 디스플레이(40)에 표시한 편집 화면의 재생 영상에 대하여, 특수 효과가 실시된 영상 표시를 실행할 수 있음과 함께, 다양한 확장 조작이나 편집 처리를 실행할 수 있도록 이루어져 있다.
그런데, 마이크로프로세서(3)에서의 8개의 서브 CPU 코어(3SA 내지 3SH)에서 동시 병렬적으로 디코드된 복수의 재생 영상은, 버스(10)를 통해서 GPU(4)에 데이터 전송되는 것인데, 이때의 전송 속도는 예를 들면 최대 30[Gbyte/sec]이며, 특수 효과가 실시된 복잡한 재생 영상이어도 고속이고 또한 매끄럽게 표시할 수 있도록 이루어져 있다.
(2) 편집 화면에서의 조작 수순
(2-1) 편집 화면에서의 재생 영상의 표시 방법
여기에서 마이크로프로세서(3)는, 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)가 조작되어 편집 화면을 표시할 명령이 입력되면, 하드디스크 장치(7) 및 GPU(4)를 제어함으로써, 도 2에 도시하는 바와 같은 편집 화면(50)을 디스플레이(40)에 표시시킨다.
이 편집 화면(50)은, 도 104에 대해서 전술한 편집 화면(2001)의 클립 일람 표시부(2002), 스토리 보드부(2004), 타임 라인부(2005) 및 이펙트 정보 표시부(2006A 내지 2006C)와 각각 마찬가지의 기능을 갖는 클립 일람 표시부(51), 스토리 보드부(52), 타임 라인부(53) 및 이펙트 정보 표시부(54)와, 이 편집 화면(50)에 고유한 기능을 갖는 표시부(55)로 구성된다. 또한, 편집 화면(50)의 경우, 후술과 같이 편집 작업은 주로 표시부(55)를 이용하여 행해지기 때문에, 스토리 보드부(52) 및 타임 라인부(53)는 보조적으로 설치되어 있다.
그리고 마이크로프로세서(3)는, 편집 화면(50)의 표시부(55)에 대하여, 도 3에 도시하는 바와 같이, 예를 들면 일련의 흐름을 가진 동화상으로 이루어지는 클 립의 재생 영상을 표시하는 데에 알맞은 복수의 영상 표시부 W571 내지 W57n을, 화면의 깊이 방향(이하, 이것을 깊이측이라고 부름)로부터 앞쪽의 정면 방향(이하, 이것을 전방측이라고 부름)을 향해서 소용돌이 형상으로 순차적으로 배치함으로써 구성되는 나선 영상 표시부군(58)을 표시할 수 있도록 이루어져 있다.
이 경우에서, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n은, 화면의 가장 전방측에 위치하는 영상 표시부 W57n을 기준 영상 표시부로서 가장 크고, 여기로부터 소용돌이 형상으로 화면의 깊이측으로 진행함에 따라서 서서히 작아짐과 함께 서로의 간격이 좁혀지도록 배치되고, 또한 전방측의 영상 표시부 W57과 그 뒤에 위치하는 영상 표시부 W57이 겹치는 부분에서는 뒤측의 영상 표시부 W57이 전방측의 영상 표시부 W57에 의해 가려지도록 표시된다.
단, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에서는, 반투명의 재생 영상이 각각 표시되도록 이루어져 있고, 예를 들면 가장 전방측의 영상 표시부 W57n에 의해 가려지는 뒤쪽의 영상 표시부 W57m의 일부분(파선으로 나타내는 부분)에 대해서도 비쳐 보인 상태에서 오퍼레이터에게 눈으로 확인시킬 수 있도록 이루어져 있다.
또한, 이 경우의 마이크로프로세서(3)는, 하드디스크 장치(7)로부터 복수의 영상 표시부 W571 내지 W57n의 표시 사이즈 및 표시부(55)(도 2) 상에서의 표시 위치를 포함하는 표시 정보를 취득하고, 이 표시 정보에 기초하여 GPU(4)에 의해 화 상 처리를 실시함으로써 상기 복수의 영상 표시부 W571 내지 W57n에 표시할 표시 영상 데이터를 각각 생성하도록 이루어져 있다. 덧붙여서, 복수의 영상 표시부 W571 내지 W57n이 화면 상에 배치되는 표시 위치는 원칙적으로 고정된 것이며, 시선 대상의 각 영상 표시부 W571 내지 W57n의 위치가 변화되지 않는 분만큼 오퍼레이터의 시선이 흔들리는 일이 없게 시인성이 각별하게 향상되어 있다.
그리고 이 편집 화면(50)(도 2)에서는, 예를 들면 클립 일람 표시부(51)에 일람 표시된 클립 중에서 오퍼레이터가 원하는 클립이 드랙 앤 드롭 조작에 따라서 표시부(55) 내에 이동되고, 그 후, 표시부(55)의 왼쪽 아래 구석에 표시된 재생 버튼(56)이 클릭된 것을 마이크로프로세서(3)가 인식하면, 그 마이크로프로세서(3)는 도 4에 도시하는 바와 같이, 이 나선 영상 표시부군(58)에서의 각 영상 표시부 W571 내지 W57n의 화면 깊이측에 위치하는 영상 표시부 W571로부터, 그 전방측에 인접하는 영상 표시부 W572, W573, …, W57m, W57n에 대하여, 도 5에 도시한 바와 같은, 미리 설정된 소정의 등간격으로 이루어지는 시간차(이하, 이 시간을 재생 시간차라고 부름) ΔT로 순차적으로 재생하고, 그 클립의 재생 영상을 순서대로 표시하도록 이루어져 있다.
즉, 최초로 가장 깊이측의 영상 표시부 W571에 그 클립의 재생 영상이 선두로부터 표시되고, 그 후, 재생 시간차 ΔT분의 시간 경과 후에 1개 전방측에 위치 하는 다음의 영상 표시부 W572에 그 클립의 재생 영상이 선두로부터 표시되고, 또한 그 후 상기 재생 시간차 ΔT분의 시간 경과 후에 그 1개 전방측에 위치하는 다음의 영상 표시부 W573에 그 재생 영상이 선두로부터 표시되고, … 라고 하는 것과 같이, 그 클립의 재생 영상이, 이러한 등간격의 재생 시간차 ΔT로 각 영상 표시부 W571 내지 W57n에 화살표 a(도 4) 방향의 시계열의 흐름으로서 순차적으로 표시되게 된다.
따라서 마이크로프로세서(3)는, 복수의 영상 표시부 W571 내지 W57n 사이 에서, 각각 동화상의 상태에서 재생 시간차 ΔT분의 시간차를 설정하면서, 복수의 영상 표시부 W571 내지 W57n이 표시순으로 제휴한 나선 영상 표시부군(58)으로서, 그 클립의 재생 영상을 순차적으로 연동 표시시킬 수 있도록 이루어져 있다.
따라서, 나선 영상 표시부군(58)에서의 복수의 영상 표시부 W571 내지 W57n을 눈으로 확인하고 있는 오퍼레이터에게 있어서는, 화면의 깊이측으로부터 전방측을 향하여 재생 시간차 ΔT의 시간차가 설정되어 표시되는 재생 영상에 의해, 마치 영상 표시부 W571 내지 W57n이 나선의 중심으로부터 다가오는 것 같은 인상을 받음과 함께, 복수의 영상 표시부 W571 내지 W57n에 표시되는 재생 영상의 진행으로서는 화면 전방측보다도 깊이측의 쪽이 앞서 있기 때문에, 마치 오퍼레이터 자신이 나선의 중심을 화면 깊이측으로 진행하고 있는 것과 같은 인상을 받도록 이루어져 있 다.
이에 의해 편집 장치(2)에서는, 나선 영상 표시부군(58)을 구성하는 복수의 영상 표시부 W571 내지 W57n 중 영상 표시부 W571에 표시된 원하는 씬을 오퍼레이터가 놓치는 일이 있어도, 화면의 전방측에 뒤부터 순차적으로 나타나는 영상 표시부 W572이후에도 그 원하는 씬을 반드시 표시하게 되기 때문에, 화상 찾기를 위해 영상 표시부 W571 내지 W57n의 재생 영상을 되감는 등의 번잡한 조작을 오퍼레이터에게 강제로 시키지 않고, 오퍼레이터를 단지 기다리게만 하고 있으면 되어서, 화상 찾기 작업이나 편집 작업을 한층더 용이화시킬 수 있도록 이루어져 있다.
또한 도 6에 도시하는 바와 같이 나선 영상 표시부군(58)을 구성하는 각 영상 표시부 W571 내지 W57n에 각각 표시되는 클립은, 미리 설정된 화상 갱신 속도, 즉 재생 속도 v에 의해 재생 영상이 표시된다. 따라서, 이러한 재생 속도 v의 설정값이 큰 경우에는, 이에 따라서 각 영상 표시부 W571 내지 W57n에 등속도로 고속 재생된 재생 영상이 각각 표시되고, 상기 설정된 재생 속도 v가 느린 경우에는, 이에 따라서 각 영상 표시부 W571 내지 W57n에 등속도로 슬로우 재생된 재생 영상이 각각 표시되게 된다.
특히, 나선 영상 표시부군(58)(도 3)에서는, 각 영상 표시부 W571 내지 W57n사이에 재생 시간차 ΔT의 시간차가 설정된 상태에서 재생 영상이 표시되게 되기 때문에, 나선 영상 표시부군(58)의 나선을 구성하고 있는 각 영상 표시부 W571 내지 W57n의 소정 간격마다 타임 코드 통지 프레임 TC1 내지 TC4를 표시하여, 각 영상 표시부 W571 내지 W57n에서의 재생 영상의 재생 경과 시간을 오퍼레이터에게 제시하여 그 오퍼레이터에 의한 화상 찾기 작업 및 편집 작업을 보조하도록 이루어져 있다. 덧붙여서, 편집 장치(2)에서는, 타임 코드 통지 프레임 TC1 내지 TC4를 모든 각 영상 표시부 W571 내지 W57n에 대하여 표시하는 것도 가능하고, 오퍼레이터에게 있어서 불필요할 때에는 일체 표시하지 않도록 선택할 수 있도록 이루어져 있다.
또한, 이들 재생 시간차 ΔT 및 재생 속도 v의 초기값은, 표시부(55)의 상부에 표시된 툴 바(59)에서의 「설정」이 클릭됨에 따라서 표시되는 도시하지 않은 콘텍스트 메뉴 중에서 「재생 시간차·재생 속도」를 오퍼레이터가 선택했을 때에 표시되는 도 7에 도시하는 바와 같은 재생 시간차·재생 속도 설정 다이얼로그(60)를 이용하여 설정할 수 있다.
실제상, 이러한 재생 시간차 ΔT 및 재생 속도 v의 초기값을 오퍼레이터가 설정하는 경우에는, 이들 재생 시간차 ΔT 및 재생 속도 v에 각각 대응시켜서 이 재생 시간차·재생 속도 설정 다이얼로그(60)에 설정된 각 텍스트 박스(61, 62) 내의 수치를, 예를 들면 대응하는 업다운 키(63A, 63B, 64A, 64B)를 클릭 조작하거나, 또는 키보드(39)를 이용하여 원하는 수치를 직접 입력하도록 하여 변경한 후에, 「OK」 버튼(65)을 클릭하면 되고, 이때 이들 텍스트 박스(61, 62) 내에 표시되어 있던 수치가, 각각 이러한 재생 시간차 ΔT 및 재생 속도 v의 초기값으로서 설정된다.
이에 의해 이 편집 장치(2)의 마이크로프로세서(3)에서는, 예를 들면 각 영상 표시부 W571 내지 W57n에 각각 표시하는 재생 영상의 재생 시간차 ΔT를 작게 하고, 또한 이들 재생 영상의 재생 속도 v를 늦게 설정함으로써, 클립의 좁은 범위의 영상을 해당 나선 영상 표시부군(58)으로서 표시시킬 수 있고, 또한 각 영상 표시부 W571 내지 W57n에 각각 표시하는 재생 영상의 재생 시간차 ΔT를 크게, 또한 이들 재생 영상의 재생 속도 v를 늦게 설정함으로써, 클립의 넓은 범위의 영상을 해당 나선 영상 표시부군(58)으로서 표시시킬 수 있도록 이루어져 있다.
실제상, 도 6에 도시한 바와 같은 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시되는 재생 영상은, 재생 속도 v가 변경됨에 따라서 가변속 표시되고, 또한 재생 시간차 ΔT분이 변경됨에 따라서 임의의 시간 간격으로 시간차 표시되게 되기 때문에, 전체적으로는 굵은 화살표 ST1로 나타내는 바와 같은 화면 중앙의 깊이측으로부터 전방측으로 소용돌이 형상으로 가변속 표시된 상태에서 연동 표시된다.
이 경우, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에서는, 화면 중앙의 가장 깊이측에 존재하는 영상 표시부 W571에 대하여 가장 시간적으로 진행한 타이밍의 재생 영상이 표시되게 되고, 가장 전방측에 존재하는 영상 표시부 W57n에 대하여 가장 시간적으로 늦은 타이밍의 재생 영상이 표시되게 되기 때문에, 시계열순으로 화면의 깊이측으로부터 전방측을 향하는 진행 방향을 따라서 나선 형 상으로 흐르도록 하는 영상 표시가 행해지고 있는 것을 오퍼레이터에 대하여 직감적으로 인식시킬 수 있도록 이루어져 있다.
또한 도 8에 도시하는 바와 같이, 각 영상 표시부 W571 내지 W57n에 표시되는 재생 영상으로서는, 재생 속도 -v로 설정된 경우, 역행 방법으로 가변속 표시되고, 또한 재생 시간차 ΔT분이 변경됨에 따라서 임의의 시간 간격으로 시간차 표시되게 되기 때문에, 전체적으로는 굵은 화살표 ST2로 나타내는 바와 같은 화면의 전방측으로부터 깊이측을 향해서 나선 형상으로 흐르도록 가변속 표시된 상태에서 연동 표시된다.
또한 이 편집 화면(50)에서는, 표시부(55) 내에 이미 1 또는 복수의 나선 영상 표시부군(58)이 표시되어 있는 상태에서, 편집 장치(2)는 클립 일람 표시부(51)에 표시된 다른 클립이 표시부(55) 내에 드랙 앤 드롭됨에 따라서, 표시부(55) 내에 그때까지 표시되어 있던 1 또는 복수의 나선 영상 표시부군(58)에 부가하여, 그 새롭게 드랙 앤 드롭된 클립에 대응하는 나선 영상 표시부군(58)을 표시부(55) 내에 표시시킬 수 있다.
반대로, 편집 화면(50)에서는, 표시부(55) 내에 이미 1 또는 복수의 나선 영상 표시부군(58)이 표시되어 있는 상태에서, 편집 장치(2)는 표시부(55) 내의 1 또는 복수의 나선 영상 표시부군(58)이 선택되고 클립 일람 표시부(51)에 드랙 앤 드롭됨에 따라서, 그때까지 표시부(55) 내에 표시되어 있던 1 또는 복수의 나선 영상 표시부군(58)으로부터, 선택한 1 또는 복수의 나선 영상 표시부군(58)을 삭제할 수 도 있다. 혹은, 편집 장치(2)는, 오퍼레이터가 표시부(55) 내의 1 또는 복수의 나선 영상 표시부군(58)을 선택하고, Delete 키를 누름으로써도, 1 또는 복수의 나선 영상 표시부군(58)을 삭제할 수 있다.
그리고 편집 장치(2)는, 표시부(55)에 복수의 나선 영상 표시부군(58)을 표시시킨 경우에, 마우스 조작에 의해 1개의 나선 영상 표시부군(58)이 선택된 후에, 오퍼레이터에 의한 재생 버튼(56)에 대한 클릭 조작에 따라서, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 대응한 클립의 재생 영상을 각각의 타이밍에서 표시시킬 수 있다. 또한, 이 경우에서의 전술한 재생 시간차 ΔT 및 재생 속도 v의 초기값은, 모두 전술한 재생 시간차·재생 속도 설정 다이얼로그(60)를 이용하여 설정된 값으로 된다.
그런데, 이와 같은 편집 시스템(1)에서의 편집 장치(2)의 마이크로프로세서(3)에 설치된 8개의 서브 CPU 코어(3SA 내지 3SH)를 이용하여 동시 병렬적으로 디코드 처리를 행하는 병렬 디코드 처리 수순을 다음에 설명한다.
도 9에 도시하는 바와 같이 편집 장치(2)의 마이크로프로세서(3)는 루틴 RT1의 개시 스텝으로부터 들어가서, 계속되는 스텝 SP1로 이행하고, 마우스(38)나 키보드(39)로부터 입력된 제어 신호를 사우스 브릿지(6)를 통해서 마이크로프로세서(3)에 수신하고, 그 제어 신호를 메인 CPU 코어(3M)에서 인식하면, 다음의 스텝 SP2로 이행한다.
스텝 SP2에서 편집 장치(2)의 마이크로프로세서(3)는, 스텝 SP1에서 인식한 제어 신호가 영상 표시부 W571 내지 W57n에 표시할 클립을 특정하는 명령이었을 때, 각 영상 표시부 W571 내지 W57n에 표시하는 클립의 묘화 루프를 메인 CPU 코어(3M)에서 설정하고, 다음의 스텝 SP3으로 이행한다.
스텝 SP3에서 편집 장치(2)의 마이크로프로세서(3)는, 상기 클립에 대응한 재생 영상, 표시 위치, 표시 사이즈 등의 각종 물리 연산을 메인 CPU 코어(3M)에서 행하고, 다음의 스텝 SP4로 이행한다.
스텝 SP4에서 편집 장치(2)의 마이크로프로세서(3)는, 메인 CPU 코어(3M)에서 묘화 루프를 구성할 클립의 재생 영상의 프레임 위치 계산을 행함과 함께, 각 영상 표시부 W571 내지 W57n에 표시하는 클립의 재생 영상을 어떤 서브 CPU 코어(3SA 내지 3SH)에서 디코드시킬지의 담당을 메인 CPU 코어(3M)에 의해 할당하고, 다음의 스텝 SP5로 이행한다.
스텝 SP5에서 편집 장치(2)의 마이크로프로세서(3)는, 기억 장치(22)로부터 재생 영상의 출력에 필요한 프레임을 읽어내고, 스텝 SP4에서 할당한 서브 CPU 코어(3SA 내지 3SH)에 분배하고, 다음의 스텝 SP6으로 이행한다.
스텝 SP6에서 편집 장치(2)의 마이크로프로세서(3)는, 디코더로서의 역할을 담당하는 8개의 서브 CPU 코어(3SA 내지 3SH)에 의해, 스텝 SP5에서 분배된 프레임을 동시 병렬적으로 디코드하고, 다음의 스텝 SP7로 이행한다.
스텝 SP7에서 편집 장치(2)의 마이크로프로세서(3)는, 메인 CPU 코어(3M)에 의해, 스텝 SP6에서 디코드된 복수의 재생 영상을, 표시부(55)의 화면 상에 표시할 위치나 사이즈를 나타낸 표시 정보(표시 사이즈 및 표시 위치)와 함께 GPU(4)에 고속 데이터 전송하고, 다음의 스텝 SP8로 이행한다.
스텝 SP8에서 편집 장치(2)의 마이크로프로세서(3)는, GPU(4)에 의해, 메인 CPU 코어(3M)로부터 데이터 전송된 복수의 재생 영상을 표시 정보(표시 사이즈 및 표시 위치)에 따라서 각 영상 표시부 W571 내지 W57n의 소정 위치에 붙여서 표시하고, 다음의 스텝 SP9로 이행하여 처리를 종료한다.
이와 같이 편집 장치(2)의 마이크로프로세서(3)에서는, 8개의 서브 CPU 코어(3SA 내지 3SH)가 각 영상 표시부 W571 내지 W57n에 표시하는 재생 영상의 디코더로서의 역할을 각각 담당하여 동시 병렬적으로 디코드하고, 그 디코드된 재생 영상을 대역폭이 큰 버스(10)에 의해 예를 들면 최대 30[Gbyte/sec]의 전송 속도로 GPU(4)에 고속 데이터 전송할 수 있도록 이루어져 있다.
이에 의해 편집 장치(2)의 마이크로프로세서(3)에서는, 많은 매수의 고정밀한 재생 화상을 디코드하여 단시간에 GPU(4)에 데이터 전송할 수 있고, 이렇게 하여 복수의 영상 표시부 W571 내지 W57n 사이에서 동화상의 상태에서 시간차를 설정하면서 표시순으로 제휴한 나선 영상 표시부군(58)으로서 표시부(55)에 리스펀스 좋게 매끄럽게 연동 표시시킬 수 있도록 이루어져 있다.
한편, 편집 화면(50)(도 2)에서는, 표시부(55)의 상부에 표시된 툴 바(59)의 「설정」이 클릭되고, 이렇게 하여 표시되는 도시하지 않은 콘텍스트 메뉴 중에서 「음성 출력 모드」가 선택됨에 따라서, 메인 프로세서(3)는 클립의 재생 영상을 표시부(55)에 표시하고 있을 때의 음성 출력 모드로서, 예를 들면 「메인 음성 출력 모드」 및 「전체 음성 출력 모드」 중 어느 하나를 설정할 수 있다.
그리고 음성 출력 모드로서 「메인 음성 출력 모드」가 설정되었을 때에는, 그 때 조작하고 있는 나선 영상 표시부군(58)의 가장 전방측에 위치하는 영상 표시부 W57n에 표시된 재생 영상에 부수되는 재생 음성만이 스피커(41)로부터 출력되고, 「전체 음성 출력 모드」가 설정되었을 때에는, 화면의 가장 전방측에 위치하는 영상 표시부 W57n으로부터 떨어진 영상 표시부 W57m, …, W571에 표시된 재생 영상의 음성일수록 작은 음량으로 되도록 음량 조정된 상태에서, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 표시된 재생 영상에 부수되는 모든 재생음성이 스피커(41)로부터 출력된다.
단, 음성 출력 모드로서 「전체 음성 출력 모드」가 설정된 경우에, 각 영상 표시부 W571 내지 W57n에 각각 표시된 재생 영상끼리의 재생 시간차 ΔT가 커진 경우나, 씬 체인지를 검출한 경우 등, 미리 정해진 음 혼합이 예측되는 소정의 경우에는, 화면 가장 전방측에 위치하는 영상 표시부 W57n 및 그 근방 몇 개의 영상 표시부 W57m, …,에 표시된 각 재생 영상의 음성만을 스피커(41)로부터 출력하도록 자동적으로 출력 음성이 조정된다. 이에 의해 마이크로프로세서(3)는, 「전체 음성 출력 모드」시에도 오퍼레이터에게 있어서 청취하기 쉬운 양호한 상태에서 음성을 출력할 수 있도록 이루어져 있다.
(2-2) 편집 화면에서의 재생 영상의 표시에 관한 마이크로프로세서의 처리
여기에서 마이크로프로세서(3)는, 전술한 바와 같은 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 대한 재생 영상의 표시나 재생 음성의 출력에 관한 각종 처리를, 하드디스크 장치(7)(도 1)에 저장된 제어 프로그램에 기초하여, 도 10에 도시하는 재생 처리 수순 RT2에 따라서 실행하도록 이루어져 있다.
즉 마이크로프로세서(3)는, 편집 화면(50)의 클립 일람 표시부(51)로부터 1개의 클립이 표시부(55)에 드랙 앤 드롭된 후에 재생 버튼(56)이 클릭(표시부(55)에 복수의 나선 영상 표시부군(58)이 표시되어 있는 경우에는, 1개의 나선 영상 표시부군(58)이 선택되고 재생 버튼(56)이 클릭)되면, 이 재생 처리 수순 RT2로부터 들어가, 다음의 스텝 SP11에서, 그 나선 영상 표시부군(58)에 대응하는 클립의 클립 ID를 확인한다.
계속해서 스텝 SP12에서 마이크로프로세서(3)는, 그때 설정되어 있는 재생 영상의 재생 속도 v(또는 -v) 및 재생 시간차 ΔT의 각 초기값과, 음성 출력 모드의 설정 내용을 각각 확인하고, 그 후 다음의 스텝 SP13으로 이행하여, 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)에 의해 결정된 재생 영상의 재생 속도 v(또는 -v) 및 재생 시간차 ΔT 및 표시 형태를 확인한다.
이때 스텝 SP14에서 마이크로프로세서(3)는, 정지 조작 혹은 클립의 스트림이 종료하고 있는지의 여부를 판정하여, 긍정 결과가 얻어지면 다음의 스텝 SP10으로 이행하여 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 대한 갱신 처리를 중지하고, 부정 결과가 얻어지면 다음의 스텝 SP15로 이행한다.
스텝 SP15에서 마이크로프로세서(3)는, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 표시할 재생 영상의 표시 위치 및 그 크기와, 이들 재생 영상에 부수되는 각 재생 음성의 출력 음량을 각각 계산한다.
그리고 마이크로프로세서(3)는, 이후 스텝 SP16으로 이행하고, 스텝 SP11에서 확인한 클립의 클립 ID에 기초하여 기억 장치(22)를 제어함으로써, 그 클립의 영상 음성 신호를 스텝 SP12에서 확인한 그때 설정되어 있는 재생 속도 v로 읽어내고, 필요에 따라서 그 영상 음성 신호를 복호하고, 그 영상 음성 신호 중 재생 영상에 관해서는 스텝 SP15에서 계산한 표시 위치 및 크기로 표시시키기 위한 영상 신호를 생성한 후, GPU(4) 내의 메모리에 일시적으로 축적한다.
또한 마이크로프로세서(3)는, 이 영상 신호에 대응한 재생 영상에 부수되는 재생 음성의 음성 신호를, 스텝 SP15에서 그 재생 영상에 대해서 산출한 출력 음량의 음량 레벨로 생성하고, 그 음성 신호를 사운드 입출력 코덱(9) 내의 메모리에 일시적으로 축적한다.
스텝 SP17에서 마이크로프로세서(3)는, 모든 영상 표시부 W571 내지 W57n에 출력하는 데에 필요한 재생 영상 및 재생 음성이 준비되었는지의 여부를 판단하고, 부정 결과가 얻어진 경우에는 스텝 SP16으로 되돌아가서, 긍정 결과가 얻어진 경우에는 다음의 스텝 SP18로 이행한다.
스텝 SP18에서 마이크로프로세서(3)는, 각 영상 표시부 W571 내지 W57n에서 의 화면 표시 주기 시간(재생 시간차 ΔT)의 경과를 감시하고, 그 화면 표시 주기 시간이 경과한 경우에는 다음의 스텝 SP19로 이행하여 각 영상 표시부 W571 내지 W57n에 대하여 재생 영상을 출력함으로써 나선 영상 표시부군(58)을 표시하고, 그 재생 영상에 부수되는 재생 음성을 소정의 음량으로 스피커(41)로부터 출력함과 동시에 스텝 SP13으로 되돌아가, 다음의 각 영상 표시부 W571 내지 W57n에 대한 재생 영상 음성의 준비를 행한다.
또한 마이크로프로세서(3)는, 스텝 SP16에서, 이전에 재생한 GPU(4) 내의 메모리에 남아 있는 재생 영상의 영상 신호 중 재이용할 수 있는 것이 있으면 사용하고, 부족한 것만을 생성하고, 그 생성한 영상 신호를 GPU(4) 내의 메모리에 축적되어 있는 오래된 데이터부터 순서대로 덮어쓰기 해 가도록 이루어져 있다.
(2-3) 편집 화면의 표시부에서의 각종 조작 방법
다음으로, 편집 화면(50)의 표시부(55)에서의 각종 조작 방법에 대해서 설명한다.
(2-3-1) 기본 조작
편집 장치(2)의 마이크로프로세서(3)는, 도 11에 도시하는 바와 같이 편집 화면(50)의 표시부(55)에서, 나선 영상 표시부군(58) 내의 각 영상 표시부 W571 내지 W57n에 각각 표시된 재생 영상 중 그때 원하는 씬을 표시하고 있는 예를 들면 영상 표시부 W57e가 오퍼레이터에 의해 클릭(이 경우, 예를 들면 최초로 영상 표시부 W57e가 클릭)됨에 따라서, 그 영상 표시부 W57e가 편집 조작에 수반하는 편집 위치에 대응한 재생 영상인 것을 소정 색으로 착색(도면에서는 해칭에 의해 나타냄)하여 강조 표시시킬 수 있도록 이루어져 있다.
그리고 마이크로프로세서(3)는, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 대한 강조 표시를, 나선 영상 표시부군(58)에서의 그 씬의 흐름(재생 영상의 시계열의 흐름)에 따라서, 도 11 및 도 12에 도시하는 바와 같이, 재생 시간차 ΔT로 나선 영상 표시부군(58)의 영상 표시부 W57e보다도 화면의 전방측에 위치하는 영상 표시부 W57h, W57j, …, W57n에 순차적으로 이동시키도록 이루어져 있다.
이에 의해 오퍼레이터는, 이 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에서의 강조 표시의 흐름에 기초하여, 이러한 원하는 씬이 현재 어느 영상 표시부 W571 내지 W57n에 표시되어 있는지를 순시에 눈으로 확인할 수 있도록 이루어져 있다.
즉 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 대한 강조 표시는, 오퍼레이터가 최초로 주목한 편집 조작에 수반하는 편집 위치에 대응하는 씬(예를 들면 영상 표시부 W57e)이며, 그것이 이동했을 때이어도 시종 이러한 씬을 재생하고 있을 때의 각 영상 표시부 W57h, …, W57j, …, W57n으로 변경하면서 계속 강조 표시되게 되기 때문에, 도 12의 긴 굵은 화살표로 나타내는 바와 같이 영상 표시부 W571 내지 W57n에 대하여 흐르도록 하는 영상 표시가 행해지는 중에, 오퍼레이터에 대하여 최초로 주목한 씬을 강조 표시에 의해 순시적이고 직감적으로 인식시킬 수 있도록 이루어져 있다.
또한, 도 12의 짧고 굵은 화살표로 나타내는 바와 같이, 예를 들면 오퍼레이터가 최초로 주목한 편집 조작에 수반하는 편집 위치에 대응하는 씬이 영상 표시부 W57h이었을 때에는, 그 오퍼레이터가 주목한 씬이 강조 표시되기 때문에, 오퍼레이터에 대해서는 거기부터 흐름이 시작되는 것 같이 인상짓게 할 수 있도록 이루어져 있다.
또한 편집 장치(2)의 마이크로프로세서(3)는, 도 13의 (A)에 도시하는 바와 같이, 예를 들면 키보드(39)에서의 방향키(70) 중 위 방향에 대응한 「상(↑)」 키(70U)가 가압 조작되거나(도 13의 (A-1)), 또는 마우스(38)의 오른쪽 버튼이 가압 조작된 상태에서, 커서(71)에 의해 나선 영상 표시부군(58)에서의 각 영상 표시부 W571 내지 W57n의 일부인 예를 들면 영상 표시부 W57α 내지 W57β를 따라서(즉 화면의 깊이측으로부터 전방측을 향하여) 덧그리는 것 같이 상기 커서(71)를 이동시키는 표시 조작 입력(도 13의 (A-2))이 행해지면, 그 클립의 영상 표시 속도를 높일 수 있다.
이 경우 마이크로프로세서(3)는, 마우스(38)에 의한 표시 조작 입력에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 그 표시 상태 변경 정 보의 내용에 따라서 클립의 영상 표시 속도를 높이도록 이루어져 있다.
또한, 여기에서 말하는 『클립의 영상 표시 속도를 높인다』란, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 속도 v가 증가하고, 또한 이들과 제휴하여 인접하는 영상 표시부 W571 내지 W57n사이에서의 재생 영상의 재생 시간차 ΔT가 증가하는 것을 의미한다.
그리고, 이 「재생 영상의 표시 속도」의 변화의 크기는, 그때 키보드(39)의 「상(↑)」키(70U)를 가압 조작하거나 또는 마우스 조작에 의해 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n 상을 덧그렸을 때의 시간이 길수록 커진다. 즉 이때 시간이 길수록, 이러한 재생 속도 v 및 재생 시간차 ΔT가 함께 보다 많이 증가하여, 그 클립의 영상 전체로서의 외관(재생 영상의 각 씬의 흐름)의 표시 속도가 높아지게 된다.
즉 표시부(55)에서는, 키보드(39)의 「상(↑)」키(70U)가 가압 조작되고, 마우스 조작에 의해 커서(71)를 통해서 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n 위가 덧그려졌을 때의 시간이 길수록, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 표시 가속도 GS1을 증가시킬 수 있도록 이루어져 있다. 덧붙여서 표시부(55)에서는, 시간을 이용하는 것이 아니라, 예를 들면 키보드(39)의 「상(↑)」키(70U)에 대한 압하 횟수가 많을수록 재생 영상의 표시 가속도 GS1을 증가시키도록 하여도 된다.
이에 대하여, 편집 장치(2)의 마이크로프로세서(3)에서는, 도 13의 (B)에 도시하는 바와 같이, 예를 들면 키보드(39)의 방향키(70) 중 하 방향에 대응한 「하(↓)」키(70D)가 가압 조작되거나(도 11의 (B-1)), 또는 마우스(38)의 오른쪽 버튼이 가압 조작된 상태에서, 커서(71)에 의해 나선 영상 표시부군(58)에서의 각 영상 표시부 W571 내지 W57n의 일부인 예를 들면 영상 표시부 W57β 내지 W57α를 따라서(즉 나선의 전방측으로부터 깊이측을 향하여) 덧그리는 것 같이 상기 커서(71)를 이동시키는 표시 조작 입력(도 13의 (B-2))이 행해지면, 그 클립의 영상 표시 속도를 낮출 수 있다.
이 경우 마이크로프로세서(3)는, 마우스(38)에 의한 표시 조작 입력에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 그 표시 상태 변경 정보의 내용에 따라서 클립의 영상 표시 속도를 낮추도록 이루어져 있다.
또한, 여기에서 말하는 『클립의 영상의 표시 속도를 낮춘다』란, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 속도 v가 감소하고, 또한 이들과 제휴하여 인접하는 영상 표시부 W571 내지 W57n 사이에서의 재생 영상의 재생 시간차 ΔT가 감소하는 것을 의미한다.
그리고 이 「재생 영상의 표시 속도」의 변화의 크기는, 그때 키보드(39)의 「하(↓)」키(70D)를 가압 조작하거나 또는 마우스 조작에 의해 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n 상을 덧그렸을 때의 시간이 길수록 커진 다. 즉 이때 시간이 길수록, 이러한 재생 속도 v 및 재생 시간차 ΔT가 함께 감소하여, 그 클립의 영상 전체로서의 외관의 표시 속도가 낮아지게 된다.
즉 표시부(55)에서는, 키보드(39)의 「하(↓)」키(70D)가 가압 조작되고, 마우스 조작에 의해 커서(71)를 통해서 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n 위가 덧그려졌을 때의 시간이 길수록, 나선 영상 표시부군(58) 내의 각 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 표시 가속도 GS2를 감소시킬 수 있도록 이루어져 있다. 덧붙여서 표시부(55)에서는, 시간을 이용하는 것은 아니라, 예를 들면 키보드(39)의 「하(↓)」키(70D)에 대한 압하 횟수가 많을수록 재생 영상의 표시 가속도 GS2를 감소시키도록 하여도 된다.
이 경우에, 이러한 재생 속도 v나 재생 시간차 ΔT가 「0」으로 된 후에는, 그 재생 속도 v 또는 재생 시간차 ΔT는 더욱 감소(즉, 마이너스 방향으로 증가)한다. 따라서 이 경우에는, 지금까지 나선 영상 표시부군(58)에서 화면의 깊이측으로부터 전방측을 향하여 흐르고 있던 재생 영상의 각 씬의 흐름이 서서히 늦어져서 이윽고 멈추고, 그 후, 나선의 전방측으로부터 깊이측으로 향하여 흐르기 시작하여 리버스 재생으로 변하고, 이윽고 그 속도가 점차 높아져 가는 것 같이 보이도록 된다.
따라서, 나선 영상 표시부군(58)에서의 복수의 영상 표시부 W571 내지 W57n을 눈으로 확인하고 있는 오퍼레이터에게 있어서는, 나선의 전방측으로부터 깊이측을 향하여 재생 시간차 ΔT의 시간차가 설정되어 진행 정도가 진행하는 재생 영상 에 의해, 마치 영상 표시부 W571 내지 W57n에 의한 재생 영상이 나선의 중심으로 피해가는 것 같은, 바꿔 말하면 오퍼레이터 자신이 나선의 중심으로부터 전방측으로 후퇴해 가는 것 같은 인상을 받도록 이루어져 있다.
또한 편집 장치(2)의 마이크로프로세서(3)는, 마우스(38)의 왼쪽 버튼이 가압 조작된 상태에서, 그 마우스 조작에 응동하여 편집 화면(50)의 표시부(55) 상을 자유롭게 이동하도록 표시되는 커서(71)에 의해 나선 영상 표시부군(58)의 일부를 예를 들면 1초 이상 동일한 위치에서 억제하도록 조작됨에 따라서, 그 클립의 영상을 정지시킬 수 있다. 또한, 여기에서 말하는 『클립의 영상을 정지시킨다』란, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에, 재생 시간차 ΔT를 유지한 상태에서 정지 화상을 각각 표시시키는 것을 말한다.
(2-3-2) 확장 조작
(2-3-2-1) 재생 시간차 및 재생 속도의 변경 조작
한편, 편집 장치(2)의 마이크로프로세서(3)는, 전술한 바와 같은 기본 조작 외에, 키보드(39)의 「시프트」키가 가압 조작된 채, 전술한 『클립의 영상의 표시 속도를 높이는』 조작, 즉 키보드(39)의 방향키(70)의 「상(↑)」키(70U)가 가압 조작되거나, 또는 마우스(38)의 오른쪽 버튼이 가압 조작된 상태에서, 커서(71)에 의해 나선 영상 표시부군(58)에 표시된 재생 영상의 일부를, 그 나선 영상 표시부군(58)에서의 화면의 깊이측으로부터 전방측을 향하는 흐름을 따라서 덧그리는 것 같이 상기 커서(71)가 이동됨에 따라서, 그 나선 영상 표시부군(58)의 각 영상 표 시부 W571 내지 W57n에 표시된 재생 영상의 재생 속도 v를 고정으로 하면서, 인접하는 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 시간차 ΔT를 증가시킬 수 있다.
이 경우 마이크로프로세서(3)는, 키보드(39) 또는 마우스(38)에 의한 표시 조작 입력에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 그 표시 상태 변경 정보의 내용에 따라서 각 영상 표시부 W571 내지 W57n에 표시하는 재생 영상의 재생 속도 v를 고정으로 하면서, 그 재생 영상의 재생 시간차 ΔT를 증대시키도록 이루어져 있다.
이때, 서로 인접하는 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 연속성은 낮아지지만, 나선 영상 표시부군(58) 전체적으로, 시간적으로 넓은 범위의 재생 영상을 표시시킬 수 있다.
이에 대하여 편집 장치(2)의 마이크로프로세서(3)에서는, 예를 들면 키보드(39)의 「시프트」키가 가압 조작된 채, 전술한 『클립의 영상의 표시 속도를 낮추는』 조작, 즉 키보드(39)의 방향키(70)의 「하(↓)」키(70D)가 가압 조작되거나, 또는 마우스(38)의 오른쪽 버튼이 가압 조작된 상태에서, 커서(71)에 의해 나선 영상 표시부군(58)에 표시된 재생 영상의 일부를, 그 나선 영상 표시부군(58)에서의 화면의 깊이측으로부터 전방측으로 향하는 흐름을 따라서 덧그리는 것 같이 상기 커서(71)가 이동됨에 따라서, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시된 재생 영상의 재생 속도 v를 고정으로 하면서, 인접하는 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 시간차 ΔT를 감소시킬 수 있다.
이 경우 마이크로프로세서(3)는, 키보드(39) 또는 마우스(38)에 의한 표시 조작 입력에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 그 표시 상태 변경 정보의 내용에 따라서 재생 영상의 재생 속도 v를 고정으로 하면서, 재생 영상의 재생 시간차 ΔT를 감소시키도록 이루어져 있다.
이때 나선 영상 표시부군(58) 전체적으로는, 시간적으로 좁은 범위의 재생 영상이 표시되게 되는데, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시되는 재생 영상의 연속성은 높고, 동일한 씬이 짧은 재생 시간차 ΔT로 그 나선 영상 표시부군(58) 내를 화면의 깊이측으로부터 전방측으로 흐르도록 각 영상 표시부 W571 내지 W57n에 순차적으로 표시되게 된다. 그리고, 이 흐름은, 인접하는 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 시간차 ΔT를 감소시킬수록 빨라진다.
또한 편집 장치(2)의 마이크로프로세서(3)에서는, 예를 들면 키보드(39)의 「시프트」키 및 「ALT」키의 쌍방이 가압 조작된 채, 이러한 『클립의 영상의 표시 속도를 높이는』 조작이 행해짐에 따라서, 인접하는 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 시간차 ΔT를 고정으로 하면서, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시된 재생 영상의 재생 속도 v를 증대시킬 수 있다.
이 경우도 마이크로프로세서(3)는, 키보드(39) 또는 마우스(38)에 의한 표시 조작 입력에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 그 표시 상태 변경 정보의 내용에 따라서 재생 영상의 재생 시간차 ΔT를 고정으로 하면서, 재생 영상의 재생 속도 v를 증대시키도록 이루어져 있다.
이 결과, 나선 영상 표시부군(58)에 클립 전체의 영상으로부터 보아 시간적으로 좁은 범위의 재생 영상을 표시시킨 채, 그 나선 영상 표시부군(58)에서의 재생 영상의 각 씬의 흐름을 빠르게 할 수 있다. 또한 이 경우에는, 서로 인접하는 각 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 연속성이 높아진다.
이에 대하여 편집 장치(2)의 마이크로프로세서(3)에서는, 예를 들면 키보드(39)의 「시프트」키 및 「ART」키의 쌍방이 가압 조작된 채, 이러한 『클립의 영상의 표시 속도를 낮추는』 조작이 행해짐에 따라서, 서로 인접하는 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 시간차 ΔT를 고정으로 하면서, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시된 재생 영상의 재생 속도 v를 감소시킬 수 있다.
이 경우도 마이크로프로세서(3)는, 키보드(39) 또는 마우스(38)에 의한 표시 조작 입력에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 그 표시 상태 변경 정보의 내용에 따라서 재생 영상의 재생 시간차 ΔT를 고정으로 하 면서, 재생 영상의 재생 속도 v를 감소시키도록 이루어져 있다.
이 결과, 마이크로프로세서(3)는, 나선 영상 표시부군(58)에 대하여, 클립 전체의 영상으로부터 보아 시간적으로 좁은 범위의 재생 영상을 표시시킨 채, 그 나선 영상 표시부군(58)에서의 재생 영상의 각 씬의 흐름을 늦게 할 수 있다. 또한 이 경우에는, 서로 인접한 각 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 연속성이 낮아진다.
(2-3-2-2) 재생 영상의 순간 보내기 또는 되돌리기 조작
한편, 편집 장치(2)의 마이크로프로세서(3)에서는, 도 14의 (A)에 도시하는 바와 같이, 키보드(39)의 방향키(70)의 「좌(←)」키(70L)가 가압 조작되거나(도 14의 (A-1)), 또는 마우스(38)의 왼쪽 버튼이 가압 조작된 상태에서, 1초 이내에 커서(71)에 의해 나선 영상 표시부군(58)에 표시된 재생 영상의 일부(영상 표시부 W57i)가 표시 선택 조작되고(붙잡고), 그 나선 영상 표시부군(58)을 따라서 화면의 깊이측으로부터 전방측을 향하여 덧그리는 것 같이 영상 표시부 W57l까지 상기 커서(71)가 이동되었을(도 14의 (A-2)) 때의 나선 영상 표시부군 이동 조작에 따라서, 그 나선 영상 표시부군(58)에 표시되는 재생 영상의 재생 속도 v와, 서로 인접하는 각 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 시간차 ΔT의 쌍방을 함께 고정한 상태인 채로, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n의 표시 위치를, 도 15에 도시하는 바와 같이, 해당 나선 영상 표시 부군(58)을 따라서 커서(71)가 덧그려진 방향(화면의 깊이측으로부터 전방측을 향하는 방향)과 동일 방향으로 상기 커서(71)와 일체로 이동시킬 수도 있다.
그런데, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n이 화면 상에 배치되는 표시 위치는 고정된 것이다라고 전술했지만, 재생 영상의 순간 보내기 또는 되돌리기 조작이라고 하는 확장 조작이 행해지는 경우, 편집 장치(2)의 마이크로프로세서(3)는 각 영상 표시부 W571 내지 W57n에서의 화면 상의 표시 위치를 이동시킬 수 있도록 이루어져 있다.
이 경우 마이크로프로세서(3)는, 키보드(39) 또는 마우스(38)에 의한 나선 영상 표시부군 이동 조작에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 그 표시 상태 변경 정보의 내용에 따라서 재생 영상의 재생 속도 v 및 재생 시간차 ΔT의 쌍방을 고정으로 하면서, 각 영상 표시부 W571 내지 W57n의 표시 위치를 해당 나선 영상 표시부군(58)을 따라서 화면의 깊이측으로부터 전방측을 향하여 커서(71)와 일체로 이동시키도록 이루어져 있다.
그때, 도 16에 도시하는 바와 같이 재생 영상을 표시하고 있던 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n, …, 이 커서(71)에 의해 덧그려진 위치에까지 시프트하여 표시된다. 또한 이에 수반하여, 그때까지 그 위치에 표시되어 있던 영상 표시부 W571 내지 W57n의 전체가 커서(71)의 이동량에 맞춰서 나선의 전방측을 향하여 시프트하고, 시프트 후의 영상 표시부 W57n, W57m, …, 의 표시 사 이즈가 이전보다도 조금 크게 변경되어 새롭게 표시된다(도 15).
또한 마이크로프로세서(3)는, 영상 표시부 W57i에 대한 표시 선택 조작(도 15)에 따라서 해당 영상 표시부 W57i를 강조 표시(파선으로 둘러싸인 부분)함과 함께, 그 영상 표시부 W57i로부터 그 이전의 영상 표시부 W57, …, 을 표시순으로 순차적으로 강조 표시함으로써, 영상 표시부 W57i의 이동 개시점까지의 흐름을 오퍼레이터에 대하여 직감적으로 인식시킬 수 있도록 이루어져 있다.
이때 마이크로프로세서(3)는, 표시 선택 조작된 순간의 영상 표시부 W57i에 대한 표시 영상 데이터 또는 각 영상 표시부 W571 내지 W57n에 대한 표시 영상 데이터의 모두를 그 상태에서 일시적으로 정지(유지)하고, 그 상태를 오퍼레이터에게 눈으로 확인시킬 수 있도록 이루어져 있다.
또한, 각 영상 표시부 W571 내지 W57n에 표시된 재생 영상에 부수되는 각 재생 음성은, 음성 출력 모드로서 메인 음성 출력 모드가 설정되어 있을 때에는, 그때 가장 전방측에 위치하는 영상 표시부 W57n(도 14의 (A-2))에 표시된 재생 영상에 부수되는 재생 음성만이 출력되고, 음성 출력 모드로서 전체 음성 출력 모드가 설정되어 있을 때에는, 가장 전방측에 위치하는 영상 표시부 W57n으로부터 3차원 나선상의 거리가 떨어진 영상 표시부 W57m, W57l, W57k, …에 표시된 재생 영상에 부수되는 재생 음성일수록 작은 음량으로 되도록, 각 재생 음성의 출력 음량이 조정된 다.
덧붙여서 마이크로프로세서(3)는, 영상 표시부 W57i에 대한 표시 선택 조작을 해제하는 표시 선택 해제 조작이 입력된 경우, 그 영상 표시부 W57i에 대한 표시 영상 데이터 또는 각 영상 표시부 W571 내지 W57n에 대한 표시 영상 데이터의 모두를 정지 상태로부터 해제하고, 복수의 영상 표시부 W571 내지 W57n 사이에서 동화상의 상태에서 시간차를 설정하면서, 그 복수의 영상 표시부 W571 내지 W57n이 표시순으로 제휴한 나선 영상 표시부군(58)으로서 다시 연동 표시시키도록 이루어져 있다.
이에 대하여 편집 장치(2)의 마이크로프로세서(3)에서는, 도 14의 (B)에 도시하는 바와 같이, 키보드(39)의 방향키(70)의 「우(→)」키(70R)가 가압 조작되거나(도 14의 (B-1)), 또는 마우스(38)의 왼쪽 버튼이 가압 조작된 상태에서 1초 이내에 커서(71)에 의해 나선 영상 표시부군(58)의 일부(영상 표시부 W57l)가 선택되고(붙잡고), 그 나선 영상 표시부군(58)을 따라서 나선의 깊이측으로부터 전방측을 향하여 덧그리는 것 같이 영상 표시부 W57i까지 상기 커서(71)가 이동되었을(도 14의 (B-2)) 때의 나선 영상 표시부군 이동 조작에 따라서, 그 나선 영상 표시부군(58)에 표시되는 재생 영상의 재생 속도 v와, 서로 인접하는 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 시간차 ΔT와의 쌍방을 함께 고정한 상 태인 채로, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n의 표시 위치를, 도 17에 도시하는 바와 같이, 해당 나선 영상 표시부군(58)을 따라서 덧그려진 방향(나선의 전방측으로부터 깊이측을 향하는 방향)과 동일 방향으로 커서(71)와 일체로 이동시킬 수 있다.
이 경우 마이크로프로세서(3)는, 키보드(39) 또는 마우스(38)에 의한 나선 영상 표시부군 이동 조작에 대응한 표시 상태 변경 정보를 PCI 버스(15)를 통해서 취득하고, 상기 표시 상태 변경 정보의 내용에 따라서 재생 영상의 재생 속도 v 및 재생 시간차 ΔT의 쌍방을 고정으로 하면서, 각 영상 표시부 W571 내지 W57n의 표시 위치를 해당 나선 영상 표시부군(58)을 따라서 나선의 전방측으로부터 깊이측을 향하여 커서(71)와 일체로 이동시키도록 이루어져 있다.
그때, 도 18에 도시하는 바와 같이 재생 영상을 표시하고 있던 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n, …이 커서(71)에 의해 덧그려진 위치에까지 시프트하여 표시된다. 또한 이에 수반하여, 그때까지 그 위치에 표시되어 있었던 영상 표시부 W571 내지 W57n의 전체가 커서(71)의 이동량에 맞춰서 화면의 깊이측을 향하여 시프트하고, 시프트 후의 영상 표시부 W57n 내지 W57m, …, 의 표시 사이즈가 이전보다도 조금 작게 변경되어 새롭게 표시된다(도 17).
또한 마이크로프로세서(3)는, 영상 표시부 W57i에 대한 표시 선택 조작(도 17)에 따라서 해당 영상 표시부 W57i를 강조 표시(파선으로 둘러싸인 부분)함과 함 께, 그 영상 표시부 W57i로부터 그 이전의 영상 표시부 W57, …, 을 표시순으로 순차적으로 강조 표시함으로써, 영상 표시부 W57i의 이동 개시점까지의 흐름을 오퍼레이터에 대하여 직감적으로 인식시킬 수 있도록 이루어져 있다.
이에 의해 표시부(55)에서는, 포워드 방향으로 흐르도록 영상 표시부 W571 내지 W57n을 재생시킨 상태에서, 나선 영상 표시부군 이동 조작에 따라서 각 영상 표시부 W571 내지 W57n의 표시 위치를 백 워드측에 순시에 이동시킬 수 있기 때문에, MPEG 방식의 롱 GOP 포맷으로 리버스 재생을 행한 경우 등과 같은 표시 영상의 응답성이 나빠지는 등의 경우가 없이, 과거의 씬을 즉시 재표시시킬 수 있도록 이루어져 있다.
이 경우도 마이크로프로세서(3)는, 영상 표시부 W57i에 대한 표시 선택 조작(도 17)에 따라서 해당 영상 표시부 W57i를 강조 표시(파선으로 둘러싸인 부분)함과 함께, 그 영상 표시부 W57i로부터 그 이전의 영상 표시부 W57, …, 을 표시순으로 순차적으로 강조 표시함으로써, 영상 표시부 W57i의 이동 개시점까지의 흐름을 오퍼레이터에 대하여 직감적으로 인식시킬 수 있도록 이루어져 있다.
또한 이때 마이크로프로세서(3)는, 표시 선택 조작된 순간의 영상 표시부 W57i에 대한 표시 영상 데이터 또는 각 영상 표시부 W57i에 대한 표시 영상 데이터의 모두를 그 상태에서 일시적으로 정지(유지)하고, 그 상태를 오퍼레이터에게 눈 으로 확인시킬 수 있도록 이루어져 있다.
덧붙여서 마이크로프로세서(3)는, 영상 표시부 W57i에 대한 표시 선택 조작을 해제하는 표시 선택 해제 조작이 입력된 경우, 해당 영상 표시부 W57i에 대한 표시 영상 데이터 또는 각 영상 표시부 W571 내지 W57n에 대한 표시 영상 데이터의 모두를 정지 상태로부터 해제하고, 복수의 영상 표시부 W571 내지 W57n 사이에서 동화상의 상태에서 시간차를 설정하면서, 해당 복수의 영상 표시부 W571 내지 W57n이 표시순으로 제휴한 나선 영상 표시부군(58)으로서 다시 연동 표시시키도록 이루어져 있다.
또한 이 경우에서, 각 영상 표시부 W571 내지 W57n에 표시된 재생 영상에 부수되는 각 재생 음성은, 음성 출력 모드로서 메인 음성 출력 모드가 설정되어 있을 때에는, 그때 화면의 가장 전방측에 위치하는 영상 표시부 W57n에 표시된 재생 영상에 부수되는 재생 음성만이 출력되고, 음성 출력 모드로서 전체 음성 출력 모드가 설정되어 있을 때에는, 가장 전방측에 위치하는 영상 표시부 W57n으로부터 3차원 나선상의 거리가 떨어진 영상 표시부 W57m, W57l, W57k , …,에 표시된 재생 영상에 부수되는 재생 음성일수록 작은 음량으로 되도록, 각 재생 음성의 출력 음량이 조정된다.
(2-3-3) 각종 기본 또는 확장 조작 입력에 대한 마이크로프로세서의 처리
여기에서 마이크로프로세서(3)는, 전술한 바와 같은 각종 기본 또는 확장 조작 입력에 대한 처리를, 하드디스크 장치(7)(도 1)에 저장된 제어 프로그램에 기초하여, 도 9에 도시하는 표시 변경 처리 수순 RT1을 따라서 실행한다.
예를 들면, 도 9의 스텝 SP1에서 인식한 조작이 전술한 『클립의 영상의 표시 속도를 높이는』 조작이었던 경우, 마이크로프로세서(3)는, 기억 장치(22)를 제어하고, 대응하는 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시시키는 재생 영상의 재생 속도 v에 따라서, 영상 표시부 W571 내지 W57n에 표시하는 각 영상을 선택하여, 생성한다.
이때 마이크로프로세서(3)는, 각 영상 표시부 W571 내지 W57n 사이의 재생 프레임의 간격을 넓힘과 함께, 각 영상 표시부 W571 내지 W57n 내에서도 표시 재생 속도를 높임으로써, 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 속도 v를 증가시키고, 또한 서로 인접하는 영상 표시부 W571 내지 W57n 사이에서의 재생 영상의 재생 시간차 ΔT를 증가시킨다.
또한 마이크로프로세서(3)는, 스텝 SP1에서 인식한 조작이 전술한 『클립의 영상의 표시 속도를 낮추는』 조작이었던 경우에는, 기억 장치(22)를 제어하고, 대응하는 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시시키는 재생 영상의 재생 속도 v에 따라서, 영상 표시부 W571 내지 W57n에 표시하는 각 영상을 선택하여, 생성한다.
이때에도 마이크로프로세서(3)는, 각 영상 표시부 W571 내지 W57n 사이의 재생 프레임의 간격을 좁게 함과 함께, 각 영상 표시부 W571 내지 W57n 내에서도 표시 재생 속도를 낮춤으로써, 영상 표시부 W571 내지 W57n에 각각 표시되는 재생 영상의 재생 속도 v를 감소시키고, 또한 서로 인접하는 영상 표시부 W571 내지 W57n 사이에서의 재생 영상의 재생 시간차 ΔT를 감소시킨다.
또한 마이크로프로세서(3)는, 스텝 SP1에서 인식한 조작이 『클립의 영상을 정지시킨다』 조작이었던 경우에는, 기억 장치(22)를 제어하고, 대응하는 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시시키는 재생 영상의 재생을 정지시키는 한편, GPU(4)를 제어하고, 해당 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 재생 정지 직전의 최후의 프레임을 각각 계속 표시시킨다. 이 결과, 각 영상 표시부 W571 내지 W57n에, 원래의 재생 시간차 ΔT를 유지한 상태에서 각각 대응하는 정지 화상이 표시되게 된다.
또한 마이크로프로세서(3)는, 스텝 SP1에서 인식한 조작이 『키보드(39)의 「시프트」키를 누른 채, 「클립의 영상을 정지시킨다」』 조작 등의 각종 확장 조작이었던 경우에는, 표시부(55)의 나선 영상 표시부군(58)에 표시되는 각 재생 영상이나, 그 나선 영상 표시부군(58) 자체의 표시 영상을, 그 확장 조작에 따른 상태로 변화시키도록 기억 장치(22)나 GPU(4)를 제어한다.
그리고 마이크로프로세서(3)는, 스텝 SP8에서, 표시부(55)에 표시된 나선 영 상 표시부군(58) 내의 각 재생 영상이나 나선 영상 표시부군(58) 자체의 표시 영상을 조작 입력에 따른 상태로 변경하도록 이루어져 있다.
(3) 나선 영상 표시부군에 대한 시점 변경 방법
(3-1) 나선 영상 표시부군의 표시 형태
그런데 편집 장치(2)의 마이크로프로세서(3)는, 편집 화면(50)의 표시부(55)에 표시한 나선 영상 표시부군(58)에 대하여, 어떤 시점으로부터 눈으로 확인하고 있는지를 오퍼레이터에 대하여 나타내거나, 그 시점을 임의로 변경하고, 변경 후의 시점에 대응한 표시 형태의 나선 영상 표시부군(58)을 표시부(55)에 표시할 수 있도록 이루어져 있다.
여기에서 나선 영상 표시부군(58)은, 소정의 3차원 영상 생성 소프트웨어에 따라서 GPU(4)에 의해 그 내부 메모리 상의 3D 공간에서 렌더링된 결과 생성되는 것이며, 도 19에 도시하는 바와 같이, 3D 공간 상에서 가상적으로 생성된 가상 시간축 TP를 중심으로 하여 해당 가상 시간축 TP를 둘러 감도록 복수의 영상 표시부 W571 내지 W57n이 순차적으로 배치되고, 그 영상 표시부 W571 내지 W57n에 의해 만들어지는 원의 직경이 가상 시간축 TP의 진행에 따라서 점차 커지는 등의 스파이럴 구조를 가지고 있다.
즉, 표시부(55)에 표시하는 나선 영상 표시부군(58)의 디폴트로서 설정되어 있는 표시 형태로서는, 가상 시간축 TP에서의 진행 방향측의 일단에 오퍼레이터의 시점 EP1이 있다고 가정했을 때, 도 3에 도시한 바와 같이, 화면의 깊이측으로부터 전방측에 근접함에 따라서, 복수의 영상 표시부 W571 내지 W57n에 의해 만들어지는 원이 점차로 커지는 등의 나선 영상 표시부군(58)이 3차원적으로 표시되게 된다.
이 때문에 편집 장치(2)의 마이크로프로세서(3)는, 표시부(55)에 나선 영상 표시부군(58)을 표시했을 때, 가상 시간축 TP를 중심으로 하여 각 영상 표시부 W571 내지 W57n에 의해 만들어지는 원의 직경이 해당 가상 시간축 TP의 진행에 따라서 점차로 커지는 등의 스파이럴 구조를 그 정면으로부터 오퍼레이터에게 눈으로 확인시킬 수 있기 때문에, 모든 영상 표시부 W571 내지 W57n이 어느 하나로서 가려지게 되지 않고 모두 제시할 수 있도록 이루어져 있다.
여기에서 나선 영상 표시부군(58)은, 영상 표시부 W571, 영상 표시부 W572, 영상 표시부 W573, …, 영상 표시부 W57m, 영상 표시부 W57n의 순번으로 가상 시간축 TP의 주위에 순차적으로 출현하고, 그 출현한 순번으로 영상 표시부 W571 내지 W57n의 재생 영상이 재생 개시되게 된다.
따라서, 나선 영상 표시부(58)에서의 각 영상 표시부 W571 내지 W57n의 재생 개시로부터 소정 시간 경과 후의 타이밍에서는, 표시부(55)에서의 화면 중, 나선의 가장 깊이측에 존재하는 영상 표시부 W571이 시간적으로 가장 미래의 재생 영상을 표시하고 있고, 나선의 가장 전방측에 존재하는 영상 표시부 W57n이 시간적으로 가장 과거의 재생 영상을 표시하고 있게 된다.
즉 가상 시간축 TP의 진행이 가장 진행해 있는 선단측의 영상 표시부 W57n에서는 시간적으로 가장 과거의 재생 영상을 표시하고, 가상 시간축 TP의 개시 지점에 가까운 후단측의 영상 표시부 W571에서는 시간적으로 가장 진행한 미래의 재생 영상을 표시하고, 가상 시간축 TP의 진행 방향과 각 영상 표시부 W571 내지 W57n에서의 재생 처리의 진행 정도가 역방향으로 된다.
도 20에 도시하는 바와 같이, 이 편집 장치(2)에서는, 편집 화면(50)의 표시부(55)에 나선 영상 표시부군(58)의 표시 중, 오퍼레이터에 대하여 해당 나선 영상 표시부군(58)을 표시하고 있을 때의 시점 및 시선 방향을, 표시부(55) 내에 표시한 서브 3D 공간 화상 IM1 및 캐릭터 CA1에 의해 시각적으로 표현하도록 이루어져 있다. 여기에서 서브 3D 공간 화상 IM1 중에는, 나선 영상 표시부군(58)과 동일한 표시 형태이고 또한 축소된 서브 나선 영상 표시부군(58S) 및 서브 시간축 STP1이 표시되어 있다.
즉, 서브 3D 공간 화상 IM1 중에 표시되어 있는 서브 나선 영상 표시부군(58S)의 3D 공간 좌표와, GPU(4)의 내부 메모리 상의 3D 공간에 생성된 나선 영상 표시부군(58)의 3D 공간 좌표는, 서로 3D 공간으로서 확대 축소 관계에 있는 것 뿐이기 때문에 기본적으로 동일한 좌표계이다.
실제상, 편집 장치(2)의 마이크로프로세서(3)는, 편집 화면(50)의 클립 일람 표시부(51)로부터 원하는 클립이 오퍼레이터에 의해 선택된 후, 표시부(55)에 드랙 앤 드롭된 것을 인식하면, GPU(4)에 의해 해당 클립에 대응한 나선 영상 표시부 군(58)을 표시함과 함께, GPU(4)에 의해 나선 영상 표시부군(58)에 대응한 서브 나선 영상 표시부군(58S) 및 가상 시간축 TP에 대응한 서브 시간축 STP1을 포함하는 서브 3D 공간 화상 IM1을 생성하고, 이것을 나선 영상 표시부군(58)과 함께 표시하도록 이루어져 있다.
또한 편집 장치(2)의 마이크로프로세서(3)는, 표시부(55)의 커서(71)를 통해서 서브 3D 공간 화상 IM1 근방의 캐릭터 CA1이 선택되고 드래그 조작이 행해지면, 그 드래그 조작의 방향으로 캐릭터 CA1을 이동시켜서 표시함과 함께, 그 이동 후의 캐릭터 CA1의 서브 3D 공간 화상 IM1에서의 위치를 시점 좌표(확인 위치)로 했을 때의 시점 좌표 데이터를 생성하고, 그 확인 위치로부터 시선 방향 화살표 AL1의 각도에서 보일 서브 나선 영상 표시부군(58S)에 대응한 표시 형태의 나선 영상 표시부군(58)을 GPU(4)에 의해 표시부(55)에 표시하도록 이루어져 있다.
이와 같이 편집 장치(2)에서는, 서브 3D 공간 화상 IM1 근방에 표시된 캐릭터 CA1의 서브 나선 영상 표시부군(58S)에 대한 확인 위치(시점 좌표)에 의해 해당 나선 영상 표시부군(58)에 대한 시점을 이미지로 하여 오퍼레이터에게 시각적으로 제시하고, 또한 그 시점으로부터의 서브 나선 영상 표시부군(58S)에 대한 시선 방향 화살표 AL1을 해당 캐릭터 CA1의 시선 방향으로 하여 오퍼레이터에게 시각적으로 제시함으로써, 표시부(55)의 나선 영상 표시부군(58)에 대한 시점 및 시선 방향을 오퍼레이터에 대하여 직감적으로 인식시킬 수 있도록 이루어져 있다.
그런데, 편집 장치(2)의 마이크로프로세서(3)는, 편집 화면(50)의 클립 일람 표시부(51)로부터 원하는 클립이 오퍼레이터에 의해 복수 선택된 후, 복수의 클립 이 표시부(55)에 드랙 앤 드롭된 것을 인식하면, GPU(4)에 의해 해당 복수의 클립에 대응한 복수의 나선 영상 표시부군(58)을 표시부(55)에 표시함과 함께, 도 21에 도시하는 바와 같이, GPU(4)에 의해 해당 복수의 나선 영상 표시부군(58)에 각각 대응한 서브 나선 영상 표시부군(58S2), 서브 시간축 STP2 및 서브 나선 영상 표시부군(58S3), 서브 시간축 STP3을 포함하는 서브 3D 공간 화상 IM1을 생성하여 표시할 수 있도록 이루어져 있다.
이 경우, 편집 장치(2)의 마이크로프로세서(3)는, 복수의 나선 영상 표시부군(58)을 구성하는 각 영상 표시부 W571 내지 W57n에 표시할 재생 영상에 타임 코드 정보가 부가되어 있는 경우, 2개의 서브 나선 영상 표시부군(58S2), 서브 나선 영상 표시부군(58S3)을 타임 코드 정보에 기초하여 동기시킨 상태에서 표시하도록 이루어져 있다.
여기에서 마이크로프로세서(3)는, 서브 나선 영상 표시부군(58S2)에서의 서브 시간축 STP2와, 서브 나선 영상 표시부군(58S3)에서의 서브 시간축 STP3의 길이가 서로 다를 때, 긴 쪽의 서브 시간축 STP2(또는 서브 시간축 STP3)에 맞춰서 짧은 쪽의 서브 시간축 STP3(또는 서브 시간축 STP2)을 표시하도록 이루어져 있다.
이에 의해 편집 장치(2)에서는, 서브 나선 영상 표시부군(58S2)의 서브 영상 표시부 WS571 내지 WS57n 전체와, 서브 나선 영상 표시부군(58S3)의 영상 표시부 WS571 내지 WS57n 전체를 서브 3D 공간 화상 IM1의 내부에 수납한 상태에서 표시할 수 있고, 이렇게 하여 서브 나선 영상 표시부군(58S2) 및 서브 나선 영상 표시부 군(58S3)의 전체상을 오퍼레이터에게 눈으로 확인시킬 수 있도록 이루어져 있다.
또한 도 22에 도시하는 바와 같이 편집 장치(2)의 마이크로프로세서(3)는, 복수의 서브 나선 영상 표시부군(58S2), 서브 나선 영상 표시부군(58S3)이 포함되는 서브 3D 공간 화상 IM1을 표시부(55)에 표시한 상태에서, 오퍼레이터에 의한 드래그 조작이 행해지면, 서브 나선 영상 표시부군(58S2), 서브 나선 영상 표시부군(58S3)의 위치를 이동할 수 있도록 이루어져 있고, 그 이동 후의 서브 나선 영상 표시부군(58S2), 서브 나선 영상 표시부군(58S3)의 배치에 연동시켜서 표시부(55)에 표시하고 있는 복수의 나선 영상 표시부군(58)의 배치에 대해서도 이동하여 표시할 수 있도록 이루어져 있다.
또한 편집 장치(2)의 마이크로프로세서(3)는, 이때 편집 처리의 용이성을 더욱 향상하기 위해서, 서브 나선 영상 표시부군(58S2), 서브 나선 영상 표시부군(58S3)을 서브 시간축 STP2, STP3의 길이 방향(미래 방향 또는 과거 방향)을 따라서 이동할 수도 있도록 이루어져 있다.
구체적으로는, 또한, 도 23의 (A)에 도시하는 바와 같이 편집 장치(2)의 마이크로프로세서(3)는, 서브 3D 공간 화상 IM1의 정면에 캐릭터 CA1이 배치된 정면시점을 나선 영상 표시부군(58)에 대하여 디폴트 설정된 표시 형태로 했을 때, 커서(71)에 의한 드래그 조작에 따라서, 도 23의 (B)에 도시하는 바와 같이 서브 3D 공간 화상 IM1의 왼쪽 비스듬히 위에 캐릭터 CA1이 배치된 왼쪽 비스듬히 위 시점으로 변경하거나, 도 23의 (C)에 도시하는 바와 같이 서브 3D 공간 화상 IM1의 오른쪽 비스듬히 아래에 캐릭터 CA1이 배치된 오른쪽 비스듬히 아래 시점으로 변경하 거나, 도 23의 (D)에 도시하는 바와 같이 서브 3D 공간 화상 IM1의 오른쪽 가로에 캐릭터 CA1가 배치된 오른쪽 가로 시점으로 변경하거나, 도 23의 (E)에 도시하는 바와 같이 서브 3D 공간 화상 IM1의 바로 위에 캐릭터 CA1이 배치된 바로 위 시점으로 변경하거나, 도 23의 (F)에 도시하는 바와 같이 서브 3D 공간 화상 IM1의 내부에 캐릭터 CA1이 배치된 내부 시점으로 변경할 수 있도록 이루어져 있다.
이에 의해 편집 장치(2)의 마이크로프로세서(3)는, 편집 화면(50)의 표시부(55)에 나선 영상 표시부군(58)을 표시 중, 서브 3D 공간 화상 IM1의 3D 공간 좌표와 커서(71)에 의해 이동된 캐릭터 CA1의 시점 좌표와의 상대적 위치 관계에 따라 결정되는 변경 후의 새로운 시점 및 시선 방향에 따라서, GPU(4)에 의해 나선 영상 표시부군(58)의 표시 형태를 변경하여 표시하도록 이루어져 있다.
즉 마이크로프로세서(3)에서는, 캐릭터 CA1의 시점 좌표를 움직였을 때의 시점 및 시선 방향과, 표시부(55)의 나선 영상 표시부군(58)에 대한 시점을 연동하여 일치시킨 상태에서 표시할 수 있도록 이루어져 있다.
또한 편집 장치(2)의 마이크로프로세서(3)에서는, 시점의 변경에 있어서 커서(71)에 의한 드래그 조작이 아니라, 키 입력에 의해 시점의 변경을 실행할 수도 있도록 이루어져 있고, 커서(71)에 의해 캐릭터 CA1이 선택된 후, 예를 들면 키보드(39) 상의 「W」키에 대한 압하 조작에 따라서 해당 캐릭터 CA1을 위 방향으로 이동시키고, 「A」키에 대한 압하 조작에 따라서 해당 캐릭터 CA1을 왼쪽 방향으로 이동시키고, 「X」키에 대한 압하 조작에 따라서 해당 캐릭터 CA1을 아래 방향으로 이동시키고, 「D」키에 대한 압하 조작에 따라서 해당 캐릭터 CA1을 오른쪽 방향으 로 이동시킬 수도 있도록 이루어져 있다.
이와 같이 편집 장치(2)의 마이크로프로세서(3)에서는, 서브 3D 공간 화상 IM1의 공간 좌표를 고정(로크)한 채, 캐릭터 CA1의 시점 좌표를 움직임으로써 시점 및 그 시선 방향을 변경하는 공간 좌표 로크 모드의 시점 변경 방법을 이용하고 있지만, 예를 들면 키보드(39) 상의 「F1」키에 대한 압하 조작에 따라서 모드를 절환하고, 공간 좌표 로크 모드와는 반대로, 캐릭터 CA1의 시점 좌표를 고정(로크)한 채 서브 3D 공간 화상 IM1을 회전시켜 공간 좌표를 움직임으로써 시점 및 그 시선 방향을 변경하는 시점 좌표 로크 모드의 시점 변경 방법으로 변경하는 것도 가능하다.
덧붙여서 편집 장치(2)의 마이크로프로세서(3)는, 예를 들면 키보드(39) 상의 「F2」키에 대한 압하 조작에 따라서 모드를 절환하고, 도 24에 도시하는 바와 같이 서브 3D 공간 화상 IM1의 3D 공간 좌표와, 캐릭터 CA1의 시점 좌표의 상대적 위치 관계를 유지한 채, 커서(71)에 의한 드래그 조작에 의해 서브 3D 공간 화상 IM1 및 캐릭터 CA1을 함께 회전시키는 것이 가능하고, 이에 의해 서브 3D 공간 화상 IM1 및 캐릭터 CA1을 오퍼레이터에게 있어서 눈으로 확인하기 쉬운 각도로 변경하여 표시할 수 있도록 이루어져 있다.
그런데 편집 장치(2)의 마이크로프로세서(3)는, 공간 좌표 로크 모드의 시점 변경 방법을 이용하여, 도 23의 (F)에 도시하는 바와 같이 서브 3D 공간 화상 IM1의 내부에 캐릭터 CA1이 배치된 내부 시점으로 변경한 경우, 도 25에 도시하는 바와 같이 자동적으로 서브 3D 공간 화상 IM1을 소정 배율로 확대함으로써 서브 3D 공간 화상 IM2를 생성할 수 있도록 이루어져 있다.
이 경우, 서브 3D 공간 화상 IM1을 서브 3D 공간 화상 IM2로 확대할 때의 확대율에 대해서는, 해당 서브 3D 공간 화상 IM1 및 IM2가 어디까지나 서브적인 표시이기 때문에, 표시부(55)의 나선 영상 표시부군(58)에 대하여 방해되지 않는 등의 일정한 배율 이하로 제한되어 있다.
(3-2) 시점의 변경에 따른 나선 영상 표시부군에 대한 표시 처리 수순
계속해서, 전술한 서브 3D 공간 화상 IM1과 캐릭터 CA1의 상대적 위치 관계에 따라 시점 및 그 시선 방향이 변화하는 것에 따라서 표시부(55)의 나선 영상 표시부군(58)의 표시 형태를 변경하여 표시하는 표시 처리 수순에 대해서 다음에 설명한다.
도 26에 도시하는 바와 같이 편집 장치(2)의 마이크로프로세서(3)는, 루틴RT4의 개시 스텝으로부터 들어가 다음의 스텝 SP41로 이행하고, 마우스(38), 키보드(39) 혹은 조작 컨트롤러(37)를 통해서 입력된 제어 신호(예를 들면 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시할 재생 영상의 재생 속도 v,재생 시간차 ΔT, 오퍼레이터의 드래그 조작에 따른 이동 후에의 서브 3D 공간 화상 IM1의 3D 공간 좌표나 캐릭터 CA1의 시점 좌표)를 PCI 버스(15) 및 사우스 브릿지(6)를 통해서 수신하여 메인 CPU 코어(3M)에 의해 인식한 후, 다음의 스텝 SP42로 이행한다.
스텝 SP42에서 편집 장치(2)의 마이크로프로세서(3)는, 스텝 SP41에서 인식 한 제어 신호가 나선 영상 표시부군(58)의 표시 형태를 변경하여 표시하기 위한 명령이었을 때, 새로운 표시 형태로 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시할 클립의 묘화 루프를 메인 CPU 코어(3M)에서 설정하고, 다음의 스텝 SP43으로 이행한다.
스텝 SP43에서 편집 장치(2)의 마이크로프로세서(3)는, 스텝 SP42에서 설정한 클립의 재생 영상의 표시 사이즈, 그 표시 사이즈로 이루어지는 각 프레임의 3D 공간에서의 3차원 공간 좌표 계산, 캐릭터 CA1의 시점 좌표 계산 등의 각종 물리 연산 처리를 메인 CPU 코어(3M)에 의해 실행시키고, 다음의 스텝 SP44로 이행한다.
스텝 SP44에서 편집 장치(2)의 마이크로프로세서(3)는, 메인 CPU 코어(3M)에 의해 묘화 루프를 구성하는 클립의 재생 영상을 어떤 서브 CPU 코어(3SA 내지 3SH)에 의해 디코드시킬지의 담당을 해당 메인 CPU 코어(3M)에 의해 할당하고, 다음의 스텝 SP45로 이행한다.
스텝 SP45에서 편집 장치(2)의 마이크로프로세서(3)는, 기억 장치(22)로부터 재생 영상의 출력에 필요한 클립의 프레임을 읽어내고, 스텝 SP44에서 할당한 서브 CPU 코어(3SA 내지 3SH)에 분배하고, 다음의 스텝 SP46으로 이행한다.
스텝 SP46에서 편집 장치(2)의 마이크로프로세서(3)는, 디코더로서의 역할을 담당하는 8개의 서브 CPU 코어(3SA 내지 3SH)에 의해, 스텝 SP45에서 분배된 프레임을 동시 병렬적으로 디코드하고, 다음의 스텝 SP47로 이행한다.
스텝 SP47에서 편집 장치(2)의 마이크로프로세서(3)는, 메인 CPU 코어(3M)에 의해, 스텝 SP46에서 디코드된 재생 영상을 표시부(55)의 화면 상(3D 공간 상)에 어떻게 배치할지를 구하기 위해서, 서브 3D 공간 화상 IM1의 3D 공간 좌표나 캐릭터 CA1의 시점 좌표를 재생 영상의 3차원 표시 위치 정보로서 재생 영상과 함께 GPU(4)에 고속 데이터 전송하고, 다음의 스텝 SP48로 이행한다.
스텝 SP48에서 편집 장치(2)의 마이크로프로세서(3)는, GPU(4)에 의해, 서브 3D 공간 화상 IM1의 3D 공간 좌표 및 캐릭터 CA1의 시점 좌표로 이루어지는 3차원 표시 위치 정보에 기초하여, 그때 설정되어 있는 시점 및 시선 방향에 따른 표시 형태의 나선 영상 표시부군(58)을 표시부(55)에 표시하기 위한 2차원 좌표의 표시 위치 정보로 변환하고, 메인 CPU 코어(3M)로부터 데이터 전송된 재생 영상을, 2차원 좌표의 표시 위치 정보에 기초하는 표시 사이즈 및 표시 위치에 따라서 각 영상 표시부 W571 내지 W57n의 소정 위치에 붙여서 표시함으로써 새로운 시점 및 시선 방향에 대응한 표시 형태로 이루어지는 나선 영상 표시부군(58)을 묘화하고, 다음의 스텝 SP49로 이행하여 처리를 종료한다.
이와 같이 편집 장치(2)에서는, 마이크로프로세서(3)에서의 8개의 서브 CPU코어(3SA 내지 3SH)가 각 영상 표시부 W571 내지 W57n에 표시하는 재생 영상의 디코더로서의 역할을 각각 담당하여 동시 병렬적으로 디코드하고, 그 디코드된 재생 영상을 대역폭이 큰 버스(10)에 의해 예를 들면 최대 30[Gbyte/sec]의 전송 속도로 GPU(4)에 고속 데이터 전송할 수 있도록 이루어져 있기 때문에, 많은 매수의 고 정밀한 재생 영상을 디코드하여 단시간에 GPU(4)에 데이터 전송할 수 있다.
이에 의해 GPU(4)에서는, 내부 메모리 상의 3D 공간에 생성한 나선 영상 표시부군(58)을 새로운 시점 및 시선 방향으로 변경하여 표시부(55)에 표시할 때, 서브 3D 공간 화상 IM1의 3D 공간 좌표 및 캐릭터 CA1의 시점 좌표로 이루어지는 3차원 표시 위치 정보를 표시부(55)의 2차원 좌표의 표시 위치 정보로 변환하고, 이것을 이용하여 각 영상 표시부 W571 내지 W57n의 재생 영상을 표시할 수 있기 때문에, 복수의 영상 표시부 W571 내지 W57n 사이에서 동화상의 상태로 서로 재생 시간차 ΔT를 설정하면서 나선 형상의 표시순으로 제휴한 나선 영상 표시부군(58)으로서 표시부(55)에 리스펀스 좋게 매끄럽게 연동 표시시키고, 또한, 그 시점 및 시선 방향을 3D 공간 상의 좌표 변환 처리에 의해 자유롭게 제어할 수 있도록 이루어져 있다.
(3-3) 시점 변경 후의 나선 영상 표시부군
편집 장치(2)의 마이크로프로세서(3)는, 예를 들면 도 27에 도시하는 바와 같이, 편집 화면(50)의 표시부(55)에 표시되어 있는 서브 3D 공간 화상 IM1에 대한 캐릭터 CA1의 위치를 커서(71)에 의해 움직임에 따라서, 표시부(55)에 표시되어 있는 나선 영상 표시부군(58)(도 20)을 아래쪽으로부터의 표시 형태로 변경하여 표시할 수 있도록 이루어져 있다.
이 경우, 도 20에 도시한 나선 영상 표시부군(58)에서는, 서브 3D 공간 화상 IM1의 서브 시간축 STPI에 대하여 캐릭터 CA1의 시점 및 그 시선 방향이 정면을 대향하여 배치되었을 때의 표시 형태로 되어 있는 것에 대해서, 도 27에 도시한 나선 영상 표시부군(58)에서는, 서브 3D 공간 화상 IM1의 서브 시간축 STP1에 대하여 비스듬히 아래 방향으로부터의 캐릭터 CA1의 시점 및 그 시선 방향으로 변경되어 있고, 그 각도에서 눈으로 확인되었을 때의 표시 형태로 되어 있다.
즉 편집 장치(2)에서는, 서브 3D 공간 화상 IMI의 서브 나선 영상 표시부군(58)에 대한 캐릭터 CA1의 시점 및 그 시선 방향과, 실제의 표시부(55)에 그 각도가 변경되어 표시된 나선 영상 표시부군(58)에 대한 시점 및 그 시선 방향을 연동시키도록 이루어져 있다.
이 경우 오퍼레이터는, 표시부(55)에 표시된 나선 영상 표시부군(58)(도 27)의 전체상을 눈으로 확인할 수 있기 때문에, 가상 시간축 TP의 정면으로부터의 각도로 표시된 나선 영상 표시부군(58)(도 20)에서는 인식하는 것이 곤란한 클립 전체의 길이를 이미지로서 확인하거나, 나선 영상 표시부군(58)에서의 요소요소의 타임 코드 통지 프레임(TC1 내지 TC4)을 통해서 시계열의 흐름을 인식할 수 있도록 이루어져 있다.
또한 편집 장치(2)에서는, 각 영상 표시부 W571 내지 W57n에 의해 각각 표시된 재생 영상의 씬이 모두 서로 다르기 때문에, 오퍼레이터가 원하는 씬이 나선 영상 표시부군(58)을 구성하는 복수의 영상 표시부 W571 내지 W57n 중 어느 하나에 표시되어 있을 가능성이 높아, 오퍼레이터의 화상 찾기 작업을 용이화할 수 있음과 함께 편집 작업에 대해서도 용이화할 수 있도록 이루어져 있다.
또한 편집 장치(2)는, 각 영상 표시부 W571 내지 W57n에 대하여 동일한 재생 영상을 소정의 재생 시간차 ΔT만큼 어긋나게 하여 표시하고 있기 때문에, 오퍼레이터가 원하는 씬을 최초의 영상 표시부 W571에서 놓친 경우이어도, 그 영상 표시부 W571 이후의 영상 표시부 W572, W573, W574, …에도 그 씬을 재생 시간차 ΔT 이후에 순차적으로 표시하게 되고, 한번 놓친 씬에 대해서도 오퍼레이터에 대하여 되감기 재생시키지 않고 다시 오퍼레이터에게 눈으로 확인시켜서, 화상 찾기 작업 및 편집 작업을 용이화시킬 수 있다.
그런데, 편집 장치(2)의 마이크로프로세서(3)는, 예를 들면 도 28에 도시하는 바와 같이, 편집 화면(50)의 표시부(55)에 표시되어 있는 서브 3D 공간 화상 I M1에 대한 캐릭터 CA1의 위치를 커서(71)에 의해 더욱 움직임에 따라서, 나선 영상 표시부군(58)(도 27)에 대한 시점이 더욱 아래쪽으로 위치했을 때의 표시 형태로 변경하여 표시할 수 있도록 이루어져 있다.
이 경우에도, 나선 영상 표시부군(58)에서는, 서브 3D 공간 화상 IM1의 서브 시간축 STP1에 대하여 더욱 비스듬히 아래 방향으로부터의 캐릭터 CA1의 시점 및 그 시선 방향으로 변경되어 있고, 그 각도에서 눈으로 확인되었을 때의 표시 형태로 되어 있다.
또한 도 29에 도시하는 바와 같이 편집 장치(2)의 마이크로프로세서(3)는, 편집 화면(50)의 표시부(55)에 표시되어 있는 서브 3D 공간 화상 IM1에 대한 캐릭터 CA1의 위치를 커서(71)에 의해 더욱 움직이고, 서브 3D 공간 화상 IM1에서의 서브 시간축 STP1의 근방으로서, 그 서브 시간축 STP1과 대략 평행한 시선 방향을 갖 는 등의 위치에 캐릭터 CA1의 시점을 이동시킴에 따라서, 가상 시간축 TP에 대략 평행한 위치로부터의 시점 및 시선 방향에 따른 표시 형태로 나선 영상 표시부군(58)(도 27)을 변경하여 표시할 수 있도록 이루어져 있다.
덧붙여서, 편집 장치(2)의 마이크로프로세서(3)는, 전술한 바와 같이 서브3D 공간 화상 IM1의 공간 좌표를 고정(로크)한 채, 캐릭터 CA1의 시점 좌표를 움직임으로써 시점 및 그 시선 방향을 변경하는 공간 좌표 로크 모드의 시점 변경 방법을 이용하는 것이 아니라, 도 30에 도시한 바와 같이, 캐릭터 CA1의 시점 좌표를 고정(로크)한 채 서브 3D 공간 화상 IM1을 회전시킴으로써 캐릭터 CA1과 서브 3D 공간 화상 IM1의 상대적 위치 관계를 변화시켜서 시점 및 그 시선 방향을 변경하는 시점 좌표 로크 모드의 시점 변경 방법을 이용함으로써, 도 29에 도시한 나선 영상 표시부군(58)과 동일한 표시 형태로 변경할 수도 있다.
즉 표시부(55)에 표시된 나선 영상 표시부군(58)(도 29 및 도 30)에 대해서는 동일한 각도로부터 보이는 방향의 표시 형태이지만, 도 29의 서브 3D 공간 화상 IM1과, 도 30의 서브 3D 공간 화상 IM1에서는 오퍼레이터에 대한 서브 3D 공간 화상 IM1의 보이는 방식이 서로 다를 뿐이며, 본질적으로 서로 다른 것은 아니다.
또한 도 31에 도시하는 바와 같이 편집 장치(2)의 마이크로프로세서(3)는, 편집 화면(50)의 표시부(55)에 표시되어 있는 서브 3D 공간 화상 IM1에 대한 캐릭터 CA1의 위치를 커서(71)에 의해 더욱 움직이고, 서브 3D 공간 화상 IM1에서의 서브 시간축 STP1의 근방으로서, 그 서브 시간축 STP1과 대략 평행한 시선 방향을 가 지며, 서브 나선 영상 표시부군(58S)의 가장 전방측에 위치하는 영상 표시부 W57n의 근방에 캐릭터 CA1의 시점을 이동시킴에 따라서, 가상 시간축 TP에 대략 평행한 위치로부터 나선 영상 표시부군(58)의 가장 전방측의 영상 표시부 W57n에 캐릭터 CA1의 시점이 매우 가까워져, 그 각도로부터의 표시 형태로 해당 나선 영상 표시부군(58)을 변경하여 표시할 수 있도록 이루어져 있다.
이 경우, 편집 장치(2)의 마이크로프로세서(3)는, 표시부(55)에서의 화면의 가장 전방측에 나선 영상 표시부군(58)의 영상 표시부 W57n, W57m, W57l, …,이 매우 확대된 상태에서 표시되게 되기 때문에, 이들 확대된 영상 표시부 W57n, W57m, W57l, …,에 표시하는 재생 영상에 대해서는 동화상의 프레임 갱신 속도를, 그 이외의 영상 표시부 W57에 대한 프레임 갱신 속도보다도 매우 높이도록 이루어져 있고, 이에 의해 영상 표시부 W57n, 57m, W57l, …,에 표시하는 재생 영상을 매끄러운 동화상으로서 오퍼레이터에게 제시할 수 있도록 이루어져 있다.
단 편집 장치(2)의 마이크로프로세서(3)는, 확대된 영상 표시부 W57n, 57m, W57l, W57k, …,에 표시하는 재생 영상에 대해서는 동화상의 프레임 갱신 속도를, 그 이외의 영상 표시부 W57에 대한 프레임 갱신 속도보다도 매우 높이는 한편, 그 프레임의 해상도에 대해서는 소정 레벨만큼 저하시키도록 이루어져 있고, 이에 의해 영상 표시부 W57n, W57m, W57l, W57k, …,에 재생 영상을 표시할 때의 처리 부하 를 경감하여 동화상 재생 타이밍에 추종할 수 있도록 이루어져 있다.
이에 대하여 편집 장치(2)의 마이크로프로세서(3)는, 확대되어 있지 않은 영상 표시부 W57k 이전의 부분에 대해서는, 동화상을 구성하는 복수의 프레임에서의 프레임 갱신 속도를 높이지 않고 출력시키도록 이루어져 있고, 이에 의해 오퍼레이터에게 있어서 화질을 판단하기 어려운 영상 표시부 W57k 이전의 부분에 대해서는 재생 영상의 화질을 떨어뜨리면서 GPU(4)의 처리 부담을 경감할 수 있도록 이루어져 있다.
이와 같이 편집 장치(2)의 마이크로프로세서(3)는, 서브 3D 공간 화상 IM1에 대한 캐릭터 CA1의 위치를 커서(71)에 의해 움직이고, 나선 영상 표시부군(58)의 가장 전방측에 위치하는 주목할 영상 표시부 W57n, W57m, W57l, W57k, …,을 확대 표시 함과 동시에, 이들 확대된 영상 표시부 W57n, W57m, W57l, W57k, …,에 표시하는 재생 영상의 프레임 주파수를 높여서 표시함으로써, 오퍼레이터에게 매끄러운 재생 영상을 눈으로 확인시킬 수 있기 때문에, 해당 오퍼레이터의 화상 찾기 작업이나 편집 작업을 한층더 용이화시킬 수 있도록 이루어져 있다.
따라서 오퍼레이터는, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n 중 정밀 조사로 화상 찾기를 행한다고 하는 부분에 대해서는, 커서(71)에 의해 캐릭터 CA1을 움직여서 나선 영상 표시부군(58) 중 확대 표시된 각 영상 표시부 W571 내지 W57n을 눈으로 확인하도록 하면 되고, 오퍼레이터 자신의 의사로 화상 찾 기 작업의 용이화를 도모할 수 있도록 이루어져 있다.
이때에도 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에는, 소정 간격마다 타임 코드 통지 프레임 TC1 내지 TC4가 부가되어 있기 때문에, 오퍼레이터는 이것을 기준으로 화상 찾기 작업을 용이화할 수 있도록 이루어져 있다.
(3-4) 시점 변경 후의 나선 영상 표시부군에 대한 2차원 화상 표시 처리
그런데 편집 장치(2)의 마이크로프로세서(3)는, 도 32에 도시하는 바와 같이 시점 변경 후의 나선 영상 표시부군(58)의 표시 중에, 해당 나선 영상 표시부군(58)을 구성하고 있는 복수의 영상 표시부 W571 내지 W57n 중 예를 들면 영상 표시부 W57g가 커서(71)에 의해 선택 조작된 것을 인식하면, 그 영상 표시부 W57g가 그 시점에서 표시하고 있는 재생 영상의 해당 프레임을 중심으로 하여 전후 4프레임씩으로 이루어지는 계 9프레임 분의 화상 SG1 내지 SG9를 서로 겹치지 않도록 2차원상에 배열하여 표시부(55) 내에 표시하도록 이루어져 있다. 또한, 이들 화상 SG1 내지 SG9에서도 동화상이 표시되게 된다.
이에 의해 편집 장치(2)는, 시점 변경 후의 나선 영상 표시부군(58)(도 32)을 구성하고 있는 복수의 영상 표시부 W571 내지 W57n이 전후 서로 겹쳐 있기 때문에, 해당 각 영상 표시부 W571 내지 W57n의 재생 영상을 오퍼레이터에게 눈으로 확인하기 어려운 경우이어도, 그 오퍼레이터에 의해 선택 조작된 영상 표시부 W57g가 그 시점에서 표시하고 있는 재생 영상의 해당 프레임을 중심으로 하여 전후 4프레 임씩으로 이루어지는 계 9프레임 분의 화상 SG1 내지 SG9를 2차원적으로 배열하여 전개할 수 있기 때문에, 복수의 영상 표시부 W571 내지 W57n에 대한 시인성을 매우 향상시킴과 함께 오퍼레이터의 화상 찾기 작업을 매우 용이화시킬 수 있도록 이루어져 있다.
또한 편집 장치(2)는, 오퍼레이터에 의해 선택 조작된 영상 표시부 W57g가 그 시점에서 표시하고 있는 재생 영상의 해당 프레임을 중심으로 하여 전후 4프레임씩으로 이루어지는 계 9프레임분의 화상 SG1 내지 SG9를 표시할 뿐만 아니라, 오퍼레이터에 의한 설정에 의해, 해당 프레임을 중심으로 하여 소정 프레임수 건너뛰어 계 9프레임분의 화상 SG1 내지 SG9를 모아서 표시하는 것도 가능하다.
덧붙여서 편집 장치(2)에서는, 각 영상 표시부 W571 내지 W57n에서 재생 영상을 각각 표시하는 데에 있어서, 소정 프레임수(예를 들면 5프레임) 단위로 씨닝한 남은 프레임만을 이용하여 소정의 프레임 레이트로 재생하고 있는 재생 속도 v가 빠르게 설정되어 있는 경우, 전술한 바와 같이 커서(71)에 의해 선택 조작된 영상 표시부 W57g가 그 시점에서 표시하고 있는 재생 영상의 해당 프레임을 중심으로 하여, 당초 씨닝되어 있던 그 전후 4프레임씩으로 이루어지는 계 9프레임분의 화상 SG1 내지 SG9를 전개하여 표시하도록도 이루어져 있다.
또한, 이 예에서 예를 든 계 9프레임분의 화상 SG1 내지 SG9는, 나선 영상 표시부군(58)을 구성하고 있는 복수의 영상 표시부 W571 내지 W57n 각각의 재생 속 도에 따라서 갱신된다. 따라서, 재생 정지 상태에 있으면, 9프레임분의 정지 화상으로 되고, 영상 표시부 W571 내지 W57n이 1배속으로 재생되어 있으면, 2차원 전개된 화상도 1배속으로 재생된다.
(4) 스크럽 기능
이러한 구성에 부가하여, 이 편집 장치(2)에서는, 오퍼레이터가 동화상의 내용을 확인하면서 화상 찾기 하기 위해서, 스크럽의 기능이 탑재되어 있다.
스크럽이란, 오퍼레이터가 지정하는 픽쳐인 프레임 또는 필드의 재생을 의미한다. 오퍼레이터에 의한 픽쳐의 지정은, 예를 들면, 오퍼레이터가, GUI(Graphical User Interface)로서의 손잡이를 이동하는 등의 조작을 함으로써 행해지는 것이다.
이 실시 형태에서는, 손잡이는, 도 2에 도시한 바와 같이, 편집 화면(50)에서의 표시부(55)의 최하단의 스크럽 바(66)에 대하여 이동 가능한 스크럽 손잡이(67)로서 설치되어 있고, 재생 시간차 ΔT(도 5)를 띄워서 동일한 재생 영상이 표시되는 각 영상 표시부 W571 내지 W57n 중, 미리 지정된 예를 들면 영상 표시부 W57n(도 3)에 표시되는 재생 영상의 재생 위치에 응동하도록 되어 있다.
이 스크럽 손잡이(67)를 천천히 움직이는 조작이 이루어진 경우, 그 스크럽 손잡이(67)의 위치에 대응하는 재생 위치의 프레임의 도안이 천천히 변화되기 때문에, 소위 슬로우 재생이 행해지게 된다. 한편, 스크럽 손잡이(67)를 빠르게 움직이는 조작이 이루어진 경우, 그 스크럽 손잡이(67)의 위치에 대응하는 재생 위치의 프레임의 도안이 빠르게 변화되기 때문에, 소위 고속 재생이 행해지게 된다. 이 때문에, 스크럽은, 변속(특수) 재생의 일종이라고 할 수 있다.
한편, 이 편집 장치(2)에서는, 전술한 바와 같이, 3D 가상 공간과, 캐릭터 CA1(도 20)의 상대적 위치 관계를, 표시부(55)에 표시 중의 나선 영상 표시부군(58)에 대한 표시 형태를 변경하도록 이루어져 있다.
따라서 이 편집 장치(2)에서는, 오퍼레이터가 원하는 시점에 따른 나선 영상 표시부군(58)(도 27 내지 도 32)의 표시 형태로 변경한 상태에서, 스크럽(변속(특수) 재생)도 행할 수 있고, 이 결과, 나선 영상 표시부군(58)에 표시되는 재생 영상의 전체의 흐름이나, 그 재생 영상에서의 주목할 일부분의 흐름 등을 상세히 분석시킨 후에 화상 찾기 하는 것도 가능하게 된다.
그러나, 이 스크럽을 행할 때에는, 스크럽 손잡이(67)의 위치에 대응하는 재생 위치의 프레임의 부호화 데이터를 읽어내고, 해당 부호화 데이터를 화상 데이터로 복호하고, 그 화상 데이터(에 대응하는 화상)를 재생 시간차 ΔT(도 5)를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 표시할 필요가 있다. 소위 넌리니어 편집이 일반화되어 있는 현재로서는, 동화상의 내용을 용이하게 확인하고, 편집점을 결정하기 위한 수단으로서의 스크럽의 기능은 보다 중요성이 높아져 있어, 오퍼레이터가 동화상의 내용을 보다 상세하고, 스무즈하게 확인할 수 있도록 하기 위한 스크럽의 기능이 요청되어 있다.
따라서, 이 편집 장치(2)(도 1)는, 전술한 편집 화면(50)(도 2)에서의 표시 부(55)의 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 대하여 재생 시간차 ΔT(도 5)를 띄워서 각각 표시된 재생 영상을, 그 재생 시간차 ΔT를 유지한 상태에서, 스크럽 손잡이(67)의 이동 조작에 따라서, 적절하게 표시하도록 이루어져 있다.
이러한 처리는, 마이크로프로세서(3) 및 GPU(4)(도 1)에 의해 행해지고, 그 처리 내용으로서는, 전술한 편집 화면(50)을 통해서 편집하기 전에 행하는 처리(이하, 이것을 편집 전처리라고 부름)와, 해당 편집 전처리 결과에 기초하여, 나선 영상 표시부군(58)에 대하여 재생 시간차 ΔT(도 5)를 띄워서 재생 영상을 유지한 상태에서, 스크럽 손잡이(67)의 이동 조작에 따라서 표시하는 처리(이하, 이것을 스크럽 처리라고 부름)로 나눌 수 있다. 이하에, 마이크로프로세서(3) 및 GPU(4)에 의한 편집 전처리 및 스크럽 처리에 대해서 순차적으로 설명한다.
(4-1) 편집 전처리
마이크로프로세서(3) 및 GPU(4)에 의한 편집 전처리를 기능으로서 나타낸 경우, 그 구성은, 도 33에 도시하는 바와 같이, 화상 처리부(1001), 음성 처리부(1002), AV 파일 작성부(1003), Fy 파일 작성부(1004) 및 기록부/통신부(1005)로 할 수 있다.
이 화상 처리부(1001)에는, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)의 조작에 의해 지정되고, 비디오 테이프 리코더(231 내지 23n)(도 1)에 장전된 비디오 테이프로부터 재생된 클립의 영상 음성 신호 중 영상 신호가 입력되고, 한편, 음성 처리부(1002)에는, 해당 영상 음성 신호 중 음성 신호가 입력된다.
화상 처리부(1001)는, 영상 신호에 대하여, 프레임 단위로, 시계열로, A/D(Analog/Digital) 변환 처리나, 노이즈를 제거하는 노이즈 제거 처리 등의 필요한 처리를 실시하고, 그 처리 후의 화상 데이터를 AV 파일 작성부(1003)와 Fy 파일 작성부(1004)에 공급한다.
음성 처리부(1002)는, 음성 신호에 대하여, 프레임 단위로, 시계열로, A/D(Analog/Digital) 변환 처리나, 노이즈를 제거하는 노이즈 제거 처리 등의 필요한 처리를 실시하고, 그 처리 후의 음성 데이터를 AV 파일 작성부(1003)에 공급한다.
AV 파일 작성부(1003)는, 화상 처리부(1001)로부터의 시계열의 화상 데이터와, 음성 처리부(1002)로부터의 시계열의 음성 데이터를 저장한 AV 파일을 작성하여, 기록부/통신부(1005)에 공급한다.
Fy 파일 작성부(1004)는, 화상 처리부(1001)로부터의 화상 데이터의 변화의 정도를 나타내는 변화량을, 프레임 단위로 구한다. 또한, Fy 파일 작성부(1004)는, 필요에 따라서, 프레임의 변화량에 기초하여, 그 프레임을 영상 표시부 W571 내지 W57n(도 2)에 표시할 때의 표시 방법을 나타내는 표시 타입을, 픽쳐 단위로 결정한다. 또한, Fy 파일 작성부(1004)는, 프레임 단위의 변화량과 표시 타입 중 어느 한쪽, 또는 양쪽이 저장된 파일(이하, 적절하게, Fy 파일이라고 함)을, 화상 처리부(1001)로부터의 시계열의 화상 데이터의 메타데이터가 저장된 메타파일(메타데이 터 파일)(의 1개)로서 작성하고, 기록부/통신부(1005)에 공급한다.
픽쳐란, 프레임 또는 필드를 의미한다. 이하에서는, 픽쳐로서, 프레임을 채용하는 것으로 하지만, 픽쳐로서는, 필드를 채용하는 것도 가능하다.
기록부/통신부(1005)는, AV 파일 작성부(1003)로부터 공급되는 AV 파일과, Fy 파일 작성부(1004)로부터 공급되는, 그 AV 파일에 대응하는 Fy 파일, 즉, AV 파일 작성부(1003)로부터 공급되는 AV 파일에 저장된 화상 데이터로부터 작성되고, Fy 파일 작성부(1004)로부터 공급되는 Fy 파일을, 예를 들면 기억 장치(22)(도 1)에 기록한다.
여기에서, 임의의 AV 파일 fav와, 그 AV 파일 fav에 대응하는 Fy 파일 fFy에는, 예를 들면, 서로 대응하는 파일인 것을 알 수 있도록 하는 파일명이 붙여진다. 즉, AV 파일 fav와, 그 AV 파일 fav에 대응하는 Fy 파일 fFy의 파일명은, 예를 들면, 확장자만이 서로 다른 파일명(확장자가 서로 다르고, 확장자 이외의 부분이 동일한 파일명)으로 된다.
다음으로, 도 34는, 도 33의 AV 파일 작성부(1003)의 구성예를 도시하고 있다. 도 34에서, AV 파일 작성부(1003)는, 본선 인코더(1011), 프록시 인코더(1012), 및 파일 작성부(1013)로 구성되어 있다.
본선 인코더(1011)는, 본선 화상 인코더(1011V)와 본선 음성 인코더(1011A)로 구성된다.
본선 화상 인코더(1011V)에는, 화상 처리부(1001)(도 33)로부터, 본선 데이터로서의 화상 데이터가 공급된다. 본선 화상 인코더(1011V)는, 화상 처리 부(1001)로부터의 본선 데이터로서의 화상 데이터를, 예를 들면, MPEG2(예를 들면, MPEG IMX 방식 등)로 부호화(인코드)하여, 파일 작성부(1013)에 공급한다.
본선 음성 인코더(1011A)에는, 음성 처리부(1002)(도 33)로부터, 음성 데이터가 공급된다. 본선 음성 인코더(1011A)는, 음성 처리부(1002)로부터의 음성 데이터를, 본선 데이터로서의, 예를 들면, AES(Audio Engineering Society) 3방식의 음성 데이터로 변환하고, 파일 작성부(1013)에 공급한다.
프록시 인코더(1012)는, 프록시 화상 인코더(1012V)와 프록시 음성 인코더(1012A)로 구성된다.
프록시 화상 인코더(1012V)에는, 화상 처리부(1001)(도 33)로부터, 본선 데이터로서의 화상 데이터가 공급된다. 프록시 화상 인코더(1012V)는, 화상 처리부(1001)로부터의 본선 데이터로서의 화상 데이터의 화소수를 씨닝하고, 이에 의해, 예를 들면, 본선 데이터보다 해상도(공간 해상도)가 낮은 프록시 데이터로서의 화상 데이터를 구한다. 또한, 프록시 화상 인코더(1012V)는, 프록시 데이터로서의 화상 데이터를, 예를 들면 MPEG4로 부호화하여, 파일 작성부(1013)에 공급한다.
프록시 음성 인코더(1012A)에는, 음성 처리부(1002)(도 33)로부터, 음성 데이터가 공급된다. 프록시 음성 인코더(1012A)는, 음성 처리부(1002)로부터의 음성 데이터를, 프록시 데이터로서의, 예를 들면, ITU-T(International Telecommunication Union, Telecommunication Standardization Sector) G. 711 A-Law 방식의 음성 데이터로 변환하고, 파일 작성부(1013)에 공급한다.
파일 작성부(1013)는, 본선 화상 인코더(1011V)로부터의 본선 데이터로서의 화상 데이터(의 부호화 데이터), 본선 음성 인코더(1011A)로부터의 본선 데이터로서의 음성 데이터, 프록시 화상 인코더(1012V)로부터의 프록시 데이터로서의 화상 데이터, 프록시 음성 인코더(1012A)로부터의 프록시 데이터로서의 음성 데이터를, 예를 들면, 재생 시간에서 약 2초분씩 다중화하고, 그 다중화에 의해 얻어지는 비트 스트림이 저장된 소정의 포맷의 AV 파일, 즉, 본선 데이터(로서의 화상 데이터 및 음성 데이터)와 프록시 데이터(로서의 화상 데이터 및 음성 데이터)가, 재생 시간에서 약 2초분씩 다중화된 비트 스트림이 저장된 소정의 포맷의 AV 파일을 작성하여, 기록부/통신부(1005)(도 33)에 공급한다.
다음으로, 도 35는, 도 33의 Fy 파일 작성부(1004)의 구성예를 도시한다.
Fy 파일 작성부(1004)는, 데이터 축소부(1021), 변화량 산출부(1022), 표시 타입 결정부(1023), 선택부(1024), 및 파일 작성부(1025)로 구성되어 있다.
데이터 축소부(1021)에는, 화상 처리부(1001)(도 33)로부터, 프레임 단위의 화상 데이터가 공급된다. 데이터 축소부(1021)는, 화상 처리부(1001)로부터의 프레임 단위의 화상 데이터의 화소수를 씨닝하고, 그 결과 얻어지는 화소수가 적은 화상 데이터를, 변화량 산출부(1022)에 공급한다.
즉, 데이터 축소부(1021)는, 화상 처리부(1001)로부터의 화상 데이터의 프레임의 가로와 세로의 화소수가, 각각, 예를 들면, 1/8로 되도록 씨닝을 행한다.
따라서, 화상 처리부(1001)(도 33)로부터 데이터 축소부(1021)에 공급되는 화상 데이터의 프레임이, 예를 들면, 가로×세로가 720×480화소로 구성되는 것으로 하면, 데이터 축소부(1021)는, 예를 들면, 도 36에 도시하는 바와 같이, 화상 처리부(1001)로부터의 720×480화소의 화상 데이터의 화소를 씨닝함으로써, 가로와 세로의 화소수가 각각 1/8인 90×60화소의 화상 데이터로 한다.
즉, 데이터 축소부(1021)는, 화상 처리부(1001)로부터의 720×480화소의 화상 데이터를, 예를 들면, 가로×세로가 8×8화소인 블록으로 분할하고, 그 블록을 구성하는 화소의 화소값의 평균값 등을, 블록에 할당함으로써, 90×60화소의 화상 데이터를 생성한다.
여기에서, 데이터 축소부(1021)에서, 화상 처리부(1001)로부터의 화상 데이터의 화소수를 적게 하는 것은, 데이터량을 저감하여, 그 후의 처리의 부담을 경감하기 위해서이며, Fy 파일 작성부(1004)가 충분한 성능을 가져서, 처리의 부담을 경감할 필요가 없는 경우에는, 데이터 축소부(1021)에서, 화상 처리부(1001)로부터의 화상 데이터를, 그대로, 후단의 변화량 산출부(1022)에 공급하는 것, 혹은, 데이터 축소부(1021)를 설치하지 않고, Fy 파일 작성부(1004)를 구성할 수 있다.
변화량 산출부(1022)는, 데이터 축소부(1021)로부터 공급되는 화상 데이터의 변화의 정도를 나타내는 변화량을, 프레임 단위로 구하고, 시계열로, 표시 타입 결정부(1023)와 선택부(1024)에 공급한다. 또한, 변화량 산출부(1022)에서는, 프레임 단위의 변화량으로서, 시간적인 변화의 정도를 나타내는 변화량(이하, 적절하게, 시간 변화량이라고 함)과, 공간적인 변화를 나타내는 변화량(이하, 적절하게, 공간 변화량이라고 함) 중 한쪽, 또는 양쪽을 구할 수 있다.
여기에서, 시간 변화량이란, 시간 방향의 화상의 변화의 정도를 나타내고, 예를 들면, 임의의 프레임의 시간 변화량은, 그 프레임과, 그 프레임의 1프레임 전 의 프레임 간의 화상의 변화의 정도, 즉, 화상의 움직임의 정도를 나타낸다. 따라서, 시간 변화량을, 이하, 적절하게, 움직임 정보라고도 한다.
또한, 공간 변화량이란, 공간 방향의 화상의 변화의 정도를 나타내고, 예를 들면, 임의의 프레임의 공간 변화량이란, 그 프레임을 구성하는 화소의 화소값의 변화의 정도, 즉, 화상의 세밀함(복잡함)을 나타낸다. 따라서, 공간 변화량을, 이하, 적절하게, 세밀함 정보라고도 한다.
표시 타입 결정부(1023)는, 변화량 산출부(1022)로부터 시계열로 공급되는 프레임 단위의 변화량에 기초하여, 그 프레임을 표시할 때의 표시 방법을 나타내는 표시 타입을, 프레임 단위로 결정하고, 선택부(1024)에 공급한다. 여기에서, 표시 타입의 상세에 대해서는, 후술한다.
선택부(1024)는, 변화량 산출부(1022)로부터 공급되는 프레임 단위의 변화량과, 표시 타입 결정부(1023)로부터 공급되는 프레임 단위의 표시 타입 중 어느 한쪽, 또는 양쪽을 선택하여, 파일 작성부(1025)에 공급한다.
여기에서, 선택부(1024)에서, 어떤 선택을 행할지는, 예를 들면, 미리 설정해 두는 것, 혹은, 오퍼레이터의 조작에 따라서 결정하는 것 등이 가능하다. 또한, 선택부(1024)에서, 변화량 산출부(1022)로부터 공급되는 프레임 단위의 변화량만을, 말하자면 고정적으로 선택하는 경우에는, Fy 파일 작성부(1004)는, 표시 타입 결정부(1023) 및 선택부(1024)를 설치하지 않고 구성할 수 있다.
파일 작성부(1025)는, 선택부(1024)로부터 공급되는, 프레임 단위의 변화량과 표시 타입 중 한쪽, 또는 양쪽을 저장한 소정의 포맷 Fy 파일을 작성하여, 기록 부/통신부(77)(도 33)에 공급한다.
다음으로, 도 37의 플로우차트를 참조하여, 도 35의 Fy 파일 작성부(1004)가 행하는 처리(Fy 파일 작성 처리)에 대해서 설명한다.
우선 최초로, 스텝 S1001에서, 데이터 축소부(1021)는, 화상 처리부(1001)(도 33)로부터의 화상 데이터의 화소수를 씨닝하는 데이터 축소를 필요에 따라서 행하고, 그 결과 얻어지는 화상 데이터를, 변화량 산출부(1022)에 공급하고, 스텝 S1002로 진행한다.
스텝 S1002에서는, 변화량 산출부(1022)가, 데이터 축소부(1021)로부터의 화상 데이터를 이용하여, 화상 처리부(1001)(도 33)로부터의 화상 데이터의 변화의 정도를 나타내는 변화량을, 프레임 단위로 구하고, 시계열로, 표시 타입 결정부(1023)와 선택부(1024)에 공급하고, 스텝 S1003으로 진행한다.
스텝 S1003에서는, 표시 타입 결정부(1023)가, 변화량 산출부(1022)로부터의 프레임 단위의 변화량에 기초하여, 그 프레임을 표시할 때의 표시 방법을 나타내는 표시 타입을, 프레임 단위로 결정하여, 선택부(1024)에 공급하고, 스텝 S1004로 진행한다.
스텝 S1004에서는, 선택부(1024)가, 변화량 산출부(1022)로부터 공급되는 프레임 단위의 변화량과, 표시 타입 결정부(1023)로부터 공급되는 프레임 단위의 표시 타입 중 어느 한쪽, 또는 양쪽을 선택하고, 파일 작성부(1025)에 공급하고, 스텝 S1005로 진행한다.
스텝 S1005에서는, 파일 작성부(1025)가, 선택부(1024)로부터 공급되는, 프 레임 단위의 변화량과 표시 타입 중 한쪽, 또는 양쪽을 저장한 소정의 포맷 Fy 파일을 작성하고, 기록부/통신부(1005)(도 33)에 공급하고, 처리를 종료한다.
다음으로, 도 38은, 도 35의 변화량 산출부(1022)의 구성예를 도시하고 있다.
전술한 바와 같이, 변화량 산출부(1022)에서는, 프레임 단위의 변화량으로서, 시간적인 변화의 정도를 나타내는 움직임 정보(시간 변화량)와, 공간적인 변화를 나타내는 세밀함 정보(공간 변화량) 중 한쪽, 또는 양쪽을 구할 수 있다.
도 38의 위로부터 1번째는, 프레임 단위의 변화량으로서, 움직임 정보만을 구하는 경우의 변화량 산출부(1022)의 구성예를 도시하고 있고, 도 38의 위로부터 2번째는, 프레임 단위의 변화량으로서, 세밀함 정보만을 구하는 경우의 변화량 산출부(1022)의 구성예를 도시하고 있다. 또한, 도 38의 위로부터 3번째(아래로부터 1번째)은, 프레임 단위의 변화량으로서, 움직임 정보와 세밀함 정보의 양쪽을 구하는 경우의 변화량 산출부(1022)의 구성예를 도시하고 있다.
도 38의 위로부터 1번째의 변화량 산출부(1022)는, 움직임 정보 산출부(1031)를 가지며, 도 38의 위로부터 2번째의 변화량 산출부(1022)는, 세밀함 정보 산출부(1032)를 갖는다. 또한, 도 38의 위로부터 3번째의 변화량 산출부(1022)는, 움직임 정보 산출부(1031)와 세밀함 정보 산출부(1032)를 갖는다.
그리고, 움직임 정보 산출부(1031)와 세밀함 정보 산출부(1032)에는, 데이터 축소부(1021)(도 35)로부터의 화상 데이터가 공급된다.
움직임 정보 산출부(1031)는, 데이터 축소부(1021)로부터의 화상 데이터를 이용하여, 프레임 단위로 세밀함 정보를 구하고 출력한다. 세밀함 정보 산출부(1032)는, 데이터 축소부(1021)로부터의 화상 데이터를 이용하여, 프레임 단위로 세밀함 정보를 구하고 출력한다.
다음으로, 도 39을 참조하여, 도 38의 움직임 정보 산출부(1031)에서 구해지는 프레임 단위의 움직임 정보에 대해서 설명한다.
움직임 정보 산출부(1031)는, 예를 들면, 도 39에 도시하는 바와 같이, 임의의 동화상을 구성하는 시계열의 프레임 중 선두로부터 i번째의 프레임인 제i 프레임의 움직임 정보로서, 그 1 프레임 전의 제i-1 프레임으로부터 제i 프레임까지의 화상의 변화량을 구한다. 또한, 이 경우, 제1 프레임의 움직임 정보는, 존재하지 않는 것으로 된다. 단, 제1 프레임의 움직임 정보로서는, 예를 들면, 제2 프레임의 움직임 정보와 동일한 움직임 정보를 채용할 수 있다. 혹은, 제0 프레임의 화상이, 화소값이 모두 0인 화상, 또는 제1 프레임과 동일한 화상인 것으로 하여, 제1 프레임의 움직임 정보를 구할 수 있다.
다음으로, 도 40은, 도 38의 움직임 정보 산출부(1031)의 구성예를 도시하고 있다.
도 40에서, 움직임 정보 산출부(1031)는, 움직임 벡터 검출부(1041)와 통계량 산출부(1042)로 구성되어 있다.
움직임 벡터 검출부(1041)에는, 데이터 축소부(1021)(도 35)로부터의 화상 데이터가 공급된다. 움직임 벡터 검출부(1041)는, 데이터 축소부(1021)로부터의 화상 데이터의 프레임을, 순차적으로, 주목 프레임으로 하고, 주목 프레임의 1프레 임 전의 프레임(이하, 적절하게, 전프레임이라고 함)을, 예를 들면, 16×16화소의 블록(MPEG에서의 매크로 블록)으로 분할한다. 또한, 움직임 벡터 검출부(1041)는, 전프레임의 각 매크로 블록에 대해서, 전 프레임으로부터 주목 프레임을 향하는 움직임을 나타내는 움직임 벡터를 구하고, 통계량 산출부(1042)에 공급한다.
통계량 산출부(1042)는, 움직임 벡터 검출부(1041)로부터의, 전프레임의 매크로 블록에 대해서 구해진 움직임 벡터의 통계량을 구하고, 주목 프레임의 움직임 정보로서 출력한다.
도 41을 참조하여, 도 40의 움직임 정보 산출부(1031)의 처리에 대해서, 또한 설명한다.
움직임 정보 산출부(1031)에서는, 움직임 벡터 검출부(1041)가, 전프레임을 16×16화소의 매크로 블록으로 분할하고, 전프레임의 각 매크로 블록에 대해서, 그 매크로 블록에 가장 유사한 주목 프레임의 16×16화소의 블록(이하, 유사 블록이라고 함)을 검출한다. 그리고, 움직임 벡터 검출부(1041)는, 매크로 블록의, 예를 들면, 왼쪽 위를 시점으로 함과 함께, 유사 블록의 왼쪽 위를 종점으로 하는 벡터 를, 매크로 블록의 움직임 벡터 ΔF0(h, v)로서 구한다.
지금, 전프레임의 왼쪽으로부터 h번째이고, 위로부터 V번째의 매크로 블록의 위치를 F0(h, v)로 나타냄과 함께, 매크로 블록 F0(h, v)로부터, 그 매크로 블록 F0(h, v)의 움직임 벡터 ΔF0(h, v)만큼 이동한 위치의 주목 프레임의 16×16화소의 블록, 즉, 유사 블록의 위치를 F1(h, v)로 나타내는 것으로 하면, 매크로 블록 F0(h, v)의 움직임 벡터 ΔF0(h, v)는, 식 ΔF0(h, v)=F1(h, v)-F0(h, v)로 나타낸 다.
통계량 산출부(1042)는, 전프레임의 매크로 블록에 대해서 구해진 움직임 벡터의 통계량으로서, 예를 들면, 전프레임의 모든 매크로 블록의 움직임 벡터 ΔF0(h, v)의 크기 |ΔF0(h, v)|의 총합 D0=Σ|ΔF0(h, v)|를 구하고, 이 총합 D0을, 주목 프레임의 움직임 정보로서 출력한다.
또한, 총합 D0=Σ|ΔF0(h, v)|에서의 써메이션 Σ은, h를, 1부터, 전프레임의 가로 방향의 매크로 블록의 수까지로 바꿈과 함께, V를, 1부터, 전프레임의 세로 방향의 매크로 블록의 수까지로 바꾼 써메이션을 나타낸다.
여기에서, 전프레임의 각 매크로 블록 F0(h, v)의 움직임 벡터 ΔF0(h, v)의 크기가 크면, 그 합인 움직임 정보 D0도 커진다. 따라서, 주목 프레임의 움직임 정보 D0이 큰 경우에는, 주목 프레임의 화상의 움직임도 크다(심하다)고 하는 것으로 된다.
또한, 전술한 경우에는, 전프레임의 매크로 블록에 대해서 구해진 움직임 벡터의 통계량으로서, 전프레임의 모든 매크로 블록의 움직임 벡터 ΔF0(h, v)의 크기 |ΔF0(h, v)|의 총합 D0=|ΔF0(h, v)|를 구하도록 했지만, 전프레임의 매크로 블록에 대해서 구해진 움직임 벡터의 통계량으로서는, 그 밖에, 예를 들면, 전프레임의 매크로 블록에 대해서 구해진 움직임 벡터의 분산을 채용하는 것이 가능하다.
이 경우, 통계량 산출부(1042)에서는, 전프레임의 모든 매크로 블록의 움직임 벡터 ΔF0(h,v)의 평균값 Δave가 구해지고, 전프레임의 모든 매크로 블록 F0(h, v)의 움직임 벡터 ΔF0( h, v)의 분산 σ0이, 예를 들면, 식 σ0=Σ(ΔF0(h, v)―Δave)2를 연산함으로써 구해진다.
또한, 분산 σ0=Σ(ΔF0(h, v)―Δave)2에서의 써메이션 Σ은, h를, 1부터, 전프레임의 가로 방향의 매크로 블록의 수까지로 변화시킴과 함께, V를, 1부터, 전프레임의 세로 방향의 매크로 블록의 수까지로 변화시킨 써메이션을 나타낸다.
분산 σ0도, 총합 D0과 마찬가지로, 주목 프레임의 화상의 움직임이 크면(심하면) 커진다.
여기에서, 도 34의 본선 화상 인코더(1011V)에서, 화상 데이터의 부호화가 행해지는 경우에, 움직임 벡터 ΔF0(h, v)가 구해질 때에는, 통계량 산출부(1042)(도 40)는, 본선 화상 인코더(1011V)에서 구해지는 움직임 벡터 ΔF0(h, v) 를 이용하여, 전술한 바와 같은 통계량을 구할 수 있다. 이 경우, 도 40의 움직임 정보 산출부(1031)는, 움직임 벡터 검출부(1041)를 설치하지 않고 구성할 수 있다.
다음으로, 도 42는, 도 38의 움직임 정보 산출부(1031)의 다른 구성예를 도시하고 있다.
도 42에서, 움직임 정보 산출부(1031)는, 히스토그램 작성부(1051), 히스토그램 기억부(1052), 및 차분 연산부(1053)로 구성되어 있다.
히스토그램 작성부(1051)에는, 데이터 축소부(1021)(도 35)로부터의 화상 데이터가 공급된다. 히스토그램 작성부(1051)는, 데이터 축소부(1021)로부터의 화상 데이터의 프레임을, 순차적으로, 주목 프레임으로 하고, 주목 프레임의 화소값의, 말하자면 간략적인 히스토그램을 작성하여, 주목 프레임의 히스토그램으로서, 히스토그램 기억부(1052)와 차분 연산부(1053)에 공급한다.
히스토그램 기억부(1052)는, 히스토그램 작성부(1051)로부터 공급되는 주목 프레임의 히스토그램을 기억한다. 여기에서, 히스토그램 기억부(1052)는, 적어도, 2프레임분의 히스토그램을 기억할 수 있을 만큼의 기억 용량을 가지고 있고, 히스토그램 작성부(1051)로부터 공급되는 금회의 주목 프레임의 히스토그램과, 전회의 주목 프레임, 즉, 전프레임의 히스토그램을 기억한다.
차분 연산부(1053)는, 히스토그램 작성부(1051)로부터 공급되는 주목 프레임의 히스토그램과, 히스토그램 기억부(1052)에 기억된 전프레임의 히스토그램의, 후술하는 차분 절대값 합을 구하고, 주목 프레임의 움직임 정보로서 출력한다.
도 43을 참조하여, 도 42의 움직임 정보 산출부(1031)의 처리에 대해서, 또한 설명한다.
데이터 축소부(1021)(도 35)로부터 히스토그램 작성부(1051)에 공급되는 화상 데이터의 화소값이, 예를 들면, 0 내지 255의 정수값이 표현 가능한 8비트로 나타내는 것으로 하면, 히스토그램 작성부(1051)는, 0 내지 255의 범위를, 예를 들면, 0 내지 31, 32 내지 63, 64 내지 95, 96 내지 127, 128 내지 159, 160 내지 191, 192 내지 223, 224 내지 255의 8개의 소범위로 8등분하고, 각 소범위에 포함되는 화소값의 도수를 구함으로써, 주목 프레임의 간략적인 히스토그램을 작성한다.
예를 들면, 지금, 제i+1 프레임이 주목 프레임인 것으로 하면, 차분 연산부(1053)에서는, 도 43에 도시하는 바와 같이, 주목 프레임인 제i+1 프레임과, 전 프레임인 제i 프레임과의 히스토그램의 동일한 소범위의 도수끼리의 차분값의 절대 값 Δ(도 43에서 그림자를 붙여서 나타내는 부분)이 구해진다. 또한, 차분 연산부(1053)에서는, 히스토그램의 8개의 소범위에 대해서 구해진 도수의 차분값의 절대값의 총합(차분 절대값 합) ΣΔ이 구해지고, 주목 프레임의 움직임 정보로서 출력된다.
여기에서, 주목 프레임의 움직임이 큰(심한) 경우에는, 주목 프레임의 화소값의 도수 분포는, 전프레임의 화소값의 도수 분포와 서로 다른 것으로 된다. 따라서, 주목 프레임의 차분 절대값 합 ΣΔ이 큰 경우에는, 주목 프레임의 화상의 움직임도 크다(심하다)고 하는 것으로 된다.
다음으로, 도 44는, 도 38의 세밀함 정보 산출부(1032)의 구성예를 도시하고 있다.
도 44에서, 세밀함 정보 산출부(1032)는, DCT(Discrete Cosine Transform) 변환부(1061), 가중 계수 산출부(1062), 및 적산부(1063)로 구성되어 있다.
DCT 변환부(1061)에는, 데이터 축소부(1021)(도 35)로부터의 화상 데이터가 공급된다. DCT 변환부(1061)는, 데이터 축소부(1021)로부터의 화상 데이터의 프레임을, 순차적으로, 주목 프레임으로 하고, 주목 프레임을, 예를 들면, 8×8화소의 블록으로 분할한다. 또한 DCT 변환부(1061)는, 주목 프레임의 각 블록을 DCT 변환하고, 각 블록에 대해서 얻어지는 8×8개의 DCT 계수를, 적산부(1063)에 공급한다.
가중 계수 산출부(1062)는, 블록의 8×8개의 DCT 계수 각각에 부여하는 가중값을 구하고, 적산부(1063)에 공급한다.
적산부(1063)는, DCT 변환부(1061)로부터 공급되는 블록의 8×8개의 DCT 계 수 각각에, 가중 계수 산출부(1062)로부터 공급되는 가중값을 부여하여 적산하여, 적산값을 구한다. 또한, 적산부(1063)는, 주목 프레임의 각 블록에 대해서 구해진 적산값의 총합을 구하고, 주목 프레임의 세밀함 정보로서 출력한다.
도 45를 참조하여, 도 44의 세밀함 정보 산출부(1032)의 처리에 대해서, 또한 설명한다.
도 45 왼쪽은, DCT 변환의 기저 화상을 도시하고 있다. 기저 화상은, 8×8개의 패턴(주파수 성분)으로 이루어지고, 우측의 패턴일수록, 또한 하측의 패턴일수록, 높은 주파수 성분의 패턴으로 된다.
블록의 8×8개의 DCT 계수 중, 왼쪽으로부터 i(i=1, 2, …, 8)번째이고, 위로부터 j(j=1, 2, …, 8)번째의 DCT 계수 Fi-1, j-1은, 기저 화상의 왼쪽으로부터 i번째이고, 위로부터 j번째의 패턴의 주파수 성분이 블록에 포함되어 있을 정도(정도)를 나타낸다.
도 45 오른쪽은, 도 44의 가중 계수 산출부(1062)가 산출하는 가중값 Gi-1, j-1을 나타내고 있다.
가중값 Gi-1, j-1은, DCT 계수 Fi-1, j-1에 부여하는 가중값이며, 가중 계수 산출부(1062)는, 가중값 Gi-1, j-1을, 예를 들면, 식 Gi-1, j-1=i×j에 따라서 구한다. 따라서, 가중 계수 산출부(1062)에서는, 높은 주파수 성분의 DCT 계수 Fi-1, j-1에 부여하는 가중값 Gi-1, j-1일수록, 큰 값의 가중값이 구해진다.
도 44의 적산부(1063)는, DCT 변환부(1061)로부터 공급되는 블록의 DCT 계수 Fi-1, j-1에, 가중 계수 산출부(1062)로부터 공급되는 가중값 Gi-1, j-1을 승산하 고, 승산값 Gi-1, j-1×Fi-1, j-1을 구한다. 그리고, 적산부(1063)는, 블록의 8×8개의 DCT 계수 Fi-1, j-1 각각에 대해서 얻어지는 승산값 Gi-1, j-1×Fi-1, j-1을 적산하여, 적산값 V=ΣGi-1, j-1×Fi-1, j-1을 구한다. 여기에서, 적산값 V=Σ Gi-1, j-1×Fi-1, j-1에서의 써메이션 Σ은, i, j를, 각각, 1부터 8까지로 바꾼 써메이션을 나타낸다.
또한, 적산부(1063)는, 주목 프레임의 모든 블록에 대해서 얻어진 적산값 V의 총합 K를 구하고, 주목 프레임의 세밀함 정보로서 출력한다.
여기에서, 주목 프레임에 고주파 성분이 포함될수록, 적산값 V의 총합 K인 세밀함 정보는 커지기 때문에, 주목 프레임의 화상이 세밀한(복잡한) 화상이다라고 하게 된다.
다음으로, 도 46은, 도 38의 세밀함 정보 산출부(1032)의 다른 구성예를 도시하고 있다.
도 46에서, 세밀함 정보 산출부(1032)는, 평균값 산출부(1071), 차분값 연산부(1072), 및 적산부(1073)로 구성되어 있다.
평균값 산출부(1071)과 차분값 연산부(1072)에는, 데이터 축소부(1021)(도 35)로부터의 화상 데이터가 공급된다. 평균값 산출부(1071)는, 데이터 축소부(1021)로부터의 화상 데이터의 프레임을, 순차적으로, 주목 프레임으로 하고, 주목 프레임을, 예를 들면, 도 47에 도시하는 바와 같이, 8×8화소의 블록으로 분할한다. 또한, 평균값 산출부(1071)는, 주목 프레임의 각 블록의 화소값의 평균값을 구하고, 차분값 연산부(1072)에 공급한다.
여기에서, 8×8화소의 블록의 래스터 스캔순으로, k번째의 화소의 화소값을 Pk로 나타내는 것으로 하면, 평균값 산출부(1071)는, 평균값 Pave를, 식 Pave=1/(8×8)×ΣPk에 따라서 구한다. 또한, 평균값 Pave=1/(8×8)ΣPk에서의 써메이션 Σ은, k를, 1부터 8×8(=64)까지로 바꾼 써메이션을 나타낸다.
차분값 연산부(1072)는, 평균값 산출부(1071)와 마찬가지로, 주목 프레임을, 8×8화소의 블록으로 분할하고, 블록의 각 화소값 Pk와, 평균값 산출부(1071)로부터 공급되는, 그 블록의 화소값의 평균값 Pave와의 차분값의 절대값 |Pk-Pave|를 구하고, 적산부(1073)에 공급한다.
적산부(1073)는, 차분값 연산부(1072)로부터 공급되는 블록의 각 화소에 대해서 구해진 차분값의 절대값 |Pk-Pave|를 적산하여, 적산값 Q=Σ|Pk-Pave|를 구한다. 여기에서, 적산값 Q=Σ|Pk-Pave|에서의 써메이션 Σ은, k를, 1부터 8×8(=64)까지로 바꾼 써메이션을 나타낸다.
또한, 적산부(1073)는, 주목 프레임의 모든 블록에 대해서 얻어진 적산값 Q의 총합을 구하고, 주목 프레임의 세밀함 정보로서 출력한다.
또한, 주목 프레임에 대해서 구해지는, 적산값 Q의 총합은, 인트라 AC(Intra-AC)라고 불리는 것으로, 그 값이 클수록, 주목 프레임에서의 화소값에 변동이 크다. 따라서, 적산값 Q의 총합인 세밀함 정보가 클수록, 주목 프레임의 화상이 세밀한(복잡한) 화상이다라고 하는 것으로 된다.
여기에서, 본 실시 형태에서는, 전술한 움직임 정보나 세밀함 정보라고 하는 변화량은, 후술하는 바와 같이, 스크럽(을 포함하는 변속 재생)에 이용되는데, 변 화량은, 그 밖의, 예를 들면, 씬 체인지를 검출하는 경우나, MPEG 부호화의 효율화를 도모하는 경우 등에 이용할 수 있다.
다음으로, 도 48 내지 도 54를 참조하여, 도 35의 표시 타입 결정부(1023)에 대해서 설명한다.
도 48은, 변화량 산출부(1022)(도 35)에서 구해지는 프레임마다 변화량을 나타내고 있다. 또한, 도 48에서, 가로축은 프레임(선두로부터 몇 번째의 프레임인가)을 나타내고, 세로축은 변화량을 나타낸다.
지금, 변화량이, 예를 들면, 움직임 정보인 것으로 하면, 움직임이 심한(큰) 프레임에서는, 변화량도 커지고, 움직임이 없는(적은) 프레임에서는, 변화량은 작아진다.
표시 타입 결정부(1023)(도 35)는, 변화량 산출부(1022)에서 구해지는, 도 48에 도시하는 바와 같은 프레임 단위의 변화량에 기초하여, 각 프레임을 표시할 때의 표시 방법을 나타내는 표시 타입을, 복수의 표시 타입 중에서 결정한다.
도 49는, 표시 타입 결정부(1023)가 결정하는 표시 타입의 예를 나타내고 있다.
도 49에서는, 표시 타입으로서, 정지 화상에서의 표시를 나타내는 정지 화상 타입 V1, 및, 프레임을 표시할 때의 해상도나 프레임을 표시할 때의 표시 레이트(프레임 레이트)가 서로 다른 통상 타입 V2, 및 고표시 레이트 저해상도 타입 V3의 3개가 있다.
여기에서, 프레임을 표시할 때의 해상도란, 디스플레이(40)(도 1) 등의 표시 장치에 표시되는 화상의 공간 해상도를 의미한다. 예를 들면, 본선 데이터와 프록시 데이터 각각으로서의 화상 데이터에 대해서는, 본선 데이터 쪽이 해상도가 높고, 프록시 데이터 쪽이 해상도가 낮다.
또한, 프레임을 표시할 때의 표시 레이트란, 디스플레이(40) 등의 표시 장치에서 표시를 갱신하는 주파수(주기)를 의미한다. 예를 들면, 동화상의 프레임 레이트(예를 들면, 30Hz 등)와 동일한 표시 레이트로 표시를 갱신함과 함께, 표시 대상의 프레임을, 프레임 레이트와 동일한 레이트로, 임의의 프레임으로부터 그 다음의 프레임(임의의 프레임의 시간적으로 다음의 프레임)으로 갱신하면, 동화상이 1배속으로 표시된다.
또한, 예를 들면, 동화상의 프레임 레이트의 2배의 표시 레이트로 표시를 갱신함과 함께, 표시 대상의 프레임을, 프레임 레이트의 2배의 레이트로, 임의의 프레임으로부터 그 다음의 프레임으로 갱신하면, 동화상이 2배속으로 표시된다.
또한, 예를 들면, 동화상의 프레임 레이트와 동일한 표시 레이트로 표시를 갱신함과 함께, 표시 대상의 프레임을, 프레임 레이트의 2배의 레이트로, 임의의 프레임으로부터 그 다음의 프레임으로 갱신하면, 동화상은, 역시, 2배속으로 표시된다.
단, 동화상의 프레임 레이트의 2배의 표시 레이트로 표시를 갱신함과 함께, 표시 대상의 프레임을, 프레임 레이트의 2배의 레이트로 갱신하는 경우에는, 동화상을 구성하는 프레임이, 말하자면 코마 드롭하지 않고 모두 표시되지만, 동화상의 프레임 레이트와 동일한 표시 레이트로 표시를 갱신함과 함께, 표시 대상의 프레임 을, 프레임 레이트의 2배의 레이트로 갱신하는 경우에는, 동화상을 구성하는 프레임이 1프레임 걸러서 표시되는 코마 드롭 상태로 된다.
따라서, 표시 대상의 프레임이, 프레임 레이트보다도 높은 레이트로 갱신되는 경우에는, 표시 레이트를 높게 함으로써, 코마 드롭을 방지(저감)할 수 있다.
정지 화상 타입 V1인 프레임에 대해서는, 예를 들면, 표시 대상의 프레임이 변경되어도, 그 표시 대상의 프레임의 화상이, 직전에 표시된 프레임(의 화상)과 동일한 화상이라고 간주할 수 있는 한, 직전에 표시된 프레임(의 화상)이 표시된다(계속 표시된다).
통상 타입 V2의 프레임에 대해서는, 예를 들면, 동화상의 프레임 레이트와 동일한 표시 레이트(이하, 적절히, 통상 레이트라고 함)로, 본선 데이터로서의 화상 데이터와 동일한 해상도(프록시 데이터로서의 화상 데이터보다도 높은 해상도)(이하, 적절하게, 통상 해상도라고 함)로, 화상이 표시된다.
고표시 레이트 저해상도 타입 V3인 프레임에 대해서는, 예를 들면, 통상 레이트보다도 높은, 예를 들면, 통상 레이트의 2배의 표시 레이트로, 프록시 데이터로서의 화상 데이터와 동일한 해상도(본선 데이터로서의 화상 데이터보다도 낮은 해상도)로, 화상이 표시된다.
표시 타입으로서, 도 49에 도시하는 바와 같이, 3개의 정지 화상 타입 V1, 통상 타입 V2, 및 고표시 레이트 저해상도 타입 V3이 있는 경우, 변화량 산출부(1022)에서는, 프레임의 시간적인 변화의 정도를 나타내는 움직임 정보가, 변화량으로서 구해진다. 그리고, 표시 타입 결정부(1023)는, 예를 들면, 각 프레임의 변화량(움직임 정보)과, 2개의 소정의 임계값을 비교하고, 그 비교의 결과에 기초하여, 프레임의 표시 타입을, 정지 화상 타입 V1, 통상 타입 V2, 또는 고표시 레이트 저해상도 타입 V3 중 어느 하나로 결정한다.
즉, 도 50은, 도 48에 도시한 프레임 단위의 변화량에 기초하여, 표시 타입 결정부(1023)가 프레임 단위로 결정하는 표시 타입을 나타내고 있다.
표시 타입 결정부(1023)는, 프레임 단위의 변화량(움직임 정보)을, 식 L<H의 관계가 있는 임계값 L 또는 임계값 H와 비교한다. 그리고, 표시 타입 결정부(1023)는, 움직임 정보가 임계값 H 이상인 프레임, 즉, 움직임 정보가 시간적인 변화의 정도가 대인 것을 나타내는 프레임의 표시 타입을, 낮은 해상도, 또는 높은 표시 레이트의 저해상도/고표시 레이트 타입의 일종인 고표시 레이트 저해상도 타입 V3으로 결정한다.
여기에서, 예를 들면, 편집에서 행해지는 스크럽에서, 시간적인 변화의 정도가 큰 프레임, 즉, 움직임이 큰 프레임의 표시에서 코마 드롭이 생기면, 화상의 시간적인 변화를 놓치기 쉬워지기 때문에, 움직임이 큰 프레임은, 높은 표시 레이트로 표시하는 것이 바람직하다.
그러나, 표시 레이트를 높게 하면, 스크럽을 행하는 장치에 걸리는 부담이 커진다. 또한, 움직임이 큰 프레임의 데이터량은 많기 때문에, 그 처리의 부담은, 움직임이 크지 않은 프레임의 처리의 부담보다도 크다.
따라서, 본 실시 형태에서는, 움직임이 큰 프레임에 대해서는, 높은 표시 레이트로 표시하지만, 그 대신에, 해상도가 낮은 화상을 표시하는 저해상도/고표시 레이트 타입의 일종인 고표시 레이트 저해상도 타입 V3을 채용하는 것으로 한다. 해상도가 낮은 화상은, 해상도가 높은 화상에 비교하여, 데이터량이 적기 때문에, 움직임이 큰 프레임에 대해서, 낮은 해상도의 화상을, 높은 표시 레이트로 표시함으로써, 편집에서 화상의 시간적인 변화를 놓치는 것을 방지하면서, 스크럽을 행하는 장치에 걸리는 부담을 저감할 수 있다.
한편, 표시 타입 결정부(1023)는, 움직임 정보가 임계값 L 미만인 프레임, 즉, 움직임 정보가 시간적인 변화의 정도가 소인 것을 나타내는 프레임의 표시 타입을, 정지 화상에서의 표시를 나타내는 정지 화상 타입 V1로 결정한다.
여기에서, 예를 들면, 편집에서 행해지는 스크럽에서, 시간적인 변화의 정도가 소인 프레임, 즉, 움직임이 없는(거의 없는) 프레임이 연속하고 있는 경우에, 그와 같은 프레임 내에서, 표시 대상의 프레임이 갱신되었을 때에, 디스플레이(40)(도 1) 등의 표시 장치의 표시를, 직전에 표시된 프레임(의 화상)으로부터, 갱신 후의 표시 대상의 프레임(의 화상)으로 변경하여도, 표시 장치에 표시되는 화상은 (거의) 변화하지 않는다.
이와 같이, 표시 장치에 표시되는 화상이 변화되지 않는 것임에도 불구하고, 표시 대상의 프레임이 갱신되었을 때에, 표시 장치의 표시를, 직전에 표시된 프레임으로부터, 갱신 후의 표시 대상의 프레임으로 변경하는 것은, 스크럽을 행하는 장치에, 말하자면 불필요한 부담을 주게 된다.
또한, 움직임이 없는(거의 없는) 프레임이 연속하고 있는 경우에, 그와 같은 프레임 내에서, 표시 대상의 프레임이 갱신되었을 때에, 디스플레이(40)(도 1) 등 의 표시 장치의 표시를, 직전에 표시된 프레임으로부터, 갱신 후의 표시 대상의 프레임으로 변경하면, 표시 장치에 표시되는 화상이 약간 변화되는 경우가 있다. 이 경우, 움직임이 없는 프레임이 연속하고, 편집점으로서 설정되는 경우가 거의 없는 프레임의 구간에서, 스크럽을 행하는 장치를 조작하는 오퍼레이터의 주의를, 말하자면 불필요하게 끌게 되어, 오퍼레이터에게 부담을 주게 된다.
따라서, 본 실시 형태에서는, 움직임이 없는 프레임에 대해서는, 표시 대상의 프레임이 변경되어도, 그 표시 대상의 프레임의 화상이, 직전에 표시 프레임과 동일한 화상이라고 간주할 수 있는 한, 직전에 표시된 프레임(의 화상)이 표시되는 정지 화상 타입 V1을 채용하는 것으로 한다. 이에 의해, 스크럽을 행하는 장치나, 그 조작을 행하는 오퍼레이터에게 불필요한 부담을 주는 것을 방지할 수 있다.
표시 타입 결정부(1023)는, 움직임 정보가 임계값 H 이상인 프레임, 및 움직임 정보가 임계값 L 미만인 프레임 이외의 프레임, 즉, 움직임 정보가, 임계값 L 이상이고 임계값 H 미만인 프레임의 표시 타입을, 통상 타입 V2로 결정한다.
즉, 어느 정도의 움직임이 있지만, 그다지 큰 움직임은 아닌 프레임에 대해서는, 통상 레이트(동화상의 프레임 레이트와 동일한 표시 레이트)로, 또한, 통상 해상도로, 화상을 표시하는 통상 타입 V2가 채용된다.
여기에서, 동화상을 구성하는 시계열의 프레임(의 배열)에서, 표시 타입이 정지 화상 타입 V1인 프레임이 연속하는 구간을, 정지 화상 구간이라고 하고, 표시 타입이 통상 타입 V2인 프레임이 연속하는 구간을, 통상 구간이라고 한다. 또한, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 구간을, 고표시 레이트 저해상도 구간이라고 한다.
다음으로, 도 51은, 도 35의 표시 타입 결정부(1023)의 구성예를 도시하고 있다.
도 51에서, 표시 타입 결정부(1023)는, 기억부(1081), 임계값 처리부(1082), 연속성 판정부(1083), 및 결정부(1084)로 구성되어 있다.
기억부(1081)에는, 변화량 산출부(1022)(도 35)로부터 프레임 단위의 변화량이 공급된다. 기억부(1081)는, 변화량 산출부(1022)로부터의 프레임 단위의 변화량을 일시 기억한다.
임계값 처리부(1082)는, 기억부(1081)에 기억된 프레임 단위의 변화량과, 임계값 H 또는 L을 비교하고, 그 비교의 결과를 나타내는 비교 정보를, 프레임 단위로, 연속성 판정부(1083)와 결정부(1084)에 공급한다.
연속성 판정부(1083)는, 임계값 처리부(1082)로부터의 프레임 단위의 비교 정보에 기초하여, 임계값 H 이상의 변화량의 프레임이, 임의의 복수의 프레임수인 N프레임 이상 연속하는지의 여부와, 임계값 H 미만의 변화량의 프레임이, N프레임 이상 연속하는지의 여부 등을 판정하고, 그 판정 결과를 나타내는 판정 정보를, 결정부(1084)에 공급한다.
결정부(1084)는, 임계값 처리부(1082)로부터의 비교 정보나, 연속성 판정부(1083)로부터의 판정 정보에 기초하여, 동화상을 구성하는 각 프레임의 표시 타입을 결정하여 출력한다.
다음으로, 도 52 및 도 53의 플로우차트를 참조하여, 도 51의 표시 타입 결 정부(1023)의 처리에 대해서 설명한다.
표시 타입 결정부(1023)는, 변화량 산출부(1022)(도 35)로부터 프레임 단위의 변화량이 공급되면, 스텝 S1011에서, 그 프레임 단위의 변화량을, 기억부(1081)에 캐쉬(일시 기억)시키고, 스텝 S1012로 진행한다.
여기에서, 변화량 산출부(1022)로부터 표시 타입 결정부(1023)에는, 예를 들면, 움직임 정보가 변화량으로서 공급되는 것으로 한다. 또한, 표시 타입 결정부(1023)는, 예를 들면, 도 49에 도시한 정지 화상 타입 V1, 통상 타입 V2, 및 고표시 레이트 저해상도 타입 V3 중 3개 중에서, 각 프레임의 표시 타입을 결정하는 것으로 한다.
스텝 S1012에서는, 임계값 처리부(1082)가, 기억부(1081)에 기억된 프레임 단위의 변화량(움직임 정보)과, 임계값 H 또는 L(의 한쪽, 혹은 양쪽)을 비교하는 임계값 처리를 행하고, 프레임 단위의 변화량과, 임계값 H 또는 L의 비교의 결과를 나타내는 비교 정보를, 프레임 단위로, 연속성 판정부(1083)에 공급하고, 스텝 S1013으로 진행한다.
스텝 S1013에서는, 연속성 판정부(1083)가, 지금, Fy 파일 작성부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 중, 예를 들면, 아직, 주목 프레임으로 하고 있지 않은 시계열순으로 가장 선행하는 프레임을, 주목 프레임으로 선택하고, 스텝 S1014로 진행한다.
스텝 S1014에서는, 연속성 판정부(1083)가, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 H 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 이상인 프레임이, 전술한 복수 프레임수인 N프레임 이상 연속해서 존재하는지의 여부를 판정한다.
스텝 S1014에서, 주목 프레임의 변화량이 임계값 H 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 이상인 프레임이 N프레임 이상 연속해서 존재한다고 판정된 경우, 연속성 판정부(1083)는, 그 판정의 결과를 나타내는 판정 정보를, 결정부(1084)에 공급하고, 스텝 S1015로 진행한다.
스텝 S1015에서는, 결정부(1084)는, 연속성 판정부(1083)로부터의 판정 정보에 기초하여, 주목 프레임의 표시 타입을, 고표시 레이트 저해상도 타입 V3으로 결정하고, 스텝 S1020으로 진행한다.
여기에서, 스텝 S1014 및 S1015에 의하면, 주목 프레임의 변화량이 임계값 H 이상일뿐만 아니라, 또한, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 이상인 프레임이 N프레임 이상 연속해서 존재하는 경우에, 주목 프레임의 표시 타입이, 고표시 레이트 저해상도 타입 V3으로 결정되는데, 이것은, 다음과 같은 이유에 의한다.
즉, 후술하는 바와 같이, 표시 타입이 정지 화상 타입 V1, 통상 타입 V2, 및 고표시 레이트 저해상도 타입 V의 3개 중에서 결정되는 경우에는, 스크럽에서, 표시 타입이 정지 화상 타입 V1인 프레임과, 통상 타입 V2의 프레임에 대해서는, 해상도가 높은 화상(통상 해상도의 화상), 즉, (프록시 데이터보다도) 데이터량이 많은 본선 데이터의 화상 데이터를 처리하여 화상이 표시된다. 한편, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임에 대해서는, 해상도가 낮은 화상, 즉, (본선 데이터보다도) 데이터량이 적은 프록시 데이터의 화상 데이터를 처리하여 화상이 표시된다.
지금, 예를 들면, 기억 장치(22)(도 1)가, 본선 데이터와 프록시 데이터가 기록되는 프로페셔널 디스크인 경우에, 그 기억 장치(22)에 기록된 본선 데이터, 또는 프록시 데이터를 이용하여 스크럽을 행하는 것으로 하면, 표시 타입이 정지 화상 타입 V1 또는 통상 타입 V2인 프레임에 대해서는, 기억 장치(22)로부터 본선 데이터를 읽어낼 필요가 있고, 고표시 레이트 저해상도 타입 V3인 프레임에 대해서는, 기억 장치(22)로부터 프록시 데이터를 읽어낼 필요가 있다.
기억 장치(22)에서, 본선 데이터와 프록시 데이터는, 물리적으로 떨어진 위치에 기록되기 때문에, 예를 들면, 극단적으로는, 표시 타입이, 정지 화상 타입 V1 또는 통상 타입 V2인 프레임과, 고표시 레이트 저해상도 타입 V3인 프레임이 교대로 나타나면, 기억 장치(22)(에 기록된 데이터)를 대상으로 한 스크럽 시에, 시크가 빈번하게 발생하여, 스크럽을 행하는 장치의 성능에 따라서는, 스크럽 바(66)(도 3)의 조작에 의해 지정된 프레임의 표시를 스무즈하게 행하는 것이 곤란해지는 경우가 있다.
따라서, 본 실시 형태에서는, 시크가 빈번하게 발생하는 것을 방지하기 위해서, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임이, N프레임 이상 연속하고, 또한, 표시 타입이 정지 화상 타입 V1 또는 통상 타입 V2인 프레임도, N프레임 이상 연속하도록, 표시 타입이 결정된다.
즉, 예를 들면, 전술한 바와 같이, 스텝 S1014 및 S1015에서, 주목 프레임의 변화량이 임계값 H 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 이상인 프레임이 N프레임 이상 연속해서 존재하는 경우에, 주목 프레임의 표시 타입이, 고표시 레이트 저해상도 타입 V3으로 결정된다.
여기에서, 프레임수 N은, 예를 들면, 기억 장치(22)를 재생하는 드라이브(5) 등의 최대의 시크 시간이나, Fy 파일 작성부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임의 총수 등을 고려하여 결정할 수 있다. 또한, 프레임수 N은, 오퍼레이터의 조작에 대응하여 결정하여도 된다.
또한, 프레임수 N은, 표시 타입을 결정할 때에, 변화량이 임계값 H 이상인 프레임이 연속해서 존재할 최소의 프레임수(또는, 후술하는 바와 같이, 변화량이 임계값 H 미만인 프레임이 연속해서 존재할 최소의 프레임수)이기 때문에, 이하, 적절하게, 최소한도 프레임수 N이라고 한다.
또한, 시크가 문제로 되는 것은, 동화상을 구성하는 시계열의 프레임에서, 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 V1 또는 통상 타입 V2인 프레임과, 프록시 데이터를 이용하여 화상이 표시되는 고표시 레이트 저해상도 타입 V3인 프레임이, 빈번하게 절환되는 경우이다. 모두 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 V1인 프레임과, 통상 타입 V2의 프레임이 절환되는 경우에는, 시크는 문제로 되지 않는다.
한편, 스텝 S1014에서, 주목 프레임의 변화량이 임계값 H 이상이 아니라고 판정되거나, 또는, 주목 프레임의 변화량이 임계값 H 이상이어도, 주목 프레임의 직전이나, 직후, 또는 전후 중 어디에도, 변화량이 임계값 H 이상인 프레임이 최소 한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 스텝 S1016으로 진행하여, 연속성 판정부(1083)가, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 H 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 미만인 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
스텝 S1016에서, 주목 프레임의 변화량이 임계값 H 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 연속성 판정부(1083)는, 그 판정의 결과를 나타내는 판정 정보를, 결정부(1084)에 공급하고, 스텝 S1017로 진행한다.
주목 프레임의 변화량이 임계값 H 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 하는 판정의 결과를 나타내는 판정 정보의 공급을 연속성 판정부(1083)로부터 받은 결정부(1084)는, 스텝 S1017에서, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 L 이상인지의 여부를 판정한다.
스텝 S1017에서, 주목 프레임의 변화량이 임계값 L 이상이라고 판정된 경우,즉, 주목 프레임의 변화량이 임계값 L 이상 임계값 H 미만인 경우, 스텝 S1018로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 통상 타입 V2로 결정하고, 스텝 S1020으로 진행한다.
또한, 스텝 S1017에서, 주목 프레임의 변화량이 임계값 L 이상이 아니라고 판정된 경우, 즉, 주목 프레임의 변화량이 임계값 L 미만인 경우, 스텝 S1019로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 정지 화상 타입 V1로 결정하고, 스텝 S1020으로 진행한다.
여기에서, 스텝 S1016 내지 S1019에 의하면, 주목 프레임의 변화량이 임계값 H 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 미만인 프레임이 N프레임 이상 연속해서 존재하는 경우에, 주목 프레임의 표시 타입이, 그 주목 프레임의 변화량이 임계값 L 이상이면, 통상 타입 V2로 결정되고, 주목 프레임의 변화량이 임계값 L 미만이면, 정지 화상 타입 V1로 결정되는데, 이것은, 전술한 바와 같이, 스크럽 시에, 시크가 빈번하게 발생하는 것을 방지하기 위해서이다.
스텝 S1020에서는, 연속성 판정부(1083)가, 지금, Fy 파일 작성부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 내에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있는지의 여부를 판정한다.
스텝 S1020에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있다고 판정된 경우, 스텝 S1013으로 되돌아가, 전술한 바와 같이, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이, 주목 프레임으로 새롭게 선택되고, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S1020에서, 주목 프레임으로 선택하고 있지 않은 프레임이 없다고 판정된 경우, 표시 타입 결정부(1023)는, 처리를 종료한다.
한편, 스텝 S1016에서, 주목 프레임의 변화량이 임계값 H 미만이 아니라고 판정되거나, 또는, 주목 프레임의 변화량이 임계값 H 미만이어도, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 H 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 도 53의 스텝 S1021로 진행하여, 연속성 판정부(1083)는, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H를 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
여기에서, 도 54는, 프레임 단위의 변화량을 도시하고 있다. 또한, 도 54에서, 가로축은 프레임을 나타내고, 세로축은 변화량을 나타낸다. 또한, 도 54에서는, 임계값 H와 L 중, 임계값 H만을 도시하고 있다.
주목 프레임의 변화량이 임계값 H 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 이상인 프레임이 N프레임 이상 연속해서 존재하는 경우에는, 도 52의 스텝 S1015에서, 주목 프레임의 표시 타입은, 고표시 레이트 저해상도 타입 V3으로 결정된다.
또한, 주목 프레임의 변화량이 임계값 H 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 경우에는, 도 52의 스텝 S1018 또는 S1019에서, 주목 프레임의 표시 타입은, 통상 타입 V2 또는 정지 화상 타입 V1로 결정된다.
따라서, 도 53의 스텝 S1021의 처리가 행해지는 것은, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 H 이상인 프레임이 N프레임 이상 연 속해서 존재하지 않고, 또한, 변화량이 임계값 H 미만인 프레임도 최소한도 프레임수 N 이상 연속해서 존재하지 않는 경우, 즉, 주목 프레임이, 예를 들면, 도 54의 구간 T1, T2, T3, T4로서 나타내는 바와 같은, 변화량이 임계값 H를 넘는 프레임이 존재하는 구간(변화량이 임계값 H 이상인 프레임과, 임계값 H 미만인 프레임이 혼재하는 구간)이며, 또한, 변화량이 임계값 H 이상인 프레임이 연속하는 프레임수와, 변화량이 임계값 H 미만인 프레임이 연속하는 프레임수가, 많아도 최소한도 프레임수 N 미만인 구간(이하, 적절하게, 혼재 구간이라고 함)의 프레임인 경우이다.
또한, 혼재 구간은, 도 54에 도시하는 바와 같이, 반드시, 변화량이 임계값 H 이상인 프레임이 N프레임 이상 연속해서 존재하는 구간(이하, 적절하게, 대변화량 구간이라고 함)과, 변화량이 임계값 H 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 구간(이하, 적절하게, 소변화량 구간이라고 함) 사이나, 2개의 대변화량 구간끼리의 사이, 또는, 2개의 소변화량 구간끼리의 사이에 끼여지는 형태로 존재한다.
혼재 구간은, 구간 길이(프레임수)가 최소한도 프레임수 N 이상인 구간과, 최소한도 프레임수 N 미만인 구간으로 나눌 수 있다. 여기에서, 도 54에서의 혼재 구간 T1 내지 T4 중, 혼재 구간 T2는, 구간 길이가 최소한도 프레임수 N 이상인 구간이며, 다른 혼재 구간 T1, T3, T4는, 구간 길이가 최소한도 프레임수 N 미만인 구간이다.
또한, 혼재 구간은, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간, 대변화량 구간끼리의 사이에 끼여지는 구간, 또는 소변화량 구간끼리의 사이에 끼 여지는 구간 중 어느 하나로 나눌 수 있다. 여기에서, 도 54에서의 혼재 구간 T1 내지 T4 중, 혼재 구간 T1과 T2는, 대변화량 구간끼리의 사이에 끼여지는 구간이며, 혼재 구간 T3은, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간이다. 또한, 혼재 구간 T4는, 소변화량 구간끼리의 사이에 끼여지는 구간이다.
도 53으로 되돌아가, 전술한 바와 같이, 스텝 S1021에서, 연속성 판정부(1083)는, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H를 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부, 즉, 주목 프레임이 존재하는 혼재 구간이, 구간 길이가 최소한도 프레임수 N 이상인 구간인지의 여부를 판정한다.
스텝 S1021에서, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 H를 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 즉, 주목 프레임이 존재하는 혼재 구간이, 예를 들면, 도 54의 혼재 구간 T2와 같은, 구간 길이가 최소한도 프레임수 N 이상인 구간인 경우, 스텝 S1022로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 예를 들면, 통상 타입 V2로 결정하여, 도 52의 스텝 S1020으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 변화량이 임계값 H를 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임에 대해서는, 그 모든 프레임의 표시 타입을, 본선 데이터(로서의 화상 데이터)를 이용하여 화상이 표시되는 통상 타입 V2로 하거나, 또는, 프록시 데이터(로서의 화상 데이터)를 이용하여 화상이 표시되는 고표시 레 이트 저해상도 타입 V3으로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
따라서, 본 실시 형태에서는, 변화량이 임계값 H를 넘는 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임의 표시 타입은, 모두, 통상 타입 V2로 된다. 또한, 변화량이 임계값 H를 넘는 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임의 표시 타입은, 모두, 통상 타입 V2로 하는 외에, 고표시 레이트 저해상도 타입 V3으로 하는 것이 가능하다.
여기에서, 시크가 빈번하게 발생하는 것을 방지하는 것에만 주목하면, 혼재 구간의 프레임의 표시 타입을, 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 V1로 하는 것도 가능하다. 그러나, 혼재 구간은, 변화량이 임계값 H를 넘는 프레임이 존재하는 구간이기 때문에, 혼재 구간의 프레임의 표시 타입을, 변화량이 임계값 L 미만인 프레임의 표시 타입인 정지 화상 타입 V1로 하는 것은 바람직하지 않다. 이 때문에, 혼재 구간의 프레임의 표시 타입은, 통상 타입 V2 또는 고표시 레이트 저해상도 타입 V3 중 어느 하나로 한다.
한편, 스텝 S1021에서, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 H를 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 즉, 주목 프레임이 존재하는 혼재 구간(이하, 적절하게, 주목 혼재 구간이라고 함)이, 예를 들면, 도 54의 혼재 구간 T1이나 T3, T4와 같은, 구간 길이가 최소한도 프레임수 N 미만인 구간인 경우, 스텝 S1023으로 진행하여, 연속성 판정부(1083)는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간 의 좌측에 있는, 시간적으로 선행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(이하, 적절하게, 왼쪽 프레임이라고 함)의 변화량과, 주목 혼재 구간의 우측에 있는, 시간적으로 후행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(이하, 적절하게, 오른쪽 프레임이라고 함)의 변화량 중 어느 한쪽의 변화량이 임계값 H 이상이며, 다른 쪽의 변화량이 임계값 H 미만인지의 여부, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간인지의 여부를 판정한다.
스텝 S1023에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간이라고 판정된 경우, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 예를 들면, 도 54의 혼재 구간 T3과 같은, 대변화량 구간과 소변화량 구간에 끼여지는 혼재 구간인 경우, 스텝 S1022로 진행하여, 전술한 바와 같이, 결정부(1084)는, 주목 프레임의 표시 타입을, 통상 타입 V2로 결정하고, 도 52의 스텝 S1020으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이 끼여지는 대변화량 구간과 소변화량 구간은, 모두, 구간 길이가 최소한도 프레임수 N 이상인 구간이다. 또한, 대변화량 구간의 프레임의 표시 타입은, 프록시 데이터를 이용하여 화상이 표시되는 고표시 레이트 저해상도 타입 V3으로 결정되고, 소변화량 구간의 프레임의 표시 타입은, 본선 데이터를 이용하여 화상이 표시되는 통상 타입 V2 또는 정지 화상 타입 V1로 결정된다.
또한, 대변화량 구간과 소변화량 구간에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 대변화량 구간의 프레임의 표시 타입으로서 결정되는 고표시 레이트 저해상도 타입 V3, 또는 그 소변화량 구간의 프레임의 표시 타입으로서 결정되는 통상 타입 V2와 동일한 표시 타입으로 함으로써, 고표시 레이트 저해상도 타입 V3 또는 통상 타입 V2의 프레임이, 최소한도 프레임수 N 이상 연속하게 되어, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
따라서, 본 실시 형태에서는, 변화량이 임계값 H를 넘는 프레임이 최소한도 프레임수 N 미만인 주목 혼재 구간으로서, 대변화량 구간과 소변화량 구간에 끼여지는 주목 혼재 구간의 프레임의 표시 타입은, 모두, 통상 타입 V2로 된다. 또한, 변화량이 임계값 H를 넘는 프레임이 최소한도 프레임수 N 미만인 주목 혼재 구간으로서, 대변화량 구간과 소변화량 구간에 끼여지는 주목 혼재 구간의 프레임의 표시 타입은, 모두, 통상 타입 V2로 하는 것 외에, 고표시 레이트 저해상도 타입 V3으로 하는 것이 가능하다.
한편, 스텝 S1023에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간이 아니라고 판정된 경우, 스텝 S1024로 진행하여, 연속성 판정부(1083)는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 좌측에 있는, 시간적으로 선행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(왼쪽 프레임)의 변화량과, 주목 혼재 구간의 우측에 있는, 시간적으로 후행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(오른 쪽 프레임)의 변화량의 모두가 임계값 H 이상인지의 여부, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간끼리의 사이에 끼여지는 구간인지의 여부를 판정한다.
스텝 S1024에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간끼리의 사이에 끼여지는 구간이 아니라고 판정된 경우, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 예를 들면, 도 54의 혼재 구간 T4와 같은, 소변화량 구간끼리의 사이에 끼여지는 혼재 구간인 경우, 스텝 S1022로 진행하여, 전술한 바와 같이, 결정부(1084)는, 주목 프레임의 표시 타입을, 통상 타입 V2로 결정하고, 도 52의 스텝 S1020으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 2개의 소변화량 구간끼리의 사이에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 2개의 소변화량 구간의 프레임의 표시 타입으로서 결정되는(결정될 수 있는) 통상 타입 V2와 동일한 표시 타입으로 함으로써, 통상 타입 V2의 프레임이 최소한도 프레임수 N 이상 연속하게 되어, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
한편, 스텝 S1024에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간끼리의 사이에 끼여지는 구간이라고 판정된 경우, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 예를 들면, 도 54의 혼재 구간 T1과 같은, 대변화량 구간끼리의 사이에 끼여지는 혼재 구간인 경우, 스텝 S1025로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 고표시 레이트 저 해상도 타입 V3으로 결정하고, 도 52의 스텝 S1020으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 2개의 대변화량 구간끼리의 사이에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 2개의 대변화량 구간의 프레임의 표시 타입으로서 결정되는 고표시 레이트 저해상도 타입 V3과 동일한 표시 타입으로 함으로써, 고표시 레이트 저해상도 타입 V3인 프레임이 최소한도 프레임수 N 이상 연속하게 되어, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
다음으로, 도 55는, 도 35의 변화량 산출부(1022)에서, 변화량으로서 움직임 정보가 구해지고, 표시 타입 결정부(1023)에서, 움직임 정보에 기초하여, 표시 타입이 결정되고, 선택부(1024)에서, 변화량과 표시 타입의 양쪽이 선택된 경우의, 도 35의 파일 작성부(1025)가 작성하는 Fy 파일의 예를 도시하고 있다.
도 55의 Fy 파일에서는, 왼쪽으로부터 오른쪽 방향으로, 선두로부터 몇 번째의 프레임인지를 나타내는 프레임 넘버, 프레임 넘버에 대응하는 프레임의 타임 코드, 프레임 넘버에 대응하는 프레임의 변화량으로서의 움직임 정보, 프레임 넘버에 대응하는 프레임의 표시 타입이, 순차적으로 배치되어 있다.
또한, 도 55의 Fy 파일에서는, 표시 타입은, 도 49에 도시한 정지 화상 타입 V1, 통상 타입 V2, 고표시 레이트 저해상도 타입 V3의 3개 중 어느 하나로 결정되어 있다.
또한, 도 55의 Fy 파일에서는, 표시 타입의 결정에는, 임계값 L과 H로서, 각각 1과 5가 채용되어 있다. 또한, 최소한도 프레임수 N은, Fy 파일을 작성한 동화 상의 프레임의 총수 F와, 소정의 계수 P로부터, 식 N=F×P에 의해 구해지는 값이 채용되어 있다. 여기에서, Fy 파일을 작성한 동화상의 프레임의 총수 F가, 예를 들면, 3000프레임이며, 소정의 계수 P가, 예를 들면, 0.01인 것으로 하면, 최소한도 프레임수 N은, 30(=3000×0.01)프레임이다.
다음으로, 도 49에서는, 변화량으로서, 움직임 정보를 채용하고, 프레임의 움직임 정보에 기초하여, 그 프레임의 표시 타입을, 정지 화상 타입 V1, 통상 타입 V2, 고표시 레이트 저해상도 타입 V3의 3개 중 어느 하나로 결정하도록 했지만, 프레임의 표시 타입을 결정하는 결정 방법은, 이것에 한정되는 것은 아니다.
즉, 도 56은, 도 35의 표시 타입 결정부(1023)가 결정하는 표시 타입의 다른 예를 도시하고 있다.
도 56에서는, 표시 타입으로서, 정지 화상에서의 표시를 나타내는 정지 화상 타입 V11, 및, 프레임을 표시할 때의 해상도나 프레임을 표시할 때의 표시 레이트가 서로 다른 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13, 초고표시 레이트 저해상도 타입 V14, 및 초초고표시 레이트 저해상도 타입 V15의 5개가 있다.
정지 화상 타입 V11의 프레임에 대해서는, 도 49의 정지 화상 타입 V1과 마찬가지로, 표시 대상의 프레임이 변경되어도, 그 표시 대상의 프레임의 화상이, 직전에 표시된 프레임(의 화상)과 동일한 화상이라고 간주할 수 있는 한, 직전에 표시된 프레임(의 화상)이 표시된다(계속 표시된다).
통상 타입 V12의 프레임에 대해서는, 도 49의 통상 타입 V2와 마찬가지로, 동화상의 프레임 레이트와 동일한 표시 레이트(통상 레이트)로, 본선 데이터로서의 화상 데이터와 동일한 해상도(통상 해상도)로, 화상이 표시된다.
고표시 레이트 통상 해상도 타입 V13의 프레임에 대해서는, 통상 레이트보다도 높은, 예를 들면, 통상 레이트의 2배의 표시 레이트로, 본선 데이터로서의 화상 데이터와 동일한 해상도(통상 해상도)로, 화상이 표시된다.
초고표시 레이트 저해상도 타입 V14의 프레임에 대해서는, 고표시 레이트 통상 해상도 타입 V13의 표시 레이트보다도 높은, 예를 들면, 통상 레이트의 3배의 표시 레이트로, 프록시 데이터로서의 화상 데이터와 동일한 해상도(본선 데이터로서의 화상 데이터보다도 낮은 해상도)로, 화상이 표시된다.
초초고표시 레이트 저해상도 타입 V15의 프레임에 대해서는, 초고표시 레이트 저해상도 타입 V14의 표시 레이트보다도 높은, 예를 들면, 통상 레이트의 4배의 표시 레이트로, 프록시 데이터로서의 화상 데이터와 동일한 해상도(본선 데이터로서의 화상 데이터보다도 낮은 해상도)로, 화상이 표시된다.
여기에서, 통상 레이트가, 예를 들면, NTSC(National Television System Committee) 방식과 동일한 (약) 30프레임/초인 것으로 하면, 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13, 초고표시 레이트 저해상도 타입 V14, 초초고표시 레이트 저해상도 타입 V15의 표시 레이트는, 각각, 30, 60, 90, 120프레임/초이다.
표시 타입으로서, 도 56에 도시한 바와 같이, 5개의 정지 화상 타입 V11, 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13, 초고표시 레이트 저해상도 타입 V14, 및 초초고표시 레이트 저해상도 타입 V15가 있는 경우, 변화량 산출부(1022)(도 35)에서는, 프레임의 시간적인 변화의 정도를 나타내는 움직임 정보 가, 변화량으로서 구해진다. 그리고, 표시 타입 결정부(1023)(도 35)는, 예를 들면, 각 프레임의 움직임 정보와, 4개의 소정의 임계값을 비교하고, 그 비교의 결과에 기초하여, 프레임의 표시 타입을, 정지 화상 타입 V11, 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13, 초고표시 레이트 저해상도 타입 V14, 또는 초초고표시 레이트 저해상도 타입 V15 중 어느 하나로 결정한다.
즉, 도 57은, 프레임 단위의 변화량으로서의 움직임 정보와, 그 변화량에 기초하여, 표시 타입 결정부(1023)(도 35)가 프레임 단위로 결정하는 표시 타입을 도시하고 있다.
또한, 도 57에서, 가로축은 프레임을 나타내고, 세로축은 변화량을 나타낸다.
표시 타입 결정부(1023)(도 35)는, 프레임 단위의 변화량(움직임 정보)을, 식 TH1<TH2<TH3<TH4의 관계가 있는 임계값 TH1, TH2, TH3, TH4와 비교한다. 그리고, 표시 타입 결정부(1023)는, 움직임 정보가 임계값 TH4 이상인 프레임, 즉, 움직임 정보가 시간적인 변화의 정도가 매우 대인 것을 나타내는 프레임의 표시 타입을, 낮은 해상도, 또는 높은 표시 레이트의 저해상도/고표시 레이트 타입의 일종인 초초고표시 레이트 저해상도 타입 V15로 결정한다. 도 57에서는, 움직임 정보가 임계값 TH4 이상인 프레임이 연속하는 구간 D5의 프레임의 표시 타입이, 초초고표시 레이트 저해상도 타입 V15로 결정되어 있다.
또한, 표시 타입 결정부(1023)는, 움직임 정보가 임계값 TH3 이상이고 임계 TH4 미만인 프레임, 즉, 움직임 정보가 시간적인 변화의 정도가 매우 대에 가까울 정도로 대인 것을 나타내는 프레임의 표시 타입을, 낮은 해상도, 또는 높은 표시 레이트의 저해상도/고표시 레이트 타입의 일종이며, 초초고표시 레이트 저해상도 타입 V15보다 표시 레이트가 낮은 초고표시 레이트 저해상도 타입 V14로 결정한다. 도 57에서는, 움직임 정보가 임계값 TH3 이상이고 임계값 TH4 미만인 프레임이 연속하는 구간 D4와 D6의 프레임의 표시 타입이, 초고표시 레이트 저해상도 타입 V14로 결정되어 있다.
또한, 표시 타입 결정부(1023)는, 움직임 정보가 임계값 TH2 이상이고 임계값 TH3 미만인 프레임, 즉, 움직임 정보가 시간적인 변화의 정도가 매우 대까지는 이르지 않지만, 그래도 큰 것을 나타내는 프레임의 표시 타입을, 초고표시 레이트 저해상도 타입 V14보다 표시 레이트가 낮고, 또한 해상도가 높은 고표시 레이트 통상 해상도 타입 V13으로 결정한다. 도 57에서는, 움직임 정보가 임계값 TH2 이상이고 임계값 TH3 미만인 프레임이 연속하는 구간 D3과 D7의 프레임의 표시 타입이, 고표시 레이트 통상 해상도 타입 V13으로 결정되어 있다.
또한, 표시 타입 결정부(1023)는, 움직임 정보가 임계값 TH1 이상이고 임계값 TH2 미만인 프레임, 즉, 움직임 정보가 시간적인 변화의 정도가 그다지 크지 않은 것을 나타내는 프레임의 표시 타입을, 고표시 레이트 통상 해상도 타입 V13보다 표시 레이트가 낮은 통상 타입 V12로 결정한다. 도 57에서는, 움직임 정보가 임계값 TH1 이상이고 임계값 TH2 미만인 프레임이 연속하는 구간 D2와 D8의 프레임의 표시 타입이, 통상 타입 V12로 결정되어 있다.
또한, 표시 타입 결정부(1023)는, 움직임 정보가 임계값 TH1 미만인 프레임, 즉, 움직임 정보가 시간적인 변화의 정도가 소인 것을 나타내는 프레임의 표시 타입을, 정지 화상에서의 표시를 나타내는 정지 화상 타입 V11로 결정한다. 도 57에서는, 움직임 정보가 임계값 TH1 미만인 프레임이 연속하는 구간 D1과 D9의 프레임의 표시 타입이, 정지 화상 타입 V11로 결정되어 있다.
다음으로, 도 58 및 도 59의 플로우차트를 참조하여, 표시 타입이, 도 56에 도시한 정지 화상 타입 V11, 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13, 초고표시 레이트 저해상도 타입 V14, 또는 초초고표시 레이트 저해상도 타입 V15 중 어느 하나로 결정되는 경우의, 도 51의 표시 타입 결정부(1023)의 처리에 대해서 설명한다.
표시 타입 결정부(1023)는, 변화량 산출부(1022)(도 35)로부터 프레임 단위의 변화량이 공급되면, 스텝 S1031에서, 그 프레임 단위의 변화량을, 기억부(1081)(도 51)에 캐쉬(일시 기억)시키고, 스텝 S1032로 진행한다.
여기에서, 변화량 산출부(1022)로부터 표시 타입 결정부(1023)에는, 예를 들면, 움직임 정보가 변화량으로서 공급되는 것으로 한다.
스텝 S1032에서는, 임계값 처리부(1082)(도 51)가, 기억부(1081)에 기억된 프레임 단위의 변화량(움직임 정보)과, 임계값 TH1, TH2, TH3, 또는 TH4를 비교하는 임계값 처리를 행하고, 프레임 단위의 변화량과, 임계값 TH1, TH2, TH3, 또는 TH4의 비교의 결과를 나타내는 비교 정보를, 프레임 단위로, 연속성 판정부(1083)에 공급하고, 스텝 S1033으로 진행한다.
스텝 S1033에서는, 연속성 판정부(1083)(도 51)가, 지금, Fy 파일 작성 부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 중, 아직, 주목 프레임으로 하고 있지 않은 시계열순으로 가장 선행하는 프레임을, 주목 프레임으로 선택하고, 스텝 S1034로 진행한다.
스텝 S1034에서는, 연속성 판정부(1083)가, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 TH3 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 이상인 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
스텝 S1034에서, 주목 프레임의 변화량이 임계값 TH3 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 연속성 판정부(1083)는, 그 판정의 결과를 나타내는 판정 정보를, 결정부(1084)(도 51)에 공급하고, 스텝 S1035로 진행한다.
주목 프레임의 변화량이 임계값 TH3 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 하는 판정의 결과를 나타내는 판정 정보의 공급을 연속성 판정부(1083)로부터 받은 결정부(1084)는, 스텝 S1035에서, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 TH4 이상인지의 여부를 판정한다.
스텝 S1035에서, 주목 프레임의 변화량이 임계값 TH4 이상이라고 판정된 경우, 스텝 S1036으로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 초초 고표시 레이트 저해상도 타입 V15로 결정하고, 스텝 S1043으로 진행한다.
또한, 스텝 S1035에서, 주목 프레임의 변화량이 임계값 TH4 이상이 아니라고 판정된 경우, 즉, 주목 프레임의 변화량이 임계값 TH3 이상이고 임계값 TH4 미만인 경우, 스텝 S1037로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 초고표시 레이트 저해상도 타입 V14로 결정하고, 스텝 S1043으로 진행한다.
여기에서, 스텝 S1034 내지 S1037에 의하면, 주목 프레임의 변화량이 임계값 TH3 이상일뿐만 아니라, 또한, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 이상인 프레임이 N프레임 이상 연속해서 존재하는 경우에, 주목 프레임의 표시 타입이, 초초고표시 레이트 저해상도 타입 V15, 또는 초고표시 레이트 저해상도 타입 V14 중 어느 하나로 결정되는데, 이것은, 다음과 같은 이유에 의한다.
즉, 표시 타입이, 도 56에 도시한 정지 화상 타입 V11, 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13, 초고표시 레이트 저해상도 타입 V14, 및 초초고표시 레이트 저해상도 타입 V15 중에서 결정되는 경우에는, 스크럽에서, 표시 타입이, 정지 화상 타입 V11의 프레임, 통상 타입 V12의 프레임, 및 고표시 레이트 통상 해상도 타입 V13의 프레임에 대해서는, 해상도가 높은 화상(통상 해상도의 화상), 즉, (프록시 데이터보다도) 데이터량이 많은 본선 데이터의 화상 데이터를 처리해서 화상이 표시된다.
한편, 표시 타입이, 초고표시 레이트 저해상도 타입 V14의 프레임, 및 초초고표시 레이트 저해상도 타입 V15의 프레임에 대해서는, 해상도가 낮은 화상, 즉, (본선 데이터 보다도) 데이터량이 적은 프록시 데이터의 화상 데이터를 처리해서 화상이 표시된다.
지금, 예를 들면, 기억 장치(22)(도 1)가, 본선 데이터와 프록시 데이터가 기록되는 프로페셔널 디스크인 경우에, 그 기억 장치(22)에 기록된 본선 데이터, 또는 프록시 데이터를 이용하여 스크럽을 행하는 것으로 하면, 도 52에서 설명한 경우와 마찬가지로, 동화상을 구성하는 시계열의 프레임에서, 프록시 데이터를 이용하여 화상이 표시되는 초고표시 레이트 저해상도 타입 V14의 프레임, 또는 초초고표시 레이트 저해상도 타입 V15의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 V11, 통상 타입 V12, 또는 고표시 레이트 통상 해상도 타입 V13의 프레임이 빈번하게 절환되면, 시크가 빈번하게 발생하여, 스크럽 바(66)(도 3)의 조작에 의해 지정된 프레임의 표시를 스무즈하게 행하는 것이 곤란해지는 경우가 있다.
전술한 바와 같은 시크가 빈번하게 발생하는 것을 방지하기 위해서는, 프록시 데이터를 이용하여 화상이 표시되는 초고표시 레이트 저해상도 타입 V14의 프레임, 또는 초초고표시 레이트 저해상도 타입 V15의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 V11, 통상 타입 V12, 또는 고표시 레이트 통상 해상도 타입 V13의 프레임이 빈번하게 절환되지 않도록 할 필요가 있다.
한편, 초고표시 레이트 저해상도 타입 V14의 프레임, 및 초초고표시 레이트 저해상도 타입 V15의 프레임에서는, 모두, 프록시 데이터를 이용하여 화상이 표시되기 때문에, 초고표시 레이트 저해상도 타입 V14의 프레임과, 초초고표시 레이트 저해상도 타입 V15의 프레임의 절환에 대해서는, 시크는 문제로 되지 않는다.
또한, 정지 화상 타입 V11의 프레임, 통상 타입 V12의 프레임, 및, 고표시 레이트 통상 해상도 타입 V13의 프레임에서는, 모두, 본선 데이터를 이용하여 화상이 표시되기 때문에, 정지 화상 타입 V11의 프레임, 통상 타입 V12의 프레임, 또는, 고표시 레이트 통상 해상도 타입 V13의 프레임 중 임의의 1개의 표시 타입의 프레임과, 다른 1개의 표시 타입의 프레임의 절환에 대해서도, 시크는 문제로 되지 않는다.
따라서, 도 58 및 도 59에서는, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입(초고표시 레이트 저해상도 타입 V14, 초초고표시 레이트 저해상도 타입 V15)의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 표시 타입(정지 화상 타입 V11, 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13)의 프레임의 절환이, 적어도 최소한도 프레임수 N만큼 연속하는 프레임의 구간에서 생기지 않도록, 전술한 스텝 S1034 내지 S1037에서, 주목 프레임의 변화량이, 임계값 TH3 이상이고, 또한, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 이상인 프레임이, 최소한도 프레임수 N 이상 연속하는 경우에, 주목 프레임의 표시 타입이, 초고표시 레이트 저해상도 타입 V14, 또는 초초고표시 레이트 저해상도 타입 V15 중 어느 하나로 결정된다.
또한, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 표시 타입의 프레임의 절환이, 적어도 최소한도 프레임수 N만큼 연속하는 프레임의 구간에서 생기지 않도록, 후술하는 스텝 S1038 내지 S1042에서, 주목 프레임의 변화량이, 임계값 TH3 미만이고, 또한, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 미만인 프레임이, 최소한도 프레임수 N 이상 연속하는 경우에, 주목 프레임의 표시 타입이, 정지 화상 타입 V11, 통상 타입 V12, 또는 고표시 레이트 통상 해상도 타입 V13 중 어느 하나로 결정된다.
즉, 스텝 S1034에서, 주목 프레임의 변화량이 임계값 TH3 이상이 아니라고 판정되거나, 또는, 주목 프레임의 변화량이 임계값 TH3 이상이어도, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 TH3 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 스텝 S1038로 진행하여, 연속성 판정부(1083)가, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 TH3 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 미만인 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
스텝 S1038에서, 주목 프레임의 변화량이 임계값 TH3 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 연속성 판정부(1083)는, 그 판정의 결과를 나타내는 판정 정보를, 결정부(1084)에 공급하고, 스텝 S1039로 진행한다.
주목 프레임의 변화량이 임계값 TH3 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 하는 판정의 결과를 나타내는 판정 정보의 공급을 연속성 판정부(1083)로부터 받은 결정부(1084)는, 스텝 S1039에서, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이, 임계값 TH1 미만인지, 임계값 TH1 이상 임계값 TH2 미만인지, 또는 임계값 TH2 이상 임계값 TH3 미만인지를 판정한다.
스텝 S1039에서, 주목 프레임의 변화량이 임계값 TH1 미만이라고 판정된 경우, 스텝 S1040으로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 정지 화상 타입 V11로 결정하고, 스텝 S1043으로 진행한다.
또한, 스텝 S1039에서, 주목 프레임의 변화량이 임계값 TH1 이상 임계값 TH2미만이라고 판정된 경우, 스텝 S1041로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 통상 타입 V12로 결정하고, 스텝 S1043으로 진행한다.
또한, 스텝 S1039에서, 주목 프레임의 변화량이 임계값 TH2 이상 임계값 TH3 미만이라고 판정된 경우, 스텝 S1042로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 고표시 레이트 통상 해상도 타입 V13으로 결정하고, 스텝 S1043으로 진행한다.
여기에서, 스텝 S1038 내지 S1042에 따르면, 전술한 바와 같이, 주목 프레임의 변화량이 임계값 TH3 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 미만인 프레임이 N프레임 이상 연속해서 존재하는 경우에, 주목 프레임의 표시 타입이, 모두 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 V11, 통상 타입 V12, 또는 고표시 레이트 통상 해상도 타입 V13으로 결정되는데, 이것은, 전술한 바와 같이, 스크럽 시에, 시크가 빈번하게 발생하는 것을 방지하기 위해서이다.
스텝 S1043에서는, 연속성 판정부(1083)가, 지금, Fy 파일 작성부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 내에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있는지의 여부를 판정한다.
스텝 S1043에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있다고 판정된 경우, 스텝 S1033으로 되돌아가서, 전술한 바와 같이, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이, 주목 프레임으로 새롭게 선택되고, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S1043에서, 주목 프레임으로 선택하고 있지 않은 프레임이 없다고 판정된 경우, 표시 타입 결정부(1023)는, 처리를 종료한다.
한편, 스텝 S1038에서, 주목 프레임의 변화량이 임계값 TH3 미만이 아니라고 판정되거나, 또는, 주목 프레임의 변화량이 임계값 TH3 미만이어도, 주목 프레임의 직전이나, 직후, 또는 전후 중 어디에도, 변화량이 임계값 TH3 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 도 59의 스텝 S1051로 진행하여, 연속성 판정부(1083)는, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
여기에서, 주목 프레임의 변화량이 임계값 TH3 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 이상인 프레임이 N프레임 이상 연속해서 존재하는 경우에는, 도 58의 스텝 S1036 또는 S1037에서, 주목 프레임의 표시 타입은, 초고표시 레이트 저해상도 타입 V14, 또는 초초고표시 레이트 저해상도 타입 V15로 결정된다.
또한, 주목 프레임의 변화량이 임계값 TH3 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 경우에는, 도 58의 스텝 S1040 내지 S1042에서 주목 프레임의 표시 타입은, 정지 화상 타입 V11, 통상 타입 V12, 또는 고표시 레이트 통상 해상도 타입 V13으로 결정된다.
따라서, 도 59의 스텝 S1051의 처리가 행해지는 것은, 주목 프레임의 직전이나, 직후, 또는 전후 중 어디에도, 변화량이 임계값 TH3 이상인 프레임이 N프레임 이상 연속해서 존재하지 않고, 또한, 변화량이 임계값 TH3 미만인 프레임도 최소한도 프레임수 N 이상 연속해서 존재하지 않는 경우, 즉, 주목 프레임이, 변화량이 임계값 TH3을 넘는 프레임이 존재하는 구간(변화량이 임계값 TH3 이상인 프레임과, 임계값 TH3 미만인 프레임이 혼재하는 구간)이며, 또한, 변화량이 임계값 TH3 이상인 프레임이 연속하는 프레임수와, 임계값 TH3 미만인 프레임이 연속하는 프레임수가, 많아도 최소한도 프레임수 N 미만인 구간(이것도, 이하, 적절하게, 혼재 구간이라고 함)의 프레임인 경우이다.
또한, 혼재 구간은, 도 54에서 설명한 경우와 마찬가지로, 반드시, 변화량이 임계값 TH3 이상인 프레임이 N프레임 이상 연속해서 존재하는 구간(이것도, 이하, 적절하게, 대변화량 구간이라고 함)과, 변화량이 임계값 TH3 미만인 프레임이 최소 한도 프레임수 N 이상 연속해서 존재하는 구간(이것도, 이하, 적절하게, 소변화량 구간이라고 함)의 사이나, 2개의 대변화량 구간끼리의 사이, 또는, 2개의 소변화량 구간끼리의 사이 중 어느 하나에 끼여지는 형태로 존재한다.
이상으로부터, 혼재 구간은, 구간 길이(프레임수)가 최소한도 프레임수 N 이상인 구간과, 최소한도 프레임수 N 미만인 구간으로 나눌 수 있다.
또한, 혼재 구간은, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간, 대변화량 구간끼리의 사이에 끼여지는 구간, 또는 소변화량 구간끼리의 사이에 끼여지는 구간 중 어느 하나로 나눌 수 있다.
스텝 S1051에서는, 연속성 판정부(1083)는, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부, 즉, 주목 프레임이 존재하는 혼재 구간이, 구간 길이가 최소한도 프레임수 N 이상인 구간인지의 여부를 판정한다.
스텝 S1051에서, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 TH3을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 스텝 S1052로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 고표시 레이트 통상 해상도 타입 V13으로 결정하고, 도 58의 스텝 S1043으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 변화량이 임계값 TH3을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임에 대해서는, 그 모든 프레임의 표시 타입을, 본 선 데이터(로서의 화상 데이터)를 이용하여 화상이 표시되는 표시 타입으로 하거나, 또는, 프록시 데이터(로서의 화상 데이터)를 이용하여 화상이 표시되는 표시 타입으로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
따라서, 도 59에서는, 변화량이 임계값 TH3을 넘는 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임의 표시 타입은, 모두, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 고표시 레이트 통상 해상도 타입 V13으로 된다.
또한, 변화량이 임계값 TH3을 넘는 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임의 표시 타입은, 그 밖의, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 통상 타입 V12로 하는 것이 가능하다. 또한, 변화량이 임계값 TH3을 넘는 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임의 표시 타입은, 그 밖의, 예를 들면, 프록시 데이터를 이용하여 화상이 표시되는 초고표시 레이트 저해상도 타입 V14, 또는 초초고표시 레이트 저해상도 타입 V15 중 어느 한쪽으로 하는 것이 가능하다.
한편, 스텝 S1051에서, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 TH3을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 즉, 주목 프레임이 존재하는 혼재 구간(주목 혼재 구간)이, 구간 길이가 최소한도 프레임수 N 미만인 구간인 경우, 스텝 S1053으로 진행하여, 연속성 판정부(1083)는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 좌측에 있는, 시간적으로 선행하는 프레임 중, 주목 혼재 구간에 인접하는 프레 임(왼쪽 프레임)의 변화량과, 주목 혼재 구간의 우측에 있는, 시간적으로 후행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(오른쪽 프레임)의 변화량 중 어느 한쪽의 변화량이 임계값 TH3 이상이며, 다른 쪽의 변화량이 임계값 TH3 미만인지의 여부, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간인지의 여부를 판정한다.
스텝 S1053에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간이라고 판정된 경우, 스텝 S1052로 진행하여, 전술한 바와 같이, 결정부(1084)는, 주목 프레임의 표시 타입을, 고표시 레이트 통상 해상도 타입 V13으로 결정하고, 도 58의 스텝 S1043으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이 끼여지는 대변화량 구간과 소변화량 구간은, 모두, 구간 길이가 최소한도 프레임수 N 이상인 구간이다. 또한, 대변화량 구간의 프레임의 표시 타입은, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입(초고표시 레이트 저해상도 타입 V14, 또는 초초고표시 레이트 저해상도 타입 V15)으로 결정되고, 소변화량 구간의 프레임의 표시 타입은, 본선 데이터를 이용하여 화상이 표시되는 표시 타입(정지 화상 타입 V11, 통상 타입 V12, 또는 고표시 레이트 통상 해상도 타입 V13)으로 결정된다.
또한, 대변화량 구간과 소변화량 구간에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 대변화량 구간의 프레임의 표시 타입, 또는 그 소변화량 구간의 프레임의 표시 타입과 동일한 표시 타입으 로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
따라서, 도 59에서는, 변화량이 임계값 TH3을 넘는 프레임이 최소한도 프레임수 N 미만인 주목 혼재 구간으로서, 대변화량 구간과 소변화량 구간에 끼여지는 주목 혼재 구간의 프레임의 표시 타입은, 모두, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 고표시 레이트 통상 해상도 타입 V13으로 된다.
또한, 변화량이 임계값 TH3을 넘는 프레임이 최소한도 프레임수 N 미만인 주목 혼재 구간으로서, 대변화량 구간과 소변화량 구간에 끼여지는 주목 혼재 구간의 프레임의 표시 타입은, 그 밖의, 예를 들면, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중 통상 타입 V12나, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입 중 초고표시 레이트 저해상도 타입 V14로 하는 것이 가능하다.
한편, 스텝 S1053에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간의 사이에 끼여지는 구간이 아니라고 판정된 경우, 스텝 S1054로 진행하여, 연속성 판정부(1083)는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 좌측에 있는, 시간적으로 선행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(왼쪽 프레임)의 변화량과, 주목 혼재 구간의 우측에 있는, 시간적으로 후행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(오른쪽 프레임)의 변화량의 모두가 임계값 TH3 이상인지의 여부, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간끼리의 사이에 끼여지는 구간인지의 여부를 판정한다.
스텝 S1054에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간 이, 대변화량 구간끼리의 사이에 끼여지는 구간이 아니라고 판정된 경우, 스텝 S1052로 진행하여, 전술한 바와 같이, 결정부(1084)는, 주목 프레임의 표시 타입을, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 고표시 레이트 통상 해상도 타입 V13으로 결정하고, 도 58의 스텝 S1043으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 2개의 소변화량 구간끼리의 사이에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 2개의 소변화량 구간의 프레임의 표시 타입으로서 결정되는, 본선 데이터를 이용하여 화상이 표시되는 표시 타입과 동일한 표시 타입으로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
한편, 스텝 S1054에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간끼리의 사이에 끼여지는 구간이라고 판정된 경우, 스텝 S1055로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 초고표시 레이트 저해상도 타입 V14로 결정하고, 도 58의 스텝 S1043으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 2개의 대변화량 구간끼리의 사이에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 2개의 대변화량 구간의 프레임의 표시 타입으로서 결정되는, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입과 동일한 표시 타입으로 함으로써, 시크가 빈번하게 발생하는 것을 방지 할 수 있다.
다음으로, 도 60은, 도 35의 표시 타입 결정부(1023)가 결정하는 표시 타입의 다른 예를 도시하고 있다.
도 60에서는, 표시 타입으로서, 프레임을 표시할 때의 해상도나 프레임을 표시할 때의 표시 레이트가 서로 다른 저해상도 통상 표시 레이트 타입 C1, 통상 타입 C2, 및 통상 해상도 저표시 레이트 타입 C3의 3개가 있다.
저해상도 통상 표시 레이트 타입 C1의 프레임에 대해서는, 동화상의 프레임 레이트와 동일한 표시 레이트(통상 레이트)로, 프록시 데이터로서의 화상 데이터와 동일한 해상도(본선 데이터로서의 화상 데이터보다도 낮은 해상도)로, 화상이 표시된다.
통상 타입 C2의 프레임에 대해서는, 통상 레이트의 표시 레이트로, 본선 데이터로서의 화상 데이터와 동일한 해상도(통상 해상도라고 함)로, 화상이 표시된다.
통상 해상도 저표시 레이트 타입 C3의 프레임에 대해서는, 통상 레이트보다도 낮은, 예를 들면, 통상 레이트의 1/2배의 표시 레이트로, 본선 데이터로서의 화상 데이터와 동일한 해상도(프록시 데이터로서의 화상 데이터보다도 높은 해상도)로, 화상이 표시된다.
표시 타입으로서, 도 60에 도시한 바와 같이, 3개의 저해상도 통상 표시 레이트 타입 C1, 통상 타입 C2, 및 통상 해상도 저표시 레이트 타입 C3이 있는 경우, 변화량 산출부(1022)(도 35)에서는, 프레임의 공간적인 변화의 정도를 나타내는 세 밀함 정보가, 변화량으로서 구해진다. 그리고, 표시 타입 결정부(1023)는, 예를 들면, 각 프레임의 변화량(세밀함 정보)과, 2개의 소정의 임계값을 비교하고, 그 비교의 결과에 기초하여, 프레임의 표시 타입을, 저해상도 통상 표시 레이트 타입 C1, 통상 타입 C2, 또는 통상 해상도 저표시 레이트 타입 C3 중 어느 하나로 결정한다.
즉, 도 61은, 프레임 단위의 변화량으로서의 세밀함 정보와, 그 변화량에 기초하여, 표시 타입 결정부(1023)(도 35)가 프레임 단위로 결정하는 표시 타입을 도시하고 있다.
또한, 도 61에서, 가로축은 프레임을 나타내고, 세로축은 변화량을 나타낸다.
표시 타입 결정부(1023)는, 프레임 단위의 변화량(세밀함 정보)을, 식 L<H의 관계가 있는 임계값 L 또는 임계값 H와 비교한다. 그리고, 표시 타입 결정부(1023)는, 세밀함 정보가 임계값 H 이상인 프레임, 즉, 세밀함 정보가 공간적인 변화의 정도가 대인 것을 나타내는 프레임의 표시 타입을, 높은 해상도, 또는 낮은 표시 레이트의 고해상도/저표시 레이트 타입의 일종인 통상 해상도 저표시 레이트 타입 C3으로 결정한다.
여기에서, 예를 들면, 편집에서 행해지는 스크럽에서, 공간적인 변화의 정도가 큰 프레임, 즉, 화소값의 변화가 큰 화상(복잡한 화상)의 프레임의 표시를 저해상도로 행하면, 화상의 공간적인 변화를 놓치기 쉬워지기 때문에, 복잡한 화상의 프레임은, 높은 해상도로 표시하는 것이 바람직하다.
그러나, 복잡한 화상을 높은 해상도로 표시하는 처리의 부담은, 복잡하지 않은, 예를 들면, 평탄한 화상을 표시하는 처리의 부담보다 커진다.
따라서, 복잡한 화상의 프레임에 대해서는, 고해상도로 표시하지만, 그 대신에, 낮은 표시 레이트로 화상을 표시하는 고해상도/저표시 레이트 타입의 일종인 통상 해상도 저표시 레이트 타입 C3을 채용하는 것으로 한다. 화상을 낮은 표시 레이트로 표시하는 경우에는, 화상을 높은 표시 레이트로 표시하는 경우에 비교하여, 처리의 부담이 적기 때문에, 복잡한 화상의 프레임에 대해서, 높은 해상도의 화상을, 낮은 표시 레이트로 표시함으로써, 편집에서 화상의 공간적인 변화를 놓치는 것을 방지하면서, 스크럽을 행하는 장치에 걸리는 부담을 저감할 수 있다.
한편, 표시 타입 결정부(1023)는, 세밀함 정보가 임계값 L 미만의 프레임, 즉, 세밀함 정보가 공간적인 변화의 정도가 소인 것을 나타내는 프레임의 표시 타입을, 통상 해상도 저표시 레이트 타입 C3보다도 낮은 해상도로, 또한, 통상 해상도 저표시 레이트 타입 C3보다도 높은 통상 레이트의 표시 레이트로 화상을 표시하는 저해상도 통상 표시 레이트 타입 C1로 결정한다.
여기에서, 공간적인 변화의 정도가 소인 프레임, 즉, 평탄한 화상의 프레임에 대해서는, 높은 해상도로 화상을 표시하여도, 낮은 해상도로 화상을 표시한 경우와, 세부의 보이는 방식은, 그다지 달라지지 않는다.
이와 같이, 높은 해상도로 표시하여도, 낮은 해상도로 표시하여도, 세부의 보이는 방식이 거의 변하지 않는 화상을, 높은 해상도로 표시하는 것은, 스크럽을 행하는 장치에, 말하자면 불필요한 부담을 주게 된다.
따라서, 평탄한 화상의 프레임의 표시 타입은, 통상 해상도 저표시 레이트 타입 C3보다도 낮은 해상도로, 또한, 통상 해상도 저표시 레이트 타입 C3보다도 높은 통상 레이트의 표시 레이트로 화상을 표시하는 저해상도 통상 표시 레이트 타입 C1로 된다. 이에 의해, 스크럽을 행하는 장치에 불필요한 부담을 주는 것을 방지할 수 있다.
표시 타입 결정부(1023)는, 세밀함 정보가 임계값 H 이상인 프레임, 및 세밀함 정보가 임계값 L 미만의 프레임 이외의 프레임, 즉, 세밀함 정보가, 임계값 L 이상이고 임계값 H 미만인 프레임의 표시 타입을, 통상 타입 C2로 결정한다.
즉, 그다지 복잡하지 않지만, 평탄하지도 않은 화상의 프레임의 표시 타입은, 통상 레이트(동화상의 프레임 레이트와 동일한 표시 레이트)로, 또한, 통상 해상도로, 화상을 표시하는 통상 타입 C2로 된다.
다음으로, 도 62 및 도 63의 플로우차트를 참조하여, 표시 타입이, 변화량으로서의 세밀함 정보에 기초하여, 도 60에 도시한 저해상도 통상 표시 레이트 타입 C1, 통상 타입 C2, 또는 통상 해상도 저표시 레이트 타입 C3 중 어느 하나로 결정되는 경우의, 도 51의 표시 타입 결정부(1023)의 처리에 대해서 설명한다.
표시 타입 결정부(1023)는, 변화량 산출부(1022)(도 35)로부터 프레임 단위의 변화량이 공급되면, 스텝 S1061에서, 그 프레임 단위의 변화량을, 기억부(1081)(도 51)에 캐쉬(일시 기억)시키고, 스텝 S1062로 진행한다.
여기에서, 도 62 및 도 63에서는, 변화량 산출부(1022)로부터 표시 타입 결정부(1023)에는, 세밀함 정보가 변화량으로서 공급된다.
스텝 S1062에서는, 임계값 처리부(1082)가, 기억부(1081)에 기억된 프레임 단위의 변화량(세밀함 정보)과, 임계값 H 또는 L을 비교하는 임계값 처리를 행하고, 프레임 단위의 변화량과, 임계값 H 또는 L의 비교의 결과를 나타내는 비교 정보를, 프레임 단위로, 연속성 판정부(1083)에 공급하고, 스텝 S1063으로 진행한다.
스텝 S1063에서는, 연속성 판정부(1083)가, 지금, Fy 파일 작성부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 중, 아직, 주목 프레임으로 하고 있지 않은 시계열순으로 가장 선행하는 프레임을, 주목 프레임으로 선택하고, 스텝 S1064로 진행한다.
스텝 S1064에서는, 연속성 판정부(1083)가, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 L 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 미만인 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
스텝 S1064에서, 주목 프레임의 변화량이 임계값 L 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 연속성 판정부(1083)는, 그 판정의 결과를 나타내는 판정 정보를, 결정부(1084)에 공급하고, 스텝 S1065로 진행한다.
스텝 S1065에서는, 결정부(1084)는, 연속성 판정부(1083)로부터의 판정 정보에 기초하여, 주목 프레임의 표시 타입을, 저해상도 통상 표시 레이트 타입 C1로 결정하고, 스텝 S1070으로 진행한다.
여기에서, 스텝 S1064 및 S1065에 의하면, 주목 프레임의 변화량이 임계값 L 미만일뿐만 아니라, 또한, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 미만인 프레임이 N프레임 이상 연속해서 존재하는 경우에, 주목 프레임의 표시 타입이, 저해상도 통상 표시 레이트 타입 C1로 결정되는데, 이것은, 다음과 같은 이유에 의한다.
즉, 표시 타입이, 도 60에 도시한 저해상도 통상 표시 레이트 타입 C1, 통상 타입 C2, 및 통상 해상도 저표시 레이트 타입 C3 중에서 결정되는 경우에는, 스크럽에서, 표시 타입이, 저해상도 통상 표시 레이트 타입 C1의 프레임에 대해서는, 해상도가 낮은 화상, 즉, (본선 데이터보다도) 데이터량이 적은 프록시 데이터를 처리해서 화상이 표시된다.
한편, 표시 타입이, 통상 타입 C2, 및 통상 해상도 저표시 레이트 타입 C3의 프레임에 대해서는, 해상도가 높은 화상, 즉, (프록시 데이터보다도) 데이터량이 많은 본선 데이터의 화상 데이터를 처리해서 화상이 표시된다.
지금, 예를 들면, 기억 장치(22)(도 1)가, 본선 데이터와 프록시 데이터가 기록되는 프로페셔널 디스크인 경우에, 그 기억 장치(22)에 기록된 본선 데이터, 또는 프록시 데이터를 이용하여 스크럽을 행하는 것으로 하면, 도 52에서 설명한 경우와 마찬가지로, 동화상을 구성하는 시계열의 프레임에서, 프록시 데이터를 이용하여 화상이 표시되는 저해상도 통상 표시 레이트 타입 C1의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 통상 타입 C2, 또는 통상 해상도 저표시 레이트 타입 C3의 프레임이 빈번하게 절환되면, 시크가 빈번하게 발생하여, 스크럽 바(66)(도 3)의 조작에 의해 지정된 프레임의 표시를 스무즈하게 행하는 것이 곤란해지는 경우가 있다.
전술한 바와 같은 시크가 빈번하게 발생하는 것을 방지하기 위해서는, 프록시 데이터를 이용하여 화상이 표시되는 저해상도 통상 표시 레이트 타입 C1의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 통상 타입 C2, 또는 통상 해상도 저표시 레이트 타입 C3의 프레임이 빈번하게 절환되지 않도록 할 필요가 있다.
한편, 통상 타입 C2의 프레임, 및 통상 해상도 저표시 레이트 타입 C3의 프레임에서는, 모두, 본선 데이터를 이용하여 화상이 표시되기 때문에, 통상 타입 C2의 프레임과, 통상 해상도 저표시 레이트 타입 C3의 프레임의 절환에 대해서는, 시크는 문제로 되지 않는다.
따라서, 도 62 및 도 63에서는, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입(저해상도 통상 표시 레이트 타입 C1)의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 표시 타입(통상 타입 C2, 통상 해상도 저표시 레이트 타입 C3)의 프레임의 절환이, 적어도 최소한도 프레임수 N만큼 연속하는 프레임의 구간에서 생기지 않도록, 전술한 스텝 S1064 및 S1065에서, 주목 프레임의 변화량이, 임계값 L 미만이고, 또한, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 미만인 프레임이, 최소한도 프레임수 N 이상 연속하는 경우에, 주목 프레임의 표시 타입이, 프록시 데이터를 이용하여 화상이 표시되는 저해상도 통상 표시 레이트 타입 C1로 결정된다.
또한, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입의 프레임과, 본 선 데이터를 이용하여 화상이 표시되는 표시 타입의 프레임의 절환이, 적어도 최소한도 프레임수 N만큼 연속하는 프레임의 구간에서 생기지 않도록, 후술하는 스텝 S1066 내지 S1069에서, 주목 프레임의 변화량이, 임계값 L 이상이고, 또한, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 이상인 프레임이, 최소한도 프레임수 N 이상 연속하는 경우에, 주목 프레임의 표시 타입이, 본선 데이터를 이용하여 화상이 표시되는 통상 타입 C2, 또는 통상 해상도 저표시 레이트 타입 C3으로 결정된다.
즉, 스텝 S1064에서, 주목 프레임의 변화량이 임계값 L 미만이 아니라고 판정되거나, 또는, 주목 프레임의 변화량이 임계값 L 미만이어도, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 L 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 스텝 S1066으로 진행하여, 연속성 판정부(1083)가, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 L 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 이상인 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
스텝 S1066에서, 주목 프레임의 변화량이 임계값 L 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 연속성 판정부(1083)는, 그 판정의 결과를 나타내는 판정 정보를, 결정부(1084)에 공급하고, 스텝 S1067로 진행한다.
주목 프레임의 변화량이 임계값 L 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 하는 판정의 결과를 나타내는 판정 정보의 공급을 연속성 판정부(1083)로부터 받은 결정부(1084)는, 스텝 S1067에서, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 주목 프레임의 변화량이 임계값 H 이상인지의 여부를 판정한다.
스텝 S1067에서, 주목 프레임의 변화량이 임계값 H 이상이라고 판정된 경우, 스텝 S1068로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 통상 해상도 저표시 레이트 타입 C3으로 결정하고, 스텝 S1070으로 진행한다.
또한, 스텝 S1067에서, 주목 프레임의 변화량이 임계값 H 이상이 아니라고 판정된 경우, 즉, 주목 프레임의 변화량이 임계값 L 이상 임계값 H 미만인 경우, 스텝 S1069로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 통상 타입 C2로 결정하고, 스텝 S1070으로 진행한다.
여기에서, 스텝 S1066 내지 S1069에 의하면, 주목 프레임의 변화량이 임계값 L 이상이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 이상인 프레임이 N프레임 이상 연속해서 존재하는 경우에, 표시 타입이 본선 데이터를 이용하여 화상이 표시되는 통상 해상도 저표시 레이트 타입 C3, 또는 통상 타입 C2 중 어느 하나로 결정되는데, 이것은, 전술한 바와 같이, 스크럽 시에, 시크가 빈번하게 발생하는 것을 방지하기 위해서이다.
스텝 S1070에서는, 연속성 판정부(1083)가, 지금, Fy 파일 작성부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 내에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있는지의 여부를 판정한다.
스텝 S1070에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있다고 판정된 경우, 스텝 S1063으로 되돌아가, 전술한 바와 같이, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이, 주목 프레임으로 새롭게 선택되고, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S1070에서, 주목 프레임으로 선택하고 있지 않은 프레임이 없다고 판정된 경우, 표시 타입 결정부(1023)는, 처리를 종료한다.
한편, 스텝 S1066에서, 주목 프레임의 변화량이 임계값 L 이상이 아니라고 판정되거나, 또는, 주목 프레임의 변화량이 임계값 L 이상이어도, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 L 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 도 63의 스텝 S1071로 진행하여, 연속성 판정부(1083)는, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
여기에서, 주목 프레임의 변화량이 임계값 L 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 미만인 프레임이 N프레임 이상 연속해서 존재하는 경우에는, 도 62의 스텝 S1065에서, 주목 프레임의 표시 타입은, 저해상도 통상 표시 레이트 타입 C1로 결정된다.
또한, 주목 프레임의 변화량이 임계값 L 이상이며, 주목 프레임의 직전이거 나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 경우에는, 도 62의 스텝 S1068 또는 S1069에서, 주목 프레임의 표시 타입은, 통상 해상도 저표시 레이트 타입 C3, 또는 통상 타입 C2로 결정된다.
따라서, 도 63의 스텝 S1071의 처리가 행해지는 것은, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 L 미만인 프레임이 N프레임 이상 연속해서 존재하지 않고, 또한, 변화량이 임계값 L 이상인 프레임도 최소한도 프레임수 N 이상 연속해서 존재하지 않는 경우, 즉, 주목 프레임이, 변화량이 임계값 L을 넘는 프레임이 존재하는 구간(변화량이 임계값 L 미만인 프레임과, 임계값 L 이상의 프레임이 혼재하는 구간)이며, 또한, 변화량이 임계값 L 미만인 프레임이 연속하는 프레임수와, 임계값 L 이상의 프레임이 연속하는 프레임수가, 많아도 최소한도 프레임수 N 미만인 구간(이것도, 이하, 적절하게, 혼재 구간이라고 함)의 프레임인 경우이다.
또한, 혼재 구간은, 도 54에서 설명한 경우와 마찬가지로, 반드시, 변화량이 임계값 L 미만인 프레임이 N프레임 이상 연속해서 존재하는 구간(이것도, 이하, 적절하게, 소변화량 구간이라고 함)과, 변화량이 임계값 L 이상인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 구간(이것도, 이하, 적절하게, 대변화량 구간이라고 함)의 사이나, 2개의 대변화량 구간끼리의 사이, 또는, 2개의 소변화량 구간끼리의 사이 중 어느 하나에 끼여지는 형태로 존재한다.
이상으로부터, 혼재 구간은, 구간 길이(프레임수)가 최소한도 프레임수 N 이 상인 구간과, 최소한도 프레임수 N 미만인 구간으로 나눌 수 있다.
또한, 혼재 구간은, 대변화량 구간과 소변화량 구간의 사이에 끼여지는 구간, 대변화량 구간끼리의 사이에 끼여지는 구간, 또는 소변화량 구간끼리의 사이에 끼여지는 구간 중 어느 하나로 나눌 수 있다.
스텝 S1071에서는, 연속성 판정부(1083)는, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부, 즉, 주목 프레임이 존재하는 혼재 구간이, 구간 길이가 최소한도 프레임수 N 이상인 구간인지의 여부를 판정한다.
스텝 S1071에서, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 변화량이 임계값 L을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 스텝 S1072로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 통상 타입 C2로 결정하고, 도 62의 스텝 S1070으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 변화량이 임계값 L을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임에 대해서는, 그 모든 프레임의 표시 타입을, 본선 데이터(로서의 화상 데이터)를 이용하여 화상이 표시되는 표시 타입으로 하거나, 또는, 프록시 데이터(로서의 화상 데이터)를 이용하여 화상이 표시되는 표시 타입으로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
따라서, 도 63에서는, 변화량이 임계값 L을 넘는 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임의 표시 타입은, 모두, 본선 데이 터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 통상 타입 C2로 된다.
또한, 변화량이 임계값 L을 넘는 프레임이 최소한도 프레임수 N 이상 연속해서 존재하는 혼재 구간의 프레임의 표시 타입은, 그 밖의, 예를 들면, 프록시 데이터를 이용하여 화상이 표시되는 저해상도 통상 표시 레이트 C1로 하는 것이 가능하다.
한편, 스텝 S1071에서, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 변화량이 임계값 L을 넘는 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 즉, 주목 프레임이 존재하는 혼재 구간(주목 혼재 구간)이, 구간 길이가 최소한도 프레임수 N 미만인 구간인 경우, 스텝 S1073으로 진행하여, 연속성 판정부(1083)는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 좌측에 있는, 시간적으로 선행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(왼쪽 프레임)의 변화량과, 주목 혼재 구간의 우측에 있는, 시간적으로 후행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(오른쪽 프레임)의 변화량 중 어느 한쪽의 변화량이 임계값 L 미만이며, 다른 쪽의 변화량이 임계값 L 이상인지의 여부, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간인지의 여부를 판정한다.
스텝 S1073에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간이라고 판정된 경우, 스텝 S1072로 진행하여, 전술한 바와 같이, 결정부(1084)는, 주목 프레임의 표시 타입을, 통상 타입 C2로 결정하고, 도 62의 스텝 S1070으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이 끼여지는 대변화량 구간과 소변화량 구간은, 모두, 구간 길이가 최소한도 프레임수 N 이상인 구간이다. 또한, 대변화량 구간의 프레임의 표시 타입은, 본선 데이터를 이용하여 화상이 표시되는 표시 타입(통상 타입 C2, 또는 통상 해상도 저표시 레이트 타입 C3)으로 결정되고, 소변화량 구간의 프레임의 표시 타입은, 프록시 데이터를 이용하여 화상이 표시되는 표시 타입(저해상도 통상 표시 레이트 타입 C1)으로 결정된다.
또한, 대변화량 구간과 작은 변화량 구간에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 대변화량 구간의 프레임의 표시 타입, 또는 그 소변화량 구간의 프레임의 표시 타입과 동일한 표시 타입으로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
따라서, 도 63에서는, 변화량이 임계값 L을 넘는 프레임이 최소한도 프레임수 N 미만인 주목 혼재 구간으로서, 대변화량 구간과 소변화량 구간에 끼여지는 주목 혼재 구간의 프레임의 표시 타입은, 모두, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 통상 타입 C2로 된다.
또한, 변화량이 임계값 L을 넘는 프레임이 최소한도 프레임수 N 미만인 주목 혼재 구간으로서, 대변화량 구간과 소변화량 구간에 끼여지는 주목 혼재 구간의 프레임의 표시 타입은, 그 밖의, 예를 들면, 소변화량 구간의 프레임의 표시 타입, 즉, 프록시 데이터를 이용하여 화상이 표시되는 저해상도 통상 표시 레이트 타입 C1로 하는 것이 가능하다.
한편, 스텝 S1073에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간과 소변화량 구간 사이에 끼여지는 구간이 아니라고 판정된 경우, 스텝 S1074로 진행하여, 연속성 판정부(1083)는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 좌측에 있는, 시간적으로 선행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(왼쪽 프레임)의 변화량과, 주목 혼재 구간의 우측에 있는, 시간적으로 후행하는 프레임 중, 주목 혼재 구간에 인접하는 프레임(오른쪽 프레임)의 변화량의 모두가 임계값 L 미만인지의 여부, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 소변화량 구간끼리의 사이에 끼여지는 구간인지의 여부를 판정한다.
스텝 S1074에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 소변화량 구간끼리의 사이에 끼여지는 구간이 아니라고 판정된 경우, 즉, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 대변화량 구간끼리의 사이에 끼여지는 구간인 경우, 스텝 S1072로 진행하여, 전술한 바와 같이, 결정부(1084)는, 주목 프레임의 표시 타입을, 대변화량 구간의 프레임의 표시 타입, 즉, 본선 데이터를 이용하여 화상이 표시되는 표시 타입 중, 예를 들면, 통상 타입 C2로 결정하고, 도 62의 스텝 S1070으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 2개의 대변화량 구간끼리의 사이에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 2개의 대변화량 구간의 프레임의 표시 타입으로서 결정되는, 본선 데이터를 이용하여 화상이 표시되는 표 시 타입과 동일한 표시 타입으로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
한편, 스텝 S1074에서, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간이, 소변화량 구간끼리의 사이에 끼여지는 구간이라고 판정된 경우, 스텝 S1075로 진행하여, 결정부(1084)는, 주목 프레임의 표시 타입을, 프록시 데이터를 이용하여 화상이 표시되는 저해상도 통상 표시 레이트 타입 C1로 결정하고, 도 62의 스텝 S1070으로 진행하고, 이하, 전술한 처리가 행해진다.
즉, 2개의 소변화량 구간끼리의 사이에 끼여지는, 구간 길이가 최소한도 프레임수 N 미만인 주목 혼재 구간의 프레임에 대해서는, 그 2개의 소변화량 구간의 프레임의 표시 타입으로서 결정되는, 프록시 데이터를 이용하여 화상이 표시되는 저해상도 통상 표시 레이트 타입 C1과 동일한 표시 타입으로 함으로써, 시크가 빈번하게 발생하는 것을 방지할 수 있다.
다음으로, 도 64는, 도 35의 변화량 산출부(1022)에서, 변화량으로서 움직임 정보와 세밀함 정보가 구해지고, 표시 타입 결정부(1023)에서, 움직임 정보에 기초하는 표시 타입과 세밀함 정보에 기초하는 표시 타입이 결정되고, 선택부(1024)에서, 변화량과 표시 타입의 양쪽이 선택된 경우의, 도 35의 파일 작성부(1025)가 작성하는 Fy 파일의 예를 도시하고 있다.
도 64의 Fy 파일에서는, 왼쪽으로부터 오른쪽 방향으로, 선두로부터 몇 번째의 프레임인지를 나타내는 프레임 넘버, 프레임 넘버에 대응하는 프레임의 타임 코드, 프레임 넘버에 대응하는 프레임의 변화량으로서의 움직임 정보와 세밀함 정보, 프레임 넘버에 대응하는 프레임의 움직임 정보에 기초하는 표시 타입과 세밀함 정보에 기초하는 표시 타입이, 순차적으로 배치되어 있다.
도 65는, 도 35의 변화량 산출부(1022)에서, 변화량으로서 움직임 정보와 세밀함 정보가 구해지고, 선택부(1024)에서, 변화량만이 선택된 경우의, 도 35의 파일 작성부(1025)가 작성하는 Fy 파일의 예를 도시하고 있다.
도 65의 Fy 파일에서는, 왼쪽으로부터 오른쪽 방향으로, 선두로부터 몇 번째의 프레임인지를 나타내는 프레임 넘버, 프레임 넘버에 대응하는 프레임의 타임 코드, 프레임 넘버에 대응하는 프레임의 변화량으로서의 움직임 정보와 세밀함 정보가, 순차적으로 배치되어 있다.
도 66은, 도 35의 변화량 산출부(1022)에서, 변화량으로서 움직임 정보와 세밀함 정보가 구해지고, 표시 타입 결정부(1023)에서, 움직임 정보에 기초하는 표시 타입과 세밀함 정보에 기초하는 표시 타입이 결정되고, 선택부(1024)에서, 표시 타입만이 선택된 경우의, 도 35의 파일 작성부(1025)가 작성하는 Fy 파일의 예를 도시하고 있다.
도 66의 Fy 파일에서는, 왼쪽으로부터 오른쪽 방향으로, 선두로부터 몇 번째의 프레임인지를 나타내는 프레임 넘버, 프레임 넘버에 대응하는 프레임의 타임 코드, 프레임 넘버에 대응하는 프레임의 움직임 정보에 기초하는 표시 타입과 세밀함 정보에 기초하는 표시 타입이, 순차적으로 배치되어 있다.
다음으로, 전술한 경우에는, 표시 타입을, 움직임 정보 또는 세밀함 정보 중 어느 한쪽에 기초하여 결정하도록 했지만, 표시 타입은, 움직임 정보 및 세밀함 정 보의 양쪽에 기초하여 결정하는 것도 가능하다.
즉, 도 67은, 도 35의 표시 타입 결정부(1023)가 결정하는 표시 타입의 다른 예를 도시하고 있다.
도 67에서는, 표시 타입으로서, 정지 화상에서의 표시를 나타내는 정지 화상 타입 VC1, 및, 프레임을 표시할 때의 해상도나 프레임을 표시할 때의 표시 레이트가 서로 다른 통상 타입 VC2, 고표시 레이트 저해상도 타입 VC3, 및 통상 표시 레이트 저해상도 타입 VC4의 4개가 있다.
정지 화상 타입 VC1의 프레임에 대해서는, 도 49의 정지 화상 타입 V1과 마찬가지로, 표시 대상의 프레임이 변경되어도, 그 표시 대상의 프레임의 화상이, 직전에 표시된 프레임(의 화상)과 동일한 화상이라고 간주할 수 있는 한, 직전에 표시된 프레임(의 화상)이 표시된다(계속 표시된다).
통상 타입 VC2의 프레임에 대해서는, 도 49의 통상 타입 V2와 마찬가지로, 동화상의 프레임 레이트와 동일한 표시 레이트(통상 레이트)로, 본선 데이터로서의 화상 데이터와 동일한 해상도(통상 해상도)로, 화상이 표시된다.
고표시 레이트 저해상도 타입 VC3의 프레임에 대해서는, 도 49의 고표시 레이트 저해상도 타입 V3과 마찬가지로, 통상 레이트보다도 높은, 예를 들면, 통상 레이트의 2배의 표시 레이트로, 프록시 데이터로서의 화상 데이터와 동일한 해상도(본선 데이터로서의 화상 데이터보다도 낮은 해상도)로, 화상이 표시된다.
통상 표시 레이트 저해상도 타입 VC4의 프레임에 대해서는, 통상 레이트의 표시 레이트로, 프록시 데이터로서의 화상 데이터와 동일한 해상도(본선 데이터로 서의 화상 데이터보다도 낮은 해상도)로, 화상이 표시된다.
여기에서, 고표시 레이트 저해상도 타입 VC3과, 통상 표시 레이트 저해상도 타입 VC4는, 고표시 레이트 저해상도 타입 VC3에서는, 통상 레이트보다도 높은 표시 레이트로 화상이 표시되는 것에 대해서, 통상 표시 레이트 저해상도 타입 VC4에서는, 통상 레이트(의 표시 레이트)로 화상이 표시되는 점만이 서로 다르다.
표시 타입으로서, 도 67에 도시한 바와 같이, 4개의 정지 화상 타입 VC1, 통상 타입 VC2, 고표시 레이트 저해상도 타입 VC3, 및 통상 표시 레이트 저해상도 타입 VC4가 있는 경우, 변화량 산출부(1022)(도 35)에서는, 움직임 정보와 세밀함 정보가, 변화량으로서 구해진다. 그리고, 표시 타입 결정부(1023)(도 35)는, 움직임 정보와 세밀함 정보의 양쪽에 기초하여, 즉, 예를 들면, 움직임 정보와 2개의 임계값을 비교함과 함께, 세밀함 정보와 1개의 임계값을 비교하고, 그들의 비교의 결과에 기초하여, 프레임의 표시 타입을, 정지 화상 타입 VC1, 통상 타입 VC2, 고표시 레이트 저해상도 타입 VC3, 또는 통상 표시 레이트 저해상도 타입 VC4 중 어느 하나로 결정한다.
즉, 도 68은, 프레임 단위의 변화량으로서의 움직임 정보 및 세밀함 정보와, 그 움직임 정보 및 세밀함 정보에 기초하여, 표시 타입 결정부(1023)(도 35)가 프레임 단위로 결정하는 표시 타입을 나타내고 있다.
또한, 도 68의 위는, 프레임 단위의 움직임 정보를 나타내고 있고, 도 68의 아래는, 프레임 단위의 세밀함 정보를 나타내고 있다.
또한, 도 68에서, 가로축은 프레임을 나타내고, 세로축은 변화량(움직임 정 보, 세밀함 정보)을 나타낸다.
표시 타입 결정부(1023)(도 35)는, 프레임 단위의 움직임 정보를, 식 L<H의 관계가 있는 임계값 L 또는 H와 비교하고, 그 비교 결과에 기초하여, 말하자면 가상의 표시 타입을 결정한다(표시 타입을 가결정한다).
즉, 표시 타입 결정부(1023)는, 예를 들면, 도 49 내지 도 54에서 설명한 경우와 마찬가지로 하여, 프레임의 움직임 정보에 기초하여, 그 프레임의 가상의 표시 타입을, 도 49에 도시한 정지 화상 타입 V1, 통상 타입 V2, 또는 고표시 레이트 저해상도 타입 V3 중 어느 하나로 결정한다(표시 타입을 가결정한다).
이에 의해, 도 49 내지 도 54에서 설명한 바와 같이, 대략적으로는, 움직임 정보가 임계값 L 미만인 프레임의 표시 타입은, 정지 화상 타입 V1로, 움직임 정보가 임계값 L 이상 임계값 H 미만인 프레임의 표시 타입은, 통상 타입 V2로, 움직임 정보가 임계값 H 이상인 프레임의 표시 타입은, 고표시 레이트 저해상도 타입 V3으로, 각각 가결정된다.
또한, 표시 타입 결정부(1023)(도 35)는, 프레임 단위의 세밀함 정보를, 소정의 임계값 K와 비교하고, 그 비교 결과와, 움직임 정보에 기초하여 가결정된 가상의 표시 타입에 기초하여, 프레임의 표시 타입을, 도 67에 도시한 정지 화상 타입 VC1, 통상 타입 VC2, 고표시 레이트 저해상도 타입 VC3, 또는 통상 표시 레이트 저해상도 타입 VC4 중 어느 하나로 최종적으로 결정한다.
즉, 표시 타입 결정부(1023)는, 가상의 표시 타입이 정지 화상 타입 V1인 프레임의 표시 타입을, 정지 화상 타입 VC1로 최종적으로 결정하고, 가상의 표시 타 입이 고표시 레이트 저해상도 타입 V3인 프레임의 표시 타입을, 고표시 레이트 저해상도 타입 VC3으로 최종적으로 결정한다.
또한, 표시 타입 결정부(1023)는, 가상의 표시 타입이 통상 타입 V2인 프레임 중, 세밀함 정보가 임계값 K 이상인 프레임, 즉, 평탄한 화상이라고는 할 수 없는 화상의 프레임의 표시 타입을, 통상 타입 VC2로 최종적으로 결정한다. 또한, 표시 타입 결정부(1023)는, 가상의 표시 타입이 통상 타입 V2인 프레임 중, 세밀함 정보가 임계값 K 미만인 프레임, 즉, 평탄한 화상의 프레임의 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 최종적으로 결정한다.
즉, 가상의 표시 타입이 통상 타입 V2인 프레임은, 그다지 큰 움직임은 아니지만, 어느 정도의 움직임이 있는 프레임이다. 또한, 세밀함 정보가 임계값 K 미만인 프레임은, 평탄한 화상의 프레임이다. 따라서, 가상의 표시 타입이 통상 타입 V2인 프레임 중, 세밀함 정보가 임계값 K 미만인 프레임은, 어느 정도의 움직임이 있지만, 평탄한 화상의 프레임이다.
어느 정도의 움직임이 있는 화상이어도, 평탄한 화상이면, 저해상도로 표시하여도, 화상의 공간적인 변화를 놓치기 쉽게는 되지 않는다. 또한, 스크럽에서, 화상을 저해상도로 표시하는 경우에는, 스크럽을 행하는 장치에 걸리는 부하를 경감할 수 있다.
따라서, 어느 정도의 움직임이 있는, 가상의 표시 타입이 통상 타입 V2인 프레임에 대해서는, 표시 타입이, 원칙적으로, 통상 해상도로 화상이 표시되는 통상 타입 VC2로 최종적으로 결정되지만, 세밀함 정보가 임계값 K 미만인 경우에 한해 서, 통상 해상도보다 낮은 해상도로 화상이 표시되는 통상 표시 레이트 저해상도 타입 VC4로 최종적으로 결정된다.
여기에서, 도 68에서는, 세밀함 정보가 임계값 K 미만인 프레임의 구간 DP의 프레임이고, 또한, 움직임 정보에 기초하는 가상의 표시 타입이 통상 타입 V2인 프레임의 표시 타입이, 통상 표시 레이트 저해상도 타입 VC4로 최종적으로 결정되어 있다.
또한, 프레임 단위의 움직임 정보와 세밀함 정보에 기초하여, 도 67에 도시한 정지 화상 타입 VC1, 통상 타입 VC2, 고표시 레이트 저해상도 타입 VC3, 또는 통상 표시 레이트 저해상도 타입 VC4 중 어느 하나로 최종적으로 결정되는 표시 타입을, 이하, 적절하게, 최종 표시 타입이라고 한다.
다음으로, 도 69의 플로우차트를 참조하여, 표시 타입(최종 표시 타입)이, 움직임 정보와 세밀함 정보의 양쪽에 기초하여, 도 67에 도시한 정지 화상 타입 VC1, 통상 타입 VC2, 고표시 레이트 저해상도 타입 VC3, 또는 통상 표시 레이트 저해상도 타입 VC4 중 어느 하나로 결정되는 경우의, 도 51의 표시 타입 결정부(1023)의 처리에 대해서 설명한다.
또한, 변화량 산출부(1022)(도 35)에서는, 변화량으로서, 움직임 정보와 세밀함 정보가 구해지고, 표시 타입 결정부(1023)에 공급한다.
표시 타입 결정부(1023)는, 스텝 S1081에서, 변화량 산출부(1022)(도 35)로부터의 프레임 단위의 움직임 정보에 기초하여, 도 52 및 도 53에서 설명한 바와 같이 하여, 움직임 정보에 기초하는 표시 타입(가상의 표시 타입)을 결정하고, 스 텝 S1082로 진행한다.
스텝 S1082에서는, 표시 타입 결정부(1023)는, 변화량 산출부(1022)로부터 공급되는 프레임 단위의 세밀함 정보를, 기억부(1081)(도 51)에 캐쉬시키고, 스텝 S1083으로 진행한다.
스텝 S1083에서는, 임계값 처리부(1082)(도 51)가, 기억부(1081)에 기억된 프레임 단위의 세밀함 정보와 임계값 K를 비교하는 임계 처리를 행하고, 프레임 단위의 세밀함 정보 변화량과 임계값 K의 비교의 결과를 나타내는 비교 정보를, 프레임 단위로, 연속성 판정부(1083)에 공급하고, 스텝 S1084로 진행한다.
스텝 S1084에서는, 연속성 판정부(1083)(도 51)가, 지금, Fy 파일 작성부(76)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 중, 아직, 주목 프레임으로 하고 있지 않은 시계열순으로 가장 선행하는 프레임을, 주목 프레임으로 선택하고, 그 주목 프레임의 정보를, 결정부(1084)(도 51)에 공급하고, 스텝 S1085로 진행한다.
스텝 S1085에서는, 결정부(1084)가, 주목 프레임의 움직임 정보에 기초하는 표시 타입(스텝 S1081에서 결정된 가상의 표시 타입)이, 정지 화상 타입 V1인지의 여부를 판정한다.
스텝 S1085에서, 주목 프레임의 움직임 정보에 기초하는 표시 타입이, 정지 화상 타입 V1이라고 판정된 경우, 스텝 S1086으로 진행하여, 결정부(1084)는, 주목 프레임의 최종 표시 타입(주목 프레임의 움직임 정보와 세밀함 정보에 기초하는 표시 타입)을, 정지 화상 타입 VC1로 최종적으로 결정하고, 스텝 S1093으로 진행한 다.
또한, 스텝 S1085에서, 주목 프레임의 움직임 정보에 기초하는 표시 타입이, 정지 화상 타입 V1이 아니라고 판정된 경우, 스텝 S1087로 진행하여, 결정부(1084)가, 주목 프레임의 움직임 정보에 기초하는 표시 타입이, 고표시 레이트 저해상도 타입 V3인지의 여부를 판정한다.
스텝 S1087에서, 주목 프레임의 움직임 정보에 기초하는 표시 타입이, 고표시 레이트 저해상도 타입 V3이라고 판정된 경우, 스텝 S1088로 진행하여, 결정부(1084)는, 주목 프레임의 최종 표시 타입을, 고표시 레이트 저해상도 타입 VC3으로 최종적으로 결정하고, 스텝 S1093으로 진행한다.
또한, 스텝 S1087에서, 주목 프레임의 움직임 정보에 기초하는 표시 타입이, 고표시 레이트 저해상도 타입 V3이 아니라고 판정된 경우, 즉, 주목 프레임의 움직임 정보에 기초하는 표시 타입이, 통상 타입 V2인 경우, 스텝 S1089로 진행하여, 연속성 판정부(1083)(도 51)는, 임계값 처리부(1082)로부터의 비교 정보에 기초하여, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 주목 프레임의 세밀함 정보가 임계값 K 미만인 프레임이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 세밀함 정보가 임계값 K 미만인 프레임이, 최소한도 프레임수 N 이상 연속해서 존재하는지의 여부를 판정한다.
스텝 S1089에서, 주목 프레임의 세밀함 정보가 임계값 K 미만이 아니거나, 또는, 주목 프레임의 세밀함 정보가 임계값 K 미만이어도, 주목 프레임의 직전, 직후, 및 전후 중 어디에도, 세밀함 정보가 임계값 K 미만인 프레임이 최소한도 프레 임수 N 이상 연속해서 존재하지 않는다고 판정된 경우, 연속성 판정부(1083)는, 그 판정의 결과를 나타내는 판정 정보를, 결정부(1084)(도 51)에 공급하고, 스텝 S1090으로 진행한다.
주목 프레임의 세밀함 정보가 임계값 K 미만이 아니라고 하는 판정의 결과, 또는, 주목 프레임의 직전, 직후, 및 전후에 걸친 어디에도, 세밀함 정보가 임계값 K 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재하지 않는다고 하는 판정의 결과를 나타내는 판정 정보의 공급을 연속성 판정부(1083)로부터 받은 결정부(1084)(도 51)는, 스텝 S1090에서, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 주목 프레임의 최종 표시 타입을, 통상 타입 VC2로 최종적으로 결정하고, 스텝 S1093으로 진행한다.
또한, 스텝 S1089에서, 주목 프레임의 세밀함 정보가 임계값 K 미만이며, 주목 프레임의 직전이나, 직후, 또는 전후에 걸쳐서, 세밀함 정보가 임계값 K 미만인 프레임이 최소한도 프레임수 N 이상 연속해서 존재한다고 판정된 경우, 스텝 S1091로 진행하여, 연속성 판정부(1083)(도 51)는, 세밀함 정보가 임계값 K 미만인, 주목 프레임의 직전, 직후, 또는 전후에 걸친, 최소한도 프레임수 N 이상 연속하는 프레임의 구간의 프레임 중, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 프레임의 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 변경한 경우에, 동일한 표시 타입이 연속하는 프레임수가, 최소한도 프레임수 N 미만으로 되는 구간이 생기는지의 여부를 판정한다.
즉, 스텝 S1091에서는, 예를 들면, 도 68에서, 구간 DP가, 세밀함 정보가 임 계값 K 미만인 프레임이 최소한도 프레임수 N 이상 연속하는 구간인 것으로 하면, 그 구간 DP의 프레임 중, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 프레임의 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 변경한 경우에, Fy 파일을 작성하려고 하고 있는 동화상에 대해서 최종적으로 얻어지는, 움직임 정보와 세밀함 정보에 기초하는 표시 타입의 시계열에서, 동일한 표시 타입이 연속하는 구간 내에, 그 동일한 표시 타입이 연속하는 수가, 최소한도 프레임수 N 미만으로 되는 구간이 생기는지의 여부가 판정된다.
스텝 S1091에서, 세밀함 정보가 임계값 K 미만인, 주목 프레임의 직전, 직후, 또는 전후에 걸친, 최소한도 프레임수 N 이상 연속하는 프레임의 구간의 프레임 중, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 프레임의 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 변경하면, 동일한 표시 타입이 연속하는 프레임수가, 최소한도 프레임수 N 미만으로 되는 구간이 생긴다고 판정된 경우, 즉, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 주목 프레임의 최종 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 하면, 시크가 빈발할 우려가 있는 경우, 스텝 S1090으로 진행하여, 결정부(1084)(도 51)는, 전술한 바와 같이, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 주목 프레임의 최종 표시 타입을, 통상 타입 VC2로 최종적으로 결정하고, 스텝 S1093으로 진행한다.
또한, 스텝 S1091에서, 세밀함 정보가 임계값 K 미만인, 주목 프레임의 직전, 직후, 또는 전후에 걸친, 최소한도 프레임수 N 이상 연속하는 프레임의 구간의 프레임 중, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 프레임의 표시 타 입을, 통상 표시 레이트 저해상도 타입 VC4로 변경하여도, 동일한 표시 타입이 연속하는 프레임수가, 최소한도 프레임수 N 미만으로 되는 구간이 생기지 않는다고 판정된 경우, 스텝 S1092로 진행하여, 결정부(1084)(도 51)는, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 주목 프레임의 최종 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 최종적으로 결정하고, 스텝 S1093으로 진행한다.
여기에서, 표시 타입(최종 표시 타입)이, 도 67에 도시한 정지 화상 타입 VC1, 통상 타입 VC2, 고표시 레이트 저해상도 타입 VC3, 및 통상 표시 레이트 저해상도 타입 VC4 중에서 결정되는 경우에는, 스크럽에서, 표시 타입이, 정지 화상 타입 VC1의 프레임과, 통상 타입 VC2의 프레임에 대해서는, 해상도가 높은 화상(통상 해상도의 화상), 즉, (프록시 데이터보다도) 데이터량이 많은 본선 데이터의 화상 데이터를 처리하여 화상이 표시된다.
또한, 표시 타입이, 고표시 레이트 저해상도 타입 VC3의 프레임과, 통상 표시 레이트 저해상도 타입 VC4의 프레임에 대해서는, 해상도가 낮은 화상, 즉, (본선 데이터보다도) 데이터량이 적은 프록시 데이터의 화상 데이터를 처리하여 화상이 표시된다.
지금, 예를 들면, 기억 장치(22)(도 1)가, 본선 데이터와 프록시 데이터가 기록되는 프로페셔널 디스크인 경우에, 그 기억 장치(22)에 기록된 본선 데이터, 또는 프록시 데이터를 이용하여 스크럽을 행하는 것으로 하면, 도 52에서 설명한 경우와 마찬가지로, 동화상을 구성하는 시계열의 프레임에서, 프록시 데이터를 이용하여 화상이 표시되는 고표시 레이트 저해상도 타입 VC3의 프레임, 또는 통상 표 시 레이트 저해상도 타입 VC4의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 VC1, 또는 통상 타입 VC2의 프레임이 빈번하게 절환되면, 시크가 빈번하게 발생하여, 스크럽 바(66)(도 3)의 조작에 의해 지정된 프레임의 표시를 스무즈하게 행하는 것이 곤란해지는 경우가 있다.
전술한 바와 같은 시크가 빈번하게 발생하는 것을 방지하기 위해서는, 프록시 데이터를 이용하여 화상이 표시되는 고표시 레이트 저해상도 타입 VC3의 프레임, 또는 통상 표시 레이트 저해상도 타입 VC4의 프레임과, 본선 데이터를 이용하여 화상이 표시되는 정지 화상 타입 VC1, 또는 통상 타입 VC2의 프레임이 빈번하게 절환되지 않도록 할 필요가 있다.
그 때문에, 도 69에서는, 스텝 S1090 내지 S1092에서, 세밀함 정보가 임계값 K 미만인, 주목 프레임의 직전, 직후, 또는 전후에 걸친, 최소한도 프레임수 N 이상 연속하는 프레임의 구간의 프레임 중, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 프레임의 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 변경하여도, 동일한 표시 타입이 연속하는 프레임수가, 최소한도 프레임수 N 미만으로 되는 구간이 생기지 않는 경우에 한해서, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 주목 프레임의 최종 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 결정하고, 다른 경우(동일한 표시 타입(최종 표시 타입)이 연속하는 프레임수가, 최소한도 프레임수 N 미만으로 되는 구간이 생기는 경우)에는, 움직임 정보에 기초하는 표시 타입이 통상 타입 V2인 주목 프레임의 최종 표시 타입을, 통상 표시 레이트 저해상도 타입 VC4로 결정하도록 되어 있다.
스텝 S1093에서는, 연속성 판정부(1083)가, 지금, Fy 파일 작성부(1004)(도 35)에서 Fy 파일을 작성하려고 하고 있는 동화상을 구성하는 프레임 중에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있는지의 여부를 판정한다.
스텝 S1093에서, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이 있다고 판정된 경우, 스텝 S1084로 되돌아가, 전술한 바와 같이, 아직, 주목 프레임으로 선택하고 있지 않은 프레임이, 주목 프레임으로 새롭게 선택되어, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S1093에서, 주목 프레임으로 선택하고 있지 않은 프레임이 없다고 판정된 경우, 표시 타입 결정부(1023)는, 처리를 종료한다.
다음으로, 도 70은, 도 35의 변화량 산출부(1022)에서, 변화량으로서 움직임 정보와 세밀함 정보가 구해지고, 표시 타입 결정부(1023)에서, 움직임 정보와 세밀함 정보에 기초하는 표시 타입(최종 표시 타입)이 결정되고, 선택부(1024)에서, 변화량과 표시 타입의 양쪽이 선택된 경우의, 도 35의 파일 작성부(1025)가 작성하는 Fy 파일의 예를 도시하고 있다.
도 70의 Fy 파일에서는, 왼쪽으로부터 오른쪽 방향으로, 선두로부터 몇 번째의 프레임인지를 나타내는 프레임 넘버, 프레임 넘버에 대응하는 프레임의 타임 코드, 프레임 넘버에 대응하는 프레임의 변화량으로서의 움직임 정보와 세밀함 정보, 프레임 넘버에 대응하는 프레임의 움직임 정보와 세밀함 정보에 기초하는 표시 타입(최종 표시 타입)이, 순차적으로 배치되어 있다.
이상의 편집 전처리에서, 프레임의 변화량을 구하는 데에 이용하는 화소값의 종류는, 특별히 한정되는 것은 아니다. 즉, 화소값이, 예를 들면, 휘도 신호(Y)와 색차 신호(Cb, Cr)로 이루어지는 경우에는, 휘도 신호를 이용하여 변화량을 구할 수도 있고, 색차 신호를 이용하여 변화량을 구할 수도 있다. 단, 인간의 시각에 대한 영향은, 색차 신호의 변화보다도, 휘도 신호의 변화 쪽이 크기 때문에, 변화량은, 휘도 신호를 이용하여 구하는 것이 바람직하다.
또한, 화소값이, R, G, B의 색 성분으로 이루어지는 경우에는, 예를 들면, R, G, B의 색 성분의 제곱 합 등을 이용하여, 변화량을 구할 수 있다.
또한, 변화량으로서의 움직임 정보로서는, 도 40 내지 도 43에서 설명한 값 이외의 움직임의 심함을 정량적으로 나타내는 값을 채용할 수 있다. 마찬가지로, 변화량으로서의 세밀함 정보로서는, 도 44 내지 도 47에서 설명한 값 이외의 화상의 세밀함을 정량적으로 나타내는 값(예를 들면, 디피컬티(difficulty)나 플래트니스라고 불리는 값 등)을 채용할 수 있다.
또한, 예를 들면, 도 44에서 설명한 바와 같이, MPEG2 방식으로 부호화된 화상 데이터를 이용하여 변화량을 구하는 경우에는, 그 화상 데이터의 MPEG2 방식에 의한 부호화에 의해 얻어지고 있는 부호화 비트 스트림를 해석(패스)하고, 그 해석의 결과를 이용하여, 변화량을 구할 수 있다.
즉, 부호화 비트 스트림에는, 움직임 벡터가 포함되기 때문에, 변화량으로서의 움직임 정보를, 도 40 및 도 41에서 설명한 바와 같이, 움직임 벡터를 이용하여 구하는 경우에는, 부호화 비트 스트림을 해석함으로써, 그 해석의 결과로서, 부호화 비트 스트림에 포함되는 움직임 벡터를 얻고, 그 움직임 벡터를 이용하여, 움직 임 정보를 구할 수 있다.
또한, 부호화 비트 스트림에는, 8×8화소의 블록을 DCT 변환하여 얻어지는 DCT 계수가 포함되기 때문에, 변화량으로서의 세밀함 정보를, 도 44 및 도 45에서 설명한 바와 같이, DCT 계수를 이용하여 구하는 경우에는, 부호화 비트 스트림을 해석함으로써, 그 해석의 결과로서, 부호화 비트 스트림에 포함되는 DCT 계수를 얻고, 그 DCT 계수를 이용하여, 세밀함 정보를 구할 수 있다.
또한, 8×8화소의 블록을 DCT 변환하여 얻어지는 DCT 계수 중, 왼쪽 위의 DCT 계수인, 소위 직류 성분은, 블록의 8×8화소 각각의 화소값의 평균값이기 때문에, 변화량으로서의 세밀함 정보를, 도 46 및 도 47에서 설명한 바와 같이, 블록의 화소값의 평균값을 이용하여 구하는 경우에는, 부호화 비트 스트림를 해석함으로써, 그 해석의 결과로서, 부호화 비트 스트림에 포함되는 DCT 계수 중 직류 성분을 얻고, 그 직류 성분, 즉, 블록의 화소값의 평균값을 이용하여, 세밀함 정보를 구할 수 있다.
(4-2) 스크럽 처리
다음으로, 마이크로프로세서(3) 및 GPU(4)에 의한 스크럽 처리에 대해서 설명한다. 이 마이크로프로세서(3) 및 GPU(4)에 의한 처리를 기능적으로 나타낸 경우, 그 기능적 구성은, 도 71에 도시하는 바와 같이, GUI 제어부(1111), 스트림 복호 위치 검출부(1112), 데이터 공급 제어부(1113), Fy 파일 관리부(1114), 표시 타입 취득부(1115), 디코더(1116) 및 표시 제어부(1117)로 할 수 있다.
이 GUI 제어부(1111)는, 표시 제어부(1117)를 제어함으로써, 디스플레이(40) 에, 예를 들면, 도 2에 도시한 편집 화면(도 2) 등의 GUI를 표시시킨다. 또한, GUI 제어부(1111)는, 디스플레이(40)에 표시된 GUI에 대한, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)의 오퍼레이터의 조작에 따라서, 해당 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 공급되는 조작 신호를 수신하고, 그 조작 신호에 따라서, 필요한 정보 등을, 스트림 복호 위치 검출부(1112)나, 데이터 공급 제어부(1113), 표시 제어부(1117) 등에 공급한다.
즉, GUI 제어부(1111)는, 예를 들면, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 공급되는 조작 신호에 따라서, 스크럽의 대상으로 되는 본선 데이터 또는 프록시 데이터의 스트림(AV 파일)을 지시하는 정보나, 스크럽에서 재생할 프레임을 지시하는 정보와 함께, 프레임의 재생을 요구하는 커맨드(명령)를, 스트림 복호 위치 검출부(1112)에 공급한다.
또한, GUI 제어부(1111)는, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 공급되는 조작 신호에 따라서, 변화량에 기초하여 표시 타입을 결정할 때에 이용되는 임계값을, 데이터 공급 제어부(1113)에 공급한다.
또한, GUI 제어부(1111)는, 재생 시간차·재생 속도 v 설정 다이얼로그(도 7)에 기초하여, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 공급되는 재생 시간차 및 재생 속도 v를, 데이터 공급 제어부(1113)에 공급한다.
스트림 복호 위치 검출부(1112)는, GUI 제어부(1111)로부터의 커맨드에 따라서, 나선 영상 표시부군(58)에 표시하는 프레임을 특정하는 정보로서의 프레임 넘버와, 그 프레임의 데이터(본선 데이터 또는 프록시 데이터)를 포함하는 스트림을 특정하는 정보로서의 스트림 넘버를 생성하여, 데이터 공급 제어부(1113)에 공급한다.
데이터 공급 제어부(1113)는, 블록끼리의 사이에서 교환되는 데이터의 중계 등을 행한다.
즉, 데이터 공급 제어부(1113)는, 예를 들면, GUI 제어부(1111)로부터의 임계값을 수신하고, 그 임계값을, Fy 파일 관리부(1114)에 공급한다. 또한, 데이터 공급 제어부(1113)는, 예를 들면, 스트림 복호 위치 검출부(1112)로부터의 프레임 넘버 및 스트림 넘버를 수신하고, 그 프레임 넘버 및 스트림 넘버를, 표시 타입 취득부(1115)에 공급한다. 또한, 데이터 공급 제어부(1113)는, 예를 들면, 기억 장치(22)로부터 읽어 내어진 Fy 파일을 수신함으로써 취득하고, 그 Fy 파일을, Fy 파일 관리부(1114)에 공급한다.
Fy 파일 관리부(1114)는, 데이터 공급 제어부(1113)로부터 공급되는 Fy 파일의 관리(기억)를 행한다.
표시 타입 취득부(1115)는, Fy 파일 관리부(1114)에서 관리되어 있는 Fy 파일을 참조함으로써, 데이터 공급 제어부(1113)로부터 공급되는 프레임 넘버(또한, 필요한 스트림 넘버)에 의해 특정되는 프레임, 즉, 나선 영상 표시부군(58)에 표시하는 프레임의 표시 타입을 취득하여, 디코더(1116) 및 표시 제어부(1117), 그 밖의 편집 시스템을 구성하는 필요한 블록인, 예를 들면, GUI 제어부(1111) 등에 공급한다.
디코더(1116)는, 메모리 제어부(1116A)를 내장하고 있고, 데이터 공급 제어 부(1113)로부터 공급되는 스트림(본선 데이터 또는 프록시 데이터)을 복호하고, 그 결과 얻어지는 프레임의 화상 데이터(베이스 밴드의 화상 데이터)를, 표시 제어부(1117)에 공급한다.
또한, 디코더(1116)는, 스트림을 복호하는 데에 있어서 필요한 데이터를, XDR-RAM(5)(도 1)에 기억시키면서, 스트림의 복호를 행하는데, 디코더(1116)가 내장하는 메모리 제어부(1116A)는, XDR-RAM(5)에 대한 데이터의 읽고 쓰기를 제어한다. 또한, 디코더(1116)는, 후술하는 바와 같이, 나선 영상 표시부군(58)에 표시하는 프레임의 표시 타입이 정지 화상 타입인 경우에, 디코드를 행하지 않는 경우가 있지만, 나선 영상 표시부군(58)에 표시하는 프레임의 표시 타입이 정지 화상 타입인 것에 대해서는, 표시 타입 취득부(1115)로부터의 표시 타입을 참조함으로써 인식한다.
표시 제어부(1117)는, GUI 제어부(1111)로부터 공급되는 정보나, Fy 파일 관리부(1114)에서 관리되어 있는 Fy 파일 등에 따라서, 디스플레이(40)에 대하여 편집 화면(도 2) 등을 표시시킨다.
또한, 표시 제어부(1117)는, 디코더(1116)로부터 공급되는 프레임의 화상 데이터에 대응하는 화상을, 표시 타입 취득부(1115)로부터 공급되는 표시 타입과, 데이터 공급 제어부(1113)로부터 공급되는 재생 시간차 및 재생 속도 v에 기초하여, 편집 화면(50)에서의 표시부(55)의 나선 영상 표시부군(58)에 표시한다.
즉, 표시 제어부(1117)는, 디코더(1116)로부터 공급되는 프레임의 화상 데이터를, 재생 속도 v에 대응하는 프레임수만큼 씨닝하고, 해당 씨닝 대상으로 되지 않았던 프레임의 화상 데이터의 화상을, 그 프레임의 표시 타입이 나타내는 표시 방법으로, 해당 오퍼레이터에 의해 설정된 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
또한, 표시 제어부(1117)는, 재생 파라미터로서의 재생 시간차 및 재생 속도 v가 데이터 공급 제어부(1113)로부터 공급되지 않는 경우(즉 오퍼레이터에 의해 설정 조작이 행해지고 있지 않는 경우)에는, 미리 디폴트로서 설정된 재생 파라미터 를 이용하도록 이루어져 있다. 또한, 디스플레이(40)에서는, XDR-RAM(5)(도 1)의 일부의 기억 영역에 기억되어 있는 데이터에 대응하는 화상이 표시되도록 되어 있고, 표시 제어부(1117)는, 그 XDR-RAM(5)(도 1)에 화상 데이터를 기입함으로써, 그 화상 데이터에 대응하는 화상을, 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 표시시킨다.
그런데, 스크럽에서 나선 영상 표시부군(58)에 표시하는 프레임으로서 지시된 프레임을, 주목 프레임이라고 하는 것으로 한 경우, 표시 타입 취득부(1115)에서는, Fy 파일 관리부(1114)에서 관리(기억)되어 있는 Fy 파일에 기초하여 주목 프레임의 표시 타입이 취득되고, 이것이 표시 제어부(1117)에 공급된다.
또한 이 경우, 디코더(1116)에서는, 기억 장치(22)로부터 데이터 공급 제어부(1113)를 통해서 공급되는 데이터가, 주목 프레임의 화상 데이터로 복호되고, 이것이 표시 제어부(1117)에 공급된다. 따라서, 표시 제어부(1117)는, 주목 프레임의 화상 데이터에 대응하는 화상을, 그 프레임의 표시 타입이 나타내는 표시 방법 으로, 또한 재생 속도 v에 대응하는 타이밍에서, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시키게 된다.
덧붙여서, Fy 파일에는, 전술한 바와 같이, 프레임 단위의 변화량과 표시 타입 중 어느 한쪽, 또는 양쪽이 선택되어서 저장되기 때문에, Fy 파일에는, 변화량과 표시 타입의 양쪽이 저장되어 있는 경우, 변화량이 저장되어 있지만, 표시 타입이 저장되어 있지 않은 경우, 표시 타입이 저장되어 있지만, 변화량이 저장되어 있지 않은 경우가 있다.
Fy 파일에 표시 타입이 저장되어 있는 경우, 즉, 변화량과 표시 타입의 양쪽이 저장되어 있는 경우와, 표시 타입이 저장되어 있지만, 변화량이 저장되어 있지 않은 경우에서는, Fy 파일에 저장되어 있는 표시 타입을, 그대로 이용하고, 주목 프레임의 화상 데이터에 대응하는 화상을, 나선 영상 표시부군(58)에 표시시킬 수 있다.
또한, Fy 파일에 변화량이 저장되어 있는 경우, 즉, 변화량과 표시 타입의 양쪽이 저장되어 있는 경우와, 변화량이 저장되어 있지만, 표시 타입이 저장되어 있지 않은 경우에는, Fy 파일 관리부(1114)에서, Fy 파일에 저장되어 있는 프레임 단위의 변화량에 기초하여, 프레임 단위의 표시 타입을 구하고, 그 표시 타입을 이용하여, 주목 프레임의 화상 데이터에 대응하는 화상을, 나선 영상 표시부군(58)에 표시시킬 수 있다.
다음으로, 도 72는, 도 71의 Fy 파일 관리부(1114)와 표시 타입 취득부(1115)의 구성예를 도시하고 있다.
Fy 파일 관리부(1114)는, 파일 기억부(1121), 변화량 취득부(1122), 표시 타입 결정부(1123), 및 표시 타입 기입부(1124)로 구성되어 있다.
파일 기억부(1121)는, 데이터 공급 제어부(1113)(도 72)로부터 공급되는 Fy 파일(에 저장된 데이터)을 기억한다.
변화량 취득부(1122)는, 파일 기억부(1121)에 기억된 Fy 파일로부터, 프레임 단위의 변화량을 읽어냄으로써 취득하고, 표시 타입 결정부(1123)에 공급한다.
표시 타입 결정부(1123)는, 기억부(1131), 임계값 처리부(1132), 연속성 판정부(1133), 및 결정부(1134)로 구성되고, 변화량 취득부(1122)로부터 공급되는 프레임 단위의 변화량에 기초하여, 도 51의 표시 타입 결정부(1023)와 마찬가지로 하여, 프레임 단위의 표시 타입을 결정(재결정)하여, 표시 타입 기입부(1124)에 공급한다.
여기에서, 표시 타입 결정부(1123)에서, 기억부(1131), 임계값 처리부(1132), 연속성 판정부(1133), 또는 결정부(1134)는, 도 51의 표시 타입 결정부(1023)의 기억부(1081), 임계값 처리부(1082), 연속성 판정부(1083), 또는 결정부(1084)와 각각 마찬가지로 구성된다.
또한, 임계값 처리부(1132)는, 임계값 처리부(1082)와 마찬가지로, 프레임 단위의 변화량과 임계값을 비교하는데, 임계값 처리부(1132)가 변화량과 비교하는 임계값은, 도 45의 GUI 제어부(1111)로부터 데이터 공급 제어부(1113)를 통해서, 임계값 처리부(1132)에 공급되도록 되어 있다.
표시 타입 기입부(1124)는, Fy 파일 관리부(1114)로부터 공급되는 프레임 단위의 표시 타입을, 파일 기억부(1121)에 기억되어 있는 Fy 파일(도 55)에 저장되어 있는 프레임 번호 및 타임 코드에 대응지어 기억시킨다(기입한다).
표시 타입 취득부(1115)는, 표시 타입 읽어내기부(1141)로 구성된다. 표시 타입 읽어내기부(1141)는, Fy 파일 관리부(1114)에 의해 관리되고 있는 Fy 파일, 즉, Fy 파일 관리부(1114)의 파일 기억부(1121)에 기억되어 있는 Fy 파일로부터, 데이터 공급 제어부(1113)로부터 공급되는 주목 프레임의 프레임 넘버에 대응지어져 있는 표시 타입을 읽어냄으로써 취득하고, 도 71의 디코더(1116)나 표시 제어부(1117) 등에 공급한다.
다음으로, 도 71에서 행해지는 스크럽에서는, 예를 들면, 도 2에 도시한 스크럽 바(66)의 스크럽 손잡이(67)의 위치에 의해, 디스플레이(40)(에 표시되는 나선 영상 표시부군(58))에 표시하는 (재생 영상의) 프레임(주목 프레임)이 지정된다.
즉, 도 72의 GUI 제어부(1111)는, 표시 제어부(1117)에 스크럽 바(66)를 표시시키고, 그 스크럽 바(66)의 스크럽 손잡이(67)의 위치에 의해 지정되는 프레임을, 주목 프레임으로서 인식한다.
여기에서, 도 73을 참조하여, 스크럽 손잡이(67)의 위치와, 그 위치에 의해 지정되는 프레임과의 관계에 대해서 설명한다.
도 73은, 스크럽 바(66)를 도시하고 있다.
스크럽 바(66)에서는, 스크럽 손잡이(67)가 이동 가능한 수평 방향의 이동 가능 범위(수평 방향이, 예를 들면, 십수cm 정도의 길이의 범위)는, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상(의 스트림)을 구성하는 프레임의 수와 동일한 소구간(이하, 적절하게, 지정 구간이라고 함)으로 구분된다.
여기에서, 도 73에서는, 이동 가능 범위가, F개의 지정 구간으로 구분되어 있다.
또한, 지정 구간의 수평 방향의 길이(이동 가능 범위를 지정 구간으로 구획할 때의 폭)를 구간 길이라고 하는 것으로 하면, 도 73에서는, 이동 가능 범위는, 동일한 구간 길이의 지정 구간으로 구분되어 있다(등분되어 있다).
이동 가능 범위를 구분하는 각 지정 구간에는, 예를 들면, 좌측의 지정 구간으로부터 우측의 지정 구간의 방향으로, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임이, 시계열로 할당된다. 따라서, 이동 가능 범위의 왼쪽으로부터 i번째의 지정 구간을 제i 지정 구간으로 함과 함께, 해당 재생 영상을 구성하는 프레임의, 선두로부터 i번째의 프레임을 제i 프레임으로 하는 것으로 하면, 제i 지정 구간에는, 제i 프레임이 할당된다.
GUI 제어부(1111)는, 스크럽 손잡이(67)가 위치하고 있는 지정 구간을, 나선 영상 표시부군(58)에 직전에 표시된 프레임의 표시 타입이 나타내는 표시 레이트에 따른 타이밍에서 검출하고, 그 지정 구간에 할당되어 있는 프레임을, 주목 프레임으로서 인식한다.
여기에서, 표시 타입으로서, 도 49에 도시한 정지 화상 타입 V1, 통상 타입 V2, 및 고표시 레이트 저해상도 타입 V3의 3개를 채용하고, 정지 화상 타입 V1과 통상 타입 V2의 표시 레이트가, 예를 들면, 30프레임/초이며, 고표시 레이트 저해상도 타입 V3의 표시 레이트가, 예를 들면, 60프레임/초인 것으로 한다. 또한, 이 통상 타입 V2의 표시 레이트는, 재생 파라미터 중 재생 속도 v에 대응하는 표시 레이트이다.
도 74는, 통상 타입 V2와 고표시 레이트 저해상도 타입 V3인 프레임 각각의 스크럽에서의 표시 방법을 도시하고 있다.
GUI 제어부(1111)는, 나선 영상 표시부군(58)에 직전에 표시된 프레임의 표시 타입이, 30프레임/초의 표시 레이트의 정지 화상 타입 V1 또는 통상 타입 V2일 때에는, 1/30초 간격으로, 스크럽 손잡이(67)가 위치하고 있는 지정 구간을 검출하고, 그 지정 구간에 할당되어 있는 프레임을, 주목 프레임으로서 인식한다. 따라서, 표시 타입이, 통상 타입 V2일 때에는, 나선 영상 표시부군(58)에 표시되는 프레임(주목 프레임)은, 1/30초 간격, 즉, 30프레임/초의 표시 레이트로 갱신된다.
또한, GUI 제어부(1111)는, 나선 영상 표시부군(58)에 직전에 표시된 프레임의 표시 타입이, 예를 들면, 60프레임/초의 표시 레이트의 고표시 레이트 저해상도 타입 V3일 때에는, 1/60초 간격으로, 스크럽 손잡이(67)가 위치하고 있는 지정 구간을 검출하고, 그 지정 구간에 할당되어 있는 프레임을, 주목 프레임으로서 인식한다. 따라서, 표시 타입이, 고표시 레이트 저해상도 타입 V3일 때에는, 나선 영상 표시부군(58)에 표시되는 프레임(주목 프레임)은, 1/60초 간격, 즉, 60프레임/ 초의 표시 레이트로 갱신된다.
이상으로부터, 스크럽 손잡이(67)가, 예를 들면, 1/30초 동안에, 2개의 지정 구간분의 길이만큼 왼쪽으로부터 오른쪽으로 이동하는 속도로 이동된 경우, 표시 타입이, 예를 들면, 통상 타입 V2의 프레임이 연속하는 통상 구간에서는, 1/30초 간격으로, 1프레임 건너뛴 프레임, 즉, 제i 프레임, 제i+2 프레임, 제i+4 프레임, …이 주목 프레임으로 되고, 그 결과, 나선 영상 표시부군(58)에서는, 화상이, 코마 드롭 상태로, 2배속으로 표시된다.
또한, 스크럽 손잡이(67)가, 전술한 경우와 마찬가지로, 1/30초 동안에, 2개의 지정 구간분의 길이만큼 왼쪽으로부터 오른쪽으로 이동하는 속도로 이동된 경우, 즉, 1/60초 동안에, 1개의 지정 구간분의 길이만큼 왼쪽으로부터 오른쪽으로 이동하는 속도로 이동된 경우, 표시 타입이, 예를 들면, 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 고표시 레이트 저해상도 구간에서는, 1/60초 간격으로, 1프레임마다 프레임, 즉, 제i 프레임, 제i+1 프레임, 제i+2 프레임, …이 주목 프레임이 되고, 그 결과, 나선 영상 표시부군(58)에서는, 화상이, 코마 드롭 없이, 2배속으로 표시된다.
이상과 같이, 스크럽 손잡이(67)를, 2배속의 표시(재생)를 행하는 등의 빠른 이동 속도로 이동시킨 경우, 코마 드롭이 생기는 표시 타입의 프레임과, 코마 드롭이 생기지 않는 표시 타입의 프레임이 있다. 즉, 표시 레이트가 통상 타입 V2에 비교해서 높은 고표시 레이트 저해상도 타입 V3인 프레임, 즉, 움직임이 큰 프레임에 대해서는, 스크럽 손잡이(67)가 빠르게 움직여져도, 코마 드롭이 생기기 어려워 져 있다. 이에 의해, 움직임이 큰 프레임에 대해서, 화상의 시간적인 변화를 놓치는 것을 방지할 수 있다.
또한, 전술한 바와 같이, 통상 구간에서는, 1/30초 간격으로, 주목 프레임이 갱신되는 것에 대하여, 고표시 레이트 저해상도 구간에서는, 통상 구간의 1/2의 1/60초 간격으로, 주목 프레임이 갱신된다.
따라서, 디코더(1116)(도 71)는, 고표시 레이트 저해상도 구간의 프레임(표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임)을, 통상 구간의 프레임(표시 타입이 통상 타입 V2인 프레임)의 2배의 속도로 복호할 필요가 있다. 또한, 고표시 레이트 저해상도 구간의 프레임은, 통상 구간의 프레임보다도 움직임이 큰 프레임이기 때문에, 해상도가 일정한 경우에는, 디코더(1116)에서의 복호에 필요로 하는 데이터의 데이터량에 대해서는, 고표시 레이트 저해상도 구간의 프레임 쪽이, 통상 구간의 프레임보다도 많다. 이상으로부터, 고표시 레이트 저해상도 구간의 프레임의 표시에는, 통상 구간의 프레임의 표시에 비교해서 큰 부하가 걸린다.
따라서, 이 편집 장치(2)에서는, 통상 구간의 프레임을 표시하는 경우에는, 본선 데이터로서의 화상 데이터를 복호하고, 고표시 레이트 저해상도 구간의 프레임을 표시하는 경우에는, 본선 데이터보다도 데이터량이 적은 프록시 데이터로서의 화상 데이터를 복호하고, 이에 의해, 고표시 레이트 저해상도 구간의 프레임의 표시에 걸리는 부하를 경감하도록 되어 있다.
또한, 전술한 경우에는, 스크럽 손잡이(67)가, 예를 들면, 1/30초 동안에, 2개의 지정 구간분의 길이만큼 왼쪽으로부터 오른쪽으로 이동하는 속도로 이동되는 것으로 했지만, 그 밖의, 예를 들면, 스크럽 손잡이(67)가, 1/30초 동안에, 1개의 지정 구간분의 길이만큼 왼쪽으로부터 오른쪽으로 이동하는 속도로 이동되는 것으로 한 경우에는, 표시 타입이, 통상 타입 V2의 프레임이 연속하는 통상 구간에서는, 1/30초 간격으로, 1프레임마다 프레임이 주목 프레임으로 되고, 그 결과, 나선 영상 표시부군(58)에서는, 화상이, 코마 드롭 없이, 1배속으로 표시된다.
또한, 스크럽 손잡이(67)가, 1/30초 동안에, 1개의 지정 구간분의 길이만큼 왼쪽으로부터 오른쪽으로 이동하는 속도로 이동된 경우에는, 스크럽 손잡이(67)는, 1/60초 동안에, 1개의 지정 구간분의 길이의 1/2만큼 왼쪽으로부터 오른쪽으로 이동하기 때문에, 표시 타입이, 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 고표시 레이트 저해상도 구간에서는, 1/30초 동안에, 동일한 프레임이 주목 프레임으로 되고, 그 결과, 나선 영상 표시부군(58)에서는, 역시, 화상이, 코마 드롭 없이, 1배속으로 표시된다.
다음으로, 도 75를 참조하여, 표시 타입이 정지 화상 타입 V1인 프레임의 표시에 대해서 설명한다.
이 편집 장치(2)에서는, 표시 타입이 정지 화상 타입 V1인 프레임이 연속하는 정지 화상 구간의 프레임에 대해서는, 그 정지 화상 구간의 프레임 중에서, 주목 프레임(표시 대상의 프레임)이 변경되어도, 나선 영상 표시부군(58)에 직전에 표시된 프레임의 화상이 표시된다.
즉, 정지 화상 구간의 프레임에 대해서는, 그 정지 화상 구간의 프레임이 주목 프레임인 한, 그 정지 화상 구간에서 최초로 주목 프레임으로 된 프레임의 화상 이 계속 표시된다.
따라서, 예를 들면, 도 75의 위로부터 1번째에 나타내는 바와 같이, 스크럽의 개시 시에, 스크럽 손잡이(67)가, 정지 화상 구간 이외의 구간(여기에서는, 통상 구간 또는 고표시 레이트 저해상도 구간)의 프레임을 주목 프레임으로 지정하고 있는 경우에, 오퍼레이터가 스크럽 손잡이(67)를 왼쪽으로부터 오른쪽 방향으로 이동시키고, 이에 의해, 정지 화상 구간의 프레임 내에서, 그 정지 화상 구간의 왼쪽 끝에 위치하는 프레임(정지 화상 구간 내에서 시간적으로 가장 선행하는 프레임)이, 최초로, 주목 프레임으로 지정되면, 디코더(1116)(도 71)에서, 그 최초로 주목 프레임으로 지정된 프레임의 화상 데이터가 복호되어, 나선 영상 표시부군(58)에서, 대응하는 화상이 표시된다.
그리고, 그 후에는, 정지 화상 구간의 프레임이 주목 프레임으로 지정되어 있는 한, 최초로 주목 프레임으로 지정된 프레임의 화상이, 현재의 주목 프레임의 화상으로서 표시된다. 따라서, 디코더(1116)에서는, 정지 화상 구간의 프레임이 주목 프레임으로 지정되어 있는 한, 현재의 주목 프레임의 화상 데이터의 복호는, 최초로 주목 프레임으로 지정된 프레임의 화상 데이터의 복호를 제외하고 행해지지 않는다.
또한, 예를 들면, 도 75의 위로부터 2번째에 나타내는 바와 같이 스크럽의 개시 시에, 스크럽 손잡이(67)가, 정지 화상 구간의 프레임을 주목 프레임으로 지정하고 있는 경우에는, 디코더(1116)(도 71)에서, 스크럽의 개시 시에 주목 프레임으로 지정된 프레임의 화상 데이터가 복호되어, 나선 영상 표시부군(58)에서, 대응 하는 화상이 표시된다.
그리고, 그 후에는, 정지 화상 구간의 프레임이 주목 프레임으로 지정되어 있는 한, 스크럽의 개시 시에 주목 프레임으로 지정된 프레임의 화상이, 현재의 주목 프레임의 화상으로서 표시된다. 따라서, 디코더(1116)에서는, 정지 화상 구간의 프레임이 주목 프레임으로 지정되어 있는 한, 현재의 주목 프레임의 화상 데이터의 복호는, 스크럽의 개시 시에 주목 프레임으로 지정된 프레임의 화상 데이터의 복호를 제외하고 행해지지 않는다.
또한, 예를 들면, 도 75의 위로부터 3번째(아래로부터 1번째)에 나타내는 바와 같이, 스크럽의 개시 시에, 스크럽 손잡이(67)가, 정지 화상 구간 이외의 구간(여기 에서는, 통상 구간 또는 고표시 레이트 저해상도 구간)의 프레임을 주목 프레임으로 지정하고 있는 경우에, 오퍼레이터가 스크럽 손잡이(67)를 오른쪽으로부터 왼쪽 방향으로 이동시키고, 이에 의해, 정지 화상 구간의 프레임 내에서, 그 정지 화상 구간의 오른쪽 끝에 위치하는 프레임(정지 화상 구간 내에서 시간적으로 가장 후행하는 프레임)이, 최초로, 주목 프레임으로 지정되면, 디코더(1116)(도 71)에서, 그 최초로 주목 프레임으로 지정된 프레임의 화상 데이터가 복호되어, 나선 영상 표시부군(58)에서, 대응하는 화상이 표시된다.
그리고, 그 후에는, 정지 화상 구간의 프레임이 주목 프레임으로 지정되어 있는 한, 최초로 주목 프레임으로 지정된 프레임의 화상이, 현재의 주목 프레임의 화상으로서 표시된다. 따라서, 디코더(1116)에서는, 정지 화상 구간의 프레임이 주목 프레임으로 지정되어 있는 한, 현재의 주목 프레임의 화상 데이터의 복호는, 최초로 주목 프레임으로 지정된 프레임의 화상 데이터의 복호를 제외하고 행해지지 않는다.
다음으로, 도 76의 플로우차트를 참조하여, 스크럽의 처리에 대해서 설명한다.
예를 들면, 오퍼레이터가, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)를 조작하여, 편집 대상으로 되는 AV 파일을 지정하면, 그 조작에 대응한 조작 신호가, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 GUI 제어부(1111)에 공급된다.
GUI 제어부(1111)는, 스텝 S1111에서, 키보드(39) 또는 마우스(38)로부터의 조작 신호에 따라서, 편집 대상으로 되는 AV 파일을 인식하고, 스텝 S1112로 진행한다.
스텝 S1112에서는, Fy 파일 관리부(1114)가, GUI 제어부(1111)가 편집 대상으로서 인식한 AV 파일에 대응하는 Fy 파일을 캐쉬(일시 기억)하고, 스텝 S1113으로 진행한다.
즉, GUI 제어부(1111)는, 편집 대상으로서 인식한 AV 파일에 대응하는 Fy 파일을 공급하도록, 스트림 복호 위치 검출부(1112)를 통해서, 데이터 공급 제어부(1113)를 제어한다. 데이터 공급 제어부(1113)는, GUI 제어부(1111)로부터의 제어에 따라서, 기억 장치(22)로부터 Fy 파일을 읽어내고, Fy 파일 관리부(1114)에 공급한다. 스텝 S1112에서, Fy 파일 관리부(1114)는, 이상과 같이 하여, 데이터 공급 제어부(1113)로부터 공급되는 Fy 파일을, 파일 기억부(1121)(도 46)에 기억시 킨다.
스텝 S1113에서는, Fy 파일 관리부(1114)의 변화량 취득부(1122)(도 72)가, 직전의 스텝 S1112에서 파일 기억부(1121)에 기억된 Fy 파일에, 표시 타입이 존재하는지의 여부를 판정한다.
스텝 S1113에서, 파일 기억부(1121)에 기억된 Fy 파일에, 표시 타입이 존재한다고 판정된 경우, 후술하는 스텝 S1114를 스킵하고, 스텝 S1115로 진행한다.
또한, 스텝 S1113에서, 파일 기억부(1121)에 기억된 Fy 파일에, 표시 타입이 존재하지 않는다고 판정된 경우, 변화량 취득부(1122)는, 파일 기억부(1121)에 기억된 Fy 파일로부터, 프레임 단위의 변화량을 읽어내고, 표시 타입 결정부(1123)(도 72)에 공급하고, 스텝 S1114로 진행한다.
또한, 여기에서는, 파일 기억부(1121)에 기억된 Fy 파일에는, 적어도, 프레임 단위의 변화량으로서의 움직임 정보가 기억되어 있는 것으로 한다.
스텝 S1114에서는, 표시 타입 결정부(1123)가, 변화량 취득부(1122)로부터 공급되는 프레임 단위의 변화량에 기초하여, 도 51의 표시 타입 결정부(1023)와 마찬가지로 하여, 프레임 단위의 표시 타입을 결정하고, 표시 타입 기입부(1124)(도 72)에 공급한다. 그리고, 표시 타입 기입부(1124)는, 표시 타입 결정부(1123)로부터의 표시 타입을, 파일 기억부(1121)의 Fy 파일에 기입하고, 스텝 S1114로부터 스텝 S1115로 진행한다.
또한, 표시 타입 결정부(1123)의 임계값 처리부(1132)(도 72)는, 스텝 S1114에서 표시 타입을 결정하는 데에 있어서, 변화량과 임계값을 비교하는데, 그 임계 값으로서는, 도 51의 표시 타입 결정부(1023)의 임계값 처리부(1082)가 이용하는 것과 동일한 임계값을 사용한다.
또한, 전술한 바와 같이, 스텝 S1113로부터 스텝 S1115로 진행할 때, 또는 스텝 S1114로부터 스텝 S1115로 진행할 때, 도 2의 편집 화면(50) 그 밖의 GUI를 디스플레이(40)에 표시한다.
스텝 S1115에서는, GUI 제어부(1111)가, 편집 프로그램을 종료하도록, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)가 조작되었는지의 여부를 판정한다.
스텝 S1115에서, 편집 프로그램을 종료하도록, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)가 조작되어 있지 않다고 판정된 경우, 스텝 S1116으로 진행하여, GUI 제어부(1111)는, 스텝 S1113로부터 스텝 S1115로 진행할 때, 또는 스텝 S1114로부터 스텝 S1115로 진행할 때에 표시된 편집 화면(50)(도 2)의 스크럽 바(66)가 갖는 스크럽 손잡이(67)가 이동되었는지의 여부, 즉, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)를 조작함으로써, 스크럽 손잡이(67)를 이동했는지의 여부를 판정한다.
스텝 S1116에서, 스크럽 손잡이(67)가 이동되었다고 판정된 경우, 즉, 오퍼레이터가, 스크럽 손잡이(67)를 이동하도록, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)를 조작하고, 그 조작에 대응하는 조작 신호가, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 GUI 제어부(1111)에 공급된 경우, GUI 제어부(1111)는, 스크럽 손잡이(67)가 위치하는 지정 구간(도 73)에 할당된 프레임을 주목 프레임으로 하고, 그 주목 프레임의 정보를, 스트림 복호 위치 검출부(1112) 및 데이터 공급 제어부(1113)를 통해서, 표시 타입 취득부(1115)에 공급하고, 스텝 S1117로 진행한다.
스텝 S1117에서는, 표시 타입 취득부(1115)가, GUI 제어부(1111)로부터, 스트림 복호 위치 검출부(1112) 및 데이터 공급 제어부(1113)를 통해서 공급되는 주목 프레임의 정보에 기초하여, 주목 프레임의 표시 타입을, Fy 파일 관리부(1114)의 파일 기억부(1121)(도 72)로부터 읽어냄으로써 취득하고, GUI 제어부(1111), 디코더(1116), 및 표시 제어부(1117)에 공급한다. 또한, 스텝 S1117에서는, 디코더(1116)와 표시 제어부(1117)가, 표시 타입 취득부(1115)로부터의 주목 프레임의 표시 타입을 판정하고, 그 판정의 결과에 기초하여, 주목 프레임의 화상을 표시하는 표시 제어 처리(후술하는 스텝 S1118 내지 S1123)를 행하고, 스텝 S1115로 되돌아간다.
즉, 스텝 S1117에서, 주목 프레임의 표시 타입이, 정지 화상 타입 V1이라고 판정된 경우, 스텝 S1118로 진행하여, 표시 제어부(1117)는, 직전에 주목 프레임이었던 프레임(이하, 적절하게, 전회 프레임이라고 함)의 표시 타입이 정지 화상 타입 V1이며, 또한, 전회 프레임과 주목 프레임이, 동일한 정지 화상 구간의 프레임 인지의 여부를, Fy 파일 관리부(1114)의 파일 기억부(1121)에 기억된 Fy 파일을 참조함으로써 판정한다.
스텝 S1118에서, 전회 프레임과 주목 프레임이, 동일한 정지 화상 구간의 프레임이 아니라고 판정된 경우, 스텝 S1119로 진행하여, 디코더(1116)는, 데이터 공급 제어부(1113)가 기억 장치(22)로부터 주목 프레임의 본선 데이터(또한, 그 주목 프레임의 복호에 필요한 데이터)를 읽어내고, 디코더(1116)에 공급하는 것을 대기하고, 그 주목 프레임의 본선 데이터를 취득(수신)하고, 스텝 S1120으로 진행한다.
스텝 S1120에서는, 디코더(1116)는, 데이터 공급 제어부(1113)로부터 취득한 주목 프레임의 본선 데이터를 복호하고, 그 결과 얻어지는 화상 데이터를, 표시 제어부(1117)에 공급하고, 스텝 S1121로 진행한다. 스텝 S1121에서는, 표시 제어부(1117)가, 디코더(1116)로부터의 주목 프레임의 화상 데이터를 버퍼링하고, 스텝 S1122로 진행하여, 해당 버퍼링된 화상 데이터에 대응하는 화상을, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
따라서, 표시 타입이 정지 화상 타입 V1인 프레임의 화상으로서는, 본선 데이터로서의 화상 데이터에 대응하는 화상, 즉, (프록시 데이터로서의 화상 데이터에 대응하는 화상보다도) 해상도가 높은 화상이 표시된다.
한편, 스텝 S1118에서, 전회 프레임과 주목 프레임이, 동일한 정지 화상 구간의 프레임이라고 판정된 경우, 스텝 S1122로 진행하여, 표시 제어부(1117)는, 직전에(아주 가깝게) 행해진 스텝 S1121에서 버퍼링된 화상 데이터에 대응하는 화상을, 주목 프레임의 화상으로서, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
즉, 전회 프레임과 주목 프레임이, 동일한 정지 화상 구간의 프레임인 경우에는, 그 정지 화상 구간의 프레임의 화상으로서는, 그 정지 화상 구간의 프레임 내에서, 최초로 주목 프레임으로 된 프레임의 화상이 표시된다. 따라서, 이 경우, 디코더(1116)에서 복호를 행하지 않아도 되기 때문에, 이 편집 장치(2)에 걸리는 부하를 경감할 수 있다.
한편, 스텝 S1117에서, 주목 프레임의 표시 타입이, 통상 타입 V2이라고 판정된 경우, 스텝 S1119 내지 S1122에 순차적으로 진행하여, 전술한 바와 같이, 주목 프레임의 화상이 표시된다.
즉, 스텝 S1119에서, 디코더(1116)는, 데이터 공급 제어부(1113)가 기억 장치(22)로부터 주목 프레임의 본선 데이터를 읽어내고, 디코더(1116)에 공급하는 것을 대기하고, 그 주목 프레임의 본선 데이터를 취득하고, 스텝 S1120으로 진행한다.
스텝 S1120에서는, 디코더(1116)는, 데이터 공급 제어부(1113)로부터 취득한 주목 프레임의 본선 데이터를 복호하고, 그 결과 얻어지는 화상 데이터를, 표시 제어부(1117)에 공급하고, 스텝 S1121로 진행한다. 스텝 S1121에서는, 표시 제어부(1117)가, 디코더(1116)로부터의 주목 프레임의 화상 데이터를 버퍼링하고, 스텝 S1122로 진행하여, 해당 버퍼링된 화상 데이터에 대응하는 화상을, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
따라서, 표시 타입이 통상 타입 V2인 프레임의 화상으로서는, 본선 데이터로서의 화상 데이터에 대응하는 화상, 즉,(프록시 데이터로서의 화상 데이터에 대응 하는 화상보다도) 해상도가 높은 화상이 표시된다.
한편, 스텝 S1117에서, 주목 프레임의 표시 타입이, 고표시 레이트 저해상도 타입 V3이라고 판정된 경우, 스텝 S1123으로 진행하여, 디코더(1116)는, 데이터 공급 제어부(1113)가 기억 장치(22)로부터 주목 프레임의 프록시 데이터(또한, 주목 프레임의 복호에 필요한 데이터)를 읽어내고, 디코더(1116)에 공급하는 것을 대기하고, 그 주목 프레임의 프록시 데이터를 취득하고, 스텝 S1120으로 진행한다.
스텝 S1120에서는, 디코더(1116)는, 데이터 공급 제어부(1113)로부터 취득한 주목 프레임의 프록시 데이터를 복호하고, 그 결과 얻어지는 화상 데이터를, 표시 제어부(1117)에 공급하고, 스텝 S1121으로 진행한다. 스텝 S1121에서는, 표시 제어부(1117)가, 디코더(1116)로부터의 주목 프레임의 화상 데이터를 버퍼링하고, 스텝 S1122로 진행하여, 해당 버퍼링된 화상 데이터에 대응하는 화상을, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
따라서, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임의 화상으로서는, 프록시 데이터로서의 화상 데이터에 대응하는 화상, 즉, (본선 데이터로서의 화상 데이터에 대응하는 화상보다도) 해상도가 낮은 화상이 표시된다.
한편, 스텝 S1116에서, 스크럽 손잡이(67)가 이동되어 있지 않다고 판정된 경우, 스텝 S1122로 진행하여, 표시 제어부(1117)는, 직전에(아주 가깝게) 행해진 스텝 S1121에서, 그 버퍼링된 화상 데이터에 대응하는 화상을, 주목 프레임의 화상 으로서, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
즉, 스크럽 손잡이(67)가, 전회의 스텝 S1116의 판정이 행해졌을 때부터 이동되어 있지 않은 경우에는, 표시 제어부(1117)는, 프레임 버퍼(1117A)에 기억된 화상 데이터에 대응하는 화상, 즉, 직전에 표시된 화상(전회의 스텝 S1122에서 표시된 화상)을, 다시 표시시킨다.
이상과 같이, 스텝 S1122에서, 주목 프레임의 화상이 표시된 후에는, 스텝 S1124로 진행하여, GUI 제어부(1111)는, 스텝 S1117에서 표시 타입 취득부(1115)로부터 공급된 주목 프레임의 표시 타입을 판정한다.
스텝 S1124에서, 주목 프레임의 표시 타입이 고표시 레이트 저해상도 타입 V3이다라고 판정된 경우, 스텝 S1125로 진행하여, GUT 제어부(1111)는, 전회의 스텝 S1116에서의, 스크럽 손잡이(67)가 이동되었는지의 여부의 판정을 행하고 나서, 고표시 레이트 저해상도 타입 V3의 표시 레이트에 대응하는 시간인, 예를 들면, 1/60초가 경과하였는지의 여부를 판정한다.
스텝 S1125에서, 1/60초가 경과하고 있지 않다고 판정된 경우, 스텝 S1125로 되돌아간다.
또한, 스텝 S1125에서, 1/60초가 경과했다고 판정된 경우, 스텝 S1115로 되돌아가, 이하, 전술한 처리가 반복된다.
따라서, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임이 주목 프레 임으로 되어 있는 경우에는, GUI 제어부(1111)가, 스텝 S1116에서, 고표시 레이트 저해상도 타입 V3에 따른 1/60초의 주기로, 스크럽 손잡이(67)가 이동되었는지의 여부를 판정한다.
그리고, 스크럽 손잡이(67)가 이동되었다고 판정된 경우, 표시 제어부(1117)는, 이동 후의 스크럽 손잡이(67)가 위치하는 지정 구간(도 47)에 할당된 프레임의 프록시 데이터를 복호함으로써 얻어지는 화상 데이터에 대응하는 화상(저해상도의 화상)을, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
또한, 스크럽 손잡이(67)가 이동되어 있지 않다고 판정된 경우, 표시 제어부(1117)는, 직전에 디스플레이(40)에 표시된 화상을, 다시 표시시킨다.
이상과 같이 하여, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임에 대해서는, 그 표시 레이트인 60프레임/초로, 화상이 표시된다.
한편, 스텝 S1124에서, 주목 프레임의 표시 타입이 정지 화상 타입 V1 또는 통상 타입 V2 중 어느 하나라고 판정된 경우, 스텝 S1126으로 진행하여, GUI 제어부(1111)는, 전회의 스텝 S1116에서의, 스크럽 손잡이(67)가 이동되었는지의 여부의 판정을 행하고 나서, 정지 화상 타입 V1과 통상 타입 V2의 표시 레이트에 대응하는 시간인, 예를 들면, 1/30초가 경과하였는지의 여부를 판정한다.
스텝 S1126에서, 1/30초가 경과하고 있지 않다고 판정된 경우, 스텝 S1126으로 되돌아간다.
또한, 스텝 S1126에서, 1/30초가 경과했다고 판정된 경우, 스텝 S1115로 되돌아가, 이하, 전술한 처리가 반복된다.
따라서, 표시 타입이 정지 화상 타입 V1 또는 통상 타입 V2 중 어느 하나인 프레임이 주목 프레임으로 되어 있는 경우에는, GUI 제어부(1111)가, 스텝 S1116에서, 정지 화상 타입 V1과 통상 타입 V2에 따른 1/30초의 주기로, 스크럽 손잡이(67)가 이동되었는지의 여부를 판정한다.
그리고, 스크럽 손잡이(67)가 이동되었다고 판정된 경우, 표시 제어부(1117)는, 이동 후의 스크럽 손잡이(67)가 위치하는 지정 구간(도 47)에 할당된 프레임의 본선 데이터를 복호함으로써 얻어지는 화상 데이터에 대응하는 화상(고해상도의 화상)을, 재생 시간차 ΔT(도 5)의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시킨다.
또한, 스크럽 손잡이(67)가 이동되어 있지 않다고 판정된 경우, 표시 제어부(1117)는, 직전에 디스플레이(40)에 표시된 화상을, 다시 표시시킨다.
이상과 같이 하여, 표시 타입이 정지 화상 타입 V1과 통상 타입 V2인 프레임에 대해서는, 그 표시 레이트인 30프레임/초로, 화상이 표시된다.
한편, 스텝 S1115에서, 편집 프로그램을 종료하도록, 키보드(39) 또는 마우스(38)가 조작되었다고 판정된 경우, 즉, 예를 들면, 오퍼레이터가, 편집 프로그램을 종료하도록, 키보드(39) 또는 마우스(38)를 조작하고, 그 조작에 대응한 조작 신호가, 키보드(39) 또는 마우스(38)로부터 GUI 제어부(1111)에 공급된 경우, 스크 럽의 처리(편집 프로그램의 실행)는 종료한다.
이상과 같이, 재생 속도 v에 대응하는 표시 레이트를 기준으로 하여, 스크럽 손잡이(67)에 의해 지정되어 있는 프레임인 주목 프레임의 표시 타입을 취득하고, 그 표시 타입이 나타내는 표시 방법으로, 재생 시간차 ΔT의 시간차를 띄워서 나선 영상 표시부군(58)(영상 표시부 W571 내지 W57n)에 각각 표시시키도록 하였기 때문에, 스크럽을 적절하게 행할 수 있다.
즉, 표시 타입이 정지 화상 타입 V1인 프레임, 즉, 움직임이 없는 프레임이 주목 프레임인 경우에는, 그 주목 프레임을 포함하는, 정지 화상 타입 V1인 프레임이 연속하는 정지 화상 구간에서 최초로 주목 프레임으로 된 프레임의 화상 데이터를, 본선 데이터를 복호함으로써 얻고, 그 화상 데이터에 대응하는 화상을 표시하기 때문에, 동일한 프레임의 고화질의 화상이 표시되어, 그 결과, 오퍼레이터는, 화상의 내용을, 용이하게 확인할 수 있다. 또한, 동일한 정지 화상 구간의 프레임이 연속해서 주목 프레임으로 되어 있는 한은, 본선 데이터를 복호할 필요가 없기 때문에, 편집 장치(2)에 걸리는 부담을 경감할 수 있다.
또한, 표시 타입이 고표시 레이트 저해상도 타입 V3 프레임, 즉, 움직임이 큰(심한) 프레임이 주목 프레임인 경우에는, 높은 표시 레이트로, 화상을 표시하기 때문에, 오퍼레이터는, 움직임이 심한 화상의 내용을 정확하게 확인할 수 있다.
또한, 표시 타입이 고표시 레이트 저해상도 타입 V3 프레임이 주목 프레임인 경우에는, 본선 데이터보다도 데이터량이 적은 프록시 데이터를 복호하고, 그 결과 얻어지는 화상 데이터에 대응하는 화상을 표시하기 때문에, 편집 장치(2)에 걸리는 부담을 경감하고, 편집 장치(2)에 큰 부하가 걸리는 것에 기인하여, 편집 프로그램이 응답하지 않게 되는 것을(편집 장치(2)가 행 업하는 것) 방지할 수 있다.
또한, 표시 타입이 통상 타입 V2인 프레임, 즉, 심하게는 아니지만, 어느 정도의 움직임이 있는 프레임이 주목 프레임인 경우에는, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임보다 낮은 표시 레이트이지만, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임보다 높은 해상도의 화상이 표시된다. 표시 타입이 통상 타입 V2인 프레임은, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임보다 화상의 움직임(프레임 간의 화소값의 변화)이 작기 때문에, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임보다 낮은 표시 레이트로 표시하여도, 오퍼레이터가, 화상의 내용을 정확하게 확인할 수 있다.
또한, 표시 타입이 통상 타입 V2인 프레임은, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임보다 화상의 움직임이 작기 때문에, 표시 타입이 통상 타입 V2인 프레임의 본선 데이터의 데이터량은, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임의 본선 데이터의 데이터량보다도 적다. 따라서, 표시 타입이 통상 타입 V2인 프레임이 주목 프레임인 경우에, 본선 데이터를 복호하고, 그 결과 얻어지는 화상 데이터에 대응하는 고해상도의 화상을 표시하여도, 편집 장치(2)에 걸리는 부하는, 표시 타입이 고표시 레이트 저해상도 타입 V3인 프레임의 본선 데이터를 복호하는 경우에 걸리는 부하보다도 작아진다.
이상과 같이, 스크럽의 처리는, 모든 프레임을 동일한 표시 방법으로 표시하 는 것이 아니라, 화상의 변화량(움직임 정보, 세밀함 정보)에 따라서, 소정의 파라미터를 변경하여 재생 영상을 표시한다. 이 파라미터는, 구체적으로는, 표시에 관한 파라미터(표시 파라미터)로서, 화상의 해상도를 바꿈과 함께, 재생에 관한 파라미터로서(재생 파라미터), 표시 레이트(프레임 레이트), 재생 속도 v를 바꾸도록 했다. 덧붙여서, 화상의 변화량에 따라서, 필요한 프레임만을 복호하도록 했다. 이들에 의해, 적절한 스크럽이 가능하게 된다.
(4-3) 다른 스크럽의 처리의 형태
또한, 전술한 스크럽의 처리에서는, 표시 타입이, 움직임 정보에 기초하여 결정되는, 도 49에 도시한 정지 화상 타입 V1, 통상 타입 V2, 및 고표시 레이트 저해상도 타입 V3의 3개인 것으로 했지만, 스크럽의 처리는, 표시 타입이, 예를 들면, 도 56에 도시한 정지 화상 타입 V11, 통상 타입 V12, 고표시 레이트 통상 해상도 타입 V13, 초고표시 레이트 저해상도 타입 V14, 및 초초고표시 레이트 저해상도 타입 V15의 5개이어도 행할 수 있고, 표시 타입이, 예를 들면, 세밀함 정보에 기초하여 결정되는, 도 60에 도시한 저해상도 통상 표시 레이트 타입 C1, 통상 타입 C2, 및 통상 해상도 저표시 레이트 타입 C3의 3개이어도 행할 수 있다.
또한, 전술한 스크럽의 처리에서는, 기억 장치(22)에, 해상도가 높은 화상의 본선 데이터와, 해상도가 낮은 화상의 프록시 데이터를 기록하고, 즉, 동일 내용의 2종류의 해상도의 화상을 기록하고, 프레임의 표시 타입에 따라서, 해상도가 높은 화상, 또는 해상도가 낮은 화상을 표시하도록 했지만, 그 밖의, 예를 들면, 기억 장치(22)에, 고, 중, 저의 3종류의 해상도의 화상을 기록하고, 프레임의 표시 타입 에 따라서, 해상도가 고인 화상, 해상도가 중인 화상, 또는 해상도가 저인 화상을 표시하는 것이 가능하다.
또한, 전술한 스크럽의 처리에서는, 프레임을 할당하는 지정 구간의 구간 길이를 일정하게 했지만, 그 지정 구간에 할당하는 프레임의 변화량으로서의, 예를 들면, 움직임 정보에 따른 가중값 부여를 한 구간 길이로 하는 것도 가능하다.
전술한 스크럽의 처리에서는, 스크럽 손잡이(67)의 위치가, 표시 레이트에 대응하는 주기에서 검출되고, 스크럽 손잡이(67)가 위치하는 지정 구간에 할당된 프레임을 주목 프레임으로 하여, 그 주목 프레임이, 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n에, 재생 시간차 ΔT를 띄워서 각각 표시된다.
도 73에서 설명한 바와 같이, 스크럽 바(66)의 이동 가능 범위가, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임의 수와 동일한 수의, 구간 길이가 동일한 지정 구간으로 구분되어 있는 경우, 스크럽 손잡이(67)를 일정한 속도로 이동시키면, 스크럽 손잡이(67)는, 임의의 단위 시간에서, 임의의 일정한 거리, 나아가서는, 임의의 일정한 수의 지정 구간을 이동한다. 따라서, 표시 레이트가 일정하면, 스크럽 손잡이(67)가 일정한 속도로 일정한 거리만큼 이동됨으로써, 임의의 일정한 프레임수의 프레임이 표시된다.
즉, 설명을 간단히 하기 위해서, 표시 레이트가 일정하다고 가정하면, 나선 영상 표시부군(58)에 표시되어 있는 재생 영상에, 움직임이 심한 프레임이 연속하는 구간(이하, 적절하게, 움직임 있음 구간이라고 함)과, 움직임이 없는 프레임이 연속하는 구간(이하, 적절하게, 움직임 없음 구간이라고 함)이 존재하는 경우에, 스크럽 바(66)의 이동 가능 범위 중, 움직임 있음 구간의 프레임이 할당되어 있는 지정 구간의 범위와, 움직임 없음 구간의 프레임이 할당되어 있는 지정 구간의 범위의 각각에서, 스크럽 손잡이(67)를 일정한 속도로 일정한 거리만큼 이동하여도, 나선 영상 표시부군(58)에 표시되는 프레임의 수는 변하지 않는다.
그러나, 움직임 있음 구간의 프레임이 할당되어 있는 지정 구간의 범위에서, 스크럽 손잡이(67)를 이동시키면, 움직임 있음 구간의 프레임은, 움직임이 심하기 때문에, 나선 영상 표시부군(58)에 표시되는 화상은 크게 변화된다(움직인다).
한편, 움직임 없음 구간의 프레임이 할당되어 있는 지정 구간의 범위에서, 스크럽 손잡이(67)를 이동시키면, 움직임 없음 구간의 프레임은, 움직임이 (거의) 없기 때문에, 나선 영상 표시부군(58)에 표시되는 화상은 (거의) 변하지 않는다.
따라서, 스크럽 바(66)의 이동 가능 범위를, 구간 길이가 동일한 지정 구간으로 구분한 경우에는, 스크럽 손잡이(67)를 일정한 속도로 일정한 거리만큼 이동시켰을 때에, 나선 영상 표시부군(58)에 표시되는 화상이 크게 변화되는 범위와, 변하지 않는 범위가 생긴다.
그리고, 움직임 없음 구간의 프레임이 할당되어 있는 지정 구간의 범위에서는, 스크럽 손잡이(67)를 어느 정도 이동시켜도, 나선 영상 표시부군(58)에 표시되는 화상이 변하지 않기 때문에, 스크럽 손잡이(67)를 조작하고 있는 오퍼레이터에게 번거로움을 느끼게 하는 경우가 있다.
한편, 움직임 있음 구간의 프레임이 할당되어 있는 지정 구간의 범위에서는, 스크럽 손잡이(67)를 어느 정도 이동시키면, 나선 영상 표시부군(58)에 표시되는 화상이 크게 변화되기 때문에, 스크럽 손잡이(67)를 조작하고 있는 오퍼레이터에게는, 원하는 화상의 프레임을 찾아내기 위해서, 정밀한(세밀한) 스크럽 손잡이(67)의 조작이 요구되는 경우가 있다.
따라서, 프레임을 할당하는 지정 구간의 구간 길이는, 일정하지 않고, 그 지정 구간에 할당하는 프레임의 변화량으로서의, 예를 들면, 움직임 정보에 따른 가중값 부여를 한 구간 길이로 하고, 이에 의해, 스크럽 바(66)의 이동 가능 범위를, 변화량인 움직임 정보가 대인 프레임이 할당되는 지정 구간일수록, 구간 길이가 대인 지정 구간으로 구분할 수 있다. 이하에 이 구체예를 예로 든다.
도 77은, 이상과 같이, 지정 구간의 구간 길이에 가중값 부여를 하는 경우의 가중값의 예를 도시하고 있다.
도 77에서, 가로축은 프레임(선두로부터 몇 번째의 프레임인지)을 나타내고, 세로축은 변화량인 움직임 정보를 나타낸다.
도 77에서는 식 L1>L2>L3>L4를 만족하는 임계값 L1, L2, L3, L4를 이용하여, 움직임 정보가 임계값 L1 이상인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 1로 되고, 움직임 정보가 임계값 L2 이상 임계값 L1 미만인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 0.7로 된다. 또한, 움직임 정보가 임계값 L3 이상 임계값 L2 미만인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 0.5로 되고, 움직임 정보가 임계값 L4 이상 임계값 L3 미만인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 0.3으로 된다. 또한, 움직임 정보가 임계값 L4 미만의 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 0.1로 된다.
이상과 같은 가중값 w를 이용한 가중값 부여를 한 구간 길이는, 예를 들면, 다음과 같이 하여 구할 수 있다.
즉, 구간 길이에 동일한 가중값 w에 의한 가중값 부여가 이루어지는 지정 구간이 연속하는 구간을, 동일 가중값 구간이라고 하는 것으로 하고, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임에 할당되는 지정 구간의 시퀀스가, Q개의 동일 가중값 구간으로 나누어지는 것으로 한다.
또한, Q개의 동일 가중값 구간 중, 선두로부터 q번째의 동일 가중값 구간을 구성하는 지정 구간의 수, 나아가서는, q번째의 동일 가중값 구간을 구성하는 지정 구간에 할당되어 있는 프레임의 수를 Fq로 나타냄과 함께, q번째의 동일 가중값 구간을 구성하는 각 지정 구간의 구간 길이에 부여되는 가중값을 wq로 나타내는 것으로 한다.
또한, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상의 프레임의 총수 F는, 식 F=F1+F2+…FQ로 나타낸다.
지금, 이동 가능 범위의 길이를 1로 하면, 가중값 부여를 하지 않는 경우, 지정 구간의 구간 길이는, 1/F로 나타낸다.
한편, 가중값 부여를 하는 경우, 선두로부터 q번째의 동일 가중값 구간을 구성하는 지정 구간의 구간 길이는, wq/(ΣwiFi)로 나타낸다. 즉, 선두로부터 q번째 의 동일 가중값 구간의 길이는, wqFq/(ΣwiFi)로 나타내기 때문에, wqFq/(ΣwiFi)을, q번째의 동일 가중값 구간을 구성하는 지정 구간(에 할당되어 있는 프레임)의 수 Fq로 제산함으로써, 가중값 부여를 하는 경우의, 선두로부터 q번째의 동일 가중값 구간을 구성하는 지정 구간의 구간 길이를 구할 수 있다. 단, ΣwiFi는, 서픽스 i를, 1부터 Q로 바꾼 wiFi의 총합을 나타낸다.
또한, 가중값 부여를 하지 않는 경우의, 지정 구간의 구간 길이는 가중값 부여를 하는 경우의 가중값 w1, w2, …, wQ가 모두 동일한 가중값 w인 것으로 함으로써 구할 수 있다. 즉, 가중값 부여를 하는 경우, 선두로부터 q번째의 동일 가중값 구간을 구성하는 지정 구간의 구간 길이는, 전술한 바와 같이, wq/(ΣwiFi)이지만, w1, w2, …, wQ를, 동일한 가중값 w로 하면, wq/(ΣwiFi)=w/(wΣFi)=1/ΣFi=1/F로 된다.
다음으로, 도 77에서는, 표시 타입을 결정하는 데에 이용되는 임계값과는 관계가 없는, 4개의 임계값 L1, L2, L3, L4를 이용하여, 프레임에 할당되는 지정 구간의 구간 길이의 가중값 w를 구하도록 했지만, 구간 길이의 가중값 w는, 그 밖의, 예를 들면, 표시 타입을 결정하는 데에 이용되는 임계값을 이용하여 행하는 것이 가능하다.
즉, 도 78은, 움직임 정보에 기초하는 표시 타입을 결정하기에만 이용되는 임계값 H 및 L을 이용하여 구해지는 가중값의 예를 나타내고 있다.
도 78에서, 가로축은 프레임(선두로부터 몇 번째의 프레임인지)을 나타내고, 세로축은 변화량인 움직임 정보를 나타낸다.
도 78에서는, 움직임 정보가 임계값 H 이상인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 0.5로 되고, 움직임 정보가 임계값 L 이상 임계값 H 미만인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 0.3으로 된다. 또한, 움직임 정보가 임계값 L 미만인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w가, 예를 들면, 0.1로 된다.
또한, 프레임에 할당되는 지정 구간의 구간 길이의 가중값 w는, 그 밖의, 예를 들면, 프레임의 표시 타입이, 그 프레임의 움직임 정보에 기초하여 결정되는 경우에, 그 표시 타입에 따라서 결정할 수 있다.
즉, 표시 타입이, 움직임 정보에 기초하여 결정되는 경우에는, 그 표시 타입이 프레임의 움직임의 정도를 나타낸다. 구체적으로는, 예를 들면, 도 49에 도시한 바와 같이, 표시 타입이, 움직임 정보에 기초하여, 정지 화상 타입 V1, 통상 타입 V2, 또는 고표시 레이트 저해상도 타입 V3 중 어느 하나로 결정되는 경우에는, 원칙으로서, 정지 화상 타입 V1인 프레임은, 움직임 정보가 임계값 L 미만인 프레임이며, 통상 타입 V2의 프레임은, 움직임 정보가 임계값 L 이상 임계값 H 미만인 프레임이다. 또한, 고표시 레이트 저해상도 타입 V3인 프레임은, 움직임 정보가 임계값 H 이상인 프레임이다.
따라서, 도 78에서 설명한 임계값 H 및 L을 이용하는 경우와 마찬가지로, 표시 타입을 이용하여, 정지 화상 타입 V1인 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w를 0.1로, 통상 타입 V2의 프레임이 할당되는 지정 구간의 구간 길이의 가중값 w를 0.3으로, 고표시 레이트 저해상도 타입 V3인 프레임이 할당되는 지 정 구간의 구간 길이의 가중값 w를 0.5로, 각각 할 수 있다.
또한, 프레임에 할당되는 지정 구간의 구간 길이의 가중값 w를, 그 프레임의 표시 타입에 따라서 결정하는 경우에는, 정지 화상 타입 V1인 프레임이 연속하는 정지 화상 구간, 통상 타입 V2의 프레임이 연속하는 통상 구간, 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 고표시 레이트 저해상도 구간은, 모두, 동일 가중값 구간으로 된다.
다음으로, 도 79는, 구간 길이에 가중값 부여를 하지 않는 경우와, 가중값 부여를 하는 경우 각각의 지정 구간을 도시하고 있다.
구간 길이에 가중값 부여를 하지 않는 경우에는, 도 79 상반분측에 도시하는 바와 같이, 스크럽 바(66)의 이동 가능 범위가, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임의 수의, 동일한 구간 길이의 지정 구간으로 구분되고, 도 73에서 설명한 바와 같이, 왼쪽의 지정 구간으로부터, 나선 영상 표시부군(58)에 표시되는 재생 영상을 구성하는 프레임이 시계열로 할당된다.
구간 길이에 가중값 부여를 하지 않는 경우, 정지 화상 타입 V1인 프레임이 연속하는 정지 화상 구간, 통상 타입 V2의 프레임이 연속하는 통상 구간, 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 고표시 레이트 저해상도 구간의 어느 프레임에 할당되는 지정 구간의 구간 길이도 d로 되어 있다.
한편, 구간 길이에 가중값 부여를 하는 경우에는, 도 79의 하반분 측에 도시하는 바와 같이, 스크럽 바(66)의 이동 가능 범위가, 지정 구간으로 구분되고, 도 73에서 설명한 바와 같이, 왼쪽의 지정 구간으로부터, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임이 시계열로 할당되는데, 변화량인 움직임 정보가 대인 프레임이 할당되는 지정 구간일수록, 구간 길이가 크게 되어 있다.
즉, 도 79에서는, 정지 화상 타입 V1인 프레임이 연속하는 정지 화상 구간의 프레임, 즉, 움직임이 없는 프레임에 할당되는 지정 구간의 구간 길이는, 가중값 부여를 하지 않는 경우의 구간 길이 d의 1/2배인 d/2로 되어 있다. 또한, 통상 타입 V2의 프레임이 연속하는 통상 구간의 프레임, 즉, 심하다고까지는 할 수 없는 움직임이 있는 프레임에 할당되는 지정 구간의 구간 길이는, 가중값 부여를 하지 않는 경우의 구간 길이 d와 동일한 d로 되어 있다. 또한, 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 고표시 레이트 저해상도 구간의 프레임, 즉, 움직임이 심한 프레임에 할당되는 지정 구간의 구간 길이는, 가중값 부여를 하지 않는 경우의 구간 길이 d의 3배인 3d로 되어 있다.
따라서, 구간 길이에 가중값 부여를 하는 경우에는, 스크럽 손잡이(67)가, 구간 길이에 가중값 부여를 하지 않는 경우의 1/2의 이동량만큼 이동되면, 정지 화상 구간의 프레임의 표시가 종료한다. 그 결과, 스크럽 손잡이(67)를 어느 정도 이동시켜도, 나선 영상 표시부군(58)에 표시되는 화상이 변하지 않아서, 스크럽 손잡이(67)를 조작하고 있는 오퍼레이터에게 번거로움을 느끼게 하는 것을 방지할 수 있다.
또한, 구간 길이에 가중값 부여를 하는 경우에는, 스크럽 손잡이(67)가, 구 간 길이에 가중값 부여를 하지 않는 경우의 3배의 이동량만큼 이동되면, 나선 영상 표시부군(58)에 표시되는 주목 프레임이, 고표시 레이트 저해상도 구간이 있는 프레임으로부터 다음의 프레임으로 변경된다. 그 결과, 오퍼레이터는, 스크럽 손잡이(67)를, 그다지 정밀(세밀)하게 조작하지 않아도, 원하는 화상의 프레임을 용이하게 찾아낼 수 있다.
또한, 도 79에는, 가로 방향의 스케일을, 스크럽 바(66)의 이동 가능 범위의 스케일과 일치시킨 타입 정보(표시 타입을 시계열로 나타내는 띠 형상의 영역의 GUI)를 도시하고 있다.
가로 방향의 스케일이, 스크럽 바(66)의 이동 가능 범위의 스케일과 일치하는 타입 정보에서는, 스크럽 손잡이(67)의 위치에서의 타입 정보(의 모양)가, 스크럽 손잡이(67)가 위치하는 지정 구간에 할당된 프레임의 표시 타입을 나타낸다.
도 79에서, 타입 정보로서의 띠 형상의 영역 중, 사선을 붙여서 나타내는 영역 D1은, 정지 화상 타입 V1인 프레임이 연속하는 정지 화상 구간을 나타내고 있고, 모양을 붙이지 않고 도시하는 영역 D2는, 통상 타입 V2의 프레임이 연속하는 통상 구간을 나타낸다. 또한, 가로선을 붙여서 나타내는 영역 D3은, 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 고표시 레이트 저해상도 구간을 나타낸다.
도 79에서는, 전술한 바와 같이, 구간 길이에 가중값 부여를 한 경우의, 정지 화상 타입 V1인 프레임이 연속하는 정지 화상 구간의 프레임에 할당되는 지정 구간의 구간 길이는, 가중값 부여를 하지 않는 경우의 구간 길이 d의 1/2배인 d/2 로 되어 있기 때문에, 구간 길이에 가중값 부여를 한 경우의 정지 화상 구간을 나타내는 영역 D1의 가로 방향의 길이도, 구간 길이에 가중값 부여를 하지 않는 경우의 1/2배로 된다.
또한, 도 79에서는, 구간 길이에 가중값 부여를 한 경우의, 통상 타입 V2의 프레임이 연속하는 통상 구간의 프레임에 할당되는 지정 구간의 구간 길이는, 가중값 부여를 하지 않는 경우의 구간 길이 d와 동일한 d로 되어 있기 때문에, 구간 길이에 가중값 부여를 한 경우의 통상 구간을 나타내는 영역 D2의 가로 방향의 길이도, 구간 길이에 가중값 부여를 하지 않는 경우와 동일하게 된다.
또한, 도 79에서는, 구간 길이에 가중값 부여를 한 경우의, 고표시 레이트 저해상도 타입 V3인 프레임이 연속하는 고표시 레이트 저해상도 구간의 프레임에 할당되는 지정 구간의 구간 길이는, 가중값 부여를 하지 않는 경우의 구간 길이 d의 3배인 3d로 되어 있기 때문에, 구간 길이에 가중값 부여를 한 경우의 고표시 레이트 저해상도 구간을 나타내는 영역 D3의 가로 방향의 길이도, 구간 길이에 가중값 부여를 하지 않는 경우의 3배로 된다.
이상과 같이, 구간 길이에 가중값 부여를 한 경우에는, 타입 정보는, 가중값 부여 후의 구간 길이에 따라서, 구간 길이에 가중값 부여를 하지 않는 경우와 서로 다른 것으로 된다(반대로 말하면, 구간 길이에 가중값 부여를 하지 않는 경우에는, 타입 정보는, 구간 길이에 가중값 부여를 한 경우와 서로 다른 것으로 된다).
이 편집 장치(2)에서는, 동작 모드로서, 전술한 바와 같은, 지정 구간의 구간 길이에 가중값 부여를 하는 가중값 부여 온 모드와, 가중값 부여를 하지 않은 가중값 부여 오프 모드를 설정하고, 오퍼레이터의 조작에 따라서, 동작 모드를, 가중값 부여 온 모드 또는 가중값 부여 오프 모드로 절환할 수 있다.
따라서, 도 80의 플로우차트를 참조하여, 이 편집 장치(2)의 마이크로프로세서(3)가, 지정 구간의 구간 길이에 관해서 행하는 처리(구간 길이에 관한 처리)에 대해서 설명한다.
또한, 편집 화면(50)(도 2)의 소정 위치에는, 동작 모드를, 가중값 부여 온 모드 또는 가중값 부여 오프 모드로 절환할 때에 조작되는, 도시하지 않는 가중값 버튼이 설치되어 있는 것으로 하고, 오퍼레이터가, 그 가중값 버튼을 조작함으로써, 동작 모드가, 가중값 부여 온 모드 또는 가중값 부여 오프 모드로 절환되는 것으로 한다.
또한, 스크럽 바(66)의 이동 가능 범위의 길이는 1인 것으로 한다.
구간 길이에 관한 처리에서는, 스텝 S1131에서, GUI 제어부(1111)가, 동작 모드가 절환되었는지의 여부를 판정한다. 스텝 S1131에서, 동작 모드가 가중값 부여 온 모드로 절환되었다고 판정된 경우, 스텝 S1132로 진행하여, GUI 제어부(1111)는, Fy 파일 관리부(1114)(도 72)의 파일 기억부(1121)에 기억된 Fy 파일에서의 변화량 또는 표시 타입에 기초하여, 전술한 바와 같이, 프레임에 할당되는 각 지정 구간의 구간 길이에 부여하는 가중값을 구하고, 스텝 S1133으로 진행한다.
스텝 S1133에서는, GUI 제어부(1111)가, 프레임에 할당되는 각 지정 구간의 구간 길이에 부여하는 가중값에 기초하여, 각 지정 구간에 대해서, 가중값 부여를 한 구간 길이를 구한다.
즉, 스텝 S1132에서, 변화량 또는 표시 타입에 기초하여, 전술한 바와 같이, 프레임에 할당되는 각 지정 구간의 구간 길이에 부여하는 가중값이 구해진 경우에는, GUI 제어부(1111)는, 구간 길이에 동일한 가중값 w에 의한 가중값 부여가 이루어지는 지정 구간이 연속하는 구간을, 동일 가중값 구간으로서 인식한다.
그리고, 전술한 바와 같이, 스크럽의 대상의 동화상을 구성하는 프레임에 할당되는 지정 구간의 시퀀스가, Q개의 동일 가중값 구간으로 나누어지는 것으로 하면, GUI 제어부(1111)는, Q개의 동일 가중값 구간 중, 선두로부터 q번째의 동일 가중값 구간을 구성하는 지정 구간의 수 Fq와, 스텝 S1133에서 구해진, q번째의 동일 가중값 구간을 구성하는 지정 구간의 구간 길이에 부여되는 가중값 wq를 이용하여, 선두로부터 q번째의 동일 가중값 구간을 구성하는 지정 구간의 구간 길이 wq/(ΣwiFi)를 구한다.
GUI 제어부(1111)는, 스텝 S1133에서 Q개의 동일 가중값 구간 각각을 구성하는 지정 구간의 구간 길이 wq/(ΣwiFi)을 구하면, 그 지정 구간의 구간 길이 wq/(ΣwiFi)을, 표시 제어부(1117)(도 72)에 공급하고, 스텝 S1134로 진행하여, 편집 화면(40)의 표시부(55)에 표시되어 있는 스크럽 바(66)의 이동 가능 범위를 구분하는 지정 구간의 구간 길이를, 스텝 S1133에서 구한 구간 길이로 설정(변경)하고, 스텝 S1131로 되돌아간다.
한편, 스텝 S1131에서, 동작 모드가 가중값 부여 오프 모드로 절환되었다고 판정된 경우, 스텝 S1135로 진행하여, GUI 제어부(1111)는, 프레임에 할당되는 각 지정 구간의 구간 길이를 동일한 1/F로 설정(변경)함과 함께, 그 구간 길이 1/F를 표시 제어부(1117)에 공급하고, 스텝 S1131로 되돌아간다. 또한, 전술한 바와 같이, F는, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임의 총수를 나타낸다.
그런데, 전술한 스크럽 바(66)의 선두 Bst로부터 후미 Bed까지의 이동 가능 범위에 대하여, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상의 최초부터 최후까지 대응하는 프레임을 할당했지만, 예를 들면 도 81에 도시하는 바와 같이, 해당 재생 영상의 일부의 범위로서, 개시 위치를 지정하기 위한 시점 인디게이터 IGst로부터, 종료 위치를 지정하기 위한 종점 인디게이터 IGe d까지의 범위(할당 범위)에 대응하는 프레임을 할당할 수도 있다.
이 경우, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상의 선두의 프레임으로부터 마지막의 프레임까지의 범위의 모두가 아니라, 일부의 범위를, 할당 범위(스크럽 바(66)의 이동 가능 범위의 선두의 지정 구간으로부터 마지막의 지정 구간까지 할당되는 프레임의 범위)로 할 수 있다.
이와 같이, 스크럽 바(66)의 이동 가능 범위에 대하여, 재생 영상의 일부의 범위를 할당 범위로 함으로써, 모든 범위를 할당 범위로 하는 경우에 비교하여, 스크럽 바(66)의 이동 가능 범위의 선두의 지정 구간으로부터 마지막의 지정 구간까지 할당되는 프레임의 수가 적어져, 그 결과, 지정 구간의 구간 길이가 길어진다.
따라서, 지정 구간의 구간 길이가 짧은 것에 기인하여, 나선 영상 표시부군(58)에 표시하는 주목 프레임으로 하는 프레임이, 스크럽 손잡이(67)의 이동전과 이동후에 크게 변화되는 것을 방지할 수 있어, 그 결과, 원하는 화상의 프레임을, 용이하게 찾아내는 것이 가능하게 된다.
또한, 시점 인디게이터 IGst 및 종점 인디게이터 IGed는, 스크럽 바(66)의 이동 가능 범위의 선두의 지정 구간으로부터 마지막의 지정 구간까지 할당하는 프레임의 범위인 할당 범위를 나타내기 때문에, 할당 범위 정보라고 할 수 있음과 함께, 할당 범위를 지정할 때에 조작되기 때문에, 범위 지정 조작 수단이라고 할 수도 있다.
다음으로, 도 82의 플로우차트를 참조하여, 도 81에서 설명한 바와 같이, 스크럽 바(66)의 이동 가능 범위(의 지정 구간)에 할당하는 프레임의 범위(할당 범위)를, 시점 인디게이터 IGst 및 종점 인디게이터 IGed에 따라서 설정하는 할당 범위 설정 처리에 대해서 설명한다.
조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 소정의 스크럽 범위 설정 개시 조작이 되면, 스텝 S1141에서, GUI 제어부(1111)(도 45)가, 표시 제어부(1117)를 제어함으로써, 스크럽 바(66)의 소정 위치에 시점 인디게이터 IGst 및 종점 인디게이터 IGed를 표시시키고, 스텝 S1142로 진행한다.
스텝 S1142에서는, GUI 제어부(1111)(도 45)가, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임 중, 시점 인디게이터 IGst의 위치에 대응하는 프레임으로부터, 종점 인디게이터 IGed의 위치에 대응하는 프레임까지의 범위를, 할당 범위로 하고, 그 할당 범위의 프레임을, 스크럽 바(66)의 이동 가능 범위에 할당한다.
즉, 지금, 설명을 간단히 하기 위해서, 전술한 지정 구간의 구간 길이에 대 한 가중값 부여를 고려하지 않는 것으로 하면, GUI 제어부(1111)는, 스크럽 바(66)의 이동 가능 범위를, 그 길이를 할당 범위의 프레임의 수로 제산한 제산값을 구간 길이로 하는 지정 구간으로 구분하고, 할당 범위의 프레임을, 이동 가능 범위의 선두의 지정 구간으로부터 마지막의 지정 구간까지 할당한다.
그리고, 스텝 S1142로부터 스텝 S1143으로 진행하여, GUI 제어부(1111)가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed(도 81)의 이동이 개시되었는지의 여부, 즉, 오퍼레이터가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동하도록, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)를 조작하였는지의 여부를 판정한다.
스텝 S1143에서, 시점 인디게이터 IGst 및 종점 인디게이터 IGed의 이동의 모두 개시되어 있지 않다고 판정된 경우, 스텝 S1143으로 되돌아간다.
또한, 스텝 S1143에서, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed의 이동이 개시되었다고 판정된 경우, 즉, 오퍼레이터가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동하도록, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)를 조작하고, 그 조작에 대응하는 조작 신호가, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 GUI 제어부(1111)에 공급되고 있는 경우, GUI 제어부(1111)는, 키보드(39) 또는 마우스(38)로부터의 조작 신호에 따라서, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동하는 위치를 구하고, 그 위치를 나타내는 정보를, 표시 제어부(1117)에 공급하고, 스텝 S1144로 진행한다.
스텝 S1144에서는, 표시 제어부(1117)가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를, 직전에 표시되어 있던 위치 대신에, GUI 제어부(1111)로부터의 정보에 따른 위치에 표시시키고, 스텝 S1145로 진행한다.
스텝 S1145에서는, GUI 제어부(1111)가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed의 이동이 종료되었는지의 여부, 즉, 오퍼레이터가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동시키는 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)의 조작을 종료하였는지의 여부를 판정한다.
스텝 S1145에서, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동시키는 조작이 종료되어 있지 않다고 판정된 경우, 즉, 오퍼레이터가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동하도록, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)를 계속 조작하고 있고, 그 조작에 대응하는 조작 신호가, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 GUI 제어부(1111)에 공급되고 있는 경우, GUI 제어부(1111)는, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터의 조작 신호에 따라서, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동하는 위치를 구하고, 그 위치를 나타내는 정보를, 표시 제어부(1117)에 공급하고, 스텝 S1144로 되돌아가, 이하, 마찬가지의 처리가 반복된다.
여기에서, 스텝 S1143 내지 S1145의 처리에 의해, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동시키는 조작에 따라서, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed가, 가로 방향으로 이동된다.
한편, 스텝 S1145에서, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동시키는 조작이 종료되었다고 판정된 경우, 즉, 오퍼레이터가, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동시키는 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)의 조작을 종료하여, 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 이동시키는 조작에 대응하는 조작 신호가, 조작 컨트롤러(37), 마우스(38) 또는 키보드(39)로부터 GUI 제어부(1111)에 공급되지 않게 된 경우, GUI 제어부(1111)는, 이동이 종료된 시점 인디게이터 IGst 또는 종점 인디게이터 IGed의 (가로 방향의) 위치를 인식하고, 스텝 S1142로 되돌아가서, 나선 영상 표시부군(58)에 표시된 편집 대상(즉 스크럽의 대상)의 재생 영상을 구성하는 프레임 중, 시점 인디게이터 IGst의 위치에 대응하는 프레임으로부터, 종점 인디게이터 IGed의 위치에 대응하는 프레임까지의 범위를, 할당 범위로 하고, 그 할당 범위의 프레임을, 스크럽 바(66)의 이동 가능 범위에 할당하여, 이하, 마찬가지의 처리가 반복된다.
이상과 같이, 오퍼레이터는, GUI로서의 시점 인디게이터 IGst 또는 종점 인디게이터 IGed를 조작하고, 나선 영상 표시부군(58)에 표시된 편집 대상의 재생 영상을 구성하는 프레임 중, 스크럽의 대상으로 되는 프레임의 범위(스크럽 바(66)의 이동 가능 범위에 할당되는 프레임의 범위(할당 범위)를, 용이하게 변경할 수 있다.
또한, 도 64의 할당 범위 설정 처리는, 예를 들면, 소정의 스크럽 범위 설정 종료 조작이 이루어졌을 때에 종료한다.
이와 같이, 프레임을 할당하는 지정 구간의 구간 길이를, 움직임 정보 등에 따른 가중값 부여를 한 구간 길이로 함으로써, 스크럽 바(66)의 이동 가능 범위를, 변화량인 움직임 정보가 대인 프레임이 할당되는 지정 구간일수록, 구간 길이가 대인 지정 구간으로 구분할 수 있다.
또한 전술한 스크럽의 처리에서는, 나선 영상 표시부군(58)에서 표시하는 프레임의 화상의 사이즈를 일정하게 했지만, 예를 들면, 그 프레임의 표시 타입에 따라서 변경할 수 있다. 즉, 전술한, 화상의 변화량에 따라서 변경하는 표시 파라미터로서, 화상 사이즈(표시 사이즈)를 더욱 부가하는 것이 가능하다. 이하에 그 구체예를 설명한다.
또한, 이 예에서는, 프레임의 표시 타입은, 예를 들면, 움직임 정보에 기초하여, 도 49에서 설명한 정지 화상 타입 V1, 통상 타입 V2, 또는 고표시 레이트 저해상도 타입 V3 중 어느 하나로 결정되어 있는 것으로 한다.
또한, 정지 화상 타입 V1인 프레임의 화상에 대해서는, 예를 들면, 대각선의 길이, 또는 가로와 세로의 길이가 임의의 디폴트의 사이즈가 설정되어 있고, 그 디폴트의 사이즈로 표시된다.
통상 타입 V2의 프레임의 화상에 대해서는, 예를 들면, 디폴트의 사이즈의 1.5배의 사이즈가 설정되어 있고, 해당 대각선의 길이, 또는 가로와 세로의 길이가 디폴트의 사이즈의 1.5배의 사이즈로 표시된다.
고표시 레이트 저해상도 타입 V3인 프레임의 화상에 대해서는, 예를 들면, 디폴트의 사이즈의 2배의 사이즈가 설정되어 있고, 해당 대각선의 길이, 또는 가로와 세로의 길이가 디폴트의 사이즈의 2배의 사이즈로 표시된다.
이상과 같이, 표시 타입에 따른 사이즈로 화상을 표시하기 위해서는, 도 76 에서 설명한 스크럽의 처리의 스텝 S1122에서 행하면 된다.
여기에서, 도 83의 플로우차트를 참조하여, 표시 타입에 따른 사이즈로, 화상을 표시하는 경우의, 도 76의 스텝 S1122의 처리(표시 처리)에 대해서 설명한다.
또한, 여기에서는, 전술한 바와 같이, 표시 타입이, 예를 들면, 도 49에서 설명한 정지 화상 타입 V1, 통상 타입 V2, 또는 고표시 레이트 저해상도 타입 V3 중 어느 하나로 결정되어 있는 것으로 한다. 또한, 정지 화상 타입 V1인 프레임의 화상에 대해서는, 임의의 디폴트의 사이즈가 설정되어 있고, 통상 타입 V2의 프레임의 화상에 대해서는, 예를 들면, 디폴트의 사이즈의 1.5배의 사이즈가 설정되어 있는 것으로 한다. 또한 고표시 레이트 저해상도 타입 V3인 프레임의 화상에 대해서는, 예를 들면, 디폴트의 사이즈의 2배의 사이즈가 설정되어 있는 것으로 한다.
표시 제어부(1117)(도 71)는, 스텝 S1151에서, 표시 타입 취득부(1115)(도 71)로부터 공급되는, 스크럽 손잡이(67)가 위치하고 있는 지정 구간에 할당되어 있는 프레임(주목 프레임)의 표시 타입이, 정지 화상 타입 V1, 통상 타입 V2, 또는 고표시 레이트 저해상도 타입 V3 중 어느 것인지를 판정한다.
스텝 S1151에서, 주목 프레임의 표시 타입이, 정지 화상 타입 V1이라고 판정된 경우, 스텝 S1152로 진행하여, 표시 제어부(1117)는, 나선 영상 표시부군(58)중, 대응하는 영상 표시부 W571 내지 W57n에, 디폴트의 사이즈로, 프레임 버퍼(1117A)(도 71)에 기억된 화상 데이터에 기초하는 화상을 표시시킨다.
또한, 스텝 S1151에서, 주목 프레임의 표시 타입이, 통상 타입 V2이라고 판 정된 경우, 스텝 S1153으로 진행하여, 표시 제어부(1117)는, 나선 영상 표시부군(58) 중, 대응하는 영상 표시부 W571, W572, …, 또는 W57n을, 디폴트의 사이즈의 1.5배의 사이즈로 확대함과 함께, 그 확대한 영상 표시부(이하, 이것을, 적절하게, 확대 표시부라고 부름)에, 프레임 버퍼(1117A)에 기억된 화상 데이터에 기초하는 화상을 표시시킨다.
또한, 스텝 S1151에서, 주목 프레임의 표시 타입이, 고표시 레이트 저해상도 타입 V3이라고 판정된 경우, 스텝 S1154로 진행하여, 표시 제어부(1117)는, 나선 영상 표시부군(58) 중, 대응하는 영상 표시부 W571 내지 W57n을, 디폴트의 사이즈의 2배로 확대함과 함께, 해당 확대 영상 표시부에, 프레임 버퍼(1117A)에 기억된 화상 데이터에 기초하는 화상을 표시시킨다.
또한, 나선 영상 표시부군(58)(에 표시되는 화상)의 사이즈는, 스크럽 손잡이(67)가 조작되고 있는 동안(예를 들면, 드랙되고 있는 동안)만, 전술한 바와 같이 표시 타입에 따라서 변경하고, 스크럽, 손잡이(67)의 조작이 정지된 경우에는, 디폴트의 사이즈로 할 수 있다.
이와 같이, 통상 타입 V2의 프레임의 화상에는, 어느 정도의 움직임이 있기 때문에, 통상 타입 V2의 프레임의 화상을, 디폴트의 사이즈보다도 큰 사이즈로 표시함으로써, 오퍼레이터는, 화상의 움직임의 상세를 확인할 수 있다.
또한, 고표시 레이트 저해상도 타입 V3인 프레임의 화상에는, 심한 움직임이 있기 때문에, 고표시 레이트 저해상도 타입 V3인 프레임의 화상을, 통상 타입 V2의 프레임의 화상보다도 큰 사이즈로 표시함으로써, 오퍼레이터는, 화상의 움직임을 보다 상세하게 확인할 수 있다.
또한, 표시 타입마다 서로 다른 사이즈로 화상을 표시함으로써, 오퍼레이터는, 나선 영상 표시부군(58)에 표시되어 있는 영상 전체(재생 영상) 중에서의 그 화상의 움직임의 정도를 직감적으로 파악할수 있다.
특히, 나선 영상 표시부군(58)(도 3)의 표시 형태를, 도 68에서 전술한 표시 형태로 변경한 상태에서, 이상과 같은 화상의 사이즈의 변경 방법을 채용한 경우, 도 84 내지 도 93에 도시한 바와 같이 된다. 단, 이들 도 84 내지 도 93에서는, 편의상, 도안이 심한 1매의 화상이 고립해서 나타나고 있는 경우를 도시하고 있고, 또한 각 영상 표시부 W571 내지 W57n에서의 표시 레이트는 동일한 경우를 가정하고 있다.
이들 도 84 내지 도 93으로부터도 알 수 있는 바와 같이, 도안의 변화가 심한 화상의 표시 대상으로 되는 영상 표시부 W57(이들 도면에서는 W57c 내지 W571)은 확대 영상 표시부 W57X로서 순차적으로 변경되고, 해당 확대 영상 표시부 W57X에 대하여, 도안의 변화가 심한 화상이, 다른 화상보다도 그 사이즈가 크게 표시됨으로써 강조되고, 또한, 가상 시간축 TP를 깊이측으로부터 전방측에, 재생 시간차 ΔT를 띄워서 흐르도록 추이해 가게 된다.
또한, 재생 영상에 대하여, 도안의 변화가 심한 화상이 연속하는 구간으로서 존재하는 경우, 도 94에 도시하는 바와 같이, 해당 구간에서의 각 화상을 표시 대 상으로 하는 영상 표시부 W57(이 도면에서는 W57c 내지 W57g)이, 확대 영상 표시부 W57X1 내지 W57X5로서, 연속된 상태에서, 재생 시간차 ΔT를 띄워서 흐르도록 추이해 가게 된다. 단, 이 도 94에서는, 도 84 내지 도 93과 마찬가지로, 각 영상 표시부 W571 내지 W57n에서의 표시 레이트는 동일한 경우를 가정하고 있다.
또한, 재생 영상에 대하여, 도안의 변화가 심한 화상이 연속하는 구간이 복수 존재하는 경우, 도 95에 도시하는 바와 같이, 해당 구간에서의 각 화상을 표시 대상으로 하는 영상 표시부 W57(이 도면에서는 W57c1 내지 W57g1, W57c2 내지 W57g2, W57c3 내지 W57g3, W57c4 내지 W57g4)이, 확대 영상 표시부 W57X11 내지 W57X15, W57X21 내지 W57X25, W57X51 내지 W57X35, W57X41 내지 W57X45로서, 구간마다 연속된 상태에서, 재생 시간차 ΔT를 띄워서 흐르도록 추이해 가게 된다. 단, 이 도 95에서는, 도 84 내지 도 93과 마찬가지로, 각 영상 표시부 W571 내지 W57n에서의 표시 레이트는 동일한 경우를 가정하고 있다.
이와 같이, 오퍼레이터는, 도안의 변화가 심한 화상이 확대되어 흐르도록 제시됨으로써, 예를 들면 씬 체인지 등의 도안의 변화가 심한 화상의 내용을, 나선 영상 표시부군(58) 전체를 의식하면서 직감적으로 파악할 수 있다.
또한, 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n이 동화상으로서 재생되고 있는 경우에는, 스크럽이라고 하는 조작을 행하지 않아도, 화상의 변화량에 따라서 화상 사이즈를 변경할 수 있다. 따라서 스크럽이라고 하는 조작을 행하지 않는 경우에도, 오퍼레이터는, 도안의 변화가 심한 화상의 내용을, 나선 영상 표시부군(58) 전체를 의식하면서 직감적으로 파악할 수 있다.
또한, 전술한 구체예에서는, 움직임 정보에 기초하여 결정된 표시 타입마다 서로 다른 사이즈로 화상을 표시했지만, 이 대신에, 그 밖의, 예를 들면, 세밀함 정보에 기초하여 결정된 표시 타입마다 서로 다른 사이즈로 표시하도록 하여도 되고, 혹은, 세밀함 정보 및 움직임 정보의 쌍방에 기초하여 결정된 표시 타입마다 서로 다른 사이즈로 표시하도록 하여도 된다. 또한, 화상을, 세밀함 정보에 기초하여 결정된 표시 타입마다 서로 다른 사이즈로 표시하는 경우에는, 예를 들면, 세밀함의 정도가 큰 세밀함 정보에 기초하여 결정되는 표시 타입의 화상일수록, 큰 사이즈로 표시한다고 하는 것이 가능하고, 이에 의해 오퍼레이터는, 화상의 상세를, 직감적으로 인식할 수 있다.
또한, 세밀함 정보 및 움직임 정보의 쌍방에 기초하여 결정된 표시 타입마다 서로 다른 사이즈로 표시하는 경우에는, 예를 들면, 움직임의 정도가 큰 세밀함 정보에 기초하여 결정되는 표시 타입의 화상일수록, 큰 사이즈로 표시함과 함께, 세밀함의 정도가 클수록, 색이 짙어지도록 대응하는 영상 표시부 W57X1, W572, …, 또는 W57n 프레임을 색 표시하는 등과 같은 것이 가능하고, 이에 의해 오퍼레이터는, 화상의 상세를, 한층더 직감적으로 인식할 수 있다.
이상과 같이 주목 프레임의 표시 타입에 따라서 화상의 사이즈의 변경을 행하는 경우에 대해서 설명했지만, 이 밖의, 예를 들면, 오퍼레이터에 의한 스크럽 손잡이(67)의 조작에 따라서 행하는 것도 가능하다.
즉, 오퍼레이터는, 일반적으로, 원하는 화상을 찾는 경우에서, 나선 영상 표시부군(58)에 표시되는 화상에, 그다지 주목하고 있지 않을 때에는, 스크럽 손잡이(67)를 빠르게 이동시키도록 조작하고, 반대로, 주목하고 있을 때에는, 스크럽 손잡이(67)를 천천히 이동시키도록 조작한다.
따라서, 스크럽 손잡이(67)가 빠르게 이동되고 있는 경우에는, 화상을, 디폴트의 사이즈로 표시하고, 스크럽 손잡이(67)가 천천히 이동되고 있는 경우에는, 화상을, 디폴트의 사이즈보다도 큰 사이즈로 표시할 수 있다. 이와 같이 함으로써, 오퍼레이터는, 원하는 화상을 찾기 쉬워진다.
또한, 전술한 스크럽의 처리에서는, 나선 영상 표시부군(58)에 표시하는 프레임을 지정할 때에 조작되는 수단으로서, 스크럽 손잡이(67)를 갖는 스크럽 바(66)을 채용하고, 스크럽 손잡이(67)의 위치에 의해, 나선 영상 표시부군(58)에 표시하는 프레임을 지정하도록 했지만, 나선 영상 표시부군(58)에 표시하는 프레임의 지정은, 그 밖의, 예를 들면, 소위(GUI가 아니라 실물의) 죠그다이얼이나 셔틀링 등을 조작함으로써 행하는 것이 가능하다.
또한, 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n이 동화상으로서 재생되고 있는 경우에는, 죠그다이얼나 셔틀링 등에 의해 스크럽이라고 하는 조작을 행하지 않았다고 하여도, 화상의 변화량에 따라서 화상 사이즈를 변경할 수 있다. 따라서 오퍼레이터는, 도안의 변화가 심한 화상의 내용을, 나선 영상 표시 부군(58) 전체를 의식하면서 직감적으로 파악할 수 있다.
또한, 전술한 스크럽의 처리에서는, 동화상의 화상 데이터의 변화의 정도를 나타내는 변화량(움직임 정보, 세밀함 정보)을 프레임마다 구하고, 그 변화량에 기초하여, 표시 타입을 프레임마다 결정하고, 그 표시 타입을 이용하여, 스크럽에 관한 각종의 처리를 행하도록 했지만, 표시 타입은, 그 밖의, 예를 들면, 동화상에 음성 데이터가 부수되는 경우에는, 그 음성 데이터의 레벨(파워) 그 자체나, 그 변화의 정도를 나타내는 값에 기초하여 결정하는 것이 가능하다. 즉, 예를 들면, 음성 데이터의 레벨이, 소로부터 대로 변화하는(음성의 고조가 있는) 프레임에서는, 주목할 씬에 화상이 비치고 있을 가능성이 높기 때문에, 음성 데이터의 레벨이 소로부터 대로 변화하는 프레임의 표시 타입으로서는, 예를 들면, 움직임 정보가 어느 정도 크면, 표시 레이트가 높은 표시 타입을 결정하고, 또한, 예를 들면, 세밀함 정보가 어느 정도 크면, 해상도가 높은 표시 타입을 결정하도록 할 수 있다.
또한, 전술한 스크럽의 처리에서는, 기억 장치(22)에 기록된 본선 데이터와 프록시 데이터, 즉, 2종류의 해상도의 화상 데이터를 이용하여, 스크럽을 행하도록 했지만, 스크럽은, 그 밖의, 예를 들면, 1종류의 해상도, 또는 3종류 이상의 해상도의 화상 데이터를 이용하여 행하는 것이 가능하다.
또한, 전술한 스크럽의 처리에서는, 도 51의 표시 타입 결정부(1023)에 있어서(도 72의 표시 타입 결정부(1123)에서도 마찬가지), 시크의 문제에 대처하기 위해서, 변화량이 임의의 임계값 이상 또는 임의의 임계값 미만의 프레임이 최소한도 프레임수 N 이상 연속하는지의 여부의 판정(연속성의 판정)을 행하도록 했지만, 시 크의 문제에 대처할 필요가 없으면, 연속성의 판정을 행하지 않고, 변화량이 임의의 임계값 이상 또는 임의의 임계값 미만인지의 여부에 따라, 표시 타입을 결정할 수 있다.
또한, 전술한 스크럽의 처리에서는, 프레임마다 변화량을 구하고, 프레임마다의 변화량에 기초하여, 프레임마다 표시 타입을 결정하도록 했지만, 변화량은, 그 밖의, 복수 프레임마다 구하는 것이 가능하다. 마찬가지로, 표시 타입도, 복수 프레임마다 구하는 것이 가능하다.
즉, 도 96은, 복수 프레임으로서의, 예를 들면, 1GOP를 구성하는 프레임마다(단위)의 변화량을 나타내고 있다. 또한, 도 96에서, 가로축은 프레임을 나타내고, 세로축은 변화량을 나타낸다.
도 96에서는, 굵은 선이, 1GOP를 구성하는 프레임마다의 변화량을 나타내고 있다. 1GOP를 구성하는 프레임마다의 변화량으로서는, 예를 들면, 그 1GOP를 구성하는 모든 프레임의 변화량의 평균값이나, 1GOP를 구성하는 프레임 중 I픽쳐의 변화량 등을 채용할 수 있다.
도 96에 도시한 바와 같이, 1GOP를 구성하는 프레임마다의 변화량을 구하는 경우에는, 그 변화량에 기초하여, 프레임마다의 변화량으로부터 프레임마다의 표시 타입을 결정한 경우와 마찬가지로 하여, 1GOP를 구성하는 프레임마다(단위)의 표시 타입을 결정할 수 있다.
또한, 복수 프레임으로서의, 예를 들면, 1GOP를 구성하는 프레임마다의 표시 타입은, 1GOP를 구성하는 프레임마다의 변화량에 기초하여 결정하는 것 외에, 프레 임마다의 변화량에 기초하여 결정하는 것이 가능하다.
즉, 도 97은, 프레임마다의 변화량과, 프레임마다의 표시 타입의 양쪽이 저장된 Fy 파일을 나타내고 있다.
예를 들면, 지금, 1GOP가 15프레임으로 구성되는 것으로 하면, 1GOP를 구성하는 15프레임마다의 표시 타입은, 예를 들면, 그 1GOP를 구성하는 15프레임에서 가장 비율이 많은 표시 타입으로 결정할 수 있다.
이 경우, 예를 들면, 도 97의 Fy 파일에 나타낸 선두로부터 1번째의 프레임으로부터 15번째의 프레임으로 구성되는 1GOP에서는, 프레임마다의 표시 타입 V1, V2, V3 중에서, 표시 타입 V2의 비율이 가장 많기 때문에, 그 1GOP의 표시 타입은 V2로 결정된다.
예를 들면, 도 97의 Fy 파일에 나타낸 선두로부터 9번째의 프레임에 대해서는, 프레임마다의 표시 타입은 V1로 되지만, 1GOP마다의 표시 타입은 V2로 된다.
이상과 같이, 변화량이나 표시 타입을, 복수 프레임으로서의, 예를 들면, 1GOP를 구성하는 프레임마다 구하고(결정하고), Fy 파일에 저장하는 경우에는, 프레임마다의 변화량이나 표시 타입을 Fy 파일에 저장하는 경우에 비교하여, Fy 파일의 용량(파일 사이즈)을 작게 할 수 있고, 또한, Fy 파일의 해석(파일 패스)에 필요로 하는 처리의 부담을 경감할 수 있다.
또한, Fy 파일의 작성시에, 화상 데이터를 MPEG 방식으로 부호화하는 경우에, 1GOP를 구성하는 프레임마다의 변화량이나 표시 타입을 구할 때에는, 그 변화량이나 표시 타입은, MPEG 방식에 의한 부호화의 결과 얻어지는 스트림 중 GOP 헤 더에 포함시키도록 할 수 있다.
여기에서, 전술한 스크럽 처리에서는, 화상 데이터를 MPEG 방식으로 부호화하고, 기억 장치(22)에 기록하기 위해서, 도 71의 디코더(1116)에서는, 화상 데이터를, MPEG 방식으로 복호할 필요가 있다. MPEG 방식에서는, 예를 들면, 15프레임을 1GOP로 하고, 각 프레임이, I(Intra) 픽쳐, P(Predictive) 픽쳐, 또는 B(Bidirectionally Predictive) 픽쳐 중 어느 하나의 픽쳐 타입의 픽쳐로서 부호화된다. 그리고, I, P, B 픽쳐 중, P 픽쳐와 B 픽쳐는, 그것들보다 먼저 부호화되는 I 또는 P 픽쳐를 참조 화상(예측 화상을 생성하는 베이스로 되는 화상)으로서 부호화되기 때문에, 그 참조 화상을 복호한 후가 아니면 복호할 수 없다.
즉, 예를 들면, 지금, 1GOP가 15프레임으로 구성되는 것으로 하고, 그 15프레임의 각 프레임을, 픽쳐 타입을 나타내는 I, P, 또는 B와, 표시순을 나타내는 숫자로 나타내는 것으로 하면, 1GOP의 15프레임의 배열은, 예를 들면, B1, B2, I3, B4, B5, P6, B7, B8, P9, B10, B11, P12, B13, B14, P15로 나타낼 수 있다.
지금, 전술한 바와 같은 15프레임 B1 내지 P15로 이루어지는 GOP 중, 예를 들면, 선두로부터 6번째의 P 픽쳐 P6이, 3번째의 I 픽쳐 I3을 참조 화상으로 하여 부호화되고, 9번째의 P 픽쳐 P9가, 6번째의 P 픽쳐 P6을 참조 화상으로 하여 부호화되고, 12번째의 P 픽쳐 P12가, 9번째의 P 픽쳐 P9를 참조 화상으로 하여 부호화되고, 15번째의 P 픽쳐 P15가, 12번째의 P 픽쳐 P12를 참조 화상으로 하여 부호화된 것으로 한다. 또한, 13번째의 B 픽쳐 B13이, 12번째의 P 픽쳐 P12와 15번째의 P 픽쳐 P15를 참조 화상으로 하여 부호화된 것으로 한다.
이 경우, 예를 들면, 13번째의 B 픽쳐 B13이, 뷰어(15)에 표시하는 주목 프레임으로 되면, 3번째의 I 픽쳐 I3을 복호하고, 6번째의 P 픽쳐 P6을, 3번째의 I 픽쳐 I3을 참조하여 복호하고, 9번째의 P 픽쳐 P9를, 6번째의 P 픽쳐 P6을 참조하여 복호하고, 12번째의 P 픽쳐 P12를, 9번째의 P 픽쳐 P9를 참조하여 복호하고, 15번째의 P 픽쳐 P15를, 12번째의 P 픽쳐 P12를 참조하여 복호한 후가 아니면, 12번째의 P 픽쳐 P12와 15번째의 P 픽쳐 P15를 참조할 수 없기 때문에, 13번째의 B 픽쳐 B13을 복호할 수 없다. 따라서, B 픽쳐 B13의 복호에 시간을 필요로 하게 된다.
따라서, 다른 픽쳐의 복호에 참조되는 P 픽쳐 P6, P9, P12, P15를, 각각, I픽쳐 I6, I9, I12, I15로 하여, P-to-I 파일이라 불리는 별도 파일에 저장해 두고, 디코더(1116)에서는, 그 P-to-I 파일에 저장된 픽쳐를 필요에 따라서 참조하여 복호를 행할 수 있다. 이 경우, 예를 들면, B 픽쳐 B13은, P-to-I 파일에 저장된 I 픽쳐 I12와 I15를 참조하여, 단시간에 복호할 수 있다.
이상과 같이 전술한 스크럽의 처리는, 변화량에 따라서 변경하는 파라미터로서, 표시에 관한 파라미터(표시 파라미터)에 있어서는, 해상도, 화상 사이즈를 적용하고, 재생에 관한 파라미터(재생 파라미터)에서는, 표시 레이트(프레임 레이트), 재생 속도 v를 적용하도록 했지만, 이들 표시 파라미터, 재생 파라미터에 대해서 다양한 조합을 적절히 설정할 수 있다.
또한, 전술한 스크럽의 처리는, 재생 파라미터에 있어서는, 표시 레이트(프레임 레이트), 재생 속도 v 외에, 재생 시간차 ΔT를 적용할 수도 있다. 이 경우, 예를 들면, 화상의 변화가 클수록 재생 시간차 ΔT도 크게 함과 함께, 해당 재생 시간차 ΔT에 따라서 영상 표시부 W57 사이의 거리를 넓히도록 또는 좁히도록 하여도 된다. 이와 같이 하면, 화상의 변화가 심한 부분으로 되었을 때에, 그 부분에 대한 표시 형태가 변하기 때문에, 보다 한층더 화상 찾기를 용이화시키는 것이 가능하게 된다.
이상, 스크럽을 행하는 경우에 대해 설명했지만, 본 발명은, 스크럽 이외의 변속 재생(n배속 재생)을 행하는 경우에도 적용 가능하다.
또한, 전술하고는 있지만, 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n이 동화상으로서 재생되고 있는 경우에는, 스크럽이라고 하는 조작을 행하지 않아도, 해당 나선 영상 표시부군(58)에서는 화상 자체가 흘러 가는 것 같이 보이기 때문에, 마찬가지의 효과를 얻을 수 있다.
(5) 묘화 간격 자동 변경 기능
그런데, 편집 장치(2)는, 영상 표시부 W571 내지 W57n에 대하여 재생 영상을 소정 프레임마다 씨닝하여 표시하는 경우, 그 재생 영상 중에서, 일정한 변화량(임계값)을 초과하는 프레임을 현 표시 대상으로 하는 영상 표시부 W57(W571, W572, …, 또는 W57n -1)과, 해당 프레임을 재생 시간차 ΔT 이후에 표시 대상으로 되는 영상 표시부 W57(W572, W572, …, 또는 W57n)와의 사이에, 해당 씨닝한 프레임수에 대응하는 수의 영상 표시부(이하, 이것을, 적절하게, 신규 영상 표시부라고 부름)를 새롭게 작성하고, 그 작성한 각각의 신규 영상 표시부에, 씨닝한 프레임을 표시할 수 있도록 되어 있다.
여기에서, 마이크로프로세서(3) 및 GPU(4)에 의한 처리를 설명하는데, 편의상, 동화상을 구성하는 프레임이 소정 프레임마다 씨닝되어, 재생 영상을 구성하는 프레임으로서 남겨진 복수의 프레임 중에서, 예를 들면 19번째의 프레임만이 일정한 변화량(임계값)을 초과하는 프레임이다라고 가정하고, 이 프레임을 주로 주목하여 설명한다.
즉, 마이크로프로세서(3) 및 GPU(4)는, 편집 화면(50)을 표시한 상태에서, 동화상을 구성하는 프레임 중, 일정한 변화량(임계) 미만으로 되는 1 내지 18번째의 프레임에 대해서는 소정 프레임마다 씨닝하고, 해당 씨닝 대상으로 되지 않았던 프레임을 디코드한 후에 재생 시간차 ΔT를 띄워서, 표시부(55)의 영상 표시부 W571 내지 W57n에 순차적으로 표시한다.
덧붙여서, 이 변화량은, 전술한 스크럽 처리의 편집 전처리에 의해 기억 장치(22)에 기억된 Fy 파일로부터 취득할 수 있다.
한편, 마이크로프로세서(3) 및 GPU(4)는, 예를 들면 도 98에 도시하는 바와 같이, 일정한 변화량(임계값) 이상으로 되는 19번째의 프레임을 인식한 경우에는 씨닝 처리를 정지하고, 전술한 스크럽 처리와 같이 표시 레이트를 변경하지 않고, 해당 씨닝 대상으로 될 것이었던 m매의 프레임(이하, 이것을 씨닝 프레임이라고 부름)에 대해서도, 순차적으로 디코드한다.
그리고, 마이크로프로세서(3) 및 GPU(4)는, 19번째의 화상(프레임)을 영상 표시부 W571에 표시함과 함께, m매의 씨닝 프레임에 대응하는 수의 신규 영상 표시부 W57NX1 내지 W57NXm을 새롭게 작성하고, 그 작성한 각 신규 영상 표시부 W57NX1 내지 W57NXm에, 대응하는 씨닝 프레임을 표시한다.
이 19번째의 화상(프레임)은, 재생 시간차 ΔT를 띄워서, 영상 표시부 W572, W573,…에 순차적으로 표시되고, 신규 영상 표시부 W57NX1 내지 W57NXm은, 19번째의 화상의 화상과 마찬가지로 재생 시간차 ΔT를 띄워서, 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57와의 사이(W572와 W573 사이, W573과 W574 사이,… )에 표시되게 된다.
이 결과, 예를 들면 도 99 및 도 100에 도시하는 바와 같이, 도안의 변화가 심한 화상이 표시되어 있는 현 표시 대상의 영상 표시부 W57c와, 가상 시간축 T P(도 19)의 진행 방향을 향하여 다음의 영상 표시부 W57d와의 재생 시간차 ΔT에서의 묘사 추이가, 신규 영상 표시부 W57NX1 내지 W57NXm에 대하여 상세하게 제시되게 되고, 이에 의해 오퍼레이터는, 도안이 심한 화상의 묘사 내용을 직감적으로 파악할 수 있다. 덧붙여서, 이 도 99 및 도 100에서는, m=5인 경우를 나타내고 있다.
또한, 마이크로프로세서(3) 및 GPU(4)는, m매의 씨닝 프레임 이후의 프레임에 대해서는 다시 씨닝 처리를 개시하고, 해당 씨닝 대상으로 되지 않았던 프레임 을 디코드한 후에 재생 시간차 ΔT를 띄워서, 표시부(55)의 영상 표시부 W571 내지 W57n에 순차적으로 표시한다.
이와 같이 하여 편집 장치(2)는, 영상 표시부 W571 내지 W57n에 대하여 재생 영상을 소정 프레임마다 씨닝하여 표시하는 경우, 그 재생 영상 중에서, 일정한 변화량(임계값)을 초과하는 프레임에 대해서는 씨닝하지 않고, 해당 프레임에 대하여, 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57와의 사이(W572와 W573 사이, W573과 W574 사이,…)에, 신규 영상 표시부 W57NX1 내지 W57NXm을 작성해서 표시할 수 있다.
전술한 묘화 간격에서의 변경 방법에서는, 현 표시 대상의 영상 표시부 W57 과, 그 다음에 표시 대상으로 되는 영상 표시부 W57 사이에 표시하는 대상은, 씨닝 대상의 프레임(씨닝 프레임) 모두로 했지만, 반드시 씨닝 대상의 프레임 모두로 하지 않아도 되고, 임의의 프레임수로 하여도 된다.
또한, 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57 사이에 표시하는 대상의 프레임수(씨닝 프레임수)는, 예를 들면, 제1 임계값 이상 제2 임계값 미만일 때에는, 제1 프레임수로 하고, 제2 임계값 이상 제3 임계값 미만일 때에는, 제1 프레임수보다도 많은 제2 프레임수로 하고, 제3 임계값 이상일 때에는, 제2 프레임수보다도 많은 제3 프레임수로 하도록, 변화량에 따라서 단계적으로 절환할 수도 있다.
이와 같이 하면, 편집 장치(2)는, 도안의 변화의 정도에 따라 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57와의 사이에 표시되는 프레임수를 바꿀 수 있기 때문에, 오퍼레이터에 대하여, 그 표시되는 화상 자체뿐만 아니라, 프레임수에 의해서도, 재생 영상에서의 변화 부분을 파악시킬 수 있어, 이 결과, 보다 한층더 직감적으로 화상 찾기를 하게 할 수 있다.
또한, 전술한 묘화 간격에서의 변경 방법은, 변화량에 따른 씨닝 프레임수로, 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57 사이에 씨닝 프레임을 표시함과 함께, 그 씨닝 프레임을, 변화량에 따른 사이즈로 표시할 수도 있다.
이와 같이 하면, 편집 장치(2)는, 도안의 변화의 정도에 따라 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57와의 사이에 표시되는 프레임수 및 그 사이즈를 바꿀 수 있기 때문에, 오퍼레이터에 대하여, 그 표시되는 화상 자체뿐만 아니라, 프레임수 및 프레임 사이즈에 의해서도, 재생 영상에서의 변화 부분을 파악시킬 수 있어, 이 결과, 보다 한층더 직감적으로 화상 찾기를 하게할 수 있다.
또한, 전술한 묘화 간격에서의 변경 방법은, 전술한 스크럽 처리와 조합할 수도 있다. 즉, 변화량에 따른 씨닝 프레임수로, 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57과의 사이에 씨닝 프레임을 표시함과 함께, 그 변화량에 대응하는 표시 타입에 따라서, 화상(씨닝 프레임 이외의 프레임)의 해상도와 표시 레이트를 바꾸도록 할 수도 있다.
이와 같이 하면, 편집 장치(2)는, 도안의 변화의 정도에 따라 현 표시 대상의 영상 표시부 W57과, 그 다음에 표시 대상으로 되는 영상 표시부 W57과의 사이에 표시되는 프레임수, 및, 해당 영상 표시부 W57에 표시되는 프레임의 해상도 및 표시 레이트를 바꿀 수 있기 때문에, 오퍼레이터에 대하여, 스크럽 손잡이(67)의 이동의 속도에 관계없이 재생 영상을 매끄럽게 표시시킴과 함께, 그 표시되는 화상 자체의 상세를 파악시킬 수 있어, 이 결과, 보다 한층더 직감적으로 화상 찾기를 하게 할 수 있다.
단, 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n이 동화상으로서 재생되어 있기만 하면, 스크럽이라고 하는 조작을 행하지 않아도, 해당 나선 영상 표시부군(58)에서는 화상 자체가 흘러 가는 것 같이 보이기 때문에, 도 99 및 도 100에 도시한 바와 같이, 3D 공간 상에서의 동화상의 인식에서, 마찬가지의 효과를 얻을 수 있다.
(6) 동작 및 효과
이상의 구성에서, 이 편집 시스템(1)의 편집 장치(2)에서는, 디스플레이(40)에 표시된 편집 화면(50)의 클립 일람 표시부(51)로부터 원하는 클립을 선택하여 표시부(55)에 드랙 앤 드롭하고, 이후 필요에 따라서 그 클립에 대응지어진 나선 영상 표시부군(58)을 선택한 후에 재생 버튼(56)이 클릭되면, 그 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 일정한 시간차를 갖고 그 클립의 재생 영상을 각각 표시한다.
그리고 이와 같은 영상 표시 방법에 따르면, 이러한 클립의 재생 영상의 각 씬이, 그 나선 영상 표시부군(58)을 구성하고 있는 복수의 영상 표시부 W571 내지 W57n을 화면의 깊이측으로부터 전방측을 향하여, 그때 설정되어 있는 재생 시간차 ΔT를 갖고 각 영상 표시부 W571 내지 W57n에 대한 재생 처리를 개시함으로써, 3차원적인 깊이감을 갖게 할 수 있다.
따라서 편집 장치(2)에서는, 오퍼레이터가 씬 체인지 점 등의 프레임을 화상 찾기하는 경우이어도, 각 영상 표시부 W571 내지 W57n에 재생 시간차 ΔT의 시간 간격으로 동일한 재생 영상이 순차적으로 표시되게 되기 때문에, 종래의 편집 화면(2001)(도 104)과 같이 모니터부(2003)에 표시된 2차원의 재생 영상을 1코마씩 오퍼레이터가 움직여 가면서 눈으로 확인하여 원하는 프레임을 화상 찾기하는 경우에 비하여, 재생 영상을 1코마씩 움직이는 것 같이 번잡한 코마 이송 조작을 오퍼레이터에게 강제로 시키지 않아, 간단하고 직감적으로 화상 찾기 작업을 실행시킬 수 있다.
특히 편집 장치(2)의 마이크로프로세서(3)는, 나선 형상으로 배치한 각 영상 표시부 W571 내지 W57n에 의해 스파이럴 구조의 나선 영상 표시부군(58)을 표시하도록 한 것에 의해, 표시부(55)의 1화면 내에 모든 영상 표시부 W571 내지 W57n을 어느 하나로서 가리게 하지 않고 표시할 수 있어, 오퍼레이터에게 원하는 씬의 화상 찾기 작업이나 편집 작업을 용이하게 실행시킬 수 있다.
이는, 편집 장치(2)가 각 영상 표시부 W571 내지 W57n의 재생 영상을 모두 정지했을 때에 중요한 요소로 되고, 나선 영상 표시부군(58)을 구성하고 있는 각 영상 표시부 W571 내지 W57n에 대하여, 각각 시간적으로 어긋난 주변 프레임의 정지 화상을 순차적으로 표시하게 되기 때문에, 코마 이송 조작에 의해 화상 찾기 작업을 행하게 하지 않아도 된다고 하는 각별한 효과를 갖는다.
또한 편집 장치(2)에서는, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 대하여 표시순으로 재생 시간차 ΔT를 설정하면서 동화상의 상태에서 서로 제휴한 재생 영상을 표시함으로써, 나선 영상 표시부군(58)의 깊이측을 향하여 재생 영상이 순차적으로 진행해 가고, 예를 들면 새로운 씬에의 돌입시에 씬 체인지의 갱신 변화가 각 영상 표시부 W571 내지 W57n의 전방측으로부터 깊이측에 재생 영상의 진행과 함께 순차적으로 변해가기 때문에, 나선 영상 표시부군(58) 전체를 통해서 재생 영상의 진행 방향으로 시간이 흐르는 모습(재생 속도나 재생 방향)을 오퍼레이터에게 체감시키면서 화상 찾기 작업이나 편집 작업을 직감적으로 실행시킬 수 있다.
또한 편집 장치(2)는, 각 영상 표시부 W571 내지 W57n에 표시할 재생 영상을 리버스 재생한 경우, 나선 영상 표시부군(58) 전체가 깊이측으로 내려가는 것 같은 감각을 오퍼레이터에게 체감시키면서 화상 찾기 작업이나 편집 작업을 실행시킬 수 있다.
또한 편집 장치(2)는, 나선 영상 표시부군(58)을 GPU(4)의 내부 메모리 상의 3D 가상 공간에 배치하고 있기 때문에, 그 3D 가상 공간과 동일한 좌표계를 갖는 서브 3D 공간 화상 IM1 및 캐릭터 CA1을 통해서 나선의 소용돌이의 깊이측을 향하여 시점을 이동시키는 것이 가능하고, 이동 후의 내부 시점으로부터 보이는 표시 형태에 나선 영상 표시부군(58)을 바꾸어 표시부(55)에 표시할 수 있다.
따라서 편집 장치(2)는, 각 영상 표시부 W571 내지 W57n에서의 재생 영상을 일시 정지하고 있는 상태이어도, 시점을 나선의 소용돌이의 깊이측을 향하여 이동시킴과 함께 나선 영상 표시부군(58)의 표시 형태를 바꾸면서 표시함으로써, 나선의 소용돌이의 중심을 빠져나가면서 미래를 향하여 재생 처리를 진행시키고 있는 것 같은 인상을 오퍼레이터에게 줄 수 있어, 엔터테인먼트성이 높은 GUI(Graphical User Interface)를 제공할 수 있다.
이에 부가하여 편집 장치(2)에서는, 서브 3D 공간 화상 IM1과 캐릭터 CA1의 상대적 위치 관계에 따라 나선 영상 표시부군(58)에 대한 시점 및 시선 방향을 변경하도록 한 것에 의해, 나선 영상 표시부군(58)을 구성하는 복수의 영상 표시부 W571 내지 W57n이 만드는 원의 외측으로 시점을 이동시킨 경우, 나선 영상 표시부군(58)의 표시 형태를 띠 형상으로 변화시켜서 표시(도 27∼도 32 등)할 수 있기 때문에, 나선 영상 표시부군(58) 전체의 길이로부터 클립 전체의 재생 시간을 오퍼레이터에게 이미지시키거나, 클립 전체를 오퍼레이터에게 있어서 편집 용이한 위치 또는 각도로 변경할 수 있다.
또한 편집 장치(2)에서는, 각각의 클립의 잘라내기, 복수 클립의 편집 처리 및 편집 영상의 확인 처리와 같은 작업을 1개의 표시부(55) 내에서 행할 수 있기 때문에, 종래의 편집 장치와 같이 클립의 잘라내기는 편집 화면(2001)의 모니터부(2003)를 이용하여 행하고, 편집 처리는 스토리 보드부(2004) 및 타임 라인부(2005)를 이용하여 행하고, 편집 영상의 확인 처리는 모니터부(2003)를 이용하여 행한다고 하는 번잡한 작업을 필요로 하지 않아, 이러한 일련의 편집 작업을 표시부(55) 내에서 일괄하여 행할 수 있다. 이렇게 하는 데에 대해서, 소위 화상 찾기 작업뿐만 아니라, 편집 작업을 전체적으로 용이화시킬 수 있다.
또한 편집 장치(2)에서는, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 재생 영상을 각각 표시할 때, 음성 출력 모드로서 「메인 음성 출력 모드」 및 「전체 음성 출력 모드」를 선택할 수 있기 때문에, 그때 대상으로 하고 있는 클립의 재생 음성의 내용에 따라서 음성 출력 모드로 절환함으로써, 출력 음성에 의한 원하는 영상 음성 부분의 탐색 작업도 가능하게 된다.
또한 이 경우에, 이 편집 장치(2)에서는, 음성 출력 모드로서 「전체 음성 출력 모드」를 설정했을 때에는, 기준 영상 표시부 W57n으로부터 떨어진 영상 표시부 W571 내지 W57m에 표시된 재생 영상의 음성일수록 작은 음량으로 되도록 음량 조정된 상태에서, 그때 조작하고 있는 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 표시된 재생 영상에 부수되는 모든 재생 음성이 스피커(41)로부터 출력되기 때문에, 음성을 3차원적으로 표현할 수가 있어, 그 만큼 클립의 내용에 따라, 이러한 출력 음성에 기초하는 원하는 영상 음성 부분의 탐색 작업을 보다 용이화시킬 수 있다. 물론, 편집의 용이성뿐만 아니라, 나선형의 띠 형상 표시에 의한 재생을 행하는 것만이어도 지금까지에 없는 깊이감을 느끼게 하는 음성 표현이 가능하게 된다.
또한 본 발명의 편집 장치(2)는, 편집 화면(50)에서의 복수의 영상 표시부 W571 내지 W57n에 대하여 표시시키는 복수의 표시 영상 데이터를 생성한다. 또한 편집 장치(2)는, 영상 표시부 W571 내지 W57n에 표시시키는 영상 음성 신호에서의 각 화상 데이터의 변화의 정도를 나타내는 변화량에 기초하여, 그 픽쳐(프레임)를 표시할 때의 표시 방법을 나타내는 표시 타입을, 픽쳐 단위로 결정한다(도 33∼도 70 등).
그리고 편집 장치(2)는, 픽쳐 단위의 표시 타입을 나타내는 타입 정보에 따라서, 각 표시 영상 데이터에 대응하는 화상의 해상도나 표시 레이트를 변경하고, 그 변경된 화상의 해상도나 표시 레이트로 해당 각 표시 영상 데이터를, 표시순으로 시간차를 설정하면서 동화상의 상태에서 편집 화면(50)의 소정 위치에 표시시키킨다(도 71 내지 도 98 등).
따라서, 이 편집 장치(2)는, 편집 화면(50)에 대하여, 동화상의 각 화상을 각각 시간차를 띄워서 표시순으로 표시할 수 있기 때문에, 그 화상의 내용(스토리)이 흐르는 것 같이 묘화시킬 수 있고, 이 결과, 오퍼레이터에 대하여, 동화상의 내 용을 직감적으로 파악시키면서 화상 찾기를 하게 할 수 있고, 이렇게 하여 편집점(인 점 및 아웃 점)을 용이하게 탐색시킬 수 있다.
또한, 동화상의 각 화상에 대해서 각각 시간차를 띄워서 표시순으로 표시하는 표시 방법으로서, 이 편집 장치(2)는, 모든 화상에 대해서 동일한 표시 방법으로 표시하는 것이 아니라, 해당 화상의 표시 타입에 따라서, 화상의 해상도와 표시 레이트 등을 변경하고, 또한, 주목 프레임으로 된 프레임을 모두 복호하는 것이 아니라, 표시 타입에 따라서, 필요한 프레임만을 복호한다.
따라서, 이 편집 장치(2)는, 가령 재생 속도 v의 가변 등이 있었다고 하여도, 동화상의 내용(스토리)이 흐르는 것 같이 묘화하고, 또한, 각 화상의 변화에 따라서 표시 양태를 가변할 수 있고, 이 결과, 오퍼레이터에 대하여, 동화상의 내용을 직감적으로 파악시키면서 화상 찾기를 하게 할 수 있고, 이렇게 하여 편집점(인 점 및 아웃 점)을 용이하게 탐색시킬 수 있다.
또한, 이 편집 장치(2)는, 시간차를 띄워서 표시순으로 표시하는 동화상의 각 화상을, 3차원 나선 형상으로 배치한다. 따라서, 이 편집 장치(2)는, 단지 세로 또는 가로에 배열하는 경우에 비하여, 많은 화상을 그 시간적 연속성을 유지하여 제시시킬 수 있기 때문에, 편집 대상으로 되는지의 여부를 보다 긴 시간 정밀히 조사시킬 수 있어, 이 결과, 화상 찾기의 효율성을 높게 할 수 있다.
이상의 구성에 의하면, 선택된 클립의 재생 영상을 표시순으로 재생 시간차 ΔT를 설정하면서 동화상의 상태에서 3차원 나선 형상으로 배치하여 표시하도록 한 것에 의해, 재생 영상에 시간적인 깊이나 화상 찾기 용이한 표시 형태를 갖게 할 수 있고, 이렇게 하여, 종래의 편집 화면(2001)과 같이 2차원 1화면의 재생 영상을 눈으로 확인하면서 원하는 영상 부분을 탐색하는 경우에 비하여, 원하는 영상 부분의 탐색을 오퍼레이터에게 간단하고 직감적으로 실행시켜서 편집 작업을 용이화시킬 수 있는 편집 시스템을 실현할 수 있다.
또한, 이상의 구성에 따르면, 모든 각 영상 표시부 W571 내지 W57n에 표시하는 재생 영상의 화상에 대해서 모두 동일한 표시 방법으로 표시하는 것이 아니라, 해당 화상의 표시 타입에 따라서, 화상의 해상도와 표시 레이트 등을 변경하고, 또한, 주목 프레임으로 된 프레임을 모두 복호하는 것이 아니며, 표시 타입에 따라서, 필요한 프레임만을 복호하도록 한 것에 의해, 오퍼레이터에 대하여, 재생 영상의 내용을 직감적으로 파악시키면서 화상 찾기를 하게 할 수 있고, 이렇게 하여 편집점을 용이하게 탐색시킬 수 있다.
이상과 같이, 종래에서는, 선택된 클립의 재생 영상을 표시 화면 상에서 표시시켜서 원하는 씬을 탐색하는 경우에, 단순하게 표시 프레임상에서 가변 재생(스크럽 재생)을 복수회 되풀이하면서 행하고 있었다. 따라서, 본 발명의 전술한 구성에서는, 선택된 클립의 재생 영상의 모습(변화)을, 표시 화면 상에서의 「시계열순의 이동(흐르는 것 같은 이동)」으로서, 재생 영상을 용이하고 직감적으로 확인할 수 있도록 표시시키는 점에 주안이 있다.
또한, 본 발명의 전술한 구성에서는, 화상 찾기할 때에 원하는 씬(도안)을 탐색하기 쉽게 하기 위해서, 표시 파라미터·재생 파라미터·표시 타입을, 실현하 는 시스템의 처리 능력(CPU/GPU의 처리 능력, 클립을 기억하는 스토리지의 데이터 전송량·시크 시간 등)에 따라서, 적응적으로 변경시키면서, 재생 영상을 용이하고 직감적으로 확인할 수 있도록 표시시키는 점에도 주안이 있다.
(7) 제2 실시 형태
(7-1) 본 실시 형태에 따른 편집 시스템의 구성
도 1에서, 참조부호 90은 제2 실시 형태에 따른 편집 시스템을 나타내고, 편집 화면(50)의 표시부(55)에 표시되는 나선 영상 표시부군(58)(도 2)의 각 영상 표시부 W571 내지 W57n의 크기가, 화면의 깊이측으로부터 전방측을 향하여 점차 커질 뿐만 아니라, 그 영상 표시부 W571 내지 W57n에 표시되는 재생 영상에 부수되는 재생 음성의 음성 레벨에 따라서 변동하는 점을 제외하고 제1 실시 형태에 따른 편집 시스템(1)(도 1)과 마찬가지로 구성되어 있고, 전술한 제1 실시 형태에서의 편집 장치(2)와 마찬가지의 각종 처리를 실행할 수 있도록 이루어져 있다.
즉 이 편집 시스템(90)의 경우, 편집 장치(2)의 마이크로프로세서(3)는, 전술한 바와 같이 기억 장치(22)로부터 PCI 버스(15) 및 사우스 브릿지(6)를 통해서 주어지는 클립의 영상 음성 신호에 기초하여, 도 2에 도시한 바와 같이, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 그 클립의 재생 영상을 각각 표시시키는 한편, 이들 재생 영상에 부수되는 각 재생 음성의 프레임마다의 음성 레벨(음성 신호의 신호 레벨)의 피크 레벨을 GPU(4)에 순차적으로 통지하도록 이루어져 있다.
그리고 GPU(4)는, 이러한 마이크로프로세서(3)로부터의 통지에 기초하여, 이들 각 재생 음성에 대해서, 그 재생 음성의 피크 레벨이 미리 설정된 임계값 Thd보다도 큰지의 여부를 각각 판단하고, 크다고 판단했을 때에는, 그 프레임의 화상을 표시할 때에, 대응하는 영상 표시부 W571 내지 W57n을 통상 표시할 사이즈보다도 크게 표시시키도록 이루어져 있다
예를 들면, 각 영상 표시부 W571 내지 W57n에 표시된 재생 영상이 각각 도 101의 (A)이며, 그때 이들 재생 영상에 부수되는 재생 음성의 음성 레벨(음성 신호의 신호 레벨)이 도 101의 (B)인 경우에는, 화면의 가장 전방측에 위치하는 기준의 영상 표시부 W57n으로부터 깊이측으로 세서 2 내지 4번째의 영상 표시부 W57l, W57k, W57j에 표시되는 재생 영상에 부수되는 각 재생 음성의 음성 레벨이 각각 임계값 Thd보다도 크기 때문에, 이 순간에는 도 101의 (C)에서 십자의 화살표로 나타내는 바와 같이, 이들 영상 표시부 W57l, W57k, W57j가 다른 것보다도 한층더 크게 표시되게 된다.
또한 이 경우에 마이크로프로세서(3)는, 이러한 크게 표시시키는 영상 표시부 W57l, W57k, W57j에 대해서, 그 영상 표시부 W57l, W57k, W57j에 표시되는 재생 영상에 부수된 재생 음성의 음성 레벨이 크면 클수록, 해당 영상 표시부 W57l, W57k, W57j의 확대율을 크게 하여 표시하도록 GPU(4)를 제어한다.
따라서, 예를 들면 도 101의 (B)의 예에서는, 이 순간에서는 기준 영상 표시 부 W57n으로부터 우측으로 2번째의 영상 표시부 W57l에 표시되는 재생 영상에 부수된 재생 음성의 음성 레벨이 가장 높고, 기준 영상 표시부 W57n으로부터 우측으로 세서 3번째 및 4번째의 영상 표시부 W57k, W57j에 각각 표시되는 재생 영상에 부수된 재생 음성의 음성 레벨이 이보다도 조금 낮은 거의 동일한 크기이기 때문에, 기준 영상 표시부 W57n으로부터 우측으로 2번째의 영상 표시부 W57l이 가장 큰 확대율로 확대 표시되고, 다른 기준 영상 표시부 W57k, W57j가 이보다도 조금 작은 확대율로 확대 표시되게 된다.
이와 같이 하여 이 편집 시스템(90)에서는, 편집 화면(50)의 표시부(55)에서, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 각각 표시된 재생 영상에 부수되는 재생 음성의 음성 레벨을 오퍼레이터에 대하여 시각적으로 인식 시킬 수 있도록 표시할 수 있고, 이에 의해 오퍼레이터가 직감적으로 클립의 내용을 인식하여, 화상 찾기나 편집 작업을 용이하게 실행할 수 있도록 이루어져 있다.
(7-2) 영상 표시부 확대 표시 처리 수순
여기에서, 실제상, 편집 시스템(90)에서의 편집 장치(2)의 마이크로프로세서(3)는, 전술한 바와 같은 영상 표시부 W571 내지 W57n에 표시된 재생 영상에 부수되는 재생 음성의 음성 레벨에 따라서 영상 표시부 W57l, W57k, W57j를 확대 표시시키는 처리를, 하드디스크 장치(7)(도 1)에 저장된 제어 프로그램에 기초하여, 도 102에 도시하는 영상 표시부 확대 표시 처리 수순 RT5에 따라서 실행한다.
즉 마이크로프로세서(3)는, 도 10에 도시하는 재생 처리 수순 RT2에 따라서 클립의 재생 영상을 나선 영상 표시부군(58)에 다 표시하면, 도 10을 이용한 전술한 표시 변경 처리 수순 RT2와 병행하여 이 영상 표시부 확대 표시 처리 수순 RT5를 GPU4에 개시시킨다.
스텝 SP51에서 편집 장치(2)의 마이크로프로세서(3)는, 표시부(55)에 표시하는 나선 영상 표시부군(58)의 1개의 영상 표시부 W571 내지 W57n에 대해서, 표시 프레임(예를 들면, 1 프레임분)에 부수되는 재생 음성의 피크 레벨을 취득하고, 다음의 스텝 SP52로 이행한다.
스텝 SP52에서 편집 장치(2)의 마이크로프로세서(3)는, 재생 음성의 피크 레벨이 미리 설정된 임계값 Thd보다도 큰지의 여부를 판단하고, 부정 결과를 얻으면 스텝 SP51로 되돌아가서, 긍정 결과를 얻으면 다음의 스텝 SP53으로 이행한다.
스텝 SP53에서 편집 장치(2)의 마이크로프로세서(3)는, 재생 음성의 피크 레벨이 미리 설정된 임계값 Thd보다도 큰 것을 판별한 영상 표시부 W571 내지 W57n에 대해서, 그 피크 레벨에 따라서 확대율을 산출하고, 이후 스텝 SP54로 이행하여 이 산출 결과에 기초하여 해당 영상 표시부 W571 내지 W57n의 확대율을 제어한다.
이렇게 하여, 이때 편집 화면(50)의 표시부(55)에 표시된 나선 영상 표시부군(58)의 영상 표시부 W571 내지 W57n이, 통상 시의 크기(피크 레벨이 임계값 Thd 이하인 경우의 크기)와 비교하여 스텝 SP53에서 산출한 확대율에 따른 크기로 확대되어서 표시되게 된다.
다음으로 편집 장치(2)의 마이크로프로세서(3)는, 스텝 SP51로 되돌아가서, 이후 대상으로 하는 영상 표시부 W571 내지 W57n을 순차적으로 순환적으로 절환하면서, 스텝 SP51 내지 스텝 SP54에서의 처리를 마찬가지로 실행하도록 이루어져 있다.
이와 같이 하여 편집 장치(2)의 마이크로프로세서(3)는, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n에 표시된 재생 영상에 부수되는 재생 음성의 음성 레벨이 클 때, 그 영상 표시부 W571 내지 W57n을 그 음성 레벨에 따른 크기로 표시시킬 수 있도록 이루어져 있다.
(7-3) 제2 실시 형태에서의 동작 및 효과
이상의 구성에서, 이 편집 시스템(1)의 편집 장치(2)에서는, 나선 영상 표시부군(58) 내의 각 영상 표시부 W571 내지 W57n에 각각 표시되어 있는 재생 영상에 부수된 재생 음성의 음성 레벨에 따라서, 상기 음성 레벨이 클 때에는, 이에 따라서 대응하는 영상 표시부 W571 내지 W57n의 표시 사이즈를 크게 확대하여 표시한다.
그리고 이와 같은 영상 표시 방법에 따르면, 나선 영상 표시부군(58)의 각 영상 표시부 W571 내지 W57n의 크기에 기초하여 그때 각 영상 표시부 W571 내지 W57n에 각각 표시되어 있는 재생 영상에 부수된 재생 음성의 음성 레벨에 대해서도, 각 영상 표시부 W571 내지 W57n의 표시 사이즈에 의해 시각적으로 인식시킬 수 있기 때문에, 화상 찾기 작업을 실행하기 쉽게 함과 함께, 영상과 음성을 제휴시킨 편집 처리를 오퍼레이터에 대하여 용이하게 실행시킬 수 있다.
이상의 구성에 따르면, 나선 영상 표시부군(58) 내의 각 영상 표시부 W571 내지 W57n에 각각 표시되어 있는 재생 영상에 부수된 재생 음성의 음성 레벨에 따라서, 상기 음성 레벨이 클 때에는, 이에 따라서 대응하는 영상 표시부 W571 내지 W57n도 크게 표시하도록 한 것에 의해, 3차원 나선 형상의 표시 형태로 각 영상 표시부 W571 내지 W57n을 동화상으로서 제휴 표시시키는 것의 시각 효과와, 각 영상 표시부 W571 내지 W57n의 재생 영상과 재생 음성이 제휴한 표시 효과에 의해 오퍼레이터의 화상 찾기 및 편집 작업을 한층더 용이하게 실행시킬 수 있도록 할 수 있고, 이렇게 하여 제1 실시 형태에 따른 편집 시스템(1)에 비하여 보다 한층더 편집 작업을 용이화시킬 수 있는 편집 시스템(90)을 실현할 수 있다.
(8) 다른 실시 형태
또한 전술한 제1 및 제2 실시 형태에서는, 본 발명을 넌리니어 편집 장치인 편집 장치(2)에 적용하도록 한 경우에 대해서 설명했지만, 본 발명은 이것에 한하지 않고, 이밖에 다양한 형태의 편집 장치나, 편집 장치 이외의 다양한 영상 표시 제어 장치에 널리 적용할 수 있다.
본 발명을 적용하는 어플리케이션에 대해서 설명한다. 예를 들면, 재생 영상이 TV 영상(녹화한 TV 영상 등)인 경우, 영상에 포함되는 특징량 이외에도, 텔롭이 포함되는 씬을 추출하고, 텔롭이 포함되는 전후 소정 시간의 씬을 주목 부분으 로서 특정하고, 특정한 주목 부분의 표시 파라미터·파라미터·재생 파라미터·파라미터를 변경하는(예를 들면: 표시 영역의 간격은 넓고·표시 영역의 크기는 크고 ·고해상도 화상을 재생하는) 어플리케이션도 생각된다. 마찬가지로 씬 체인지 검출 등에 의해 CM 부분을 특정하고, 특정한 CM 부분의 표시 파라미터·파라미터·재생 파라미터·파라미터를 변경하는(예를 들면: 표시 영역의 간격은 좁고·표시 영역의 크기는 작고·저해상도 화상을 재생하는) 어플리케이션도 생각된다.
또한, 음악 라이브 영상·음악 프로모션 영상·스포츠 영상 등 경우에는, 음성 레벨이 큰 부분을 중요한 씬이라고 특정하고, 특정한 중요 부분의 표시 파라미터·파라미터·재생 파라미터·파라미터를 변경하는(예를 들면: 표시 영역의 간격은 넓고·표시 영역의 크기는 크고·고해상도 화상을 재생하는) 어플리케이션도 생각된다.
또한 전술한 제2 실시 형태에서는, 재생 음성의 음성 레벨의 피크 레벨이 미리 설정된 임계값 Thd보다도 클 때에만, 그 프레임의 화상을 표시할 때에, 대응하는 각 영상 표시부 W571 내지 W57n을 통상 표시할 사이즈보다도 크게 표시시키도록 한 경우에 대해서 설명했지만, 본 발명은 이것에 한하지 않고, 이러한 임계값 Thd를 설정하지 않고, 대응하는 재생 음성의 음성 레벨에 따라서 각 영상 표시부 W571 내지 W57n을 확대 또는 축소시키도록 표시하도록 하여도 된다.
또한 전술한 제1 및 제2 실시 형태에서는, 표시부(55)의 화면 상에서의 각 영상 표시부 W571 내지 W57n을 고정한 상태에서 표시하도록 한 경우에 대해서 설명 했지만, 본 발명은 이것에 한하지 않고, 각 영상 표시부 W571 내지 W57n의 재생 영상의 재생 속도 v가 매우 저속시이고 또한 재생 시간차 ΔT가 1프레임 이하인 경우, 각 영상 표시부 W571 내지 W57n에 표시 중인 화상에 대해서는 갱신하지 않고 각 영상 표시부 W571 내지 W57n 전체를 재생 방향을 향하여 움직여 가는 것 같이 각 영상 표시부 W571 내지 W57n의 위치를 순차적으로 어긋나게 함으로써, 저속 재생시에 한층더 매끄러운 움직임의 화상 표시군을 눈으로 확인시키도록 하여도 된다.
예를 들면 편집 장치(2)에서는, 도 103의 (A) 및 (B)에 도시하는 바와 같이, 각 영상 표시부 W571 내지 W57n의 재생 영상에 대해서는 각각 갱신하지 않고 정지시킨 상태에서, 각 영상 표시부 W571 내지 W57n 자체의 화면 상에서의 위치를 순차적으로 옆으로 어긋나게 함으로써 일제히 1코마씩 화면의 깊이측으로부터 전방측으로 시프트하고 있는 것 같은 저속의 움직임을 표현할 수 있다.
또한 전술한 제1 및 제2 실시 형태에서는, 본 발명을 도 1과 같이 구성된 편집 장치(2)에 적용하도록 한 경우에 대해서 설명했지만, 본 발명은 이것에 한하지 않고, 이밖에 다양한 구성의 화상 처리 장치에 널리 적용할 수 있다. 또한 이 화상 처리 장치에는, 예를 들면 컴퓨터, 비디오 카메라, 디지털 카메라, 게임 기기, 휴대 정보 단말기(휴대형의 컴퓨터, 휴대 전화기, 휴대형 게임 기기), 스토리지 기기(예를 들면 광 디스크 장치, 홈 서버), 발명에 따른 기능을 탑재한 처리 보드나 처리 카드가 포함된다. 또한, 어느 화상 처리 장치의 경우에도, 케이스와, 신호 처리부와, 외부 인터페이스를 공통 구성으로 하고, 상품 형태에 따른 주변 장치가 조합되어 구성된다. 예를 들면, 비디오 카메라나 디지털 카메라이면, 전술한 구성에 부가하여, 카메라 유닛이나 촬상된 영상 데이터를 기억 매체에 보존하기 위한 기입 회로를 갖는다. 또한 예를 들면 휴대 전화기 그 밖의 통신 기능을 갖는 전자 기기이면, 전술한 구성에 부가하여, 송수신 회로나 안테나를 갖는다.
또한 전술한 제1 및 제2 실시 형태에서는, 마이크로프로세서(3)가 하드디스크 장치(7)에 저장된 화상 처리 프로그램으로서의 제어 프로그램을 기동하고, 나선 영상 표시부군(58)에 대한 시점에 따른 표시 변경 처리 등을 실행하도록 한 경우에 대해서 설명했지만, 본 발명은 이것에 한하지 않고, 제어 프로그램이 저장된 프로그램 저장 매체를 마이크로프로세서(3)에 인스톨함으로써 전술한 표시 변경 처리 등을 실행하도록 하여도 된다.
이와 같이 전술한 표시 변경 처리 등을 실행하기 위한 제어 프로그램을 하드디스크 장치(7)에 인스톨하여 실행 가능한 상태로 하기 위한 프로그램 저장 매체로서는, 예를 들면 플로피(등록상표) 디스크, CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등의 패키지 미디어뿐만 아니라, 제어 프로그램이 일시적 혹은 영속적으로 저장되는 반도체 메모리나 자기 디스크 등으로 실현하여도 된다. 또한 이들 프로그램 저장 매체에 제어 프로그램을 저장하는 수단으로서, 로컬 에리어 네트워크나 인터넷, 디지털 위성 방송 등의 유선 및 무선 통신 매체를 이용하여도 되고, 라우터나 모뎀 등의 각종 통신 인터페이스를 통해서 저장하도록 하여도 된다.
본 발명은, 넌리니어 편집 장치 외에, 이 이외의 편집 장치나, 편집 장치 이외의 영상을 표시하는 다양한 영상 표시 제어 장치에 널리 적용할 수 있다.

Claims (30)

  1. 영상 데이터로부터, 표시 화면 상의 복수의 영상 표시부에 대하여 각각 표시시키기 위한 복수의 표시 영상 데이터를 생성하는 화상 생성 수단과,
    상기 영상 데이터의 변화의 정도를 나타내는 영상 변화량 또는 상기 영상 데이터에 대응하는 음성 데이터의 변화의 정도를 나타내는 음성 변화량에 기초하여, 상기 영상 데이터의 픽쳐를 표시할 때의 표시 방법을 나타내는 표시 타입을, 픽쳐 단위 또는 GOP 단위로 결정하는 표시 타입 결정 수단과,
    상기 표시 타입 결정 수단에 의해 결정된 픽쳐 단위 또는 GOP 단위의 표시 타입에 따라서, 상기 표시 영상 데이터에 대응하는 표시 파라미터 또는 재생 파라미터를 변경하는 파라미터 변경 수단과,
    상기 파라미터 변경 수단에 의해 변경된 표시 파라미터 또는 재생 파라미터를 이용하여, 상기 표시 영상 데이터를, 표시순으로 시간차를 설정하면서 동화상의 상태에서 상기 표시 화면 상에 표시시키는 화상 처리 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 표시 타입은, 상기 영상 데이터의 픽쳐를 표시할 때의 해상도, 또는 상기 영상 데이터의 픽쳐를 표시할 때의 표시 레이트가 서로 다른 표시 방법을 나타내고,
    상기 화상 처리 수단은, 상기 영상 데이터의 픽쳐를, 상기 표시 타입이 나타내는 해상도 또는 표시 레이트로 표시시키는
    것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 영상 변화량은, 상기 영상 데이터의 픽쳐의 공간적인 변화의 정도를 나타내는 세밀함 정보이며,
    상기 표시 타입 결정 수단은, 상기 세밀함 정보에 의해 나타내어지는 상기 공간적인 변화의 정도가 큰 경우, 상기 영상 데이터의 픽쳐의 상기 표시 타입을, 높은 해상도의 고해상도 타입, 또는 낮은 표시 레이트의 저표시 레이트 타입으로 결정하는 것을 특징으로 하는 화상 처리 장치.
  4. 제2항에 있어서,
    상기 영상 변화량은, 상기 영상 데이터의 픽쳐의 시간적인 변화의 정도를 나타내는 움직임 정보이며,
    상기 표시 타입 결정 수단은, 상기 움직임 정보에 의해 나타내어지는 상기 시간적인 변화의 정도가 큰 경우, 상기 영상 데이터의 픽쳐의 표시 타입을, 낮은 해상도의 저해상도 타입, 또는 높은 표시 레이트의 고표시 레이트 타입으로 결정하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    표시시키는 상기 영상 데이터의 픽쳐를 지정할 때에 조작되는 픽쳐 지정 조작 수단에 의해 지정되어 있는 픽쳐의 상기 표시 타입을 취득하는 표시 타입 취득 수단을 더 가지며,
    상기 파라미터 변경 수단은, 상기 표시 타입 취득 수단에 의해 취득된 상기 표시 타입에 따라서, 상기 표시 영상 데이터에 대응하는 표시 파라미터 또는 재생 파라미터를 변경하는 것을 특징으로 하는 화상 처리 장치.
  6. 제5항에 있어서,
    상기 표시 타입에는, 정지 화상에서의 표시를 나타내는 정지 화상 타입도 있고,
    상기 표시 타입 결정 수단은, 상기 정지 화상에서의 표시를 나타내는 정지 화상 타입으로 결정하고,
    상기 화상 처리 수단은,
    상기 영상 데이터의 시계열의 픽쳐 중, 정지 화상 타입의 픽쳐가 연속하는 구간의 픽쳐가, 상기 픽쳐 지정 조작 수단에 의해 지정되어 있는 경우, 직전에 표시된 픽쳐를, 다시 표시시키는 것을 특징으로 하는 화상 처리 장치.
  7. 제6항에 있어서,
    상기 픽쳐 지정 조작 수단은, 손잡이의 이동이 가능한 바이며,
    상기 손잡이의 이동이 가능한 이동 가능 범위를 구분하는 각 소구간에는, 상기 영상 데이터의 픽쳐가 시계열로 할당되고,
    상기 화상 처리 수단은, 상기 손잡이가 위치하는 소구간에 할당되어 있는 상기 영상 데이터의 픽쳐를 표시시키는 것을 특징으로 하는 화상 처리 장치.
  8. 제6항에 있어서,
    상기 손잡이가 위치하는 소구간에 할당되어 있는 상기 영상 데이터의 픽쳐의 표시 타입에 따른 주기로, 상기 손잡이가 이동했는지를 판정하는 이동 판정 수단을 더 가지며,
    상기 화상 처리 수단은, 상기 이동 판정 수단에 의해 상기 손잡이가 이동했다고 판정된 경우, 이동 후의 상기 손잡이가 위치하는 소구간에 할당되어 있는 상기 영상 데이터의 픽쳐를 표시시키는 것을 특징으로 하는 화상 처리 장치.
  9. 제6항에 있어서,
    상기 손잡이가 위치하는 소구간에 할당되어 있는 상기 영상 데이터의 픽쳐의 표시 타입에 따른 주기로, 상기 손잡이가 이동했는지를 판정하는 이동 판정 수단을 더 가지며,
    상기 화상 처리 수단은, 상기 이동 판정 수단에 의해 상기 손잡이가 이동하고 있지 않다고 판정된 경우, 직전에 표시된 상기 영상 데이터의 픽쳐를, 다시 표시시키는 것을 특징으로 하는 화상 처리 장치.
  10. 제1항에 있어서,
    상기 영상 변화량에는, 상기 영상 데이터의 픽쳐의 공간적인 변화의 정도를 나타내는 픽쳐 단위 혹은 GOP 단위의 세밀함 정보, 또는, 픽쳐의 시간적인 변화의 정도를 나타내는 픽쳐 단위 혹은 GOP 단위 움직임 정보가 포함되고,
    상기 세밀함 정보 또는 상기 움직임 정보는, 메타데이터로서 파일에 저장되어 있는 것을 특징으로 하는 화상 처리 장치.
  11. 제1항에 있어서,
    상기 표시 파라미터에는, 상기 표시 화면 상에서의 각 상기 영상 표시부 및 상기 표시 영상 데이터의 크기, 또는, 상기 표시 화면 상에서의 각 상기 영상 표시부 및 상기 표시 영상 데이터의 표시 위치 간격이 포함되는 것을 특징으로 하는 화상 처리 장치.
  12. 제11항에 있어서,
    상기 표시 타입의 픽쳐를 표시할 때의 사이즈가 미리 설정되어 있고,
    상기 화상 처리 수단은, 상기 영상 데이터의 픽쳐를, 상기 표시 타입에 대해서 미리 설정되어 있는 사이즈로 표시시키는 것을 특징으로 하는 화상 처리 장치.
  13. 제1항에 있어서,
    상기 재생 파라미터는, 상기 표시 영상 데이터의 해상도, 프레임 레이트, 재생 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 화상 처리 장치.
  14. 제1항에 있어서,
    상기 음성 변화량은, 상기 음성 데이터의 신호 레벨에 대한 시간적인 변화량을 포함하는 것을 특징으로 하는 화상 처리 장치.
  15. 제1항에 있어서,
    상기 화상 생성 수단은, 부호화 스트림을 복호 처리함으로써, 상기 복수의 표시 영상 데이터를 생성하는 것을 특징으로 하는 화상 처리 장치.
  16. 제15항에 있어서,
    상기 부호화 스트림을 기억하는 기억 수단과,
    상기 기억 수단으로부터 상기 부호화 스트림을 읽어내는 읽어내기 수단
    을 더 가지며,
    상기 화상 생성 수단은, 상기 읽어내기 수단에 의해 읽어 내어진 상기 부호화 스트림을 복호 처리함으로써, 상기 복수의 표시 영상 데이터를 생성하는 것을 특징으로 하는 화상 처리 장치.
  17. 제1항에 있어서,
    상기 화상 처리 수단은, 상기 표시 화면 상에서 3차원 나선 형상으로 배치된 상기 복수의 영상 표시부가 표시순으로 제휴한 나선 영상 표시부군으로서, 상기 복수의 표시 영상 데이터를 상기 표시 화면 상에 표시시키는 것을 특징으로 하는 화상 처리 장치.
  18. 제1항에 있어서,
    상기 화상 처리 수단은, 상기 복수의 영상 표시부에서의 표시 사이즈 및 표시 위치를 포함하는 표시 정보를 취득하고, 그 취득한 표시 정보를 이용하여 상기 표시 영상 데이터를 상기 표시 화면 상에 표시시키는 것을 특징으로 하는 화상 처리 장치.
  19. 제1항에 있어서,
    상기 화상 처리 수단은, 상기 복수의 표시 영상 데이터를 가변속 표시시킨 상태에서, 상기 복수의 표시 영상 데이터를 상기 표시 화면 상에 표시시키는 것을 특징으로 하는 화상 처리 장치.
  20. 제19항에 있어서,
    상기 화상 처리 수단은, 상기 복수의 표시 영상 데이터의 표시 속도를 각각 동일하게 한 상태에서, 상기 복수의 표시 영상 데이터를 상기 표시 화면 상에 표시시키는 것을 특징으로 하는 화상 처리 장치.
  21. 제1항에 있어서,
    상기 화상 처리 수단은, 상기 복수의 영상 표시부 사이에서 등간격의 상기 시간차를 설정하면서, 상기 복수의 표시 영상 데이터를 상기 표시 화면 상에 표시시키는 것을 특징으로 하는 화상 처리 장치.
  22. 제17항에 있어서,
    상기 화상 처리 수단은, 상기 나선 영상 표시부군에 포함되는 상기 복수의 영상 표시부 중 표시 기준으로 되는 기준 영상 표시부에 표시되는 기준 표시 영상 데이터를, 상기 복수의 표시 영상 데이터 내에서 가장 커지도록 표시시키는 것을 특징으로 하는 화상 처리 장치.
  23. 제22항에 있어서,
    상기 화상 처리 수단은, 상기 기준 표시 영상 데이터를 제외한 상기 복수의 표시 영상 데이터를, 상기 기준 영상 표시부로부터 상기 3차원 나선 형상 상의 거리가 멀어짐에 따라서 표시 사이즈를 서서히 작게 하도록 표시시키는 것을 특징으로 하는 화상 처리 장치.
  24. 제22항에 있어서,
    상기 화상 처리 수단은, 상기 기준 표시 영상 데이터를 상기 나선 영상 표시 부군의 가장 전방측에 위치하도록 표시시키는 것을 특징으로 하는 화상 처리 장치.
  25. 제22항에 있어서,
    상기 화상 처리 수단은, 상기 기준 표시 영상 데이터를 제외한 상기 복수의 표시 영상 데이터를, 상기 기준 영상 표시부로부터 상기 3차원 나선 형상 상의 거리가 멀어짐에 따라서 해상도를 낮추도록 표시시키는 것을 특징으로 하는 화상 처리 장치.
  26. 제1항에 있어서,
    상기 화상 처리 수단은, 상기 복수의 표시 영상 데이터를, 서로 인접하는 각각의 상기 영상 표시부에서 서로 겹치는 상태에서 표시시킴과 함께, 상기 영상 표시부에서의 서로 겹치는 부분을 각각 비춰 보이게 한 상태에서 표시시키는 것을 특징으로 하는 화상 처리 장치.
  27. 제22항에 있어서,
    상기 화상 처리 수단은, 상기 기준 표시 영상 데이터를 제외한 상기 복수의 표시 영상 데이터를, 상기 기준 영상 표시부로부터 상기 3차원 나선 형상 상의 거리가 멀어짐에 따라서, 상기 복수의 영상 표시부에서의 배치 간격을 좁혀서 표시시키는 것을 특징으로 하는 화상 처리 장치.
  28. 제1항에 있어서,
    상기 화상 처리 수단은, 상기 나선 영상 표시부군에서의 상기 복수의 표시 영상 데이터를 시계열로 흐르게 하는 속도에 따라서, 상기 복수의 영상 표시부의 표시 각도를 변경하여 표시시키는 것을 특징으로 하는 화상 처리 장치.
  29. 제17항에 있어서,
    상기 화상 생성 수단은, 상기 나선 영상 표시부군에서의 상기 복수의 표시 영상 데이터를 시계열로 흐르게 하는 속도를 나타내는 속도 표시 데이터를 더 생성하고,
    상기 화상 처리 수단은, 상기 속도 표시 데이터를, 상기 표시 화면 상의 아이콘으로서 표시시키는 것을 특징으로 하는 화상 처리 장치.
  30. 영상 데이터로부터, 표시 화면 상의 복수의 영상 표시부에 대하여 각각 표시시키기 위한 복수의 표시 영상 데이터를 생성하는 화상 생성 스텝과,
    상기 영상 데이터에서의 각 화상 데이터의 변화의 정도를 나타내는 변화량에 기초하여, 그 픽쳐를 표시할 때의 표시 방법을 나타내는 표시 타입을, 픽쳐 단위 또는 GOP 단위로 결정하는 표시 타입 결정 스텝과,
    상기 표시 타입 결정 스텝에서 결정된 픽쳐 단위 또는 GOP 단위의 표시 타입을 나타내는 타입 정보에 따라서, 상기 표시 영상 데이터에 대응하는 표시 파라미터 또는 재생 파라미터를 변경하는 파라미터 변경 스텝과,
    상기 파라미터 변경 스텝에서 변경된 표시 파라미터 또는 재생 파라미터를 이용하여, 상기 표시 영상 데이터를, 표시순으로 시간차를 설정하면서 동화상의 상태에서 상기 표시 화면 상에 표시시키는 화상 처리 스텝
    를 구비하는 것을 특징으로 하는 화상 처리 방법.
KR1020077026395A 2006-03-14 2007-03-14 화상 처리 장치 및 화상 처리 방법 Ceased KR20080101644A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00070055 2006-03-14
JP2006070055 2006-03-14

Publications (1)

Publication Number Publication Date
KR20080101644A true KR20080101644A (ko) 2008-11-21

Family

ID=38541126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077026395A Ceased KR20080101644A (ko) 2006-03-14 2007-03-14 화상 처리 장치 및 화상 처리 방법

Country Status (7)

Country Link
US (1) US8627206B2 (ko)
EP (1) EP1995961A4 (ko)
JP (1) JPWO2007111206A1 (ko)
KR (1) KR20080101644A (ko)
CN (1) CN101326821B (ko)
TW (1) TW200803480A (ko)
WO (1) WO2007111206A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571862B2 (en) 2012-08-21 2017-02-14 Huawei Technologies Co., Ltd. Frame type detection and frame size detection methods and apparatuses for video stream
KR20210118437A (ko) * 2019-01-25 2021-09-30 구글 엘엘씨 모션을 선택적으로 묘사한 이미지 디스플레이

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727342B2 (ja) * 2004-09-15 2011-07-20 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
US8717423B2 (en) * 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
US7996772B2 (en) * 2006-07-06 2011-08-09 Samsung Electronics Co., Ltd. Apparatus, method, and medium for providing guideline for arranging images with story
JP5115150B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
DE102008028023A1 (de) * 2008-06-12 2009-12-17 Siemens Aktiengesellschaft Verfahren zur Darstellung mehrerer Bilddatensätze und Benutzerinterface zur Darstellung mehrerer Bilddatensätze
US9113124B2 (en) * 2009-04-13 2015-08-18 Linkedin Corporation Method and system for still image capture from video footage
KR101451999B1 (ko) * 2009-07-28 2014-10-21 삼성전자주식회사 데이터 스크롤 방법 및 장치
GB2477120A (en) * 2010-01-22 2011-07-27 Icescreen Ehf Media editing using poly-dimensional display of sequential image frames
CN102145228B (zh) * 2010-02-05 2015-04-29 Pc概念有限公司 使用视频录像构建交互式视频游戏的方法和装置
KR101647044B1 (ko) * 2010-02-11 2016-08-09 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
JP2011228918A (ja) * 2010-04-20 2011-11-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5743047B2 (ja) * 2010-05-17 2015-07-01 セイコーエプソン株式会社 表示装置および表示方法
US8698827B2 (en) * 2010-06-03 2014-04-15 Panasonic Corporation Display control apparatus, display control method, non-transitory computer readable recording medium and integrated circuit
JP5638896B2 (ja) * 2010-09-21 2014-12-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
CN102419996A (zh) * 2010-09-27 2012-04-18 富泰华工业（深圳）有限公司 视频播放装置及其播放控制方法
US8870751B2 (en) 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
US9171350B2 (en) * 2010-10-28 2015-10-27 Nvidia Corporation Adaptive resolution DGPU rendering to provide constant framerate with free IGPU scale up
USD686219S1 (en) * 2010-12-30 2013-07-16 Samsung Electronics Co., Ltd. Mobile terminal with a graphic user interface
USD659707S1 (en) * 2011-01-04 2012-05-15 Microsoft Corporation Display screen with graphical user interface
US8479110B2 (en) * 2011-03-20 2013-07-02 William J. Johnson System and method for summoning user interface objects
JP1453046S (ko) * 2011-04-22 2015-10-13
US20120287115A1 (en) * 2011-05-10 2012-11-15 Ding Junjie Method for generating image frames
CN102270095A (zh) * 2011-06-30 2011-12-07 威盛电子股份有限公司 多重显示器控制方法及其系统
US9223582B2 (en) * 2011-09-12 2015-12-29 Sap Se User interface description language
US9563966B2 (en) 2011-12-23 2017-02-07 Nokia Technologies Oy Image control method for defining images for waypoints along a trajectory
EP2815400A1 (en) * 2012-02-15 2014-12-24 Thomson Licensing User interface for depictive video editing
GB2502957B (en) * 2012-06-08 2014-09-24 Samsung Electronics Co Ltd Portable apparatus with a GUI
USD716314S1 (en) * 2012-08-22 2014-10-28 Microsoft Corporation Display screen with graphical user interface
US9257090B2 (en) * 2012-10-04 2016-02-09 Spirority, Inc. Graphical display of content on a display device in a spiral pattern
JP6012384B2 (ja) * 2012-10-04 2016-10-25 キヤノン株式会社 動画再生装置、表示制御方法、プログラム及び記憶媒体
USD744509S1 (en) * 2012-11-30 2015-12-01 Axell Corporation Display screen with graphical user interface
USD754687S1 (en) * 2012-11-30 2016-04-26 Axell Corporation Display screen with graphical user interface
TW201424380A (zh) * 2012-12-07 2014-06-16 Ind Tech Res Inst 影像與訊息編碼系統、編碼方法、解碼系統及解碼方法
USD752635S1 (en) * 2013-12-23 2016-03-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD751600S1 (en) * 2013-12-23 2016-03-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10715577B2 (en) * 2014-09-09 2020-07-14 Vmware, Inc. Virtual desktop encoding based on user input behavior
US10542233B2 (en) * 2014-10-22 2020-01-21 Genetec Inc. System to dispatch video decoding to dedicated hardware resources
USD805538S1 (en) * 2014-12-18 2017-12-19 Seagate Technology Llc Display screen or portion thereof with animated graphical user interface
CN104540028B (zh) * 2014-12-24 2018-04-20 上海影卓信息科技有限公司 一种基于移动平台的视频美化交互体验系统
JP6063971B2 (ja) * 2015-01-29 2017-01-18 京セラドキュメントソリューションズ株式会社 画像処理装置
USD797134S1 (en) * 2015-08-05 2017-09-12 Lg Electronics Inc. Cellular phone with graphical user interface
CN105262957B (zh) * 2015-09-23 2018-10-02 新奥特（北京）视频技术有限公司 视频图像的处理方法和装置
US10148983B2 (en) * 2015-09-25 2018-12-04 Qualcomm Incorporated Methods and systems of improved video stream switching and random access
TWI596542B (zh) * 2015-11-18 2017-08-21 Univ Chang Gung Image display method
JP1568511S (ko) * 2016-01-25 2020-01-20
GB2549723A (en) * 2016-04-26 2017-11-01 Nokia Technologies Oy A system and method for video editing in a virtual reality enviroment
CN105915673B (zh) * 2016-05-31 2019-04-02 努比亚技术有限公司 一种视频特效切换的方法和移动终端
CN107015788B (zh) * 2016-10-19 2020-10-30 创新先进技术有限公司 在移动设备上动画展现图像的方法和装置
CN106534840B (zh) * 2016-10-31 2018-10-26 青岛海信电器股份有限公司 视频信号的检测方法和装置
CN106529491B (zh) * 2016-11-16 2019-06-04 广州视源电子科技股份有限公司 一种根据物体特征动态调整展台摄像头参数的方法及系统
CN108259315A (zh) * 2017-01-16 2018-07-06 广州市动景计算机科技有限公司 在线图片分享方法、设备、客户端及电子设备
CN107633792B (zh) * 2017-08-31 2023-07-21 北京集创北方科技股份有限公司 一种显示设备和显示控制方法
CN108966005B (zh) * 2018-07-10 2021-04-27 南阳师范学院 一种视频分辨率的调节方法、装置、存储介质及终端
CN109032471B (zh) * 2018-07-24 2021-11-05 深圳微盐传媒科技有限公司 信息展示方法和相关装置
CN108846996B (zh) * 2018-08-06 2020-01-24 浙江理工大学 一种摔倒侦测系统及方法
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system
JP7381615B2 (ja) * 2019-06-25 2023-11-15 オッポ広東移動通信有限公司 動き補償処理方法、エンコーダ、デコーダ、記憶媒体
US12356107B2 (en) 2019-08-09 2025-07-08 Beijing Bytedance Network Technology Co., Ltd. Image special effect processing method and apparatus, and electronic device and computer readable storage medium
CN112348748B (zh) * 2019-08-09 2024-07-26 北京字节跳动网络技术有限公司 图像特效处理方法、装置、电子设备和计算机可读存储介质
EP4134913A4 (en) * 2020-04-23 2023-03-29 Huawei Technologies Co., Ltd. IMAGE CODING AND DECODING METHOD AND APPARATUS
JP7314859B2 (ja) * 2020-04-30 2023-07-26 株式会社島津製作所 分析支援装置、分析支援方法および分析支援プログラム
JP7415783B2 (ja) 2020-05-12 2024-01-17 株式会社島津製作所 分析支援装置、分析支援方法および分析支援プログラム
JP7551779B2 (ja) * 2020-05-26 2024-09-17 ドルビー ラボラトリーズ ライセンシング コーポレイション 可変フレームレートビデオのためのピクチャメタデータ
JP7206235B2 (ja) * 2020-06-18 2023-01-17 Ｔｖｓ Ｒｅｇｚａ株式会社 放送受信装置、及び表示システム
US11729318B2 (en) * 2020-11-18 2023-08-15 Micron Technology, Inc. Directing communication of data from an image sensor

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646366A (ja) * 1992-07-24 1994-02-18 Victor Co Of Japan Ltd 放送受信記録再生装置
US6154601A (en) 1996-04-12 2000-11-28 Hitachi Denshi Kabushiki Kaisha Method for editing image information with aid of computer and editing system
JP3847915B2 (ja) 1997-09-10 2006-11-22 キヤノン株式会社 情報処理方法及び装置
US5977974A (en) 1996-09-17 1999-11-02 Canon Kabushiki Kaisha Information processing apparatus and method
US6577807B1 (en) 1996-11-15 2003-06-10 Hitachi Denshi Kabushiki Kaisha Editing method and apparatus for moving pictures
USRE38401E1 (en) * 1997-01-16 2004-01-27 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6025833A (en) * 1997-04-08 2000-02-15 Hewlett-Packard Company Method and apparatus for varying the incremental movement of a marker on an electronic display
JPH1165802A (ja) 1997-08-20 1999-03-09 Fujitsu Ltd コンテンツ表示方法及びコンテンツ表示装置
JPH11112872A (ja) * 1997-10-03 1999-04-23 Matsushita Electric Ind Co Ltd 映像入力装置
KR100303727B1 (ko) 1998-04-28 2001-09-24 구자홍 동영상의적응적디스플레이속도자동조절장치와방법
JP3537335B2 (ja) * 1998-11-30 2004-06-14 松下電器産業株式会社 映像記録方法および装置
US7607150B1 (en) 1998-11-30 2009-10-20 Sony Corporation Information providing device and method
JP2000253337A (ja) * 1999-02-24 2000-09-14 Sony Corp 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体
JP4051648B2 (ja) 1999-02-25 2008-02-27 ソニー株式会社 編集装置及び編集方法
US6788878B1 (en) 1999-05-28 2004-09-07 Canon Kabushiki Kaisha Reproducing apparatus
JP2001078123A (ja) * 1999-09-06 2001-03-23 Toshiba Corp データ再生装置及びデータ再生方法
JP4325075B2 (ja) * 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
JP2001306579A (ja) * 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4431918B2 (ja) 2000-05-01 2010-03-17 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2002074322A (ja) 2000-08-31 2002-03-15 Sony Corp 情報処理装置及び情報処理方法並びにデータ記録媒体
JP4516682B2 (ja) 2000-10-06 2010-08-04 富士通株式会社 映像記録再生装置
US6931595B2 (en) 2000-11-02 2005-08-16 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6819344B2 (en) * 2001-03-12 2004-11-16 Microsoft Corporation Visualization of multi-dimensional data having an unbounded dimension
US20030156824A1 (en) 2002-02-21 2003-08-21 Koninklijke Philips Electronics N.V. Simultaneous viewing of time divided segments of a tv program
US7734144B2 (en) * 2002-10-30 2010-06-08 Koninklijke Philips Electronics N.V. Method and apparatus for editing source video to provide video image stabilization
US7139006B2 (en) 2003-02-04 2006-11-21 Mitsubishi Electric Research Laboratories, Inc System and method for presenting and browsing images serially
JP4066454B2 (ja) * 2003-03-05 2008-03-26 日本電気株式会社 オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
US7522174B2 (en) * 2003-06-30 2009-04-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program for implementing image processing method, and recording medium recording program
US20070120856A1 (en) 2003-10-31 2007-05-31 Koninklijke Philips Electronics. N.V. Method and system for organizing content on a time axis
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
JP4123382B2 (ja) * 2004-07-12 2008-07-23 ソニー株式会社 電子機器、電子機器における表示制御方法およびグラフィカル・ユーザ・インターフェース
TW200616782A (en) 2004-07-12 2006-06-01 Sumitomo Chemical Co Method for producing thermoplastic resin laminated sheet
US7434155B2 (en) * 2005-04-04 2008-10-07 Leitch Technology, Inc. Icon bar display for video editing system
JP4232114B2 (ja) 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571862B2 (en) 2012-08-21 2017-02-14 Huawei Technologies Co., Ltd. Frame type detection and frame size detection methods and apparatuses for video stream
KR20210118437A (ko) * 2019-01-25 2021-09-30 구글 엘엘씨 모션을 선택적으로 묘사한 이미지 디스플레이

Also Published As

Publication number Publication date
TW200803480A (en) 2008-01-01
TWI353781B (ko) 2011-12-01
CN101326821A (zh) 2008-12-17
US8627206B2 (en) 2014-01-07
WO2007111206A1 (ja) 2007-10-04
EP1995961A4 (en) 2012-08-15
CN101326821B (zh) 2011-05-25
JPWO2007111206A1 (ja) 2009-08-13
EP1995961A1 (en) 2008-11-26
US20100013757A1 (en) 2010-01-21

Similar Documents

Publication Publication Date Title
KR20080101644A (ko) 화상 처리 장치 및 화상 처리 방법
US8411735B2 (en) Data processing apparatus, data processing method, and program
CN100588227C (zh) 数据处理设备、数据处理方法和程序
JP4727342B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP5205393B2 (ja) ビデオファイルを素早く理解できるようにするビデオ・セグメントの同時提示
JP5421627B2 (ja) 映像データ表示装置及びその方法
WO2007126096A1 (ja) 画像処理装置及び画像処理方法
WO2007126097A1 (ja) 画像処理装置及び画像処理方法
KR20080100434A (ko) 콘텐츠 액세스 트리
JP2009004999A (ja) 映像データ管理装置
KR100313713B1 (ko) 화소샘플링을이용한시각율동생성방법
JP5224484B2 (ja) 映像および音声データの符号化装置とその符号化方法、および、ビデオ編集システム
JP2007250048A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP2000516006A (ja) 複数のキーフレームを並列に表示することによりビデオ内容を案内する方法及び装置
US20110150413A1 (en) Moving picture recording/reproducing apparatus and method
US20090297119A1 (en) Information recording and reproducing apparatus
JP4613851B2 (ja) データ処理装置およびデータ処理方法、並びにプログラム
JP2006115469A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP2006115468A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JPH08130698A (ja) 画像表示装置
JP2011103123A (ja) 映像情報再生装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20071113

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120312

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130624

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20130830

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130624

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I