KR102862843B1

KR102862843B1 - Method of Real Time Writing for MP4 Container

Info

Publication number: KR102862843B1
Application number: KR1020220176539A
Authority: KR
Inventors: 이재민
Original assignee: 주식회사 가비노
Priority date: 2022-12-16
Filing date: 2022-12-16
Publication date: 2025-09-22
Anticipated expiration: 2042-12-16
Also published as: KR20240094348A

Abstract

본 발명은, CDR의 비휘발성 메모리에 보관되는 MP4 파일인 보관 MP4 파일을 바로 생성하는 MP4 컨테이너의 실시간 기록방법으로서, stsz box, stco box 및 stss box에 각각 특정값을 라이팅하는 것을 포함하여 상기 보관 MP4 파일에서 moov box의 전체 구성요소를 라이팅하며, 이에 따라 상기 보관 MP4 파일에서 상기 moov box의 위치 및 크기를 확정하는 제 1 단계; 상기 보관 MP4 파일의 mdat box에 MP4 표준에 따라 생성되는 영상 데이터를 실시간 라이팅하는 것과 함께, stsz box, stco box 및 stss box에서 상기 특정값 대신에 상기 실시간 라이팅되는 영상 데이터에 대응하는 stsz 값, stco 값 및 stss 값으로 실시간 수정하는 제 2 단계;를 포하는 것을 특징으로 한다.The present invention relates to a real-time recording method of an MP4 container that directly creates an archive MP4 file, which is an MP4 file stored in a non-volatile memory of a CDR, and is characterized by comprising: a first step of writing all components of a moov box in the archive MP4 file, including writing specific values in each of an stsz box, an stco box, and an stss box, thereby determining the position and size of the moov box in the archive MP4 file; a second step of real-time writing video data generated according to the MP4 standard in an mdat box of the archive MP4 file, and real-time modifying an stsz value, an stco value, and an stss value corresponding to the real-time written video data instead of the specific values in the stsz box, the stco box, and the stss box.

Description

Real-Time Writing Method for MP4 Containers

본 발명은 CDR에서 임시저장하는 등의 과정없이 MP4 컨테이너에 따른 파일을 비휘발성 메모리의 보관 영역에 실시간 기록하는 방법에 관한 것이다.The present invention relates to a method for recording a file according to an MP4 container in a storage area of a non-volatile memory in real time without a process such as temporary storage in a CDR.

차량용 블랙박스는, 보통 카메라, 녹화장치 및 충격감지센서를 가지며, 언어권에 따라 Dashboard Camera, Dashcam, Drive Recorder 또는 Car DVR(Digital Video Recorder)이라고 하는데, 이하 'CDR'이라고 지칭한다.A black box for a car usually has a camera, recording device, and shock sensor, and is called a Dashboard Camera, Dashcam, Drive Recorder, or Car DVR (Digital Video Recorder) depending on the language, but is referred to as 'CDR' hereafter.

CDR에서는 여러가지 여건상 AVI 컨테이너(Container)가 주로 이용되었으며, MP4 컨테이너를 적용하는 것은 여러가지 요인으로 인해 어려움을 겪었다. 특히 CDR의 경우 영상 데이터가 Encoder(H.264/H.265등)로 압축되어 있기 때문에, frame별 size는 영상의 위치 또는 Encoder의 설정 등에 따라 변경된다. MP4 컨테이너에서 mdat의 사이즈는 영상의 녹화 방법에 따라 가변되고 stsz 및 stco 등의 값이 가변되며 mdat box 및 moov box는 서로 연속하여 배치되므로, 양자의 모두를 바로 실시간 기록하는 것이 어렵다.In CDR, AVI containers were mainly used due to various circumstances, and applying MP4 containers was difficult due to various factors. In particular, in the case of CDR, since video data is compressed by an encoder (such as H.264/H.265), the size of each frame changes depending on the video location or encoder settings. In the MP4 container, the size of mdat varies depending on the video recording method, and values such as stsz and stco vary. In addition, the mdat box and moov box are arranged consecutively, making it difficult to record both of them in real time.

따라서 기존 차량용 CDR의 경우 stss box, stsz box, stco box 등을 temp파일로 저장하며, 파일이 마무리될 때에 해당 파일이 합쳐지는 방식으로 만드는 것이 보편적으로 사용하는 방식이다. 또는 DRAM의 일정 공간에 저장을 하고 있다가 파일이 마무리될 때에 해당 파일에 추가하는 방식으로 만들어지기도 한다. 이에 따라 사고로 전원공급이 중단되었을 때 차량용 CDR이 SD 카드에 기록되는 정식 MP4 파일로 마무리할 수 없거나, 마무리할 잠시 동안의 전원을 확보하기 위하여 Supercap 등을 추가하여야 하므로, 제조에 추가적인 비용이 발생하고 있다. 더욱이 CDR의 파손 또는 SD 카드의 탈거 등으로 인해서 정식 MP4 파일로 마무리할 수 없는 상황도 발생하게 되는 문제가 있다.Therefore, in the case of existing vehicle CDRs, the stss box, stsz box, stco box, etc. are saved as temp files, and the files are generally combined when the file is finalized. Alternatively, they are created by storing them in a certain space of DRAM and adding them to the file when the file is finalized. Accordingly, in the event of a power outage due to an accident, the vehicle CDR may not be able to finalize into a formal MP4 file recorded on the SD card, or Supercap must be added to secure power for a short period of time during finalization, which incurs additional manufacturing costs. Furthermore, there is a problem that a situation may arise where the formal MP4 file cannot be finalized due to damage to the CDR or removal of the SD card.

파일을 만들 때의 또 다른 문제점은 avi 파일과는 다르게 mdat의 각 frame별로 구분 할 수 있지 않아 파일이 손상이 되었을 때 복구에 많은 어려움이 있다. mdat box의 크기에 따라 frame별로 data를 잘라 낼 수는 있지만 해당 data가 영상인지 음성인지, 여러 채널의 영상이 들어올 때에는 어디에 위치한 영상인지 구분하기가 힘들어진다.Another issue when creating files is that, unlike AVI files, each frame in an MDAT file cannot be distinguished, making recovery difficult if the file is damaged. While data can be truncated frame by frame based on the size of the MDAT box, it becomes difficult to distinguish whether the data is video or audio, and where the video is located when multiple channels are input.

이와 같이 MP4 컨테이너의 적용에 있어서 여러가지 문제가 있어서, 다수의 CDR 제조사들은 MP4를 포기하고 AVI를 선택하였는데, 최근 스마트폰의 보급으로 사용자들은 CDR의 기록내용을 스마트폰으로 재생할 수 있기를 원하지만, 스마트폰의 특성상 AVI파일 보다는 MP4파일에 보다 큰 유연성을 가진다. 따라서 AVI를 선택한 많은 제조사들은 스마트폰과 CDR의 연결에 어려움을 겪고 있는 실정이다.Due to various issues with the MP4 container, many CDR manufacturers have abandoned MP4 in favor of AVI. However, with the recent proliferation of smartphones, users want to be able to play CDR recordings on their smartphones. However, due to the nature of smartphones, MP4 files offer greater flexibility than AVI files. Consequently, many manufacturers who have chosen AVI are experiencing difficulties connecting smartphones and CDRs.

본 발명의 목적은 임시저장 후 합치는 과정을 거칠 필요없이 CDR의 비휘발성메모리에 정식의 MP4 파일을 바로 기록할 수 있는 MP4 컨테이너의 실시간 기록방법을 제공하기 위한 것이다.The purpose of the present invention is to provide a real-time recording method of an MP4 container that can directly record a formal MP4 file in the non-volatile memory of a CDR without having to go through a process of merging after temporary storage.

본 발명은, CDR의 비휘발성 메모리에 보관되는 MP4 파일인 보관 MP4 파일을 생성하는 MP4 컨테이너의 실시간 기록방법으로서, stsz box, stco box 및 stss box에 각각 특정값을 라이팅하는 것을 포함하여 상기 보관 MP4 파일에서 moov box의 전체 구성요소를 라이팅하며, 이에 따라 상기 보관 MP4 파일에서 상기 moov box의 위치 및 크기를 확정하는 제 1 단계; 상기 보관 MP4 파일의 mdat box에 MP4 표준에 따라 생성되는 영상 데이터를 실시간 라이팅하는 것과 함께, stsz box, stco box 및 stss box에서 상기 특정값 대신에 상기 실시간 라이팅되는 영상 데이터에 대응하는 stsz 값, stco 값 및 stss 값으로 실시간 수정하는 제 2 단계;를 포하는 것을 특징으로 한다.The present invention provides a real-time recording method of an MP4 container for generating an archive MP4 file, which is an MP4 file stored in a non-volatile memory of a CDR, comprising: a first step of writing all components of a moov box in the archive MP4 file, including writing specific values in each of an stsz box, an stco box, and an stss box, thereby determining the position and size of the moov box in the archive MP4 file; a second step of real-time writing video data generated according to the MP4 standard in an mdat box of the archive MP4 file, and modifying in real time a stsz value, an stco value, and an stss value corresponding to the real-time written video data instead of the specific values in the stsz box, the stco box, and the stss box.

상기한 MP4 컨테이너의 실시간 기록방법에 있어서, 상기한 stsz box에 특정값을 라이팅하는 것은, 미리 정해진 샘플갯수 만큼 상기 특정값으로서 0x00을 라이팅하는 것을 포함하며, 상기 보관 MP4 파일에 대한 재생시, 상기 stsz box에서 0x00으로 기록된 샘플인 경우 샘플 사이즈가 0이 되어 참조하지 않는 샘플이 되도록 할 수 있다.In the real-time recording method of the above-described MP4 container, writing a specific value in the above-described stsz box includes writing 0x00 as the specific value for a predetermined number of samples, and when playing back the stored MP4 file, if the sample is recorded as 0x00 in the above-described stsz box, the sample size becomes 0, so that it becomes an unreferenced sample.

상기한 MP4 컨테이너의 실시간 기록방법에 있어서, 상기 제 2 단계에서는, 상기 mdat box에 단일의 샘플이 실시간 라이팅될 때마다, 상기 stsz box의 0x00을 수정하되, 상기 실시간 라이팅되는 샘플의 샘프 사이즈가 라이팅되도록 할 수 있다.In the above-described real-time recording method of the MP4 container, in the second step, whenever a single sample is written in real time to the mdat box, 0x00 of the stsz box may be modified so that the sample size of the sample written in real time is written.

상기한 MP4 컨테이너의 실시간 기록방법에 있어서, 상기한 stco box에 특정값을 라이팅하는 것은, 미리 정해진 청크갯수 만큼 상기 특정값으로서 0x00을 라이팅하는 것을 포함하며, 상기 보관 MP4 파일에 대한 재생시, 상기 stco box에서 0x00으로 기록된 청크인 경우 offset이 0이 되어 참조하지 않는 청크가 되도록 할 수 있다.In the real-time recording method of the above-described MP4 container, writing a specific value in the above-described stco box includes writing 0x00 as the specific value for a predetermined number of chunks, and when playing back the above-described stored MP4 file, if it is a chunk written as 0x00 in the stco box, the offset becomes 0 so that it becomes an unreferenced chunk.

상기한 MP4 컨테이너의 실시간 기록방법에 있어서, 상기 제 2 단계에서는, 상기 mdat box에 단일의 청크가 실시간 라이팅될 때마다, 상기 stco box의 0x00을 수정하되, 상기 실시간 라이팅되는 청크의 청크 오프셋이 라이팅되도록 할 수 있다.In the above-described real-time recording method of the MP4 container, in the second step, whenever a single chunk is written in real time to the mdat box, 0x00 of the stco box may be modified so that the chunk offset of the chunk written in real time is written.

상기한 MP4 컨테이너의 실시간 기록방법에 있어서, 상기한 stss box에 특정값을 라이팅하는 것은, 미리 정해진 키 프레임의 갯수 만큼 상기 특정값으로서 0x00을 라이팅하는 것을 포함하며, 상기 보관 MP4 파일에 대한 재생시, 상기 stss box에 0x00으로 기록된 경우 key frame이 0이 되어 참조되지 않는 frame이 되도록 할 수 있다.In the real-time recording method of the above-described MP4 container, writing a specific value in the above-described stss box includes writing 0x00 as the specific value as many times as the number of predetermined key frames, and when playing back the above-described stored MP4 file, if 0x00 is written in the stss box, the key frame becomes 0 and becomes an unreferenced frame.

상기한 MP4 컨테이너의 실시간 기록방법에 있어서, 상기 제 2 단계에서는, 상기 mdat box에 키프레임이 되는 샘플이 실시간 라이팅될 때마다, 상기 stss box의 0x00을 수정하되, 상기 실시간 라이팅되는 샘플의 샘플 번호가 라이팅되도록 할 수 있다.In the above-described real-time recording method of the MP4 container, in the second step, whenever a sample that becomes a key frame in the mdat box is written in real time, 0x00 of the stss box may be modified so that the sample number of the sample written in real time is written.

상기한 MP4 컨테이너의 실시간 기록방법에 있어서, 상기 moov box의 뒤에 상기 mdat box를 배치할 수 있다.In the real-time recording method of the above-mentioned MP4 container, the mdat box can be placed behind the moov box.

본 발명의 일 양상에 따른 MP4 컨테이너의 실시간 기록방법에 따르면, 임시저장후 합치는 과정을 거칠 필요없이 CDR의 비휘발성메모리에 보관용 정식의 MP4 파일을 바로 기록할 수 있도록 하는 장점이 있다.According to a real-time recording method of an MP4 container according to one aspect of the present invention, there is an advantage in that a formal MP4 file for storage can be recorded directly in the non-volatile memory of a CDR without having to go through a process of merging after temporary storage.

또한 본 발명의 일 양상에 따른 MP4 컨테이너의 실시간 기록방법에 따르면, 기록 중단된 경우에도 범용의 MP4 플레이어에서 기록 중단 위치까지의 영상을 무난하게 재생할 수 있도록 하는 장점이 있다.In addition, according to the real-time recording method of an MP4 container according to one aspect of the present invention, there is an advantage in that even if recording is interrupted, a video up to the recording interruption point can be played without a problem in a general-purpose MP4 player.

또한, 본 발명의 일 양상에 따른 MP4 컨테이너의 실시간 기록방법에 따르면, 전원공급 중단이나 CDR의 파손 또는 비휘발성 메모리의 탈거 등 어떠한 사정이 발생해도 영상 기록의 중단 위치까지 정식 MP4 파일이 기록되어 있도록 하고 재생시 범용 MP4 플레이어에서 무난하게 재생토록 할 수 있는 장점이 있다.In addition, according to the real-time recording method of an MP4 container according to one aspect of the present invention, even if any circumstances such as a power failure, damage to a CDR, or removal of a non-volatile memory occur, there is an advantage in that an official MP4 file is recorded up to the point where video recording was interrupted, and can be played back without a problem on a general MP4 player.

또한, 본 발명의 일 양상에 따른 MP4 컨테이너의 실시간 기록방법에 따르면, Supercap 등의 추가에 따른 비용추가없이도 영상의 소실을 방지하면서 기록하는 것이 가능하며, AVI 컨테이너 대신 MP4 컨테이너의 채용에 따른 문제를 해결할 수 있어서, CDR의 기록내용을 스마트폰으로 보다 용이하게 재생가능한 MP4 컨테이너를 안정적으로 적용할 수 있는 장점이 있다.In addition, according to the real-time recording method of an MP4 container according to one aspect of the present invention, it is possible to record while preventing loss of video without additional costs due to addition of Supercap, etc., and the problem of adopting an MP4 container instead of an AVI container can be solved, so there is an advantage in that the recorded contents of CDR can be stably applied to an MP4 container that can be more easily played back on a smartphone.

도 1은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법을 도시한 플로우차트이다.
도 2는 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 stsz box의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.
도 3은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 stco box의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.
도 4는 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 stss box의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.
도 5는 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 11개의 샘플이 실시간 라이팅된 경우 stsz의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.
도 6은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 11개의 청크가 실시간 라이팅된 경우 stco의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.
도 7은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 1개의 키프레임이 실시간 라이팅된 경우 stss의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.FIG. 1 is a flowchart illustrating a real-time recording method of an MP4 container according to one embodiment of the present invention.
FIG. 2 is a capture of a viewer display screen showing the contents of an stsz box in an MP4 file generated according to a real-time recording method of an MP4 container according to one embodiment of the present invention.
FIG. 3 is a capture of a viewer display screen showing the contents of a stco box in an MP4 file generated according to a real-time recording method of an MP4 container according to one embodiment of the present invention.
FIG. 4 is a capture of a viewer display screen showing the contents of an stss box in an MP4 file generated according to a real-time recording method of an MP4 container according to one embodiment of the present invention.
FIG. 5 is a capture of a viewer display screen showing the contents of stsz when 11 samples are written in real time in an MP4 file generated according to a real-time recording method of an MP4 container according to one embodiment of the present invention.
FIG. 6 is a capture of a viewer display screen showing the contents of stco when 11 chunks are written in real time in an MP4 file generated according to a real-time recording method of an MP4 container according to one embodiment of the present invention.
FIG. 7 is a capture of a viewer display screen showing the contents of stss when one keyframe is written in real time in an MP4 file generated according to a real-time recording method of an MP4 container according to one embodiment of the present invention.

도 1은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법을 도시한 플로우차트이다.FIG. 1 is a flowchart illustrating a real-time recording method of an MP4 container according to one embodiment of the present invention.

본 발명의 일 실시예에 따르면 CDR에서 SD카드와 같은 비휘발성 메모리에 보관되는 MP4 파일인 '보관 MP4 파일'을 직접 생성하는 것을 특징으로 한다. '보관 MP4 파일'은 temp 파일 형태로 DRAM이나 비휘발성 메모리에 임시 저장되는 파일과 구분하기 위한 명칭으로서, CDR이 생성하여 비휘발성 메모리에 저장하는(보관하는), MP4 표준에 따른 MP4 파일을 말한다. 본 발명에 따르면 임시저장하여 합치는 과정과 같은 것을 거칠 필요없이 CDR의 비휘발성메모리에 보관용 MP4 파일을 바로 기록할 수 있도록 한다.According to one embodiment of the present invention, a CDR directly creates an 'archive MP4 file', which is an MP4 file stored in a non-volatile memory such as an SD card. The 'archive MP4 file' is a name to distinguish it from a file temporarily stored in a DRAM or non-volatile memory in the form of a temp file, and refers to an MP4 file according to the MP4 standard that is generated by the CDR and stored (stored) in a non-volatile memory. According to the present invention, an archiving MP4 file can be directly recorded in the non-volatile memory of the CDR without having to go through a process such as a process of temporarily storing and merging.

후술하는 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법은 CDR에 의해서 실행되며, 따라서 CDR의 프로세서에서 실행되는 소프트웨어 코드로 구현될 수 있다.The real-time recording method of an MP4 container according to an embodiment of the present invention described below is executed by a CDR, and therefore can be implemented as software code executed in a processor of the CDR.

먼저 보관 MP4파일에 moov box를 라이팅(writing)한다(미리 라이팅되는 부분도 있어서 이하 '프리 라이팅'(pre-writing)이라고도 한다)(S10). 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에서는 moov box의 뒤에 mdat box를 배치하는 것(mdat box의 앞에 moov box가 배치되는 것)이 선호된다.First, a moov box is written to the stored MP4 file (some parts are written in advance, so this is also referred to as "pre-writing" below) (S10). In a real-time recording method for an MP4 container according to an embodiment of the present invention, it is preferred to place the mdat box after the moov box (the moov box is placed in front of the mdat box).

프리 라이팅시에 정확한 값이 정해져 있는 것은 바로 해당값을 라이팅하되, 전술할 것처럼 stsz box, stco box 및 stss box의 크기 및 값은 미리 정해질 수 없음에도 불구하고 각각 특정값(zero)을 일괄적으로 라이팅한다.When a precise value is determined during free writing, the corresponding value is written, but as mentioned above, even though the size and value of the stsz box, stco box, and stss box cannot be determined in advance, a specific value (zero) is written in bulk for each.

stbl box에 포함되는 stts 및 stsc 등의 값은 프리 라이팅시에 정확한 값이 라이팅될 수 있다. 영상이 단일 MP4 파일에 영상이 녹화될 수 있는 최대 프레임수(예를 들어, 일반적인 차량용 CDR이 1분 녹화를 기준으로 하고 있으므로, 30fps의 영상을 녹화 한다면 30 * 60 = 1800 으로 하거나, 여유를 두고 이보다 큰 9000 등으로 할 수 있다)를 정했으며, 이를 기초로 sample count를 해당 최대 프레임수로 잡는다. 일 실시예에 따르면 sample per chunk(stsc값)는 1로 하며 청크와 샘플의 갯수는 동일하다.The values such as stts and stsc included in the stbl box can be written to the exact values during pre-writing. The maximum number of frames that the video can record in a single MP4 file is set (for example, since a general automotive CDR is based on 1 minute of recording, if recording a 30fps video, it can be 30 * 60 = 1800, or a larger number such as 9000 with some margin), and the sample count is set to the maximum number of frames based on this. In one embodiment, the sample per chunk (stsc value) is 1, and the number of chunks and samples is the same.

stsz box에 기록되는 stsz 값은 모두 동일한 특정값으로 라이팅되는데 미리 정해진 샘플갯수(sample count) 만큼 상기 특정값으로서 0x00(zero)을 프리 라이팅한다. 특정값 0x00는 4 Byte를 차지하는 zero이고 샘플갯수(sample count) 만큼 반복해서 라이팅된다. 특정값으로서 0x00(zero)를 라이팅하는 것은 큰 장점을 가지는데 이에 대해서는 후술한다. 도 2는 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 stsz box의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.All stsz values recorded in the stsz box are written with the same specific value, and 0x00 (zero) is pre-written as the specific value as many as a predetermined number of samples (sample count). The specific value 0x00 is zero, which occupies 4 bytes, and is written repeatedly as many as the number of samples (sample count). Writing 0x00 (zero) as the specific value has a great advantage, which will be described later. Fig. 2 is a capture of the display screen of the viewer showing the contents of the stsz box in an MP4 file created according to a real-time recording method of an MP4 container according to an embodiment of the present invention.

stco box에 기록되는 stco 값은 모두 동일한 특정값으로 라이팅되는데 미리 정해진 청크갯수(chunk count) 만큼 상기 특정값으로서 0x00(zero)을 프리 라이팅한다. 일 실시예에 따르면 sample per chunk(stsc값)는 1이고 샘플갯수와 청크갯수는 동일하다. 특정값 0x00는 4 Byte를 차지하는 zero이고 청크갯수(chunk count) 만큼 반복해서 라이팅된다. 특정값으로서 0x00(zero)를 라이팅하는 것은 큰 장점을 가지는데 이에 대해서는 후술한다. 도 3은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 stco box의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.All stco values recorded in the stco box are written with the same specific value, and 0x00 (zero) is pre-written as the specific value as many as a predetermined chunk count. According to one embodiment, sample per chunk (stsc value) is 1, and the number of samples and the number of chunks are the same. The specific value 0x00 is zero, which occupies 4 bytes, and is written repeatedly as many as the number of chunks. Writing 0x00 (zero) as the specific value has a great advantage, which will be described later. Fig. 3 is a capture of a display screen of a viewer showing the contents of a stco box in an MP4 file generated according to a real-time recording method of an MP4 container according to one embodiment of the present invention.

stss box에 기록되는 stss 값은 모두 동일한 특정값으로 라이팅되는데 미리 정해진 키 프레임(key frame)의 갯수 만큼 특정값으로서 0x00(zero)을 프리 라이팅한다. 일 예에 따르면 30 프레임당 하나의 키프레임을 구성한다. 특정값 0x00는 4 Byte를 차지하는 zero이고 키 프레임의 갯수 만큼 반복해서 라이팅된다. 특정값으로서 0x00(zero)를 라이팅하는 것은 큰 장점을 가지는데 이에 대해서는 후술한다. 도 4는 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 stss box의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.All stss values recorded in the stss box are written with the same specific value, and 0x00 (zero) is pre-written as a specific value as many as the number of predetermined key frames. According to an example, one key frame is configured for 30 frames. The specific value 0x00 is zero, which occupies 4 bytes, and is written repeatedly as many as the number of key frames. Writing 0x00 (zero) as a specific value has a great advantage, which will be described later. Fig. 4 is a capture of the display screen of the viewer showing the contents of the stss box in an MP4 file generated according to a real-time recording method of an MP4 container according to an embodiment of the present invention.

이상과 같이 보관 MP4 파일에서 stsz box, stco box 및 stss box를 포함하여 moov box의 전체 구성요소(전체 하위 box)를 라이팅하며, 이에 따라 보관 MP4 파일에서 moov box의 위치 및 크기를 확정하여 고정시킬 수가 있다.As described above, the entire components (entire sub-boxes) of the moov box, including the stsz box, stco box, and stss box, are written in the archive MP4 file, and accordingly, the position and size of the moov box can be determined and fixed in the archive MP4 file.

그리고, mdat box에 바로 바로 영상 데이터를 기록하는 것과 함께 stsz box, stco box 및 stss box에서 특정값(zero) 대신에, 실시간 라이팅되는 영상 데이터에 대응하는 stsz 값, stco 값 및 stss 값으로 실시간 수정한다(S20). 보관 MP4 파일의 mdat box에 MP4 표준에 따라 생성되는 영상 데이터(단위 영상 데이터)를 실시간 라이팅하는 것과 함께, stsz box, stco box 및 stss box에서 특정값 대신에, 실시간 라이팅되는 영상 데이터(단위 영상 데이터)에 대응하는 stsz 값, stco 값 및 stss 값으로 실시간 수정한다. 단위 영상 데이터는 한 프레임의 데이터(샘플)일 수 있다.And, along with recording the video data directly in the mdat box, the stsz value, stco value, and stss value corresponding to the real-time written video data are modified in real time instead of a specific value (zero) in the stsz box, stco box, and stss box (S20). Along with writing the video data (unit video data) generated according to the MP4 standard in the mdat box of the stored MP4 file in real time, the stsz value, stco value, and stss value corresponding to the real-time written video data (unit video data) are modified in real time instead of a specific value in the stsz box, stco box, and stss box. The unit video data may be data (sample) of one frame.

그 수행 순서는 중요하지 않으나, 예를 들어 보면, 먼저 mdat box의 지정된 위치에 하나의 단위 영상 데이터(샘플)를 실시간 라이팅한다(S21). 상기와 같이 moov box의 위치와 크기가 고정이 되어 있어서, 이에 후속하는 mdat의 위치도 정확히 정해질 수 있으므로, 보관 MP4 파일에 바로 영상 데이터를 실시간 라이팅할 수 있다. mdat의 위치를 고정 할 수 있게 되면 mdat에 video/audio같은 data가 write될 때 이와 함께 stco 값, stsz 값 및 stss 값을 해당 frame별로 write해주면 된다.The execution order is not important, but for example, first, one unit of video data (sample) is written in real time to the designated location of the mdat box (S21). As described above, since the location and size of the moov box are fixed, the location of the subsequent mdat can also be precisely determined, so video data can be written in real time directly to the stored MP4 file. Once the location of mdat can be fixed, when data such as video/audio is written to mdat, the stco value, stsz value, and stss value can be written for each frame.

mdat box에 단일의 샘플이 실시간 라이팅될 때마다, 대응 stsz 값을 수정하는데(S22), stsz box에서 실시간 라이팅되는 샘플에 대응되는 특정값(0x00)을 수정하여 실시간 라이팅되는 샘플에 대응하는 샘프 사이즈가 라이팅되도록 한다. 도 5는 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 11개의 샘플이 실시간 라이팅된 경우 stsz의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.Whenever a single sample is written in real time in the mdat box, the corresponding stsz value is modified (S22), and a specific value (0x00) corresponding to the sample written in real time in the stsz box is modified so that the sample size corresponding to the sample written in real time is written. FIG. 5 is a capture of a display screen of a viewer showing the contents of stsz when 11 samples are written in real time in an MP4 file generated according to a real-time recording method of an MP4 container according to an embodiment of the present invention.

그리고 mdat box에 단일의 청크가 실시간 라이팅될 때마다, 대응 stco 값을 수정하는데(S23), stco box에서 실시간 라이팅되는 샘플에 대응되는 특정값(0x00)을 수정하여 실시간 라이팅되는 청크에 대응하는 청크 오프셋(chunk offset)이 라이팅되도록 한다. 선호되는 실시형태에서는 청크당 샘플이 1개이므로 실시간 라이팅 되는 샘플에 대응하는 샘플 오프셋이 라이팅되도록 한다. 도 6은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 11개의 청크가 실시간 라이팅된 경우 stco의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다.And whenever a single chunk is written in real time in the mdat box, the corresponding stco value is modified (S23), and a specific value (0x00) corresponding to the sample written in real time in the stco box is modified so that the chunk offset corresponding to the chunk written in real time is written. In a preferred embodiment, since there is one sample per chunk, the sample offset corresponding to the sample written in real time is written. FIG. 6 is a capture of a display screen of a viewer showing the contents of stco when 11 chunks are written in real time in an MP4 file generated according to a real-time recording method of an MP4 container according to an embodiment of the present invention.

그리고 mdat box에 키프레임이 되는 샘플이 실시간 라이팅될 때마다 대응 stss 값을 수정하는데(S24 및 S25), 먼저 라이팅되는 샘플이 키프레임인지를 판단하고(S24), 키프레임이 아니면 단계 S21로 돌아가고 키프레임이면 단계 S25를 수행한다. 즉, 키프레임이면 대응 stss 값을 수정하는데, stss box에서 대응하는 위치의 특정값(0x00)대신에 실시간 라이팅되는 샘플의 샘플번호가 실시간 라이팅되게 한다. 도 7은 본 발명의 일 실시예에 따른 MP4 컨테이너의 실시간 기록방법에 따라 생성된 MP4 파일에서 1개의 키프레임이 실시간 라이팅된 경우 stss의 내용을 보여주는 viewer의 표시화면을 캡쳐한 것이다. 상기한 S21 내지 S25의 수행순서는 중요하지 않으므로 그 수행순서는 바뀔수도 있다. 그리고 MP4 파일에 포함될 마지막 샘플의 처리가 완료되었는지를 판단하여(S26), 완료되지 않았으며 단계 S21로 돌아가서 단계 S21 내지 단계 S26를 반복수행한다.And whenever a sample that becomes a key frame in the mdat box is written in real time, the corresponding stss value is modified (S24 and S25). First, it is determined whether the sample being written is a key frame (S24). If it is not a key frame, it returns to step S21, and if it is a key frame, it performs step S25. That is, if it is a key frame, the corresponding stss value is modified, and instead of the specific value (0x00) of the corresponding position in the stss box, the sample number of the sample written in real time is written in real time. Fig. 7 is a capture of the display screen of the viewer showing the contents of stss when one key frame is written in real time in an MP4 file generated according to a real-time recording method of an MP4 container according to an embodiment of the present invention. The execution order of the above S21 to S25 is not important, and thus the execution order may be changed. Then, it is determined whether the processing of the last sample to be included in the MP4 file is completed (S26). If it is not completed, it returns to step S21, and steps S21 to S26 are repeated.

만약, 전원공급 중단이나 CDR의 파손 또는 비휘발성 메모리의 탈거 등 어떠한 사정으로 영상 기록의 중단 상황이 발생된 경우, 본 발명에 따르면 '보관 MP4 파일'의 mdat box에 그 이전까지의 영상이 기록되어 있고 moov box에도 유효한 데이터가 기록되어 있다.If a video recording is interrupted due to any reason, such as a power outage, damage to the CDR, or removal of non-volatile memory, according to the present invention, the video up to that point is recorded in the mdat box of the 'archive MP4 file' and valid data is also recorded in the moov box.

특히, '보관 MP4 파일'의 moov box에서 stsz box, stco box 및 stss box에는 기록된 샘플(청크)에 대응되는 위치까지는 정상 데이터가 라이팅되어 있으며, 그 다음부터는 특정값(0x00)이 라이팅되어 있다(도 5 내지 도 7 참조). 실시간으로 들어온 data에 대해서만 처리를 해주고 stsz, stco, stss에 각 frame별 상황을 write하므로 언제나 MP4파일은 그 구조가 유지되는 상태가 된다.In particular, in the moov box of the 'Archive MP4 File', normal data is written in the stsz box, stco box, and stss box up to the position corresponding to the recorded sample (chunk), and a specific value (0x00) is written thereafter (see Figs. 5 to 7). Since only data that comes in in real time is processed and the situation for each frame is written in stsz, stco, and stss, the MP4 file always maintains its structure.

본 발명자에 의한 테스트에 따르면, 범용의 MP4 플레이어를 이용하여 사용자가 이러한 보관 MP4 파일을 재생할때 stsz box에서 0x00으로 기록된 샘플인 경우 샘플 사이즈가 0이 되어 참조하지 않는 샘플이 된다. 또한 본 발명자에 의한 테스트에 따르면, 사용자가 이러한 보관 MP4 파일을 재생할때 stco box에서 0x00으로 기록된 청크인 경우 offset이 0이 되어 참조하지 않는 청크가 되도록 한다. 또한 본 발명자에 의한 테스트에 따르면, 사용자가 이러한 보관 MP4 파일을 재생할때 stss box에 0x00으로 기록된 경우 key frame이 0이 되어 참조되지 않는 frame이 되도록 한다.According to the test by the inventor, when a user plays such an archive MP4 file using a general MP4 player, if the sample is recorded as 0x00 in the stsz box, the sample size becomes 0 and becomes an unreferenced sample. In addition, according to the test by the inventor, when a user plays such an archive MP4 file, if the chunk is recorded as 0x00 in the stco box, the offset becomes 0 and becomes an unreferenced chunk. In addition, according to the test by the inventor, when a user plays such an archive MP4 file, if the stss box is recorded as 0x00, the key frame becomes 0 and becomes an unreferenced frame.

따라서 범용의 MP4 플레이어에서도 정상 기록된 위치까지의 영상은 정상적으로 재생되며, 보관 MP4 파일의 프리 라이팅(pre writing)시 라이팅된 특정값(0x00)으로 남아 있는 부분(정상 기록 위치 이후의 부분)에 대해서는 Video/Audio 재생에 참조 되지 않는 Data가 되고 자동적으로 재생을 하지 않게 하므로, 범용의 MP4 플레이어에서도 기록 중단 위치까지의 영상을 무난하게 재생할 수 있도록 하는 장점이 있다. 또한, 샘플 사이즈를 크게 잡은 경우 정상적 기록이 완료된 MP4 파일에서도 특정값(0x00)으로 남아 있는 부분(정상 기록 위치 이후의 부분)이 있는데, 이 경우에도 범용의 MP4 플레이어가 자동적으로 재생을 하지 않게 되는 점은 동일하다.Therefore, even in a general-purpose MP4 player, the video up to the normally recorded position is played normally, and the part that remains as a specific value (0x00) written during pre-writing of the archived MP4 file (the part after the normal recording position) becomes data that is not referenced for video/audio playback and does not automatically play, so there is an advantage in that the video up to the recording stop position can be played without a problem even in a general-purpose MP4 player. In addition, if the sample size is set large, there is a part (the part after the normal recording position) that remains as a specific value (0x00) even in an MP4 file that has been normally recorded, and in this case as well, the general-purpose MP4 player does not automatically play it.

본 발명에 따르면 전원공급 중단이나 CDR의 파손 또는 비휘발성 메모리의 탈거 등 어떠한 사정이 발생해도 영상 기록의 중단 위치까지 무난하게 재생토록 할 수 있는 장점이 있다.According to the present invention, there is an advantage in that it is possible to smoothly reproduce the video recording up to the point where it was interrupted even if any circumstances such as a power failure, damage to the CDR, or removal of the non-volatile memory occur.

또한, 본 발명에 따르면 Supercap 등의 추가에 따른 비용추가없이도 영상의 소실을 방지하면서 기록하는 것이 가능하며, AVI 컨테이너 대신 MP4 컨테이너의 채용에 따른 문제를 해결할 수 있어서 CDR의 기록내용을 스마트폰으로 보다 용이하게 재생할 수 있는 MP4 컨테이너를 안정적으로 적용할 수 있는 장점이 있다.In addition, according to the present invention, it is possible to record while preventing loss of image without additional cost due to addition of Supercap, etc., and it is possible to solve the problem of adopting MP4 container instead of AVI container, so there is an advantage of being able to stably apply MP4 container that can more easily play back recorded contents of CDR on smartphone.

본 발명은 임시저장 및 병합 과정을 거칠 필요없이 CDR의 비휘발성메모리에 보관용 MP4 파일을 바로 기록할 수 있는 장점이 있다. 실시간으로 들어오는 A/V에 관련하여 언제나 MP4파일의 구성이 유지 될 수 있어 SD 카드가 device에서 뽑히거나 또는 다른 Event에 의하여 SD 카드 또는 다른 저장장치에 write 할 수 없는 환경이 되어도 저장된 A/V까지 어떠한 복구툴을 이용하지 않고도 범용으로 사용되는 플레이어에서 재생을 할 수 있게 되는 효과가 있다(data를 안전하게 저장되게 하는 효과도 함께 이루어 진다).The present invention has the advantage of being able to directly record MP4 files for storage in the non-volatile memory of a CDR without having to go through a temporary storage and merging process. Since the configuration of the MP4 file can always be maintained in relation to the A/V coming in in real time, even if the SD card is removed from the device or an environment in which writing to the SD card or other storage device becomes impossible due to another event, the stored A/V can be played back in a general-purpose player without using any recovery tool (the effect of safely storing data is also achieved).

차량용 CDR의 경우 파일의 Close를 위하여 supercap(배터리), sd card 빠짐 방지 기구 등을 추가하여 영상이 마무리 될 수 있도록 하는 등의 방안을 강구하고 있으나, 본 발명에 따르면 supercap(배터리)등과 같은 추가적인 보완 장치를 사용하지 않아도 됨으로써 제조원가 감소효과를 기대 할 수 있다.In the case of vehicle CDR, methods such as adding a supercap (battery) and an SD card removal prevention device to close the file so that the video can be finished are being sought, but according to the present invention, it is expected that the manufacturing cost can be reduced by eliminating the need to use additional supplementary devices such as a supercap (battery).

Claims

A real-time recording method of an MP4 container that runs in a CDR and creates an archive MP4 file, which is an MP4 file stored in the non-volatile memory of the CDR.
A first step of writing the entire components of the moov box in the archive MP4 file, including writing specific values in the stsz box, stco box and stss box respectively, thereby determining the position and size of the moov box in the archive MP4 file;
A second step of real-time writing of image data generated according to the MP4 standard in the mdat box of the above-mentioned stored MP4 file, and real-time modifying the stsz value, stco value, and stss value corresponding to the real-time written image data instead of the specific value in the stsz box, stco box, and stss box; characterized in that it includes;
How to record MP4 containers in real time.

In claim 1,
Writing a specific value in the above stsz box includes writing 0x00 as the specific value for a predetermined number of samples,
When playing the above-mentioned archived MP4 file, if the sample is recorded as 0x00 in the stsz box, the sample size becomes 0, making it an unreferenced sample.
How to record MP4 containers in real time.

In claim 2,
In the second step above,
Whenever a single sample is written in real time in the above mdat box, 0x00 of the above stsz box is modified so that the sample size of the sample written in real time is written.
How to record MP4 containers in real time.

In claim 1,
Writing a specific value in the above stco box includes writing 0x00 as the specific value for a predetermined number of chunks.
When playing the above-mentioned archived MP4 file, if the chunk is recorded as 0x00 in the stco box, the offset becomes 0, making it an unreferenced chunk.
How to record MP4 containers in real time.

In claim 4,
In the second step above,
Whenever a single chunk is written in real time in the above mdat box, 0x00 of the above stco box is modified so that the chunk offset of the chunk written in real time is written.
How to record MP4 containers in real time.

In claim 1,
Writing a specific value in the above stss box includes writing 0x00 as the specific value for a predetermined number of key frames,
When playing the above-mentioned archived MP4 file, if 0x00 is recorded in the stss box, the key frame becomes 0 and becomes an unreferenced frame.
How to record MP4 containers in real time.

In claim 6,
In the second step above,
Whenever a sample that becomes a keyframe in the above mdat box is written in real time, 0x00 of the above stss box is modified so that the sample number of the sample written in real time is written.
How to record MP4 containers in real time.

In claim 1,
Placing the mdat box behind the moov box,
How to record MP4 containers in real time.