KR102026454B1

KR102026454B1 - System and method for transmitting a plurality of video image

Info

Publication number: KR102026454B1
Application number: KR1020180001906A
Authority: KR
Inventors: 오은광; 김범준; 구자령
Original assignee: 주식회사 엘지유플러스
Priority date: 2018-01-05
Filing date: 2018-01-05
Publication date: 2019-09-27
Anticipated expiration: 2038-01-05
Also published as: KR20190083905A

Abstract

본 발명은 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법에 관한 것이다. 본 발명에 따른 촬영 영상 전송 시스템의 제어방법은, 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 단계와; 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호를 이용하여 각 카메라별로 영상프레임 스틸컷 이미지를 생성하는 단계와; 상기 단계에서 생성된 각각의 영상프레임 스틸컷 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시키는 단계와; 상기 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 단계와; 상기 단계에서 생성된 통합 영상 신호를 수신 단말기로 전송하는 단계를 포함하는 것을 특징으로 한다.The present invention relates to a system for transmitting a plurality of captured images and a control method thereof. According to another aspect of the present invention, there is provided a method of controlling a captured image transmission system, the method comprising: receiving respective captured image signals from a plurality of cameras; Generating an image frame still cut image for each camera by using each captured image signal received from the plurality of cameras; Synchronizing the captured image signals of each camera based on the respective image frame still cut images generated in the above step; Generating one integrated video signal by multiplexing the synchronized captured video signals; And transmitting the integrated video signal generated in the step to the receiving terminal.

Description

SYSTEM AND METHOD FOR TRANSMISSION OF PICTURED IMAGES TECHNICAL FIELD

본 발명은 영상 전송을 위한 시스템 및 그 제어방법에 관한 것으로, 보다 상세하게는 복수의 카메라에 의해 촬영되는 영상들을 전송하기 위한 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a system for transmitting an image and a control method thereof, and more particularly, to a system for transmitting images captured by a plurality of cameras and a control method thereof.

최근 아날로그 방송에 국한되지 않고 다양한 방식의 방송 콘텐츠 서비스가 이루어지고 있다.Recently, various types of broadcast contents services are provided, not limited to analog broadcasting.

그런데 종래에는 방송국에서 하나의 카메라에 의해 촬영된 영상만을 송출함에 따라 시청자는 다양한 각도 또는 다양한 위치에서 촬영된 영상을 동시에 시청할 수 없는 문제점이 있었다.However, in the related art, as a broadcast station transmits only an image photographed by one camera, a viewer cannot simultaneously view images photographed at various angles or at various positions.

특히 다중의 플레이어가 참여하는 스포츠의 경우 다양한 위치에 있는 플레이어의 모습을 확인 및 시청하고자 하는 시청자들의 요구가 있음에도 불구하고 종래에는 이러한 서비스가 제공되지 못하고 있는 실정이다.In particular, in the case of a sports in which multiple players participate, such a service is not provided in the related art even though there are demands of viewers to check and view the appearance of players at various positions.

예를 들어 야구 경기의 경우, 시청자들 중에는 투수가 투구하는 모습과 1루나 3루 주자의 모습을 동시에 확인하고픈 사람들이 있는데, 종래에는 특정 카메라의 각도가 투수와 주자를 동시에 촬영하는 위치에 있는 경우 또는 투수와 주자를 동시에 촬영하는 화각인 경우에 한하여 투수와 주자를 동시에 보여줄 수 있는데, 이 경우에는 카메라 각도 또는 화각이 상술한 조건을 만족하는 상황이어서 투수의 얼굴이나 주자의 얼굴을 크게 클로즈업하여 보여줄 수 없는 문제가 있어서, 여전히 시청자들의 니즈를 충족시키기에는 부족하다.For example, in a baseball game, some viewers would like to see the pitcher pitching and the first or third runner at the same time. Only the pitcher and the runner can simultaneously show the pitcher and the runner at the same time. In this case, the camera angle or the angle of view satisfies the above conditions. There is a problem, which is still insufficient to meet the needs of viewers.

물론 방송국 자체에서 복수의 카메라로 촬영한 영상을 하나의 영상으로 편집하여 전송할 수는 있지만, 이 경우 시청 단말기 상에서 편집 영상에 포함된 일부 영상을 확대하거나 하는 등 별도로 제어할 수 없는 문제가 있다.Of course, although the broadcast station itself may edit and transmit images captured by a plurality of cameras into a single image, in this case, there is a problem in that it cannot be controlled separately, such as enlarging some images included in the edited image on the viewing terminal.

즉, 텔레비전 화면을 구분하여 여러 개의 방송 채널을 각각 구분된 영역에 표시되도록 하는 PIP 기술은 이용되고 있지만, 상술한 바와 같이 하나의 채널 내에서 별도로 구분된 다양한 종류의 영상이 동시에 표시되도록 하는 서비스가 제공되고 있지 못하므로, 이에 대한 개선이 필요한 상황이다.In other words, the PIP technology for dividing the TV screen to display a plurality of broadcast channels in each divided area is used, but as described above, a service for simultaneously displaying various types of images separately displayed in one channel is provided. Since it is not provided, there is a need for improvement.

등록특허 제10-0974638호Patent Registration No. 10-0974638

본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 스포츠 경기를 시청하는 경우 경기장 내의 다양한 위치를 동시에 시청할 수 있도록 하는 시스템 및 그 제어방법을 제공하는 것이다. SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and an object thereof is to provide a system and a method of controlling the same so that a user can simultaneously watch various positions in a stadium when watching a sporting event.

상기한 목적을 달성하기 위해 본 발명에 따른 촬영 영상 전송 시스템은, 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 영상 수신부와; 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호를 이용하여 각 카메라별로 영상프레임 스틸컷 이미지를 생성하는 스틸컷 이미지 생성부와; 상기 스틸컷 이미지 생성부에서 생성된 각각의 영상프레임 스틸컷 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시키는 동기화 처리부와; 상기 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 통합 영상 생성부와; 상기 통합 영상 생성부에서 생성된 통합 영상 신호를 수신 단말기로 전송하는 전송부를 포함하여 구성된다.In order to achieve the above object, a photographed image transmission system according to the present invention comprises: an image receiver configured to receive respective photographed image signals from a plurality of cameras; A still cut image generation unit generating an image frame still cut image for each camera by using each captured image signal received from the plurality of cameras; A synchronization processor for synchronizing the captured image signals of each camera based on the respective image frame still cut images generated by the still cut image generator; An integrated image generator for multiplexing each of the synchronized captured image signals to generate one integrated image signal; And a transmitter for transmitting the integrated video signal generated by the integrated video generator to a receiving terminal.

또, 상기한 목적을 달성하기 위해 본 발명에 따른 촬영 영상 전송 시스템의 제어방법은, 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 단계와; 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호를 이용하여 각 카메라별로 영상프레임 스틸컷 이미지를 생성하는 단계와; 상기 단계에서 생성된 각각의 영상프레임 스틸컷 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시키는 단계와; 상기 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 단계와; 상기 단계에서 생성된 통합 영상 신호를 수신 단말기로 전송하는 단계를 포함하여 이루어진다.In addition, in order to achieve the above object, a control method of a captured image transmission system according to the present invention comprises the steps of: receiving respective captured image signals from a plurality of cameras; Generating an image frame still cut image for each camera by using each captured image signal received from the plurality of cameras; Synchronizing the captured image signals of each camera based on the respective image frame still cut images generated in the above step; Generating one integrated video signal by multiplexing the synchronized captured video signals; And transmitting the integrated video signal generated in the above step to the receiving terminal.

이상 설명한 바와 같이 본 발명에 따르면, 스포츠 경기 방송 시청자는 하나의 방송 채널에서 다양한 위치의 선수들, 또는 다양한 위치의 경기 상황을 동시에 시청할 수 있다.As described above, according to the present invention, the sports competition broadcast viewer can simultaneously watch the athletes of various positions or the game situation of various positions in one broadcasting channel.

특히, 서로 다른 피사체를 촬영한 복수 개의 카메라 영상을 하나의 방송 채널(콘텐츠 수신 채널)을 통해 전송하므로, 서로 다른 채널을 통해 전송하는 경우와 비교할 때 시청 단말이 복수 개의 카메라 영상을 수신하여 재생하데까지 걸리는 시간을 단축시킬 수 있다.In particular, since a plurality of camera images photographing different subjects are transmitted through one broadcasting channel (content receiving channel), the viewing terminal receives and reproduces a plurality of camera images as compared with the case of transmitting through different channels. It can shorten the time required.

예를 들어 서로 다른 통신 채널을 통해 각각의 카메라 영상을 전송하는 경우 각 카메라 영상이 각각 패킷으로 나뉜 후 서로 다른 경로를 통해 전송되므로 시청자 단말기까지 모든 카메라 영상이 도달하는데 상당한 시간 지연이 발생할 수 있으나, 본 발명과 같이 동일한 통신 채널을 통해 복수의 카메라 영상 패킷을 전송하는 경우 이러한 시간 지연 문제를 상당히 해소할 수 있다.For example, if each camera image is transmitted through a different communication channel, each camera image is divided into packets and then transmitted through different paths. However, a significant time delay may occur when all the camera images reach the viewer terminal. In case of transmitting a plurality of camera image packets through the same communication channel as in the present invention, this time delay problem can be significantly solved.

특히, 촬영 영상 전송 시스템은 동기화된 정보가 포함된 통합 영상 신호를 전송하므로, 이를 이용하는 시청자 단말기에서는 동시에 표시되는 영상들간에 시간 동기화가 이루어지도록 할 수 있어, 각 영상들간의 시간 차이로 인한 시청자들의 불편을 최소화시킬 수 있다.In particular, since the captured image transmission system transmits an integrated image signal including the synchronized information, the viewer terminal using the same may allow time synchronization between the images simultaneously displayed, so that the viewers may not be able to view the images due to the time difference between the images. Discomfort can be minimized.

또한, 촬영 영상 전송 시스템은 복수 개의 카메라로부터 수신되는 촬영 영상들에 대해 동기화를 수행하기 위해 각 촬영 영상에 포함된 현재 시각 이미지를 이용하므로 별도의 동기화를 위한 통신 프로토콜을 변경시키거나 과도하게 비싼 동기화용 장치가 필요 없을 뿐만 아니라, 정교한 동기화 처리가 가능하다.In addition, since the captured image transmission system uses the current visual image included in each captured image to synchronize the captured images received from the plurality of cameras, it is necessary to change the communication protocol for separate synchronization or excessively expensive synchronization. Not only does it require a device, but it also enables sophisticated synchronization processing.

도 1은 본 발명의 일 실시예에 따른 촬영 영상 전송 시스템을 포함하는 전체 통신 시스템의 개략 구성도이고,
도 2는 도 1의 촬영 영상 전송 시스템의 기능 블록도이고,
도 3은 본 발명의 제1 실시예에 따른 촬영 영상 전송 시스템을 포함하는 전체 통신 시스템의 제어 흐름도이고,
도 4는 도 3에서 촬영 영상 전송 시스템이 각 카메라별 영상프레임 스틸컷 이미지를 생성한 후 표시한 상태를 나타낸 도면이고,
도 5는 본 발명의 제2 실시예에 따른 촬영 영상 전송 시스템을 포함하는 전체 통신 시스템의 제어 흐름도이다.1 is a schematic structural diagram of an entire communication system including a captured image transmission system according to an embodiment of the present invention;
FIG. 2 is a functional block diagram of the captured image transmission system of FIG. 1;
3 is a control flowchart of an entire communication system including a captured image transmission system according to a first embodiment of the present invention;
FIG. 4 is a diagram illustrating a state in which the captured image transmission system generates and displays an image frame still cut image for each camera in FIG. 3;
5 is a control flowchart of an entire communication system including a captured image transmission system according to a second embodiment of the present invention.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.Hereinafter, each embodiment according to the present invention is only one example to help understanding of the present invention, and the present invention is not limited to these embodiments. In particular, the present invention may be composed of a combination of at least one or more of individual configurations, individual functions, or individual steps included in each embodiment.

특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.In particular, for convenience, some claims in the claims include alphabets such as '(a)', but these alphabets do not prescribe the order of each step.

또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.In addition, each signal referred to in each embodiment according to the present invention may refer to one signal transmitted by one connection or the like, but may also mean a series of signal groups transmitted for the purpose of performing a specific function described below. . That is, in each embodiment, a plurality of signals transmitted at predetermined time intervals or transmitted after receiving a response signal from the counterpart device may be represented by one signal name for convenience.

본 발명의 일 실시예에 따른 복수의 촬영 영상을 시청자 단말기(400)로 전송하는 촬영 영상 전송 시스템(100)을 포함하는 전체 통신 시스템의 개략 구성은 도 1에 도시된 바와 같다.A schematic configuration of an entire communication system including a captured image transmission system 100 for transmitting a plurality of captured images to a viewer terminal 400 according to an embodiment of the present invention is illustrated in FIG. 1.

동 도면에서 각각의 카메라(210,220,230)는 영상을 촬영하여 전송하는 것으로서, 본 실시예에서는 동일한 장소(예를 들어 스포츠 경기장)에 설치되어 촬영을 하는 카메라(210,220,230)일 수 있다.In the drawing, each of the cameras 210, 220, and 230 is an image taken and transmitted. In the present embodiment, the cameras 210, 220, and 230 may be cameras 210, 220, and 230 installed in the same place (for example, a sports stadium).

본 실시예에서는 각 카메라(210,220,230)가 야구 경기의 중계를 위해 야구 경기장의 곳곳에 설치된 것을 일 예로 한다.In this embodiment, the cameras 210, 220, and 230 are installed at various places of the baseball stadium for relaying a baseball game.

이러한 각 카메라(210,220,230)는 촬영 영상 신호를 촬영 영상 전송 시스템(100)에 전송하는데, 이처럼 각 카메라(210,220,230)가 전송하는 촬영 영상 신호는 아날로그 신호 또는 디지털 신호일 수 있고, 이러한 촬영 영상 신호에는 당연히 비디오 신호와 사운드 신호가 포함될 수 있다.Each of the cameras 210, 220, and 230 transmits a captured image signal to the captured image transmission system 100. As such, the captured image signal transmitted by each camera 210, 220, or 230 may be an analog signal or a digital signal. Signals and sound signals may be included.

현재 시각 표시기(310,320,330)는 현재 시각을 나타내는 것으로서, 예를 들어 LED(Light Emitting Diode), LCD(Liquid Crystal Display)와 같은 디지털 시계에 해당하거나 또는 아날로그 시계에 해당할 수 있는데, 후술하는 바와 같이 각 카메라(210,220,230)의 촬영 영상을 동기화하기 위해 필요한 것이므로, 정밀한 초 이하의 단위까지 표시가 가능한 디지털 시계로 구성됨이 바람직하다.The current time indicators 310, 320, and 330 indicate the current time, and may correspond to, for example, a digital clock such as a light emitting diode (LED) or a liquid crystal display (LCD) or an analog clock. Since it is necessary for synchronizing the captured image of the camera (210,220,230), it is preferable that it is composed of a digital clock that can display up to a precision unit of seconds or less.

즉, 각 카메라(210,220,230)는 예를 들어 야구 경기를 촬영함에 있어서 그 각 카메라(210,220,230) 근처에 놓인 현재 시각 표시기(310,320,330)를 함께 촬영하여 전송함으로써, 후술하는 바와 같이 관리자의 선택을 통해 또는 이미지 자동 분석을 통해 각 카메라의 촬영 영상 신호가 동기화되도록 할 수 있는데, 이에 대한 보다 구체적인 설명은 후술토록 한다.That is, each of the cameras 210, 220, 230 photographs and transmits the current time indicators 310, 320, 330, which are located near the cameras 210, 220, 230, for example, in shooting a baseball game. Through automatic analysis, it is possible to synchronize the captured video signal of each camera, which will be described later.

한편, 시청자 단말기(400)는 촬영 영상 전송 시스템(100)으로부터 영상 콘텐츠를 수신하여 표시하는 것으로서, 도 1에 도시된 바와 같이 셋탑박스(410)와 텔레비전(420)으로 이루어진 것일 수도 있고, 또는 스마트폰과 같은 휴대용 무선 통신 단말기에 해당할 수도 있다.On the other hand, the viewer terminal 400 is to receive and display the image content from the captured image transmission system 100, as shown in Figure 1 may be composed of a set-top box 410 and a television 420, or smart It may correspond to a portable wireless communication terminal such as a phone.

이처럼 시청자 단말기(400)는 촬영 영상 전송 시스템(100)이 전송하는 영상 콘텐츠 즉, 후술하는 통합 영상 신호를 수신하여 재생 및 표시하는 기능을 포함하는 모든 종류의 단말기에 해당할 수 있다.As such, the viewer terminal 400 may correspond to any type of terminal including a function of receiving, playing, and displaying video content transmitted by the captured image transmission system 100, that is, an integrated video signal, which will be described later.

촬영 영상 전송 시스템(100)은 앞서 설명한 각각의 카메라(210,220,230)로부터 촬영 영상 신호를 수신하여 그 각각의 촬영 영상 신호에 대한 동기화 처리를 수행한 후에 통합하여 시청자 단말기(400)로 전송하는 기능을 수행한다.The captured image transmission system 100 receives a captured image signal from each of the cameras 210, 220, and 230 described above, performs a synchronization process on each of the captured image signals, and then integrates and transmits the captured image signal to the viewer terminal 400. do.

이러한 촬영 영상 전송 시스템(100)의 구체적인 기능 블록의 일 예는 도 2에 도시된 바와 같다.An example of a specific functional block of the captured image transmission system 100 is shown in FIG. 2.

동 도면에 도시된 바와 같이 촬영 영상 전송 시스템(100)은 영상 수신부(110), 스틸컷 이미지 생성부(120), 동기화 처리부(130), 통합 영상 생성부(140), 전송부(150)를 포함하여 구성될 수 있다.As shown in the figure, the photographed image transmission system 100 includes an image receiver 110, a still cut image generator 120, a synchronization processor 130, an integrated image generator 140, and a transmitter 150. It can be configured to include.

영상 수신부(110)는 복수의 카메라(210,220,230)로부터 각각의 촬영 영상 신호를 수신하는 기능을 수행한다.The image receiver 110 performs a function of receiving each captured image signal from the plurality of cameras 210, 220, and 230.

즉, 도 1을 참조하면 영상 수신부(110)는 1번 카메라(210), 2번 카메라(220), 3번 카메라(230)로부터 각각 촬영 영상 신호를 수신하는 것이다.That is, referring to FIG. 1, the image receiver 110 receives the captured image signal from the first camera 210, the second camera 220, and the third camera 230, respectively.

스틸컷 이미지 생성부(120)는 복수의 카메라(210,220,230)로부터 수신된 각각의 촬영 영상 신호를 이용하여 각 카메라별로 영상프레임 스틸컷 이미지를 생성하는 기능을 수행한다.The still cut image generating unit 120 performs a function of generating an image frame still cut image for each camera by using each captured image signal received from the plurality of cameras 210, 220, and 230.

예를 들어 스틸컷 이미지 생성부(120)는 각 카메라(210,220,230)로부터 수신된 각각의 촬영 영상 신호를 디코딩하여 프레임별 또는 특정 시간대별 캡처 이미지에 해당하는 영상프레임 스틸컷 이미지를 생성할 수 있다.For example, the still cut image generator 120 may generate an image frame still cut image corresponding to a captured image for each frame or a specific time zone by decoding each captured image signal received from each of the cameras 210, 220, and 230.

예를 들어 스틸컷 이미지 생성부(120)는 30fps(frames per second) 속도로 영상프레임 스틸컷 이미지를 생성할 수 있는데, 이 경우 각 카메라별로 1초에 30장의 영상프레임 스틸컷 이미지가 생성될 수 있다.For example, the still cut image generator 120 may generate a video frame still cut image at a rate of 30 frames per second (fps). In this case, 30 video frame still cut images may be generated per second for each camera. have.

이처럼 스틸컷 이미지 생성부(120)는 각 카메라로부터 수신된 각각의 촬영 영상 신호를 이용하여 각 카메라별로 영상프레임 스틸컷 이미지를 복수 개 생성할 수 있는 것이다.As such, the still cut image generation unit 120 may generate a plurality of image frame still cut images for each camera by using each captured image signal received from each camera.

동기화 처리부(130)는 스틸컷 이미지 생성부(120)에서 생성된 각각의 영상프레임 스틸컷 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시키는 기능을 수행한다.The synchronization processor 130 performs a function of synchronizing the captured image signals of the respective cameras based on the respective image frame still cut images generated by the still cut image generator 120.

특히, 동기화 처리부(130)는 스틸컷 이미지 생성부(120)에서 생성된 각각의 영상프레임 스틸컷 이미지가 각 카메라별로 구분 표시되도록 제어하고, 각 카메라별 복수 개의 영상 프레임 스틸컷 이미지를 확인한 관리자의 선택에 따라 각 카메라별로 어느 하나의 특정 영상프레임 스틸컷 이미지를 기준 이미지로 선정하며, 그 선정된 각 카메라별 기준 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시킬 수 있다.In particular, the synchronization processor 130 controls each image frame still cut image generated by the still cut image generation unit 120 to be displayed separately for each camera, and checks the plurality of image frame still cut images for each camera. According to the selection, one specific image frame still cut image may be selected as a reference image for each camera, and the captured image signal of each camera may be synchronized with each other based on the selected reference image for each camera.

예를 들어 본 실시예에서 촬영 영상 전송 시스템(100)이 소정의 디스플레이 장치와 연결되어 있는 경우 동기화 처리부(130)는 스틸컷 이미지 생성부(120)에서 생성된 각각의 영상프레임 스틸컷 이미지를 각 카메라별로 구분한 후 디스플레이 장치에 전송할 수 있고, 이때 촬영 영상 전송 시스템(100)의 관리자는 디스플레이 장치를 통해 각 카메라별 복수 개의 영상 프레임 스틸컷 이미지를 서로 비교할 수 있는 것이다.For example, in the present embodiment, when the captured image transmission system 100 is connected to a predetermined display device, the synchronization processor 130 may view each image frame still cut image generated by the still cut image generator 120. The cameras may be classified by cameras and then transmitted to a display device. In this case, the manager of the captured image transmission system 100 may compare a plurality of video frame still cut images of each camera through the display device.

상술한 바와 같이 카메라에 의해 촬영되는 영상에는 현재 시각 표시기(310,320,330)가 함께 촬영되므로, 관리자는 각 영상프레임 스틸컷 이미지에 포함되어 있는 현재 시각 표시기(310,320,330)에 표시되고 있는 현재 시각을 확인하여 각 영상프레임 스틸컷 이미지들 중 동일한 시점에 촬영된 영상에 대응되는 스틸컷 이미지들을 수동으로 선별할 수 있는 것이다.As described above, since the current time indicators 310, 320, and 330 are captured together with the image captured by the camera, the administrator checks the current time displayed on the current time indicators 310, 320, 330 included in each image frame still cut image. It is possible to manually select still cut images corresponding to images captured at the same time point among the image frame still cut images.

이후, 관리자에 의해 동일한 시점에 촬영된 각 카메라의 영상프레임 스틸컷 이미지가 선택되면, 동기화 처리부(130)는 각 카메라별로 그 선택된 영상프레임 스틸컷 이미지를 기준 이미지로 선정하며, 그 선정된 각 카메라별 기준 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시킬 수 있다.Subsequently, when an image frame still cut image of each camera photographed by the manager is selected, the synchronization processor 130 selects the selected image frame still cut image for each camera as a reference image, and each selected camera The captured video signals of each camera may be synchronized with each other based on the star reference image.

이를 위해 동기화 처리부(130)는 관리자의 조작 또는 선택 등을 감지할 수 있어야 하는데, 관리자 단말기가 외부에 구비된 경우에는 관리자 조작 단말기로부터 통신 라인을 통해 수신되는 입력 신호를 기초로 관리자의 조작 또는 선택을 감지하면 되고, 별도의 입력부(미 도시함)가 구비된 경우라면 해당 입력부를 통해 관리자의 조작 또는 선택을 감지하면 된다.To this end, the synchronization processing unit 130 should be able to detect the operation or selection of the manager, etc. If the manager terminal is provided externally, the manager's operation or selection based on an input signal received from the manager operation terminal through a communication line. If a separate input unit (not shown) is provided, the controller may detect an operation or selection by the corresponding input unit.

각 카메라(210,220,230)의 촬영 영상 신호를 동기화시키는 한 방법으로, 동기화 처리부(130)는 각 카메라별 기준 이미지에 대응되는 영상 프레임에 동일한 시간 정보(즉, 동기화용 시간 정보)를 매칭시킨 각각의 동기화 영상 신호를 생성할 수 있다. 동기화용 시간 정보는 시청자 단말기(400)에서 동 시점에 촬영된 영상들을 동시에 재생할 수 있도록 하는 것으로서, 이에 대한 보다 상세한 설명은 후술토록 한다.As one method of synchronizing the captured image signals of the cameras 210, 220, and 230, the synchronization processor 130 synchronizes each of the same time information (that is, the synchronization time information) to match the image frame corresponding to the reference image of each camera. An image signal can be generated. The synchronization time information allows the viewer terminal 400 to simultaneously play back images captured at the same time, which will be described later.

여기서 동기화 영상 신호는 아날로그 신호일 수도 있지만, 디지털 신호로 처리되는 경우에는 예를 들어 MPEG 트랜스포트 스트림(즉, MPEG transport stream, 줄여서 TS) 포맷으로 이루어진 것(이하 'TS 파일'이라 함)일 수 있다. MPEG 트랜스포트 스트림은 헤더와 페이로드를 포함하는 패킷을 그 기본 데이터 단위로 하는 것으로서, 그 구조 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Here, the synchronized video signal may be an analog signal, but when processed as a digital signal, for example, the synchronized video signal may be an MPEG transport stream (ie, an MPEG transport stream, or TS for short) format (hereinafter referred to as a TS file). . The MPEG transport stream uses a packet including a header and a payload as its basic data units. Since the structure itself corresponds to a known technology, a detailed description thereof will be omitted.

이 경우 동기화 처리부(130)는 각 촬영 영상 신호에 대응되는 TS 파일을 생성함과 아울러 그 TS 파일 내(바람직하게는 TS 파일의 프레임별 패킷마다)에 시간 정보 즉, 상술한 동기화용 시간 정보를 포함시킬 수 있다.In this case, the synchronization processor 130 generates a TS file corresponding to each captured video signal, and stores time information, that is, the above-described synchronization time information, in the TS file (preferably for each packet of each frame of the TS file). Can be included.

즉, 이처럼 특정 동기화용 시간 정보를 각 촬영 영상 신호에 대응되는 TS 파일의 특정 프레임별 패킷에 포함시키는 과정이 본 실시예에 언급하는 동기화 처리에 해당할 수 있다.That is, the process of including the specific synchronization time information in the specific frame packet of the TS file corresponding to each captured video signal may correspond to the synchronization process mentioned in the present embodiment.

보다 구체적인 예를 든다면, 1번 카메라(210)에서 수신되는 촬영 영상 신호의 프레임 중 네 번째 프레임의 영상프레임 스틸컷 이미지와, 2번 카메라(220)에서 수신되는 촬영 영상 신호의 프레임 중 여섯 번째 프레임의 영상프레임 스틸컷 이미지를 관리자가 기준 이미지로 선택하는 경우, 동기화 처리부(130)는 그 1번 카메라(210)의 촬영 영상 신호의 프레임 중 네 번째 프레임을 포함하는 TS 패킷과 2번 카메라(220)의 촬영 영상 신호의 프레임 중 여섯 번째 프레임을 포함하는 TS 패킷에 각각 '1'이라는 동기화 시간 정보를 포함시킬 수 있다.More specifically, the sixth of the frame of the video frame still cut image of the fourth frame and the frame of the video signal received by the camera 220 of the frame of the video signal received from the first camera 210, When the administrator selects a video frame still cut image of a frame as a reference image, the synchronization processor 130 may transmit a TS packet including a fourth frame of a frame of the captured video signal of the first camera 210 and a second camera ( A synchronization time information of '1' may be included in a TS packet including a sixth frame among the frames of the captured video signal of 220.

다른 예로써, 1번 카메라(210)에서 수신되는 촬영 영상 신호의 프레임 중 여섯 번째 프레임의 영상프레임 스틸컷 이미지와 2번 카메라(220)에서 수신되는 촬영 영상 신호의 프레임 중 여덟 번째 프레임의 영상프레임 스틸컷 이미지가 관리자의 선택에 따라 기준 이미지로 선정된 경우, 동기화 처리부(130)는 그 1번 카메라(210)의 촬영 영상 신호의 프레임 중 여섯 번째 프레임을 포함하는 TS 패킷과 2번 카메라(220)의 촬영 영상 신호의 프레임 중 여덟 번째 프레임을 포함하는 TS 패킷에 '1'이라는 동기화 시간 정보를 포함시킬 수 있는 것이다.As another example, an image frame of the sixth frame of the frame of the captured image signal received from the first camera 210 and the eighth frame of the frame of the captured image signal received from the second camera 220 When the still cut image is selected as the reference image by the manager, the synchronization processor 130 may transmit the TS packet including the sixth frame of the frame of the captured video signal of the first camera 210 and the second camera 220. In the TS packet including the eighth frame of the frame of the captured video signal, the synchronization time information of '1' may be included.

이렇게 기준 이미지를 기초로 특정 시간 정보와 해당 기준 이미지가 매칭된 경우, 동기화 처리부(130)는 그 이후의 영상프레임 스틸컷 이미지들에 대해서는 증가된 동기화 시간 정보를 순서대로 매칭시킬 수 있다.When the specific time information and the corresponding reference image are matched based on the reference image, the synchronization processor 130 may match the increased synchronization time information with respect to subsequent image frame still cut images in order.

예를 들어 바로 앞 예에서와 같이 1번 카메라(210)의 촬영 영상 신호의 프레임 중 여섯 번째 프레임을 포함하는 TS 패킷과 2번 카메라(220)의 촬영 영상 신호의 프레임 중 여덟 번째 프레임을 포함하는 TS 패킷에 '1'이라는 동기화 시간 정보를 포함된 경우, 그 이후의 촬영 영상 신호의 프레임, 즉, 1번 카메라(210)의 촬영 영상 신호의 프레임 중 일곱 번째 프레임을 포함하는 TS 패킷과 2번 카메라(220)의 촬영 영상 신호의 프레임 중 아홉 번째 프레임을 포함하는 TS 패킷에는 '2'라는 동기화 시간 정보를 포함시키게 되는 것이고, 이러한 과정은 지속적으로 반복될 수 있다.For example, as in the previous example, a TS packet including a sixth frame of frames of the captured video signal of the first camera 210 and an eighth frame including a frame of the captured video signal of the second camera 220 are included. When the TS packet includes synchronization time information of '1', the TS packet including the seventh frame of the frame of the captured video signal after that, that is, the frame of the captured video signal of the first camera 210, and the second The TS packet including the ninth frame of the frame of the captured image signal of the camera 220 is to include the synchronization time information of '2', this process can be repeated continuously.

지금까지는 영상프레임 스틸컷 이미지들간의 비교를 관리자가 수동으로 수행하는 것을 일 예로 하였으나, 이러한 영상프레임 스틸컷 이미지들간의 동시점 비교가 자동으로 이루어질 수도 있음은 물론이다.Until now, an example of manually performing a comparison between image frame still cut images is performed by an administrator. However, the simultaneous point comparison between the image frame still cut images may be automatically performed.

즉, 동기화 처리부(130)는 스틸컷 이미지 생성부(120)에서 생성된 각각의 영상프레임 스틸컷 이미지로부터 현재 시각 이미지를 추출하고, 그 추출한 현재 시각 이미지를 분석하여 각 카메라의 영상프레임 스틸컷 이미지별 현재 시각을 판단한 후, 동일한 현재 시각에 대응되는 각 카메라의 영상프레임 스틸컷 이미지를 기준 이미지로 선정할 수도 있는 것이다.That is, the synchronization processor 130 extracts the current time image from each image frame still cut image generated by the still cut image generator 120, and analyzes the extracted current time image to generate the still frame image of each camera. After determining the current time of each star, a video frame still cut image of each camera corresponding to the same current time may be selected as a reference image.

앞서 설명한 바와 같이 각 카메라는 촬영을 함에 있어서 각 현재 시각 표시기(310,320,330)를 함께 촬영하여 전송하게 되고, 이때 동기화 처리부(130)는 각 촬영 영상 신호에서 현재 시각 표시기(310,320,330)가 표시하고 있는 시각을 이미지 처리를 통해 판단할 수 있고, 이러한 판단을 통해 동일한 현재 시각에 대응되는 각 카메라의 영상프레임 스틸컷 이미지를 기준 이미지로 선정할 수도 있는 것이다.As described above, each camera captures and transmits the current time indicators 310, 320, and 330 together when shooting, and the synchronization processor 130 displays the time displayed by the current time indicators 310, 320, 330 in each captured image signal. It may be determined through image processing, and through this determination, a video frame still cut image of each camera corresponding to the same current time may be selected as a reference image.

이때 동기화 처리부(130)는 스틸컷 이미지 생성부(120)에서 생성된 각각의 영상프레임 스틸컷 이미지로부터 기 설정된 영역을 기준으로 현재 시각 이미지를 추출할 수도 있다.In this case, the synchronization processor 130 may extract the current visual image based on a predetermined area from each image frame still cut image generated by the still cut image generator 120.

예를 들어 각 카메라가 촬영을 함에 있어서 그 대응되는 현재 시각 표시기(310,320,330)가 촬영 영역 중 좌측 하단의 특정 영역에서 찍히도록 촬영한다고 가정하면, 동기화 처리부(130)는 영상 수신부(110)에 수신되는 각 카메라의 영상 촬영 신호로부터 생성한 영상프레임 스틸컷 이미지 중 좌측 하단의 특정 영역을 현재 시각 이미지로 추출한 후, 그 추출한 현재 시각 이미지를 분석하여 각 카메라의 영상프레임 스틸컷 이미지별 현재 시각을 판단할 수 있는 것이다.For example, assuming that each camera photographs the corresponding current time indicators 310, 320, 330 to be photographed in a specific area in the lower left of the photographing area, the synchronization processor 130 is received by the image receiving unit 110. After extracting a specific area in the lower left of the video frame still cut image generated from the video recording signal of each camera as the current time image, the current time image of each camera's video frame still cut image can be analyzed by analyzing the extracted current time image. It can be.

또는 각 현재 시각 표시기(310,320,330)가 동일한 형상을 갖는 경우, 동기화 처리부(130)는 기 등록되어 있는 현재 시각 표시기(310,320,330) 형상 정보를 이용하여 각 영상프레임 스틸컷 이미지로부터 현재 시각 이미지를 추출할 수도 있다.Alternatively, when the current time indicators 310, 320, 330 have the same shape, the synchronization processor 130 may extract the current time image from each image frame still cut image by using previously registered shape information of the current time indicators 310, 320, 330. have.

또한 동기화 처리부(130)는 각 영상프레임 스틸컷 이미지에 현재 시각 이미지가 포함되어 있는 경우, 해당 현재 시각 이미지를 제거한 후 동기화 영상 신호를 각 카메라별로 생성할 수도 있다.In addition, when the current visual image is included in each image frame still cut image, the synchronization processor 130 may generate the synchronized image signal for each camera after removing the current visual image.

즉, 동기화 처리부(130)는 복수의 카메라(210,220,230)로부터 수신되는 각각의 촬영 영상 신호의 영상프레임 스틸컷 이미지에 현재 시각 이미지(현재 시각 표시기(310,320,330)에 대응되는 이미지)가 포함되어 있는 경우, 그 각각의 영상프레임 스틸컷 이미지에 포함된 현재 시각 이미지를 제거한 후 그 현재 시각 이미지가 제거된 촬영 영상 신호와 상술한 동기화용 시간 정보를 모두 포함하는 동기화 영상 신호를 생성할 수 있는 것이다.That is, when the synchronization processor 130 includes a current time image (an image corresponding to the current time indicators 310, 320, 330) in the image frame still cut image of each captured image signal received from the plurality of cameras 210, 220, 230, After removing the current visual image included in each of the image frame still cut images, a synchronized video signal including both the captured video signal from which the current visual image is removed and the above-described synchronization time information may be generated.

이에 따라 현재 시각 이미지는 동기화용 시간 정보를 결정하는 데만 이용되고, 시청자 단말기(400)에서 해당 영상을 시청할 때는 출력되지 않게 된다.Accordingly, the current time image is used only to determine the time information for synchronization, and is not output when the viewer terminal 400 watches the video.

동기화 처리부(130)는 현재 시각 이미지를 제거함에 있어서 보다 광범위한 영역을 함께 제거할 수도 있다.The synchronization processor 130 may remove a wider area together in removing the current visual image.

예를 들어 각 현재 시각 이미지가 각 영상프레임 스틸컷 이미지의 좌측 하단에 배치되어 있는 경우 영상프레임 스틸컷 이미지의 특정 크기의 하단이 모두 제거되도록 할 수도 있는 것이고, 이 경우 현재 시각 이미지 제거를 위한 시스템 처리 로드를 최소화할 수 있다.For example, if each current visual image is placed at the bottom left of each video frame still cut image, the bottom of a specific size of the video frame still cut image may be removed. In this case, the system for removing the current visual image The processing load can be minimized.

한편, 통합 영상 생성부(140)는 동기화 처리부(130)에 의해 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 기능을 수행한다.Meanwhile, the integrated image generator 140 performs a function of multiplexing each captured image signal synchronized by the synchronization processor 130 to generate one integrated image signal.

여기서 통합 영상 신호는 아날로그 신호일 수도 있지만, 본 실시예에서는 디지털 처리가 이루어지는 영상 데이터인 것을 일 예로 한다.In this case, the integrated video signal may be an analog signal. However, in the present embodiment, the integrated video signal is video data in which digital processing is performed.

예를 들어 동기화 처리부(130)가 각 동기화용 시간 정보와 각각의 촬영 영상 신호를 매칭시킨 각각의 동기화 영상 신호를 생성한 경우, 통합 영상 생성부(140)는 그 각각의 동기화 영상 신호를 다중화시켜 하나의 통합 영상 신호로 생성하는 것이다.For example, when the synchronization processor 130 generates each synchronization video signal matching each synchronization time information with each captured video signal, the integrated image generator 140 multiplexes the respective synchronization video signals. It is generated as a single integrated video signal.

이때 특정 통합 영상 신호 패킷에는 반드시 동일한 동기화용 시간 정보에 대응되는 동기화 영상 신호 패킷들만 포함될 수 있는 것은 아니고, 각기 다른 동기화용 시간 정보에 대응되는 동기화 영상 신호 패킷들이 포함될 수도 있다.In this case, the specific integrated video signal packet may not necessarily include only synchronized video signal packets corresponding to the same synchronization time information, but may also include synchronized video signal packets corresponding to different synchronization time information.

이 경우 시청자 단말기(400)는 그 수신된 통합 영상 신호 패킷들을 각 카메라별 동기화 영상 신호 패킷들로 구분한 후, 동일한 동기화용 시간 정보를 포함하는 패킷들을 동시에 재생하면 되고, 그 결과 시청자 단말기(400) 사용자는 하나의 방송 채널을 통해 수신한 복수 개의 촬영 영상 중 시간 동기화된 영상들을 동시에 시청할 수 있게 되는 것이다.In this case, the viewer terminal 400 may divide the received integrated video signal packets into the synchronization video signal packets for each camera, and then simultaneously reproduce the packets including the same synchronization time information. The user may simultaneously view time-synchronized images of the plurality of captured images received through one broadcast channel.

즉, 서버단에서 동일한 동기화용 시간 정보를 포함하는 패킷들로 그루핑하는 경우에는 그 처리 과정에 따른 딜레이가 발생할 수 있지만, 본 실시예와 같이 서버단(즉, 촬영 영상 전송 시스템(100))에서는 각 패킷별로 동기화용 시간 정보를 포함시키기만 하고, 실제 동 시점에 촬영된 영상들을 동시에 표시하는 것은 시청자 단말기(400)에서 이루어지도록 함으로써 불필요한 지연을 방지할 수 있게 된다.That is, in the case of grouping packets with the same synchronization time information at the server side, a delay may occur according to the processing process. However, in the server side (that is, the captured image transmission system 100) as in the present embodiment, Only the time information for synchronization is included for each packet, and the simultaneous display of images captured at the same time may be performed by the viewer terminal 400, thereby preventing unnecessary delay.

여기서 통합 영상 생성부(140)에서 생성되는 하나의 통합 영상 신호는 하나의 시청 채널에서 시청할 수 있는 영상 신호에 해당할 수 있다.Here, one integrated video signal generated by the integrated image generator 140 may correspond to a video signal that can be viewed on one viewing channel.

즉, 앞서 언급한 바와 같이 동기화 영상 신호가 일종의 TS 포맷의 파일이라 한다면, 통합 영상 신호는 이러한 각각의 TS 파일들의 조합으로 이루어진 통합 파일이라 할 수 있는데, 이러한 통합 TS 파일은 하나의 방송 채널을 통해 스트리밍 방식으로 전송될 수 있는 것이다.That is, as mentioned above, if the synchronized video signal is a file of a TS format, the integrated video signal may be an integrated file composed of a combination of each of these TS files. It can be transmitted in a streaming manner.

여기서 '파일'이라는 것이 반드시 영상의 시작부터 마지막까지 모두 포함하는 것을 의미하는 것은 아니고, 각 카메라(210,220,230)로부터 수신되는 촬영 영상 신호에 의해 실시간 생성되는 구간별 파일일 수 있다.Here, the term “file” does not necessarily include all the images from the beginning to the end of the image, but may be a file for each section generated in real time by the captured image signal received from each camera 210, 220, or 230.

전송부(150)는 통합 영상 생성부(140)에 의해 생성된 통합 영상 신호를 수신 단말기로 전송하는 기능을 수행한다.The transmitter 150 transmits the integrated image signal generated by the integrated image generator 140 to the receiving terminal.

예를 들어 전송부(150)는 시청자 단말기(400)와 상호 통신이 가능한 통신 채널을 연결한 후 통합 영상 신호를 전송할 수도 있고, 또는 시청자 단말기(400)와 상호 통신 채널을 연결하지 않고 종래의 일 방향 방송국과 같이 무선 전파로 송출하는 방식으로 통합 영상 신호를 전송할 수도 있다.For example, the transmitter 150 may transmit an integrated video signal after connecting a communication channel capable of mutual communication with the viewer terminal 400, or may not connect the communication channel with the viewer terminal 400. The integrated video signal may be transmitted by transmitting by radio waves, such as a direction broadcasting station.

이처럼 통합 영상 생성부(140)에 의해 생성된 후 전송부(150)에 의해 시청자 단말기(400)에 전송되는 통합 TS 파일 헤더와 페이로드를 포함하는 패킷 단위로 연이어서 전송되는데, 이때 세션 연결을 위한 최초의 헤더 내에 특정 정보를 포함시켜 시청자 단말기(400)로 하여금 복수의 TS 파일을 전송하는 스트림임을 알려 줄 수 있다.As described above, the image is generated by the integrated image generating unit 140 and then transmitted in succession of packet units including the integrated TS file header and the payload, which are transmitted by the transmitting unit 150 to the viewer terminal 400. Specific information may be included in an initial header for indicating that the viewer terminal 400 is a stream for transmitting a plurality of TS files.

예를 들어 세션 연결을 위한 헤더에 PID(패킷 아이디)가 0인 경우 시청자 단말기(400)는 그 다음의 페이로드에 몇 개의 TS 파일(즉, 몇 개의 프로그램)을 전송하는지를 지정한 값이 포함되어 있음을 알 수 있다.For example, if PID (packet ID) is 0 in the header for the session connection, the viewer terminal 400 includes a value that specifies how many TS files (ie, how many programs) to send in the subsequent payload. It can be seen.

예를 들어 세션 연결을 위한 최초의 통합 TS 파일 스트림의 헤더 및 페이로드를 통해 3 개의 프로그램이 해당 통합 TS 파일에 포함되어 있다고 지정되는 경우, 촬영 영상 전송 시스템(100)은 그 이후의 패킷(헤더+페이로드)에 3 개의 각각의 TS 파일(프로그램)을 순차적으로 이어서 보내게 되고, 이러한 과정은 반복될 수 있다.For example, if the header and payload of the first integrated TS file stream for a session connection specify that three programs are included in the integrated TS file, the captured image transmission system 100 may determine that subsequent packets (headers 3 TS files (programs) are successively sent to + payload), and this process can be repeated.

즉, 촬영 영상 전송 시스템(100)은 1번 카메라(210)에 대응되는 1번 TS 패킷, 2번 카메라(220)에 대응되는 2번 TS 패킷, 3번 카메라(330)에 대응되는 3번 TS 패킷 이후에 다시 1번 TS 패킷, 2번 TS 패킷, 3번 TS 패킷과 같은 방식으로 전송할 수 있다.That is, the photographed image transmission system 100 includes a TS packet corresponding to the first camera 210, a TS packet corresponding to the second camera 220, and a third TS corresponding to the third camera 330. After the packet, it can be transmitted in the same manner as TS packet 1, TS 2 packet, and TS 3 packet.

첨언하면 상술한 통합 영상 생성부(140)가 통합 TS 파일을 생성한다는 것은 이처럼 몇 개의 TS 파일을 포함시켰는지에 대한 정보를 세선용 패킷(헤더 및 페이로드)에 포함시키는 과정과, 그 이후 각각의 개별 TS 파일을 순차적으로 이어서 붙이는 과정을 포함할 수 있다.In addition, the integrated image generation unit 140 may generate an integrated TS file by including information on how many TS files are included in the thin packet (header and payload), and thereafter, respectively. The process may then sequentially include attaching individual TS files.

이하에서는 도 3을 참조하여 본 발명의 제1 실시예에 따른 촬영 영상 전송 시스템(100)을 포함하는 전체적인 제어 흐름을 설명한다.Hereinafter, an overall control flow including the captured image transmission system 100 according to the first embodiment of the present invention will be described with reference to FIG. 3.

우선, 각 카메라(210,220,230)는 영상을 촬영하고(단계 S1), 그에 대응되는 촬영 영상 신호를 촬영 영상 전송 시스템(100)에 전송한다(단계 S3).First, each of the cameras 210, 220 and 230 captures an image (step S1), and transmits a captured image signal corresponding thereto to the captured image transmission system 100 (step S3).

이에 촬영 영상 전송 시스템(100)은 각 카메라(210,220,230)로부터 수신되는 촬영 영상 신호를 기초로 프레임별 영상프레임 스틸컷 이미지를 생성하고, 그 생성한 프레임별 영상프레임 스틸컷 이미지가 표시되도록 한다(단계 S5).Accordingly, the captured image transmission system 100 generates an image frame still cut image for each frame based on the captured image signal received from each of the cameras 210, 220, and 230, and displays the generated image frame still cut image for each frame (step). S5).

이렇게 각 카메라의 프레임별 영상프레임 스틸컷 이미지가 소정의 디스플레이 장치(미 도시함)에 표시된 상태가 도 4에 도시되었다.The state in which the image frame still cut image of each camera of each camera is displayed on a predetermined display device (not shown) is illustrated in FIG. 4.

이후, 관리자는 표시된 각 카메라의 프레임별 영상프레임 스틸컷 이미지에 포함된 현재 시각 이미지를 확인하여 동일한 시점에 촬영된 영상에 대응되는 카메라별 영상프레임 스틸컷 이미지를 선택할 수 있는데, 이처럼 관리자의 선택이 감지된 경우(단계 S7) 촬영 영상 전송 시스템(100)은 그 선택된 영상프레임 스틸컷 이미지를 각 카메라의 촬영 영상 신호를 서로 동기화시킨다(단계 S9).After that, the administrator can check the current time image included in the video frame still cut image of each displayed camera and select the video frame still cut image for each camera corresponding to the image captured at the same time. If detected (step S7), the captured image transmission system 100 synchronizes the selected image frame still cut image with the captured image signal of each camera (step S9).

예를 들어 촬영 영상 전송 시스템(100)은 관리자에 의해 선택된 각 카메라별 영상프레임 스틸컷 이미지에 대응되는 영상 프레임에 동일한 동기화용 시간 정보를 매칭시켜서 각 카메라의 프레임별 동기화 영상 신호를 생성하는 것이다.For example, the captured image transmission system 100 generates a synchronization image signal for each camera by matching the same synchronization time information to an image frame corresponding to the image frame still cut image for each camera selected by the administrator.

즉, 동기화 처리는 관리자에 의해 선택된 영상프레임 스틸컷 이미지에 대응되는 각 카메라의 영상 프레임에 각각 동일한 동기화용 시간 정보를 매칭시키는 것을 의미할 수 있다.That is, the synchronization process may mean matching the same synchronization time information with each image frame of each camera corresponding to the image frame still cut image selected by the administrator.

이러한 단계 S9의 동기화 처리 과정(즉, 특정 영상 프레임에 동기화용 시간 정보를 매칭시키는 과정)은 기 설정된 시간 마다, 예를 들어 주기적인 시간 간격마다 반복 처리될 수도 있다.The synchronization process of the step S9 (that is, the process of matching synchronization time information with a specific image frame) may be repeated for each preset time, for example, at periodic time intervals.

즉, 촬영 영상 전송 시스템(100)은 각 카메라로부터 촬영 영상 신호가 수신되는 최초에만 시간 동기화 처리 과정을 수행하는 것이 아니라, 주기적으로 반복하여 시간 동기화 처리 과정을 수행할 수 있는 것이다.That is, the captured image transmission system 100 may perform the time synchronization process periodically and repeatedly instead of performing the time synchronization process only for the first time that the captured image signal is received from each camera.

이어서 촬영 영상 전송 시스템(100)은 각 카메라(210,220,230)로부터 수신된 촬영 영상 신호를 이용하여 전송을 위한 별도 포맷의 파일(일 예로 TS 파일)을 생성하는데, 상술한 바와 같이 동기화용 시간 정보를 매칭시킨 경우에는 각 TS 파일에 그 매칭된 동기화용 시간 정보를 포함시킬 수 있다(단계 S11).Subsequently, the captured image transmission system 100 generates a separate format file (for example, a TS file) for transmission by using the captured image signals received from each of the cameras 210, 220, and 230. Matching time information for synchronization as described above is matched. In this case, the matched synchronization time information may be included in each TS file (step S11).

이후, 촬영 영상 전송 시스템(100)은 각각의 TS 파일을 다중화 처리한 통합 TS 파일을 생성한다(단계 S13).Thereafter, the captured image transmission system 100 generates an integrated TS file obtained by multiplexing each TS file (step S13).

여기서 TS 파일은 물론이고 통합 TS 파일은 실시간으로 생성되는 콘텐츠 스트림에 해당할 수 있다.Here, the TS file as well as the integrated TS file may correspond to a content stream generated in real time.

이어서 촬영 영상 전송 시스템(100)은 생성한 통합 TS 파일을 한 개의 방송 채널을 통해 시청자 단말기(400)에 전송할 수 있다(단계 S15).Subsequently, the captured image transmission system 100 may transmit the generated integrated TS file to the viewer terminal 400 through one broadcast channel (step S15).

예를 들어 시청자 단말기(400)가 방송 채널 번호 5번을 선택하여 야구 중계 경기를 시청하고자 하는 경우, 촬영 영상 전송 시스템(100)은 그 5번 방송 채널을 통해 상술한 복수의 카메라(210,220,230)에 의해 촬영된 촬영 영상은 물론이고 동기화를 위한 시간 정보를 각각 포함하는 복수 개의 TS 파일을 통합된 형태(통합 TS 파일)로 전송할 수 있는 것이다.For example, when the viewer terminal 400 selects broadcast channel number 5 to watch a baseball relay game, the captured image transmission system 100 transmits to the plurality of cameras 210, 220, 230 described above through the broadcast channel 5. It is possible to transmit a plurality of TS files each including time information for synchronization as well as a captured image photographed by the integrated form (integrated TS file).

즉, 촬영 영상 전송 시스템(100)은 동일한 아이피:포트를 통해 시청자 단말기(400)에 상술한 통합 TS 파일을 전송하는 것이다.That is, the captured image transmission system 100 transmits the above-described integrated TS file to the viewer terminal 400 through the same IP: port.

이에 따라 시청자 단말기(400)에서는 촬영 영상 전송 시스템(100)이 전송한 통합 TS 파일에 포함된 개별 TS 파일을 각각 추출하여 디스플레이 할 수 있게 된다.Accordingly, the viewer terminal 400 may extract and display individual TS files included in the integrated TS file transmitted by the captured image transmission system 100.

예를 들어 시청자 단말기(400)는 하나의 화면에 투수가 투구하는 영상을 주된 영상으로 표시함과 아울러 1루 주자의 영상 또는 외야수의 영상, 감독을 촬영한 영상 등을 동시에 표시할 수 있다.For example, the viewer terminal 400 may display an image pitched by a pitcher on one screen as a main image, and simultaneously display an image of a first baseman, an image of an outfielder, an image of a director, and the like.

특히, 각 개별 TS 파일에는 동기화용 시간 정보가 포함되어 있으므로 시청자 단말기(400)는 동시에 표시하는 영상들에 대해 같은 시간으로 동기화시킬 수 있다.In particular, since each individual TS file includes time information for synchronization, the viewer terminal 400 may synchronize images simultaneously displayed at the same time.

예를 들어 시청자 단말기(400)는 촬영 영상 전송 시스템(100)으로부터 1번 카메라(210)에 대응되는 TS 파일과 2번 카메라(220)에 대응되는 TS 파일 및, 3번 카메라(230)에 대응되는 TS 파일을 포함하는 통합 TS 파일을 스트리밍 방식으로 수신하여 그 각각의 카메라(210,220,230)에서 촬영된 영상을 동시에 화면상에 표시하는 경우, 그 수신되는 통합 TS 파일로부터 추출되는 TS 파일 내에 포함된 동기화용 시간 정보를 이용하여 같은 시간에 촬영된 영상들이 동시에 표시되도록 할 수 있다.For example, the viewer terminal 400 corresponds to a TS file corresponding to the first camera 210, a TS file corresponding to the second camera 220, and a third camera 230 from the captured image transmission system 100. When the integrated TS file including the TS file is received in a streaming manner and the images captured by the respective cameras 210, 220, and 230 are simultaneously displayed on the screen, synchronization included in the TS file extracted from the received integrated TS file is displayed. Using the time information, images captured at the same time may be displayed at the same time.

즉, 각 카메라(210,220,230)마다 촬영 영상을 전송하는 시간이 다를 수도 있고, 또는 네트워크 상황상 각 카메라(210,220,230)가 전송한 촬영 영상 신호 중 일부가 지연 처리될 수도 있는데, 상술한 바와 같이 촬영 영상 전송 시스템(100)이 각 촬영 영상 신호를 기초로 관리자의 선택에 따른 동기화용 시간 정보를 각 TS 파일에 포함시킴으로써, 시청자 단말기(400)는 각 통합 TS 파일에 포함된 각 TS 파일의 동기화용 시간 정보를 이용하여 동일한 시간에 촬영된 영상들을 동시에 표시할 수 있는 것이다.That is, the time for transmitting the captured image may be different for each of the cameras 210, 220, and 230, or some of the captured image signals transmitted by the cameras 210, 220, and 230 may be delayed due to network conditions. As described above, the captured image is transmitted. By the system 100 including the time information for synchronization according to the manager's selection in each TS file based on each photographed video signal, the viewer terminal 400 may synchronize the time information for each TS file included in each integrated TS file. By using it can be displayed at the same time the images taken at the same time.

이하에서는 도 5를 참조하여 본 발명의 제2 실시예에 따른 촬영 영상 전송 시스템(100)을 포함하는 전체적인 제어 흐름을 설명한다.Hereinafter, an overall control flow including the captured image transmission system 100 according to the second embodiment of the present invention will be described with reference to FIG. 5.

도 4는 각 카메라가 촬영한 영상 신호에 대응되는 영상프레임 스틸컷 이미지들 간의 동시점을 판단하는 것이 관리자가 아닌 촬영 영상 전송 시스템(100) 자체에서 이미지 분석을 통해 자동 처리된다는 점에 차이가 있다.4 is different in that the determination of the simultaneous point between the image frame still cut images corresponding to the image signal captured by each camera is automatically processed through image analysis in the captured image transmission system 100 itself rather than the administrator. .

촬영 영상 전송 시스템(100)은 각 카메라(210,220,230)로부터 수신되는(단계 S23) 촬영 영상 신호를 기초로 프레임별 영상프레임 스틸컷 이미지를 생성하고(단계 S25), 그 생성된 각각의 영상프레임 스틸컷 이미지로부터 현재 시각 이미지를 추출한다(단계 S27).The photographed video transmission system 100 generates a frame-by-frame video frame still cut image based on the photographed video signal received from each camera 210, 220, or 230 (step S23), and generates each video frame still cut. The current time image is extracted from the image (step S27).

이어서 촬영 영상 전송 시스템(100)은 추출된 현재 시각 이미지를 분석하여 각 카메라의 영상프레임 스틸컷 이미지별 현재 시각을 판단한 후(단계 S29), 동일한 현재 시각(예를 들어 동일한 특정 현재 시각)에 대응되는 각 카메라의 영상프레임 스틸컷 이미지를 기준 이미지로 선정한다(단계 S31).Next, the captured image transmission system 100 analyzes the extracted current time image to determine the current time of each camera's image frame still cut image (step S29), and then corresponds to the same current time (for example, the same specific current time). The video frame still cut image of each camera is selected as the reference image (step S31).

여기서 기준 이미지로 선정한다는 것은 동일한 현재 시각으로 매칭시킬 대상으로 선정한다는 것을 의미할 수 있다.Here, selecting as the reference image may mean selecting as a target to be matched with the same current time.

이후, 촬영 영상 전송 시스템(100)은 선정된 각 카메라별 기준 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시킨다(단계 S33).Thereafter, the captured image transmission system 100 synchronizes the captured image signal of each camera based on the selected reference image for each camera (step S33).

예를 들어 촬영 영상 전송 시스템(100)은 각 카메라별 기준 이미지에 대응되는 영상프레임에 동일한 동기화용 시간 정보를 매칭시켜서 각 카메라의 프레임별 동기화 영상 신호를 생성하는 것이다.For example, the photographed image transmission system 100 generates a synchronization image signal for each camera frame by matching the same synchronization time information with the image frame corresponding to the reference image for each camera.

도 4를 참조하면 첫 번째 카메라(210)의 세 번째 영상프레임 스틸컷 이미지, 두 번째 카메라(220)의 세 번째 영상프레임 스틸컷 이미지와, 세 번째 카메라(230)의 세 번째 영상프레임 스틸컷 이미지에 12:02:03이라는 일치된 시간이 포함되어 있으므로, 이러한 영상프레임 스틸컷 이미지에 동일한 시간 정보(예를 들어 '1')를 매칭시킬 수 있는 것이다.Referring to FIG. 4, the third image frame still cut image of the first camera 210, the third image frame still cut image of the second camera 220, and the third image frame still cut image of the third camera 230 are described. Since 12:02:03 includes a matched time, the same time information (for example, '1') can be matched with the still image of the video frame.

이어서 촬영 영상 전송 시스템(100)은 각 카메라(210,220,230)로부터 수신된 촬영 영상 신호를 이용하여 전송을 위한 별도 포맷의 파일(일 예로 TS 파일)을 생성하는데(단계 S35), 상술한 바와 같이 동기화용 시간 정보를 매칭시킨 경우에는 각 TS 파일에 그 매칭된 동기화용 시간 정보를 포함시킬 수 있다.Subsequently, the captured image transmission system 100 generates a separate format file (for example, a TS file) for transmission using the captured image signals received from each of the cameras 210, 220, and 230 (step S35). When time information is matched, each TS file may include the matched time information for synchronization.

이후, 촬영 영상 전송 시스템(100)은 각각의 TS 파일을 다중화 처리한 통합 TS 파일을 생성한다(단계 S37).Thereafter, the captured image transmission system 100 generates an integrated TS file obtained by multiplexing each TS file (step S37).

이어서 촬영 영상 전송 시스템(100)은 생성한 통합 TS 파일을 한 개의 방송 채널을 통해 시청자 단말기(400)에 전송할 수 있다(단계 S39).Subsequently, the captured image transmission system 100 may transmit the generated integrated TS file to the viewer terminal 400 through one broadcast channel (step S39).

한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.On the other hand, the process of performing each of the above-described embodiments can be performed by a program or an application stored in a predetermined recording medium (for example, computer readable). Here, the recording medium includes both an electronic recording medium such as a random access memory (RAM), a magnetic recording medium such as a hard disk, an optical recording medium such as a compact disk (CD), and the like.

이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.In this case, the program stored in the recording medium may be executed on hardware such as a computer or a smartphone to perform the above-described embodiments. In particular, at least one of the above-described functional blocks of the present invention may be implemented by such a program or application.

또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. In addition, this invention is not limited to the above-mentioned specific Example, It can implement in a various deformation | transformation and correction within the range which does not deviate from the summary of this invention.

특히, 상술한 실시예에서는 영상 신호를 동기화하여 다중화 처리하여 전송하는 것을 일 예로 하였으나, 음성 콘텐츠에도 이러한 기술이 적용될 수 있다.In particular, in the above-described embodiment, an example of synchronizing and transmitting a video signal by multiplexing and transmitting the same may be applied to audio content.

또한, 동기화 처리까지는 영상을 기초로 이루어지고 전송하는 패킷만 음성 패킷으로 이루어질 수도 있다. 예를 들어 상술한 촬영 영상 전송 시스템 대신에 음성 전송 시스템으로 구현될 수 있고, 이 경우, 음성 전송 시스템은 복수의 카메라로부터 각각의 음성 신호를 포함하는 촬영 영상 신호를 수신하고, 그 복수의 카메라로부터 수신된 각각의 촬영 영상 신호를 이용하여 각 카메라별로 영상프레임 스틸컷 이미지를 생성하며, 생성된 각각의 영상프레임 스틸컷 이미지를 기초로 각 카메라의 촬영 영상 신호를 서로 동기화시키고, 동기화된 각각의 촬영 영상 신호에 대응되는 음성 신호를 다중화시켜 하나의 통합 음성 신호를 생성한 후, 수신 단말기로 전송할 수 있는 것이다.In addition, until the synchronization process, only packets to be transmitted based on the image and transmitted may be composed of voice packets. For example, the voice transmission system may be implemented as a voice transmission system instead of the above-described captured image transmission system. In this case, the voice transmission system receives a captured image signal including a respective voice signal from a plurality of cameras, Generates a video frame still cut image for each camera by using the received captured video signals, synchronizes the captured video signals of each camera based on the generated video frame still cut images, and synchronizes each captured image. The audio signal corresponding to the video signal may be multiplexed to generate one integrated audio signal and then transmitted to the receiving terminal.

이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다. It will be apparent that such variations and modifications are included in the present invention as long as they belong to the appended claims.

100 : 촬영 영상 전송 시스템 210,220,230 : 카메라
310,320,330 : 현재 시각 표시기 400 : 시청자 단말기
110 : 영상 수신부 120 : 스틸컷 이미지 생성부
130 : 동기화 처리부 140 : 통합 영상 생성부
150 : 전송부100: recording video transmission system 210,220,230: camera
310, 320, 330: current time indicator 400: viewer terminal
110: image receiving unit 120: still cut image generating unit
130: synchronization processing unit 140: integrated image generation unit
150: transmission unit

Claims

(a) receiving respective captured image signals from a plurality of cameras;
(b) generating an image frame still cut image for each camera by using each captured image signal received from the plurality of cameras;
(c) synchronizing the captured image signals of each camera based on the respective image frame still cut images generated in step (b);
(d) multiplexing each of the synchronized photographed video signals to generate one integrated video signal;
(e) transmitting the integrated video signal generated in step (d) to a receiving terminal;
In the step (c), a specific image frame still cut image is selected as a reference image for each camera using a comparison result of the image frame still cut images for each camera, and for each camera based on the selected reference image. And controlling synchronization by including synchronization time information in each frame of the captured image signal.

The method of claim 1,
In the step (b), a plurality of image frame still cut images are generated for each camera by using the captured image signals received from the plurality of cameras,
In step (c),
(c1) controlling each image frame still cut image generated in step (b) to be displayed separately for each camera;
(c2) selecting one specific video frame still cut image for each camera as a reference image according to a selection of an administrator who identifies a plurality of video frame still cut images for each camera;
(c3) The method of controlling a plurality of captured image transmission systems, wherein the synchronization is performed by including synchronization time information in each frame of the captured image signal for each camera based on the reference image selected in the step (c2).

The method of claim 1,
In step (c),
(c1) extracting a current visual image from each image frame still cut image generated in step (b);
(c2) After analyzing the current time image extracted in the step (c1) to determine the current time for each video frame still cut image of each camera, the image frame still cut image of each camera corresponding to the same current time is used as the reference image. Selecting;
(c3) The method of controlling a plurality of captured image transmission systems, wherein the synchronization is performed by including synchronization time information in each frame of the captured image signal for each camera based on the reference image selected in the step (c2).

The method according to claim 2 or 3,
In the step (c3), generating a synchronization video signal for each camera by matching the same time information to the video frame corresponding to the reference image for each camera selected in the step (c2),
In the step (d), the control method for a plurality of captured image transmission systems, characterized in that to generate a single integrated video signal by multiplexing each of the synchronization video signal.

The method of claim 4, wherein
In the step (c3), when the current visual image is included in each of the video frame still cut images generated in the (b), a synchronized video signal from which the current visual image is removed is generated for each camera. A control method of a plurality of captured video transmission system.

The method of claim 3,
In the step (c1), the current time image is extracted from each of the image frame still cut images generated in the step (b) based on a predetermined area.

The method of claim 1,
The integrated video signal generated in step (d) is a video signal that can be viewed on one viewing channel.

A computer-readable recording medium having recorded thereon a program for executing the method of claim 1.

An application program, stored in a computer readable recording medium, coupled with hardware to carry out the method of claim 1.

An image receiver configured to receive respective captured image signals from a plurality of cameras;
A still cut image generation unit generating an image frame still cut image for each camera by using each captured image signal received from the plurality of cameras;
A synchronization processor for synchronizing the captured image signals of each camera based on the respective image frame still cut images generated by the still cut image generator;
An integrated image generator for multiplexing each of the synchronized captured image signals to generate one integrated image signal;
A transmitter for transmitting an integrated video signal generated by the integrated video generator to a receiving terminal;
The synchronization processor selects a specific image frame still cut image for each camera as a reference image by using a comparison result of the image frame still cut images for each camera, and captures images for each camera based on the selected reference image. And synchronizing synchronization by including synchronization time information in each frame of the signal.

The method of claim 10,
The still cut image generation unit generates a plurality of image frame still cut images for each camera by using the captured image signals received from the plurality of cameras,
The synchronization processor controls each image frame still cut image generated by the still cut image generation unit to be displayed separately for each camera, and for each camera according to a manager's selection of a plurality of image frame still cut images for each camera. Selecting a particular image frame still cut image as a reference image, and performing synchronization by including synchronization time information in each frame of the captured image signal for each camera based on the selected reference image Shooting video transmission system.

The method of claim 10,
The synchronization processor extracts a current time image from each image frame still cut image generated by the still cut image generator, and analyzes the extracted current time image to determine a current time of each camera's image frame still cut image. After that, a video frame still cut image of each camera corresponding to a specific same current time is selected as a reference image, and synchronization time information is included in each frame of the captured video signal for each camera based on the selected reference image. A plurality of captured image transmission system, characterized in that performing .

The method according to claim 11 or 12, wherein
The synchronization processor generates a synchronization image signal for each camera, which matches the same time information to the video frame corresponding to the selected reference image for each camera,
And the integrated image generating unit multiplexes each of the synchronized image signals to generate one integrated image signal.

The method of claim 13,
If the current processing image is included in each video frame still cut image generated by the still cut image generating unit, the synchronization processor generates a synchronization video signal from which the current time image is removed for each camera. Shooting video transmission system.

The method of claim 12,
The synchronization processor extracts a current visual image based on a predetermined area from each image frame still cut image generated by the still cut image generation unit.

The method of claim 10,
And one integrated video signal generated by the integrated video generator is a video signal that can be viewed on one viewing channel.