KR101270516B1

KR101270516B1 - Method and apparatus for obtaining/providing a related video content section during playing a live audio stream

Info

Publication number: KR101270516B1
Application number: KR1020110130815A
Authority: KR
Inventors: 이승준; 최인춘; 구준모
Original assignee: 주식회사에어플러그
Priority date: 2011-12-08
Filing date: 2011-12-08
Publication date: 2013-06-04
Anticipated expiration: 2031-12-08

Abstract

본 발명에 따른 단말기는, 무선통신망을 통해 실시간(live) 미디어 데이터를 수신하여 플레이(play)할 수 있는 단말기로서, 사용자의 입력을 수신하기 위한 입력부와, 수신되는 미디어 데이터를 디코딩하기 위한 미디어 처리부와, 외부 서버로부터 무선 통신망을 통해 실시간 오디오 데이터를 수신하여 상기 미디어 처리부에 전달하는 중에 상기 입력부를 통해 사후(post) 획득 요청이 있으면 그 요청에 따라 해당 지점 또는 구간정보를 포함하는 영상 연관정보를 생성하도록 구성되고, 또한, 현재 상태가 연관영상 획득이 가능한 조건의 하나에 해당하면, 상기 생성된 영상 연관정보를 포함하는 통신규약에 의한 요구를 외부 서버로 송신하여, 상기 사후획득 요청 시점의 상기 실시간 오디오 데이터의 플레이 지점에 걸친 구간과 함께 실시간으로 상기 외부 서버가 송신하였던 영상 미디어의 구간 데이터를 수신하여 저장하도록 구성된 제어부를 포함한다.A terminal according to the present invention is a terminal capable of receiving and playing live media data through a wireless communication network, comprising: an input unit for receiving a user input and a media processing unit for decoding the received media data And, if there is a post acquisition request through the input unit while receiving real-time audio data from an external server through a wireless communication network and transmitting it to the media processing unit, image related information including corresponding point or section information is provided according to the request. And generate a request according to a communication protocol including the generated video association information to an external server, when the current state corresponds to one of the conditions for obtaining the associated video. The external standing in real time with a section spanning the play point of the real-time audio data And a control unit configured to receive and store the interval data of the image media transmitted by the server.

Description

Method and apparatus for obtaining / providing a related video content section during play of a live audio stream

본 발명은, 무선통신망을 사용하여 오디오 스트림, 특히 실시간(live)의 오디오 스트림과 연관된 영상 컨텐트 구간을 획득/제공하는 방법과 장치에 관한 것이다.
The present invention relates to a method and apparatus for obtaining / providing an image content section associated with an audio stream, in particular a live audio stream, using a wireless communication network.

이동 통신망이 발전하면서, 이용자들은 휴대폰은 물론이고, 스마트폰, 태블릿 컴퓨터 등( 이하, “무선통신 단말기”로 통칭한다. )을 이용해 장소에 구애받지 않고, 자신이 필요로 하는 다양한 정보를 브라우징을 통해 확인하거나 또는 원하는 컨텐츠를 다운로드 또는 스트리밍(streaming)방식으로 수신하여 볼 수 있게 되었다. As the mobile communication network evolves, users can browse various information that they need by using smart phones, tablet computers (hereinafter collectively referred to as "wireless communication terminals") as well as mobile phones, Or by downloading or streaming the desired content.

특히, 무선통신 인프라와 무선통신 단말기의 성능이 더욱 개선되면서, 이제는 많은 영상 컨텐츠, 예를 들어 스포츠 중계, 뉴스, 음악 프로그램 등이 실시간(live)으로 이동 통신망을 통해 제공되기도 한다.In particular, as the performance of the wireless communication infrastructure and the wireless communication terminal is further improved, many video contents, for example, sports broadcasts, news, music programs, etc., are also provided through the mobile communication network in real time.

그런데, 이동 통신망은 장소나, 이용자의 밀집도 등에 따라 통신환경이 매우 가변적이어서 실시간의 컨텐트 스트림의 품질이 가변되거나 끊김현상이 발생하거나 또는 완전히 스트리밍이 중단되기도 한다. 스트리밍되는 영상 컨텐트가 플레이되는 도중에 이러한 상황이 발생하면, 이용자가 정말로 궁금한 상황의 내용을 시청할 수가 없게 된다.However, the mobile communication network has a very variable communication environment depending on the location, the density of the user, etc., so that the quality of the real-time content stream may vary, or the streaming may be interrupted or the streaming may be completely stopped. If this happens while the video content being streamed is playing, the user will not be able to watch the content of the situation that is really curious.

이용자는 실시간 영상 컨텐트를 시청하는 도중, 위와 같이 시청이 원할하지 못한 상황이 발생하면, 그 영상 컨텐트에 연계하여 실시간 오디오 스트림이 제공되는 경우에는 그 오디오 스트림을 요청함으로써 아쉬운대로 오디오만이라도 청취하고자 할 수도 있다. 하지만, 현재의 통신상황이, 대역폭이 상대적으로 작은 오디오 스트림에 대해서는 원할하게 지원하는 정도여서 오디오 청취에 전혀 문제가 없더라도 이용자에게는 영상을 시청하지 못한다는 아쉬움은 여전할 것이다. 특히, 청취하는 오디오의 내용이 특별한 장면에 대한 것인 경우, 예를 들어 스포츠 중계방송에서 홈런(Homerun)을 친 경우나 골(goal)을 넣은 경우 등에는 영상을 보지 못하는 아쉬움이 매우 커겠지만, 현재의 통신상황이 실시간 영상 컨텐트를 지원하지 못하는 상황이므로 어쩔 수 없이 감수해야 한다.
If the user does not want to watch the video while watching the real-time video content, if a real-time audio stream is provided in connection with the video content, the user may want to listen to the audio as unfortunately by requesting the audio stream. have. However, even if the current communication situation is smooth enough to support an audio stream with a relatively small bandwidth, there is still a feeling that the user cannot watch the image even if there is no problem in audio listening. In particular, if the content of the audio being listened to is a particular scene, for example, a home run or a goal is scored in a sports broadcast, the inconvenience of not being able to see the video is very large. Since the current communication situation does not support real-time video content, it must be taken care of.

본 발명은, 실시간의 오디오 스트림의 플레이 중 사용자가 원하는 임의의 영상 컨텐트 구간을 획득할 수 있도록 함으로써 오디오로만으로는 부족했던 느낌을 사후적으로 충분히 보충하여 즐길 수 있도록 하는 방법과 장치를 제공하는 데 일 목적이 있다.The present invention provides a method and apparatus for enabling a user to acquire an arbitrary video content section desired by a user while playing an audio stream in real time, so as to fully supplement the enjoyment after the audio is insufficient. There is a purpose.

본 발명의 다른 목적은, 청취되는 오디오 내용에 따라 사후적으로 시청하고자 하는 구간을 사용자가 적절히 조정할 수 있도록 하는 방법과 장치를 제공하는 것이다.Another object of the present invention is to provide a method and apparatus for allowing a user to appropriately adjust a section to be watched afterwards according to the audio content to be listened to.

본 발명의 또 다른 목적은, 사용자가 사후적으로 시청하고자 하는 구간을 관심의 정도를 반영하여 자동적으로 결정함으로써, 사용자로 하여금 그 결정된 구간의 시청만으로 충분히 만족할 수도 있도록 하는 방법과 장치를 제공하는 것이다.It is still another object of the present invention to provide a method and an apparatus for allowing a user to be fully satisfied with only viewing the determined section by automatically determining a section that the user wants to watch after reflecting the degree of interest. .

본 발명의 목적은, 상기 명시적으로 서술된 목적에 국한되는 것은 아니며, 본 발명에 대한 구체적이고 예시적인 하기의 설명에서 도출될 수 있는 효과를 달성하는 것을 그 목적에 당연히 포함한다.
It is to be understood that the object of the present invention is not limited to the explicitly stated objects, but, of course, it is an object of the present invention to achieve the effect which can be derived from the following specific and exemplary description of the present invention.

본 발명의 일 측면에 따른, 무선통신망을 통해 미디어 데이터를 수신하여 플레이(play)할 수 있는 단말기는, 사용자의 입력을 수신하기 위한 입력부와, 수신되는 미디어 데이터를 디코딩하기 위한 미디어 처리부와, 외부 서버로부터 무선 통신망을 통해 실시간(live) 오디오 데이터를 수신하여 상기 미디어 처리부에 전달하는 중에 상기 입력부를 통해 사후획득 요청이 있으면 그 요청에 따라 영상 연관정보를 생성하도록 구성되고, 또한, 현재 상태가 연관영상 획득이 가능한 조건의 하나에 해당하면, 상기 생성한 영상 연관정보를 포함하는 통신규약에 의한 요구를 외부 서버로 송신하여, 상기 사후획득 요청 시점의 상기 실시간 오디오 데이터의 플레이 지점에 걸친 구간과 함께 실시간으로 상기 외부 서버가 송신하였던 영상 미디어의 구간 데이터를 수신하여 저장하도록 구성된 제어부를 포함하여 구성된다.According to an aspect of the present invention, a terminal capable of receiving and playing media data through a wireless communication network includes an input unit for receiving a user input, a media processing unit for decoding the received media data, and an external device. If there is a post-acquisition request through the input unit while receiving live audio data from a server through a wireless communication network and transmitting it to the media processing unit, it is configured to generate image related information according to the request. If one of the conditions for acquiring the image corresponds to one of the conditions, the request by the communication protocol including the generated video related information is transmitted to an external server, and together with the section over the play point of the real-time audio data at the time of the post-acquisition request. Receive section data of the video media transmitted by the external server in real time It is configured to include a control unit configured to store.

본 발명에 따른 일 실시예에서는, 연관영상 획득이 가능한 상기 조건에는, 데이터 서비스의 이용시 비용이 없거나 확정비용을 배제한 비용이, 상기 이동 통신망보다 적게 드는 통신망의 이용가능과, 상기 이동 통신망이 영상 미디어의 추가 전송이 가능한 전송 대역폭을 제공하는 경우와, 상기 사후획득 요청의 시점으로부터 기 지정된 시간의 경과와, 상기 실시간 오디오 데이터의 수신의 중단 또는 종료가 포함될 수 있다.According to an embodiment of the present invention, in the condition that the associated image acquisition is possible, the use of a communication network in which there is no cost in using a data service or a cost excluding a fixed cost is less than that of the mobile communication network, and the mobile communication network is an image media. It may include the case of providing a transmission bandwidth capable of further transmission, the elapse of a predetermined time from the time of the post-acquisition request, and the interruption or termination of the reception of the real-time audio data.

본 발명에 따른 일 실시예에서는, 상기 영상 연관정보는, 상기 실시간 오디오 데이터의 상기 플레이 지점에 걸친 상기 구간의 시작점과 종료점에 대한 정보와, 상기 구간과 동시간에 플레이 의도된, 상기 실시간의 영상 미디어의 구간의 시작점과 종료점에 대한 정보 중 어느 하나의 정보를 포함한다. 그리고 상기 시작점과 종료점에 대한 상기 정보는, 해당 미디어에 속하는 임의 컨텐트 조각에 대한 식별정보와, 그 임의 컨텐트 조각에서의 해당 지점에 대한 플레이관련 시간정보를 포함할 수도 있다. 또한, 상기 시작점과 상기 종료점은, 상기 실시간 오디오 데이터의 상기 플레이 지점과, 그 플레이 지점과 동시간에 플레이 의도된, 상기 영상 미디어상의 대응 지점 중 어느 하나의 지점을 기준으로 각기 기 지정된 시간폭에 의해 지정될 수 있다.In one embodiment according to the present invention, the video association information includes information about a start point and an end point of the section over the play point of the real-time audio data, and the video in real time, which is intended to be played at the same time as the section. Information of any one of the start point and the end point of the section of the media is included. The information about the starting point and the ending point may include identification information about any piece of content belonging to the media and play-related time information about the point in the piece of arbitrary content. Further, the starting point and the ending point are respectively defined in a predetermined time width based on any one of the play point of the real-time audio data and a corresponding point on the video media intended to be played at the same time as the play point. Can be specified.

직전의 일 실시예에서는, 상기 제어부는, 상기 플레이 지점을 기준으로 기 지정된 시간폭으로써 정한 잠정 종료점의 오디오 데이터가 상기 미디어 처리부에 의해 디코딩되기 전 또는 후에 사용자에게 연장여부를 문의하고, 상기 입력부를 통해 연장이 요청되면 그에 따라 상기 잠정 종료점 이후의 상기 종료점으로 정하도록 구성될 수도 있다. 다르게는, 상기 제어부는, 상기 실시간 오디오 데이터의 상기 플레이 지점과 동시간에 플레이 의도된, 상기 영상 미디어상의 대응 지점의 전 또는 후의 일정 영상구간에 대해 행해진 타(他) 사후획득 요청들의 횟수의 상기 일정 영상구간상의 분포도를 외부 서버로부터 획득하고, 그 획득된 분포도에 근거하여 상기 시작점 또는 상기 종료점을 정하도록 구성될 수도 있다. 이 때는, 상기 제어부는, 상기 획득된 분포도를 기 지정된 시간폭으로써 분할하고, 각 시간폭에 속하는 총 횟수의 크기의 변화정도에 따라 해당 시간폭의 경계에 해당하는 지점을 상기 시작점 또는 상기 종료점으로 정하게 된다.In one embodiment just before, the control unit inquires whether the user extends the audio data of the tentative end point determined by the predetermined time width based on the play point before or after the media processing unit is decoded, and the input unit The extension may be configured to determine the end point after the provisional end point accordingly. Alternatively, the control unit is configured to determine the number of other post-acquisition requests made for a predetermined video segment before or after the corresponding point on the video media, which is intended to be played at the same time as the play point of the real-time audio data. It may be configured to obtain a distribution chart on a certain image section from an external server and determine the start point or the end point based on the obtained distribution map. In this case, the controller divides the obtained distribution map into a predetermined time width, and the point corresponding to the boundary of the time width according to the degree of change in the magnitude of the total number of times belonging to each time width to the start point or the end point. Decided.

또한, 직전의 일 실시예에서는, 상기 제어부는, 상기 사후획득 요청시점에 상기 미디어 처리부에 의해 디코딩되고 있는 상기 실시간 오디오 데이터의 현재 컨텐트 조각과 동시간에 플레이 의도된 상기 영상 미디어에 속하는 컨텐트 조각을 식별하고, 상기 플레이 지점의 상기 현재 컨텐트 조각에서의 상대적 시간을 확인한 후, 상기 식별된 컨텐트 조각에서의 상기 상대적 시간과 동일한 상대적 시간에 해당하는 위치를 기준으로 하여 상기 시작점과 종료점을 정하도록 구성될 수도 있다.In addition, in an immediately preceding embodiment, the controller is further configured to display a piece of content belonging to the video media intended to be played at the same time as the current content piece of the real-time audio data being decoded by the media processing unit at the time of the post-acquisition request. Identify, identify the relative time in the current piece of content of the play point, and then determine the starting and ending points based on a position corresponding to the same relative time as the relative time in the identified piece of content. It may be.

본 발명에 따른 다른 일 실시예에서는, 상기 영상 연관정보는, 상기 실시간 오디오 데이터의 상기 플레이 지점에 대한 정보와, 상기 플레이 지점과 동시간에 플레이 의도된, 상기 실시간의 영상 미디어상의 대응 지점에 대한 정보 중 어느 하나의 정보를 포함한다. 본 실시예에서는, 상기 제어부는, 상기 영상 연관정보를 포함하는 상기 통신규약에 의한 요구를 상기 외부 서버로 송신하여 그에 따른 응답으로 상기 영상 미디어의 구간 정보를 수신하고, 그 수신된 구간 정보를 요청하는 통신규약에 의한 요구를 상기 외부 서버로 송신함으로써 상기 영상 미디어의 상기 구간 데이터를 수신하여 저장하도록 구성될 수도 있다. 또한, 상기 제어부는, 상기 사후획득 요청시점에 상기 미디어 처리부에 의해 디코딩되고 있는 상기 실시간 오디오 데이터의 현재 컨텐트 조각과 동시간에 플레이 의도된 상기 영상 미디어에 속하는 컨텐트 조각을 식별하고, 상기 플레이 지점의 상기 현재 컨텐트 조각에서의 상대적 시간( 예를 들어, 해당 조각의 선두로부터 디코딩 지점까지의 플레이 시간 )을 확인한 후, 상기 식별된 컨텐트 조각에서의 상기 상대적 시간과 동일한 상대적 시간에 해당하는 위치를 상기 대응 지점으로 정하도록 구성될 수도 있다.In another embodiment according to the present invention, the video association information includes information about the play point of the real-time audio data and a corresponding point on the real-time video media intended to be played at the same time as the play point. Contains any one of the information. In the present embodiment, the control unit transmits a request according to the communication protocol including the video association information to the external server, receives section information of the video media in response thereto, and requests the received section information. It may be configured to receive and store the section data of the video media by sending a request according to a communication protocol to the external server. The control unit may further identify, at the post-acquisition request, a content piece belonging to the video media intended to be played at the same time as the current content piece of the real-time audio data being decoded by the media processing unit, Identify the relative time in the current piece of content (eg, the play time from the head of the piece to the decoding point), and then correspond to a position corresponding to a relative time equal to the relative time in the identified piece of content. It may also be configured to establish a point.

전술한 실시예들에서, 상기 제어부는, 상기 현재 컨텐트 조각의 파일명에 포함되어 있는 순서번호와 동일한 순서번호를 파일명에 포함하는 상기 영상 미디어에 속하는 컨텐트 조각을, 또는 상기 현재 컨텐트 조각의 파일명이, 수신되어 있는 오디오 컨텐트 조각의 파일목록상에서의 위치하는 순서와 동일한 순서로, 수신되어 있는 영상 컨텐트 조각 파일목록상에 위치하는 파일명을 갖는 상기 영상 미디어에 속하는 컨텐트 조각을, 상기 현재 컨텐트 조각과 동시간에 플레이 의도된 상기 영상 미디어에 속하는 컨텐트 조각으로 식별토록 구성될 수도 있다.In the above-described embodiments, the control unit may include a content piece belonging to the video media including the same sequence number as the sequence number included in the file name of the current content piece in the file name, or the file name of the current content piece, A content piece belonging to the video media having a file name located on the received video content piece file list in the same order as the location on the file list of the received audio content piece, at the same time as the current content piece. It may also be configured to identify a piece of content that belongs to the video media intended to be played on.

본 발명에 따른 일 실시예에서는, 상기 제어부는, 상기 수신된 영상 미디어의 구간 데이터로써 그 구간 종료점까지 지속적인 플레이가 가능한 것으로 확인되면 사용자의 요청에 따라 또는 자동적으로 상기 수신된 구간 데이터를 상기 미디어 처리부에 전달하여 디코딩되게 하도록 더 구성된다. 본 실시예에서는, 상기 제어부는, 상기 수신된 영상 미디어의 구간 데이터로써 그 구간 종료점까지 지속적인 플레이가 가능한 지를 확인하고, 플레이가 가능한 것으로 확인되면 플레이 가능을 알 수 있게 하는 정보를 사용자에게 제시하도록 더 구성될 수도 있다. 그리고, 상기 수신된 영상 미디어의 구간 데이터가 디코딩되도록 할 때는, 실시간상으로 그 구간 데이터가 플레이 의도되었던 시간, 즉 실시간으로 중계되었던 시간대를 알 수 있게 하는 정보를 사용자에게 제시할 수도 있다.In one embodiment according to the present invention, if it is determined that continuous play is possible to the end point of the section with the section data of the received image media, the control unit may automatically receive the received section data according to a user's request or the media processing unit. It is further configured to forward to be decoded. In the present embodiment, the control unit, to determine whether the continuous play is possible to the end point of the section with the section data of the received video media, and if it is confirmed that the play is possible to further present information to the user to know that the play is possible. It may be configured. When the section data of the received video media is to be decoded, the user may be presented with information that allows the user to know the time at which the section data was intended to be played in real time, that is, the time zone in which the section data was relayed in real time.

본 발명에 따른 일 실시예에서는, 상기 입력부는, 상기 미디어 처리부에 의해 디코딩되어 오디오로 출력할 데이터 소스(source)를 상기 실시간 오디오 데이터로 할 것인 지 상기 영상 미디어의 구간 데이터로 할 것인 지를 사용자가 선택할 수 있게 하는 입력도구를 더 포함하도록 구성된다. 본 실시예에서는, 상기 제어부는, 상기 미디어 처리부가 상기 실시간 오디오 데이터를 디코딩하고 있는 중일 때 상기 영상 미디어의 구간 데이터를 상기 미디어 처리부에 전달하여 디코딩되게 하는 경우에, 상기 입력부에 상기 입력도구가 포함되도록 제어하는 동작을 행하도록 더 구성될 수도 있다.According to an embodiment of the present invention, the input unit may determine whether the data source decoded by the media processing unit and output as audio is the real-time audio data or the interval data of the video media. It is further configured to include an input tool for the user to select. In the present embodiment, the control unit, when the media processing unit is decoding the real-time audio data to transfer the section data of the video media to the media processing unit to be decoded, the input unit includes the input tool It may be further configured to perform an operation to control.

본 발명에 따른 일 실시예에서는, 상기 제어부는, 상기 저장된 영상 미디어의 구간 데이터를 상기 미디어 처리부에 전달하도록 더 구성되거나, 또는 상기 수신되는 영상 미디어 데이터를 다른 어플리케이션이 액세스할 수 있는 형태로 저장하도록 구성된다.In one embodiment according to the present invention, the control unit is further configured to deliver the section data of the stored video media to the media processing unit, or to store the received video media data in a form that other applications can access. It is composed.

본 발명에 따른 다른 일 실시예에서는, 상기 영상 연관정보는, 상기 실시간 오디오 데이터의 상기 플레이 지점에 걸친 상기 구간과 동시간에 플레이 의도된, 상기 실시간의 영상 미디어의 구간에 속하는 특정 컨텐트 조각들에 대한 식별정보를 포함한다. 본 실시예에서는, 상기 제어부는, 상기 특정 컨텐트 조각들의 식별정보를 각기 포함하는 복수의 통신규약에 의한 요구를 작성하여, 상기 특정 컨텐트 조각들의 순서에 따라 상기 복수의 통신규약에 의한 요구를 상기 외부 서버로 차례대로 송신할 수도 있다.In another embodiment according to the present invention, the video association information is associated with specific pieces of content belonging to a section of the real-time video media intended to be played at the same time as the section over the play point of the real-time audio data. Contains identification information about In this embodiment, the control unit generates a request according to a plurality of communication protocols, each of which includes identification information of the specific content pieces, and requests the external communication request according to the order of the specific content pieces. You can also send to the server one after the other.

본 발명의 다른 일 측면에 따른, 실시간 오디오의 연관영상을 무선통신망을 통해 획득하여 플레이하는 일 방법은, 서버로부터 제공되는 실시간 오디오 데이터를 수신하여 이를 디코딩 출력하는 단계와, 사후획득 요청이 있으면, 그 요청시점의 상기 실시간 오디오 데이터상의 디코딩 지점을 확인하고, 그 디코딩 지점에 시간적으로 동기된, 상기 실시간 오디오 데이터와 함께 실시간으로 상기 서버가 송신하였던 실시간 영상 미디어상의 데이터 지점을 식별하고 그 식별된 지점 또는 그 지점의 전후의 지점에 대한 정보를 사용하여 영상 연관정보를 생성하는 단계와, 현재 상태가 연관영상 획득이 가능한 조건의 하나에 해당하면, 상기 생성한 영상 연관정보를 포함하는 통신규약에 의한 요구를 상기 서버로 송신하여 상기 사후획득 요청 시점의 상기 실시간 오디오 데이터의 디코딩 지점에 걸친 구간과 함께 실시간으로 상기 서버가 송신하였던 상기 영상 미디어의 구간 데이터를 수신하는 단계와, 상기 수신된 구간 데이터로써 그 구간 종료점까지 지속적인 플레이가 가능한 지를 확인하고, 가능한 경우에는 상기 수신된 구간 데이터가 디코딩 출력되게 하는 단계를 포함하여 이루어진다.According to another aspect of the present invention, a method of acquiring and playing an associated image of real-time audio through a wireless communication network includes receiving and decoding and outputting real-time audio data provided from a server, and if there is a post-acquisition request, Identify a decoding point on the real-time audio data at the time of the request, identify a data point on the real-time video media transmitted by the server in real time with the real-time audio data synchronized in time to the decoding point, and identify the identified point Or generating image related information by using information on points before and after the point; and if the current state corresponds to one of conditions for obtaining the related image, the communication protocol including the generated image related information according to the communication protocol. Send the request to the server and the thread at the time of the post-acquisition request Receiving the section data of the video media transmitted by the server in real time together with the section over the decoding point of the inter audio data, and confirming whether continuous play is possible to the end point of the section with the received section data, if possible And decoding the outputted interval data.

본 발명의 또 다른 일 측면에 따른, 저장공간에 저장된 프로그램을 통신망을 통해 제공하는 프로그램 공급장치는, 통신을 통해 외부와 데이터를 송수신할 수 있는 통신수단과, 상기 통신수단을 통해 송신되는, 무선통신 단말기에서 실행되는 어플리케이션이 수록되어 있는 저장수단을 포함하여 구성되되, 상기 어플리케이션은, 상기 무선통신 단말기에서 실행되는 경우, 사용자 입력을 수신하기 위한 기능과, 외부 서버로부터 이동 통신망을 통해 실시간(live) 오디오 데이터를 수신하여 디코딩이 되게 하는 기능과, 상기 디코딩 중에 상기 사용자 입력으로서 사후획득 요청이 있으면 그 요청에 따라 영상 연관정보를 생성하고, 또한, 현재 상태가 연관영상 획득이 가능한 조건의 하나에 해당하면, 상기 생성된 영상 연관정보를 포함하는 통신규약에 의한 요구를 외부 서버로 송신하여, 상기 사후획득 요청 시점의 상기 실시간 오디오 데이터의 플레이 지점에 걸친 구간과 함께 실시간으로 상기 외부 서버가 송신하였던 영상 미디어의 구간 데이터를 수신하는 기능을 수행하기 위한 프로그램 구조를 포함하여 구성되어 있다.According to another aspect of the present invention, a program supply device for providing a program stored in a storage space through a communication network, the communication means for transmitting and receiving data to and from the outside through communication, and the wireless transmission, It includes a storage means that contains an application running on the communication terminal, the application, when executed in the wireless communication terminal, a function for receiving a user input, and live from the external server through a mobile communication network (live) A function of receiving and decoding audio data, and generating a video association information according to the request if there is a post-acquisition request as the user input during the decoding; If applicable, according to the communication protocol including the generated image related information A program structure for transmitting a phrase to an external server to receive a section data of the video media transmitted by the external server in real time together with a section spanning the play point of the real-time audio data at the time of the post-acquisition request. It is configured to include.

본 발명의 또 다른 일 측면에 따른, 실시간 미디어와 관련된 영상 또는 정보를 제공하는 일 장치는, 영상 컨텐트에 대한 기준지점을 포함하는 영상 요청들을 통신망을 통해 수신하도록 구성된 망 접속부와, 상기 망 접속부를 통해 기 수신된 요청들에 포함되어 있는 기준지점들에 대한 상기 영상 컨텐트상의 분포와 횟수에 대한 통계정보가 구축되는 저장부와, 상기 망 접속부를 통해 수신되는 임의의 영상 요청에 포함되어 있는 기준지점 이후의 종료지점을 상기 통계정보에 근거하여 결정하고, 상기 기준지점에 근거하여 결정한 시작지점부터 상기 결정한 종료지점까지의 상기 영상 컨텐트의 구간 데이터가 상기 망 접속부를 통해 원격지의 단말기로 전송되게 하는 처리부를 포함하여 구성된다.In accordance with another aspect of the present invention, an apparatus for providing video or information related to real-time media includes a network connection unit configured to receive video requests including a reference point for video content through a communication network, and the network connection unit. A storage unit in which statistical information on the distribution and the number of times of the video content with respect to the reference points included in the previously received requests is constructed, and the reference point included in any video request received through the network connection unit. A processing unit for determining a subsequent end point based on the statistical information and allowing the section data of the video content from the start point determined based on the reference point to the determined end point to be transmitted to a remote terminal through the network connection unit; It is configured to include.

본 발명에 따른 일 실시예에서는, 상기 처리부는, 상기 기준지점 이전의 기 지정된 시간폭만큼에 해당하는 지점을 상기 시작지점으로 결정하도록 구성된다.In one embodiment according to the present invention, the processing unit is configured to determine a point corresponding to a predetermined time width before the reference point as the start point.

본 발명에 따른 다른 일 실시예에서는, 상기 처리부는, 상기 시작지점을 상기 통계정보에 근거하여 상기 기준지점 이전의 지점으로서 결정하도록 구성된다.In another embodiment according to the present invention, the processing unit is configured to determine the starting point as a point before the reference point based on the statistical information.

본 발명에 따른 일 실시예에서는, 상기 처리부는, 상기 통계정보에 의한 각 요청의 기준지점의 분포를 기 지정된 시간폭으로써 분할하고, 각 시간폭에 속하는 각 요청의 기준지점들의 총 횟수의 크기의 변화정도에 따라 해당 시간폭의 경계에 해당하는 지점을 상기 종료지점으로 결정하도록 구성된다.In one embodiment according to the present invention, the processing unit divides the distribution of reference points of each request according to the statistical information into a predetermined time width, and the size of the total number of reference points of each request belonging to each time width. The end point is configured to determine a point corresponding to the boundary of the corresponding time width according to the degree of change.

본 발명에 따른 일 실시예에서는, 상기 처리부는, 상기 결정한 시작지점과 종료지점을 지시하는 정보를 상기 임의의 영상 요청을 송신한 상기 원격지의 단말기에 제공하고, 상기 결정한 시작지점과 종료지점을 포함하는 영상 요청이 상기 망 접속부를 통해 수신되면, 상기 영상 컨텐트의 상기 구간 데이터가 상기 원격지의 단말기로 전송되게 하는 구성을 갖는다.In one embodiment according to the present invention, the processing unit provides information indicating the determined start point and end point to the terminal of the remote place that has transmitted the arbitrary video request, and includes the determined start point and end point. When the video request is received through the network connection unit, the section data of the video content is transmitted to the terminal of the remote site.

본 발명에 따른 일 실시예에서는, 상기 임의의 영상 요청에 포함되어 있는 상기 기준지점이 실시간으로 송신한 오디오 미디어상의 지점일 수도 있다. 이 경우에는 상기 처리부는, 오디오 미디어상의 그 지점과 동시간에 플레이의도하였던, 실시간으로 송신한 영상 미디어상의 지점을 식별하고 그 식별된 지점을 상기 기준지점으로 하여 상기 종료지점과 시작지점을 결정하도록 구성된다.In one embodiment according to the present invention, the reference point included in the arbitrary video request may be a point on audio media transmitted in real time. In this case, the processing unit identifies the point on the video media transmitted in real time, which was intended to be played at the same time as that point on the audio media, and determines the end point and the start point using the identified point as the reference point. It is configured to.

본 발명의 또 다른 일 측면에 따른, 실시간 미디어와 관련된 영상 또는 정보를 제공하는 일 장치는, 영상 컨텐트의 구간정보를 포함하는 영상구간 요청들을 통신망을 통해 수신하도록 구성된 망 접속부와, 상기 망 접속부를 통해 기 수신된 요청들에 포함되어 있는 구간정보에 근거하여 해당 요청들에 대한 상기 영상 컨텐트상의 분포와 횟수에 대한 통계정보가 구축되는 저장부와, 상기 망 접속부를 통해 수신되는 임의의 영상구간 요청에 포함되어 있는 구간정보에 의한 상기 영상 컨텐트상의 구간을 상기 통계정보에 근거하여 조정결정하고, 상기 조정 결정된 구간의 시작지점부터 종료지점까지의 데이터가 상기 망 접속부를 통해 상기 영상구간 요청을 송신한 단말기로 전송되게 하는 처리부를 포함하여 구성된다.In accordance with another aspect of the present invention, an apparatus for providing video or information related to real-time media includes a network connection unit configured to receive video segment requests including section information of video content through a communication network, and the network connection unit. A storage unit for constructing statistical information on the distribution and the number of times of the video content for the corresponding requests based on the section information included in the previously received requests, and any video section request received through the network connection unit. And adjusting the section on the video content based on the section information included in the data based on the statistical information, and transmitting data from the start point to the end point of the determined section through the network connection unit. And a processing unit for transmitting to the terminal.

본 발명에 따른 일 실시예에서는, 상기 처리부는, 상기 통계정보에 의한 각 요청 지점의 분포를 기 지정된 시간폭으로써 분할하고, 각 시간폭에 속하는 각 요청 지점들의 총 횟수의 크기의 변화정도에 따라 상기 구간정보에 의한 상기 영상 컨텐트상의 상기 구간을 조정 결정하도록 구성된다.In one embodiment according to the present invention, the processing unit divides the distribution of each request point based on the statistical information into a predetermined time width, and according to the degree of change in the magnitude of the total number of request points belonging to each time width. And adjust the section on the video content based on the section information.

본 발명에 따른 일 실시예에서는, 상기 구간정보가 실시간으로 송신한 오디오 미디어상의 양단(兩端) 지점으로써 지정되어 있을 수도 있다. 이 경우에는, 상기 처리부는, 그 양단 지점과 동시간에 플레이의도하였던, 실시간으로 송신한 영상 미디어상의 양단 지점을 식별하고 그 식별된 양단 지점간의 구간을 상기 구간정보로 하여 상기 영상 컨텐트상의 구간을 조정결정하도록 구성된다.
In one embodiment according to the present invention, the section information may be designated as both ends of the audio media transmitted in real time. In this case, the processing section identifies the both ends of the video media transmitted in real time, which was intended to be played at the same time as the both ends, and the section between the identified both ends as the section information, the section on the video content. It is configured to adjust the adjustment.

전술한 본 발명 또는, 하기에서 첨부된 도면과 함께 상세히 설명되는 본 발명의 적어도 일 실시예는, 무선통신 단말기의 사용자가 이동 통신망의 상황이 좋지 않아 실시간 오디오만을 청취하더라도 자신이 궁금한 상황이 있는 경우에 그 지점 또는 구간을 지정하면 적절한 통신상황이 되는 사후에 그 궁금했던 시점의 영상을 사용자가 시청할 수 있게 하여 그 궁금점을 해소할 수 있도록 한다. 그리고, 그 지정된 지점 또는 구간에 연관된 영상 컨텐트의 다운로드가 가능한 적절한 통신상황 여부를 자동적으로 확인하여 다운로드를 수행함으로써 사용자가 궁금해하는 영상을 가장 빠른 시간에 시각적으로 확인할 수 있도록 한다.At least one embodiment of the present invention described above, or described in detail with reference to the accompanying drawings, when the user of the wireless communication terminal has a situation in which he or she is curious even if the situation of the mobile communication network is listening to only real-time audio only If the point or section is assigned to the user, the user can watch the video at the time of the question after the fact that it becomes an appropriate communication situation so that the question can be solved. In addition, by automatically checking whether a suitable communication situation is possible to download the video content associated with the designated point or section, the download is performed so that the user can visually check the video in question at the earliest possible time.

또한, 본 발명의 실시예에 따라, 사용자가 실시간 오디오 청취 중 지정한 지점에 대해 그와 연관된 영상 컨텐트 구간을 타인들의 관심도를 반영하여 결정함으로써, 사용자가 구간을 인위적으로 결정하는 경우에 조작실수 또는 주의 부족 등으로 놓칠 수도 있는 관심을 유발시킬 수 있는 영상부분이 사후 다운로드 구간에서 배제되지 않도록 한다. 이로써, 사용자는 사후 다운로드된 영상 컨텐트 구간의 시청에서 충분히 만족할 수 있게 되며, 또 다른 부분을 획득하여 시청하고자 하는 노력 등을 기울이지 않아도 된다.
In addition, according to an embodiment of the present invention, by determining the video content section associated with the user to the point specified during the real-time audio listening reflecting the interests of others, when the user artificially determines the section by mistake or attention Don't rule out video downloads that might cause interest that you might miss due to lack. As a result, the user can be sufficiently satisfied with the viewing of the downloaded video content section, and does not have to make an effort to acquire and view another part.

도 1a는, 본 발명에 따른, 실시간 오디오 스트림의 플레이 중 연관된 영상 컨텐트 구간을 획득하는 방법의 실시예가 구현된 무선통신 단말기의 관련 구성요소들에 대한 프로그램적 관점의 논리적 구성과 외부 연결된 구성들을 예시한 것이고,
도 1b는, 본 발명의 일 실시예에 따른, 실시간 오디오 스트림의 플레이 중 연관된 영상 컨텐트 구간을 획득하는 일 방법이 구현된 무선통신 단말기의 구성을 예시한 것이고,
도 2는, 본 발명의 일 실시예에 따른 미디어 플레이어에 의해 구성되는 미디어 플레이 화면의 예를 도시한 것이고,
도 3은, 본 발명의 일 실시예에 따른, 실시간 오디오 스트림의 플레이 중 연관된 영상 컨텐트 구간을 획득할 수 있는 미디어 플레이어의 구성들을, 무선통신 단말기내의 연관된 일부 구성요소들과 함께 도시한 것이고,
도 4a는, 오디오/비디오 속성의 미디어와 오디오 속성의 미디어를 실시간(live)으로 각기 제공하는 경우에 대해 작성된 미디어 인덱스 정보의 예이고,
도 4b는, 실시간 영상 미디어의 액세스를 위해 순차적으로 요청해야 하는 파일목록 등이 기재된 목록파일의 정보의 예이고,
도 5a 및 5b는, 본 발명의 일 실시예에 따른, 실시간 오디오 스트림의 플레이 지점과 연관된 영상 컨텐트 구간을 획득하고 그 획득된 구간을 사후적으로 플레이하는 방법의 일 예에 따른 흐름도들이고,
도 6은, 실시간의 오디오/비디오 속성의 스트림을 플레이하는 도중 실시간의 오디오 속성의 스트림의 플레이로 전환하는 과정의 예를 예시한 것이고,
도 7은, 본 발명의 일 실시예에 따라, 사용자가 실시간 오디오 플레이 중 사후 다운로드 요청을 지정한 지점을 특정하기 위해 사용하는 정보의 예인 미디어 패킷의 시간정보를 예시한 것이고,
도 8은, 본 발명의 일 실시예에 따라, 사후 다운로드 요청이 지정된 오디오 스트림의 지점에 대해 그 지점 전후로의 영상 컨텐트 구간을 관련된 영상 컨텐트 조각(segment)들로부터 결정하는 과정을 예시적으로 도시한 것이고,
도 9는, 본 발명의 일 실시예에 따라, 사후 다운로드 요청된 지점에 대해 다운로드 요청할 연관된 영상 컨텐트 구간을 지정하기 위해 저장되는 정보의 예이고,
도 10a 및 10b는, 본 발명의 실시예들에 따라, 다운로드 요청할 구간의 연장여부를 실시간 오디오 플레이 중에 사용자에게 문의하는 미디어 플레이어의 화면의 예들을 각각 예시한 것이고,
도 11은, 본 발명의 일 실시예에 따라, 사후에 획득되는 영상 컨텐트 구간과 실시간 오디오 스트림의 동시 플레이 중에 오디오 출력의 소스(source)를 사용자가 선택할 수 있게 하는 선택도구를 미디어 플레이어의 화면에 제공하는 일 예이고,
도 12는, 본 발명의 일 실시예에 따라, 사용자들이 사후 다운로드 요청하는 지점들에 대한 통계정보에 근거하여, 임의의 요청 지점에 대한 영상 컨텐트 구간을 적응적으로 결정하는 방식을 설명하기 위한 도면이고,
도 13은, 본 발명의 일 실시예에 따른, 사후 다운로드 요청한 지점에 대한 통계정보를 구축하고 그 통계정보에 근거해 임의 요청 지점에 대한 구간을 적응적으로 결정하여 그 결정된 구간의 영상 컨텐트 데이터를 무선통신 단말기에 제공하는 서버의 구성의 일 예를 예시한 것이다.1A illustrates the logical and externally connected configurations of a programmatic view of the relevant components of a wireless communication terminal in which an embodiment of a method of obtaining an associated video content section during play of a real-time audio stream is implemented according to the present invention. One,
1B illustrates a configuration of a wireless communication terminal in which a method for acquiring an associated video content section during play of a real-time audio stream is implemented according to an embodiment of the present invention.
2 illustrates an example of a media play screen constituted by a media player according to an embodiment of the present invention.
3 illustrates configurations of a media player capable of obtaining an associated video content section during play of a real-time audio stream, with some associated components in a wireless communication terminal, in accordance with an embodiment of the present invention;
4A is an example of the media index information created for the case where the media of the audio / video attribute and the media of the audio attribute are provided in real time, respectively.
4B is an example of information of a list file in which a file list or the like that must be sequentially requested for access to the real-time video media is described.
5A and 5B are flowcharts according to an example of a method of acquiring a video content section associated with a play point of a real-time audio stream and post-playing the obtained section according to an embodiment of the present invention;
6 illustrates an example of a process of switching to play of a stream of audio attributes in real time while playing a stream of audio / video attributes in real time,
FIG. 7 illustrates time information of a media packet, which is an example of information used by a user to specify a point for designating a post download request during real-time audio play, according to an embodiment of the present invention.
FIG. 8 exemplarily illustrates a process of determining, from a related video content segments, a video content section before and after a point for a point of an audio stream for which a post download request is designated according to an embodiment of the present invention. Will,
9 is an example of information stored to designate an associated video content section to be downloaded for a post-requested point, according to one embodiment of the invention,
10A and 10B illustrate examples of screens of a media player for inquiring a user during a real-time audio play whether to extend a download request section according to embodiments of the present invention.
FIG. 11 illustrates a selection tool on a screen of a media player that allows a user to select a source of an audio output during simultaneous playback of a video content section and a real-time audio stream obtained afterwards, according to an embodiment of the present invention. Is an example of providing,
FIG. 12 is a diagram for describing a method of adaptively determining a video content section for an arbitrary request point based on statistical information about points for which a user requests post download according to an embodiment of the present invention. ego,
FIG. 13 illustrates the construction of statistical information on a post-download request point according to an embodiment of the present invention, and adaptively determines a section for an arbitrary request point based on the statistical information to display image content data of the determined section. An example of the configuration of a server provided to a wireless communication terminal is illustrated.

이하, 본 발명에 따른 실시예들에 대해 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1a는, 본 발명에 따른, 실시간(live) 오디오 스트림의 플레이 중 연관된 영상 컨텐트 구간을 획득하는 방법의 실시예가 구현된 무선통신 단말기의 관련 구성요소들에 대한 프로그램적 관점의 논리적 구성과 외부 연결된 구성들을 예시한 것이다. 1A is externally connected with a logical configuration of a programmatic view of the relevant components of a wireless communication terminal in which an embodiment of a method of obtaining an associated video content section during play of a live audio stream according to the present invention is implemented. Configurations are illustrated.

도면에 예시된 상기 무선통신 단말기(100)의 프로그램적 관점의 논리적 구성은, 상기 무선통신 단말기(100)의 하드웨어 자원( 도 1b에 예시된 )의 구동, 해당 자원과의 적절한 신호 및/또는 정보교환을 수행하기 위한, 통상의 운영시스템( 안드로이드, IOS, Window 등 ) 또는 본 발명을 위해 특화된 운영시스템(100a)을 구비하고 있으며, 또한 상기 운영시스템(100a)하에서 실행되는 미디어 플레이어(110)를 포함한다. 물론, 이들 외의 다양한 어플리케이션들이 구현되어 있을 수 있으나 본 발명의 원리와 개념을 설명하는 데 있어서 불요하므로 통상의 어플리케이션( 이하, “어플”로 약칭한다. )들에 대해서는 예시를 생략한다. The logical configuration of the programmatic view of the wireless communication terminal 100 illustrated in the figure is the driving of hardware resources (illustrated in FIG. 1B) of the wireless communication terminal 100, appropriate signals and / or information with the corresponding resources. A media player 110 having a normal operating system (Android, IOS, Window, etc.) or an operating system 100a specialized for the present invention for performing the exchange, and which is executed under the operating system 100a, is also provided. Include. Of course, various applications other than these may be implemented, but are unnecessary in describing the principles and concepts of the present invention, and thus, examples of the conventional applications (hereinafter, abbreviated as "applications") will be omitted.

도면에 예시된 상기 미디어 플레이어(110)는 상기 무선통신 단말기(100)에 구현된 프로세스(process) 또는 어플리케이션으로서, 도 1a에 예시된 바와 같이 상기 운영시스템(100a)을 기반으로 실행되는 코드들로 구성된 프로그램 구조를 갖는 소프트웨어의 형태로 제공될 수도 있다. 소프트웨어 형태로 제공되는 경우에는, 대용량 저장수단을 구비하고 또한 구비된 통신수단을 통해 통신망에 연결된 특정의 서버로부터 통상의 온라인(on-line) 구매과정 등을 거쳐 상기 대용량 저장수단에 수록된 상기 미디어 플레이어(110)가 상기 무선통신 단말기(100)에 다운로드되어 설치된 후에 필요에 따라 실행될 수 있다. 경우에 따라서는, 이하에서 상세히 설명하는 상기 미디어 플레이어(110)의 기능들의 일부가 상기 무선통신 단말기(100)의 미들웨어(middleware), 또는 플랫폼(platform) 형태로 미리 구현되어 있을 수도 있다. 또한 상기 미디어 플레이어(110)는 하드웨어(hardware)의 구성을 포함함으로써, 이하에서 상세히 설명하는 기능의 일부를 그 하드웨어가 수행할 수도 있다. 따라서, 본 발명에 따른 다양한 실시예들에서 그 구성과 동작방식이 설명되는 상기 미디어 플레이어(110)는 그 구현하는 자원의 형태나 방식에 의해 본 발명의 범위가 제한되는 것은 아니다.The media player 110 illustrated in the drawing is a process or an application implemented in the wireless communication terminal 100 and includes codes executed based on the operating system 100a as illustrated in FIG. 1A. It may be provided in the form of software having a configured program structure. When provided in the form of software, the media player having the mass storage means and recorded in the mass storage means through a normal on-line purchase process or the like from a specific server connected to the communication network through the provided communication means. After 110 is downloaded and installed in the wireless communication terminal 100, it may be executed as necessary. In some cases, some of the functions of the media player 110 described in detail below may be implemented in advance in the form of middleware or a platform of the wireless communication terminal 100. In addition, since the media player 110 includes a hardware configuration, the hardware may perform some of the functions described in detail below. Accordingly, the scope and scope of the present invention is not limited to the media player 110 in which the configuration and operation method are described in various embodiments according to the present invention.

본 발명에 따른 일 실시예에서는, 상기 미디어 플레이어(110)는, 수신되는 컨텐트의 미디어 데이터가 디코딩되도록 처리하는 미디어 처리부(111)와, 상기 운영시스템(100a)이 제공하는 API( Application Program Interface )를 호출하여 통신소켓(socket)을 생성하고 그 생성된 통신소켓을 통해, 상기 미디어 처리부(111)와 교환하는 데이터를 외부와 송수신하는 데이터 제어부(112)와, 상기 운영시스템(100a)이 제공하는 API를 호출하여 사용자와의 인터페이스 화면을 구성하는 UI 처리부(113)를 서브(sub) 프로세스로서 포함한다. 상기 데이터 제어부(112)는, 이용가능한 복수의 이종망들(11a,11b,…)에서 액세스 가능한 현재의 통신망을 상기 운영시스템(100a)을 통해 확인하고 그 통신망으로부터 할당받은 접속 IP주소를 사용하거나 또는 다른 통신망으로부터의 접속 IP주소의 할당을 요청함으로써 조건에 따라 필요한 통신망을 통하여 외부 서버(12)와 데이터를 송수신한다. 상기 운영시스템(100a)이 복수의 통신망을 동시에 접속하여 이용하는 것이 지원되는 경우에는 필요에 따라 복수의 통신망을 통하여 미디어 데이터를 수신할 수도 있다.In one embodiment according to the present invention, the media player 110, the media processing unit 111 for processing the media data of the received content to be decoded, and the API (Application Program Interface) provided by the operating system (100a) Call to create a communication socket (socket) and through the generated communication socket, the data control unit 112 for transmitting and receiving data exchanged with the media processing unit 111 with the outside, and the operating system 100a provided The UI processing unit 113 for calling the API to configure the interface screen with the user is included as a sub process. The data controller 112 checks the current communication network accessible by the plurality of available heterogeneous networks 11a, 11b, ... through the operating system 100a and uses the access IP address assigned from the communication network. Alternatively, by requesting allocation of an access IP address from another communication network, data is transmitted and received with the external server 12 through the necessary communication network according to the condition. When the operating system 100a supports the simultaneous connection and use of a plurality of communication networks, media data may be received through a plurality of communication networks as necessary.

본 발명에 따른 일 실시예에서는, 상기 미디어 처리부(111), 상기 데이터 제어부(112) 그리고 상기 UI 처리부(113)가, 상기 운영시스템(100a) 기반하에 수행되는 단일의 프로세스로서 구현될 수도 있다. 이 경우에는 각 자간의 정보 또는 데이터 교환은 광역변수들, 내부변수들 또는 로컬함수의 인자 및/또는 리턴값 등을 통해서 이루어질 수 있다. 따라서, 본 발명의 개념과 주제, 그리고 목적하는 효과 등은, 상기 미디어 처리부(111), 상기 데이터 제어부(112) 그리고 상기 UI 처리부(113)가 반드시 분리되어 각기 실행되는 프로세스를 전제하거나 필요로 하는 것은 아니며, 이하에서 설명하는 각 구성요소(111,112,113)의 모든 기능들이 단일의 프로세스로써 구현되어도 당연히 달성될 수 있다. In one embodiment according to the present invention, the media processing unit 111, the data control unit 112, and the UI processing unit 113 may be implemented as a single process performed based on the operating system 100a. In this case, the exchange of information or data between the respective entities may be performed through global variables, internal variables, or an argument and / or return value of a local function. Accordingly, the concepts, themes, and the desired effects of the present invention may be based on or require a process in which the media processing unit 111, the data control unit 112, and the UI processing unit 113 are separated and executed. Not all of the functions of each of the components 111, 112, and 113 described below can be naturally achieved even if they are implemented in a single process.

한편, 도 1a에 예시된 논리적 구성을 갖는 상기 무선통신 단말기(100)는, 전체적으로 도 1b에 예시된 바와 같은 하드웨어적 구성요소를 포함하여 구성되며, 무선 통신망, 예를 들어 공중의 이동전화 통신망 및/또는 고속의 무선 데이터망 등을 액세스할 수 있는 스마트 폰, 태블릿 컴퓨터, 이동전화 기능을 갖춘 노트북과 같은 단말기들 중 어느 하나일 수 있다. 도면에 예시된 구성을 구체적으로 살펴 보면, 공중의 이동전화 통신망(11a), 예를 들어 2G, 3G 또는 4G의 셀룰러(cellular) 망( 이하, “셀룰러 망”으로 통칭한다. )의 지정된 방식에 따라 신호를 변조 또는 복조하여 상기 셀룰러 망과 송수신하는 셀룰러 모뎀(1a)( RF신호의 처리모듈을 포함하는 구성요소이다 )과, 상기 셀룰러 망에서 채택된 통신규약에 따라 데이터를 부호화(encoding)하거나 부호화된 데이터를 복호(decoding)하는 셀룰러 코덱(1b)과, 고속의 무선 데이터망, 예를 들어 Wi-Fi 방식의 무선랜 망(11b)( 이하, “Wi-Fi 망”으로 칭한다. )의 지정된 방식에 따라 신호를 변조 또는 복조하여 상기 Wi-Fi 망과 송수신하는 Wi-Fi 모뎀(2a)( RF신호의 처리모듈을 포함하는 구성요소이다 )과, 상기 Wi-Fi 망에서 채택된 통신규약에 따라 데이터를 부호화하거나 부호화된 데이터틀 복호하는 Wi-Fi 코덱(2b)과, 영상, 문자 등의 시각적 표시를 위한 디스플레이 패널(5)과, 임의 데이터가 상기 디스플레이 패널(5)상에서 시각적으로 표시되도록 상기 디스플레이 패널(5)을 구동하는 디스플레이 구동부(4)와, 입력되는 인코딩된 영상 및 오디오 데이터를 디코딩하여 영상 및 오디오신호로 출력하는 디코더(110a)와, 상기 디코딩된 오디오 신호를 적절히 증폭하여 스피커/헤드폰 등으로 출력하는 사운드 처리부(8)와, 상기 디스플레이 패널(5)의 전면에 부착된 터치 센서(6a)와, 키(key) 및/또는 버튼(button)이 구비되어 있는 키패드(6b)와, 상기 터치 센서(6a)와 키패드(6b)상의 사용자 입력 및/또는 선택을 감지하여 그에 상응하는 입력 정보를 출력하는 입력 제어부(6)와, 상기 입력 제어부(6)로부터의 입력 정보에 따른 동작이 수행되도록, 상기 구성요소들중 그에 맞는 구성요소에 적절히 데이터를 전송 또는 그로 부터 수신하거나 제어하며 그에 따른 결과나 사용자의 원하는 동작의 선택을 위한 UI 화면의 표시를 위해 상기 디스플레이 구동부(4)를 제어하는 주 제어부(10)와, 상기 주 제어부(10)의 동작을 위해 필요한 데이터 저장공간을 제공하는 메모리부(7)를 포함한다.On the other hand, the wireless communication terminal 100 having the logical configuration illustrated in FIG. 1A includes a hardware component as illustrated in FIG. 1B as a whole, and includes a wireless communication network, for example, a public mobile telephone network and And / or any terminal such as a smart phone, tablet computer, mobile phone capable laptop, etc., capable of accessing high speed wireless data networks and the like. The configuration illustrated in the figure will be described in detail with reference to a specific scheme of a public cellular network 11a, for example, a cellular network of 2G, 3G or 4G (hereinafter collectively referred to as a "cellular network") A cellular modem 1a (which is a component including a processing module of an RF signal) for modulating or demodulating a signal to transmit / receive signals to / from the cellular network, and a transmitter for encoding data according to a communication protocol adopted in the cellular network A cellular codec 1b for decoding coded data and a high speed wireless data network such as a Wi-Fi wireless LAN 11b (hereinafter referred to as " Wi-Fi network & A Wi-Fi modem 2a (which is a component including a processing module of an RF signal) for modulating or demodulating a signal according to a designated method to transmit and receive signals to and from the Wi-Fi network, Or the encoded data A display panel 5 for visual display of images, characters, etc., and a display panel 5 for displaying arbitrary data visually on the display panel 5. The Wi-Fi codec 2b, A decoder 110a for decoding the input video and audio data and outputting the decoded audio and video data as an image and an audio signal; a sound processor (not shown) for appropriately amplifying the decoded audio signal and outputting the amplified audio signal to a speaker / A keypad 6b provided with a touch sensor 6a attached to the front surface of the display panel 5 and a key and / An input control unit 6 for sensing a user input and / or selection on the keypad 6b and outputting corresponding input information, and a control unit 6 for controlling the operation of the above- (10) for controlling the display driver (4) to transmit or receive data from or to the appropriate components of the UI, and to display a result of the UI screen or a UI screen for selecting a desired operation of the user, And a memory unit 7 for providing a data storage space necessary for the operation of the main control unit 10.

그리고, 상기 주 제어부(10)는, 저장된 명령코드들을 실행함으로써 상기 운영시스템(100a)이 의도된 기능을 수행하도록 하며, 또한 상기 미디어 플레이어(110)의 명령코드들을 실행함으로써 이하에서 상세히 설명하는 상기 미디어 플레이어(110)의 동작들이 수행되도록 한다. 특히, 상기 미디어 플레이어(110)의 미디어 처리부(111)는, 필요한 경우, 인코딩된 영상 또는 오디오의 데이터 블록들에 대해서, 상기 운영시스템(100a)이 제공하는 적절한 API를 통해, 상기 디코더(110a)가 하드웨어적으로 처리하는 디코딩 동작을 이용할 수도 있다.In addition, the main control unit 10 allows the operating system 100a to perform the intended function by executing the stored command codes, and also executes the command codes of the media player 110. The operations of the media player 110 are performed. In particular, the media processing unit 111 of the media player 110, through the appropriate API provided by the operating system 100a for the encoded video or audio data blocks, if necessary, the decoder 110a May use a decoding operation that is hardware processed.

도 1b에 예시한 상기 무선통신 단말기(100)의 구성은, 본 발명의 개념과 주제에 대한 이해를 돕기 위한 실시예들을 구체적이고 예시적으로 설명하기 위한 단지 하나의 예일 뿐, 본 발명에 따른 개념과 주제를 구현하는 단말기들은 도 1b에 도시되지 않은 다양한 기능의 구성요소들을 더 포함하거나 또는 예시된 구성요소를 배제할 수도 있으며, 하드웨어로 구성된 요소가 소프트웨어적으로 구현될 수도 있다. The configuration of the wireless communication terminal 100 illustrated in FIG. 1B is merely an example for illustrating and explaining embodiments of the present invention in order to facilitate understanding of the concept and the subject of the present invention, And the terminals implementing the subject may further include components of various functions not shown in FIG. 1B, or may exclude the illustrated components, and elements constituted by hardware may be implemented in software.

도 1a에 상기 미디어 플레이어(110)를 중심으로 그 논리적 구성이 예시된 상기 무선통신 단말기(100)에 의해 이루어지는, 실시간(live) 컨텐트의 플레이와 그 플레이 도중 연관된 컨텐트의 구간을 획득하는 과정은 다음과 같다.The process of acquiring a play of live content and a section of associated content during the play, which is performed by the wireless terminal 100 whose logical configuration is illustrated around the media player 110 in FIG. Is the same as

먼저, 사용자는 상기 무선통신 단말기(100)에 구비된 입출력부( 상기 디스플레이 패널(5), 터치 센서(6a), 키패드(6b) 등 )를 통해 상기 주 제어부(10)가 제공하는 적절한 사용자 UI( User Interface )를 통해 브라우저를 기동시키고, 그 브라우저를 통해 특정의 서버, 예를 들어, 도면에 도시된 컨텐트 서버(12)가 제공하는 하나의 실시간(live) 컨텐트 항목을 선택하여 요청하면 그 항목에 할당된 URL, 예를 들어 “http://live.airplug.com/sports/2011-10-22_baseball_AvsB.m3u8”와 같은 URL에 대한 통신규약에 의한 요구( 예를 들어, HTTP Request )가, 상기 운영시스템(100a)에 전달되고, 상기 운영시스템(100a)은 현재 데이터 서비스를 위해 연결된( 즉, 접속 IP주소가 할당되어 있는 ) 통신망을 위한 하드웨어 자원( 셀룰러 망(11a)이 연결되어 있으면 상기 셀룰러 코덱(1b)/셀룰러 모뎀(1a), Wi-Fi 망(11b)이 연결되어 있으면 상기 Wi-Fi 코덱(2b)/Wi-Fi 모뎀(2a) )을 통해, 전달받은 상기 통신규약에 의한 요구를 전송한다. 그에 따라 상기 컨텐트 서버(12)로부터의 응답인 선택된 항목에 연관된 파일( 예를 들어, “2011-10-22_baseball_AvsB.m3u8”의 파일 )의 데이터가 요청된 통신망을 통해 수신되면 이를 상기 브라우저에 제공한다.First, a user may provide an appropriate user UI provided by the main controller 10 through an input / output unit (the display panel 5, the touch sensor 6a, the keypad 6b, etc.) provided in the wireless communication terminal 100. When a browser is started through a user interface, and a request is made by selecting a live content item provided by a specific server, for example, the content server 12 shown in the drawing, the item is requested. The request assigned by the communication protocol (e.g. HTTP Request) for the URL assigned to the URL, for example, "http://live.airplug.com/sports/2011-10-22_baseball_AvsB.m3u8", Delivered to an operating system 100a, the operating system 100a is configured to provide a hardware resource for a communication network that is currently connected for data services (i.e., to which an access IP address is assigned), if the cellular network 11a is connected. Codec (1b) / cellular modem (1a), Wi-Fi network (11b ) Is connected to the Wi-Fi codec (2b) / Wi-Fi modem (2a), and transmits the request according to the communication protocol received. Accordingly, when data of a file (for example, a file of “2011-10-22_baseball_AvsB.m3u8”) related to the selected item which is a response from the content server 12 is received through the requested communication network, it is provided to the browser. .

상기 브라우저가 수신하는 응답에는 상기 컨텐트 서버(12)가 전송하는 파일의 데이터외에, 응답으로 제공되는 파일 항목에 대한 설명정보, 예를 들어 MIME (Multipurpose Internet Mail Extensions) Type, 파일의 전체 크기 등에 대한 정보가 포함되어 있다. 따라서, 상기 브라우저는 수신된 응답의 MIME Type에 연결되어 있는 어플인 상기 미디어 플레이어(110)를 기동시킨다. 상기 미디어 플레이어(110)의 연결은 MIME Type이 아닌 파일의 확장자명에 의해서도 이루어질 수도 있다. 상기 브라우저는 상기 미디어 플레이어(110)를 기동시키는 경우에는 그 응답을 초래하였던 URL 또는 그에 따라 작성된 통신규약에 의한 요구, 예를 들어 HTTP Request를 상기 기동되는 미디어 플레이어(110)에 호출 매개인자(argument)로서 전달한다.The response received by the browser includes not only the data of the file transmitted by the content server 12 but also the description information of the file item provided in response, for example, the Multipurpose Internet Mail Extensions (MIME) Type, Information is included. Thus, the browser launches the media player 110 which is an application connected to the MIME Type of the received response. The connection of the media player 110 may also be made by an extension of a file rather than a MIME type. When the browser starts up the media player 110, a request parameter based on the URL that caused the response or the request made according to the communication protocol, for example, an HTTP request, is transmitted to the started media player 110. To pass).

지금까지, 상기 미디어 플레이어(110)가 기동되는 과정을, 보편적으로 사용하는 브라우저를 통해 이루어지는 것을 전제로 하여 설명하였지만, 상기 미디어 플레이어(110)는 예를 든 브라우저외에 다양한 어플들에 의해 기동될 수 있음은 물론이다. 즉, 임의의 어플에서 특정 컨텐트에 대한 액세스 정보, 예를 들어 URL이 선택되었을 때 그 어플이, 전술한 브라우저와 마찬가지의 과정을 수행하여 상기 미디어 플레이어(110)를 기동시킬 수 있다.Up to now, the process of starting the media player 110 has been described on the premise that it is made through a browser that is commonly used. However, the media player 110 may be started by various applications besides an example browser. Of course. That is, when an access information, for example, a URL, for a specific content is selected in an application, the application may start the media player 110 by performing the same process as the above-described browser.

다르게는, 상기 미디어 플레이어(110)가 매개된 URL 또는 통신규약에 의한 요구없이 기동된 후, 도 2에 예시된 바와 같이, 상기 UI 처리부(113)가 상기 디스플레이 패널(5)상에 구성하는 플레이어 화면(20)의 사용자 입력창(21)을 통해 직접적으로 URL을 수신 또는 선택받을 수도 있다. 이렇게 직접 수신 또는 선택받은 URL을, 또는 그에 따른 통신규약에 의한 요구를 상기 데이터 제어부(112)에 통지하게 된다.Alternatively, after the media player 110 is started without a request by a mediated URL or communication protocol, as shown in FIG. 2, a player configured by the UI processing unit 113 on the display panel 5. The URL may be directly received or selected through the user input window 21 of the screen 20. The data controller 112 is notified of the URL directly received or selected, or a request according to the communication protocol.

상기 미디어 플레이어(110)가 기동되면, 상기 데이터 제어부(112)에 전달받은 호출 매개인자를 통지하고, 상기 데이터 제어부(112)는, 통지된 호출 매개인자, 즉 통신규약에 의한 요구를 제공하면서, 도 3에 예시된 바와 같이, 상기 운영시스템(100a)에 새로운 통신소켓(32)의 생성을 요청한다. 이 때의 요청은, 상기 운영시스템(100a)이 데이터 서비스를 위해 현재 연결된 무선 통신망에 대한 것일 수도 있으며, 다른 특정의 무선 통신망을 지정한 것일 수도 있다. 무선 통신망을 지정하기 위해서는, 상기 데이터 제어부(112)는 상기 운영시스템(100a)에 문의하여 리턴되는 망접속 정보를 참조한다. 상기 망접속 정보에는, 무선 통신망에 접속된 경우에 접속 IP주소와 그 커넥션 유형( 예를 들어, 3G 이동전화 통신망, Wi-Fi 무선랜망 등 ) 등이 포함되므로, 현재 사용하고자 하는 통신망에 대한 커넥션 유형을 지정하거나 또는 그와 연계된 접속 IP주소를 지정하여 통신소켓의 생성을 요청할 수 있다.When the media player 110 is activated, the data control unit 112 is notified of the received call mediator, and the data control unit 112 provides the notified call mediator, that is, a request according to a communication protocol. As illustrated in FIG. 3, the operating system 100a requests the creation of a new communication socket 32. The request at this time may be for a wireless communication network to which the operating system 100a is currently connected for data service or may designate another specific wireless communication network. In order to designate a wireless communication network, the data control unit 112 refers to the network connection information returned by inquiring of the operating system 100a. The network connection information includes a connection IP address and a connection type (for example, 3G mobile telephone network, Wi-Fi wireless LAN network, etc.) when connected to a wireless communication network. You can request the creation of a communication socket by specifying the type or by specifying the associated IP address.

상기 운영시스템(100a)은, 수신한 통신규약에 의한 요구에 실린 정보( 예를 들어, 그 요구에 기재된 프로토콜 정보, 호스트 필드의 이름 또는 IP 주소 등 )와 그 요구의 프로토콜에 따른 포트번호를 할당하여 목적지 주소를 특정하고, 현재의( 또는 지정된 무선 통신망으로부터 새로이 할당받은 ) 접속 IP주소에, 통신소켓의 생성을 요청한 상기 데이터 제어부(112)( 경우에 따라서는 상기 미디어 플레이어(110)일 수도 있다. )에 할당된 포트번호를 부가한 로컬 주소를 확정한 후, 상기 목적지 주소와 상기 로컬 주소를 쌍으로 하여 상기 컨텐트 서버(12)와 TCP 커넥션을 개설한다. TCP 커넥션이 성공적으로 개설되면 상기 운영시스템(100a)은 통신소켓 생성 요구에 대한 응답으로, 생성한 통신소켓(32)의 식별자를 상기 데이터 제어부(112)에 리턴한다. The operating system 100a allocates information (for example, protocol information described in the request, name or IP address of a host field, etc.) in the request by the received communication protocol and a port number according to the protocol of the request. The data control unit 112 (in some cases, the media player 110), which requests a creation of a communication socket, to a current IP address (or newly allocated from a designated wireless communication network). After confirming the local address to which the port number assigned to.) Is added, a TCP connection is established with the content server 12 by pairing the destination address and the local address. When the TCP connection is successfully established, the operating system 100a returns the identifier of the created communication socket 32 to the data controller 112 in response to the communication socket creation request.

상기 생성한 통신소켓(32)의 식별자가 리턴되면 상기 데이터 제어부(112)는 그 식별자에 의해 특정되는 상기 통신소켓(32)을 통해, 앞서 통지되었던 상기 통신규약에 의한 요구, 예를 들어 “http://live.airplug.com/sports/2011-10-22_baseball_AvsB.m3u8”와 같은 URL에 대한 HTTP Request를 상기 컨텐트 서버(12)에 다시 전송하여 앞서 상기 브라우저가 수신하였던 응답을 상기 새로이 생성된 통신소켓(32)을 통해 수신한다. 한편, 상기 브라우저는 상기 미디어 플레이어(110)의 기동과 동시에 응답 데이터가 수신되고 있는 통신소켓(311)을 통해 해당 응답 데이터의 전송이 중단되도록 하는 통신규약에 의한 요구를 전송하거나 그 통신소켓(311)을 폐쇄할 수도 있다. When the identifier of the generated communication socket 32 is returned, the data control unit 112 requests the request according to the communication protocol, for example, “http”, through the communication socket 32 specified by the identifier. http://live.airplug.com/sports/2011-10-22_baseball_AvsB.m3u8 ”sends the HTTP request for the URL such as“ back to the content server 12 ”to the newly generated communication. Receive via socket 32. Meanwhile, the browser transmits a request based on a communication protocol for stopping transmission of the response data through the communication socket 311 in which response data is being received at the same time as the media player 110 is activated, or the communication socket 311. ) May be closed.

상기 데이터 제어부(112)가 전송한 HTTP Request에 대하여 상기 컨텐트 서버(12)가 실시간 컨텐트에 대해 제공하는 응답에는, 선택된 항목에 대해 제공하는 실시간 미디어에 속하는, 유형( 품질 또는 비트레이트 등 ) 또는 속성( 영상 또는 오디오 등 )이 상이한 각 스트림에 대한 파일목록 정보를 담고 있는 미디어 인덱스 정보가 포함된다. 도 4a는 상기 미디어 인덱스 정보에 대한 일 예로서, 선택한 실시간 컨텐트 항목에 대해 AV( 오디오 및 비디오 ) 속성의 영상 컨텐트와 오디오 속성의 미디어가 제공되고 있으며 해당 미디어가 선택될 때 요청할, 파일목록 정보를 담고 있는 목록파일의 URL 정보(401,402)가 예시되어 있다. 상기 미디어 인덱스 정보를 상기 데이터 제어부(112)가 해석한 뒤에는 디폴트(default)로 지정된 속성의, 예를 들어 AV 속성의 미디어에 대한 목록파일(401)의 전송을 해당 서버, 예를 들어 상기 컨텐트 서버(12)에 다시 요청한다. 물론, 상기 미디어 인덱스 정보를 해석하여 얻은 제공되는 실시간 미디어의 각 유형과 속성에 대한 정보를 상기 UI 처리부(113)에 제공하고 상기 UI 처리부(113)가 그 제공받은 정보를 적절한 창을 통해 사용자에게 선택토록 제시한 뒤, 그 선택된 유형 및 속성을 상기 데이터 제어부(112)에 통지함으로써 상기 데이터 제어부(112)로 하여금 그 통지된 유형 및 속성에 해당하는 미디어에 해당하는 목록파일의 전송을 요청하도록 할 수도 있다.In the response provided by the content server 12 for the real-time content in response to the HTTP request transmitted by the data control unit 112, a type (quality or bit rate, etc.) or attribute belonging to the real-time media provided for the selected item. Media index information including file list information for each stream (such as video or audio) differs is included. FIG. 4A illustrates an example of the media index information. The video content of the AV (audio and video) property and the media of the audio property are provided for the selected real-time content item, and file list information to be requested when the corresponding media is selected. URL information 401, 402 of the list file is illustrated. After the media index information is interpreted by the data control unit 112, the transmission of the list file 401 for the media of the attribute designated as default, for example, the AV attribute, is performed by the corresponding server, for example, the content server. Ask (12) again. Of course, the UI processor 113 provides the UI processor 113 with information on each type and attribute of the provided real-time media obtained by analyzing the media index information, and the UI processor 113 provides the received information to the user through an appropriate window. After the selection is made, the data controller 112 is notified of the selected type and attribute so that the data controller 112 can request the transmission of the list file corresponding to the media corresponding to the notified type and attribute. It may be.

상기의 목록파일 전송 요청에 따라 상기 컨텐트 서버(12)로부터 해당 파일이 상기 데이터 제어부(112)에 수신된다. 도 4b는 수신되는 목록파일에 기재된 정보의 일 예로서, 상기 선택된 실시간 영상 미디어에 대해 현재 시점이후로 생성하는 컨텐트 조각(segment) 파일들에 대한 URL(411)과 각 조각 파일의 플레이 시간 길이 정보(412) 등을 포함할 수 있다. 그리고, 각 조각 파일의 명칭에는 그 순서를 알 수 있게 하는 순서번호(413)가 부기되어 있다. 따라서, 상기 데이터 제어부(112)는, 상기 수신된 응답의 목록파일의 정보를 분석하여 그 목록상의 현시점에서의 첫번째 조각( “segmentN_k.ts” )의 URL( http://live.../video/segmentN_k.ts )에 대한 통신규약에 의한 요구를 상기 운영시스템(100a)을 통해 상기 컨텐트 서버(12)에 전송한다. 물론, 실시간 미디어를 구성하는 각 컨텐트 조각의 파일이 상기 컨텐트 서버(12)가 아닌 별도의 다른 서버를 통해 제공되는 경우에는, 그에 따라 상기 운영시스템(100a)에 별도의 통신소켓(33)을 새로이 생성하여 그 통신소켓(33)을 통해 해당 서버에 해당 조각의 파일을 요청하는 통신규약에 의한 요구를 전송하게 된다. The file is received from the content server 12 in response to the list file transfer request. FIG. 4B is an example of information described in a received list file. The URL 411 for content segment files generated after a current time point for the selected real-time video media and play time length information of each fragment file are shown. 412, and the like. In the name of each fragment file, a sequence number 413 is added to indicate the order. Thus, the data control unit 112 analyzes the information in the list file of the received response and URL (http: //live.../) of the first fragment (“segmentN _k .ts”) at this point in the list. video / segmentN _k .ts) is transmitted to the content server 12 through the operating system 100a. Of course, when a file of each piece of content constituting the real-time media is provided through a server other than the content server 12, a new communication socket 33 is newly created in the operating system 100a accordingly. It generates and transmits the request according to the communication protocol requesting the file of the piece to the server through the communication socket 33.

상기 데이터 제어부(112)는, 이에 따라 상기 컨텐트 서버(12)로부터 전송되는 일정 플레이시간 분량의 컨텐트 조각의 데이터를 통신소켓을 통해 수신하여 상기 미디어 처리부(111)에 제공하고, 그 제공된 데이터의 플레이 시간이 종료되기 전에 상기 수신한 목록정보상의 다음 순서번호를 갖는 조각( “segmentN_k ₊₁.ts” )의 URL에 대한 통신규약에 의한 요구를 전송함으로써 영상 컨텐트 데이터의 연이어지는 수신이 이루어지도록 하고 이를 상기 미디어 처리부(111)에 이어서 제공한다. 상기 미디어 처리부(111)에 컨텐트 조각을 제공하는 하나의 방법으로서는, 상기 데이터 제어부(112)가 수신된 컨텐트 조각에 대해 임시 파일을 생성하고 그 임시 파일의 정보를 상기 미디어 처리부(111)에 제공하거나, 상기 메모리(7)상의 상호 공유된 공간에 그 조각의 파일명과 함께 데이터를 기록한 후 그 기록위치의 포인터를 전달할 수도 있다.The data control unit 112 accordingly receives data of the content piece of a predetermined play time transmitted from the content server 12 to the media processing unit 111 through the communication socket, and plays the provided data. Before the time expires, successive reception of video content data is made by sending a request according to a communication protocol for a URL of a fragment (“segment _{N k} ₊₁ .ts”) having the next sequence number on the received list information. This is then provided to the media processing unit 111. As one method for providing a piece of content to the media processing unit 111, the data control unit 112 generates a temporary file for the received piece of content and provides information of the temporary file to the media processing unit 111. Alternatively, the data may be recorded in the mutually shared space on the memory 7 together with the file name of the piece, and then a pointer of the recording position may be transferred.

상기 미디어 처리부(111)에 전달한 조각 파일의 플레이 종료시간은, 상기 데이터 제어부(112)가 해당 파일의 상기 미디어 처리부(111)에의 전달 후 경과되는 시간으로부터 그 전달한 파일의 플레이 종료시간을 알거나, 상기 미디어 처리부(111)가 해당 파일의 데이터를 디코딩함에 있어서 각 미디어 패킷에 기록된 시간정보의 경과로부터 해당 파일의 플레이 종료시간을 알거나 또는 아직 디코딩되지 않고 남아 있는 데이터량으로부터 추정할 수도 있다. 상기 미디어 처리부(111)가 각 조각의 플레이 종료시간을 파악하는 실시예에서는, 이를 상기 데이터 제어부(112)가 확인하는 과정이 당연히 수반된다. The play end time of the fragment file delivered to the media processing unit 111 is, from the time elapsed after the data control unit 112 delivers the file to the media processing unit 111, or the play end time of the delivered file is determined. When the media processing unit 111 decodes the data of the file, the media processing unit 111 may know the play end time of the file from the elapsed time information recorded in each media packet or may estimate it from the amount of data that has not yet been decoded. In an embodiment in which the media processing unit 111 determines the play end time of each piece, a process of confirming this by the data control unit 112 is naturally accompanied.

상기와 같은 방식으로 각 조각 파일의 플레이 종료 전임을 상기 데이터 제어부(112)가 인지하고, 각 조각의 플레이 종료 전에 상기 컨텐트 서버(12)가 실시간으로 생성하는 컨텐트 조각들을 계속하여 이어서 요청하여 수신하면서 상기 미디어 처리부(111)에 제공하게 된다. 그리고, 상기 데이터 제어부(112)는, 앞서 수신하였던, 도 4b에 예시된 목록파일에 기재된 조각 파일의 마지막의 요청 후에는 마지막을 나타내는 지시정보, 예를 들어 “#EXT-X-ENDLIST”가 기재되어 있지 않다면 그 목록파일의 재전송을 상기 컨텐트 서버(12)에 요청하여 목록이 새로이 갱신된 목록파일을 수신하고 그에 기재된 정보에 근거하여 다음 조각 파일들의 전송을 순차적으로 이어나가게 된다.In this manner, the data controller 112 recognizes before the end of play of each piece file, and continuously requests and receives content pieces generated by the content server 12 in real time before the end of play of each piece. The media processing unit 111 is provided. After the last request of the fragment file described in the list file illustrated in FIG. 4B, the data control unit 112 receives the indication information indicating the end, for example, "# EXT-X-ENDLIST". If not, the content server 12 is requested to retransmit the list file, and the list file is newly received, and the transmission of the next fragment files is sequentially performed based on the information described therein.

상기 미디어 처리부(111)는 상기와 같은 방식으로 상기 데이터 제어부(112)로부터 전달되는 각 조각 데이터의 헤더에 기록되어 있는 데이터의 인코딩 정보에 의해 디코딩 방식을 결정한 뒤, 그 결정된 디코딩 방식에 따라 미디어 데이터를 부분적으로 또는 완전하게 디코딩한다. 그리고, 부분적으로 디코딩하는 경우에는 그 결정된 디코딩 방식을 상기 디코더(110a)에도 설정한다. 상기의 부분적 디코딩은, 예를 들어 블록단위, 픽처단위 또는 GoP (Group of Pictures) 단위의 미디어 패킷들의 추출일 수 있다. 이와 같이 부분적으로 디코딩하는 경우에는 그 디코딩된 미디어 패킷들을 상기 디코더(110a)에 인가하면서 디코딩을 요청함으로써 이들에 의한 영상과 오디오 데이터가 출력되도록 한다. 이와 같이 디코딩된 영상 데이터는, 상기 디스플레이 구동부(4)에 인가됨으로써 영상신호로 출력된다. 한편, 상기 영상신호가 출력되는 창(22)의 위치는 상기 UI 처리부(113)에 의해 사전에 상기 운영시스템(100a)에 설정한 정보에 제어된다. 한편, 상기 미디어 처리부(111)에 의해 디코딩된 오디오 데이터는 상기 사운드 처리부(8)를 통해 스피커 또는 헤드폰으로 출력된다.The media processing unit 111 determines the decoding method based on the encoding information of the data recorded in the header of each piece of data transmitted from the data control unit 112 in the same manner as described above, and then the media data according to the determined decoding method. Partially or completely decode In case of partial decoding, the determined decoding scheme is also set in the decoder 110a. The partial decoding may be, for example, extraction of media packets on a block basis, picture basis, or GoP (Group of Pictures) basis. In the case of partial decoding as described above, the decoded media packets are applied to the decoder 110a to request decoding so that video and audio data by them are output. The image data thus decoded is applied to the display driver 4 and is output as a video signal. Meanwhile, the position of the window 22 through which the video signal is output is controlled by the UI processor 113 based on information previously set in the operating system 100a. Meanwhile, the audio data decoded by the media processor 111 is output to the speaker or the headphone through the sound processor 8.

이와 같이 실시간의 영상 미디어가 플레이되고 있는 중에, 현재 접속망의 통신상태에 따라 데이터 수신이 원활하게 이루어지지 않으면, 사용자는 상기 UI 처리부(113)가 상기 미디어 플레이어(110)의 화면상에 제공하는 입력버튼(23) 등을 통해 사용 대역폭이 훨씬 작은 오디오 미디어를 요청할 수도 있다. 이 요청이 있게 되면, 본 발명의 일 실시예에 따른, 도 5a 및 5b에 그 과정이 예시된, 오디오 지점이 선택될 때 그에 연관된 영상 컨텐트 구간을 획득하고 이를 플레이하는 방법이 상기 미디어 플레이어(110)에 의해 개시되는 데, 이하에서는, 도 5a 및 5b에 예시된 흐름도의 예를 참조하여 상기 방법에 대해 상세히 설명한다.If the data is not received smoothly according to the communication state of the current access network while the real-time video media is being played as described above, the user inputs the UI processor 113 provided on the screen of the media player 110. It is also possible to request audio media with much smaller bandwidth, via button 23 and the like. When this request is made, the method for acquiring and playing the video content section associated with the audio point when the audio point is selected, which is illustrated in FIGS. 5A and 5B, according to an embodiment of the present invention, is the media player 110. In the following, the method is described in detail with reference to the example of the flowchart illustrated in FIGS. 5A and 5B.

실시간의 영상 미디어가 플레이되고 있는 중(S501)에 실시간 오디오 미디어로의 전환 요청이 있게 되면(S503), 상기 UI 처리부(113)는 그 요청을 상기 데이터 제어부(112)에 전달하게 되고, 상기 데이터 제어부(112)는, 영상 미디어의 조각 파일의 요청에서 오디오 미디어의 조각 파일의 요청으로 전환함으로써 영상 시청대신 오디오 청취가 이루어질 수 있도록 한다. 이를 위해서, 상기 데이터 제어부(112)는, 앞서 수신하여 저장하였던, 도 4a에 그 정보가 예시된 미디어 인덱스 정보를 참조하여 오디오 속성의 미디어에 대한 목록파일(402)의 전송을 실시간 미디어를 제공하고 있는 해당 서버에 요청한다. 이에 따라 실시간 오디오 미디어에 대한 목록파일이 수신되고, 그 수신된 목록파일에서, 직전 수신하였던 영상 미디어의 조각 파일의 순서번호에 이어진 순서번호를 갖는 오디오 조각 파일을 확인하여 그 조각 파일의 URL에 따른 통신규약에 의한 요구를 작성하여 송신한다(S504). 도 6은 이 과정에 대한 예를 도시한 것으로서, 직전 순서번호가 N_L인 영상 컨텐트 조각(601)의 수신 후에는 순서번호가 N_L ₊₁인 오디오 컨텐트 조각( 해당 URL이 “http://..../audio/segmentN_L+1.ts” )(602)을 요청하여 수신하는 예를 보여주고 있다. 이에 따라 순서번호가 N_L인 영상 컨텐트 조각에 대한 상기 미디어 처리부(111)의 디코딩후에는 오디오 컨텐트 조각이 상기 미디어 처리부(111)에 전달되므로 오디오 데이터만의 디코딩이 이루어지게 된다. 이후의 이어지는 오디오 파일 조각들에 대한 요청과 목록파일 정보의 갱신은, 영상 미디어에 대한 앞서의 설명에서와 동일하게 이루어진다(S505).When there is a request to switch to real-time audio media while the real-time video media is playing (S501) (S503), the UI processing unit 113 transmits the request to the data control unit 112, and the data The control unit 112 switches from the request of the fragment file of the video media to the request of the fragment file of the audio media so that audio listening can be performed instead of viewing the image. To this end, the data control unit 112 provides the real-time media for transmission of the catalog file 402 for the media of the audio attribute with reference to the media index information, which has been previously received and stored in FIG. 4A. Requests that server. Accordingly, a list file for the real-time audio media is received, and from the received list file, the audio fragment file having the sequence number following the sequence number of the fragment file of the image media received immediately before is identified and the URL of the fragment file is determined. A request based on the communication protocol is created and transmitted (S504). 6 shows an example of this process. After receiving the video content piece 601 whose previous sequence number is N _L , the audio content fragment whose sequence number is N _L ₊₁ (the URL is “http: // .... / audio / segmentN _{L + 1} .ts ”) 602 is requested and received. Accordingly, after the media processing unit 111 decodes the video content fragment having the sequence number N _L , the audio content fragment is transmitted to the media processing unit 111 so that only audio data is decoded. Subsequent requests for subsequent audio file fragments and update of the list file information are made in the same manner as in the foregoing description of the video media (S505).

한편, 상기 데이터 제어부(112)는 오디오 컨텐트 조각을 상기 미디어 처리부(111)에 전달할 때는 그 조각을 식별하는 정보, 예를 들어 해당 조각의 파일명으로부터 확인되는 순서번호를 함께 전달한다. 이는 사용자로부터 특정 액션이 발생했을 때 그 액션발생시점에 디코딩하는 오디오 컨텐트 조각에 대한 정보를 상기 미디어 처리부(111)로부터 전달받기 위함이다. 또한, 상기 데이터 제어부(112)는, 실시간 오디오 미디어의 목록파일 갱신을 행할 때, 영상 미디어에 대한 갱신도 함께 요청하며 또한, 갱신 전의 각 속성의 목록파일의 정보를 저장해 둔다(S505). 이는, 이 후에 오디오 청취 중 사용자가 선택한 지점과 시간적으로 연관된 영상 미디어의 구간을 특정하기 위해서이다.On the other hand, when the data control unit 112 delivers an audio content piece to the media processing unit 111, the data control unit 112 also transmits information identifying the piece, for example, a sequence number identified from the file name of the piece. This is to receive information about the piece of audio content to be decoded at the time of the action when a specific action occurs from the user from the media processing unit 111. In addition, when performing the update of the list file of the real-time audio media, the data control unit 112 also requests the update of the video media, and also stores the information of the list file of each attribute before the update (S505). This is for later specifying the section of the video media that is temporally associated with the point selected by the user during audio listening.

이와 같은 과정에 의한 오디오 신호만의 청취가 종료(S506)되기 전에, 사용자가 현재 청취되는 내용에 해당하는 영상이 궁금한 경우가 생기게 되면, 상기 UI 처리부(113)가 상기 미디어 플레이어(110)의 화면상에 제공하고 있는 특정 버튼(24)을 선택하여 현재 청취되는 내용과 연관된, 예를 들어 청취내용의 오디오 구간과 동(同)시간에 플레이 의도된 영상 구간( 영상 미디어를 상기 미디어 플레이어(110)가 플레이하고 있지 않은 상태이므로, 해당 데이터는 상기 이동통신 단말기(100)에는 물론 수신되어 있지 않다. )를 얻기 위한 “사후(post) 다운로드”를 상기 UI 처리부(113)에 요청한다(S507). “사후 다운로드” 요청을 수신한 상기 UI 처리부(113)는 이를 상기 데이터 제어부(112)에 전달한다. 그러면, 그 요청에 따라 상기 데이터 제어부(112)는 시간적으로 동기된 지점 전후의 다운로드할 영상구간을 결정하여 그 연관된 구간을 특정하는 정보를 파악하고 이를 “다운로드 항목”으로 저장한다(S508). 이하에서는, 이에 대해 보다 상세히 설명한다.When listening to the audio signal by the above-described process is terminated (S506), when the user may be curious about an image corresponding to the content currently being listened to, the UI processor 113 displays the screen of the media player 110. Selecting a particular button 24 provided on the image section associated with the content currently being listened to, for example, an image section intended to be played at the same time as the audio section of the listening content (the video media being displayed on the media player 110). Since the data is not being played, the data is of course not received by the mobile communication terminal 100. The post processing unit requests the UI processing unit 113 to obtain a "post download" (S507). The UI processor 113 receiving the "post download" request transfers it to the data controller 112. Then, in response to the request, the data controller 112 determines the video section to be downloaded before and after the time-synchronized point, grasps the information specifying the relevant section, and stores it as a "download item" (S508). This will be described in more detail below.

상기 데이터 제어부(112)는, “사후 다운로드” 요청을 상기 UI 처리부(113)로부터 수신하면, 상기 미디어 처리부(111)에 현재 플레이되는, 즉 디코딩되는 지점에 대한 정보를 요청한다. 이 현 지점 정보에는, 해당 실시간 미디어를 제공하는 상기 컨텐트 서버(12)가 그 지점을 특정하여 알 수 있게 하는 정보의 경우 어떤 정보라도 사용될 수 있다. 예를 들어, 현재 디코딩되는 컨텐트 조각의 파일명( 그 파일의 경로(path)명도 물론 포함될 수 있으며, 이는 이하에서도 마찬가지이다. ) 또는 순서번호, 그리고 그 조각에서의 선두로부터의 상대적인 현 지점의 플레이 시간이 상기 현지점 정보로서 사용될 수도 있다. 도 7은 이에 따른 예를 도시한 것으로서, 상기 미디어 처리부(111)는, 상기 현지점 정보 요청이 있으면, 현재 디코딩하는 오디오 컨텐트 조각(710)에 대한 파일명(701)을 먼저 확인하고, 상기 현지점 정보 요청시(700)에 디코딩되는 패킷(712)( 예를 들어 PES 패킷 )의 해당 조각(710)에서의 선두로부터의 상대적 시간을 파악한다. 예를 들어, 선두 PES 패킷(711)의 헤더에 기재된 PTS 시각(711a)( 또는 DTS 시각 )과 현재 디코딩하는 PES 패킷(712)의 PTS 시각(712a)( 또는 DTS 시각 )의 차로부터 해당 조각(710)에서의 상대적 시간(=PTS_kN-PTS_k1)을 파악한다. 그리고, 상기 미디어 처리부(111)는, 상기 확인된 현재 디코딩되는 조각(710)의 파일명(710)과 상기 파악된 상대적 시간을 상기 현지점 정보 요청의 응답으로 상기 데이터 제어부(112)에 제공한다. 상기 상대적 시간정보는 적절히 변환되어 상기 데이터 제어부(112)에 제공될 수도 있다. 예를 들어, PES 패킷내의 PTS는 90kHz 분해능으로 표현된 시각이므로 상기 상대적 시간정보를 90,000으로 나누어 초단위의 시간으로 변환하여 제공될 수도 있다.When the data controller 112 receives a "post-download" request from the UI processor 113, the data controller 112 requests information about a point currently played, that is, decoded, from the media processor 111. In this current point information, any information may be used in the case of information that enables the content server 12 providing the corresponding real-time media to identify and know the point. For example, the file name of the currently decoded content piece (which may of course also include the path name of the file, is the same below) or sequence number, and the play time of the current point relative to the beginning of the piece. This local point information may be used. FIG. 7 illustrates an example according to this, and when the local point information request is requested, the media processing unit 111 first checks a file name 701 for the audio content piece 710 currently decoded, and then the local point. The relative time from the head in the corresponding piece 710 of the packet 712 (e.g., PES packet) that is decoded at the request of information 700 is identified. For example, the fragment (from the difference between the PTS time 711a (or DTS time) described in the header of the first PES packet 711 and the PTS time 712a (or DTS time) of the PES packet 712 currently decoded ( Determine the relative time (= PTS _kN -PTS _k1 ) at 710. The media processing unit 111 provides the data controller 112 with the file name 710 and the identified relative time of the identified currently decoded fragment 710 in response to the local store information request. The relative time information may be appropriately converted and provided to the data controller 112. For example, since the PTS in the PES packet is a time expressed in 90 kHz resolution, the relative time information may be divided into 90,000 and converted into a time in seconds.

상기 데이터 제어부(112)는 상기의 현지점 정보가 수신되면 상기 운영시스템(100a)이 제공하는 적절한 API를 호출하여 현재 일시에 대한 정보를 획득하고, 그 일시정보를 상기 수신된 현지점 정보와 연계하여 저장한다. 그리고 상기 수신된 현지점 정보로부터, 그 현지점에 걸친 구간과 함께 해당 서버가 실시간으로 송신한 영상 컨텐트의 구간을 결정한다. 여기서의 “함께 송신”의 의미는 하나의 단말기를 대상으로 하여 영상 미디어와 오디오 미디어가 모두 송신된 경우를 의미하는 것이 아니며, 임의의 일 단말기에 대해서 영상 미디어를 그리고 임의의 타 단말기에 대해서 오디오 미디어를 동시간으로 송신하는 것을 의미한다. 상기 영상 컨텐트의 구간의 결정은 기 지정된 방식에 의할 수도 있고, 사용자가 입력하는 정보에 근거할 수도 있다. 만약, 결정되는 구간이 “사후 다운로드” 요청 시점에 대응되는 현 지점의 이전 T_P초 이후 T_N초인 경우에는, 상기 데이터 제어부(112)는, 상기 저장한 일시정보에서 상기 T_P초를 차감한 시각부터 T_N초를 더한 시각까지의 시구간을 구하여 “구간 실(實)플레이 시간정보”로서 임시 저장하고, 앞서 저장하고 있는 또는 직전 수신한 영상 목록파일 정보로부터 T_P초 전의 영상 컨텐트 조각 파일명과 TN초 후의 영상 컨텐트 조각 파일명을 파악하게 된다. When the local point information is received, the data controller 112 calls an appropriate API provided by the operating system 100a to obtain information on the current date and time, and associates the date and time information with the received local point information. Save it. Then, from the received local point information, the section of the video content transmitted by the corresponding server in real time together with the period over the local point is determined. In this case, the term “transmit together” does not mean a case in which both video media and audio media are transmitted to a single terminal, but video media for any one terminal and audio media for any other terminal. Means to transmit at the same time. The determination of the section of the video content may be based on a predetermined method or may be based on information input by a user. If the determined interval is T _N seconds after the previous T _P seconds of the current point corresponding to the "post-download" request point, the data controller 112 subtracts the T _P seconds from the stored date information. Obtains the time period from the time to the time plus T _N seconds, and temporarily stores it as “section real play time information.” Image content fragment file name before T _P seconds from the previously stored or immediately received image list file information. And the image content fragment file name after TN seconds.

도 8은 이 과정에 대한 이해를 돕기 위한 도면이다. 상기 T_P와 T_N초를 각기 10초와 20초로, 그리고 현 지점은 해당 조각에서의 상대적 시간이 8초인 것으로 가정하여 도 8을 참조하여 구간 정보를 특정하는 방법에 대해 설명한다. 상기 미디어 처리부(111)로부터 전달된 현지점 정보가 순서번호 N_k의 오디오 컨텐트 조각의 파일명(801)과 8초의 상대적 시간(802)을 지시하는 것이면, 상기 데이터 제어부(112)는, 앞서 저장하고 있는 또는 직전 수신한 영상 목록파일(811,812)의 정보에서, 상기 수신한 오디오 컨텐트 조각의 파일과, 동시간에 플레이 의도된( 미디어 데이터는 실제적으로 수신되지 않은 ) 영상 컨텐트 조각 파일의 명칭을 찾는다. 예를 들어, 상기 수신한 오디오 컨텐트 조각의 파일명(801)의 순서번호 N_k와 동일한 순서번호를 갖는 영상 컨텐트 조각 파일명(803)을 찾는다. 본 발명에 따른 다른 실시예에서는, 컨텐트 조각들에 대해서 오디오 미디어와 영상 미디어가 서로 다른 문자, 부호 또는 숫자를 사용하여 해당 속성에 속하는 컨텐트 조각들간의 순서를 지정할 수도 있다. 이와 같은 실시예에서는, 상기 데이터 제어부(112)는, 상기 수신한 오디오 컨텐트 조각의 파일이 오디오 미디어의 목록파일(800)내에 위치하는 순서와 동일한 순서로 영상 목록파일(811)( 이 목록파일은 상기 오디오 미디어의 목록파일(800)과 동시간대에 갱신한 현재 또는 이전의 영상 목록파일이다. )내에 위치하는 영상 컨텐트 조각 파일명(803)을 찾을 수도 있다. 8 is a view to help understand the process. A method of specifying section information is described with reference to FIG. 8 on the assumption that T _P and T _N seconds are 10 seconds and 20 seconds, and that the current point is 8 seconds in the corresponding fragment. If the local point information transmitted from the media processing unit 111 indicates a file name 801 of an audio content piece of sequence number N _k and a relative time 802 of 8 seconds, the data control unit 112 stores previously. From the information of the video list file 811,812 received or immediately before, the file of the received audio content piece and the name of the video content piece file intended for play at the same time (media data was not actually received) are found. For example, the video content fragment file name 803 having the same sequence number as the sequence number N _k of the file name 801 of the received audio content fragment is found. In another embodiment according to the present invention, for the pieces of content, audio media and video media may use different letters, symbols, or numbers to specify the order between the pieces of content belonging to the attribute. In such an embodiment, the data controller 112 may display the video list file 811 in the same order as the files of the received piece of audio content are located in the list file 800 of audio media. The video content fragment file name 803 located in the current or previous video list file updated at the same time as the list file 800 of the audio media may be found.

해당 영상 컨텐트 조각 파일이 찾아지면 그 조각의 이전 10초 지점에 해당하는 부분을 갖는 영상 컨텐트 조각과 이후 20초 지점에 해당하는 부분을 갖는 조각의 각 파일명을 확인한다. 도 4b에 예시된 바와 같이, 각 파일목록 정보에는 각 조각의 플레이 시간에 대한 정보가 기재되어 있으므로, 그 플레이 시간을 고려하면, 이전 10초 지점의 조각은 요청시점 조각(803)의 직전인 순서번호 N_k _- ₁를 갖는 파일명(804)의 영상 컨텐트 조각임을 알 수 있고, 이후 20초 지점의 조각은 요청시점 조각(803)이후의 두번째 순서번호 N_k ₊₂를 갖는 파일명(805)의 영상 컨텐트 조각임을 알 수 있다. 그리고, 각 해당되는 조각에서의 상대적 시간도 파악하는 데, 현지점 정보의 상대적 시간(802)이 8초이므로, 전후의 각 조각에서의 상대적 시간도 각기 8초가 된다. 만약, T_P의 예를 15초로 하면, 구간 시작점에 대응되는 조각(821)에서의 상대적 시간은 3초{ = 10-(15-8) }가 될 것이다. 이러한 방식으로 요청시점에 연관된, 즉 그 요청시점에 걸쳐서 플레이가 되는 것으로 의도된 영상 컨텐트 구간이 결정되면, 도 9에 예시된 바와 같이, 상기 데이터 제어부(112)는 그 구간의 정보를 잠정 영상 연관정보(901a)로 하여 다운로드할 항목(901)을 생성한다. 그리고, 그 생성한 항목(901)에 앞서 구하여 임시 저장한 “구간 실플레이 시간 정보”(902)도 해당 항목에 부가하여 저장한다. 도면에 도시된 예와 전술한 실시예의 설명에서 컨텐트 조각을 식별키 위한 명칭으로서 해당 파일의 경로(path)가 포함된 파일명을 기재하고 있으나, 파일명만으로써 영상 미디어와 오디오 미디어의 조각이 상호 구분된다면 경로는 포함시키지 않을 수도 있다. 또한, 상기 컨텐트 서버(12)( 또는 영상 미디어의 사후 다운로드를 위해 별도로 구축된 서버 )와 상호 약속된 경우라면 파일명대신 해당 컨텐트 조각을 식별키 위해 시퀀스 번호와 컨텐트의 속성을 지시하는 정보를 사용할 수도 있다.When the corresponding video content fragment file is found, the image content fragment having the portion corresponding to the previous 10 second point of the fragment and the file name of the fragment having the portion corresponding to the 20 second point later are identified. As illustrated in FIG. 4B, since each file list information describes the play time of each piece, considering the play time, the pieces of the previous 10-second point are in the order immediately before the request point piece 803. It can be seen that it is a piece of video content of the file name 804 with the number N _k _- ₁ , and the piece of the 20 second point is the image of the file name 805 with the second sequence number N _k ₊₂ after the request point piece 803. You can see that it is a piece of content. Also, the relative time in each corresponding piece is also found. Since the relative time 802 of the local shop information is 8 seconds, the relative time in each piece before and after is also 8 seconds. If the example of T _P is 15 seconds, the relative time in the fragment 821 corresponding to the interval start point will be 3 seconds {= 10- (15-8)}. In this way, if an image content section associated with the request point, that is, intended to be played over the request point is determined, as illustrated in FIG. 9, the data control unit 112 associates the information of the section with the provisional picture association. The item 901 to be downloaded is generated as the information 901a. The section real play time information 902 obtained and temporarily stored in advance of the generated item 901 is also stored in addition to the corresponding item. In the example shown in the drawings and the description of the above-described embodiment, a file name including a path of a corresponding file is described as a name for identifying a piece of content. However, if a piece of video media and audio media are distinguished from each other only by the file name, You may not include the path. In addition, when mutually agreed with the content server 12 (or a server separately constructed for post-downloading of the video media), information indicating the sequence number and the property of the content may be used to identify the corresponding piece of content instead of the file name. have.

본 발명에 따른 일 실시예에서는, 전술한 바와 같이, 잠정 영상 연관정보(901a)를 갖는 다운로드할 항목(901)을 생성한 후에 상기 데이터 제어부(112)는, 그 생성한 항목의 잠정 영상 연관정보의 구간 종료점에 대한 정보를 상기 미디어 처리부(111)에 통지한다. 물론, 이 때 영상 컨텐트 조각의 식별정보를 동일한 순서번호의 오디오 컨텐트 조각의 식별정보로서 변환하여 통지한다. 그러면, 상기 미디어 처리부(111)는, 현재의 실시간 오디오 미디어의 디코딩 지점과 상기 통지된 잠정 구간 종료점과의 차(差)시간( 종료점과 디코딩 지점간의 시간관계는 전술하였던 바와 같이, 해당 조각의 선두 패킷의 타임스탬프( PTS 또는 DTS ) 정보와 디코딩하는 패킷의 타임스탬프 정보의 차로부터 파악한다. )을 상기 데이터 제어부(112)에 알려준다. 그러면, 상기 데이터 제어부(112)는, 상기 차시간이 상기 잠정 구간 종료점에 기 지정된 시간, 예를 들어 3초 또는 5초전임을 나타내면, 상기 데이터 제어부(112)는 앞서 저장한 다운로드할 항목의 총 시간과 상기 차시간( 잠정 구간 종료점까지의 잔여시간 )의 정보를 상기 UI 처리부(113)에 전달하면서 구간연장 여부를 문의하고, 그 문의에 따라 상기 UI 처리부(113)는 전달받은 정보를 이용해, 도 10a에 예시된 바와 같이, 현재 정해진 다운로드할 영상 구간의 크기(1001)와 오디오 플레이하는 현재지점(1002)( 상기 잔여시간(1003)으로부터 파악된다. )을 사용자가 알 수 있도록 상기 디스플레이 패널(5)상에 표시하고 사후 다운로드할 구간을 더 연장할 것인 지를 문의한다(1011). 이에 따라, 사용자는, 현재 오디오를 청취하면서 자신이 궁금해하는 내용이 종료되었는 지 아니면 여전히 진행중인 지에 따라 다운로드할 영상구간의 연장여부를 결정할 수 있다. 사용자가 연장여부를 결정하면, 상기 UI 처리부(113)은 그 결정된 사항을 상기 데이터 제어부(112)에 전달한다. 물론, 상기 문의(1011)후 일정시간, 예를 들어 2초 또는 3초내에 또는 상기 잔여시간까지 사용자의 선택이 없는 경우에는 연장하지 않는 것으로 간주하여 그 결정을 상기 데이터 제어부(112)에 전달한다. In one embodiment according to the present invention, as described above, after generating the item 901 to be downloaded having the tentative image association information 901a, the data control unit 112 performs the tentative image association information of the generated item. The media processing unit 111 notifies the information about the section ending point of the. Of course, at this time, the identification information of the video content piece is converted into the identification information of the audio content pieces of the same sequence number and notified. Then, the media processing unit 111 determines the difference time between the decoding point of the current real-time audio media and the notified temporary section end point (the time relationship between the end point and the decoding point is the head of the fragment as described above). The difference between the time stamp (PTS or DTS) information of the packet and the time stamp information of the packet to be decoded is determined. Then, the data control unit 112 indicates that the difference time is a predetermined time, for example, 3 seconds or 5 seconds before the temporary section end point, the data control unit 112 displays the total time of the item to be downloaded previously. And the information on the difference time (remaining time to the end point of the interim section) to the UI processing unit 113 to inquire whether the section is extended, and in response to the inquiry, the UI processing unit 113 uses the received information. As illustrated in FIG. 10A, the display panel 5 allows the user to know the size 1001 of the currently determined video section to be downloaded and the current point 1002 (the remaining time 1003) playing audio. And ask whether to extend the section to be post-downloaded (1011). Accordingly, the user can determine whether to extend the video section to be downloaded based on whether the content he is curious about while listening to the current audio is finished or is still in progress. When the user determines whether to extend, the UI processing unit 113 transmits the determined matters to the data control unit 112. Of course, if there is no user selection within a predetermined time, for example, 2 seconds or 3 seconds after the inquiry 1011 or until the remaining time, the decision is not extended and the decision is transmitted to the data controller 112. .

본 발명에 따른 다른 일 실시예에서는, 상기 데이터 제어부(112)는, 상기 수신된 차시간이 상기 잠정 구간 종료점이 경과된 후 기 지정된 시간, 예를 들어 3초 또는 5초후임을 나타낼 때, 앞서 저장한 다운로드할 항목의 총 시간과 상기 차시간( 잠정 구간 종료점후의 경과시간 )의 정보를 상기 UI 처리부(113)에 전달하면서 구간연장 여부를 문의할 수도 있다. 상기 UI 처리부(113)는 그 문의에 따라 전달받은 정보를 이용해, 도 10b에 예시된 바와 같이, 현재 정해진 다운로드할 영상 구간의 크기(1021)와 오디오 플레이하는 현재지점(1022)( 상기 경과시간(1023)으로부터 파악된다. )을 사용자가 알 수 있도록 상기 디스플레이 패널(5)상에 표시하고 사후 다운로드할 구간을 더 연장할 것인 지를 문의한다(1031).In another embodiment according to the present invention, the data control unit 112 stores the received difference time earlier when the predetermined interval, e.g., 3 seconds or 5 seconds after the end of the interim period end point, elapses. Information about the total time of the item to be downloaded and the difference time (elapsed time after the provisional section end point) may be transmitted to the UI processing unit 113 to inquire whether the section is extended. The UI processing unit 113 uses the information received in response to the inquiry, and as illustrated in FIG. 10B, the size 1021 of the currently determined video section to be downloaded and the current point 1022 for audio play (the elapsed time ( 1023.) is displayed on the display panel 5 so that the user can know, and inquires whether to further extend the section to be post-downloaded (1031).

상기 데이터 제어부(112)는 연장된 것으로 통지되면, 기 지정된 시간, 예를 들어 10초만큼 연장된 지점을 파악하여 상기 잠정 영상 연관정보(901a)의 구간 종료점을 그 파악된 새 지점의 정보로써 갱신하게 된다. 만약, 현재 수신된 최신의 영상 목록파일에서 그 연장된 지점에 해당하는 컨텐트 조각의 파일을 식별할 수 없다면 다음 영상 목록파일을 수신한 후 그 목록파일에 기재된 정보를 이용하여 상기 갱신을 수행하게 된다. When notified that the data controller 112 has been extended, the data controller 112 identifies a point extended by a predetermined time, for example, 10 seconds, and updates the section end point of the tentative image related information 901a with the information of the identified new point. Done. If the file of the content fragment corresponding to the extended point cannot be identified in the latest image list file currently received, the update is performed using the information described in the list file after receiving the next image list file. .

본 발명에 따른 다른 일 실시예에서는, 기 지정된 시간만큼 연장하는 대신, 상기 UI 처리부(113)가 연장할 시간을 사용자로부터 입력받아 그 시간정보를 상기 데이터 제어부(112)에 알려줌으로써 임의의 시간만큼 연장할 수도 있다. In another embodiment according to the present invention, instead of extending by a predetermined time, the UI processing unit 113 receives a time to be extended from the user and informs the data controller 112 of the time information by an arbitrary time. It may be extended.

상기와 같은 방식으로 연장된 지점에 대해서도, 전술한 바와 마찬가지로, 상기 데이터 제어부(112), 미디어 처리부(111) 그리고 UI 처리부(113)간의 상호 협력하에 사용자에게 안내 화면을 제공하고 그 화면을 통해 입력된 정보에 따라 추가 연장이 이루어질 수도 있다.As described above, the point extended in the above-described manner is provided with a guide screen to the user in cooperation with the data controller 112, the media processor 111, and the UI processor 113, and is input through the screen. Depending on the information provided, further extensions may be made.

상기 데이터 제어부(112)는, 구간이 연장되어 상기 잠정 영상 연관정보(901a)를 갱신하는 경우에는, 그 항목의 구간 실플레이 시간정보(902)도 그 연장된 시간에 맞게 수정한다.When the section is extended and the tentative video association information 901a is updated, the data control unit 112 also corrects the section real play time information 902 of the item in accordance with the extended time.

사용자로부터의 연장 요청 또는 추가 연장 요청이 없으면 상기 데이터 제어부(112)는 상기 잠정 영상 연관정보와 구간 실플레이 시간정보를 확정하고 그 확정된 정보를 갖는 다운로드할 항목(901)에 대해 확정표시(903)를 부기한다.If there is no extension request or additional extension request from the user, the data control unit 112 determines the tentative image related information and the section real play time information and confirms the indication 903 for the item 901 to be downloaded having the determined information. Bookkeeping)

이후 또 다시, 오디오 플레이 중 “사후 다운로드”의 요청이 있게 되면 전술한 바와 같은 과정에 따라 또 다른 다운로드할 항목이 생성된 후 그 구간이 확정된 영상 연관정보와 구간 실플레이 시간정보를 갖게 된다.Afterwards, if there is a request for "post-download" during the audio play, another item to be downloaded is generated according to the above-described process, and then the image-relevant information and the section actual play time information are determined.

전술한 실시예들에서는, 상기 영상 연관정보는, 실시간 영상 미디어상의 각 지점( 영상 컨텐트 조각의 파일명과 그 조각에서의 해당 지점의 상대적 시간 )으로써 지정되었으나, 본 발명에 따른 다른 실시예에서는, 상기 영상 연관정보가, 실시간 오디오 미디어상의 각 지점( 오디오 컨텐트 조각의 파일명과 그 조각에서의 해당 지점의 상대적 시간 )으로써 지정될 수도 있다. In the above-described embodiments, the image association information is designated as each point on the real-time video media (file name of the image content piece and the relative time of the corresponding point in the piece), but in another embodiment according to the present invention, The picture association information may be specified as each point on the real-time audio media (file name of the piece of audio content and the relative time of that point in that piece).

한편, 상기 데이터 제어부(112)는, 다운로드할 항목이 생성되면, 사후 다운로드를 실행하기 위한 과정을 실행하게 된다. 도 5b는 본 발명의 일 실시예에 따른 사후 다운로드의 처리과정의 일 예를 도시한 것으로서, 도 5a에 예시된, 사후 다운로드 요청에 따른 다운로드 항목의 생성 과정과 함께 병렬적으로 수행된다. 먼저, 상기 데이터 제어부(112)는, 확정된 영상 연관정보를 갖는 또는 잠정 영상 연관정보를 갖는 다운로드 항목이 있는 지를 확인한다(S511). 해당 항목이 존재하면, 상기 데이터 제어부(112)는, 현재의 상태가 영상 컨텐트의 다운로드 가능조건에 해당하는 지를 판단한다(S512). Meanwhile, when the item to be downloaded is generated, the data controller 112 executes a process for executing a post download. 5B illustrates an example of a post-processing process according to an embodiment of the present invention, which is performed in parallel with a process of generating a download item according to a post-download request illustrated in FIG. 5A. First, the data controller 112 checks whether there is a download item having determined image related information or having provisional image related information (S511). If the corresponding item exists, the data controller 112 determines whether the current state corresponds to a downloadable condition of the video content (S512).

상기의 영상 컨텐트의 다운로드 가능조건에는 여러가지가 해당될 수 있으며, 그 예로서는, 통신망 이용에 있어서 비용이 발생하지 않는 통신망, 예를 들어 Wi-Fi 망이 이용가능해 지거나, 데이터 서비스의 이용시 확정비용( 데이터 서비스의 추가 이용여부와 관련없이 현시점까지의 데이터 서비스의 이용으로 이미 고정적으로 확정된 비용을 의미한다. )을 배제한 비용이 현재 이용하고 있는 통신망보다 적게 드는 통신망이 이용가능해지는 것이 상기 가능조건에 해당될 수 있다. 또한, 현재 이용하고 있는 통신망의 전송속도가, 영상 컨텐트의 추가적인 다운로드가 가능한 적정수준이상 개선된 상태도 상기 다운로드 가능조건의 예가 될 수 있으며, 다운로드 항목의 등록 후 기 지정된( 예를 들어, 사용자가 상기 미디어 플레이어(110)의 환경정보에 기 설정해둔 ) 시간의 경과, 또는 현재 실시간 오디오 플레이의 중단 또는 종료 등이 상기 다운로드 가능조건의 또 다른 예가 될 수도 있다. 이 외에도, 현재 오디오 플레이에 영향을 주지 않으면서 여유 대역폭을 이용하여 추가적으로 영상 컨텐트를 다운로드할 수 있는 또는 여유 시간대를 이용하여 영상 컨텐트를 다운로드할 수 있는 다양한 상태들이 상기 영상 컨텐트의 다운로드 가능조건에 해당될 수 있다. 이 때의 여유 대역폭은 반드시 실시간 영상 컨텐트의 대역폭이상일 필요는 없으며, 무선 통신망의 변동성에 비추어 볼 때, 오디오 컨텐트의 대역폭이하로 떨어지지 않을 정도의 여유 대역폭이 있다면 그 대역폭의 범위에서 영상 컨텐트를 느린 속도로 받을 수 있기 때문이다.The downloadable condition of the video content may be various, and for example, a communication network, for example, a Wi-Fi network, which does not incur a cost in using a communication network, becomes available, or a fixed cost when using a data service (data This means that the costs that have already been fixed by the use of data services up to the present time regardless of whether additional services are used are available. Can be. In addition, the state in which the transmission speed of the communication network currently used is improved to an appropriate level or more, at which an additional download of image content is possible, may be an example of the downloadable condition. Another example of the downloadable condition may be the elapsed time) set in the environmental information of the media player 110 or the interruption or termination of the current real-time audio play. In addition, various conditions in which the video content can be additionally downloaded using the free bandwidth or the video content can be downloaded using the free time zone without affecting the current audio play correspond to the downloadable condition of the video content. Can be. The free bandwidth at this time is not necessarily higher than the bandwidth of the real-time video content. In view of the variability of wireless communication network, if there is enough free bandwidth that does not fall below the bandwidth of the audio content, the slow speed of the video content in the bandwidth range. Because you can receive.

접속된 통신망의 확인은 상기 운영시스템(100a)에 문의를 통해 얻어지는 망접속 정보를 통해 이루어진다. 상기 운영시스템(100a)으로부터 리턴되는 망접속 정보에는, 통신망에 접속된 경우에 접속 IP주소와 그 통신망과의 커넥션 유형( 예를 들어, 3G 이동전화 통신망, Wi-Fi 무선랜망 ) 등이 포함되므로, 각 유형에 대해 상기 미디어 플레이어(110)에 기 설정해 둔 데이터 서비스 이용료 등에 대한 정보로부터 상기 다운로드 가능조건에서의 어떤 통신망에 해당하는 지를 알 수 있다. 그리고, 새로운 통신망, 예를 들어 Wi-Fi 망의 이용가능 여부는, 상기 운영시스템(100a)으로부터 통지되는 Wi-Fi 망 상태에 대한 정보로부터 알 수 있다( 자동적 통지대신 주기적으로 상기 운영시스템(100a)에 Wi-Fi 망 상태에 대한 정보를 요청하여 수신할 수도 있다. ). 상기 운영시스템(100a)은, Wi-Fi 신호대역을 물리적으로 검색하도록 상기 Wi-Fi 모뎀(2a)을 제어하고, 이 후, 상기 Wi-Fi 모뎀(2a)이 해당 신호대역에서 유효신호의 검출 시에 제공하는 각 접속점의 식별정보와 RSSI (Received Signal Strength Indicator)의 값 등을 읽어서( 도 1b의 r11 ) 이를 상기 데이터 제어부(112)에 알리게 된다. 이 정보에 접속점이 없으면 상기 데이터 제어부(112)는 현재 Wi-Fi 망이 접속가능하지 않은 것으로 판단한다. 만약, 접속점이 있더라도 기 지정된 일정세기 이상의 신호가 수신되는 접속점이 없으면 접속가능하지 않은 것으로 판단할 수도 있다.Confirmation of the connected communication network is made through network connection information obtained through an inquiry to the operating system 100a. Since the network connection information returned from the operating system 100a includes a connection IP address and a connection type (eg, 3G mobile telephone communication network, Wi-Fi wireless LAN network) when connected to a communication network, etc. From the information on the data service fee set in advance in the media player 110 for each type, it can be known which communication network corresponds to the downloadable condition. In addition, whether a new communication network, for example, Wi-Fi network is available, can be known from the information on the state of the Wi-Fi network notified from the operating system 100a (instead of automatic notification, the operating system 100a periodically). You can also request and receive information on the Wi-Fi network status. The operating system 100a controls the Wi-Fi modem 2a to physically search for the Wi-Fi signal band, and thereafter, the Wi-Fi modem 2a detects a valid signal in the corresponding signal band. The identification information of each access point and the value of the received signal strength indicator (RSSI) provided by the city are read (r11 in FIG. 1B), and the data control unit 112 is notified. If there is no access point in this information, the data controller 112 determines that the current Wi-Fi network is not accessible. If there is an access point, it may be determined that the access point is not accessible unless an access point for receiving a signal having a predetermined predetermined strength or more is received.

그리고, 접속된 통신망의 전송속도는 각 오디오 컨텐트 조각의 도달 속도로부터 간접적으로 파악할 수 있다. 예를 들어, HTTP 기반의 라이브(live) 스트림에서는, 각 컨텐트 조각에 대해서 정해진 시간간격( 위 설명된 예에서, 10초 )으로 요청되어 시간적으로 분산되지만, 요청된 각 컨텐트 조각은 통신망의 지원대역폭하에서 최대한으로 집중되어 전송되므로 한 컨텐트 조각의 수신시간에는 현재 이용중인 통신망의 실제의 전송대역폭이 반영된다. 따라서, 상기 데이터 제어부(112)는 통신소켓을 통해 일정시간당 수신되는( 실제적으로는 해당 통신소켓을 통해 읽어내는 ) 데이터량을 반복적으로 측정하고 그 측정치의 평균으로부터 현재 통신망의 대역폭( 전송속도 )을 추정한다. 그리고 그 추정된 값이 실시간 오디오 미디어의 수신대역폭외의 어느 정도 여유있는 대역폭을 보장하는 값이면 현재상태가 상기 다운로드 가능조건에 해당하는 것으로 판단할 수 있다.And, the transmission speed of the connected communication network can be grasped indirectly from the arrival speed of each piece of audio content. For example, in an HTTP-based live stream, each piece of content is requested and distributed over time, with a defined time interval (10 seconds in the example described above), but each piece of content requested is the bandwidth of the network. In this case, the transmission time of the content fragment reflects the actual transmission bandwidth of the current network. Accordingly, the data control unit 112 repeatedly measures the amount of data received per predetermined time (actually read through the corresponding communication socket) through the communication socket and calculates the bandwidth (transmission rate) of the current communication network from the average of the measured values. Estimate. If the estimated value is a value that guarantees a sufficient bandwidth outside the reception bandwidth of the real-time audio media, it may be determined that the current state corresponds to the downloadable condition.

상기 데이터 제어부(112)는, 현재 상태가 전술한 다양한 다운로드 가능조건의 어느 하나에 해당하면(S512), 저장된 다운로드 항목의 영상 연관정보가 기재된 통신규약에 의한 요구, 예를 들어 HTTP Reqeust를 작성하여 상기 운영시스템(100a)을 통해 상기 컨텐트 서버(12)로 송신함으로써 해당 구간의 사후 획득을 요청한다(S513). Request 문서에서 영상 연관정보에 의해 구간을 지정하는 방식의 경우, 상기 컨텐트 서버(12)와 미리 약속된 방식에 따라, 구간 지정을 위한 새로운 속성(attribute)을 정의하고 그 속성의 값으로서 구간을 지정할 수도 있다. 본 발명에 따른 다른 일 실시예에서는, 통신규약에 의한 요구에, 컨텐트 구간을 지정하는 영상 연관정보대신, 단일의 영상 컨텐트 조각을 식별하는 정보 또는 복수의 영상 컨텐트 조각들을 각각 식별하는 정보를 영상 연관정보로서 기재할 수도 있다. 예를 들어, 다운로드 항목에 의해 지정된 영상 컨텐트 구간에 대해서, 자신의 일부가 포함된 영상 컨텐트 조각에 대해서는 해당 부분을 요청하는 통신규약에 의한 요구를, 그리고 전(全) 구간이 포함된 영상 컨텐트 조각에 대해서는 해당 조각을 요청하는 통신규약에 의한 요구를 각각 작성하여 순서대로 상기 컨텐트 서버(12)로 송신할 수도 있다. 도 9의 예에 대해서 예를 들어 설명하면, “.../video/segmentN_k _-1.ts”의 조각에 대해서는, 그 조각을 식별하는 정보( 예를 들어, URL )와 함께 해당 조각의 후반부의 2초( = 10-2 )분량을, “.../video/segmentN_k.ts”와 “.../video/segmentN_k+1.ts”의 조각에 대해서는 전부를, 그리고 “.../video/segmentN_k+2.ts”의 조각에 대해서는 전반부의 8초분량을 요구하는 4개의 HTTP Request를 작성하여 순서대로 송신할 수도 있다. 본 발명에 따른 다른 실시예에서는, 일부가 포함된 각 영상 컨텐트 조각( 도 9의 예에서, “.../video/segmentN_k-1.ts”와 “.../video/segmentN_k ₊₂.ts”)에 대해서, 그 조각을 식별하는 정보와 함께, 해당되는 부분대신 그 조각의 전체를 요구하는 각각의 HTTP Request를 작성하여 송신하거나, 또는 영상 컨텐트 구간의 데이터가 일부분 포함된 선두와 후미의 컨텐트 조각을 전부 포함( “.../video/segmentN_k _-1.ts”, “.../video/segmentN_k.ts”,…, “.../video/segmentN_k ₊₂.ts” )하여 요청하는 HTTP Request를 작성하여 송신할 수도 있다. 물론, 이 때에는, 앞서 설명한 구간 실플레이 시간정보를, 선두 또는 후미 조각의 추가되는 부분에 해당하는 시간만큼 조정한다. 물론, 수신한 후 플레이할 때, 선두와 후미의 조각에 대해서 영상 컨텐트 구간에 해당되는 부분만을 추출하여 플레이한다면 상기 구간 실플레이 시간정보를 조정하지 않는다.When the current state corresponds to any one of the various downloadable conditions described above (S512), the data control unit 112 creates a request according to a communication protocol in which video related information of the stored download item is written, for example, HTTP Reqeust. A request for post-acquisition of the corresponding section is requested by transmitting to the content server 12 through the operating system 100a (S513). In the case of the method of designating the section by the image related information in the request document, a new attribute for designating the section is defined according to a method previously agreed with the content server 12, and the section is designated as the value of the attribute. It may be. In another embodiment according to the present invention, in response to a request by the communication protocol, instead of video association information for designating a content section, information for identifying a single video content piece or information for identifying a plurality of video content pieces, respectively, is video associated. It can also be described as information. For example, for a video content section specified by a download item, for a video content piece including a part of itself, a request is made by a communication protocol requesting the corresponding part, and a video content piece including an entire section. For each request, the request according to the communication protocol for requesting the corresponding fragment may be prepared and transmitted to the content server 12 in order. Referring to the example of FIG. 9, for a fragment of “... / video / segmentN _k _-1 .ts”, the latter half of the fragment along with information identifying the fragment (for example, URL) 2 seconds of (= 10-2) for all the pieces of “... / video / segmentN _k .ts” and “... / video / segmentN _{k + 1} .ts”, and “.. For the fragment of ./video/segmentN _{k + 2} .ts ”, four HTTP requests requiring 8 seconds of the first half can be created and sent in order. In another embodiment according to the present invention, each piece of video content included in the portion (in the example of FIG. 9, “... / video / segmentN _k-1 .ts” and “... / video / segmentN _k ₊₂ .ts ”), along with information identifying the fragment, create and send each HTTP request requesting the entirety of the fragment instead of the corresponding portion, or the head and tail that contain some data from the video content section. Contains all of the content fragments of "... / video / segmentN _k _-1 .ts", "... / video / segmentN _k .ts",…, “... / video / segmentN _k ₊₂ .ts You can also create and send an HTTP Request to request. Of course, at this time, the section real play time information described above is adjusted by the time corresponding to the added portion of the head or tail piece. Of course, when playing after receiving, if only the portion corresponding to the video content section is played for the pieces of the head and tail, the section real play time information is not adjusted.

현재 상태가 전술한 다양한 다운로드 가능조건의 어느 하나에 해당할 때(S512), 만약, 임의의 저장된 다운로드 항목이 잠정 영상 연관정보인 경우에는, 상기 데이터 제어부(112)는, 그 잠정 영상 연관정보에 의한 잠정 구간을 지정하여 1차적으로 해당 영상 컨텐트 데이터를 먼저 요청할 수도 있다. 그리고, 해당 다운로드 항목의 영상 연관정보가 확정 마크(903)된 후에는, 앞서 1차적으로 요청한 구간에서 더 연장되었으면 해당 연장된 구간만큼을 지정하여 해당 영상 컨텐트 데이터를 2차적으로 요청할 수도 있다.When the current state corresponds to any one of the various downloadable conditions described above (S512), if any stored download item is tentative image related information, the data control unit 112 displays the tentative image related information. By specifying a tentative interval, the video content data may be requested first. After the image related information of the corresponding download item has been confirmed (903), if it is further extended in the previously requested section, the video content data may be secondly requested by designating the extended section.

한편, 현재 상태가 새로운 통신망의 이용가능의 다운로드 가능조건에 해당하는 경우에는, 그 새로운 통신망에의 접속을 상기 운영시스템(100a)에 요청한 후 그 통신망의 접속이 이루어지면( 즉, 해당 통신망으로부터 접속 IP주소를 할당받으면 ) 사후획득 요청을 위한 상기 작성된 통신규약에 의한 요구를 송신한다. 물론, 이 때는 상기 운영시스템(100a)과의 새로운 통신소켓의 생성 후에 그 통신소켓을 통해 상기 통신규약에 의한 요구가 발송된다. 또한, 본 경우에, 현재 여전히 실시간 오디오 미디어의 플레이가 진행중이면, 해당 실시간 오디오 미디어에 대해서도 통신소켓을 새로이 생성하여 그 통신소켓을 통해, 저장된 미디어 인덱스 정보로부터 확인되는 실시간 오디오 미디어에 대한 목록파일을 요청하여 수신하며, 그 수신된 목록파일에 근거하여 현시점의 오디오 컨텐트 조각을 상기 생성한 통신소켓을 통해 요청함으로써 새 통신망을 통해서 실시간 오디오 미디어의 플레이가 지속되도록 한다. 물론, 상기 운영시스템(100a)이 복수의 통신망에 대해 동시 접속을 지원하는 경우에는 실시간 오디오 미디어의 플레이에 대해서 새로이 사용하는 통신망으로 전환시키지 않을 수도 있다.On the other hand, if the current state corresponds to the available downloadable condition of the new communication network, if the operating system 100a requests the connection to the new communication network and then the connection of the communication network is established (that is, connected from the corresponding communication network). If an IP address is assigned), the request according to the written communication protocol for a post-acquisition request is transmitted. Of course, at this time, after the creation of a new communication socket with the operating system 100a, the request according to the communication protocol is sent out through the communication socket. Also, in this case, if the play of the real-time audio media is still in progress, a new communication socket is also created for the real-time audio media, and the list file for the real-time audio media identified from the stored media index information through the communication socket is created. Request and receive, and based on the received catalog file, the current piece of audio content is requested through the created communication socket so that play of real-time audio media is continued through the new communication network. Of course, when the operating system 100a supports simultaneous access to a plurality of communication networks, the operating system 100a may not switch to a newly used communication network for playing real-time audio media.

상기의 통신규약에 의한 요구를 수신하면, 상기 컨텐트 서버(12)( 또는 영상 미디어의 사후 다운로드를 위해 별도로 구축된 서버, 이는 이하에서도 마찬가지이다. )는, 그 요구가 수신된 순서대로 해당되는 컨텐트 조각의 파일을 찾아서 전송하게 된다. 이를 위해 상기 컨텐트 서버(12)는 실시간 미디어의 제공 후에도 상당시간 해당 미디어의 컨텐트를 저장하고 있게 된다. 수신되는 통신규약에 의한 요구가 해당 컨텐트 조각에서의 부분을 요청하는 것이면, 그 부분에 해당되는 데이터, 예를 들어 PES 패킷들만을 전송하게 된다. 컨텐트 조각의 부분이 지정( 예를 들어, 해당 조각에서의 선두로부터의 상대적 시간에 의해 지정 )되어 있는 경우, 그 부분을 찾는 방식은, 앞서 설명하였던, 해당 조각에서의 선두 패킷의 타임스탬프 정보와 디코딩하는 패킷의 타임스탬프 정보의 차로부터 특정지점을 찾는 방식과 동일하게 이루어질 수 있다.Upon receiving the request according to the above communication protocol, the content server 12 (or a server built separately for post-downloading of the video media, which is also the case below), the corresponding content in the order in which the request is received. Find and send the file of the piece. To this end, the content server 12 stores the contents of the media for a considerable time even after the real-time media is provided. If the request by the received communication protocol is to request a part in the corresponding piece of content, only the data corresponding to that part, for example PES packets, will be transmitted. If a portion of the content fragment is specified (eg, specified by relative time from the beginning of the fragment), the way of finding that portion is described above with the timestamp information of the first packet in that fragment. It can be made in the same manner as finding a specific point from the difference of the time stamp information of the packet to be decoded.

전술한 일 실시예에 따라, 영상 컨텐트 구간을 요청하는 통신규약에 의한 요구에 기재된 영상 연관정보가, 오디오 미디어상의 양단(兩端) 지점을 지정하고 있는 경우에는, 상기 컨텐트 서버(12)는, 앞서 설명하였던, 오디오 컨텐트 조각과 동시간에 플레이의도된 영상 컨텐트 조각을 찾는 방식과 동일한 방식을 통해, 오디오 미디어상의 양단 지점에 대응되는 영상 미디어( 즉, 영상 컨텐트 조각 )상의 양단 지점을 파악함으로써, 요청하는 영상 컨텐트 구간을 식별하게 된다.According to the above-described embodiment, when the video association information described in the request by the communication protocol requesting the video content section designates both ends of the audio media, the content server 12, In the same way as the above-described method of finding the intentional video content piece at the same time as the audio content piece, the end point of the video media (i.e. the video content piece) corresponding to both ends of the audio content is identified. Then, the requesting video content section is identified.

전술한 실시예에 따라, 수신된 통신규약에 의한 요구가 영상 컨텐트 구간의 시작점과 종료점에 대한 정보를 지정하고 있으면( 또는 수신된 통신규약에 의한 요구에 기재된 오디오 컨텐트 구간의 시작점과 종료점에 각기 동시간 플레이 의도된 영상 컨텐트 구간의 시작점과 종료점이 식별되면 ), 상기 컨텐트 서버(12)는 그 구간의 시작점과 종료점에 해당하는 영상 컨텐트 조각의 사이에 또 다른 영상 컨텐트 조각이 있는 지를 확인하고( 이는 시작점과 종료점에 해당하는 조각의 순서번호로부터 알 수 있다. ), 있는 경우에는 그 사이에 있는 조각들도 순서대로 또한 전송하게 된다. 전술한 다른 일 실시예에 따라, 상기 무선통신 단말기(100)로부터 구간의 사이에 있는 조각들에 대해서도 개별적인 통신규약에 의한 요구가 수신되는 경우에는 그 요청에 따라 각 조각에서의 일부 또는 전부를 요구 순서대로 전송하게 된다. According to the above-described embodiment, if the request according to the received communication protocol specifies information about the start and end points of the video content section (or the start and end points of the audio content section described in the request according to the received communication protocol, respectively). If the start point and the end point of the video content section intended for time play are identified), the content server 12 checks whether there is another video content piece between the video content pieces corresponding to the start point and the end point of the section ( You can find out from the sequence number of the slice that corresponds to the start and end points, if any, the pieces in between are also sent in sequence. According to another embodiment described above, when a request according to an individual communication protocol is received for pieces in between sections from the wireless communication terminal 100, part or all of each piece is requested according to the request. In order to transmit.

한편, 영상 컨텐트 조각의 일부를 전송하는 경우에는, 상기 컨텐트 서버(12)는 그 조각 일부의 데이터의 정상적인 디코딩을 위해서 필요한 미디어 정보( 인코딩방식, 그 일부 데이터의 크기 등 )를 그 조각 일부의 선두에 추가하거나 필요에 따라서는 새로운 미디어 조각을 구성할 수도 있다.On the other hand, in the case of transmitting a part of the video content fragment, the content server 12 transmits the media information (encoding method, the size of the partial data, etc.) necessary for the normal decoding of the data of the fragment part. You can also add to or configure a new piece of media as needed.

전술한 바와 같이 상기 컨텐트 서버(12)가 전송하는 영상 컨텐트 조각들의 데이터는 상기 통신규약에 의한 요구가 수신된 통신망을 통해 상기 상기 무선통신 단말기(100)에 수신되고, 상기 무선통신 단말기(100)의 통신자원( 접속 통신망이 2G 또는 3G 방식의 셀룰러 망인 경우에는 상기 셀룰러 모뎀(1a)과 셀룰러 코덱(1b), 접속 통신망이 Wi-Fi 망인 경우에는 상기 Wi-Fi 모뎀(2a)과 Wi-Fi 코덱(2b) )을 거쳐 상기 운영시스템(100a)에 의해 수신된다. 상기 운영시스템(100a)은 수신되는 데이터의 TCP 커넥션 정보에 근거하여 그와 연관된 통신소켓을 확인하여 그 통신소켓을 통해, 상기 데이터 제어부(112)가 다운로드 요청한 구간의 영상 데이터를 상기 데이터 제어부(112)에 전달하게 된다.As described above, data of the pieces of video content transmitted by the content server 12 are received by the wireless communication terminal 100 through a communication network in which a request according to the communication protocol is received, and the wireless communication terminal 100 Communication resources of the cellular modem 1a and cellular codec 1b when the access network is a 2G or 3G cellular network, and the Wi-Fi modem 2a and Wi-Fi when the access network is a Wi-Fi network. Received by the operating system 100a via a codec 2b). The operating system 100a checks the communication socket associated with the received data based on the TCP connection information of the received data and transmits the image data of the section requested by the data control unit 112 to download the data through the communication socket. ).

한편, 이러한 사후 다운로드 과정이 진행되고 있는 동안에도, 현재 여전히 실시간 오디오 미디어의 플레이가 진행중인 경우에는, 해당되는 실시간 오디오 미디어의 조각들이, 상기 영상 컨텐트 조각들이 수신되는 통신소켓과는 다른 통신소켓을 통해 차례대로 수신되어 상기 데이터 제어부(112)에 의해 상기 미디어 처리부(111)에 제공되는 동작은 지속된다.On the other hand, even during this post-download process, if the real-time audio media is still playing, the corresponding pieces of the real-time audio media may be connected through different communication sockets than the communication sockets in which the video content pieces are received. The operations which are sequentially received and provided to the media processing unit 111 by the data control unit 112 continue.

상기 데이터 제어부(112)는, 다운로드 요청한 구간의 영상 데이터가 수신되면, 그 다운로드를 요청하기 위해 작성했던 통신규약에 의한 요구의 내용을 확인하고 그 확인된 내용을 근거로, 도 9에 예시된 바와 같이 저장된, 현재 수신되는 해당 다운로드할 항목을 특정한다. 그리고 요청한 구간의 영상 데이터가 다운로드되는 동안 그 수신하여 저장된 영상 데이터로써 지속적인 플레이가 가능한 지를 확인한다(S514). 여기서, “지속적 플레이 가능”의 문구는 플레이를 시작한 후 해당 구간의 종료점까지 끊김없이 연속하여 플레이 가능한 것을 의미하는 것이며, 반드시 해당 구간의 데이터가 플레이 시작전 모두 다운로드 완료된 것을 전제하는 것은 아니고, 다운로드된 구간 데이터로써 플레이 시작한 후 플레이되는 동안의 계속적인 이후 데이터의 다운로드로 인하여 플레이가 끊김없이 구간종료점까지 이루어질 수 있는 경우 또는 그럴 가능성이 높은 경우도 포함한다. 후자의 경우에 대한 예로서는, 상기 데이터 제어부(112)가, 전술한 바와 같은 방식으로 영상 컨텐트 조각의 데이터의 수신속도로부터 추정하는 현재 통신망의 전송대역폭이, 영상 컨텐트 구간이 필요로 하는 대역폭( 임의 컨텐트 조각의 크기를 해당 재생시간으로 나눈, 예를 들어 10초 분량의 조각의 크기를 10초로 나눈 데이터 속도 ) 또는 미수신된 잔여 데이터가 필요로 하는 대역폭( 미수신된 잔여 데이터의 크기를 그 데이터의 플레이 시간으로 나눈 데이터 속도 - 각 조각의 크기와 그 조각에서 받은 데이터량으로부터 잔여 크기와 잔여 데이터의 플레이 시간을 비례하여 추정할 수 있다. )보다 일정 여유값보다 큰 경우에 상기 데이터 제어부(112)는 “지속적 플레이 가능”으로 판단할 수 있다. 본 발명에 따른 일 실시예에서는, 다운로드 요청한 구간의 영상 데이터가 기 지정된 일정비율이상, 예를 들어 50%이상 수신된 경우에 한하여 상기와 같은 방식의 “지속적 플레이 가능” 여부를 판단할 수도 있다. 다운로드 요청한 컨텐트 조각의 수에 대한 수신완료된 조각의 수의 비율이 상기 일정비율과 비교될 수도 있다.When the data control unit 112 receives the image data of the download request section, the data control unit 112 confirms the content of the request made by the communication protocol for requesting the download and based on the confirmed content, is illustrated in FIG. 9. Specifies the item to be downloaded, which is currently received. Then, while the video data of the requested section is downloaded, it is checked whether continuous play is possible with the received and stored video data (S514). Here, the phrase "continuously playable" means that the game can be played continuously without any interruption until the end point of the corresponding section after the play is started. The data of the section is not necessarily assumed to have been completely downloaded before the start of play. It also includes a case where the play can be made to the end point of a section without interruption due to the continuous download of subsequent data during play after the start of play as the section data or a case where it is highly likely. As an example of the latter case, the transmission bandwidth of the current communication network, which the data control unit 112 estimates from the reception speed of the data of the piece of video content in the manner described above, is the bandwidth required for the video content section (any content). The size of a fragment divided by its duration, e.g. a data rate of 10 seconds of the size of a fragment divided by 10 seconds, or the bandwidth required by unreceived residual data (the amount of unreceived residual data divided by the play time of that data). The data control unit 112 divides the data rate by-the size of each piece and the amount of data received from the piece in proportion to the remaining size and the play time of the remaining data. You can play continuously ”. According to an embodiment of the present invention, it is also possible to determine whether the "continuous play" in the above manner is possible only when the image data of the download request section is received more than a predetermined predetermined ratio, for example, 50% or more. The ratio of the number of received pieces to the number of pieces of content requested for downloading may be compared with the predetermined ratio.

다운로드 요청하여 수신저장한 영상 컨텐트 구간에 대해 현재 시점에 “지속적 플레이 가능”으로 판단되면, 상기 데이터 제어부(112)는 이를 상기 UI 처리부(113)에 통지하고, 그 통지에 따라 상기 UI 처리부(113)는, 사용자가 “사후 다운로드”를 요청한 영상 컨텐트 구간이 플레이 준비되었음을 알리는 정보, 예를 들어 알림창 등을 상기 미디어 플레이어(110)의 현재의 화면상에 표시하거나 또는 특정 심볼(symbol)을 상기 운영시스템(100a)이 제공하는 API를 통해 상기 디스플레이 패널(5)상의 구분된 알림영역에 표시한다(S515). 만약, 사용자가 상기 미디어 플레이어(110)의 동작환경이나, 사후 다운로드 요청시에 제공하는 동작옵션(option)에서 “자동재생”을 설정한 경우에는, 상기 미디어 플레이어(110)는, 상기 통지와 함께 또는 통지없이, 플레이 준비된 상기 영상 컨텐트 구간을, 아래에서 설명하는 동작을 통해 바로 플레이할 수도 있다. 한편, 상기 데이터 제어부(112)는, 상기의 통지( 또는 플레이 )와 함께, 도 9에 예시된 바와 같이 저장되어 있는 해당 다운로드할 항목을 삭제하거나 또는 별도의 관리목록으로 이동시킨다(S515). 상기 별도의 관리목록은 해당 항목이 언제든지 플레이가 가능한 상태임을 기록하기 위한 목록일 수 있다.When it is determined that the video content section received and received by the download request is "continuously playable" at the present time, the data control unit 112 notifies the UI processing unit 113 and the UI processing unit 113 according to the notification. ) Displays information indicating that the video content section requested by the user for "post-download" is ready to play, for example, a notification window on the current screen of the media player 110 or operates a specific symbol. In operation S515, the system 100a displays the divided notification area on the display panel 5 through an API provided by the system 100a. If the user sets “auto play” in the operating environment of the media player 110 or an operation option provided at the time of a post download request, the media player 110 is accompanied by the notification. Alternatively, the video content section ready to play may be directly played through the operation described below without notification. On the other hand, the data control unit 112, along with the notification (or play), delete the corresponding item to be downloaded as illustrated in FIG. 9 or move to a separate management list (S515). The separate management list may be a list for recording that the item is available for play at any time.

본 발명에 따른 다른 일 실시예에서는, 상기 데이터 제어부(112)는, 요청한 전(全)구간이 수신완료된 영상컨텐트 구간에 대해서, 상기 미디어 플레이어(110) 자신이 아닌 타 어플이 액세스할 수 있는, 상기 운영시스템(100a) 기반하의 하나의 파일로서 저장할 수도 있다. 이와 같이 저장하게 되면, 영상 미디어를 플레이할 수 있는, 상기 무선통신 단말기(100)에 설치된 어플을 구동시켜 그 어플을 통해 상기 데이터 제어부(112)가 저장한 영상데이터 구간을 플레이시킬 수가 있다.In another embodiment according to the present invention, the data controller 112 may access other applications other than the media player 110 to the video content section in which the requested entire section is received. It may be stored as a file on the basis of the operating system (100a). When the storage is performed in this way, an application installed in the wireless communication terminal 100 capable of playing video media can be driven to play the video data section stored by the data control unit 112 through the application.

한편, 상기의 “플레이 준비” 알림 후 일정시간내에 해당 구간의 플레이 요구가 있으면(S516), 상기 UI 처리부(113)는 그 사실을 상기 데이터 제어부(112)에 통지한다. 상기 UI 처리부(113)로부터 구간 플레이 요구가 있거나 또는 사용자의 요구없이 자동적으로 플레이할 경우에는, 상기 데이터 제어부(112)는 현재 수신완료된 또는 수신되고 있는 영상 컨텐트 구간의 선두조각부터 차례대로 상기 미디어 처리부(111)에 제공하게 되고, 또한 앞서 수신되는 구간에 대해 특정한 다운로드할 항목에 기재되어 있는 구간 실플레이 시간정보를 상기 UI 처리부(113)에 전달하면서 화면표시를 요구한다. 그리고 영상 컨텐트 구간의 조각을 상기 미디어 처리부(111)에 순서대로 제공할 때, 현재 전달하는 컨텐트 데이터가 “사후처리 미디어”임을 지정하는 정보도 전달한다. 상기 미디어 처리부(111)는 “사후처리 미디어”로 지정된 영상 컨텐트 데이터가 수신되면 현재 다른 컨텐트, 본 예에서 실시간 오디오 미디어가 디코딩 진행중인 지를 확인하고(S517), 만약 진행중이지 않으면 상기 데이터 제어부(112)로부터 전달되는 영상 컨텐트 데이터를 통상의 방식에 따라 디코딩되게 하여, 도 11에 예시된 바와 같이, 상기 UI 처리부(113)가 영상출력되도록 지정된 창(1101)에 시각적으로 표시되도록 한다(S520). On the other hand, if there is a play request of the corresponding section within a predetermined time after the "play ready" notification (S516), the UI processing unit 113 notifies the data control unit 112 of the fact. When there is a section play request from the UI processor 113 or automatically plays without a user's request, the data controller 112 sequentially processes the media processing section from the head of the currently received or received video content section. The screen display is requested while the section real play time information described in the item to be downloaded and specified in the specific item to be downloaded for the previously received section is transmitted to the UI processing unit 113. When the pieces of the video content section are provided to the media processing unit 111 in order, information for specifying that the currently delivered content data is "post-processing media" is also delivered. If the media processing unit 111 receives image content data designated as "post-processing media", the media processing unit 111 checks whether other content, in this example, real-time audio media is currently being decoded (S517), and if not, the data control unit 112. As shown in FIG. 11, the UI content 113 is visually displayed on the designated window 1101 to be outputted as shown in FIG. 11.

한편, 상기 UI 처리부(113)는, 플레이 화면상의 지정된 영역에 상기 데이터 제어부(112)로부터 수신한 구간 실플레이 시간정보(1102)를 표시하여, 사용자로 하여금, 현재 플레이되는 영상 구간이 실시간상으로 원래 플레이 의도되었던 시간을 알 수 있게 한다. 다시 말하면, 현재 플레이되는 영상 구간이 현실에서 언제 실시간으로(live) 중계되어, 타 단말기 등에 의해 플레이되었던 것인 지를 알 수 있게 한다.Meanwhile, the UI processing unit 113 displays the section real play time information 1102 received from the data control unit 112 in a designated area on the play screen, so that the user can display the currently playing video section in real time. It lets you know the time you were originally intended to play. In other words, when the video section currently being played is relayed in real time in real time, it is possible to know whether it was played by another terminal or the like.

전술한 바의 일 실시예에 따라, 영상 연관정보에 의한 영상 컨텐트 구간에 대해서, 그 구간의 데이터를 포함하는 각 영상 컨텐트 조각에 대해서 전부를 요청하여 수신한 경우에는, 상기 데이터 제어부(112)는, 도 9에 예시된 바와 같이 저장되어 있는 다운로드 항목의 정보를 참조하여, 해당 컨텐트 구간에 속하는 데이터만을 각 컨텐트 조각에서 추출하여 상기 미디어 처리부(111)에 제공할 수도 있다. 예를 들어, 도 9의 예에서, 영상 컨텐트 구간의 경계가 속하는 “.../video/segmentN_k-1.ts”의 조각에 대해서는 후반부의 2초분량의 데이터를, 그리고 “.../video/segmentN_k ₊₂.ts”의 조각에 대해서는 전반부의 8초분량의 데이터를 추출하여 제공할 수도 있다. According to the exemplary embodiment described above, when the video content section based on the image association information is requested and received for each piece of the video content including the data of the section, the data controller 112 may receive the request. 9, only the data belonging to the content section may be extracted from each piece of content and provided to the media processing unit 111 by referring to the information of the downloaded item stored as illustrated in FIG. 9. For example, in the example of FIG. 9, for the fragment of “... / video / segmentN _k-1 .ts” to which the boundary of the video content section belongs, 2 seconds of data of the latter part is used, and “... / For the fragment of video / segmentN _k ₊₂ .ts ”, the first 8 seconds of data can be extracted and provided.

상기 미디어 처리부(111)는, 현재 실시간 오디오 미디어가 디코딩 진행중인 경우에는(S517), 현상태( 실시간 오디오 디코딩중 )를 상기 UI 처리부(113)에 통지하게 되고, 동시에 “상기 데이터 제어부(112)로부터 전달되는 영상 컨텐트 데이터에서 오디오 속성의 패킷은 배제하고 디코딩되도록 한다. 이로써 상기 미디어 플레이어(110)의 화면에는 앞서 사용자가 사후 다운로드 요청한 부분에 해당되는 영상이 표시되고 오디오는 현재 실시간의 오디오 미디어에 의한 것이 출력된다(S518). 상기의 “실시간 오디오 디코딩중”의 상태 통지에 따라 상기 UI 처리부(113)는, 도 11에 예시된 바와 같이, 오디오 출력할 소스, 즉 실시간 오디오 또는 사후 다운로드한 영상을 선택할 수 있는 선택도구(1110), 예를 들어 버튼박스 또는 체크박스 등을 상기 미디어 플레이어(110)의 화면상에 제공한다( 이 때, 상기 선택도구에 대해 지정된 디폴트(default) 값은 “실시간 오디오”이며 이에 대응되는 항목(1111)이 선택된 것으로 표시된다. ). 이 같은 상태에서, 사용자가 실시간 오디오대신 다운로드된 영상의 오디오를 듣고 싶으면, 상기 제공된 선택도구(1110)를 통해 “다운로드 영상” 항목(1112)을 선택하게 되고, 상기 UI 처리부(113)는 그 선택내용을 상기 미디어 처리부(111)에 통지하게 된다. 그 통지에 따라 상기 미디어 처리부(111)는 실시간 오디오 미디어의 디코딩을 중단하고 대신 앞서 “사후처리 미디어”로 지정된 영상 컨텐트 데이터내의 오디오 패킷들의 디코딩이 이루어지도록한다(S519). 이로써, 다운로드된 영상 구간에 대해 사용자는 시청각적으로 즐길 수 있게 된다. 한편, 상기 데이터 제어부(112)는 실시간 오디오 미디어의 목록파일 정보에 의해 마지막으로 확인되는 컨텐트 조각을 수신하여 상기 미디어 처리부(111)로 전달한 후에는 이를 상기 UI 처리부(113)에 통지하게 되고, 그 통지에 따라 상기 UI 처리부(113)는 앞서 제공한 상기 선택도구(1110)를 화면상에서 제거하게 된다.When the real time audio media is currently being decoded (S517), the media processing unit 111 notifies the UI processing unit 113 of the status (during real time audio decoding) and simultaneously transmits the data from the data control unit 112. The packet of the audio attribute is excluded from the image content data to be decoded. As a result, an image corresponding to a part previously requested by the user is displayed on the screen of the media player 110 and the audio is output by the current real-time audio media (S518). In response to the status notification of "Real-time audio decoding" described above, the UI processing unit 113 selects 1110 for selecting a source for audio output, that is, real-time audio or post-downloaded image, as illustrated in FIG. 11. ), For example, a button box or a check box, etc. are provided on the screen of the media player 110 (in this case, the default value specified for the selector is “real-time audio” and the corresponding item ( 1111 is indicated as selected). In this state, if the user wants to listen to the audio of the downloaded video instead of the real-time audio, the user selects the “downloaded video” item 1112 through the provided selection tool 1110, and the UI processing unit 113 selects the audio. The media processing unit 111 is notified of the contents. In response to the notification, the media processing unit 111 stops decoding the real-time audio media and instead decodes the audio packets in the image content data previously designated as "post-process media" (S519). As a result, the user can enjoy the audio visually with respect to the downloaded video section. Meanwhile, the data controller 112 notifies the UI processor 113 after receiving the piece of content last identified by the list file information of the real-time audio media and delivering it to the media processing unit 111. In response to the notification, the UI processing unit 113 removes the selection tool 1110 provided above from the screen.

본 발명에 따른 다른 일 실시예에서는, 상기 UI 처리부(113)가 상기 선택도구(1110)를 상기 미디어 플레이어(110)의 화면상의 특정 영역에 고정적으로 배치하여 사용자로부터의 오디오 데이터 소스에 대한 선택을 받을 수 있게 할 수도 있다.In another embodiment according to the present invention, the UI processing unit 113 fixedly arranges the selection tool 1110 in a specific area on the screen of the media player 110 to select the audio data source from the user. You can also get it.

전술한 실시예에서는, 사용자가 “사후 다운로드”를 요청하면 그 전후의 구간을 상기 미디어 플레이어(110)에서 결정하고 그 결정된 구간을 상기 컨텐트 서버(12)에 요청하였으나, 본 발명에 따른 다른 실시예에서는, 상기 미디어 플레이어(110)는 사용자의 “사후 다운로드” 요청된 기준지점( 사후 다운로드 요청시점에 플레이되고 있는 오디어 미디어상의 지점 또는 그 지점과 동시간에 플레이 의도된 영상 미디어상의 대응 지점 )에 대해서 영상 연관정보로서 저장한 후 그 정보만을 통신규약에 의한 요구를 통해 제공하면서 영상 컨텐트 구간을 상기 컨텐트 서버(12)에 요청하고, 상기 컨텐트 서버(12)가 해당 구간을 결정하여 그 구간에 해당하는 영상 컨텐트 조각들을 제공할 수도 있다. In the above-described embodiment, when the user requests a "post-download", the media player 110 determines a section before and after the request and requests the determined section from the content server 12. However, according to another embodiment of the present invention, In this case, the media player 110 is connected to a user's "post-download" requested reference point (a point on audio media being played at the time of the post-download request or a corresponding point on video media intended to be played at the same time as that point). After storing the information as the video related information, the information server 12 requests the video content section while providing only the information through a request by the communication protocol, and the content server 12 determines the corresponding section and corresponds to the section. It may also provide pieces of video content.

본 발명에 따른 다른 일 실시예에서는, 상기 기준지점의 연관점 정보가 통신규약에 의한 요구를 통해 수신되면 상기 컨텐트 서버(12)는 그 기준지점에 대해 다운로드할 영상 컨텐트 구간을 결정하여 그 구간의 정보를 1차적으로 제공할 수도 있다. 이 때, 상기 기준지점이 오디오 미디어( 즉, 특정의 오디오 컨텐트 조각 )상의 지점이면, 상기 컨텐트 서버(12)는, 전술하였던 바와 같은 방식으로, 동시간에 플레이 의도하였던 영상 미디어( 즉, 특정의 영상 컨텐트 조각 )상의 지점을 파악하고 그 파악된 지점을 기준으로 영상 컨텐트 구간을 결정하게 된다. 그리고, 본 실시예에서는, 상기 연관점 정보를 기재한 통신규약에 의한 요구의 송신에 응답하여 상기 컨텐트 서버(12)로부터 영상 컨텐트 구간의 정보가 수신되면, 그 때 상기 미디어 플레이어(110)가 그 정보에 의한 구간을 요청하는, 즉 다운로드를 요청하는 통신규약에 의한 요구를 상기 컨테트 서버(12)에 송신함으로써 그 구간에 해당하는 영상 컨텐트 조각들을 수신하게 된다.In another embodiment according to the present invention, when the relevant point information of the reference point is received through a request by the communication protocol, the content server 12 determines the video content section to download for the reference point and the Information may also be provided primarily. At this time, if the reference point is a point on audio media (i.e., a specific piece of audio content), the content server 12, in the same manner as described above, plays the video media (i. The point on the video content fragment) is identified and the video content section is determined based on the identified point. In the present embodiment, when the information of the video content section is received from the content server 12 in response to the transmission of the request by the communication protocol describing the association point information, the media player 110 then returns the information. By requesting a section based on information, that is, a request for a communication protocol requesting a download, to the content server 12, pieces of video content corresponding to the section are received.

상기 컨텐트 서버(12)는, 요청된 기준지점에 대해 제공할 영상구간은 그 기준지점의 전과 후에 대해 지정된 시간, 예를 들어 이전 10초부터 이후 20초 지점사이로 지정할 수 있다. 지정된 구간에 대해 해당되는 영상 컨텐트 조각의 전부 또는 일부에 대한 선정방식은 앞서 무선통신 단말기(100)에서의 상기 데이터 제어부(112)가 행하던 방식과 동일하게 이루어질 수 있다. 물론, 상기 컨텐트 서버(12)는 사후 다운로드의 요청을 위해 실시간으로 제공한 영상 미디어의 각 조각을 일정기간동안 삭제하지 않고 저장하게 되며, 그 저장공간을 실시간으로 제공할 때의 저장공간과는 다르게 할 때는 저장경로의 변환표를 작성함으로써, 이후 수신되는 실시간 미디어의 조각에 근거한 요청정보, 예를 들어 HTTP Request에 기재된 미디어의 해당 조각의 경로에 대해 상기 작성된 변환표를 참조하여 별도로 저장된 저장공간의 경로를 파악하게 된다.The content server 12 may designate an image section to be provided for the requested reference point between a specified time before and after the reference point, for example, between 10 seconds before and 20 seconds after. The selection method for all or part of the corresponding video content piece for the designated section may be the same as the method previously performed by the data controller 112 in the wireless communication terminal 100. Of course, the content server 12 stores each piece of the video media provided in real time for a request for post-download without deleting for a predetermined period of time, unlike a storage space when providing the storage space in real time. In this case, by creating a conversion table of the storage path, request information based on the pieces of real-time media received thereafter, for example, the path of the pieces of the media described in the HTTP Request, refer to the conversion table prepared above, You will know the path.

본 발명에 따른 다른 일 실시예에서는, 상기 컨텐트 서버(12)는 영상 요청된, 즉, 다운로드 요청된 또는 구간정보 요청된 기준지점에 대해 해당 구간을 결정할 때 그 종료점에 대해서, 사후 다운로드 요청된 빈도 또는 분포에 따라 적응적으로 결정한다. 이를 위해서, 도 12에 예시된 바와 같이, 상기 컨텐트 서버(12)는 실시간으로 제공한 각 미디어의 영상 컨텐트(1210)별로, 사후 다운로드 요청된 지점들에 대해 일정시간(T_S), 예를 들어 1초를 폭으로 하는 각 시구간(PT_i)별로 취합한 통계정보를 구성하여 관리한다. 즉, 각 시구간(PT_i)별로 요청된 횟수(SDR_i)를 기록할 통계표(1200)를 구성하고, 임의 지점을 기재한 구간의 다운로드 요청이 있을 때마다 그 임의 지점을 상기 통계표에 반영하는 동작을 행한다. 그리고, 상기 영상 요청된 지점에 대해 임시적으로 설정한 잠정 종료점(1211), 예를 들어 요청된 지점이후 20초지점의 전후로 다운로드 요청된 횟수에 근거하여 종료점을 동적으로 결정한다. 예를 들어 좀 더 상세히 설명하면, 상기 잠정 종료점(1211)의 직전과 직후의 기 지정된 시간폭(T_W), 예를 들어 6초의 각 검색존(1201,1202)에 속하는 요청들의 횟수(TS_P,TS_N1)을 상기 통계표로부터 산출하여 그 비율, 예를 들어 이후 존(1202)의 요청횟수(TS_N1)의 이전 존(1201)의 요청횟수(TS_P)에 대한 비율을 산출한다. 이 산출된 비율이 일정 문턱값, 예를 들어 0.3미만이면 상기 컨텐트 서버(12)는 상기 잠정 종료점(1211)을 최종 종료점으로 결정하여 전송할 영상 컨텐트 구간을 확정하게 된다. 만약, 상기 일정 문턱값이상이면, 상기 컨텐트 서버(12)는 상기 잠정 종료점(1211) 이후의 두번째 존(1203)의 요청횟수(TS_N2)를 상기 통계표로부터 산출하여 상기 이전 존(1201)의 요청횟수(TS_P)에 대한 비율을 구하여 상기 일정 문턱값과 다시 비교한다. 구한 비율이 상기 문턱값미만이면 상기 잠정 종료점(1211) 대신 그 다음 존(1202)의 종료점(1212)을 최종 종료점으로 결정한다. 만약, 여전히 상기 문턱값이상이라면 그 다음 존에 대해서 위와 동일한 방식의 동작을 행하여 최종 종료점을 구하게 된다.In another embodiment according to the present invention, when the content server 12 determines a corresponding section for an image request, that is, a download requested or section information requested reference point, a frequency of post-download request is requested for that end point. Or adaptively depending on the distribution. To this end, as illustrated in FIG. 12, the content server 12 provides a predetermined time T _S , for example, for post-downloaded points for each video content 1210 of each media provided in real time. Construct and manage statistical information collected for each time interval (PT _i ) with a width of 1 second. That is, the statistical table 1200 to record the number of times (SDR _i ) requested for each time period (PT _i ) is configured, and whenever there is a download request for a section that describes any point to reflect the arbitrary point in the statistical table Perform the operation. Then, the end point is dynamically determined based on the tentative end point 1211 temporarily set for the image-requested point, for example, the number of times of downloading request before and after 20 seconds after the requested point. For example, in more detail, the number of requests pertaining to each of the search zones 1201 and 1202 for a predetermined time width T _W immediately before and after the tentative end point 1211, for example, 6 seconds (TS _P). , TS _N1 ) is calculated from the statistical table to calculate the ratio, for example, the ratio of the request count TS _P of the previous zone 1201 of the request count TS _N1 of the subsequent zone 1202. If the calculated ratio is less than a predetermined threshold value, for example, less than 0.3, the content server 12 determines the provisional end point 1211 as the final end point to determine the video content section to be transmitted. If the threshold value is greater than or equal to the predetermined threshold value, the content server 12 calculates the request count TS _N2 of the second zone 1203 after the tentative end point 1211 from the statistical table to request the previous zone 1201. A ratio with respect to the number T _{S P} is obtained and compared with the constant threshold again. If the obtained ratio is less than the threshold, the end point 1212 of the next zone 1202 is determined as the final end point instead of the tentative end point 1211. If the threshold value is still greater than the threshold value, the next end zone is performed in the same manner as described above.

본 발명에 따른 다른 일 실시예에서는, 상기 잠정 종료점(1211)의 이전 존(1201)의 요청횟수(TS_P)대신, 다운로드 요청이 있었던 기준지점이 속하는 존의 요청횟수(TS_O)를 그 기준으로 할 수도 있다. 즉, 상기 잠정 종료점(1211)의 이후 존(1202,1203,…)의 상기 요청지점 존의 요청횟수(TS_O)에 대한 비율(=TS_Nk/TS_O)과 일정 문턱값의 대소에 따라 전송할 영상 컨텐트 구간의 최종 종료점을 상기 잠정 종료점(1211)으로 하거나 그 이후 존의 종료점으로 확정할 수도 있다.In another embodiment according to the present invention, instead of the request count TS _P of the previous zone 1201 of the tentative end point 1211, the request count TS _O of the zone to which the reference point to which the download request was located belongs. You can also do That is, transmission is performed according to the magnitude of the ratio (= TS _Nk / TS _O ) and the predetermined threshold value of the request frequency TS _O of the request point zone of the zone 1202, 1203,... After the provisional end point 1211. The final end point of the video content section may be set as the tentative end point 1211 or the end point of the zone thereafter.

전술한 구간 종료점을 적응적으로 결정하는 실시예에서, 만약, 상기 통계표상에 잠정 종료점(1211)의 전후의 존에 일정값이상의 의미있는 요청횟수가 아직 확보되지 않은 상태이면, 상기 컨텐트 서버(12)는 전술한 적응적 종료점 결정과정을 수행하지 않고 그 잠정 종료점(1211)을 그대로 최종 종료점으로 확정할 수도 있다.In the above-described embodiment of adaptively determining the end point of the section, if the meaningful number of requests above a predetermined value is not yet secured in the zone before and after the tentative end point 1211 on the statistical table, the content server 12 ) May determine the tentative end point 1211 as the final end point without performing the above-described adaptive end point determination process.

또한, 본 발명에 따른 일 실시예에서는, 영상 요청된, 즉 다운로드 또는 구간정보 요청된 기준지점에 대해 전송할 영상 컨텐트 구간의 시작점에 대해서도 고정된 이전 지점( 예를 들어, 10초전 )을 사용하지 않고 종료점의 적응적 결정과 마찬가지 방식으로 결정할 수도 있다. 즉, 잠정 시작점을 결정하고, 그 잠정 시작점의 이후 존에 해당하는 요청횟수에 대한 이전 존에 해당하는 요청횟수의 비율에 따라 최종 시작점을 그 잠정 시작점으로 하거나 그 이전 존의 시작점으로 확정할 수도 있다.In addition, in one embodiment according to the present invention, without using a fixed previous point (for example, 10 seconds ago) for a start point of an image content section to be transmitted for a reference point requested for an image, that is, a download or section information request. Decisions can be made in the same way as adaptive determination of endpoints. That is, the tentative starting point may be determined, and the final starting point may be determined as the tentative starting point or the starting point of the previous zone according to the ratio of the request count corresponding to the previous zone to the request count corresponding to the subsequent zone of the tentative starting point. .

본 발명에 따른 다른 일 실시예에서는, 상기 무선통신 단말기(100)의 상기 미디어 플레이어(110)가 상기의 기준지점대신 영상구간을 지정하는 시작위치와 종료위치를 모두 포함하는 사후획득 요청을 하는 경우에도 상기 컨텐트 서버(12)가 전술한 바의 통계표에 근거한 영상구간의 적응적 결정을 수행할 수도 있다. 본 실시예에서는, 상기 사후획득 요청에 포함된 시작위치와 종료위치를 전술한 실시예에서의 잠정 시작점 또는 잠정 종료점으로 간주하고, 그 잠정 지점의 전후로의 요청횟수의 변화정도에 따라 잠정 지점을 최종 지점으로 정하거나 또는 그 이전 또는 그 이후의 지점을 최종 시작점 또는 최종 종료점으로 정하게 된다. 본 실시예에서는, 상기 컨텐트 서버(12)는 각 사후획득 요청에 포함된 시작위치, 시작위치이후의 기 지정된 시간폭의 위치, 또는 양 위치의 중간위치를 해당 사후획득 요청의 기준점으로 하여 상기 통계표를 작성하게 된다.In another embodiment according to the present invention, when the media player 110 of the wireless communication terminal 100 makes a post-acquisition request including both a start position and an end position for designating an image section instead of the reference point. In addition, the content server 12 may perform adaptive determination of the video section based on the statistical table as described above. In this embodiment, the start position and end position included in the post-acquisition request are regarded as the provisional start point or the provisional end point in the above-described embodiment, and the tentative point is finalized according to the degree of change in the number of requests before and after the tentative point. The point, or before or after that point, is defined as the final start point or the final end point. In the present embodiment, the content server 12 uses the start position included in each post-acquisition request, a position of a predetermined time width after the start position, or an intermediate position of both positions as the reference point of the post-acquisition request. You will write

본 발명에 따른 일 실시예에서는, 전술한 다운로드할 영상 구간에 대한 동적 결정이 상기 무선통신 단말기(100)에서 수행될 수도 있다. 본 실시예에서는, 상기 미디어 플레이어(110)의 상기 데이터 제어부(112)가, 상기 미디어 처리부(111)로부터 현지점 정보가 수신될 때, 그 현지점 정보( 또는 그 지점으로부터의 지정된 시간폭의 전(前)지점 및/또는 후(後)지점 정보 )를 상기 컨텐트 서버(12)에 제공하면서 그 전후의 일정 구간에 대해 취합된 요청횟수의 통계정보를 요청한다. 이 요청에 따라 통계정보가 수신되면, 상기 데이터 제어부(112)는, 앞서 도 12를 참조하여 설명하였던 바와 같은 방식으로, 다운로드 요청할 영상 컨텐트 구간을 요청된 횟수와 분포에 따라 동적으로 결정하게 되며, 이렇게 결정된 영상 컨텐트 구간의 다운로드를 상기 컨텐트 서버(12)에 요청하게 된다.In one embodiment according to the present invention, the above-described dynamic determination of the video section to be downloaded may be performed in the wireless communication terminal 100. In the present embodiment, when the local controller information of the media player 110 is received from the media processor 111, the local controller information (or the specified time width from the point) is transmitted. (Pre) point and / or after point information) is provided to the content server 12, and the statistical information of the number of requests collected for a certain period before and after the request is requested. When statistical information is received according to the request, the data controller 112 dynamically determines the video content section to be downloaded according to the requested number and distribution in the same manner as described above with reference to FIG. 12. The content server 12 requests the download of the determined video content section.

한편, 전술한 실시예에서 설명한, 실시간으로 제공된 영상 미디어를 사후의 요청시에 해당 구간을 특정하여 다시 제공하는 서버( 상기 컨텐트 서버(12)일 수도 있고 별도의 서버일 수도 있다. )는, 도 13에 예시된 바와 같이, 망 접속기(201), 영상요청 처리기(202) 그리고 영상 및 DB 스토로지(203)를 포함하여 구성될 수 있다. 물론, 상기 서버(200)가 실시간 미디어를 제공하는 경우에는 해당 미디어의 컨텐트 조각들을 실시간으로 생성하고 이를 상기 망 접속기(201)를 통해 제공하는 실시간 미디어 처리기를 함께 포함할 수도 있다. 그리고, 상기 서버(200)는 단일의 컴퓨팅 장치로 구성되거나 또는 각 구성요소별로 상호 독립된 복수개의 컴퓨팅 장치로 구성될 수도 있다. 상기 각 구성요소가 독립된 컴퓨팅 장치, 예를 들어 서버(server)로 구축되는 경우에는 이들 간에는 전용선 또는 전용망으로 상호 연결되며 적절한 네트워크 보안통신 프로토콜하에 상호 통신이 이루어지게 된다. 도 13에 예시된 상기 각 구성요소, 즉 망 접속기(201), 영상요청 처리기(202) 그리고 영상 및 DB 스토로지(203)는, 앞서의 실시예에서 상기 컨텐트 서버(12)가 수행하는 것으로 설명된, 영상 요청에 대한 통계표 작성과 그에 기반하여 영상요청의 구간을 결정하여 제공하는 등의 동작들을 상호 협력하에 수행하게 된다.On the other hand, the server (the content server 12 may be a separate server or may be a separate server) for specifying the corresponding section at the time of the post-request, the video media provided in real time, described in the above-described embodiment. As illustrated in FIG. 13, the network connector 201, the image request processor 202, and the image and DB storage 203 may be configured. Of course, when the server 200 provides real-time media, the server 200 may include a real-time media processor that generates content pieces of the media in real time and provides them through the network connector 201. The server 200 may be composed of a single computing device or a plurality of computing devices that are independent of each other. When each of the components is built as an independent computing device, for example, a server (server), they are interconnected by a leased line or a dedicated network, and mutual communication is performed under an appropriate network security communication protocol. Each of the components illustrated in FIG. 13, that is, the network connector 201, the video request processor 202, and the video and DB storage 203, are described as being performed by the content server 12 in the above embodiment. In this case, operations such as preparing a statistics table for the video request and determining and providing a section of the video request based on the request are performed in cooperation with each other.

상기 망 접속기(201)는 셀룰러 망 및/또는 Wi-Fi 망 등을 통해 무선통신 단말기(100)와의 통신을 수행하며 이 들로부터의 영상 다운로드 요청 또는 영상 구간정보 요청을 수신하여 이를 상기 영상요청 처리기(202)로 전달하며, 상기 영상요청 처리기(202)로부터 영상 컨텐트 구간정보가 수신되면 그 구간정보를 해당 단말기에 요청에 대한 응답으로서 전송하거나, 그 구간정보에 해당하는 데이터를 상기 영상 및 DB 스토로지(203)로부터 읽어서 해당 단말기에 상기 영상 다운로드 요청에 대한 응답으로 전송하는 동작을 수행한다. 물론, 영상 컨텐트 구간정보가 상기 영상 및 DB 스토리지(203)가 아닌 외부 타 서버에 저장된 컨텐트에 대한 구간정보일 수도 있으며, 이 때는 그 해당 서버로부터 그 구간정보에 해당하는 데이터를 요청 획득하여 해당 단말기에 상기 응답으로서 전송하는 동작을 수행하게 된다. The network connector 201 communicates with the wireless communication terminal 100 through a cellular network and / or a Wi-Fi network, and receives an image download request or an image section information request therefrom and receives the image request processor. If the video content section information is received from the video request processor 202, the section information is transmitted to the corresponding terminal as a response to the request, or the data corresponding to the section information is transmitted to the video and DB store. Read from the lodge 203 and transmits to the terminal in response to the video download request. Of course, the video content section information may be section information on content stored in an external server other than the video and DB storage 203. In this case, the corresponding terminal is obtained by requesting data corresponding to the section information from the corresponding server. And transmits the response as the response.

그리고, 상기 망 접속기(201)는, 영상 다운로드 요청 또는 영상 구간정보 요청을 송신한 상기 무선통신 단말기(100)를 특정하여 영상 컨텐트 구간을 제공하기 위해 소켓 및/또는 세션과 같은 통신용 논리적 객체들을 관리한다.The network connector 201 manages communication logical objects such as a socket and / or a session to provide a video content section by specifying the wireless communication terminal 100 that has transmitted a video download request or a video section information request. do.

상기 영상요청 처리기(202)는, 상기 망 접속기(201)로부터 수신되는, 특정 지점정보를 갖는 영상 다운로드 요청 또는 영상 구간정보 요청에 대해, 그 요청에 포함된 영상 컨텐트 정보, 예를 들어 영상 컨텐트 파일명으로부터 해당되는 영상 컨텐트를 특정하고, 그 영상 컨텐트에 대해, 도 12에 예시된 바와 같은 통계표를 상기 영상 및 DB 스토리지(203)에 작성하고( 최초 해당 컨텐트에 대한 구간 요청인 경우 ), 그 작성된 통계표상에 상기 요청에 포함된 지점에 대한 정보를 추가한다. 그리고 상기 요청에 기재되어 있는 요청지점( 이 요청지점이 오디오 미디어상의 지점이면 그와 동시간에 플레이의도되었던 영상 미디어상의 대응 지점을 식별하고 그 식별된 지점을 상기 요청지점으로 간주한다. )에 대한 전후구간을 그 통계표에 근거하여, 앞서 설명한 방법에 따라 결정한다. 해당 구간이 결정되면, 그 구간을 특정할 수 있는 정보를 상기 망 접속기(201)에 제공하면서 구간요청한 단말기로의 다운로드를 지시하거나 또는 구간정보 제공을 지시한다. 이 지시에 따라 상기 망 접속기(201)는, 전술하였던 바와 같이, 구간 특정정보를 참조하여 상기 영상 및 DB 스토리지(203)으로부터 해당 컨텐트 구간의 데이터를 읽어서 상기 무선통신 단말기(100)로 전송하거나 그 구간 특정정보를 제공하게 된다.The video request processor 202, for the video download request or video section information request having specific point information received from the network connector 201, includes video content information included in the request, for example, a video content file name. From the corresponding video content, and, for the video content, create a statistical table as illustrated in FIG. 12 in the video and DB storage 203 (when it is an interval request for the first corresponding content), and the created statistics. Add information about the points included in the request on the table. And the request point described in the request (if the request point is a point on the audio media, the corresponding point on the video media intended to be played at the same time as that point is regarded as the request point.) Based on the statistics table, the front and rear sections of the front and rear sections are determined according to the method described above. When the corresponding section is determined, the network connection device 201 is provided with information for specifying the section, and the download request to the terminal requesting the section is instructed or the provision of section information is instructed. According to this instruction, as described above, the network connector 201 reads data of the corresponding content section from the video and DB storage 203 and transmits the data to the wireless communication terminal 100 with reference to the section specifying information. Provide section specific information.

상기 망 접속기(201), 영상요청 처리기(202) 그리고 영상 및 DB 스토리지(203)간에는 정보 전달에 의한 요청과 응답간을 상호 연결시키기 위해, 요청에 기재된 정보식별자를 그 응답에 포함시키거나 또는 응답되는 정보를 요청에 부가하여 응답할 수도 있다.In order to interconnect the request and the response by the information transfer between the network connector 201, the image request processor 202, and the image and DB storage 203, the information identifier described in the request is included in or included in the response. The requested information may be added in response to the request.

이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. , Alteration, substitution, addition, or the like.

1a: 셀룰러 모뎀 1b: 셀룰러 코덱
2a: Wi-Fi 모뎀 2b: Wi-Fi 코덱
4: 디스플레이 구동부 5: 디스플레이 패널
6: 입력 제어부 6a: 터치 센서
6b: 키패드 7: 메모리
8: 사운드 처리부 10: 주 제어부
11a: 셀룰러 망 11b: Wi-Fi 망
12: 컨텐트 서버 20: 미디어 플레이어 화면
31_k, 32, 33: 통신소켓 100: 무선통신 단말기
100a: 운영 시스템(O/S) 110: 미디어 플레이어
111: 미디어 처리부 112: 데이터 제어부
113: UI 처리부 200: 서버
201: 망 접속기 202: 영상요청 처리기
203: 영상 및 DB 스토로지1a: cellular modem 1b: cellular codec
2a: Wi-Fi modem 2b: Wi-Fi codec
4: Display driver 5: Display panel
6: Input control unit 6a: Touch sensor
6b: Keypad 7: Memory
8: sound processing unit 10:
11a: cellular network 11b: Wi-Fi network
12: Content Server 20: Media Player Screen
31 _k , 32, 33: Communication socket 100: Wireless communication terminal
100a: operating system (O / S) 110: media player
111: media processor 112: data controller
113: UI processing unit 200: server
201: network connector 202: video request processor
203: Image and DB storage

Claims

A terminal capable of receiving and playing media data through a communication network,
An input unit for receiving a user input,
A media processing unit for decoding the received media data;
If there is a post-acquisition request through the input unit while receiving live audio data from an external server through a wireless communication network and transmitting it to the media processing unit, the video related information is generated according to the request. If one of the conditions for acquiring the related image is available, a request for a communication protocol including the generated video related information is transmitted to an external server, and the section spans the play point of the real-time audio data at the time of the post-acquisition request. And a control unit configured to receive and store the section data of the video media transmitted by the external server in real time.

The method of claim 1,
In the above conditions that can obtain the associated image,
The availability of a communication network in which there is no cost in the use of the data service or the cost excluding the fixed cost is less than that of the wireless communication network;
The wireless communication network provides a transmission bandwidth for further transmission of video media;
The elapse of a predetermined time from the time of the post-acquisition request,
And stopping or terminating the reception of the real-time audio data.

The method of claim 1,
The video association information includes information about a start point and an end point of the section over the play point of the real-time audio data, and about a start point and an end point of a section of the real-time video media intended to be played at the same time as the section. A terminal capable of playing media, including any one of information.

The method of claim 3, wherein
And the information about the start point and the end point includes identification information of any piece of content belonging to the media, and play-related time information of the point in the piece of arbitrary content.

The method of claim 3, wherein
The start point and the end point are respectively designated by a predetermined time width based on any one of the play point of the real-time audio data and a corresponding point on the video media intended to be played at the same time as the play point. Terminal capable of media play.

The method of claim 3, wherein
The control unit inquires whether the audio data of the tentative end point determined by the predetermined time width based on the play point is extended or not after being decoded by the media processing unit, and if the extension is requested through the input unit, And the end point after the tentative end point.

The method of claim 3, wherein
The control unit is configured to perform the predetermined video section of the number of other post-acquisition requests made for a certain video section before or after the corresponding point on the video media, which is intended to be played at the same time as the play point of the real-time audio data. And a distribution diagram of an image obtained from an external server, and to determine the starting point or the ending point based on the obtained distribution diagram.

8. The method of claim 7,
The control unit is configured to divide the obtained distribution map into a predetermined time width, and determine a point corresponding to a boundary of the corresponding time width as the start point or the end point according to the degree of change in the magnitude of the total number of times belonging to each time width. Terminal capable of media play.

The method of claim 3, wherein
The control unit, at the post-acquisition request, identifies a content piece belonging to the video media intended to be played at the same time as the current content piece of the real-time audio data being decoded by the media processing unit, and the current point of the play point. And after determining the relative time in the content piece, determining the start point and the end point based on a position corresponding to the same relative time as the relative time in the identified piece of content.

The method of claim 1,
The video association information includes any one of information about the play point of the real-time audio data and information about a corresponding point on the real-time video media intended to be played at the same time as the play point. Terminal capable of media play.

The method of claim 10,
The control unit may transmit a request based on the communication protocol including the video association information to the external server, receive section information of the video media in response thereto, and request the received section information. And play the request to the external server to receive and store the section data of the video media.

The method of claim 10,
The control unit, at the post-acquisition request, identifies a content piece belonging to the video media intended to be played at the same time as the current content piece of the real-time audio data being decoded by the media processing unit, and the current point of the play point. And after identifying the relative time in the content piece, determining a location corresponding to the same relative time as the relative time in the identified piece of content as the corresponding point.

The method according to claim 9 or 12,
The control unit may include a content fragment belonging to the video media including a sequence number identical to the sequence number included in the file name of the current content fragment in the file name, or the file name of the current content fragment in the received audio content fragment. The video media that is intended to play at the same time as the current content piece, the content piece belonging to the video media having the file name located on the received video content piece file list, in the same order as the location on the file list; A media playable terminal configured to be identified by a piece of content belonging to.

The method of claim 1,
The control unit is further configured to transmit the received section data to the media processing unit to be decoded according to a user's request or automatically when it is determined that continuous play is possible up to the section end point as the section data of the received video media. Terminal capable of media play.

The method of claim 14,
The control unit is further configured to check whether the continuous play is possible to the end point of the section with the received section data of the video media, and if the play is confirmed that the play is further configured to present information to the user to know the playable media play Available terminal.

The method of claim 14,
And the control unit is further configured to present, to the user, information that enables the user to know the time at which the section data was intended to be played in real time when the section data of the received video media is decoded.

The method of claim 1,
The input unit may include an input tool for allowing a user to select whether the data source decoded by the media processing unit to be output as audio is the real time audio data or the section data of the video media. The media play enabled terminal that is further configured to include.

18. The method of claim 17,
The controller is configured to control the input unit to include the input tool when the media processor is transmitting the section data of the video media to the media processor to decode the real-time audio data. The media play enabled terminal further configured to.

The method of claim 1,
The controller may be configured to deliver the section data of the stored video media to the media processing unit, or to store the received video media data in a form accessible to other applications. .

The method of claim 1,
The video association information includes identification information for particular pieces of content belonging to a section of the real-time video media intended to be played at the same time as the section over the play point of the real-time audio data. Playable terminal.

The method of claim 20,
The controller prepares a request according to a plurality of communication protocols, each of which includes identification information of the specific content pieces, and sequentially transmits the request according to the plurality of communication protocols to the external server according to the order of the specific content pieces. And a media play enabled terminal.

In the method for receiving and playing live media through a communication network,
Receiving real-time audio data provided from a server through a wireless communication network and decoding the same;
If there is a post-acquisition request, the decoding point on the real-time audio data at the time of the request is identified, and the data point on the real-time video media transmitted by the server in real time with the real-time audio data synchronized with the decoding point in time is checked. Identifying and generating image association information using information about the identified point or points before and after the point;
If the current state corresponds to one of the conditions for acquiring the related image, a request based on a communication protocol including the generated image related information is transmitted to the server to cover the decoding point of the real-time audio data at the time of the post-acquisition request. Receiving interval data of the video media transmitted by the server in real time together with the interval;
Determining whether continuous play is possible to the end point of the section using the received section data, and if possible, decoding and outputting the received section data.

23. The method of claim 22,
In the above conditions that can obtain the associated image,
The availability of a communication network in which there is no cost in the use of the data service or the cost excluding the fixed cost is less than that of the wireless communication network;
The wireless communication network provides a transmission bandwidth for further transmission of video media;
The elapse of a predetermined time from the time of the post-acquisition request,
The method for acquiring and playing an associated image comprising interrupting or terminating reception of the real-time audio data.

In the program supply device for providing a program stored in the storage space through a communication network,
Communication means for transmitting and receiving data with the outside through communication,
It is configured to include a storage means for storing the application to be executed in the wireless communication terminal, transmitted through the communication means,
When the application is executed in the wireless communication terminal,
A function for receiving user input,
Receiving and decoding live audio data from an external server through a wireless communication network;
If there is a post-acquisition request as the user input during the decoding, the image related information is generated according to the request, and if the current state corresponds to one of the conditions for obtaining the related image, the communication includes the generated image related information. Transmits a request according to a protocol to an external server and receives a section data of the video media transmitted by the external server in real time together with a section spanning the play point of the real-time audio data at the time of the post-acquisition request. A program feed comprising a program structure.

25. The method of claim 24,
In the above conditions that can obtain the associated image,
The availability of a communication network in which there is no cost in the use of the data service or the cost excluding the fixed cost is less than that of the wireless communication network;
The wireless communication network provides a transmission bandwidth for further transmission of video media;
The elapse of a predetermined time from the time of the post-acquisition request,
And interrupting or terminating the reception of the real-time audio data.

An apparatus for providing an image or information related to live media,
A network connection configured to receive video requests including a reference point for video content through a communication network;
A storage unit for constructing statistical information on the distribution and the number of times of the video content with respect to the reference points included in the requests previously received through the network connection unit;
The end point after the reference point included in any image request received through the network connection unit is determined based on the statistical information, and the video content from the start point determined based on the reference point to the determined end point. And a processing unit for transmitting the interval data of the transmission unit to a remote terminal through the network connection unit.

27. The method of claim 26,
And the processor is configured to determine, as the start point, a point corresponding to a predetermined time width before the reference point.

27. The method of claim 26,
And the processing unit is configured to determine the starting point as a point before the reference point based on the statistical information.

27. The method of claim 26,
The processing unit divides the distribution of reference points of each request according to the statistical information into a predetermined time width, and the boundary of the corresponding time width according to the degree of change in the size of the total number of reference points of each request belonging to each time width. The related image providing apparatus for audio, which is configured to determine a point corresponding to the end point.

27. The method of claim 26,
The processing unit may provide information indicating the determined starting point and ending point to the terminal of the remote site that has transmitted the arbitrary video request, and the image request including the determined starting point and ending point is transmitted through the network connection unit. And, when received, the section data of the video content to be transmitted to the terminal of the remote location.

27. The method of claim 26,
If the reference point included in the arbitrary video request is a point on the audio media transmitted in real time, the processing unit identifies a point on the video media transmitted in real time, which was intended to be played at the same time as the point, and And determining the ending point and the starting point by using the identified point as the reference point.

An apparatus for providing an image or information related to live media,
A network connection unit configured to receive video segment requests including segment information of video contents through a communication network;
A storage unit for constructing statistical information on the distribution and the number of times of the video content corresponding to the requests based on the section information included in the requests previously received through the network connection unit;
Adjusting and determining the section on the video content by the section information included in any video section request received through the network connection unit based on the statistical information, and the data from the start point to the end point of the determined section And a processing unit for transmitting the video section request to the terminal that has transmitted the video section request through the network connection unit.

The method of claim 32,
The processing unit divides the distribution of each request point based on the statistical information into a predetermined time width, and changes the size of the total number of request points belonging to each time width on the image content according to the section information. Apparatus for providing an associated image of audio, configured to adjust and determine the section.

The method of claim 32,
If the section information is designated as both ends on the audio media transmitted in real time, the processing unit identifies both ends of the video media transmitted in real time, which was intended to be played at the same time as both ends. And adjusting the section on the video content using the section between the identified both ends as the section information.