[go: up one dir, main page]

KR102037183B1 - System and method for mapping comments on streaming media - Google Patents

System and method for mapping comments on streaming media Download PDF

Info

Publication number
KR102037183B1
KR102037183B1 KR1020180016552A KR20180016552A KR102037183B1 KR 102037183 B1 KR102037183 B1 KR 102037183B1 KR 1020180016552 A KR1020180016552 A KR 1020180016552A KR 20180016552 A KR20180016552 A KR 20180016552A KR 102037183 B1 KR102037183 B1 KR 102037183B1
Authority
KR
South Korea
Prior art keywords
section
comment
mapping
streaming media
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180016552A
Other languages
Korean (ko)
Other versions
KR20180025880A (en
Inventor
홍의재
Original Assignee
엠랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠랩 주식회사 filed Critical 엠랩 주식회사
Priority to KR1020180016552A priority Critical patent/KR102037183B1/en
Publication of KR20180025880A publication Critical patent/KR20180025880A/en
Application granted granted Critical
Publication of KR102037183B1 publication Critical patent/KR102037183B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 의한 코멘트 맵핑 시스템은, 데이터베이스로부터 스트리밍 미디어를 독출하는 미디어 독출부, 상기 스트리밍 미디어의 일부 구간에 맵핑될 코멘트를 결정하는 코멘트 결정부, 상기 스트리밍 미디어에 상기 코멘트를 맵핑할 맵핑 구간을 결정하는 구간 결정부, 및 상기 코멘트와 상기 맵핑 구간을 대응시켜 상기 스트리밍 미디어에 대한 코멘트 정보로 상기 데이터베이스에 기록하는 코멘트기록부를 포함함으로써 스트리밍 미디어의 일부 구간에 코멘트가 맵핑 될 수 있도록 한다.The comment mapping system according to the present invention includes a media reader for reading streaming media from a database, a comment determiner for determining a comment to be mapped to a partial section of the streaming media, and a mapping section for mapping the comment to the streaming media. A section determining unit for determining and a comment recorder for recording the comment and the mapping section in the database as comment information for the streaming media may be used to map the comment to a section of the streaming media.

Description

스트리밍 미디어에 코멘트를 맵핑하는 시스템 및 방법{System and method for mapping comments on streaming media}System and method for mapping comments on streaming media}

본 발명은 스트리밍 미디어의 일부 구간에 코멘트를 맵핑하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for mapping comments to some sections of streaming media.

최근 디지털 콘텐츠 기술 발전에 따라 미디어 스트리밍 서비스가 증가하고 있다. 기존의 미디어 스트리밍 서비스는 사용자들이 미디어에 대한 코멘트를 남김으로써 해당 미디어에 관한 정보를 공유할 수 있도록 하였다. 하지만 이러한 기존 방식은 스트리밍 미디어에 대한 구체적이고 다양한 정보를 공유하는 데에 한계가 있었다. 따라서 스트리밍 미디어와 관련된 코멘트를 자동으로 생성하거나, 생성된 코멘트를 스트리밍 미디어의 일부 구간에 맵핑하는 등 스트리밍 미디어에 코멘트를 기록하는 보다 진보된 기술이 요구된다.With the recent development of digital content technology, media streaming services are increasing. The existing media streaming service allows users to share information about the media by leaving a comment on the media. However, this existing method has a limit in sharing specific and various information about streaming media. Accordingly, there is a need for a more advanced technique for automatically writing comments related to streaming media or mapping the generated comments to some sections of the streaming media, such as writing comments on the streaming media.

본 발명은 코멘트 맵핑 시스템 및 방법을 제공하여 스트리밍 미디어의 일부 구간에 코멘트가 맵핑될 수 있도록 한다.The present invention provides a comment mapping system and method so that comments can be mapped to some sections of streaming media.

본 발명의 일 실시예에 의한 코멘트 맵핑 시스템은, 데이터베이스로부터 스트리밍 미디어를 독출하는 미디어 독출부, 상기 스트리밍 미디어의 일부 구간에 맵핑될 코멘트를 결정하는 코멘트 결정부, 상기 스트리밍 미디어에 상기 코멘트를 맵핑할 맵핑 구간을 결정하는 구간 결정부, 및 상기 코멘트와 상기 맵핑 구간을 대응시켜 상기 스트리밍 미디어에 대한 코멘트 정보로 상기 데이터베이스에 기록하는 코멘트기록부를 포함하는 것을 특징으로 한다.A comment mapping system according to an embodiment of the present invention includes a media reader for reading streaming media from a database, a comment determiner for determining a comment to be mapped to a section of the streaming media, and mapping the comment to the streaming media. And a comment recorder to determine a mapping section to be mapped, and a comment recorder to record the comment and the mapping section in the database as comment information for the streaming media.

일 실시예에서, 상기 코멘트 결정부는, 사용자 단말기로부터 상기 코멘트를 수신하고, 상기 구간 결정부는, 상기 사용자 단말기로부터 구간 시작점 및 구간 종료점을 수신하고, 상기 구간 시작점 및 상기 구간 종료점에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In an embodiment, the comment determiner receives the comment from a user terminal, and the section determiner receives a section start point and a section end point from the user terminal, and the mapping section is based on the section start point and the section end point. Characterized in determining.

일 실시예에서, 상기 코멘트 결정부는, 사용자 단말기로부터 상기 코멘트를 수신하고, 상기 구간 결정부는, 상기 사용자 단말기로부터 코멘트 맵핑 시점을 수신하고, 상기 코멘트 맵핑 시점에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.The comment determiner may receive the comment from a user terminal, and the section determiner may receive a comment mapping time point from the user terminal and determine the mapping section based on the comment mapping time point. It is done.

일 실시예에서, 상기 구간 결정부는, 상기 코멘트 맵핑 시점을 구간 시작점으로 지정하고, 상기 코멘트 맵핑 시작점에 기초하여 구간 종료점을 지정함으로써 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In an example embodiment, the section determination unit may determine the mapping section by designating the comment mapping point as a section start point and designating a section end point based on the comment mapping start point.

일 실시예에서, 상기 구간 결정부는, 상기 코멘트 맵핑 시점으로부터 소정 시간 이후의 시점을 구간 종료점으로 지정하는 것을 특징으로 한다.In an exemplary embodiment, the section determination unit may designate a point after a predetermined time from the comment mapping point of time as an end point of the section.

일 실시예에서, 상기 구간 결정부는, 상기 스트리밍 미디어의 상기 코멘트 맵핑 시점 부근의 영상, 소리, 텍스트, 또는 자막 중 적어도 하나에서 상기 코멘트에 관련된 객체를 검출하고, 상기 검출된 객체가 포함된 구간에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.The section determining unit may detect an object related to the comment from at least one of an image, a sound, a text, or a subtitle near the comment mapping time point of the streaming media, and include a section including the detected object. It is characterized in that for determining the mapping section based on.

일 실시예에서, 상기 코멘트 결정부는, 상기 스트리밍 미디어의 영상에서 텍스트를 검출하고, 상기 텍스트에 기초하여 상기 코멘트를 결정하고, 상기 구간 결정부는, 상기 스트리밍 미디어의 영상에 상기 텍스트가 포함된 구간에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In one embodiment, the comment determining unit detects the text in the image of the streaming media, and determines the comment based on the text, the section determination unit, the section in which the text is included in the image of the streaming media It is characterized in that for determining the mapping section based on.

일 실시예에서, 상기 미디어 독출부는, 상기 데이터베이스로부터 상기 스트리밍 미디어에 대한 자막 파일을 독출하고, 상기 코멘트 결정부는, 상기 자막 파일의 텍스트에 기초하여 상기 코멘트를 결정하고, 상기 구간 결정부는, 상기 결정된 코멘트에 대응되는 상기 자막 파일의 시계열 데이터에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In one embodiment, the media reader reads the subtitle file for the streaming media from the database, the comment determiner determines the comment based on text of the subtitle file, and the section determiner determines the determined subtitle file. The mapping section may be determined based on time series data of the caption file corresponding to the comment.

일 실시예에서, 상기 코멘트 결정부는, 상기 스트리밍 미디어의 메타 데이터로부터 자막 정보를 독출하고, 상기 자막 정보의 텍스트에 기초하여 상기 코멘트를 결정하고, 상기 구간 결정부는, 상기 결정된 코멘트에 대응되는 상기 자막 정보의 시계열 데이터에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In one embodiment, the comment determining unit reads the caption information from the metadata of the streaming media, determines the comment based on the text of the caption information, and the section determination unit, the caption corresponding to the determined comment The mapping period may be determined based on time series data of the information.

일 실시예에서, 상기 코멘트 결정부는, 상기 스트리밍 미디어의 오디오에서 소리를 검출하고, 상기 소리에 기초하여 상기 코멘트를 결정하고, 상기 구간 결정부는, 상기 소리가 검출된 시점에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In an embodiment, the comment determiner detects a sound in the audio of the streaming media, and determines the comment based on the sound, and the section determiner determines the mapping section based on a time point at which the sound is detected. It is characterized by determining.

일 실시예에서, 상기 구간 결정부는, 상기 스트리밍 미디어의 오디오로부터 연속된 소리를 검출하고, 상기 연속된 소리의 재생 구간에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In an embodiment, the section determination unit may detect the continuous sound from the audio of the streaming media, and determine the mapping section based on the playback section of the continuous sound.

일 실시예에서, 상기 코멘트 결정부는, 상기 스트리밍 미디어의 영상에서 물체를 검출하고, 상기 물체에 기초하여 상기 코멘트를 결정하고, 상기 구간 결정부는, 영상 추적 기술을 이용하여 상기 스트리밍 미디어의 영상에서 상기 물체의 움직임을 추적하고, 상기 물체의 움직임 추적 결과에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 한다.In an embodiment, the comment determiner detects an object in the image of the streaming media, and determines the comment based on the object, and the section determiner determines the image in the image of the streaming media using an image tracking technique. And tracking the movement of an object and determining the mapping section based on a result of the movement tracking of the object.

일 실시예에서, 상기 구간 결정부는, 상기 결정된 맵핑 구간이 소정 시간보다 짧은 경우, 상기 맵핑 구간이 상기 소정 시간 이상이 되도록 상기 맵핑 구간을 조정하는 것을 특징으로 한다.In an embodiment, when the determined mapping section is shorter than a predetermined time, the section determining unit adjusts the mapping section so that the mapping section is longer than or equal to the predetermined time.

일 실시예에서, 상기 스트리밍 미디어의 진행 표시줄에 상기 맵핑 구간을 표시하여 사용자 단말기로 출력하는 코멘트 구간 표시부를 더 포함하는 것을 특징으로 한다.The display device may further include a comment section display unit displaying the mapping section on the progress bar of the streaming media and outputting the mapping section to a user terminal.

일 실시예에서, 상기 코멘트 구간 표시부는, 상기 진행 표시줄에 상기 맵핑 구간의 시작점을 표시하는 것을 특징으로 한다.In one embodiment, the comment section display unit, characterized in that for displaying the start point of the mapping section on the progress bar.

일 실시예에서, 상기 코멘트 구간 표시부는, 상기 진행 표시줄에 상기 맵핑 구간의 시작점부터 끝점까지 연장되는 코멘트 구간 막대를 표시하는 것을 특징으로 한다.In an exemplary embodiment, the comment section display unit may display a comment section bar extending from a start point to an end point of the mapping section on the progress bar.

일 실시예에서, 상기 코멘트 구간 표시부는, 상기 진행 표시줄에 상기 스트리밍 미디어에 대한 복수의 코멘트들의 맵핑 구간들에 대한 코멘트 구간 막대들을 표시하며, 상기 복수의 코멘트들의 맵핑 구간들이 겹치는 경우, 해당 코멘트 구간 막대들을 상하로 이격시켜 표시하는 것을 특징으로 한다.In an embodiment, the comment section display unit displays comment section bars for mapping sections of the plurality of comments for the streaming media on the progress bar, and if the mapping sections of the plurality of comments overlap, The interval bars are displayed by being spaced apart vertically.

본 발명의 일 실시예에 의한 코멘트 맵핑 방법은, 미디어 독출부가 데이터베이스로부터 스트리밍 미디어를 독출하는 단계, 코멘트 결정부가 상기 스트리밍 미디어의 일부 구간에 맵핑될 코멘트를 결정하는 단계, 구간 결정부가 상기 스트리밍 미디어에 상기 코멘트를 맵핑할 맵핑 구간을 결정하는 단계, 및 코멘트기록부가 상기 코멘트와 상기 맵핑 구간을 대응시켜 상기 스트리밍 미디어에 대한 코멘트 정보로 상기 데이터베이스에 기록하는 단계를 포함하는 것을 특징으로 한다.In a comment mapping method according to an embodiment of the present invention, a media reader reads streaming media from a database, a comment determiner determines a comment to be mapped to a section of the streaming media, and a segment determiner determines the streaming media. And determining a mapping section to map the comment to, and a comment recording unit corresponding to the comment and the mapping section to record in the database as comment information for the streaming media.

본 발명은, 본 발명의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위하여 매체에 저장된 프로그램을 포함한다.The present invention includes a program stored in a medium for executing a method according to an embodiment of the present invention on a computer.

본 발명은, 본 발명의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.The present invention includes a computer readable recording medium having recorded thereon a program for executing the method according to an embodiment of the present invention on a computer.

본 발명에 의하면, 사용자의 입력에 따라, 또는 자동적으로 스트리밍 미디어에 관한 코멘트가 적절한 구간에 맵핑될 수 있다.According to the present invention, a comment regarding streaming media may be mapped to an appropriate section according to a user input or automatically.

도 1은 본 발명의 일 실시예에 의한 코멘트 맵핑 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 의한 코멘트 맵핑의 개념을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 의한 코멘트 맵핑 방법의 흐름을 나타낸 흐름도이다.
도 4a 및 4b는 본 발명의 일 실시예에 의한 코멘트 맵핑 시스템이 맵핑 구간을 표시한 이미지를 나타낸 도면이다.1 is a diagram schematically illustrating a configuration of a comment mapping system according to an embodiment of the present invention.
2 is a diagram illustrating a concept of comment mapping according to an embodiment of the present invention.
3 is a flowchart illustrating a flow of a comment mapping method according to an embodiment of the present invention.
4A and 4B illustrate an image in which a comment mapping system according to an embodiment of the present invention displays a mapping section.

이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings to clarify the technical spirit of the present invention. In the following description of the present invention, detailed descriptions of related known functions or components will be omitted when it is determined that the detailed description of the present invention may unnecessarily obscure the subject matter of the present invention. For convenience of explanation, the device and method should be described together when necessary.

도 1은 본 발명의 일 실시예에 의한 코멘트 맵핑 시스템의 구성을 개략적으로 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 의한 코멘트 맵핑 시스템(100)은 미디어 독출부(110), 코멘트 결정부(120), 구간 결정부(130), 및 코멘트기록부(140)를 포함할 수 있다. 코멘트 맵핑 시스템(100)은 도 2에 도시된 것과 같이 사용자 단말기로 스트리밍 되는 스트리밍 미디어의 일부 구간에 소정의 코멘트가 맵핑되도록 할 수 있다. 본 발명에서 코멘트 맵핑 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스 및 소프트웨어를 구비할 수 있으며, 반드시 하나의 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다.1 is a diagram schematically illustrating a configuration of a comment mapping system according to an embodiment of the present invention. Referring to FIG. 1, the comment mapping system 100 according to an embodiment of the present invention includes a media reader 110, a comment determiner 120, a section determiner 130, and a comment recorder 140. can do. The comment mapping system 100 may allow a predetermined comment to be mapped to a portion of the streaming media streamed to the user terminal as shown in FIG. 2. In the present invention, the comment mapping system 100 may include hardware resources and software necessary for implementing the technical idea of the present invention, and do not necessarily mean one component or one device.

코멘트 맵핑 시스템(100)의 구체적인 동작을 살펴보면, 미디어 독출부(110)가 데이터베이스로부터 스트리밍 미디어를 독출한다. 여기서 스트리밍 미디어는 동영상과 오디오뿐만 아니라 자막, 실시간 텍스트 등 재생 가능한 다양한 종류의 미디어일 수 있다. 데이터베이스는 코멘트 맵핑 시스템(100)에 포함되거나 별도의 시스템일 수 있다.Looking at the specific operation of the comment mapping system 100, the media reader 110 reads streaming media from the database. Here, the streaming media may be various types of media that can be played, such as subtitles and real-time text, as well as video and audio. The database may be included in the comment mapping system 100 or may be a separate system.

코멘트 결정부(120)는 미디어 독출부(110)에서 독출한 스트리밍 미디어의 일부 구간에 맵핑될 코멘트를 결정한다. 코멘트는 텍스트뿐만 아니라 하이퍼링크, 이미지 등 스트리밍 미디어에 관련한 다양한 종류의 정보일 수 있다. 실시예에 따라, 코멘트 결정부(120)는 유/무선의 네트워크를 통하여 사용자 단말기로부터 맵핑될 코멘트를 수신하거나, 스트리밍 미디어의 영상, 소리, 텍스트, 또는 자막 등에 기초하여 스스로 코멘트를 결정할 수 있다.The comment determiner 120 determines a comment to be mapped to a section of the streaming media read by the media reader 110. The comment may be not only text but also various kinds of information related to streaming media such as hyperlinks and images. According to an exemplary embodiment, the comment determiner 120 may receive a comment to be mapped from a user terminal through a wired / wireless network, or may determine a comment based on an image, sound, text, or subtitle of streaming media.

구간 결정부(130)는 스트리밍 미디어에 코멘트를 맵핑할 구간을 결정한다. 코멘트를 맵핑할 구간을 '맵핑 구간'이라고 부르기로 한다. 실시예에 따라, 구간 결정부(130)는 사용자 단말기로부터 수신한 정보에 기초하여 맵핑 구간을 결정하거나, 스트리밍 미디어의 영상, 소리, 텍스트, 또는 자막 등에 기초하여 스스로 맵핑 구간을 결정할 수 있다.The section determiner 130 determines a section to map the comment to the streaming media. The section to which the comment is to be mapped is called a 'mapping section'. According to an embodiment, the section determination unit 130 may determine the mapping section based on the information received from the user terminal, or determine the mapping section on the basis of the video, sound, text, or subtitle of the streaming media.

코멘트기록부(140)는 코멘트 결정부(120)가 결정한 코멘트와 구간 결정부(130)가 결정한 맵핑 구간을 대응시켜 스트리밍 미디어에 대한 코멘트 정보로 데이터베이스에 기록한다. 코멘트 정보를 저장하는 데이터베이스와 스트리밍 미디어를 저장하는 데이터베이스는 물리적/논리적으로 동일한 시스템이거나 서로 다른 시스템일 수 있으나, 이하 편의상 데이터베이스를 구분하지 않고 통칭하기로 한다.The comment recording unit 140 associates the comment determined by the comment determiner 120 with the mapping period determined by the section determiner 130 and records the comment information on the streaming media in the database. The database storing the comment information and the database storing the streaming media may be physically or logically the same system or different systems, but for convenience, the database will be collectively referred to without distinguishing.

먼저, 코멘트 결정부(120)가 사용자 단말기로부터 코멘트를 수신하는 경우에 대해 살펴보도록 한다. 코멘트가 사용자 단말기로부터 수신되는 경우에도, 구간 결정부(130)는 맵핑 구간을 사용자 단말기로부터 수신한 정보에 기초하여 결정하거나, 스스로 결정할 수 있다.First, a case in which the comment determiner 120 receives a comment from a user terminal will be described. Even when a comment is received from the user terminal, the section determination unit 130 may determine the mapping section based on the information received from the user terminal or may determine the mapping section by itself.

일 실시예에서, 구간 결정부(130)는 사용자 단말기로부터 구간 시작점 및 구간 종료점을 수신하고, 수신된 구간 시작점 및 구간 종료점에 따라 맵핑 구간을 결정할 수 있다. 다른 실시예에서, 구간 결정부(130)는 사용자 단말기로부터 하나의 맵핑 시점만을 수신하고, 이에 기초하여 맵핑구간을 결정할 수 있다.In an embodiment, the section determiner 130 may receive a section start point and a section end point from the user terminal and determine a mapping section according to the received section start point and section end point. In another embodiment, the section determiner 130 may receive only one mapping time point from the user terminal and determine the mapping section based on the mapping time point.

구간 결정부(130) 사용자 단말기로부터 수신한 맵핑 시점을 구간 시작점으로 지정하고, 이를 기초로 구간 종료점을 지정함으로써 맵핑 구간을 결정할 수 있다. 예를 들면 구간 종료점은 구간 시작점부터 소정의 시간(예: 3초) 후의 시점으로 지정될 수 있다.The section determination unit 130 may determine the mapping section by designating the mapping point received from the user terminal as the section start point and designating the section end point based on the mapping point. For example, the section ending point may be designated as a point of time after a predetermined time (for example, three seconds) from the section starting point.

구간 결정부(130)는 사용자 단말기로부터 수신한 맵핑 시점 부근의 영상, 소리, 텍스트, 또는 자막에서 사용자 단말기로부터 수신한 코멘트에 관련된 객체를 검출하고, 검출된 객체가 포함된 구간에 기초하여 맵핑 구간을 결정할 수 있다. 예를 들면, 사용자 단말기로부터 '사과'라는 코멘트와 맵핑 시점이 수신된 경우, 맵핑 시점 부근의 영상에서 사과 이미지를 검출하고, 사과 이미지가 등장한 순간부터 사라지는 순간까지의 구간을 맵핑 구간으로 결정할 수 있다. 영상, 소리, 텍스트, 또는 자막 등에 따라 맵핑 구간을 결정하는 방법은, 이하 코멘트 결정부(120)가 스스로 코멘트를 결정하는 실시예에서 보다 구체적으로 설명하도록 한다.The section determiner 130 detects an object related to a comment received from the user terminal in an image, sound, text, or caption near the mapping point received from the user terminal, and maps the section based on the section in which the detected object is included. Can be determined. For example, when a comment “apple” and a mapping time point are received from the user terminal, the apple image may be detected from an image near the mapping time point, and a section from the moment of appearance of the apple image to the moment of disappearance may be determined as the mapping section. . A method of determining a mapping section according to an image, a sound, a text, a subtitle, or the like will be described below in detail in an embodiment in which the comment determiner 120 determines a comment by itself.

일 실시예에서, 코멘트 결정부(120)는 스트리밍 미디어의 영상에 포함된 텍스트를 검출하고 그 텍스트에 기초하여 코멘트를 결정할 수 있고, 구간 결정부(130)는 영상에 그 텍스트가 포함된 구간에 기초하여 맵핑 구간을 결정할 수 있다. 예를 들어 영화의 한 장면에서 간판에 '버거킹'이라는 글자가 써있는 경우, 코멘트 결정부(120)는 '버거킹', '식당', '패스트푸드', 또는 '햄버거' 등을 코멘트로 결정할 수 있고, 구간 결정부(130)는 영상에 위 간판이 등장한 순간부터 사라지는 순간까지의 구간을 맵핑 구간으로 결정할 수 있다. 실시예에 따라, 구간 결정부(130)는 영화의 장면(scene) 전환을 검출하여, 텍스트가 등장한 장면 전체 구간을 맵핑 구간으로 결정할 수 있다. 영상에서 인식되는 텍스트는 영상에 표시된 자막일 수 있다.In one embodiment, the comment determiner 120 may detect the text included in the image of the streaming media and determine the comment based on the text, the section determiner 130 is a section that contains the text in the image The mapping section may be determined based on the above. For example, in a movie scene, when the word 'burger king' is written on the signboard, the comment determiner 120 may comment 'burger king', 'restaurant', 'fast food', or 'hamburger' as a comment. The section determination unit 130 may determine the section from the moment the signage appears in the image to the moment of disappearing as the mapping section. According to an embodiment, the section determination unit 130 may detect a scene change of a movie and determine the entire section of the scene where the text appears as a mapping section. The text recognized in the image may be a caption displayed on the image.

일 실시예에서, 구간 결정부(130)는 결정된 맵핑 구간이 너무 짧은 경우 맵핑 구간을 늘릴 수 있다. 예를 들어, 결정된 맵핑 구간의 길이가 3초 미만이면 맵핑 구간의 길이가 3초가 되도록 구간 시작점 및/또는 구간 끝점을 이동시킬 수 있다.In one embodiment, the interval determination unit 130 may increase the mapping interval when the determined mapping interval is too short. For example, when the length of the determined mapping section is less than 3 seconds, the section start point and / or the section end point may be moved so that the length of the mapping section is 3 seconds.

일 실시예에서, 미디어 독출부(110)는 데이터베이스에서 스트리밍 영상에 대한 자막 파일을 독출하고, 코멘트 결정부(120)는 독출한 자막 파일의 텍스트에 기초하여 코멘트를 결정하고, 구간 결정부(130)는 결정된 코멘트에 대응되는 자막 파일의 시계열 데이터에 기초하여 맵핑 구간을 결정할 수 있다. 여기서 자막 파일은 srt, ssa, smi 등의 형식일 수 있다. 실시예에 따라, 코멘트 결정부(120)가 스트리밍 미디어의 메타 데이터로부터 자막 정보를 독출하고, 이에 기초하여 코멘트 및 맵핑 구간이 결정될 수 있다.In one embodiment, the media reader 110 reads the subtitle file for the streaming video from the database, and the comment determiner 120 determines a comment based on the text of the read subtitle file, and the section determiner 130 ) May determine a mapping section based on time series data of the caption file corresponding to the determined comment. Here, the subtitle file may be in the format of srt, ssa, smi, or the like. According to an embodiment, the comment determiner 120 may read caption information from metadata of the streaming media, and a comment and a mapping section may be determined based on the caption information.

일 실시예에서, 코멘트 결정부(120)는 스트리밍 미디어의 오디오에서 대사, 음향효과, 또는 음악 등의 소리를 검출하고 그 소리에 기초하여 코멘트를 결정할 수 있다. 코멘트 결정부(120)는 소리 검출을 위해 음성 인식 기술을 이용할 수 있다. 예를 들어, 코멘트 결정부(120)는 스트리밍 미디어의 오디오에서 '버거킹'이라는 대사가 검출되면 '버거킹', '식당', '패스트푸드', 또는 '햄버거' 등을 코멘트로 결정할 수 있고, 자동차 엔진 소리가 검출되면 '자동차', '탈것', 또는 '운전' 등을 코멘트로 결정할 수 있고, 'Enter sandman' 음악이 검출되면 'Enter sandman', '메탈리카', 또는 '헤비메탈' 등을 코멘트로 결정할 수 있다.In one embodiment, the comment determiner 120 may detect a sound such as dialogue, sound effects, or music in the audio of the streaming media and determine a comment based on the sound. The comment determiner 120 may use a voice recognition technology for sound detection. For example, the comment determiner 120 may determine 'burger Burger', 'restaurant', 'fast food', or 'hamburger' as a comment when the phrase 'burger king' is detected in the audio of the streaming media. If a car engine sound is detected, you can decide to comment on 'car', 'mountain', or 'driving' as a comment.When 'Enter sandman' music is detected, 'Enter sandman', 'metallica' or 'heavy metal' You can decide by comment.

구간 결정부(130)는 맵핑될 코멘트와 관련된 소리가 검출된 시점에 기초하여 맵핑 구간을 결정할 수 있다. 일 실시예에서, 구간 결정부(130)는 맵핑될 코멘트와 관련된 소리가 재생되는 구간에 기초하여 맵핑 구간을 결정할 수 있다. 일 실시예에서, 구간 결정부(130)는 스트리밍 미디어의 오디오로부터 대사, 음향효과, 또는 음악 등의 연속된 소리를 검출하고, 검출된 연속된 소리가 재생되는 구간에 기초하여 맵핑 구간을 결정할 수 있다. 예를 들어, '버거킹'이라는 대사가 검출된 경우, '버거킹'이라는 단어가 재생되는 구간만을 맵핑 구간으로 결정하거나, '버거킹'이 포함된 문장 전체가 재생되는 구간을 맵핑 구간으로 결정하거나, '버거킹'이라는 대사가 검출된 시점에 흘러나오는 배경음악이 재생되는 구간 전체를 맵핑 구간으로 결정할 수 있다. 실시예에 따라, 구간 결정부(130)는 영화의 장면(scene) 전환을 검출하여, '버거킹'이라는 대사가 검출된 장면 전체 구간을 맵핑 구간으로 결정할 수 있다. 즉, 본 발명에 의한 코멘트 맵핑 시스템(100)은 영상, 소리, 텍스트, 또는 자막 등의 다양한 정보를 복합적으로 이용하여 코멘트를 맵핑할 수 있다.The section determiner 130 may determine a mapping section based on a time point when a sound associated with a comment to be mapped is detected. In an embodiment, the section determiner 130 may determine the mapping section based on the section in which the sound related to the comment to be mapped is played. In one embodiment, the section determination unit 130 may detect a continuous sound such as dialogue, sound effects, or music from the audio of the streaming media, and determine the mapping section based on the section where the detected continuous sound is played. have. For example, when the phrase 'burger king' is detected, only the section where the word 'burger king' is played is determined as the mapping section, or the section where the entire sentence including 'burger king' is played is determined as the mapping section. Alternatively, the entire section in which the background music is played when the dialogue 'burger king' is detected may be determined as the mapping section. According to an exemplary embodiment, the section determiner 130 may detect a scene change of a movie and determine the entire section of the scene where the dialogue 'burger king' is detected as the mapping section. That is, the comment mapping system 100 according to the present invention may map a comment by using various information such as an image, sound, text, or caption in combination.

일 실시예에서, 코멘트 결정부(120)는 스트리밍 미디어의 영상에서 물체를 검출하고 그 물체를 기초하여 코멘트를 결정할 수 있다. 구간 결정부(130)는 스트리밍 미디어의 영상에 물체가 나타난 시점부터 사라지는 시점까지의 구간을 맵핑 구간으로 결정할 수 있다. 구간 결정부(130)는 영상추적(이미지 트랙킹) 기술을 이용하여 스트리밍 미디어의 영상에서 물체의 움직임을 추적하고, 추적 결과에 기초하여 맵핑 구간을 결정할 수 있다. 이 경우 영상에서 물체가 이동하거나 각도 변화 등에 따라 형상이 변화하여도 동일한 물체가 계속 영상에 존재하는 것으로 인식할 수 있다.In one embodiment, the comment determiner 120 may detect an object in the image of the streaming media and determine the comment based on the object. The section determiner 130 may determine a section from the time point at which the object appears in the video of the streaming media to the time point at which the object disappears as the mapping section. The section determiner 130 may track the movement of the object in the image of the streaming media by using an image tracking (image tracking) technique, and determine the mapping section based on the tracking result. In this case, it may be recognized that the same object continues to exist in the image even when the object moves in the image or the shape changes due to an angle change.

도 3은 본 발명의 일 실시예에 의한 코멘트 맵핑 방법의 흐름을 나타낸 흐름도이다. 도 3을 참조하면, 미디어 독출부(110)가 데이터베이스로부터 스트리밍 미디어를 독출하고(S310), 코멘트 결정부(120)가 스트리밍 미디어의 일부 구간에 맵핑될 코멘트를 결정한다(S320). 맵핑될 코멘트는 스트리밍 미디어의 영상, 소리, 텍스트, 또는 자막 등에 기초하여 결정될 수 있고, 사용자 단말기로부터 수신된 정보에 기초하여 결정될 수 있다. 구간 결정부(130)가 스트리밍 미디어에 코멘트를 맵핑할 맵핑 구간을 결정한다(S330). 코멘트기록부(140)가 결정된 코멘트와 맵핑 구간을 대응시켜 스트리밍 미디어에 대한 코멘트 정보로 데이터베이스에 기록한다(S340).3 is a flowchart illustrating a flow of a comment mapping method according to an embodiment of the present invention. Referring to FIG. 3, the media reader 110 reads streaming media from a database (S310), and the comment determiner 120 determines a comment to be mapped to a portion of the streaming media (S320). The comment to be mapped may be determined based on the image, sound, text, subtitle, etc. of the streaming media, and may be determined based on information received from the user terminal. The interval determination unit 130 determines a mapping interval to map the comment to the streaming media (S330). The comment recording unit 140 associates the determined comment with the mapping section and records the comment information on the streaming media in the database (S340).

데이터베이스에 기록된 코멘트 정보는, 사용자가 사용자 단말기를 통해 해당 스트리밍 미디어를 재생할 때 각 맵핑 구간에서 맵핑된 코멘트가 표시되도록 하거나, 사용자가 특정 코멘트에 관련된 스트리밍 미디어와 해당 구간을 검색할 수 있도록 하는 등 다양한 방법으로 이용될 수 있다.The comment information recorded in the database can be used to display the comments mapped in each mapping section when the user plays the streaming media through the user terminal, or allow the user to search the streaming media related to the specific comment and the section. It can be used in various ways.

도 4a 및 4b는 본 발명의 일 실시예에 의한 코멘트 맵핑 시스템이 맵핑 구간을 표시한 이미지를 나타낸 도면이다. 코멘트 맵핑 시스템(100)은 코멘트 구간 표시부(미도시)를 더 포함할 수 있으며, 코멘트 구간 표시부는 도 4a 및 4b와 같이 스트리밍 미디어의 진행 표시줄(progress bar) 등에 코멘트의 맵핑 구간을 표시하여 사용자 단말기로 출력함으로써 사용자가 코멘트가 맵핑된 구간을 일목요연하게 확인할 수 있도록 한다.4A and 4B illustrate an image in which a comment mapping system according to an embodiment of the present invention displays a mapping section. The comment mapping system 100 may further include a comment section display unit (not shown), and the comment section display unit displays a mapping section of the comment on a progress bar of streaming media as shown in FIGS. 4A and 4B. By outputting to the terminal, the user can check the section to which the comment is mapped at a glance.

도 4a를 참조하면, 코멘트 구간 표시부는 진행 표시줄에 맵핑 구간의 시작점을 표시할 수 있다. 도 4b를 참조하면, 코멘트 구간 표시부는 진행 표시줄에 맵핑 구간의 시작점부터 끝점까지 연장되는 막대를 표시할 수 있다. 이러한 막대를 '코멘트 구간 막대'라 부르기로 한다. 코멘트 구간 표시부는 복수의 코멘트들에 대해 맵핑 구간이 겹치는 경우, 코멘트 구간 막대들을 상하로 이격시켜 표시함으로써 사용자가 코멘트 맵핑 구간들을 쉽게 구분하도록 할 수 있다. 사용자는 사용자 단말기에 출력된 맵핑 구간 표시를 통해 코멘트가 존재하는 구간을 확인하고, 코멘트 정보를 원하는 구간으로 빠르게 이동할 수 있다.Referring to FIG. 4A, the comment section display unit may display a start point of the mapping section on the progress bar. Referring to FIG. 4B, the comment section display unit may display a bar extending from the start point to the end point of the mapping section on the progress bar. These bars will be referred to as 'comment interval bars'. When the mapping section overlaps the plurality of comments, the comment section display unit may display the comment section bars spaced apart vertically so that the user can easily distinguish the comment mapping sections. The user may check the section in which the comment exists through the display of the mapping section displayed on the user terminal and quickly move the comment information to the desired section.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장매체, 광학적 판독 매체 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송) 등 모든 저장매체를 포함한다.The invention can also be embodied as computer readable code on a computer readable recording medium. Computer-readable recording media include all storage media, including magnetic storage media, optical reading media and carrier waves (eg, transmission over the Internet).

지금까지 본 발명에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 발명을 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다. 비록 본 명세서에 특정한 용어들이 사용되었으나 이는 단지 본 발명의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 특허청구범위에서 청구하는 본 발명의 본질적인 기술사상에서 벗어나지 않는 범위에서 다양한 변형 형태 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 구성요소를 포함하는 것으로 이해되어야 한다.So far, the present invention has been described in detail with reference to the preferred embodiments shown in the drawings. These examples are merely illustrative and not intended to limit the present invention, and should be considered in descriptive sense only and not for purposes of limitation. The true technical protection scope of the present invention should be defined by the technical spirit of the appended claims rather than the foregoing description. Although specific terms have been used herein, they are used only for the purpose of illustrating the concept of the invention and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will understand that various modifications and equivalents can be made without departing from the essential technical spirit of the invention as claimed in the claims. Equivalents are to be understood to include not only currently known equivalents but also equivalents to be developed in the future, ie all components invented to perform the same function regardless of structure.

Claims (20)

데이터베이스로부터 스트리밍 미디어를 독출하는 미디어 독출부;
상기 스트리밍 미디어의 일부 구간에 맵핑될 코멘트를 결정하는 코멘트 결정부;
상기 스트리밍 미디어에 상기 코멘트를 맵핑할 맵핑 구간을 결정하는 구간 결정부; 및
상기 코멘트와 상기 맵핑 구간을 대응시켜 상기 스트리밍 미디어에 대한 코멘트 정보로 상기 데이터베이스에 기록하는 코멘트기록부를 포함하며,
상기 구간 결정부는,
상기 스트리밍 미디어에서 상기 결정된 코멘트와 관련된 정보를 포함하고 있는 구간을 검출하고, 상기 검출된 구간의 시작점 및 종료점을 결정하여 상기 맵핑 구간으로 설정하되,
상기 결정된 코멘트와 관련된 정보를 포함하고 있는 구간을 검출함에 있어서,
상기 결정된 코멘트와 관련된 정보에 따라, 상기 스트리밍 미디어의 영상에서 상기 결정된 코멘트와 관련된 이미지가 등장한 시작점부터 사라지는 종료점까지를 기초로 상기 맵핑 구간을 검출하거나,
상기 스트리밍 미디어의 영상에서 상기 결정된 코멘트와 관련된 텍스트가 등장한 장면 구간을 기초로 상기 맵핑 구간을 검출하거나,
상기 스트리밍 미디어의 영상에서 상기 결정된 코멘트와 관련된 소리가 재생되는 구간을 기초로 상기 맵핑 구간을 검출하며,
상기 코멘트기록부는,
사용자 단말기로부터 입력된 특정 코멘트에 관련된 정보를 포함하고 있는 구간을 상기 데이터베이스에 기록된 코멘트 정보로부터 검색하는 것을 특징으로 하는 코멘트 맵핑 시스템.A media reader for reading streaming media from a database;
A comment determiner which determines a comment to be mapped to a partial section of the streaming media;
A section determination unit determining a mapping section to map the comment to the streaming media; And
A comment recording unit for recording the comment and the mapping section in the database as comment information on the streaming media;
The section determination unit,
Detecting a section including information related to the determined comment in the streaming media, determine the start point and the end point of the detected section to set as the mapping section,
In detecting a section including information related to the determined comment,
According to the information related to the determined comment, the mapping section is detected based on a starting point from which an image related to the determined comment appears to an end point disappearing in an image of the streaming media,
Detecting the mapping section based on a scene section in which the text related to the determined comment appears in the image of the streaming media;
Detecting the mapping section based on a section in which the sound related to the determined comment is reproduced in the image of the streaming media,
The comment recording section,
And a section including information relating to a specific comment inputted from a user terminal from the comment information recorded in the database. 제1항에 있어서,
상기 코멘트 결정부는, 사용자 단말기로부터 상기 코멘트를 수신하고,
상기 구간 결정부는, 상기 사용자 단말기로부터 구간 시작점 및 구간 종료점을 수신하고, 상기 구간 시작점 및 상기 구간 종료점에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The comment determining unit receives the comment from the user terminal,
And the section determination unit receives a section start point and a section end point from the user terminal and determines the mapping section based on the section start point and the section end point. 제1항에 있어서,
상기 코멘트 결정부는, 사용자 단말기로부터 상기 코멘트를 수신하고,
상기 구간 결정부는, 상기 사용자 단말기로부터 코멘트 맵핑 시점을 수신하고, 상기 코멘트 맵핑 시점에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The comment determining unit receives the comment from the user terminal,
The section determination unit receives a comment mapping time point from the user terminal and determines the mapping section based on the comment mapping time point. 제3항에 있어서,
상기 구간 결정부는,
상기 코멘트 맵핑 시점을 구간 시작점으로 지정하고, 상기 코멘트 맵핑 시작점에 기초하여 구간 종료점을 지정함으로써 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 3,
The section determination unit,
And determining the mapping section by designating the comment mapping time point as a section start point and specifying a section end point based on the comment mapping start point. 제 4항에 있어서,
상기 구간 결정부는,
상기 코멘트 맵핑 시점으로부터 소정 시간 이후의 시점을 구간 종료점으로 지정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 4, wherein
The section determination unit,
And a time point after a predetermined time from the comment mapping time point is designated as an end point of the section. 제3항에 있어서,
상기 구간 결정부는,
상기 스트리밍 미디어의 상기 코멘트 맵핑 시점 부근의 영상, 소리, 텍스트, 또는 자막 중 적어도 하나에서 상기 코멘트에 관련된 객체를 검출하고,
상기 검출된 객체가 포함된 구간에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 3,
The section determination unit,
Detecting an object related to the comment from at least one of an image, sound, text, or subtitle near the comment mapping time point of the streaming media;
And the mapping section is determined based on the section in which the detected object is included. 제1항에 있어서,
상기 코멘트 결정부는, 상기 스트리밍 미디어의 영상에서 텍스트를 검출하고, 상기 텍스트에 기초하여 상기 코멘트를 결정하고,
상기 구간 결정부는, 상기 스트리밍 미디어의 영상에 상기 텍스트가 포함된 구간에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The comment determination unit detects a text in the image of the streaming media, and determines the comment based on the text,
The section determining unit determines the mapping section based on a section in which the text is included in the image of the streaming media. 제1항에 있어서,
상기 미디어 독출부는, 상기 데이터베이스로부터 상기 스트리밍 미디어에 대한 자막 파일을 독출하고,
상기 코멘트 결정부는, 상기 자막 파일의 텍스트에 기초하여 상기 코멘트를 결정하고,
상기 구간 결정부는, 상기 결정된 코멘트에 대응되는 상기 자막 파일의 시계열 데이터에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The media reading unit reads a subtitle file for the streaming media from the database,
The comment determination unit determines the comment based on text of the subtitle file,
And the section determiner determines the mapping section based on time series data of the caption file corresponding to the determined comment. 제1항에 있어서,
상기 코멘트 결정부는, 상기 스트리밍 미디어의 메타 데이터로부터 자막 정보를 독출하고, 상기 자막 정보의 텍스트에 기초하여 상기 코멘트를 결정하고,
상기 구간 결정부는, 상기 결정된 코멘트에 대응되는 상기 자막 정보의 시계열 데이터에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The comment determination unit reads the caption information from the metadata of the streaming media, and determines the comment based on the text of the caption information.
And the section determination unit determines the mapping section based on time series data of the caption information corresponding to the determined comment. 제1항에 있어서,
상기 코멘트 결정부는, 상기 스트리밍 미디어의 오디오에서 소리를 검출하고, 상기 소리에 기초하여 상기 코멘트를 결정하고,
상기 구간 결정부는, 상기 소리가 검출된 시점에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The comment determining unit detects a sound in the audio of the streaming media, determines the comment based on the sound,
And the section determination unit determines the mapping section based on a time point at which the sound is detected. 제10항에 있어서,
상기 구간 결정부는,
상기 스트리밍 미디어의 오디오로부터 연속된 소리를 검출하고,
상기 연속된 소리의 재생 구간에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 10,
The section determination unit,
Detect continuous sound from audio of the streaming media,
And the mapping section is determined based on the playback section of the continuous sound. 제1항에 있어서,
상기 코멘트 결정부는, 상기 스트리밍 미디어의 영상에서 물체를 검출하고, 상기 물체에 기초하여 상기 코멘트를 결정하고,
상기 구간 결정부는, 영상 추적 기술을 이용하여 상기 스트리밍 미디어의 영상에서 상기 물체의 움직임을 추적하고, 상기 물체의 움직임 추적 결과에 기초하여 상기 맵핑 구간을 결정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The comment determiner detects an object in the image of the streaming media, and determines the comment based on the object.
And the section determining unit tracks the movement of the object in the image of the streaming media by using an image tracking technique, and determines the mapping section based on the motion tracking result of the object. 제1항에 있어서,
상기 구간 결정부는,
상기 결정된 맵핑 구간이 소정 시간보다 짧은 경우, 상기 맵핑 구간이 상기 소정 시간 이상이 되도록 상기 맵핑 구간을 조정하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
The section determination unit,
And when the determined mapping section is shorter than a predetermined time, adjusting the mapping section so that the mapping section is longer than the predetermined time. 제1항에 있어서,
상기 스트리밍 미디어의 진행 표시줄에 상기 맵핑 구간을 표시하여 사용자 단말기로 출력하는 코멘트 구간 표시부를 더 포함하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 1,
And a comment section display unit for displaying the mapping section on the progress bar of the streaming media and outputting the mapping section to a user terminal. 제14항에 있어서,
상기 코멘트 구간 표시부는, 상기 진행 표시줄에 상기 맵핑 구간의 시작점을 표시하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 14,
And the comment section display unit displays a start point of the mapping section on the progress bar. 제14항에 있어서,
상기 코멘트 구간 표시부는, 상기 진행 표시줄에 상기 맵핑 구간의 시작점부터 끝점까지 연장되는 코멘트 구간 막대를 표시하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 14,
The comment section display unit, the comment mapping system, characterized in that for displaying the comment section bar extending from the start point to the end point of the mapping section on the progress bar. 제15항에 있어서,
상기 코멘트 구간 표시부는, 상기 진행 표시줄에 상기 스트리밍 미디어에 대한 복수의 코멘트들의 맵핑 구간들에 대한 코멘트 구간 막대들을 표시하며,
상기 복수의 코멘트들의 맵핑 구간들이 겹치는 경우, 해당 코멘트 구간 막대들을 상하로 이격시켜 표시하는 것을 특징으로 하는 코멘트 맵핑 시스템.The method of claim 15,
The comment section display unit displays comment section bars for mapping sections of a plurality of comments for the streaming media on the progress bar,
And when the mapping sections of the plurality of comments overlap each other, the comment section bars are spaced up and down to display the comment section bars. 미디어 독출부가 데이터베이스로부터 스트리밍 미디어를 독출하는 단계;
코멘트 결정부가 상기 스트리밍 미디어의 일부 구간에 맵핑될 코멘트를 결정하는 단계;
구간 결정부가 상기 스트리밍 미디어에 상기 코멘트를 맵핑할 맵핑 구간을 결정하는 단계; 및
코멘트기록부가 상기 코멘트와 상기 맵핑 구간을 대응시켜 상기 스트리밍 미디어에 대한 코멘트 정보로 상기 데이터베이스에 기록하는 단계를 포함하며,
상기 맵핑 구간을 결정하는 단계는,
상기 스트리밍 미디어에서 상기 결정된 코멘트와 관련된 정보를 포함하고 있는 구간을 검출하고, 상기 검출된 구간의 시작점 및 종료점을 결정하여 상기 맵핑 구간으로 설정하되,
상기 결정된 코멘트와 관련된 정보를 포함하고 있는 구간을 검출함에 있어서,
상기 결정된 코멘트와 관련된 정보에 따라, 상기 스트리밍 미디어의 영상에서 상기 결정된 코멘트와 관련된 이미지가 등장한 시작점부터 사라지는 종료점까지를 기초로 상기 맵핑 구간을 검출하거나,
상기 스트리밍 미디어의 영상에서 상기 결정된 코멘트와 관련된 텍스트가 등장한 장면 구간을 기초로 상기 맵핑 구간을 검출하거나,
상기 스트리밍 미디어의 영상에서 상기 결정된 코멘트와 관련된 소리가 재생되는 구간을 기초로 상기 맵핑 구간을 검출하며,
상기 데이터베이스에 기록하는 단계는,
사용자 단말기로부터 입력된 특정 코멘트에 관련된 정보를 포함하고 있는 구간을 상기 데이터베이스에 기록된 코멘트 정보로부터 검색하는 것을 특징으로 하는 코멘트 맵핑 방법.Reading by the media reader the streaming media from the database;
Determining, by a comment determiner, a comment to be mapped to a partial section of the streaming media;
Determining, by a section determination unit, a mapping section to map the comment to the streaming media; And
And a comment recording unit recording the comment and the mapping section in the database as comment information for the streaming media.
Determining the mapping section,
Detecting a section including information related to the determined comment in the streaming media, determine the start point and the end point of the detected section to set as the mapping section,
In detecting a section including information related to the determined comment,
According to the information related to the determined comment, the mapping section is detected based on a starting point from which an image related to the determined comment appears to an end point disappearing in an image of the streaming media,
Detecting the mapping section based on a scene section in which the text related to the determined comment appears in the image of the streaming media;
Detecting the mapping section based on a section in which the sound related to the determined comment is reproduced in the image of the streaming media,
The step of recording in the database,
And a section including information related to a specific comment inputted from a user terminal from the comment information recorded in the database. 제18항의 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터프로그램.A computer program stored on a computer readable recording medium for executing the method of claim 18 on a computer. 제18항의 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for performing the method of claim 18.
KR1020180016552A 2018-02-09 2018-02-09 System and method for mapping comments on streaming media Expired - Fee Related KR102037183B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180016552A KR102037183B1 (en) 2018-02-09 2018-02-09 System and method for mapping comments on streaming media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180016552A KR102037183B1 (en) 2018-02-09 2018-02-09 System and method for mapping comments on streaming media

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160112010A Division KR20180024939A (en) 2016-08-31 2016-08-31 System and method for mapping comments on streaming media

Publications (2)

Publication Number Publication Date
KR20180025880A KR20180025880A (en) 2018-03-09
KR102037183B1 true KR102037183B1 (en) 2019-10-28

Family

ID=61727695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180016552A Expired - Fee Related KR102037183B1 (en) 2018-02-09 2018-02-09 System and method for mapping comments on streaming media

Country Status (1)

Country Link
KR (1) KR102037183B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014013689A1 (en) 2012-07-20 2014-01-23 パナソニック株式会社 Moving-image-with-comments generation device and moving-image-with-comments generation method
JP5649303B2 (en) 2006-03-30 2015-01-07 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ Method and apparatus for annotating media streams
WO2015115892A1 (en) 2014-01-31 2015-08-06 Aimm Therapeutics B.V. Means and methods for producing stable antibodies
KR101587926B1 (en) 2013-09-12 2016-01-25 엠랩 주식회사 Comment tagging system for streaming video and providing method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649303B2 (en) 2006-03-30 2015-01-07 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ Method and apparatus for annotating media streams
WO2014013689A1 (en) 2012-07-20 2014-01-23 パナソニック株式会社 Moving-image-with-comments generation device and moving-image-with-comments generation method
KR101587926B1 (en) 2013-09-12 2016-01-25 엠랩 주식회사 Comment tagging system for streaming video and providing method thereof
WO2015115892A1 (en) 2014-01-31 2015-08-06 Aimm Therapeutics B.V. Means and methods for producing stable antibodies

Also Published As

Publication number Publication date
KR20180025880A (en) 2018-03-09

Similar Documents

Publication Publication Date Title
US9672869B2 (en) Recording medium containing moving picture data and additional information thereof and reproducing method and apparatus of the recording medium
US10014029B2 (en) Video processing apparatus and method
JP4778231B2 (en) System and method for indexing video sequences
JP4331217B2 (en) Video playback apparatus and method
US8320738B2 (en) Video management system and method
US9558784B1 (en) Intelligent video navigation techniques
US8373723B2 (en) Method and apparatus to provide plot data of contents
US8588581B2 (en) Recording medium containing moving picture data and additional information thereof and reproducing method and apparatus of the recording medium
CN101527154A (en) Storage medium that stores metadata for providing enhanced search function
US9564177B1 (en) Intelligent video navigation techniques
KR101369747B1 (en) Information recording medium, appratus and method for reproducing video contents
KR102037183B1 (en) System and method for mapping comments on streaming media
KR101279178B1 (en) Multimedia File Playing Method and Player
KR20180024939A (en) System and method for mapping comments on streaming media
CN100407320C (en) Recording and reproducing method and reproducing device of information storage medium
KR100907216B1 (en) Image control device and method using subtitle information
KR20060102639A (en) Video playback system and method
JP7102826B2 (en) Information processing method and information processing equipment
JP2006332765A (en) CONTENT SEARCH / REPRODUCTION METHOD, CONTENT SEARCH / REPRODUCTION DEVICE, PROGRAM, AND RECORDING MEDIUM
KR100965893B1 (en) Display playback method of storage medium containing audio-visual data including mode information
KR100896060B1 (en) Playback Control Method in Interactive Optical Disc Device
JP2007288310A (en) Video playback apparatus, method, program, and medium
KR20010104547A (en) Reproducing apparatus and method for image signal using additional information
KR20080070201A (en) Additional subtitle providing method and playback device thereof
JP2005142813A (en) Attribute output device for video with audio

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A16-div-PA0107

St.27 status event code: A-0-1-A10-A18-div-PA0107

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PC1903 Unpaid annual fee

Not in force date: 20221023

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20221023

St.27 status event code: N-4-6-H10-H13-oth-PC1903