[go: up one dir, main page]

KR101813918B1 - 클라이언트 디바이스에 미디어 에셋을 제공하기 위한 방법 - Google Patents

클라이언트 디바이스에 미디어 에셋을 제공하기 위한 방법 Download PDF

Info

Publication number
KR101813918B1
KR101813918B1 KR1020167010865A KR20167010865A KR101813918B1 KR 101813918 B1 KR101813918 B1 KR 101813918B1 KR 1020167010865 A KR1020167010865 A KR 1020167010865A KR 20167010865 A KR20167010865 A KR 20167010865A KR 101813918 B1 KR101813918 B1 KR 101813918B1
Authority
KR
South Korea
Prior art keywords
client device
media
media asset
server
service description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020167010865A
Other languages
English (en)
Other versions
KR20160058949A (ko
Inventor
베르너 리에켄스
파스칼 주스텐
조우릭 데 루프
Original Assignee
알까뗄 루슨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알까뗄 루슨트 filed Critical 알까뗄 루슨트
Publication of KR20160058949A publication Critical patent/KR20160058949A/ko
Application granted granted Critical
Publication of KR101813918B1 publication Critical patent/KR101813918B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H04H60/74—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information using programme related information, e.g. title, composer or interpreter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2225—Local VOD servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 클라이언트 디바이스에 멀티미디어 에셋을 플레이 아웃하기 위해 상기 멀티미디어 에셋을 상기 클라이언트 디바이스에 제공하기 위한 시스템에 관한 것으로, 상기 시스템에 있어서 상기 미디어 에셋의 부분들은 메타데이터와 연관된다. 상기 시스템은: - 상기 미디어 에셋의 일부를 상기 클라이언트 디바이스로 보내도록 구성된 수단과; - 상기 클라이언트 디바이스에 플레이 아웃하기 위해 상기 클라이언트 디바이스에 제공되는 상기 미디어 에셋의 상기 일부의 ID(identification)를 통합 서버에 통지하도록 구성된 수단과; - 상기 통합 서버에서, 상기 제공된 미디어 에셋의 상기 일부와 연관된 메타데이터를 검색하도록 구성된 수단과; - 상기 통합 서버에서, 상기 검색된 메타데이터의 함수로 적어도 하나의 서비스 설명을 검색하도록 구성된 수단으로서, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 상기 클라이언트 디바이스의 사용자와 연관된 복수의 사물 인터넷 디바이스들의 사물 인터넷 가능 디바이스에 의해 제공될 각각의 서비스를 정의하는, 상기 검색 수단과; - 상기 통합 서버에서, 상기 클라이언트 디바이스에 제공되는 미디어 에셋의 상기 부분의 함수로, 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터 및 사물 인터넷 디바이스와 연관된 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트 액션을 결정하도록 구성된 수단을 포함한다.

Description

클라이언트 디바이스에 미디어 에셋을 제공하기 위한 방법{METHOD FOR PROVIDING A CLIENT DEVICE WITH A MEDIA ASSET}
본 발명은 미디어 에셋의 제공(provisioning)과 클라이언트 디바이스에 그러한 미디어 에셋의 프레이 아웃(play out)하는 분야에 관한 것이다.
주지된 멀티미디어 환경은 셋-톱 박스 또는 다른 소비자 구내 장비를 통해 수신된 미디어를 플레이 아웃하기 위한 미디어 플레이어를 포함한다. 그러한 미디어 플레이어는, 예를 들면 셋-톱 박스를 통해 인터넷에 연결된 텔레비전, 퍼스널 컴퓨터를 포함하는 인터넷 접속 컴퓨터, 모바일 디바이스 등이다. 그러한 멀티미디어 환경은 대체로 또한 미디어 서버를 포함하고, 그러한 미디어 서버는 전용 컴퓨터 어플라이언스 또는 전문 애플리케이션 소프트웨어이며, 주문형 비디오를 제공할 수 있는 기업형 머신에서부터 통상적으로는 다양한 디지털 미디어(디지털 비디오/영화, 오디오/음악, 및 화상 파일을 의미)를 저장하는데 전용되는 작은 퍼스널 컴퓨터 또는 가정용 NAS(Network Attached Storage)까지 다양하다.
그러한 미디어 환경에서, 가정에 있는 사용자는, 상기 사용자의 클라이언트 디바이스에서 선택된 영화의 플레이 아웃을 위해 글로벌 주문형 비디오 공급자에 의해 관리되는 디바이스 또는 가정에서 지역적으로 미디어 서버에 의해 관리되는 영화 대여 카탈로그로부터 영화를 선택할 수 있다.
상기 선택되어 플레이 아웃되는 미디어를 시청하는 상기 사용자의 멀티미디어 경험은 현재 플레이되고 있는 영화의 사운드 및 영상에 제한되고, 멀티미디어 경험의 어떠한 개선에도 용이하지 않다.
본 발명의 목적은 상기 공지된 유형에 있어서 상기 언급된 공지된 멀티미디어 환경의 결점이 극복되는 방법, 관련 시스템 및 관련 디바이스들을 제공하고자 하는 것이다.
본 발명의 실시예에 따라, 본 발명의 목적은, 클라이언트 디바이스에 멀티미디어 에셋을 플레이 아웃하기 위해 상기 클라이언트 디바이스에 상기 미디어 에셋을 제공하기 위한 방법, 관련 시스템 및 관련 장치로서, 상기 미디어 에셋의 부분들은 메타데이터와 연관되고, 상기 방법은:
- 미디어 서버가 상기 미디어 에셋의 일부를 상기 클라이언트 디바이스로 보내는 단계와;
- 상기 미디어 서버가 상기 클라이언트 디바이스에 플레이 아웃하기 위해 상기 클라이언트 디바이스에 제공되는 상기 미디어 에셋의 상기 일부를 통합 서버에 통지하는 단계와;
- 상기 통합 서버가 상기 제공된 미디어 에셋의 상기 일부와 연관된 메타데이터를 검색하는 단계와;
- 상기 통합 서버가 상기 검색된 메타데이터의 함수로 적어도 하나의 서비스 설명을 검색하는 단계로서, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 복수의 사물 인터텟 디바이스들의 각 사물 인터넷 가능 디바이스(respective internet of things enabled device)에 의해 제공될 서비스를 정의하고, 각각의 사물 인터넷 가능 디바이스는 상기 클라이언트 디바이스의 사용자와 연관되는, 상기 검색 단계와;
- 상기 통합 서버가, 상기 클라이언트 디바이스에 제공되는 미디어 에셋의 상기 부분의 함수로, 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터 및 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트 액션(media experience enrichment action)을 결정하는 단계를 포함하는, 상기 방법, 관련 시스템 및 관련 장치에 의해 달성된다. 이러한 방법에서, 먼저 상기 미디어 서버에 의해, 상기 미디어 에셋의 일부를 상기 클라이언트 디바이스로 보내고, 이어서 상기 미디어 서버가 상기 클라이언트 디바이스에 플레이 아웃하기 위해 상기 클라이언트 디바이스에 제공되는 상기 미디어 에셋의 상기 부분 또는 그 ID(예를 들면, 상기 부분을 식별하기 위한 번호)를 통합 서버에 통지하고, 상기 통합 서버는 상기 클라이언트 디바이스에 제공된 상기 미디어 에셋의 상기 일부와 연관된 메타데이터를 검색하고, 부가적으로 상기 통합 서버는 상기 검색된 메타데이터의 함수로 적어도 하나의 서비스 설명을 검색하며, 여기서 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 복수의 사물 인터넷 디바이스들의 각 사물 인터넷 가능 디바이스에 의해 제공될 서비스를 정의하고, 각각의 사물 인터넷 가능 디바이스는 상기 클라이언트 디바이스의 사용자와 연관되고, 상기 통합 서버는:
- 상기 클라이언트 디바이스에 제공되는 미디어 에셋의 상기 부분의 함수로,
- 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터와,
- 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트를 차례로 결정할 수 있다. 그러한 미디어 경험의 인리치먼트 액션은 상기 클라이언트 디바이스의 사용자와 연관된 사물 인터넷 가능 디바이스의 서비스의 호출(invocation)을 포함할 수 있으며, 부가적으로 또는 대안적으로 예를 들면, 플레이 아웃 중단(stop), 플레이 아웃 멈춤(pause), 플레이 아웃 재개, 고속 진행, 지식 인핸스먼트 미디어 에셋을 스킵하기 위한 명령의 경우 섹션 스킵, 잘못된 응답의 경우 섹션으로 돌아감 등을 포함할 수 있다.
이러한 방식에서, 플레이 아웃된 미디어 에셋의 사운드 및/또는 영상에 의해 형성된 미디어 경험은, 상기 결정된 부가적인 미디어 경험의 인리치먼트 액션이 예를 들면 사용자의 가정에서 하나 이상의 부가적 환경 효과들을 야기함으로써 풍요롭게 할 수 있다. 그러한 부가적인 환경 효과는 도어 벨 또는 폰의 울림, 방 안의 불빛의 어둑해짐, 방 안의 온도 증가 또는 감소 또는 차갑거나 따뜻한 공기의 스트림, 상기 공기의 습도 증가 또는 감소, 낮거나 높은 강도로 바닥을 진동, 혈압, 체중, 포도당, 콜레스테롤과 같은 것을 측정하도록 요청, 오븐 온도의 증가 또는 감소, 등을 포함할 수 있다. 이러한 방식에서, 상기 미디어 경험은 부가적인 느낌들로 풍요롭게 되어, 향상된 사용자 경험을 가져온다.
대안적으로 또는 부가적으로, 상기 미디어 경험은 예를 들면 플레이 아웃을 진행하기 전에 질문에 대답하도록 하는 옵션을 사용자에게 주는 e-학습 모듈과 같은 학습 미디어 에셋의 경우에 중단된/멈춰진 미디어 에셋의 플레이 아웃을 다시 진행하기에 앞서 수행할 액션을 요구함으로써 향상될 수 있다.
그러한 미디어 경험의 인리치먼트 액션은 상기 클라이언트 디바이스의 사용자와 연관된 사물 인터넷 가능 디바이스의 서비스의 호출을 포함할 수 있으며, 부가적으로 또는 대안적으로 예를 들면, 플레이 아웃 중단, 플레이 아웃 멈춤, 플레이 아웃 재개, 고속 진행, (지식 인핸스먼트, 예컨대 학습) 미디어 에셋을 스킵하기 위한 명령의 경우 섹션 스킵, 잘못된 응답의 경우 섹션으로 돌아감 등을 포함할 수 있다.
그러한 미디어 에셋은 비디오/영화, 오디오/음악, 및 화상 또는 임의의 그들의 조합과 같은 임의의 오디오 및/또는 비디오 어셋이 될 수 있다.
상기 미디어 서버에 의해 보내지는 미디어 에셋은, 각각의 프레임이 예를 들면 번호에 의해 식별되는 비디오의 경우에, 프레임들과 같은 부분들로 분할될 수 있다. 그러한 부분은 대안적으로 비디오 스트림 내의 라벨에 의해 식별될 수 있다. 상기 미디어 에셋의 상기 부분의 시작 위치는 고유하고 유일한 프레임 번호에 의해 식별될 수 있거나 또는 상기 시작 위치를 나타내고 그와 연관되는 메타데이터 식별자에 의해 간접적으로 식별될 수 있다. 이러한 분명한 식별자는 시퀀스 번호 또는 영숫자 스트링, 예를 들면, ASCII 또는 UTF-8 포맷의 텍스트 라벨로 표현될 수 있다.
메타데이터 식별자는 주어진 시작 위치에서 멀티미디어 바이트스트림 내에 명확하게 포함될 수 있다. 대안적으로, 메타데이터 식별자들의 모든 쌍들 및 동일한 멀티미디어 스트림에 속하는 그들의 연관된 시작 위치가 함께 그룹화되어 특정의 메타데이터 섹션에 저장될 수 있다. 이러한 특정의 메타데이터 섹션은 외부 파일에 저장될 수 있거나 또는 그의 차례가 올 때 미디어 스트림 헤더에 삽입될 수 있다. 전자의 경우에는, 외부 메타데이터 파일의 URL이, 이러한 URL이 외부에서 공급되거나, 상기 URL이 상기 미디어 파일에 삽입되거나, 또는 미리 규정된 협의에 의해, 해결되어야 한다(예를 들면, 비디오 파일명이 avatar.mp4 이고, 대응하는 메타데이터 파일명이 avatar.mme 이다).
클라이언트 디바이스의 사용자와 연관된 사물 인터넷 가능 디바이스는, 클라이언트 디바이스의 사용자와 사물 인터넷 가능 디바이스 사이에 링크가 있다는 것을 의미하며, 이러한 것은 상기 디바이스가 상기 사용자에 의해 소유된 것이거나 또는 이러한 사용자에게 서비스를 제공하기 위해 적어도 이용가능하기 때문이다. 이러한 연관은 사물 인터넷 가능 디바이스들이 상기 의미의 사용자에게 이용 가능하다는 것을 나타낸다.
또한 그러한 미디어의 각각의 부분, 예를 들면 프레임은 메타데이터와 연관될 수 있으며, 여기서 메타데이터는 상기 미디어 에셋의 그러한 부분의 콘텐츠에 관한 정보(예를 들면, 대화의 트랜스크립트 및 그 장면들의 텍스트 디스크립션)를 포함한다.
더욱이, 사물 인터넷(IoT)은 매일 물리적 오브젝트들이 인터넷에 접속될 수 있고, 다른 디바이스들에 대해 그들을 식별할 수 있는 것과 관련하여 기술하는 컴퓨팅 개념이다. 인터넷에 접속된 그러한 물리적 오브젝트를 사물 인터넷 가능 디바이스들이라 한다. 그러한 사물 인터넷 가능 디바이스들은 하나 이상의 다음과 같은 사항들을 포함할 수 있다: 센서 기술, 무선 기술, QR 코드, RFID 태그, 및 다음의 표준들 "ZigBee"(http://www.zigbee.org/), "Zwave", "Coap", "KNX", "Propriety protocols"의 하나 이상에 따라 동작할 수 있다.
사물 인터넷은 인터넷과 같은 구조에서 고유하게 식별가능한 오브젝트들 및 그들의 가상 표현을 의미한다. 식별자들이 갖춰진 오브젝트들은 컴퓨터들에 의해 관리되고 목록작성될 수 있다. 사물들의 태깅은 근접 통신, 바코드, QR 코드 및 디지털 워터마킹과 같은 기술을 통해 달성될 수 있다. 그러한 관리 및 사물 인터넷 가능 디바이스들과의 통신은 기존의 최종 사용자 동의하에 있어야 한다.
그러한 사물 인터넷 가능 디바이스들의 각각은 서비스를 제공하도록 조정된다.
그러한 서비스는, 사물 인터넷 디바이스들 상에서 작동될 수 있는 자원들에 의해 제공된 정보가 검색될 수 있거나 또는 작동 작업들이 실행될 수 있게 하는 기능에 대한 액세스를 제공한다. 그러한 디바이스를 찾고 서비스들과 상호작용하기 위한 기반으로서, 서비스들은 적절히 설명될 필요가 있고, 그러한 것은 서비스 설명의 형태로 행해진다. 서비스 설명은 구문적인 레벨은 물론 의미론적인 레벨 모두에 대한 서비스의 인터페이스에 관한 정보, 예를 들면 요청된 입력, 제공된 출력 또는 필요한 사전 조건은 물론 사후 조건을 포함한다.
또한, 서비스 설명은 예를 들면 자원의 유형, 처리 방법 또는 알고리즘과 같은 자원들의 기능과 관련한 정보, 또는 예를 들면 그 하드웨어나 그 지리적 위치와 같은 자원들이 작동하는 장치와 관련한 정보를 포함할 수 있다.
그러한 서비스들의 예들은 도어 벨 또는 폰의 울림, 방 안의 불빛의 어둑해짐, 방 안의 온도 증가 또는 감소 또는 차갑거나 따뜻한 공기의 스트림, 상기 공기의 습도 증가 또는 감소, 낮거나 높은 강도로 바닥을 진동(영화관에서), 혈압, 체중, 포도당, 콜레스테롤과 같은 것을 측정하도록 요청, 오븐 온도의 증가 또는 감소(예를 들면, 요리 강좌 또는 가정의 요리 교육의 경우) 등이 있을 수 있으며, 여기서 상기 도어 벨, 상기 라이트닝 시스템, 상기 온도 조절 시스템, 상기 오븐, 측정을 위한 상기 장치 등은 인터넷/인트라넷 결합된 디바이스들이다.
사물 인터넷의 더 구체적인 정의는 http://en.wikipedia.org/wiki/Internet of Things#cite note-19에서 찾아볼 수 있다.
사물 인터넷(IoT)은 미래 인터넷의 통합된 부분이며, 표준 및 상호 동작가능한 통신 프로토콜에 기초한 자기 구성 능력을 갖는 동적인 글로벌 네트워크 기반시설로서 규정될 수 있으고, 여기서 물리적이고 가상적인 "사물들"은 정체성(identity), 물리적 속성, 가상 개인화(virtual personality)를 가지며, 지능형 인터페이스를 사용하고, 정보 네트워크에 끊김 없이(seamlessly) 통합된다. IoT에서, "사물들"은 비즈니스, 정보 및 소셜 프로세스들에서의 적극적인 참여자들이 될 수 있으며, 이들 사물들은, '실제/물리적 세상의' 이벤트들에 독자적으로 반응하고 직접적인 인간의 개입 유무와 상관없이 액션(action)을 촉발하고 서비스들을 발생시키는 프로세스들을 실행하여 영향을 주면서, 사물 자신들 간의 상호작용을 가능할 수 있게 되고 환경과 관련하여 '감지된' 데이터 및 정보를 교환함으로써 상기 환경과 통신할 수 있게 된다. 서비스 형태에서의 인터페이스들은, 보안과 사생활 문제를 고려하면서, 인터넷을 통해 이들 '스마트 사물들'과의 상호작용을 용이하게 하고, 그들의 상태와 그들과 연관된 임의의 정보를 질의 또는 교환한다.
다른 실시예에 있어서, 상기 미디어 경험의 인리치먼트 액션은 상기 클라이언트 디바이스의 사용자와 연관된 각각의 사물 인터넷 가능 디바이스의 서비스 호출(invocation)을 포함한다. 그러한 서비스는 예를 들면, 인터넷/인트라넷 접속된 도어 벨의 울림, 또는 온도, 습도, 클라이언트 디바이스의 GPS 위치와 같은 정보의 요청이 될 수 있으며, GPS 위치는 가까이에 있는 명소에 흥미를 둔 개인들에 대해 새로운 경로가 시작되는 위치찾기에 의존하기보다는 예를 들면 멀티미디어 관광 안내에서 사용자의 위치를 찾는데 적용될 수 있다.
또 다른 실시예에서, 상기 미디어 경험의 인리치먼트 액션은 예를 들면, 플레이 아웃 중단, 플레이 아웃 멈춤, 플레이 아웃 재개, 고속 진행, 섹션 스킵, 섹션으로 돌아감 등과 같은 미디어 에셋 관리를 포함할 수 있다.
본 발명은 또한 클라이언트 디바이스에 멀티미디어 에셋을 플레이 아웃하기 위해 상기 멀티미디어 에셋을 상기 클라이언트 디바이스에 제공하기 위한 시스템의 실시예들과 관련하며, 상기 미디어 에셋의 부분들은 메타데이터와 연관되고, 상기 시스템은:
- 상기 미디어 에셋의 일부를 상기 클라이언트 디바이스로 보내도록 구성된 수단과;
- 상기 클라이언트 디바이스에 플레이 아웃하기 위해 상기 클라이언트 디바이스에 제공되는 상기 미디어 에셋의 상기 부분의 ID(identification)를 통합 서버에 통지하도록 구성된 수단과;
- 상기 통합 서버에서, 상기 제공된 미디어 에셋의 상기 부분과 연관된 메타데이터를 검색하는 수단과;
- 상기 통합 서버에서, 상기 제공된 미디어 에셋의 상기 부분과 연관된 메타데이터를 검색하도록 구성된 수단과;
- 상기 통합 서버에서, 상기 검색된 메타데이터의 함수로 적어도 하나의 서비스 설명을 검색하도록 구성된 수단으로서, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 복수의 사물 인터넷 가능 디바이스들의 각 사물 인터넷 가능 디바이스에 의해 제공될 서비스를 정의하고, 사물 인터넷 가능 디바이스들의 각각은 상기 클라이언트 디바이스의 사용자와 연관되는, 상기 검색 수단과;
- 상기 통합 서버에서, 상기 클라이언트 디바이스에 제공되는 미디어 에셋의 상기 부분의 함수로, 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터 및 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트 액션을 결정하도록 구성된 수단을 포함한다.
본 발명은 또한 청구항 제7항에 따른 통합 서버, 청구항 제10항에 따른 사물 인터넷 가능 서버, 청구항 제11항에 따른 미디어 서버 및 청구항 제12항에 따른 사물 인터넷 가능 디바이스의 실시예들과 관련한다.
청구범위에서 사용되는 '포함하는"이란 용어는 그 앞에 언급되는 수단(들)으로 제한하는 것으로 해석되어서는 안 된다. 따라서, '디바이스가 수단 A 및 B를 포함한다'라는 표현의 범위는 구성요소들 A 및 B만으로 구성되는 디바이스로 제한되어서는 안 된다. 본 발명에 있어서 그러한 것은 상기 디바이스의 관련 구성요소들이 A 및 B라는 것을 의미할 뿐이다.
유사하게, 청구범위에서 또한 사용되는 '연결된(접속된)"이란 용어는 직접적인 연결(접속)만으로 제한되는 것으로 해석되어서는 안 된다. 따라서, '디바이스 B에 연결된 디바이스 A'라는 표현의 범위는, 디바이스 A의 출력이 디바이스 B의 입력에 직접 접속되는 디바이스들 또는 시스템들로 제한되어서는 안 된다. 디바이스 A의 출력과 디바이스 B의 입력 사이의 경로는 다른 디바이스들 또는 수단들을 포함하는 경로를 포함할 수 있다는 것을 의미한다.
본 발명의 상기한 및 다른 목적들과 특징들은 첨부된 도면들과 함께 이루어진 실시예의 다음의 설명을 참조함으로써 더욱 명백하게 될 것이며, 그 자체로 더욱 용이하게 이해될 수 있을 것이다.
도 1은 플레이 아웃을 위해 미디어 에셋을 클라이언트 디바이스에 제공하기 위한 시스템의 실시예에 대한 기능적 표현을 도시한 도면.
도 2는 본 발명에 따른 통합 실시예에 대한 기능적 표현을 도시한 도면.
본 명세서의 설명들과 도면들은 단지 본 발명의 원리를 설명하기 위한 것일 뿐이다. 따라서, 당업자들은 본 명세서에 명시적으로 설명되거나 도시되지는 않았지만 본 발명의 정신과 범위 내에 포함되면서 본 발명의 원리를 구현하는 다양한 방식들을 고안할 수 있다는 것을 인정할 것이다. 더욱이, 여기서 인용되는 모든 예들은 주로 본 명세서를 읽는 사람에게 본 발명의 원리와 종래기술을 개선하기 위해 본 발명자(들)가 말하고자 하는 개념을 이해하는데 도움을 주기 위한 단지 교육학적인 목적인 것으로 명백히 의도되었고, 따라서 특별히 인용된 예들과 조건들에 대해 제한이 없는 것으로 해석되어야 한다. 더욱이, 여기서 인용하는 본 발명의 원리, 양태 및 실시예들의 모든 설명은 물론 그들의 특정 예들은 그의 등가적인 것도 포함하는 것으로 의도되었다.
당업자들은 여기서 도시되는 모든 블록 다이어그램들은 본 발명의 원리를 구현하는 예시적인 회로의 개념적 관점들을 나타내는 것임을 이해해야 한다. 유사하게, 모든 플로우 챠트, 플로우 다이어그램, 상태 전이 다이어그램, 유사 부호 등은 실질적으로 컴퓨터 판독가능한 매체로 표현될 수 있으므로 본 명세서에서 컴퓨터 또는 프로세서가 명시적으로 도시되는지의 여부와는 무관하게 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스들을 나타낸다.
다음에는 도 1을 참조하여 상기 시스템의 실행이 기술된다. 다음으로, 상술한 요소들 간의 모든 연결 상태들을 기술된다.
이어서, 도 2에 도시된 바와 같은 상술된 시스템의 모든 관련한 기능적 수단이 기술되고, 모든 상호 연결 상태들이 기술된다. 후속하여, 상기 시스템의 실제 실행이 기술된다.
상기 시스템의 첫 번째 필수적인 요소는 스크린에 수신된 미디어 에셋을 플레이하고 통합된 또는 결합된 스피커들을 통해 연관된 오디오를 출력하기 위해 셋-톱 박스를 통해 인터넷에 연결된 텔레비전, 스크린에 수신된 미디어 에셋을 플레이하고 통합된 또는 결합된 스피커들을 통해 연관된 오디오를 출력하기 위해 인터넷에 연결된 개인용 컴퓨터와 같은 인터넷 접속 컴퓨터, 또는 스크린과 그 스피커 등에서 미디어 에셋을 플레이하도록 구성된 모바일 디바이스인 미디어 플레이어와 같은 클라이언트 디바이스(CD)가 된다.
그러한 시스템은 또한 미디어 서버(MS)를 더 포함하고, 그러한 미디어 서버는 전용 컴퓨터 어플라이언스 또는 특수 애플리케이션 소프트웨어를 의미하며, 주문형 비디오를 제공할 수 있는 기업형 머신에서부터 더욱 일반적으로는 작은 개인용 컴퓨터 또는 다양한 디지털 미디어(디지털 비디오/영화, 오디오/뮤직, 및 화상 필름을 의미함)를 저장하도록 전용된 가정용 NAS(Network Attached Storage)까지 다양하다.
본 발명의 실시예의 추가의 필수적인 요소는 통합 서버(IS)가 되며, 통합 서버는 이용가능한 메타데이터에 기초하여 적절한 미디어 경험의 인리치먼트 액션을 결정하고, 다양한 이용가능한 사물 인터넷 가능 디바이스들의 서비스 설명을 결정하도록 구성된다.
통합 서버(IS)는, 상기 클라이언트 디바이스에 제공되는 미디어 에셋의 상기 부분의 함수로서, 상기 제공된 미디어 에셋의 상기 부분과 연관된 메타데이터 및 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트 액션을 결정하고, 이어서 각각의 디바이스에게 지시하여 미디어 에셋의 플레이 아웃을 향상시키는 방식으로 상기 결정된 미디어 경험의 인리치먼트 액션을 실행하도록 구성된다.
상기 통합 서버(SI)는 인-하우스 디바이스 또는, 예를 들면 상기 미디어 서버의 주문형 비디오 공급자의 구내에 위치되거나 또는 대안적으로 인터넷 클라우드의 전용 서버에 위치될 수 있는 외부 디바이스일 수 있다.
본 발명의 실시예의 또 다른 필수적인 요소는 사물 인터넷 서버(ITS)이며, 이는 예를 들면 가정 거주자인 상기 클라이언트 디바이스의 사용자와 연관된 사물 인터넷 가능 디바이스들을 관리 또는 제어하도록 구성되고, 이러한 가정에는 임의의 미디어 에셋을 플레이하기 위한 클라이언트 디바이스(CD)가 설치되고, 부가적으로 복수의 사물 인터넷 가능 디바이스들(D1, D2, D3)을 포함한다. 이들 사물 인터넷 가능 디바이스들(D1, D2, D3)은 상기 사물 인터넷 서버(ITS)에 연결된 도어-벨, 중앙 제어식 난방-냉방 시스템, 어둑하게 할 수 있는 조명 시스템, 알람 시스템, GPS 디바이스, 또는 온도, 습도, 클라이언트 디바이스의 GPS 위치와 같은 정보를 요청하는 디바이스와 같은 임의의 다른 제어 시스템이 될 수 있으며, 여기서 GPS 위치는 예를 들면 멀티미디어 관광 안내에서 사용자의 위치를 찾는데 적용될 수 있다. 부가적으로 또는 대안적으로, 그러한 사물 인터넷 가능 디바이스들은 공기의 습도 증가 또는 감소, (영화관에서) 낮거나 높은 강도로 바닥을 진동, 혈압, 체중, 포도당, 콜레스테롤과 같은 것을 측정하도록 요청, (예를 들면, 요리 강좌 또는 가정에서의 요리 교육의 경우에) 오븐의 온도 증가를 감소를 위한 디바이스들이 될 수 있으며, 상기 조명 시스템, 상기 난방 시스템, 상기 오븐과 같은 디바이스들의 각각과 상기 측정하기 위한 디바이스들 등은 인터넷 및/또는 인트라넷을 통해 사물 인터넷 서버(ITS)에 연결된 인터넷/인트라넷 결합 디바이스들이다.
D1이 인터넷 연결된 도어-벨이고, D2가 빌딩 내의 어둑하게 할 수 있는 조명 시스템이고, D3가 중앙 제어식 난방-냉방 시스템이라고 가정한다.
또한, 본 발명의 상기 실시예는 플레이 아웃될 메타데이터 에셋에 관련된 모든 메타데이터를 저장하기 위한 메타데이터 저장소(MDR)를 포함한다. 그러한 메타데이터 저장소(MDR)는 플레이 아웃을 위한 복수의 미디어 에셋들의 메타데이터를 포함할 수 있다.
이러한 메타데이터는 미디어 에셋의 그러한 부분의 컨텐츠에 관한 (대화의 트랜스크립트 및 그 장면의 텍스트 설명과 같은) 정보를 포함할 수 있다.
마지막으로 본 발명의 이러한 실시예는 적어도 하나의 서비스 설명을 저장하도록 구성된 서비스 설명 저장소(SDR)를 구비하고, 각각의 그러한 서비스 설명은 복수의 사물 인터넷 가능 디바이스들(D1, D2, D3)의 각각의 사물 인터텟 가능 디바이스에 의해 제공될 각각의 서비스를 정의하며, 각각의 사물 인터넷 디바이스는 상기 클라이언트 디바이스의 사용자와 연관된다. 이러한 연관은 상기 의도하는 사용자에 대해 사물 인터넷 가능 디바이스들의 이용가능성을 나타낸다.
사용자 환경에 있어서, 액추에이터들 및/또는 센서들과 같은 복수의 사물 인터넷 디바이스들이 존재한다. 그러한 액추에이터들 및/또는 센서들은 클라이언트 디바이스(CD)에 또는 그러한 클라이언트 디바이스의 사용자와 연관된 또 다른 디바이스에 선택적으로 통합될 수 있다. 그러한 또 다른 디바이스의 예는 제 2 스크린 디바이스가 될 수 있거나 또는 스마트폰 또는 태블릿 PC가 될 수 있다.
상기 액추에이터들 및/또는 센서들은 서비스 설명의 형태로 그들의 역량을 주지된 서버인, 서비스 설명 저장소(SDR)에 업로드한다. 상기 주지된 서버 SDR에서, 연관들은 사용자와 (멀티미디어 경험의 인핸스먼트에서 사용하기 위한 액추에이터들 및/또는 센서들의 역량을 의미하는) 상기 사용자 환경의 액추에이터들 및/또는 센서들 사이에서 이루어진다.
클라이언트 디바이스(CD)는 통신 네트워크(CN)를 통해 미디어 서버(MS)에 연결될 수 있다. 통신 네트워크(CN)는 상기 미디어 서버가 하우스 내에 위치되는 경우에 유무선 네트워크를 포함할 수 있다. 통신 네트워크(CN)는 하우스 내의 무선 또는 유선 네트워크, DSL 모뎀들과 결합된 디지털 가입자 라인 액세스 네트워크를 포함할 수 있으며, 또는 케이블 네트워크, 미디어 서버가 주문형 비디오 공급자와 같은 외부 담당자에 의해 관리되는 외부 디바이스인 경우 상기 클라이언트 디바이스(CD)를 인터넷을 통해 상기 미디어 서버에 연결하는 모바일 통신 액세스 네트워크를 포함할 수 있다.
인-하우스 시스템의 경우에 있어서, 통합 서버(IS)는 무선 또는 유선 접속을 통해 미디어 서버(MS)에 연결될 수 있다.
또한, 사물 인터넷 가능 디바이스들(D1, D2, D3)은 무선 또는 유선 네트워크를 포함하는 통신 네트워크(CN)를 통해 상기 사물 인터넷 서버(ITS)에 연결될 수 있고, 상기 디바이스들이 인-하우스 디바이스들이라면 상기 사물 인터넷 서버는 이어서 유선 또는 무선 접속을 통해 통합 서버에 연결된다.
대안적으로, 상기 통합 서버(IS)가 외부 디바이스인 경우에, 이들 디바이스들은 액세스 네트워크들과, 고정된 네트워크를 포함하는 인터넷 네트워크 또는 고정된 또는 모바일 네트워크의 임의의 조합을 통해 연결될 수 있다.
상기 서비스 설명 저장소(SDR) 및 메타데이터 저장소(MDR)는 유선 또는 무선 접속들의 임의의 조합을 통해 상기 통합 서버(IS)에 연결될 수 있다.
다음으로, 도 2에 도시된 바와 같이 상기 언급된 시스템의 모든 관련하는 기능적 수단들이 모든 상호접속들의 설명에 의해 기술된다. 이어서, 상기 시스템의 실제 실행이 기술된다.
통합 서버(IS)는 상기 클라이언트 디바이스(CD)에서 플레이 아웃하기 위해 상기 클라이언트 디바이스(CD)로 제공되는 상기 미디어 에셋의 부분의 통지를 미디어 서버(MS)로부터 수신하도록 구성된 통신 모듈(CM) 및 메타데이터 저장소(MDR)로부터 제공된 상기 미디어 에셋의 상기 부분과 연관된 메타데이터를 검색하도록 구성된 메타데이터 검색 모듈(MRM)과; 상기 검색된 메타데이터의 함수로서, 상기 클라이언트 디바이스(CD)의 사용자와 연관된 복수의 사물 인터넷 디바이스들(D1, D2, D3)의 각각의 사물 인터넷 가능 디바이스에 의해 제공될 서비스를 정의하는 적어도 하나의 서비스 설명을 검색하도록 구성된 서비스 설명 관리 모듈(SDMM)을 포함한다.
또한 상기 통합 서버(SI)는 상기 클라이언트 디바이스(CD)의 사용자와 연관된 사물 인터넷 가능 디바이스들(D1, D2, D3)의 서비스의 호출(invocation)을 관리하도록 구성된 사물 인터넷 서버 관리 모듈(ITSMM)을 포함한다. 또한, 상기 통합 서버(SI)는, 상기 클라이언트 디바이스(CD)에 제공되는 상기 미디어 에셋의 상기 부분의 함수로서, 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터 및 상기 적어도 하나의 서비스 설명을 결정하도록 구성된 통합 서버 논리 모듈(ISLM)을 포함하며, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 각각의 사물 인터넷 가능 디바이스, 미디어 경험 인리치먼트 액션과 연관된다.
더욱이, 상기 통합 서버(IS)의 통신 모듈(CM)은 또한 상기 미디어 서버(MS)에게 지시하여 중단, 미디어 에셋 재개, 고속 진행 플레이 아웃, 섹션 스킵, 섹션으로 돌아감, 등과 같은 미디어 에셋 관리 액션을 실행하도록 구성된다.
대안적으로 또는 부가적으로, 사물 인터넷 가능 디바이스들(D1, D2, D3) 중 임의의 것에 의해 제공된 서비스에 대해, 상기 미디어 경험은 예를 들면 플레이 아웃을 진행하기 전에 질문에 대답할 기회를 사용자게 제공하는 e-학습 모듈과 같은 학습 미디어 에셋의 경우에 중단된/멈춰진 미디어 에셋의 플레이 아웃을 진행하기에 앞서 수행할 액션을 요구함으로써 향상될 수 있다.
본 발명의 실행을 설명하기 위하여, 클라이언트 디바이스(CD)의 사용자는 로컬 인-하우스 미디어 서버이거나 또는 대안적으로 렌탈 스토어와 같은 외부 미디어 서버인 미디어 서버(MS)에서 예를 들면 영화 "The postman never rings twice"를 시청하기 위해 선택한다고 가정한다. 미디어 서버(MS)는, 이러한 요청의 수신시에, 미디어 에셋, 즉, 영화에 대응하는 연속하는 부분들, 즉 프레임들을 클라이언트 디바이스(CD)로 보내기 시작한다. 상기 미디어 서버(MS)에 의해 상기 클라이언트 디바이스(CD)로 상기 영화의 프레임을 보내기 전에, 동시에, 또는 직후에, 상기 미디어 서버(MS)는 상기 통합 서버(IS)의 통신 모듈(CM)로 통지를 전송하며, 상기 통지는 상기 클라이언트 디바이스(CD)에 플레이 아웃하기 위한 상기 클라이언트 디바이스(CD)로 제공되는 상기 미디어 에셋의 부분들에 대한 레퍼런스를 포함한다. 상기 통지는 상기 보내진 부분, 즉, 프레임의 식별자를 포함할 수 있으며, 상기 식별자는 프레임 번호가 될 수 있다. 상기 프레임의 ID는, 상기 부분, 즉, 프레임의 ID에 기초하여 상기 클라이언트 디바이스(CD)에 제공된 상기 미디어 에셋의 상기 부분과 연관된 메타데이터를 검색하도록 지시되는 통합된 서버 논리 모듈(ISLM)로 전달된다. 메타데이터 검색 모듈(MRM)은 상기 보내진 부분과 연관된 메타데이터를 검색하기 위한 지시를 수신하고, 이어서 상기 미디어 에셋의 의도된 부분과 연관된 메타데이터를 제공하도록 메타데이터 저장소(MDR)에 요청한다. 다음에, 상기 메타데이터 저장소(MDR)는 메타데이터 검색 모듈(MRM)을 통해 관련된 메타데이터를 상기 통합 서버 논리 모듈(ISLM)에 제공한다.
상기 미디어 에셋의 상기 보내진 부분과 연관된 상기 검색된 메타데이터에 기초하여, 상기 통합 서버 논리 모듈(ISLM)은 검색된 메타데이터와 일치하는 사물 인터넷 가능 디바이스(D1, D2, D3)에 각각 대응하는 하나 이상의 서비스 설명들을 검색할 것이며, 상기 검색은 상기 클라이언트 디바이스(CD)의 사용자와 연관된 사물 인터넷 가능 디바이스(D1, D2, D3)에 각각 대응하는 일치된 서비스 설명들을 불러오는 서비스 설명 관리 모듈(SDMM)의 수단에 의해 실행된다.
이어서, 상기 통합 서버(IS)의 통합 서버 논리 모듈(ISLM)은, 상기 클라이언트 디바이스(CD)에 제공되는 상기 미디어 에셋의 부분의 함수로서, 상기 제공된 미디어 에셋의 상기 부분과 연관된 메타데이터, 상기 사물 인터넷 디바이스와 연관된 적어도 하나의 서비스 설명, 미디어 경험 인리치먼트 액션을 결정한다. 통합 서버 논리 모듈(ISLM)은 다음에 상기 결정된 미디어 경험 인리치먼트 액션에 기초하여 사물 인터넷 서버(ITS)에 대한 지시 및/또는 미디어 서버(MS)에 대한 지시를 발생시킨다. 상기 미디어 경험 인리치먼트 액션은 사물 인터넷 디바이스들의 각각에 의해 실행될 액션을 정의한다. 상기 지시는 상기 디바이스들의 각각의 액션을 명시하고, 부가적으로 또는 대안적으로 상기 미디어 서버에 의해 실행될 미디어 관리 액션들(예를 들면, 고속 진행, 플레이 중단, 등)을 정의한다.
이와 같이 발생된 미디어 경험 인리치먼트 지시는 사물 인터넷 서버 관리 모듈(ITSMM)로 보내지고, 상기 모듈은 대응하는 사물 인터넷 서버(ITS)에게 지시하여 대응하는 서비스를 실행하도록 한다. 대안적으로 또는 부가적으로, 상기 결정된 미디어 경험 인리치먼트 지시는 통신 모듈(CM)로 보내지고, 상기 모듈은 상기 미디어 서버(MS)에게 지시하여 결정된 관리 액션을 실행하도록 한다.
이러한 방식에서, 통합 서버(IS)는 클라이언트 디바이스(CD)로 전송되는 프레임들의 트랙을 유지한다. 각각의 프레임에 대해, 메타데이터가 메타데이터 저장소에서 이용할 수 있는지의 여부가 확인된다. 메타데이터가 이용가능하다면, 이용가능한, 즉, 대응하는 서비스 설명들을 갖는 사물 인터넷 가능 디바이스의 사용자와 연관된 이용가능한 리스트가 검색된다.
이용가능한 메타데이터, 대응하는 디바이스의 잠재적인 이용가능한 서비스 설명들에 기초하여, 통합 서버 논리 모듈(ISLM)은 어느 서비스 설명이 상기 메타데이터와 맞는지를 결정하고, 이어서 상기 메타데이터에 가장 적합한 서비스 설명을 선택한다. 예를 들어, 프레임-번호 254가 히트되어(hit) 도어 벨 울림과 관련된 메타데이터 항목이 검색된다면, 상기 도어 벨의 서비스 설명이 선택되어, 사물 인터넷 서버 관리 모듈(ITSMM)에 의해 통합 서버 논리 모듈(ISLM)은 사물 인터넷 서버(ITS)에게 지시하여 영화의 플레잉 프레임 254에서 가정용 도어 벨을 울리도록 사용자의 가정 환경을 작동시키도록 한다.
예를 들어 프레임-번호 45687에서, 영화의 매우 어두운 장면과 관련된 메타데이터가 검색된다면, 조광기(light dimmer)의 서비스 설명을 접하게 되고, 사물 인터넷 서버 관리 모듈(ITSMM)에 의해 통합 서버 논리 모듈(ISLM)은 사물 인터넷 서버(ITS)에게 지시하여 사용자의 가정 환경, 즉, 상기 조광기를 작동시키도록 하고, 번호 45687을 갖는 프레임을 플레이할 때 사용자의 거실 불빛을 10%로 어둑하게 한다.
또 다른 실시예에서, 사용자는 상호작용 영화, 예를 들면, 어린 아이들 용으로 만들어진 영화 "Dora"를 선택하고, 여기에서 상기 영화를 시청하는 어린이들의 반응 또는 행동이 상기 통합 서버(IS)에 의해 요구된다.
상기 클라이언트 디바이스(CD)와, 상기 미디어 서버(MS)와, 상기 통합 서버(IS)와, 상기 메타데이터 저장소(MDR)와, 상기 서비스 설명 저장소(SDR)와, 상기 사물 인터넷 서버(ITS) 사이의 시그널링은 첫 번째 실시예와 유사한 방식으로 실행된다.
상기 통합 서버(IS)는 상기 메타데이터 저장소(MDR)로부터 메타데이터를 검색하고, 사용자와 연관된 각각의 디바이스의 서비스를 찾아봄으로써 상기 사용자의 환경을 확인한다.
사용자의 가정 환경에서, 복수의 액춰에이터들 및/또는 센서들이 존재한다. 상기 액춰에이터들 및/또는 센서들은 서비스 설명의 형태로 그들의 역량을 주지된 서버 SDR에 업로드한다. 센서들은 상기 상호작용 영화에서 만들어진 상호작용의 요청에 대응하는데 적용될 수 있다. 그러한 센서는, 예를 들면, 어린 아이들과 상호작용하는 키넥트 제스처 센서 또는 태블릿 PC 내의 터치 센서와 같은 클라이언트 디바이스(CD) 내에 통합된 센서이다. 어린 아이들은 예를 들면 상기 키넥트 제스처 센서의 경우 비디오가 다시 시작하기 전에 한 번 이상 움직여야만 한다. 또 다른 가능성은 상기 상호작용이 태블릿으로부터 요청되는 것이며, 여기서 어린이는 특별한 어떤 것을 그려야한다. 예를 들면, 어린이는, 클라이언트 디바이스(CD) 내에 통합된 터치 센서의 경우에, 스크린상에 선택한 화면을 그려야한다.
상기 통합 서버(IS)는 상기 미디어 서버(MS)에게 지시하여 사용자에게 비디오를 스트리밍하는 것을 시작하고 상기한 예에서 프레임 254에서 영화를 중단하게 한다. 이어서, 상기 사용자로부터의 입력 또는 액션이 요청된다. 상기 사용자가 액션을 실행할 때, 영화는 프레임 80001에서 지속될 것이다.
이제, 태블릿 상에서의 드로잉(drawing) 애플리케이션과의 상호작용이 예상된다. 상기 예상은 어린이가 꽃을 그리는 것이다. 꽃이 그려질 때, 비디오는 다시 시작된다.
통합 서버(IS), 미디어 서버(MS)의 각각은 클라이언트 디바이스의 사용자 가정의 근처에 위치될 수 있거나, 또는 상기 가정의 외부, 주문형 비디오 공급자의 구내와 같은 제 3자의 구내에 위치될 수 있다는 것을 주의해야 한다.
또한, ITS는 클라이언트 디바이스의 사용자 가정의 근처에 위치될 수 있거나, 또는 상기 가정의 외부, 클라우드 기반의 서버와 같은 제 3자의 구내에 위치될 수 있다는 것을 주의해야 한다.
마지막으로, 본 발명의 실시예들은 상기에서 기능적 블록들의 측면에서 기술되었다. 이러한 블록들의 기능적 설명으로부터, 전자 디바이스들을 설계하는 당업자들에게는 공지된 전자 구성요소들을 사용하여 이들 블록들의 실시예들이 어떻게 제작될 수 있는지가 명백할 것이다. 따라서, 상기 기능적 블록들의 컨텐츠의 상세한 아키텍쳐는 설명되지 않았다.
상기한 바와 같이 본 발명의 원리들이 특정 장치와 관련하여 설명되었으며, 이러한 설명은 본 발명의 범위를 제한하려는 것이 아니라 단지 예로서 기술된 것이며, 본 발명의 범위는 첨부된 청구범위에서 규정된다.
상기 예에 대응하는 메타데이터:
Figure 112016039584224-pct00001
Figure 112016039584224-pct00002
Figure 112016039584224-pct00003
또한, 본 발명의 대안적인 실시예는 관광객 애플리케이션들, 교육 애플리케이션들, 오락, 게임 애플리케이션들 또는 그 조합이 될 수 있다.
관광 애플리케이션의 경우에, (사운드만이 되거나 또는 사운드가 포함된 영화가 될 수 있는) 멀티미디어 에셋이 시티 센터를 통해 관광객을 안내하기 위해 사용된다. 사용되는 IoT 센서 디바이스들은 예를 들면, GPS 및 NFC(Near Field Communication)/RFID과, 스마트폰의 진동이 있다.
관광객이 관광을 시작하면, 관광객 미디어 에셋이 시티의 정보와 함께 CD 디바이스로 스트리밍된다. 관광객은 대성당으로 안내되어 그 대성당에 도착하게 되면, 사용자의 입력, 예를 들면, 상기 대성당의 특정 정보를 얻기 위해 NFC 또는 RFID로 여행자 보드를 터치하는 것이 예상된다. 상기 관광객은 그가 관심을 두고 있는 상기 대성당의 정보 항목만을 선택할 수 있음에 따라 고정된 투어가 아니라 그가 개인적으로 관심이 있는 것에 대해 안내를 받게 된다. 또한, 상기 관광객은 상기 대성당을 포함하는 관광 명소들을 선택할 수 있다.
본 발명의 또 다른 실시예는 예를 들면 요리 프로그램과 같은 교육이 될 수 있다. 최종 사용자가 어떤 레시피에 관련된 요리 강좌 미디어 에셋을 선택하면, 멀티미디어 스트림이 모든 요구된 재료들의 언급과 함께 시작된다. 상기 멀티미디어 스트림은 (요리 멀티미디어 스트림이 진행하기 전에) 모든 제품이 QR 코드 판독기로 스캐닝될 때까지 정지될 것이다. QR 판독기는 사물 인터넷 가능 서버(ITS)를 통해 모든 QR 코드들을 통합 서버(IS)로 전송한다. 모든 재료들이 있다면, 즉, 요구된 재료들에 대응하는 모든 관련 QR-코드들의 수신시에, 상기 멀티미디어 스트림의 스트리밍이 제품들의 무게를 달기 위해 다음의 장면에서 지속된다. 여기에서, 이러한 단계에서 통합 서버(IS)는 각 제품의 무게 눈금값의 입력을 대기한다. 모든 무게들이 정확하다는 것을 나타내는 눈금값의 모든 정확한 입력들이 수신되면, 상기 통합 서버는 요리 지침의 다음 부분을 포함하는 멀티미디어 에셋의 다음 부분의 스트리밍을 진행하도록 지시한다. 이러한 방식으로, 상기 사용자는 성공적인 식사를 만드는데 필요한 모든 단계들을 통해 안내/교육된다

Claims (13)

  1. 클라이언트 디바이스(CD)에 미디어 에셋(media asset)을 플레이 아웃하기 위해 상기 미디어 에셋을 상기 클라이언트 디바이스(CD)에 제공하기 위한 시스템으로서, 상기 미디어 에셋의 부분들은 메타데이터와 연관되는, 상기 시스템에 있어서:
    - 상기 미디어 에셋의 일부를 상기 클라이언트 디바이스(CD)로 보내도록 구성된 수단과;
    - 상기 클라이언트 디바이스(CD)에 플레이 아웃하기 위해 상기 클라이언트 디바이스(CD)에 제공되는 상기 미디어 에셋의 상기 부분의 ID(identification)를 통합 서버(IS)에 통지하도록 구성된 수단과;
    - 상기 통합 서버(IS)에서, 상기 제공된 미디어 에셋의 상기 부분과 연관된 메타데이터를 검색하도록 구성된 수단과;
    - 상기 통합 서버(IS)에서, 상기 검색된 메타데이터의 함수로 적어도 하나의 서비스 설명을 검색하도록 구성된 수단으로서, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 복수의 사물 인터넷 디바이스들(D1, D2, D3)의 각 사물 인터넷 가능 디바이스에 의해 제공될 서비스를 정의하고, 각각의 사물 인터넷 가능 디바이스는 상기 클라이언트 디바이스(CD)의 사용자와 연관되는, 상기 검색 수단과;
    - 상기 통합 서버(IS)에서, 상기 클라이언트 디바이스에 제공되는 미디어 에셋의 상기 부분의 함수로, 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터 및 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트 액션(media experience enrichment action)을 결정하도록 구성된 수단을 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 미디어 경험의 인리치먼트 액션은 상기 클라이언트 디바이스의 상기 사용자와 연관된 각각의 사물 인터넷 가능 디바이스(D1, D2, D3)의 서비스 호출(invocation)을 포함하는, 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 미디어 경험의 인리치먼트 액션은 미디어 에셋 관리 액션을 포함하는, 시스템.
  4. 클라이언트 디바이스(CD)에 미디어 에셋을 플레이 아웃하기 위해 상기 미디어 에셋을 상기 클라이언트 디바이스(CD)에 제공하기 위한 방법으로서, 상기 미디어 에셋의 부분들은 메타데이터와 연관되는, 상기 방법에 있어서:
    - 미디어 서버(MS)가 상기 미디어 에셋의 일부를 상기 클라이언트 디바이스(CD)로 보내는 단계와;
    - 상기 미디어 서버(MS)가 상기 클라이언트 디바이스(CD)에 플레이 아웃하기 위해 상기 클라이언트 디바이스(CD)에 제공되는 상기 미디어 에셋의 상기 부분을 통합 서버(IS)에 통지하는 단계와;
    - 상기 통합 서버(IS)가 상기 제공된 미디어 에셋의 상기 부분과 연관된 메타데이터를 검색하는 단계와;
    - 상기 통합 서버(IS)가 상기 검색된 메타데이터의 함수로 적어도 하나의 서비스 설명을 검색하는 단계로서, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 복수의 사물 인터넷 디바이스들(D1, D2, D3)의 각 사물 인터넷 가능 디바이스에 의해 제공될 서비스를 정의하고, 각각의 사물 인터넷 가능 디바이스는 상기 클라이언트 디바이스(CD)의 사용자와 연관되는, 상기 검색 단계와;
    - 상기 통합 서버(IS)가, 상기 클라이언트 디바이스에 제공되는 미디어 에셋의 상기 부분의 함수로, 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터 및 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트 액션을 결정하는 단계를 포함하는, 미디어 에셋을 클라이언트 디바이스에 제공하는 방법.
  5. 제 4 항에 있어서,
    상기 미디어 경험의 인리치먼트 액션은 상기 클라이언트 디바이스의 상기 사용자와 연관된 각각의 사물 인터넷 가능 디바이스(D1, D2, D3)의 서비스 호출을 포함하는, 미디어 에셋을 클라이언트 디바이스에 제공하는 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 미디어 경험의 인리치먼트 액션은 미디어 에셋 관리 액션을 포함하는, 미디어 에셋을 클라이언트 디바이스에 제공하는 방법.
  7. 제 1 항에 따른 시스템에 사용하기 위한 통합 서버(IS)로서, 클라이언트 디바이스(CD)에서 미디어 에셋을 플레이 아웃하기 위해 상기 미디어 에셋을 상기 클라이언트 디바이스(CD)로 제공하기 위한 상기 통합 서버(IS)에 있어서,
    상기 미디어 에셋의 부분들은 메타데이터와 연관되며,
    상기 통합 서버(IS)는:
    - 상기 클라이언트 디바이스(CD)에서 플레이 아웃하기 위해 상기 클라이언트 디바이스에 제공되는 상기 미디어 에셋의 일부의 통지를 미디어 서버(MS)로부터 수신하도록 구성되고;
    - 상기 제공된 미디어 에셋의 상기 부분과 연관된 메타데이터를 검색하도록 구성되고;
    - 상기 검색된 메타데이터의 함수로 적어도 하나의 서비스 설명을 검색하도록 구성되고, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 상기 클라이언트 디바이스의 사용자와 연관된 복수의 사물 인터넷 가능 디바이스들(D1, D2, D3)의 각 사물 인터넷 가능 디바이스에 의해 제공될 서비스를 정의하며;
    - 상기 클라이언트 디바이스(CD)에 제공되는 상기 미디어 에셋의 상기 부분의 함수로, 상기 제공된 미디어 에셋의 상기 부분과 연관된 상기 메타데이터 및 상기 적어도 하나의 서비스 설명, 미디어 경험의 인리치먼트 액션을 결정하도록 구성되는, 통합 서버(IS).
  8. 제 7 항에 있어서,
    상기 클라이언트 디바이스의 상기 사용자와 연관된 각각의 사물 인터넷 가능 디바이스(D1, D2, D3)의 서비스를 호출하도록 또한 구성되는, 통합 서버(IS).
  9. 제 7 항 또는 제 8 항에 있어서,
    미디어 에셋 관리 액션을 실행하도록 상기 미디어 서버(MS)에 지시하도록 또한 구성되는, 통합 서버(IS).
  10. 제 1 항에 따른 시스템에 사용하기 위한 사물 인터넷 서버(ITS)에 있어서:
    - 적어도 하나의 서비스 설명을 보유하도록 구성되고, 상기 적어도 하나의 서비스 설명의 각각의 서비스 설명은 복수의 사물 인터넷 가능 디바이스들(D1, D2, D3)의 각 사물 인터넷 가능 디바이스에 의해 제공될 서비스를 정의하고, 각각의 사물 인터넷 가능 디바이스는 상기 클라이언트 디바이스의 사용자와 연관되며;
    - 상기 적어도 하나의 서비스 설명을 제 7 항의 상기 통합 서버(IS)로 보내도록 구성되는, 사물 인터넷 서버(ITS).
  11. 제 1 항에 따른 시스템에 사용하기 위한 미디어 서버(MS)에 있어서:
    - 상기 미디어 에셋의 일부를 상기 클라이언트 디바이스(CD)로 보내도록 구성되고;
    - 상기 클라이언트 디바이스(CD)에서 플레이 아웃하기 위해 상기 클라이언트 디바이스에 제공되는 상기 미디어 에셋의 상기 부분을 제 7 항의 상기 통합 서버(IS)에 통지하도록 구성되는, 미디어 서버(MS).
  12. 제 11 항에 있어서,
    미디어 에셋 관리 액션을 실행하도록 상기 미디어 서버(MS)에 지시하도록 또한 구성되는, 미디어 서버(MS).
  13. 제 1 항에 따른 시스템에 사용하기 위한 사물 인터넷 가능 디바이스(D1, D2, D3)에 있어서,
    상기 적어도 하나의 서비스 설명의 각각의 서비스 설명에 의해 정의된 서비스를 제공하도록 구성되고,
    상기 적어도 하나의 서비스 설명은 제 7 항의 상기 통합 서버(IS)에 의해 결정되는, 사물 인터넷 가능 디바이스(D1, D2, D3).
KR1020167010865A 2013-09-26 2014-09-23 클라이언트 디바이스에 미디어 에셋을 제공하기 위한 방법 Expired - Fee Related KR101813918B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306317.2A EP2854317A1 (en) 2013-09-26 2013-09-26 Method for providing a client device with a media asset
EP13306317.2 2013-09-26
PCT/EP2014/070180 WO2015044103A1 (en) 2013-09-26 2014-09-23 Method for providing a client device with a media asset

Publications (2)

Publication Number Publication Date
KR20160058949A KR20160058949A (ko) 2016-05-25
KR101813918B1 true KR101813918B1 (ko) 2018-01-02

Family

ID=49303927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167010865A Expired - Fee Related KR101813918B1 (ko) 2013-09-26 2014-09-23 클라이언트 디바이스에 미디어 에셋을 제공하기 위한 방법

Country Status (6)

Country Link
US (1) US20160227294A1 (ko)
EP (1) EP2854317A1 (ko)
JP (1) JP6258475B2 (ko)
KR (1) KR101813918B1 (ko)
CN (1) CN105556879A (ko)
WO (1) WO2015044103A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10178175B2 (en) * 2014-12-16 2019-01-08 Verifir Method and system for triggering an online interaction in connection with a physical product
US10430165B2 (en) * 2015-07-15 2019-10-01 Qingjun Wei Method and apparatus for an internet of things controller
US20180268375A1 (en) * 2015-09-16 2018-09-20 Nokia Technologies Oy Method and apparatus for repair or maintenance control of devices
WO2017132832A1 (en) * 2016-02-02 2017-08-10 Telefonaktiebolaget Lm Ericsson (Publ) Method, electronic device, and system for immersive experience
US11216424B2 (en) * 2018-06-07 2022-01-04 Spatika Technologies Inc. Dynamically rendering an application programming interface for internet of things applications
US11036984B1 (en) * 2018-06-08 2021-06-15 Facebook, Inc. Interactive instructions
US11076192B1 (en) 2020-01-16 2021-07-27 International Business Machines Corporation Identifying and calibrating internet of things (IOT) devices to enhance content consumption experience
CN113542122B (zh) * 2020-04-16 2022-10-18 中移物联网有限公司 一种物联网设备数据转发方法及系统
GB2619317B (en) * 2022-05-31 2024-10-09 Iotic Labs Ltd Classification and functionality of IOT devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
US20120240177A1 (en) * 2011-03-17 2012-09-20 Anthony Rose Content provision
WO2013096618A1 (en) * 2011-12-20 2013-06-27 Cisco Technology, Inc. Assisted intelligent routing for minimalistic connected object networks
JP5453313B2 (ja) 2008-01-16 2014-03-26 クゥアルコム・インコーポレイテッド インテリジェントクライアント：デジタル放送ネットワーク上のマルチチャネルスイッチング

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007144823A1 (en) * 2006-06-13 2007-12-21 Koninklijke Philips Electronics N.V. Distribution of ambience and content
WO2010087153A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体
US9185458B2 (en) * 2010-04-02 2015-11-10 Yahoo! Inc. Signal-driven interactive television
US9043444B2 (en) * 2011-05-25 2015-05-26 Google Inc. Using an audio stream to identify metadata associated with a currently playing television program
US20130111514A1 (en) * 2011-09-16 2013-05-02 Umami Co. Second screen interactive platform
US8949872B2 (en) * 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
CN103515814A (zh) * 2012-06-29 2014-01-15 凡甲电子(苏州)有限公司 转接器
KR102040623B1 (ko) * 2012-11-28 2019-11-27 엘지전자 주식회사 양방향 서비스를 처리하는 장치 및 방법
US20140282677A1 (en) * 2013-03-12 2014-09-18 Cbs Interactive Inc. Second screen application linked to media content delivery
US8984568B2 (en) * 2013-03-13 2015-03-17 Echostar Technologies L.L.C. Enhanced experience from standard program content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP5453313B2 (ja) 2008-01-16 2014-03-26 クゥアルコム・インコーポレイテッド インテリジェントクライアント：デジタル放送ネットワーク上のマルチチャネルスイッチング
US20120240177A1 (en) * 2011-03-17 2012-09-20 Anthony Rose Content provision
WO2013096618A1 (en) * 2011-12-20 2013-06-27 Cisco Technology, Inc. Assisted intelligent routing for minimalistic connected object networks

Also Published As

Publication number Publication date
CN105556879A (zh) 2016-05-04
WO2015044103A1 (en) 2015-04-02
KR20160058949A (ko) 2016-05-25
JP6258475B2 (ja) 2018-01-10
JP2017502361A (ja) 2017-01-19
US20160227294A1 (en) 2016-08-04
EP2854317A1 (en) 2015-04-01

Similar Documents

Publication Publication Date Title
KR101813918B1 (ko) 클라이언트 디바이스에 미디어 에셋을 제공하기 위한 방법
CN102802040B (zh) 第二显示装置与社交网络馈送的交互
KR102201022B1 (ko) 스트리밍 디지털 콘텐츠의 재생을 관리하기 위한 시스템 및 방법
US9137292B2 (en) Remote management of DLNA system
TWI502367B (zh) 使用Javascript及ＨＴＭＬ５在裝置間串流元資料的方法與設備
CN111901674A (zh) 一种视频播放控制及装置
US11755303B2 (en) System and method for managing playback of streaming digital content
KR20140051850A (ko) 디스플레이 장치상의 콘텐츠의 플레이 제어
CN102685559A (zh) 经由第二显示装置选择的社交网络反馈
US10972581B2 (en) Media processing method and device
US8504712B2 (en) Method and apparatus for managing multi-streaming contents and for controlling of changing players during playback of multi-streaming contents
CN102609374A (zh) 用于操作设备的设备控制装置的系统和方法
KR20180116242A (ko) 진동 네트워크의 대역폭 추정 시스템 및 방법
EP3160101A1 (en) Multi-media resource management method, cloud server and electronic device
KR102611253B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
KR101951032B1 (ko) 인터랙티브 미디어 제공 시스템 및 방법
CN104426989B (zh) 数据呈现方法、数据请求方法及电子设备
Yang A Study on Interactive Applications for Internet of Things
Sund Integrating Internet Services in a Converged Home Environment
Kernchen Mobile Multimodal User Interfaces

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20201227

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20201227