[go: up one dir, main page]

KR102477703B1 - 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
KR102477703B1
KR102477703B1 KR1020200073555A KR20200073555A KR102477703B1 KR 102477703 B1 KR102477703 B1 KR 102477703B1 KR 1020200073555 A KR1020200073555 A KR 1020200073555A KR 20200073555 A KR20200073555 A KR 20200073555A KR 102477703 B1 KR102477703 B1 KR 102477703B1
Authority
KR
South Korea
Prior art keywords
effect
vehicle
sequence
image
effect object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200073555A
Other languages
English (en)
Other versions
KR20200145730A (ko
Inventor
전재웅
Original Assignee
(주) 애니펜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 애니펜 filed Critical (주) 애니펜
Publication of KR20200145730A publication Critical patent/KR20200145730A/ko
Priority to KR1020220044098A priority Critical patent/KR102596322B1/ko
Application granted granted Critical
Publication of KR102477703B1 publication Critical patent/KR102477703B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계, 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 단계를 포함하는 방법이 제공된다.

Description

차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR AUTHORING CONTENTS BASED ON IN-VEHICLE VIDEO}
본 발명은 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
근래에 들어, 통신 및 인공지능(Artificial Intelligence; AI) 기술 발달과 함께 차량 자율 주행 서비스가 상용화되는 등 자율 주행 자동차 시장이 활성화되고 있다. 이러한 자율 주행 자동차에는 주변의 장애물을 탐지하거나 차량 내부의 상태를 파악하기 위하여 수많은 카메라가 장착되어 있으며, 이를 통해 주행 중에 해당 차량의 내부 또는 외부를 촬영하게 된다.
하지만, 촬영된 차량 내부 영상은 탑승자의 유무나 상태 등을 파악하는 용도 외에는 다른 용도가 없어 차량 주행 이후(또는 차량 주행 중에도)에 자동으로 삭제되거나 새로운 영상으로 덮어씌워져 기록될 뿐이었다.
이에, 본 발명자들은, 차량 내부 영상을 기반으로 콘텐츠를 저작할 수 있도록 지원함으로써 차량 탑승자의 흥미 진작과 영상 활용도를 높일 수 있는 신규하고도 진보된 기술을 제안하는 바이다.
한국 공개특허공보 제2018-0014910호
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 차량 내부 영상을 기반으로 누구나 손쉽고 간편하게 콘텐츠를 저작할 수 있도록 지원하는 것을 그 목적으로 한다.
또한, 본 발명은, 차량 내부 영상의 활용도를 높이고, 차량 운행 중에 따분할 수 있는 차량 탑승자에게 흥미를 부여하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계, 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 시스템으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 이펙트 파라미터 획득부, 및 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 시퀀스 결정부, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 콘텐츠 저작부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 차량 내부 영상을 기반으로 누구나 손쉽고 간편하게 콘텐츠를 저작할 수 있게 된다.
또한, 본 발명에 의하면, 차량 내부 영상의 활용도를 높이고, 차량 운행 중에 따분할 수 있는 차량 탑승자에게 흥미를 부여할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠를 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠가 저작되는 상황을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
본 명세서에서, 콘텐츠란, 통신망을 통하여 접근 가능한, 문자, 부호, 음성, 음향, 이미지, 동영상 등으로 이루어지는 디지털 정보 또는 개별 정보 요소를 총칭하는 개념이다. 이러한 콘텐츠는, 예를 들면, 텍스트, 이미지, 동영상, 오디오, 링크(예를 들면, 웹 링크) 등의 데이터 또는 이러한 데이터 중 적어도 두 가지의 조합을 포함하여 구성될 수 있다.
또한, 본 명세서에서, 객체란, 영상 내의 소정 영역에 구현되거나 부가될 수 있는 대상을 총칭하는 개념으로서, 예를 들어, 문자, 숫자, 기호, 심볼, 도형, 사진, 이미지, 소리, 동영상, 또는 이들의 조합으로 이루어질 수 있으며, 그에 부여될 수 있는 속성(attribute)(예를 들어, 밝기, 명도, 채도)까지도 포함하는 개념일 수 있다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠를 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 콘텐츠 저작 시스템(200) 및 디바이스(300)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망, 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 무선 주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 예를 들어, 이러한 콘텐츠 저작 시스템(200)은 서버 시스템일 수 있다.
본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)은 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하고, 그 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하며, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하고, 위의 차량 내부 영상에 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 차량 내부 영상은 촬영 방향이 차량 내부를 향하도록 장착되는 적어도 하나의 카메라 모듈(예를 들어, RGB 카메라, 적외선 카메라, 자외선 카메라, TOF(Time-of-Flight) 카메라 등) 또는 적어도 하나의 스캐너 모듈(예를 들어, 라이다(LiDAR) 센서, 레이더(radar) 센서 등)에 의해 차량의 내부가 실시간으로 또는 소정 기간 동안 촬영되는 영상을 의미할 수 있다. 또한, 위와 같은 차량 내부 영상은 2차원 영상 또는 3차원 영상을 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 카메라 모듈 또는 스캐너 모듈의 종류가 반드시 위의 열거된 실시예에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있음을 밝혀 둔다.
본 발명에 따른 콘텐츠 저작 시스템(200)의 구성과 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 콘텐츠 저작 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 콘텐츠 저작 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 디바이스(300) 또는 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 통신망(100)을 통해 콘텐츠 저작 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 디바이스(300)에는 콘텐츠를 재생하기 위한 디스플레이 모듈(예를 들어, LCD, LED 디스플레이, OLED 디스플레이 등)이 더 포함될 수 있다.
한편, 본 발명의 일 실시예에 따른 디바이스(300)에는, 본 발명에 따른 콘텐츠 저작 기능을 지원하기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 콘텐츠 저작 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.
콘텐츠 저작 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 콘텐츠 저작 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240), 통신부(250) 및 제어부(260)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 콘텐츠 저작 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 콘텐츠 저작 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 이펙트 파라미터 획득부(210)는 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 기능을 수행할 수 있다.
예를 들어, 이펙트 파라미터 획득부(210)는 차량 내부 영상 내에서 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정할 수 있고, 그 적어도 하나의 특징점 또는 특징 영역을 기준으로 차량 내부 영상을 분석(예를 들어, 형상, 크기, 색채, 주파수, 피치 등을 분석)함으로써 이펙트 파라미터를 획득할 수 있다.
보다 구체적으로, 이펙트 파라미터 획득부(210)는, (i) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위(예를 들어, 눈, 눈썹, 동공, 코, 입 등)의 크기, 형상, 또는 그 크기나 형상의 변화에 관한 정보, (ii) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위(예를 들어, 머리, 손, 발 등)의 위치 또는 그 위치의 변화(또는 해당 신체 부위에 의한 제스처)에 관한 정보, (iii) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위에서 발생되는 소리(예를 들어, 입에서 발생되는 소리) 또는 그 소정 신체 부위에 의하여 발생되는 소리(예를 들어, 손으로 차량의 헤드레스트(headrest)나 스티어링 휠(steering wheel)을 두드림에 의하여 발생되는 소리)에 관한 정보 등을 차량 탑승자와 연관되는 이펙트 파라미터로서 획득할 수 있다.
한편, 이펙트 파라미터 획득부(210)는 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하고, 분리된 영상 시퀀스로부터 시각과 연관되는 이펙트 파라미터(예를 들어, 차량 탑승자의 표정이나 움직임에 관한 이펙트 파라미터)를 획득하고, 분리된 음성 시퀀스로부터 청각과 연관되는 이펙트 파라미터(예를 들어, 차량 탑승자에 의해 발생되는 소리에 관한 이펙트 파라미터)를 획득할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 시퀀스 결정부(220)는 위의 이펙트 파라미터 획득부(210)에 의해 획득된 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 이펙트 객체는, 시각, 청각, 촉각 및 후각 중 적어도 하나의 감각을 기반으로 하는 객체를 포함할 수 있다. 예를 들어, 이펙트 객체가 시각을 기반으로 하는 객체인 경우에, 이미지 또는 영상을 기반으로 하는 객체가 위의 이펙트 객체로 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보(즉, 이펙트 파라미터)에 기초하여 차량 탑승자의 감정(예를 들어, 기쁨(喜), 화남(怒), 슬픔(哀), 즐거움(樂) 등으로 분류될 수 있음)을 추정할 수 있고, 그 추정되는 감정과 연관되는 적어도 하나의 이펙트 객체를 특정할 수 있으며, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 이펙트 파라미터(또는 위의 감정에 관한 정보)에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 위의 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보에 기초하여 추정되는 차량 탑승자의 감정이 "기쁨"인 경우에, 적어도 하나의 음표 이미지를 "기쁨"과 연관되는 이펙트 객체로서 특정할 수 있고, 해당 감정(즉, "기쁨")에 따라(즉, 이펙트 파라미터에 기초하여 추정되는 감정에 따라) 위의 적어도 하나의 음표 이미지가 소정 시간 동안 활발하게 움직이는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다. 또한, 시퀀스 결정부(220)는 위의 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보에 기초하여 추정되는 차량 탑승자의 감정이 "슬픔"인 경우에, 배경 이미지를 "슬픔"과 연관되는 이펙트 객체로서 특정할 수 있고, 해당 감정(즉, "슬픔")에 따라(즉, 이펙트 파라미터에 기초하여 추정되는 감정에 따라) 위의 배경 이미지의 밝기가 소정 시간 동안 어두워지는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
다른 예를 들어, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 소리(예를 들어, 차량 탑승자의 신체 기관을 통해 직접적으로 발생되는 소리나 차량 탑승자의 신체 기관이 다른 사물을 타격함으로써 간접적으로 발생되는 소리)에 관한 정보(예를 들어, 위의 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보)(즉, 이펙트 파라미터)에 기초하여 적어도 하나의 이펙트 객체를 특정할 수 있고, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 소리에 관한 정보에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 소리의 세기에 관한 정보에 기초하여 배경 이미지를 이펙트 객체로서 특정할 수 있고, 위의 소리가 발생될 때마다 위의 배경 이미지의 밝기가 위의 소리의 세기에 비례하여 변경(또는 점멸)되는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
또 다른 예를 들어, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 제스처에 관한 정보에 기초하여 적어도 하나의 이펙트 객체를 특정할 수 있고, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 제스처에 관한 정보에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 차량 탑승자의 손 제스처에 관한 정보(예를 들어, 손 제스처의 발생 위치, 속도, 방향 등에 관한 정보를 포함함)에 기초하여 물결 이미지 및 물결 소리를 이펙트 객체로서 특정할 수 있고, 위의 손 제스처의 발생 위치 및 방향을 따라 물결 이미지가 생성되고, 위의 손 제스처의 속도에 따라 물결 소리의 박자가 변경되는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
다만, 본 발명의 일 실시예에 따른 이펙트 객체 및 그에 관한 시퀀스가 반드시 상기 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
한편, 시퀀스 결정부(220)는 이펙트 파라미터와 연관되는 이펙트 객체에 관한 룩업 테이블 및 이펙트 파라미터와 연관되는 시퀀스에 관한 룩업 테이블 중 적어도 하나를 참조하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다.
또한, 시퀀스 결정부(220)는 차량 내부 영상에서 특정되는 차량 탑승자의 개인 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 차량 탑승자의 개인 정보에는, 차량 탑승자의 연령, 성별, 인종, 지역, 선호 이펙트 객체, 관심사 등에 관한 정보가 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량 내부 영상에서 차량 탑승자의 얼굴을 기반으로 차량 탑승자의 신원을 특정하고, 그 특정되는 신원에 따라 해당 차량 탑승자가 선호하는 적어도 하나의 이펙트 객체 및 그 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 즉, 차량 탑승자의 개인 정보를 기반으로 이펙트 객체 또는 그 이펙트 객체에 관한 시퀀스가 서로 다르게 개별 맞춤화되어 결정될 수 있다.
한편, 시퀀스 결정부(220)는 차량 탑승자와 연관되는 상황 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 상황 정보는, 차량 탑승자 또는 그 차량 탑승자의 주변(또는 차량 내)의 분위기(예를 들어, 기쁨, 즐거움, 슬픔, 화남 등), 차량 탑승자의 움직임, 차량 탑승자의 목소리 등으로부터 추론되는 상황을 나타내는 정보를 포함할 수 있다. 예를 들어, 차량 탑승자 또는 그 차량 탑승자의 주변(또는 차량 내)의 분위기, 차량 탑승자의 움직임, 차량 탑승자의 목소리 등에 관한 정보와 동일하거나 유사한 정보에 대응되는 사례가 사례 데이터베이스에서 검색될 수 있으며, 이에 따라 검색된 사례가 해당 상황을 나타내는 정보가 될 수 있다. 이러한 사례 데이터베이스는 복수의 차량 탑승자에 관한 다양한 사례를 기반으로 딥 러닝(deep learning), 기계 학습(machine learning) 등을 수행함으로써 동적으로 업데이트될 수 있다. 즉, 동일한 이펙트 파라미터가 획득되는 경우라도, 차량 탑승자와 연관되는 상황 정보(예를 들어, 분위기)에 따라 이펙트 객체 또는 그 이펙트 객체에 관한 시퀀스가 다르게 결정될 수 있다.
또한, 시퀀스 결정부(220)는 차량의 주행 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 주행 정보에는, 차량의 출발지, 목적지, 현 위치, 주행 속도, 주행 상태(예를 들어, 정지, 출발 등) 등에 관한 정보가 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량이 목적지에 근접한 경우에, 결승점과 연관되는 적어도 하나의 이펙트 객체(예를 들어, 결승점을 테마로 하여 생성될 수 있는 결승선 리본 이미지 등) 및 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스(예를 들어, 결승점을 테마로 하여 생성될 수 있는 결승선 리본 이미지가 흩날리는 시퀀스 등)를 결정할 수 있다.
다른 예를 들어, 시퀀스 결정부(220)는 차량의 속도가 소정 수준 이하인 경우에, 느림과 연관되는 적어도 하나의 이펙트 객체(예를 들어, 거북이 이미지 등) 및 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스(예를 들어, 거북이 이미지가 차량 주행 속도에 대응하여 천천히 기어가는 시퀀스 등)를 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 콘텐츠 저작부(230)는 차량 내부 영상에 위의 시퀀스 결정부(220)에 의해 결정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 기능을 수행할 수 있다.
예를 들어, 콘텐츠 저작부(230)는 차량 내부 영상을 기반으로 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합시킴으로써 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나의 콘텐츠를 저작할 수 있다.
다음으로, 콘텐츠 관리부(240)는 콘텐츠 저작부(230)에 의해 저작되는 콘텐츠가 저장 또는 공유되도록 하는 기능을 수행할 수 있다.
예를 들어, 콘텐츠 관리부(240)는 위의 저작되는 콘텐츠가 차량 탑승자와 연관되는 디바이스(300)(예를 들어, 차량 탑승자의 스마트폰, 클라우드 등) 내에 저장되도록 하거나, 차량 탑승자와 연관되는 소셜 네트워크 서비스(SNS), 클라우드, 웹 서버 등을 통해 위의 저작된 콘텐츠가 다른 차량 탑승자와 공유(예를 들어, 실시간 공유)되도록 할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230) 및 콘텐츠 관리부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(260)는 콘텐츠 저작 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 콘텐츠 저작 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠가 저작되는 상황을 예시적으로 나타내는 도면이다.
제1 실시예
도 3을 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 차량 내 디바이스(300)에 포함되는 상황을 가정해 볼 수 있다. 여기서, 디바이스(300)는 차량 내의 소정 장소(예를 들어, 헤드 레스트, 스티어링 휠 등)에 대하여 고정되거나 탈착될 수 있는 태블릿 또는 스마트폰을 포함할 수 있다.
먼저, 차량 내 디바이스(300)는 차량 탑승자가 스티어링 휠을 반복적으로 두드리는 차량 내부 영상(도 3의 (a) 참조)으로부터 그러한 두드림에 의하여 발생되는 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보를 이펙트 파라미터로서 획득할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보에 기초하여 적어도 하나의 음표 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 소리의 높낮이에 따라 위의 적어도 하나의 음표 이미지의 색채가 변경되고(예를 들어, 위의 소리가 높낮이가 높을수록 색채가 붉은색이 되고 낮을수록 푸른색이 됨), 위의 소리의 세기에 따라 위의 적어도 하나의 음표 이미지의 크기가 변경되며(예를 들어, 위의 소리의 세기가 클수록 크기가 커지고 작을수록 크기가 작아짐), 위의 소리의 음색에 따라 위의 적어도 하나의 음표의 이미지의 명도가 변경되는 시퀀스를 위의 적어도 하나의 음표 이미지에 관한 시퀀스로서 결정할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 차량 내부 영상(즉, 실세계 영상)에 위의 결정되는 적어도 하나의 음표 이미지에 관한 시퀀스를 결합시킴으로써 증강 현실 콘텐츠(도 3의 (b) 참조)를 저작할 수 있다.
제2 실시예
본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 차량 내 디바이스(300)에 포함되는 상황을 가정해 볼 수 있다. 여기서, 디바이스(300)는 차량 내의 소정 장소(예를 들어, 헤드 레스트, 스티어링 휠 등)에 대하여 고정되거나 탈착될 수 있는 태블릿 또는 스마트폰을 의미할 수 있다.
먼저, 차량 내 디바이스(300)는 차량 탑승자가 노래를 부르는 차량 내부 영상으로부터 그러한 노래에 의해 발생되는 소리의 박자 및 리듬 중 적어도 하나에 관한 정보를 이펙트 파라미터로서 획득할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 소리의 박자 및 리듬 중 적어도 하나에 관한 정보에 기초하여 적어도 하나의 음표 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 소리의 박자 및 리듬 중 적어도 하나의 변화에 따라 위의 적어도 하나의 음표 이미지가 빠르게 움직이거나 그 수가 늘어나는 시퀀스를 위의 적어도 하나의 음표 이미지에 관한 시퀀스로서 결정할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 차량 내부 영상에 위의 적어도 하나의 음표 이미지에 관한 시퀀스를 결합시킴으로써 증강 현실 콘텐츠를 저작할 수 있다.
제3 실시예
도 4를 참조하면, 본 발명에 따른 콘텐츠 저작 시스템(200)의 일부가 차량 내 디바이스(미도시됨)(본 발명에 따른 디바이스(300))에 포함되고, 다른 일부가 외부 서버(미도시됨)에 포함되는 상황을 가정해볼 수 있다. 구체적으로, 위의 디바이스 및 그 디바이스와 무선 통신(예를 들어, 와이파이(WiFi), 블루투스(Bluetooth) 등)으로 연결되는 외부 서버를 통해 콘텐츠가 저작되는 상황일 수 있다.
먼저, 차량 탑승자 중 한 명이 졸린 표정을 짓고 있고(또는 졸고 있고) 다른 한 명이 기쁜 표정을 짓고 있는 차량 내부 영상(도 4의 (a) 참조)으로부터 두 차량 탑승자의 얼굴의 소정 신체 부위의 형상에 관한 정보가 이펙트 파라미터로서 획득될 수 있다.
그 다음에, 위의 차량 탑승자의 얼굴의 소정 신체 부위의 형상에 관한 정보에 기초하여 한 명의 차량 탑승자의 감정이 "졸림"이고 다른 한 명의 차량 탑승자의 감정이 "기쁨"인 것이 추정될 수 있고, 그 추정되는 감정과 연관되는 수면 이미지 및 천사 이미지 각각이 적어도 하나의 이펙트 객체로 특정될 수 있다.
그 다음에, 위의 수면 이미지 및 위의 천사 이미지 각각이 위의 두 차량 탑승자 각각의 얼굴의 소정 신체 부위의 형상을 추적하여 따라다니는 것이 위의 수면 이미지 및 천사 이미지에 관한 시퀀스로서 결정될 수 있다.
그 다음에, 위의 차량 내부 영상에 위의 결정되는 수면 이미지 및 천사 이미지에 관한 시퀀스가 결합됨으로써 증강 현실 콘텐츠(도 4의 (b) 참조)가 저작될 수 있다.
제4 실시예
도 5를 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 외부 서버(미도시됨)에 포함되는 상황을 가정해 볼 수 있다. 구체적으로, 차량 내 디바이스(미도시됨)(본 발명에 따른 디바이스(300))와 무선 통신(예를 들어, 와이파이(WiFi), 블루투스(Bluetooth) 등)으로 연결되는 외부 서버를 통해 콘텐츠가 저작되는 상황일 수 있다.
먼저, 차량 탑승자가 주먹을 휘두르는 차량 내부 영상(도 5의 (a) 참조)으로부터, 주먹의 발생 위치, 속도 및 방향에 관한 정보가 이펙트 파라미터로서 획득될 수 있다.
그 다음에, 위의 주먹의 발생 위치, 속도 및 방향에 관한 정보에 기초하여 적어도 하나의 권투 장갑 이미지 및 권투 샌드백 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 주먹의 발생 위치, 속도 및 방향에 대응되도록 권투 장갑이 휘둘러지고 이에 따라 권투 샌드백이 움직이는 시퀀스가 위의 권투 장갑 이미지 및 권투 샌드백 이미지에 관한 시퀀스로서 결정될 수 있다.
그 다음에, 위의 차량 내부 영상(실세계 영상)에 위의 차량의 외부 영상(가상 현실 영상; 이러한 영상은 가상 현실 생성 기술을 통해 위의 차량 내부 영상을 기반으로 생성될 수 있음))(미도시됨) 및 위의 권투 장갑 이미지 및 권투 샌드백 이미지에 관한 시퀀스가 결합됨으로써 혼합 현실 콘텐츠(도 5의 (b) 참조)가 저작될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 콘텐츠 저작 시스템
210: 이펙트 파라미터 획득부
220: 시퀀스 결정부
230: 콘텐츠 저작부
240: 콘텐츠 관리부
250: 통신부
260: 제어부
300: 디바이스

Claims (21)

  1. 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서,
    실세계 영상인 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계,
    상기 이펙트 파라미터에 기초하여 적어도 하나의 감각을 기반으로 하는 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및
    상기 차량 내부 영상을 기반으로 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나의 콘텐츠를 저작하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 획득 단계는,
    상기 차량 내부 영상 내에서 상기 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정하는 단계, 및
    상기 적어도 하나의 특징점 또는 특징 영역을 기준으로 상기 차량 내부 영상을 분석함으로써 상기 이펙트 파라미터를 획득하는 단계를 포함하는
    방법.
  3. 제1항에 있어서,
    상기 획득 단계는,
    상기 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하는 단계, 및
    상기 영상 시퀀스로부터 상기 이펙트 파라미터 중 시각과 연관되는 이펙트 파라미터를 획득하고, 상기 음성 시퀀스로부터 상기 이펙트 파라미터 중 청각과 연관되는 이펙트 파라미터를 획득하는 단계를 포함하는
    방법.
  4. 제1항에 있어서,
    상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자의 감정에 관한 정보와 연관되는
    방법.
  5. 제1항에 있어서,
    상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 소리에 관한 정보와 연관되는
    방법.
  6. 제1항에 있어서,
    상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 제스처에 관한 정보와 연관되는
    방법.
  7. 제1항에 있어서,
    상기 결정 단계에서, 상기 차량 탑승자의 개인 정보 및 상기 차량 탑승자와 연관되는 상황 정보 중 적어도 하나에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    방법.
  8. 제1항에 있어서,
    상기 결정 단계에서, 상기 차량의 주행 정보에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 저작되는 콘텐츠가 저장 또는 공유되도록 하는 단계를 더 포함하는
    방법.
  11. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  12. 차량 내부 영상을 기반으로 콘텐츠를 저작하는 시스템으로서,
    실세계 영상인 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 이펙트 파라미터 획득부,
    상기 이펙트 파라미터에 기초하여 적어도 하나의 감각을 기반으로 하는 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 시퀀스 결정부, 및
    상기 차량 내부 영상을 기반으로 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나의 콘텐츠를 저작하는 콘텐츠 저작부를 포함하는
    시스템.
  13. 제12항에 있어서,
    상기 이펙트 파라미터 획득부는, 상기 차량 내부 영상 내에서 상기 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정하고, 상기 적어도 하나의 특징점 또는 특징 영역을 기준으로 상기 차량 내부 영상을 분석함으로써 상기 이펙트 파라미터를 획득하는
    시스템.
  14. 제12항에 있어서,
    상기 이펙트 파라미터 획득부는, 상기 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하고, 상기 영상 시퀀스로부터 상기 이펙트 파라미터 중 시각과 연관되는 이펙트 파라미터를 획득하고, 상기 음성 시퀀스로부터 상기 이펙트 파라미터 중 청각과 연관되는 이펙트 파라미터를 획득하는
    시스템.
  15. 제12항에 있어서,
    상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자의 감정에 관한 정보와 연관되는
    시스템.
  16. 제12항에 있어서,
    상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 소리에 관한 정보와 연관되는
    시스템.
  17. 제12항에 있어서,
    상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 제스처에 관한 정보와 연관되는
    시스템.
  18. 제12항에 있어서,
    상기 시퀀스 결정부는, 상기 차량 탑승자의 개인 정보 및 상기 차량 탑승자와 연관되는 상황 정보 중 적어도 하나에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    시스템.
  19. 제12항에 있어서,
    상기 시퀀스 결정부는, 상기 차량의 주행 정보에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    시스템.
  20. 삭제
  21. 제12항에 있어서,
    상기 저작되는 콘텐츠가 저장 또는 공유되도록 하는 콘텐츠 관리부를 더 포함하는
    시스템.
KR1020200073555A 2019-06-19 2020-06-17 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Active KR102477703B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220044098A KR102596322B1 (ko) 2019-06-19 2022-04-08 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190073163 2019-06-19
KR1020190073163 2019-06-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220044098A Division KR102596322B1 (ko) 2019-06-19 2022-04-08 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (2)

Publication Number Publication Date
KR20200145730A KR20200145730A (ko) 2020-12-30
KR102477703B1 true KR102477703B1 (ko) 2022-12-15

Family

ID=74037369

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200073555A Active KR102477703B1 (ko) 2019-06-19 2020-06-17 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR1020220044098A Active KR102596322B1 (ko) 2019-06-19 2022-04-08 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220044098A Active KR102596322B1 (ko) 2019-06-19 2022-04-08 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (2)

Country Link
KR (2) KR102477703B1 (ko)
WO (1) WO2020256403A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076618A1 (en) * 2004-02-05 2005-08-18 Sony United Kingdom Limited System and method for providing customised audio/video sequences

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007700A1 (en) * 2001-07-03 2003-01-09 Koninklijke Philips Electronics N.V. Method and apparatus for interleaving a user image in an original image sequence
KR100651034B1 (ko) * 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR20120074977A (ko) * 2010-12-28 2012-07-06 (주)이지런 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
KR101855940B1 (ko) * 2015-10-27 2018-05-09 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
KR20180014910A (ko) 2016-08-02 2018-02-12 김지현 가상현실 속 증강현실을 이용한 관광 콘텐츠 및 그 제공시스템
KR101894956B1 (ko) * 2017-06-21 2018-10-24 주식회사 미디어프론트 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
KR20190026507A (ko) * 2017-09-05 2019-03-13 주식회사 아이닉스 차량용 영상 생성 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076618A1 (en) * 2004-02-05 2005-08-18 Sony United Kingdom Limited System and method for providing customised audio/video sequences

Also Published As

Publication number Publication date
KR102596322B1 (ko) 2023-10-31
KR20200145730A (ko) 2020-12-30
KR20220049501A (ko) 2022-04-21
WO2020256403A1 (ko) 2020-12-24

Similar Documents

Publication Publication Date Title
US12169904B2 (en) Displaying augmented reality content in messaging application
US12047657B2 (en) Subtitle splitter
EP4165584B1 (en) Contextual sending menu
CN109878441B (zh) 车辆控制方法和装置
US20220261533A1 (en) Decoupling website service from presentation layer
US12469180B2 (en) Machine learning-based modification of image content
US12244956B2 (en) Recorded sound thumbnail
US20210389851A1 (en) Contextual application menu
US12417593B2 (en) Generating immersive augmented reality experiences from existing images and videos
EP4165497A1 (en) Contextual action bar
EP3296944A1 (en) Information processing device, information processing method, and program
US20220101596A1 (en) Object relighting using neural networks
WO2022257698A1 (zh) 基于电子地图的交互方法、装置、计算机设备和存储介质
KR20230162062A (ko) 노래로부터의 신경망 반주 추출
US12099702B2 (en) Messaging system for resurfacing content items
KR20220012203A (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US12300275B2 (en) Editing video captured by electronic devices
US12079927B2 (en) Light estimation using neural networks
KR102477703B1 (ko) 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN119620895B (zh) 车载中控屏控制方法、车载中控屏和存储介质
KR102592675B1 (ko) 콘텐츠를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US12469182B1 (en) Augmented reality content to locate users within a camera user interface
CN120543709A (zh) 虚拟形象展示方法
KR20200137992A (ko) 콘텐츠를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2022146841A1 (en) Light estimation using neural networks

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200617

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210617

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220125

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210617

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220125

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20210914

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20220310

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20220221

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20220125

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20210914

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20210617

X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20220408

Patent event code: PA01071R01D

PJ0201 Trial against decision of rejection

Patent event date: 20220408

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20220310

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Patent event date: 20220125

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20221025

Appeal identifier: 2022101000801

Request date: 20220408

J301 Trial decision

Free format text: TRIAL NUMBER: 2022101000801; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20220408

Effective date: 20221025

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20221025

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20220408

Decision date: 20221025

Appeal identifier: 2022101000801

PS0901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

Patent event date: 20221109

Patent event code: PS07012S01D

Comment text: Decision to Grant Registration

Patent event date: 20221025

Patent event code: PS07011S01I

Comment text: Notice of Trial Decision (Remand of Revocation)

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221209

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221212

End annual number: 3

Start annual number: 1

PG1601 Publication of registration