[go: up one dir, main page]

KR20150085801A - 사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법 - Google Patents

사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20150085801A
KR20150085801A KR1020150008066A KR20150008066A KR20150085801A KR 20150085801 A KR20150085801 A KR 20150085801A KR 1020150008066 A KR1020150008066 A KR 1020150008066A KR 20150008066 A KR20150008066 A KR 20150008066A KR 20150085801 A KR20150085801 A KR 20150085801A
Authority
KR
South Korea
Prior art keywords
haptic effect
user
haptic
video signal
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020150008066A
Other languages
English (en)
Inventor
데이비드 엠. 번바움
크리스토퍼 울리치
로버트 라크로익
사트비르 싱흐 브하티아
마이클 파웰
스테판 랭크
이바 세갈만
아마야 베카 웨들
페이지 라이네스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150085801A publication Critical patent/KR20150085801A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템들 및 방법들이 개시된다. 본 명세서에 개시된 하나의 예시적 방법은 비디오 신호를 수신하는 단계; 햅틱 저작과 연관된 사용자 인터페이스를 표시하는 단계; 햅틱 효과와 연관된 제스처를 검출하는 단계; 제스처에 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 상기 햅틱 효과를 상기 비디오 신호 내의 위치와 연관시키는 단계; 및 상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계를 포함한다.

Description

사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR USER GENERATED CONTENT AUTHORING}
관련 출원에 대한 상호 참조
이 출원은 2014년 1월 16일자에 출원된 미국 가출원 번호 제61/928,357호에 대한 우선권을 주장하고, 그것의 전체 내용은 본 명세서에 참고되어 포함된다.
터치 가능형(touch-enabled) 디바이스들은 점점 더 인기를 끌고 있다. 예를 들어, 사용자가 터치 감응 디스플레이의 부분들을 터치함으로써 입력을 제공할 수 있도록 모바일 및 다른 디바이스들이 터치 감응 디스플레이들을 갖추어 구성될 수 있다. 다른 예로서, 트랙패드, 마우스 또는 다른 디바이스와 같이, 디스플레이로부터 분리된 터치 가능형 표면이 입력을 위해 이용될 수도 있다. 점점 더, 비디오들은 이러한 터치 가능형 디바이스들 상에 표시될 수 있다. 또한, 이러한 디바이스들은 비디오 생성 및 편집을 위한 프로세싱 능력을 포함한다. 많은 디바이스들은 또한 햅틱 능력을 구비한다. 따라서, 사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템들 및 방법들에 대한 필요성이 존재한다.
본 발명의 실시예들은 비디오 디스플레이 성능, 및 햅틱 신호들을 결정하고 햅틱 효과들을 출력하는 성능을 특징으로 갖는 디바이스들을 포함한다. 어떤 실시예들에서, 이러한 햅틱 효과들은 터치 영역 내의 하나 이상의 특징을 시뮬레이션하는 표면 기반 햅틱 효과들을 포함할 수 있다. 이 특징들은 표면과 접촉하는 객체를 사용하여 인지될 수 있는, 터치 표면에서의 경계, 장애물, 또는 기타 불연속들의 시뮬레이션 및/또는 질감의 변화들을 포함할 수 있지만, 이들로 제한되지 않는다. 어떤 실시예들에서 햅틱 효과들은 당해 기술 분야에 알려져 있는 표면 변형들, 진동들, 및 다른 촉각 효과들을 포함할 수 있다. 어떤 실시예들에서 이러한 햅틱 효과들은 비디오 내의 특징들, 예를 들어, 비디오에서 발생하는 동작 효과들 또는 음향들 및/또는 동작들과 연관된 효과들을 시뮬레이션하거나 또는 향상시키기 위해 사용될 수 있다.
일 실시예에서, 콘텐츠 저작을 위한 방법은 비디오 신호를 수신하는 단계; 햅틱 저작과 연관된 사용자 인터페이스를 표시하는 단계; 햅틱 효과와 연관된 제스처를 검출하는 단계; 제스처에 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 상기 햅틱 효과를 상기 비디오 신호 내의 위치와 연관시키는 단계; 및 상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계를 포함한다.
다른 예시적인 실시예에서 콘텐츠 저작을 위한 시스템은, 비디오 신호를 수신하고 이 비디오 신호와 연관된 사용자 인터페이스를 출력하도록 구성된 디스플레이; 제스처를 검출하고 이 제스처와 연관된 센서 신호를 전송하도록 구성된 센서; 상기 센서 및 상기 디스플레이와 통신하는 프로세서를 포함하고, 상기 프로세서는, 상기 센서 신호를 수신하고 상기 제스처에 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 햅틱 효과를 상기 비디오 신호 내의 위치와 연관시키는 단계; 및 상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계를 수행하도록 구성된다.
다른 예시적인 실시예는 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능 매체를 포함하고, 상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금: 비디오 신호를 수신하고; 햅틱 저작과 연관된 사용자 인터페이스와 연관된 디스플레이 신호를 디스플레이에 전송하고; 햅틱 효과와 연관된 제스처를 검출하고; 상기 제스처에 기초하여 햅틱 효과를 결정하고; 상기 햅틱 효과를 상기 비디오 신호 내의 위치와 연관시키고; 상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하게 하도록 구성된다.
이러한 예시적 실시예들은 본 요지의 범위를 제한하거나 또는 정의하기 위해 언급되는 것이 아니라, 그 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적 실시예들이 상세한 설명에서 논의되고 거기서 더 많은 설명이 제공된다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 그리고/또는 청구된 요지의 하나 이상의 실시예를 실시함으로써 더 잘 이해될 수 있다.
충분하고 실시가능한 개시 내용이 명세서의 나머지 부분에 더 구체적으로 기재된다. 명세서는 하기의 첨부 도면을 참조한다.
도 1a는 사용자에 의해 생성되는 콘텐츠 저작을 위한 예시적 시스템을 도시한다.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외부도를 도시한다.
도 1c는 도 1a에 도시된 시스템의 다른 실시예의 외부도를 도시한다.
도 2a는 사용자에 의해 생성되는 콘텐츠 저작을 위한 예시적 실시예를 도시한다.
도 2b는 사용자에 의해 생성되는 콘텐츠 저작을 위한 다른 예시적 실시예를 도시한다.
도 3a는 사용자에 의해 생성되는 콘텐츠 저작을 위한 또 다른 예시적 실시예를 도시한다.
도 3b는 사용자에 의해 생성되는 콘텐츠 저작을 위한 또 다른 예시적 실시예를 도시한다.
도 4a는 사용자에 의해 생성되는 콘텐츠 저작을 위한 또 다른 예시적 실시예를 도시한다.
도 4b는 사용자에 의해 생성되는 콘텐츠 저작을 위한 또 다른 예시적 실시예를 도시한다.
도 5a는 사용자에 의해 생성되는 콘텐츠 저작을 위한 또 다른 예시적 실시예를 도시한다.
도 5b는 사용자에 의해 생성되는 콘텐츠 저작을 위한 또 다른 예시적 실시예를 도시한다.
도 6은 사용자에 의해 생성되는 콘텐츠 저작을 위한 하나의 예시적 실시예에 대한 방법 단계들의 흐름도이다.
이제, 다양한 및 대안적인 예시의 실시예들 그리고 첨부 도면들을 상세히 참조할 것이다. 각각의 예는 설명으로 제공되는 것이지 제한으로서 제공되는 것이 아니다. 변형들 및 변경들이 행해질 수도 있음은 통상의 기술자에게 명백할 것이다. 예를 들면, 일 실시예의 일부로 예시되거나 기재된 특징들은 다른 실시예에서 사용되어 또 다른 실시예가 얻어질 수 있다. 따라서, 본 개시는, 첨부된 청구항들 및 그 균등물들의 범위 내에 들어오는 변형들 및 변경들을 포함하고자 의도된다.
사용자에 의해 생성되는 콘텐츠 저작을 위한 디바이스의 예시적인 예
본 개시의 하나 예시적 실시예는 태블릿, e-판독기, 모바일 폰, 또는 랩탑 또는 데스크탑 컴퓨터 등의 컴퓨터 또는 착용가능 디바이스와 같은 전자 디바이스를 포함한다. 전자 디바이스는 디스플레이(터치-스크린 디스플레이 등), 메모리, 및 이러한 구성요소들 각각과 통신하는 프로세서를 포함한다.
예시적인 디바이스는 하나 이상의 녹화된 비디오를 저장하도록 구성된 메모리를 포함한다. 이러한 비디오들은 데이터 접속을 통해 원격 데이터 소스, 예를 들어, 인터넷 상의 데이터베이스로부터 다운로드된 비디오를 포함할 수 있다. 대안적으로, 이러한 비디오들은 예시적인 디바이스의 사용자에 의해 캡처된 비디오들을 포함할 수 있다. 예를 들면, 예시적인 디바이스는 디지털 카메라(예를 들면, 모바일 디바이스의 전방 또는 후방 탑재 카메라)를 포함할 수 있고, 그것에 의해 사용자는 디지털 화상들 및 비디오들을 캡처할 수 있다. 예시적인 디바이스는 사용자 제스처를 검출하고 사용자 제스처에 기초하여 이러한 비디오들에 콘텐츠를 적용하기 위한 센서들을 포함한다. 어떤 실시예들에서, 콘텐츠는 사용자에 의해 생성된 콘텐츠를 포함할 수 있다. 어떤 실시예들에서, 콘텐츠는 햅틱 효과, 그래픽, 음향, 또는 다른 타입의 콘텐츠를 포함할 수 있다.
예시적 실시예에서, 모바일 디바이스는 본 명세서에 개시된 실시예들에 따른 콘텐츠 저작을 위한 프로그램 코드를 포함할 수 있다. 예시적 실시예에서, 이 프로그램 코드는 콘텐츠 저작을 위한 사용자 인터페이스를 디스플레이하기 위한 프로그램 코드를 포함할 수 있다. 예시적 실시예에 따르면, 사용자는 콘텐츠 저작 사용자 인터페이스에서 가용의 카메라 인터페이스를 이용하여 비디오를 캡처할 수 있다. 예를 들면, 일 실시예에서, 사용자는 디바이스와 연관된 카메라를 사용하여 고양이의 비디오를 캡처할 수 있다. 대안적으로, 사용자는 컴퓨팅 디바이스의 데이터 저장소에서 가용인 또는 네트워크 접속을 통해 가용인 이미 존재하는 비디오를 선택할 수 있다. 예를 들면, 사용자는 사전에 로드된 비디오, 예를 들어, 스키어의 비디오를 선택할 수 있다.
예시적 실시예에서, 일단 사용자가 비디오를 선택하면, 사용자는 콘텐츠 저작 인터페이스를 통해 햅틱 콘텐츠를 비디오에 적용할 수 있다. 예시적 실시예에서, 사용자는 비디오 내의 위치를 우선 선택하여 햅틱 콘텐츠를 적용할 수 있다. 예를 들면, 예시적 실시예에서, 디스플레이의 일부는 비디오로부터의 프레임들의 시퀀스를 포함할 수 있고, 사용자는 그 프레임과 연관된 비디오 내의 위치를 선택하기 위해 그것과 상호작용할 수 있다. 예시적 실시예에서, 일단 사용자가 비디오 내의 위치를 선택하면, 사용자는 그 후 햅틱 효과를 그 위치에 할당할 수 있다. 어떤 실시예들에서는, 하기에서 더 상세히 설명되는 바와 같이, 사용자는 제스처를 이용하여 햅틱 효과를 할당할 수 있다.
예시적 실시예에서, 사용자는 하나 이상의 미리 정의된 햅틱 효과를 선택할 수 있다. 이러한 효과들은 촉각 효과들, 감정을 시뮬레이션하도록 구성된 효과들, 동작을 시뮬레이션하도록 구성된 효과들, 또는 다른 타입의 효과들을 포함할 수 있다. 어떤 실시예들에서, 미리 정의된 햅틱 효과들은 다차원 햅틱 효과들을 포함할 수 있다. 예를 들면, 어떤 실시예들에서, 햅틱 효과들은 당해 기술 분야에 알려져 있는 진동들, 표면 기반 효과들, 표면 변형들, 또는 다른 햅틱 효과들 중 하나 이상을 포함할 수 있다. 또한, 사용자는 이러한 효과들의 특징들을 변형할 수 있다. 예를 들면, 사용자는 지속시간, 강도, 주파수, 또는 다른 특징을 햅틱 효과에 할당할 수 있다. 상기에서 논의된 실시예에서, 사용자는 햅틱 효과를 고양이의 비디오에 할당할 수 있다. 햅틱 효과는 고양이가 가르랑거리는 것을 시뮬레이션하도록 구성된 진동을 포함할 수 있다.
어떤 실시예들에서, 사용자는 햅틱 효과를 생성할 수 있다. 예를 들면, 사용자는 디바이스와 상호작용함(예를 들어, 디바이스를 흔들거나 또는 디바이스 상의 위치를 누름)으로써 햅틱 효과를 생성할 수 있다. 이러한 제스처들은 모바일 디바이스의 하나 이상의 센서에 의해 캡처될 수 있고 햅틱 효과로 변환될 수 있다. 어떤 실시예들에서, 디바이스의 햅틱 출력 디바이스(들)는 디바이스에 대하여 X, Y, 또는 Z 평면에서 힘을 출력하도록 구성될 수 있다. 어떤 실시예들에서, 이러한 효과들은 디스플레이 상에서 객체가 움직이는 느낌을 시뮬레이션하도록 구성될 수 있다. 예를 들면, 일 실시예에서, 다차원 햅틱 효과는 X-평면(좌 또는 우), Y-평면(상 또는 하), Z-평면(디스플레이의 안으로 또는 밖으로)에서 움직이는 (후술하는 바와 같이 적용된 스티커 등과 같은) 객체, 또는 이러한 평면들 각각에서의 벡터를 시뮬레이션하도록 구성될 수 있다. 이러한 햅틱 효과들은 하기에서 더 상세히 논의되는 하나 이상의 상이한 타입들의 햅틱 출력 디바이스들에 의해 출력될 수 있다.
어떤 실시예들에서 사용자는 다방향의 또는 다차원의 햅틱 효과를 생성할 수 있다. 전술한 바와 같이, 디바이스는 모바일 디바이스의 움직임을 검출하도록 구성된 하나 이상의 센서들(예를 들면, 가속도계, 자이로스코프, 카메라, GPS, 또는 다른 센서들) 및 표면 상호작용을 검출하도록 구성된 센서들을 포함할 수 있다. 사용자는 디바이스의 표면 상에서 제스처를 행할 수 있고(예를 들면, 터치, 탭, 또는 스와이프) 사용자는 또한 디바이스를 가지고 제스처를 행할 수 있다(예를 들어, 공간을 통해 디바이스를 움직이거나, 디바이스를 기울이거나, 선회시키거나, 흔들거나, 또는 회전시킴 등). 이러한 제스처들은 센서들에 의해 캡처될 수 있다. 그 후 센서들은 프로세서에 제스처들과 연관된 신호들을 전송할 수 있다. 프로세서는 제스처를 시뮬레이션하도록 구성된 하나 이상의 햅틱 효과를 결정할 수 있다. 예를 들면, 프로세서는 아래쪽으로 디바이스를 움직인 제스처를 시뮬레이션하기 위해 Z-평면에서 힘을 출력하는 햅틱 효과를 결정할 수 있다. 또한, 프로세서는 터치-스크린의 표면 상에서의 제스처를 시뮬레이션하기 위해 X 평면 또는 Y 평면에서 출력할 햅틱 효과들(예를 들면, 터치-스크린의 표면에서의 표면 기반 효과)을 결정할 수 있다.
또한, 예시적 실시예에서 디바이스는 카메라(예를 들면, 모바일 디바이스의 전방 또는 후방을 향하는 카메라)로부터 수신한 데이터에 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 예를 들면, 예시적 실시예에서, 사용자는 카메라의 가시 범위 내에서 제스처를 행할 수 있다. 카메라는 제스처를 캡처할 수 있고 프로세서에 제스처와 연관된 신호를 전송할 수 있다. 프로세서는 제스처와 연관된 햅틱 효과를 결정할 수 있다. 예를 들면, 프로세서는 제스처를 시뮬레이션하기 위해 구성된 햅틱 효과를 결정할 수 있다. 어떤 실시예들에서, 제스처는 다차원 제스처를 포함할 수 있다. 이러한 일 실시예에서, 카메라는 테니스 등과 같은 게임을 하는 사용자의 비디오를 캡처할 수 있다. 프로세서는 게임과 연관된 다양한 제스처들(예를 들면, 포핸드 또는 백핸드 등과 같은 손 동작들과 스텝 등과 같은 발 제스처들)을 결정할 수 있다. 프로세서는 이러한 제스처들과 연관된 햅틱 효과들을 결정할 수 있다. 이러한 햅틱 효과들은 사용자의 비디오와 연관될 수 있다. 대안적으로, 이러한 햅틱 효과들은 햅틱 라이브러리와 연관될 수 있고 다른 애플리케이션들 또는 비디오들에 사용하기 위해 나중에 선택될 수 있다.
어떤 실시예들에서, 카메라는 제스처들을 캡처할 수 있고, 그 제스처들과 연관된 햅틱 효과들을 결정할 수 있고, 그 후 햅틱 효과를 상이한 비디오와 연관시킬 수 있다. 예를 들어, 카메라는 손뼉을 치는 것 등과 같은 제스처를 행하는 사용자를 캡처할 수 있다. 프로세서는 이 제스처와 연관된 햅틱 효과를 결정할 수 있다. 이 새로운 햅틱 효과는 가용의 햅틱 효과들의 햅틱 라이브러리에 저장될 수 있다. 또한, 이 새로운 햅틱 효과는 비디오, 예를 들어, 활강 스키어의 비디오와 연관될 수 있다. 예를 들면, 그러한 실시예에서, 햅틱 효과는 예를 들면, 스키어가 다른 스키어들을 지나치거나, 객체들과 충돌할 때, 선회할 때 등 이벤트들이 발생하는 비디오 내의 위치들에 배치될 수 있다.
예시적 실시예에서, 사용자가 햅틱 효과를 할당한 후, 사용자 인터페이스는 효과가 할당된 비디오 내의 위치를 나타내는 지시자를 표시할 수 있다. 예를 들면, 사용자가 햅틱 효과를 적용하기 위해 위치를 선택한 프레임들의 시퀀스는 햅틱 효과의 위치에 오버레이를 포함할 수 있다. 또한, 오버레이는 비디오의 길이와의 비교에 의해 햅틱 효과의 지속시간을 나타내기 위해 스케일링될 수 있다.
예시적 실시예에서, 사용자는 비디오 내의 위치에 스티커 또는 태그를 또한 적용할 수 있다. 스티커는 콘텐츠 저작 인터페이스를 통해 이미 생성되었고 사용자에게 가용인 애니메이션 또는 그래픽을 포함할 수 있다. 대안적으로, 스티커는 사용자에 의해 생성된 그래픽, 애니메이션 그리고/또는 오디오 효과를 포함할 수 있다. 예시적 실시예에서 사용자는 햅틱 효과를 비디오에 적용하기 위해 사용자가 행했던 것들과 유사한 동작들을 행함으로써 비디오 내의 위치에 스티커를 적용할 수 있다. 예를 들면, 상기에서 논의된 실시예에서, 사용자는 "purr(가르랑거림)"이란 철자의 백색 문자 표기를 가진 적색 태그를 포함한 스티커를 생성할 수 있다. 그 후 사용자는 가르랑거림을 시뮬레이션하는 햅틱 효과와 동시에 나타나도록 이 스티커를 할당할 수 있다.
어떤 실시예들에서, 저작 인터페이스는 오디오 효과를 저작하기 위한 기능을 또한 포함할 수 있고, 예를 들어, 사용자는 기존 오디오 효과를 선택할 수 있거나 또는 예를 들면, 마이크로폰으로 또는 디바이스와 연관된 오디오 애플리케이션으로, 새로운 오디오 효과를 생성하기 위해 인터페이스를 사용할 수 있다. 예시적 실시예에서 사용자는 햅틱 효과를 비디오에 적용하기 위해 사용자가 행했던 것들과 유사한 동작들을 행함으로써 비디오 내의 위치에 오디오 효과를 적용할 수 있다.
예시적 실시예에서, 사용자는 비디오 전체에 걸쳐 많은 위치들에 복수의 타입들의 콘텐츠, 예를 들어, 다중 햅틱 효과들, 오디오 효과들, 및 스티커들을 적용할 수 있다. 일단 사용자가 콘텐츠의 적용을 완료하면, 저작 애플리케이션은 비디오, 햅틱 효과들, 오디오 효과들, 및 스티커들을 저장할 것이다. 예시적 실시예에서, 이 데이터는 단일 미디어 파일, 예를 들어, MP4 미디어 파일에 함께 저장될 수 있다. 대안적으로, 각각의 성분은 파일 내에 개별적으로 저장될 수 있다. 예를 들면, 비디오 파일은 그것의 원래 포맷으로 저장될 수 있고, 오디오 파일은 그것의 원래 포맷으로 저장될 수 있고, 햅틱 데이터를 포함하는 햅틱 트랙은 개별적으로 저장될 수 있다.
예시적 실시예에서, 사용자는 그 후 비디오 파일을 재생할 수 있고 할당된 햅틱 효과들을 느낄 수 있고 할당된 스티커들을 볼 수 있다. 예를 들면, 상기에서 논의된 실시예에서, 사용자는 고양이의 비디오를 재생할 수 있고 비디오가 햅틱 효과가 할당된 위치에 도달할 때 디바이스는 햅틱 효과를 출력할 수 있다. 또한 디바이스는 스티커, 예를 들면, 상기에서 논의된 실시예에서, 텍스트 "purr"을 가진 스티커를 출력할 수 있으며, 그리고/또는 그것의 연관된 오디오 효과를 출력할 수 있다. 또한 예시적 실시예에서 사용자는 비디오를 다른 사용자들에게 보낼 수 있어서, 그들은 비디오를 시청할 수 있고 할당된 햅틱 효과들을 느낄 수 있고 스티커를 볼 수 있다.
사용자에 의해 생성되는 콘텐츠 저작을 위한 예시적 시스템
도 1a는 사용자에 의해 생성되는 콘텐츠 저작을 위한 예시적인 시스템(100)을 도시한다. 특히, 이 예에 있어서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이싱된 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형의(tangible)(그리고 비-일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는, 컴퓨팅 디바이스의 동작을 구성하는 프로그램 컴포넌트들을 수록한다. 이 예에 있어서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입력/출력(I/O) 인터페이스 컴포넌트들(112) 및 부가적인 저장소(114)를 더 포함한다.
네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상의 컴포넌트들을 나타낼 수 있다. 예시는 이더넷(Ethernet), USB, IEEE 1394와 같은 유선 인터페이스 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크에 액세스하기 위한 라디오 인터페이스(예컨대, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 트랜스시버(transceiver)/안테나)와 같은 무선 인터페이스를 포함하지만, 이에 제한되지는 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이들, 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들(예를 들면, 모바일 디바이스의 전방 또는 후방을 향하는 카메라), 및/또는 데이터를 입력하거나 데이터를 출력하는데 사용되는 다른 하드웨어와 같은 디바이스들로의 접속을 용이하게 하는데 사용될 수도 있다. 저장소(114)는 디바이스(101)에 포함된 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 저장소를 나타낸다.
오디오/비주얼 출력 디바이스(들)(115)는 프로세서(들)(102)로부터 신호들을 수신하고 오디오 또는 비주얼 출력을 사용자에게 제공하도록 구성된 하나 이상의 디바이스를 포함할 수 있다. 예를 들면, 어떤 실시예들에서, 오디오/비주얼 출력 디바이스(들)(115)는 터치-스크린 디스플레이, LCD 디스플레이, 플라스마 디스플레이, CRT 디스플레이, 프로젝션 디스플레이 또는 당해 기술 분야에 알려져 있는 어떤 다른 디스플레이 등과 같은 디스플레이를 포함할 수 있다. 또한, 오디오/비주얼 출력 디바이스들은 사용자에게 오디오를 출력하도록 구성된 하나 이상의 스피커를 포함할 수 있다.
시스템(100)은, 이 예에 있어서, 디바이스(101)에 통합되는 터치 표면(116)을 더 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성된 임의의 표면을 나타낸다. 하나 이상의 센서(108)는 객체가 터치 표면에 접촉할 때 터치 영역에서 터치를 검출하고 프로세서(102)에 의해 사용될 적절한 데이터를 제공하기 위해 구성될 수 있다. 임의의 적절한 수, 타입 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 저항식 및/또는 용량식 센서들이 터치 표면(116)에 내장되고, 터치의 위치 및 압력과 같은 다른 정보를 결정하는데 사용될 수도 있다. 다른 예로서, 터치 표면의 뷰를 갖는 광학식 센서들이 터치 포지션을 결정하는데 사용될 수도 있다. 어떤 실시예들에서, 센서(108) 및 터치 표면(116)은 터치-스크린 또는 터치-패드를 포함할 수 있다. 예를 들어, 어떤 실시예들에서, 터치 표면(116) 및 센서(108)는 디스플레이 신호를 수신하고 사용자에게 화상을 출력하도록 구성된 디스플레이 위에 탑재된 터치-스크린을 포함할 수 있다. 다른 실시예들에 있어서, 센서(108)는 LED 검출기를 포함할 수도 있다. 예를 들어, 일 실시예에 있어서, 터치 표면(116)은 디스플레이의 측면 상에 탑재된 LED 핑거 검출기를 포함할 수도 있다. 어떤 실시예들에 있어서, 프로세서는 단일 센서(108)와 통신하며, 다른 실시예들에 있어서, 프로세서는 복수의 센서들(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다. 어떤 실시예들에서 하나 이상의 센서(들)(108)는 또한 모바일 디바이스의 움직임을 검출하도록 구성된 하나 이상 센서(예를 들면, 가속도계, 자이로스코프, 카메라, GPS, 또는 다른 센서들)를 포함할 수 있다. 이러한 센서들은 디바이스를 X, Y, 또는 Z 평면에서 움직이는 사용자 상호작용을 검출하도록 구성될 수 있다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여, 신호들을 프로세서(102)로 송신하도록 구성된다. 어떤 실시예들에 있어서, 센서(108)는 사용자 상호작용의 다중의 양태들을 검출하도록 구성될 수도 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 통합할 수도 있다. 또한, 어떤 실시예들에서, 사용자 상호작용은 디바이스로부터 떨어진 다차원 사용자 상호작용을 포함한다. 예를 들면, 어떤 실시예들에서 디바이스와 연관된 카메라는 사용자의 움직임, 예를 들어, 손, 손가락, 몸체, 머리, 눈, 또는 발 움직임, 또는 다른 사람 또는 객체와의 상호작용들을 검출하도록 구성될 수 있다.
어떤 실시예들에서, 입력은 제스처를 포함할 수 있다. 제스처는 의미(meaning) 또는 사용자 의도(intent)를 전달하는 신체의 임의의 움직임이다. 단순한 제스처들을 결합하여 더 복잡한 제스처를 형성할 수 있다는 것을 인식할 것이다. 예를 들면, 손가락을 터치 감응 표면에 접촉하는 것은 "손가락 접촉(finger on)" 제스처라고 말할 수 있으며, 반면에 터치 감응 표면에서 손가락을 떼는 것은 "손가락 이탈(finger off)" 제스처라고 말할 수 있다. 만일 "손가락 접촉"과 "손가락 이탈" 제스처 간의 시간이 비교적 짧다면, 결합된 제스처는 "태핑(tapping)"이라고 말할 수 있고, 만일 "손가락 접촉"과 "손가락 이탈" 제스처 간의 시간이 비교적 길다면, 결합된 제스처는 "장시간 태핑"이라고 말할 수 있고, 만일 "손가락 접촉"과 "손가락 이탈" 제스처의 2차원(x, y) 위치들 간의 거리가 비교적 크다면, 결합된 제스처는 "스와이핑(swiping)"이라고 말할 수 있고, 만일 "손가락 접촉"과 "손가락 이탈" 제스처의 2차원(x, y) 위치들 간의 거리가 비교적 작다면, 결합된 제스처는 "스미어링(smearing)", "스머징(smudging)" 또는 "플리킹(flicking)"이라고 말할 수 있다. 단순하거나 복잡한 임의 수의 2차원 또는 3차원 제스처를 어떤 방식으로든 결합하여 다음으로 한정되지 않지만 복수의 손가락 접촉, 손바닥 또는 주먹 접촉, 또는 해당 디바이스에 근접한 것을 포함하여 몇 개의 다른 제스처라도 형성할 수 있다. 제스처는 또한 가속도계, 자이로스코프, 또는 다른 모션 센서를 구비한 디바이스에 의해 인식되어, 전자 신호로 변환되는 어떤 형태의 손 움직임이라도 될 수 있다. 이러한 전자 신호는 가상 주사위(virtual dice)를 흔드는 것 등의 동적 효과를 활성화할 수 있으며, 이 경우 센서는 동적 효과를 생성하는 사용자 의도를 캡처한다.
이 예에서, 프로세서(102)와 통신하는 햅틱 출력 디바이스(118)는 터치 표면(116)에 결합되어 있다. 어떤 실시예들에 있어서, 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 터치 표면 상의 질감을 시뮬레이션하는 햅틱 효과를 출력하도록 구성된다. 부가적으로 또는 대안적으로, 햅틱 출력 디바이스(118)는 터치 표면을 제어된 방식으로 움직이는 진동촉각 햅틱 효과들을 제공할 수도 있다. 일부 햅틱 효과들은 디바이스의 하우징에 결합된 액추에이터를 활용할 수도 있고, 일부 햅틱 효과들은 다중의 액추에이터들을 차례로 및/또는 일제히 사용할 수도 있다. 예를 들어, 어떤 실시예들에 있어서, 표면 질감은 표면을 상이한 주파수들로 진동함으로써 시뮬레이션될 수도 있다. 이러한 실시예에서, 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전기-자기 액추에이터, 음성 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM; eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA; linear resonant actuator) 중 하나 이상을 포함할 수 있다. 어떤 실시예들에 있어서, 햅틱 출력 디바이스(118)는 복수의 액추에이터들, 예를 들어, ERM 및 LRA를 포함할 수도 있다.
어떤 실시예들에서, 하나 이상의 햅틱 출력 디바이스는 디바이스에 대하여 X, Y, 또는 Z 평면에서 힘들을 출력하도록 구성될 수 있다. 어떤 실시예들에서, 이러한 효과들은 디스플레이 내의 객체가 움직이는 느낌을 시뮬레이션하도록 형성될 수 있다. 예를 들어, 일 실시예에서, 다차원 햅틱 효과는 X-평면(좌 또는 우), Y-평면 (상 또는 하), Z-평면(디스플레이의 안으로 또는 밖으로)에서 움직이는 (후술하는 바와 같이 적용된 스티커 등과 같은) 객체, 또는 이러한 평면들 각각에서의 벡터들을 시뮬레이션하도록 구성될 수 있다. 이러한 다차원 햅틱 효과들은 특징들을 시뮬레이션할 수 있다.
여기서는 단일의 햅틱 출력 디바이스(118)가 도시되지만, 실시예들은 햅틱 효과들을 출력하기 위해, 예를 들어, 터치 표면 상의 표면 질감을 시뮬레이션하기 위해 동일하거나 상이한 타입의 복수의 햅틱 출력 디바이스를 이용할 수 있다. 예를 들어, 일 실시예에 있어서, 압전 액추에이터가, 예를 들어, 어떤 실시예들에 있어서 20 내지 25 kHz보다 큰 주파수들에서 움직이는 액추에이터를 이용함으로써, 터치 표면(116)의 일부 또는 그 모두를 초음파 주파수들에서 수직으로 및/또는 수평으로 변위시키도록 이용될 수도 있다. 어떤 실시예들에서, 편심 회전 질량 모터 및 선형 공진 액추에이터와 같은 복수의 액추에이터들이 상이한 질감 및 기타의 햅틱 효과를 제공하기 위해 단독으로 또는 일제히 이용될 수 있다.
또 다른 실시예들에서, 햅틱 출력 디바이스(118)는 터치 표면(116)의 표면상의 감촉을 시뮬레이션하기 위해, 예를 들어, 정전기 표면 액추에이터를 이용함으로써, 정전기 인력을 이용할 수 있다. 유사하게, 어떤 실시예들에 있어서, 햅틱 출력 디바이스(118)는 사용자가 터치 표면(116)의 표면 상에서 느끼는 마찰을 변경하기 위해 정전기 인력을 이용할 수 있다. 예를 들어, 일 실시예에 있어서, 햅틱 출력 디바이스(118)는 기계적 움직임 대신 전압들 및 전류들을 인가하여 햅틱 효과를 생성하는 정전기 디스플레이 또는 임의의 다른 디바이스를 포함할 수도 있다. 그러한 실시예에서, 정전기 액추에이터는 도전층 및 절연층을 포함할 수 있다. 그러한 실시예에서, 도전층은 임의의 반도체 또는, 구리 알루미늄, 금, 또는 은과 같은 다른 도전성 재료일 수도 있다. 그리고 절연층은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 재료일 수도 있다.
프로세서(102)는 전기 신호를 도전층에 인가함으로써 정전기 액추에이터를 동작시킬 수도 있다. 전기 신호는, 어떤 실시예들에 있어서 도전층을, 터치 표면(116)과 접촉하거나 그 근방에 있는 객체와 용량성 결합시키는 AC 신호일 수도 있다. 어떤 실시예들에 있어서, AC 신호는 고전압 증폭기에 의해 생성될 수도 있다. 다른 실시예들에 있어서, 용량성 결합은 터치 표면(116)의 표면 상의 마찰 계수 또는 질감을 시뮬레이션할 수도 있다. 예를 들어, 일 실시예에 있어서, 터치 표면(116)의 표면은 매끄러울 수도 있지만, 용량성 결합은 터치 표면(116)의 표면 근방의 객체와의 사이에 인력을 생성할 수도 있다. 어떤 실시예들에 있어서, 객체와 도전층 간의 인력의 레벨들을 변경하는 것은 터치 표면(116)의 표면을 가로질러 이동하는 객체 상의 시뮬레이션된 질감을 변경하거나, 또는 객체가 터치 표면(116)의 표면을 가로질러 이동함에 따라 느껴지는 마찰 계수를 변경할 수 있다. 또한, 어떤 실시예들에서, 정전기 액추에이터는 종래의 액추에이터들과 함께 사용되어, 터치 표면(116)의 표면 상의 시뮬레이션된 질감을 변경할 수도 있다. 예를 들어, 액추에이터들은 터치 표면(116)의 표면의 질감에서의 변화를 시뮬레이션하기 위해 진동할 수 있으면서, 한편 그와 동시에, 한 정전기 액추에이터가 터치 표면(116)의 표면 상의 또는 컴퓨팅 디바이스(101)의 다른 부분(예를 들어, 그것의 하우징 또는 다른 입력 디바이스) 상의 상이한 질감 또는 다른 효과들을 시뮬레이션할 수 있다.
통상의 기술자라면, 마찰의 계수를 변화시키는 것 또는 표면 상의 질감을 시뮬레이션하는 것 등과 같은 햅틱 효과들을 출력하기 위해 복수의 기술들이 이용될 수 있다는 것을 이해할 것이다. 예를 들어, 어떤 실시예들에서, 질감은, (예를 들어, 섬유, 나노튜브, 전기 활성 폴리머, 압전 소자, 또는 형상 기억 합금을 포함하지만, 이것으로 제한되지 않는) 표면 재구성가능한 햅틱 기판(surface reconfigurable haptic substrate) 또는 자기유변학적 유체(magnetorheological fluid)로부터의 접촉에 기초하여 그 질감을 변화시키도록 구성된 가요성 표면층을 이용하여 시뮬레이션 또는 출력될 수 있다. 다른 실시예에 있어서, 표면 질감은, 예를 들어, 변형 메커니즘, 에어 또는 유체 포켓들, 재료들의 국부적인 변형, 공진 기계 엘리먼트들, 압전 재료들, 마이크로 전자기계 시스템(micro-electromechanical systems)("MEMS") 엘리먼트들, 열적 유체 포켓들, MEMS 펌프들, 가변 다공성 멤브레인들, 또는 층류 변조로, 하나 이상의 표면 피처들을 상승 또는 하강함으로써 변경될 수도 있다.
어떤 실시예들에 있어서, 정전기 액추에이터는, 터치 표면(116)과 접촉하거나 또는 그 근방에 있는 신체의 부분들을 자극함으로써 햅틱 효과를 생성하도록 사용될 수도 있다. 예를 들어, 어떤 실시예들에서, 정전기 액추에이터는, 사용자 손가락의 피부 내의 신경 말단, 또는 정전기 액추에이터에 응답할 수 있는 스타일러스 내의 컴포넌트를 자극할 수 있다. 피부의 신경 말단들은, 예를 들어, 자극될 수 있고, 진동 또는 일부 더 특정한 감각으로서 정전기 액추에이터(예를 들어, 용량성 결합)를 감지할 수도 있다. 예를 들어, 일 실시예에 있어서, 정전기 액추에이터의 도전층은, 사용자의 손가락의 도전 부분들과 결합하는 AC 전압 신호를 수신할 수도 있다. 사용자가 터치 표면(116)을 터치하고 그 손가락을 터치 표면 상에서 움직임에 따라, 사용자는 따끔거림, 오돌토돌함, 울퉁불퉁함, 거칠거칠함, 끈적끈적함의 질감, 또는 기타 다른 질감을 감지할 수도 있다.
메모리(104)와 관련하여, 어떤 실시예들에서 유저에 의해 생성된 콘텐츠 저작을 제공하도록 디바이스가 구성될 수 있는 방법을 설명하기 위해 예시적인 프로그램 컴포넌트(124, 126, 128)가 묘사된다. 이 예에 있어서, 검출 모듈(124)은 터치의 포지션을 결정하기 위해 센서(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부재를 추적하고, 터치가 존재한다면, 시간 경과에 따른 터치의 위치, 경로, 속도, 가속도, 압력, 및/또는 다른 특성 중 하나 이상을 추적하기 위해 센서(108)를 샘플링할 수도 있다.
햅틱 효과 결정 모듈(126)은 생성할 햅틱 효과를 선택하기 위해 터치 특성들에 관한 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 예를 들면, 일 실시예에서, 모듈(126)은, 터치의 위치에 기초하여, 생성할 햅틱 효과를 결정하는 코드를 포함한다. 예를 들어, 햅틱 효과 결정 모듈(126)은 사용자에 의해 선택될 수 있는 하나 이상의 사전에 로드된 햅틱 효과를 포함할 수 있다. 이러한 햅틱 효과들은 햅틱 출력 디바이스(들)(118)가 생성할 수 있는 임의의 타입의 햅틱 효과를 포함할 수 있다. 또한, 어떤 실시예들에서, 모듈(126)은 햅틱 효과의 특성, 예를 들어, 효과의 강도, 주파수, 지속시간, 듀티 사이클, 또는 햅틱 효과와 연관된 임의의 다른 특성을 조작하기 위해 구성된 프로그램 코드를 포함할 수 있다. 어떤 실시예들에서, 모듈(126)은 사용자가 예를 들면, 그래픽 사용자 인터페이스를 통해, 이러한 특성들을 조작하는 것을 허용하기 위한 프로그램 코드를 포함할 수 있다.
또한, 어떤 실시예들에서, 모듈(126)은 사용자 상호작용에 기초하여 햅틱 효과를 결정하도록 구성된 프로그램 코드를 포함할 수 있다. 예를 들면, 모듈(126)은 터치 표면(116) 상의, 또는 모바일 디바이스의 운동을 검출하도록 구성된 관성 센서들 등과 같은 다른 센서들 상의 사용자 입력을 모니터링하도록 구성될 수 있다. 모듈(126)은 이 입력을 검출하고 이 입력에 기초하여 햅틱 효과를 생성할 수 있다. 예를 들면, 어떤 실시예들에서 모듈(126)은 사용자 상호작용을 시뮬레이션하기 위해 구성된 햅틱 효과를 결정하도록 구성될 수 있다.
햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하여 햅틱 출력 디바이스(118)로 송신하게 하는 프로그래밍을 나타내며, 이 햅틱 신호는 햅틱 출력 디바이스(118)로 하여금 선택된 햅틱 효과를 생성하게 한다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)로 전송하기 위해 저장된 파형들 또는 커맨드들에 액세스할 수도 있다. 또 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 질감을 수신하고 신호 처리 알고리즘들을 이용하여 햅틱 출력 디바이스(118)에 전송할 적절한 신호를 생성할 수 있다. 추가의 예로서, 원하는 질감이 햅틱 효과에 대한 목표 좌표들 및 햅틱 효과를 제공하기 위해 표면(및/또는 다른 디바이스 컴포넌트들)의 적절한 변위를 생성할 하나 이상의 액추에이터에 전송되는 적절한 파형과 함께 표시될 수 있다. 일부 실시예들은 햅틱 효과를 출력하기 위해 복수의 햅틱 출력 디바이스들을 일제히 이용할 수 있다. 예를 들어, 진동촉각 효과가 버튼이 눌러졌다는 것을 시뮬레이션하면서, 질감의 변화가 인터페이스 상의 버튼 간의 경계를 교차하는 것을 시뮬레이션하기 위해 이용될 수 있다.
터치 표면은 컴퓨팅 시스템의 특정 구성에 의존하여 디스플레이를 오버레이(또는 다른 방법으로 디스플레이에 대응)할 수도 있거나 하지 않을 수도 있다. 도 1b에 있어서, 컴퓨팅 시스템(100B)의 외부도가 도시된다. 컴퓨팅 디바이스(101)는 그 디바이스의 터치 표면과 디스플레이를 결합한 터치 가능형 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외부, 또는 실제 디스플레이 컴포넌트들 위의 하나 이상의 재료층들에 대응할 수도 있다.
도 1c는 터치 표면이 디스플레이를 오버레이하지 않는 터치 가능형 컴퓨팅 시스템(100C)의 다른 예를 보여준다. 이 예에서, 컴퓨팅 디바이스(101)는 디바이스(101)에 접속된 컴퓨팅 시스템(120)에 포함되어 있는 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 매핑될 수 있는 터치 표면(116)을 특별히 포함하고 있다. 예를 들어, 컴퓨팅 디바이스(101)는 마우스, 트랙패드, 또는 다른 디바이스를 포함할 수도 있으며, 컴퓨팅 시스템(120)은 데스크탑 또는 랩탑 컴퓨터, 셋탑 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스), 또는 다른 컴퓨팅 시스템을 포함할 수도 있다. 다른 예로서, 터치 표면(116) 및 디스플레이(122)는, 디스플레이(122)를 포함하는 랩탑 컴퓨터에서의 터치 가능형 트랙패드와 같이 동일 디바이스에 배치될 수도 있다. 디스플레이와 통합되든 아니든, 본 명세서에서의 예들에 있어서의 평면형 터치 표면들의 도시는 한정적인 것으로 의미되지 않는다. 다른 실시예들은, 표면 기반 햅틱 효과들을 제공하도록 더 구성되는 곡선형 또는 부정형(irregular) 터치 가능형 표면들을 포함한다.
도 2a 및 도 2b는 사용자에 의해 생성되는 콘텐츠 저작을 위한 디바이스의 예시적 실시예를 설명한다. 도 2a는, 터치 가능형 디스플레이(202)를 특히 포함하는 컴퓨팅 디바이스(201)를 포함한 시스템(200)의 외부도를 도시한 다이어그램이다. 도 2b는 디바이스(201)의 단면도를 도시한다. 명료화를 위해 프로세서, 메모리, 센서들 등과 같은 컴포넌트들이 이 도면에 도시되지 않지만, 디바이스(201)는 도 1a의 디바이스(101)와 유사하게 구성될 수 있다.
도 2b에서 볼 수 있는 바와 같이, 디바이스(201)는 복수의 햅틱 출력 디바이스들(218) 및 부가의 햅틱 출력 디바이스(222)를 특히 포함한다. 햅틱 출력 디바이스(218-1)는 수직력을 디스플레이(202)에 부여하도록 구성된 액추에이터를 포함할 수 있는데 반해, 햅틱 출력 디바이스(218-2)는 디스플레이(202)를 측방향으로 이동시킬 수 있다. 이 예에서, 햅틱 출력 디바이스들(218, 222)은 디스플레이에 직접 결합되지만, 햅틱 출력 디바이스들(218, 222)은 디스플레이(202)의 상부의 재료층 등과 같은 또 다른 터치 표면에 결합될 수 있다는 것을 이해하여야 한다. 또한, 햅틱 출력 디바이스들(218 또는 222) 중 하나 이상은 상기 논의된 바와 같은 정전기 액추에이터를 포함할 수 있음을 이해해야 한다. 또한, 햅틱 출력 디바이스(222)는, 디바이스(201)의 컴포넌트들을 포함하는 하우징에 결합될 수도 있다. 도 2a 및 도 2b의 예들에 있어서, 디스플레이(202)의 영역은 터치 영역에 대응하지만, 그 원리들은 디스플레이로부터 완전히 분리된 터치 표면에 적용될 수 있다.
일 실시예에 있어서, 햅틱 출력 디바이스들(218) 각각은 압전 액추에이터를 포함하지만, 부가의 햅틱 출력 디바이스(222)는 편심 회전 질량 모터, 선형 공진 액추에이터, 또는 다른 압전 액추에이터를 포함한다. 햅틱 출력 디바이스(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉각 햅틱 효과는 표면 기반 햅틱 효과들과 함께 및/또는 다른 목적으로 활용될 수 있다. 예를 들어, 각각의 액추에이터는 디스플레이(202)의 표면 상에서 질감을 시뮬레이션하기 위해 함께 이용될 수 있다.
어떤 실시예들에 있어서, 햅틱 출력 디바이스들(218-1, 218-2) 중 어느 하나 또는 그 둘 다가 압전 액추에이터와는 다른 액추에이터를 포함할 수 있다. 액추에이터들 중 임의의 액추에이터는, 예를 들어, 압전 액추에이터, 전자기 액추에이터, 전기 활성 폴리머, 형상 기억 합금, 가요성 복합 피에조 액추에이터(예를 들어, 가요성 재료를 포함한 액추에이터), 정전기, 및/또는 자기변형 액추에이터들을 포함할 수 있다. 또한, 햅틱 출력 디바이스(222)가 도시지만, 복수의 다른 햅틱 출력 디바이스들이 디바이스(201)의 하우징에 결합될 수 있고/있거나 햅틱 출력 디바이스들(222)이 다른 곳에 결합될 수 있다. 디바이스(201)는, 서로 다른 위치들에서 터치 표면에 결합된 복수의 햅틱 출력 디바이스들(218-1/218-2)을 특히 포함할 수 있다.
이제 도 3a를 살펴보면, 도 3a는 본 개시의 일 실시예에 따른 사용자에 의해 생성되는 콘텐츠 저작을 위한 실시예를 포함한다. 도 3a에 도시된 실시예는 컴퓨팅 디바이스(300)를 포함한다. 도 3a에 도시된 바와 같이, 컴퓨팅 디바이스(300)는 터치-스크린 디스플레이(302)를 포함한다. 또한, 도 3a에 도시된 바와 같이, 복수의 비디오들(304)이 사용자 선택을 위해 가용적이다. 비디오들(304)은 국지적으로 저장된 비디오들, 전용 데이터베이스, 원격 데이터베이스(예를 들면, 인터넷 액세스 가능한 데이터베이스)에 저장된 비디오들, 컴퓨팅 디바이스(300)의 가용의 카메라를 이용하여 캡처된 비디오들, 또는 어떤 다른 타입의 비디오 등과 같은 임의의 개수의 가용의 비디오들을 포함할 수 있다.
도 3a에 도시된 실시예에서, 사용자는 비디오와 상호작용하는 제스처를 함으로써 비디오들(304) 중 하나 이상을 선택할 수 있다. 예를 들면, 도 3a에 도시된 실시예에서 사용자는 터치-스크린(302) 상에서 제스처를 행함으로써 비디오(304)와 상호작용할 수 있다. 다른 실시예들에서, 사용자는 컴퓨터 마우스, 터치-패드, 또는 다른 사용자 인터페이스 디바이스를 사용하여 비디오를 선택함으로써 비디오와 상호작용할 수 있다. 일단 사용자가 비디오들 중 하나를 선택하면, 사용자는 본 명세서에서 기술된 시스템들 및 방법들을 이용하여 사용자에 의해 생성된 콘텐츠를 비디오에 적용할 수 있다.
도 3b는 본 개시의 일 실시예에 따른 사용자에 의해 생성되는 콘텐츠 저작을 위한 실시예를 포함한다. 도 3b에 도시된 실시예는 컴퓨팅 디바이스(350)를 포함한다. 도 3b에 도시된 바와 같이, 컴퓨팅 디바이스(350)는 터치-스크린 디스플레이(302)를 포함한다. 도 3b에 도시된 바와 같이, 사용자는 가용의 비디오들 중 하나를 선택했고, 이제 사용자에 의해 생성된 콘텐츠를 적용하고 있다.
도 3b에 도시된 바와 같이, 모바일 디바이스(350)는 비디오 위치들(352)의 타임라인을 나타내는 사용자 인터페이스를 포함한다. 어떤 실시예들에서, 비디오 위치들(352)은 선택된 비디오 내의 프레임들의 미니어처들을 포함한다. 터치-스크린(302)의 우측에서의 비디오 위치들(352A)은 비디오의 초기의 위치들을 포함할 수 있다. 터치-스크린의 좌측의 비디오 위치들(352B)은 비디오의 끝을 향한 위치들을 포함할 수 있다. 사용자는 햅틱 효과를 배치하기 위해 비디오 위치(352)를 선택하도록 제스처를 행할 수 있다. 사용자가 비디오 위치를 선택할 때 디스플레이 영역(354)은 비디오 내의 그 위치의 더 큰 화상을 나타낼 수 있다. 일단 사용자가 위치를 선택하면, 사용자는 본 명세서에서 기술된 시스템들 및 방법들을 이용하여 햅틱 효과들 등과 같은 사용자에 의해 생성된 콘텐츠를 비디오 내의 그 위치에 적용할 수 있다. 도 3b에 도시된 바와 같이, 어떤 실시예들에서, 비디오 위치들(352)의 이 타임라인은 디스플레이 영역(354)에 비디오를 오버레이할 수 있다.
도 4a는 본 개시의 일 실시예에 따른 사용자에 의해 생성되는 콘텐츠 저작을 위한 실시예를 포함한다. 도 4a에 도시된 실시예는 컴퓨팅 디바이스(400)를 포함한다. 도 4a에 도시된 바와 같이, 컴퓨팅 디바이스(400)는 터치-스크린 디스플레이(402)를 포함한다. 도 4a에 도시된 바와 같이, 사용자는 비디오 내에 위치를 선택하기 위해 제스처를 행했고, 이제 햅틱 효과를 적용하고 있다. 도 4에 도시된 바와 같이, 사용자는 예시적 햅틱 효과들(404) 중 하나를 선택할 수 있다. 예를 들어, 사용자는 그 햅틱 효과를 선택하기 위해 햅틱 효과(404)와 연관된 위치에서 터치-스크린(402)과 상호작용하기 위해 제스처를 행할 수 있다. 일단 사용자가 햅틱 효과를 할당하면, 효과는 비디오 내의 선택된 위치와 연관될 것이다.
도 4a에 도시된 바와 같이, 사용자는 복수의 상이한 타입들의 가용의 햅틱 효과들(404) 중 하나를 선택할 수 있다. 예를 들어, 도 4a에 도시된 바와 같이, 사용자는 촉각 효과들, 감정 기반 효과들, 또는 동작 기반 효과들 등과 같은 광범위한 카테고리의 햅틱 효과들 중에서 선택할 수 있다. 또한, 이러한 효과들은 예를 들어, 상승(ramp up), 하강(ramp down), 범프, 날카로운 히트, 이중 히트, 질감, 마찰, 심장박동, 반짝임, 놀람, 감탄, 천사, 환호, 쉭 소리, 팡 소리, 탕 소리, 펑 소리, 굉음, 휙 움직임, 또는 진동, 표면 기반 효과들, 표면 변형들을 이용하여 생성될 수 있는 어떤 다른 타입의 햅틱 효과, 또는 당해 기술 분야에 알려져 있는 다른 타입들의 햅틱 효과들을 포함할 수 있다.
다른 실시예들에서, 사용자는 햅틱 효과를 생성할 수 있다. 예를 들면, 사용자는 디바이스를 가지고 제스처를 행함(예를 들어, 디바이스를 흔들거나 또는 디바이스 상의 위치를 누름)으로써 햅틱 효과를 생성할 수 있다. 이 제스처는 모바일 디바이스 상의 하나 이상 센서(예를 들면, 심박수 센서, 가속도계, 또는 움직임을 검출하도록 구성된 센서)에 의해 캡처될 수 있고 햅틱 효과로 변환될 수 있다. 또한, 어떤 실시예들에서, 사용자는 단일 위치 또는 비디오 전체에 걸쳐 복수의 위치들에 복수의 햅틱 효과들을 적용할 수 있다.
또한, 어떤 실시예들에서 모바일 디바이스(400)는 햅틱 효과의 특성, 예를 들어, 효과의 강도, 주파수, 지속시간, 듀티 사이클, 또는 햅틱 효과와 연관된 임의의 다른 특성을 사용자가 조작하는 것을 허용하도록 구성된 사용자 인터페이스를 표시하기 위한 프로그램 코드를 포함할 수 있다. 이것은 사용자가 이미 존재하는 햅틱 효과를 취하고 특정 비디오, 예를 들어, 사용자가 다른 사용자들과 함께 공유하려고 하는 비디오를 위해 그 효과를 개인화하도록 허용할 수 있다.
도 4b는 본 개시의 일 실시예에 따른 사용자에 의해 생성되는 콘텐츠 저작을 위한 실시예를 포함한다. 도 4b에 도시된 실시예는 컴퓨팅 디바이스(450)를 포함한다. 도 4b에 도시된 바와 같이, 컴퓨팅 디바이스(450)는 터치-스크린 디스플레이(402)를 포함한다. 도 4b에 도시된 바와 같이, 사용자는 비디오 내의 위치를 이미 선택했고 비디오 내에 햅틱 효과를 배치시키기 위한 제스처를 행했다. 도 4b에 도시된 실시예에서, 사용자는 비디오 내의 햅틱 효과의 위치를 미세 조정할 수 있다. 예를 들면, 도 4에 도시된 바와 같이, 사용자는 햅틱 효과를 전방으로 살살 밀거나(예를 들면, .2초 등과 같은 소량만큼 효과를 전진시킴) 또는 햅틱 효과를 후방으로 살살 밀기(예를 들면, .2초 등과 같은 소량만큼 효과를 후진시킴) 위해 제스처를 행할 수 있다. 사용자는 또한 비디오로부터 효과를 삭제할 수 있다.
또한, 도 4b에 도시된 바와 같이, 특징부(454)는 비디오의 길이와의 비교에 의해 햅틱 효과의 지속시간을 나타낸다. 도 4b에 도시된 실시예에서, 특징부(454)는 전체 비디오의 길이와 비교하여 햅틱 효과의 지속시간과 일치하는 길이를 가진 오버레이를 포함한다. 그래서, 예를 들면, 도 4b에 도시된 실시예에서, 비디오는 특징부(454)에 의해 표현된 효과의 지속시간의 배수인 지속시간을 포함할 수 있다. 어떤 실시예들에서, 사용자는 햅틱 효과의 지속시간을 증가시키거나 감소시킬 수 있고 특징부(454)의 비견할 만한 길이는 대응하는 변화를 가질 수 있다.
도 5a는 본 개시의 일 실시예에 따른 사용자에 의해 생성되는 콘텐츠 저작을 위한 실시예를 포함한다. 도 5a에 도시된 실시예는 컴퓨팅 디바이스(500)를 포함한다. 도 5a에 도시된 바와 같이, 컴퓨팅 디바이스(500)는 터치-스크린 디스플레이(502)를 포함한다. 도 5a에 도시된 실시예에서 사용자는 비디오 내의 위치에 스티커 또는 태그를 적용하고 있다. 스티커는 콘텐츠 저작 인터페이스를 통해 이미 생성되었고 사용자에게 가용인 애니메이션 또는 그래픽을 포함할 수 있다. 이러한 스티커들은 도 5a에 스티커들(504)로서 도시된다. 어떤 실시예들에서, 스티커는 사용자에 의해 생성된 그래픽 또는 애니메이션, 또는 선택적으로 오디오 효과를 포함할 수 있다. 예를 들어, 사용자는 예를 들어, 그림 그리기 애플리케이션에의 플러그인에 의해, 새로운 스티커를 그릴 수 있거나, 또는 예를 들어, 스티커에 텍스트 또는 애니메이션을 부가함으로써, 기존 스티커를 수정할 수 있는 별도의 그리기 모드에 진입할 수 있다.
도 5에 도시된 실시예에서, 사용자는 햅틱 효과를 비디오에 적용하기 위해 사용자가 행했던 것들과 유사한 동작들을 행함으로써 비디오 내의 위치에 스티커를 적용할 수 있다. 예를 들어, 도 5에 도시된 실시예에서, 사용자는 비디오 내에 특정 위치에 하트 모양의 스티커를 적용할 수 있다. 어떤 실시예들에서 이 위치는 연관된 햅틱 효과와 동일한 위치일 수 있다. 예를 들면, 사용자는 하트 모양의 스티커 및 또한 심장 박동을 시뮬레이션하도록 구성된 햅틱 효과를 비디오 내의 동일한 위치에 적용할 수 있다. 다른 실시예들에서, 사용자는 또한 햅틱 효과와 연관되지 않은 위치들에 스티커를 적용할 수 있다. 또한, 어떤 실시예들에서, 사용자는 대응하는 햅틱 효과와 연관될 수 있거나 또는 연관되지 않을 수 있는 위치들에 복수의 스티커들을 적용할 수 있다.
도 5b는 본 개시의 일 실시예에 따르면 사용자에 의해 생성되는 콘텐츠 저작을 위한 실시예를 포함한다. 도 5b에 도시된 실시예는 컴퓨팅 디바이스(550)를 포함한다. 도 5b에 도시된 바와 같이, 컴퓨팅 디바이스(550)는 터치-스크린 디스플레이(502)를 포함한다. 도 5b에 도시된 실시예에서, 사용자는 하나 이상의 햅틱 효과 및 하나 이상의 스티커를 이미 선택했고 할당했다. 도 5b에 도시된 실시예에서, 사용자는 그 후 비디오를 시청할 수 있다. 비디오 내의 할당된 위치들에서 컴퓨팅 디바이스(550)는 햅틱 효과들을 출력할 것이고 스티커들을 디스플레이할 것이다. 또한, 어떤 실시예들에서, 사용자는 비디오 및 연관된 햅틱 데이터를 공유할 수 있다. 예를 들면, 일 실시예에서, 사용자는 내장된 햅틱 데이터를 포함하는 비디오 파일을 공유할 수 있다. 다른 실시예에서, 사용자는 비디오 파일을 공유할 수 있고, 또한 햅틱 데이터를 포함하는 햅틱 트랙을 공유할 수 있다.
사용자에 의해 생성되는 콘텐츠 저작을 위한 예시적 방법들
도 6은 일 실시예에 따른 사용자에 의해 생성되는 콘텐츠 저작을 위한 방법을 수행하기 위한 단계들의 흐름도이다. 어떤 실시예들에서, 도 6의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스 또는 서버 내의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 어떤 실시예들에서, 이 단계들은 일군의 프로세서들에 의해 구현될 수 있다. 어떤 실시예들에서 도 6에 도시된 하나 이상의 단계는 생략될 수 있거나 또는 상이한 순서로 수행될 수 있다. 유사하게, 어떤 실시예들에서는, 도 6에 도시되지 않은 추가 단계들이 또한 수행될 수 있다. 하기에서는 도 1에 도시된 컴퓨팅 디바이스(100)에 관해 상기에서 설명한 컴포넌트들을 참고하여 그 단계들이 설명된다.
방법(600)은 단계 602에서, 컴퓨팅 디바이스(100)가 비디오 신호를 수신할 때 시작한다. 비디오 신호는 원격 데이터베이스(예를 들어, 인터넷 액세스 가능한 데이터베이스)로부터 수신된 비디오 신호, 예를 들어, 메모리(104) 또는 저장소(114) 등과 같은 데이터 스토어에 국지적으로 저장된 비디오 신호, 또는 컴퓨팅 디바이스(101)의 카메라를 이용하여 캡처된 비디오를 포함할 수 있다.
다음에, 프로세서(102)는 사용자 인터페이스를 표시한다(604). 어떤 실시예들에서, 프로세서는 사용자 인터페이스를 컴퓨팅 디바이스(101)의 터치-스크린 디스플레이 등과 같은, 디스플레이에 표시할 수 있다. 사용자 인터페이스는 도 3a 내지 도 5b에 관해 상기에서 설명한 타입의 터치 가능형 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스는 본 명세서에 기술된 실시예들에 따른 사용자에 의해 생성되는 콘텐츠 저작을 허용하기 위한 터치 가능형 기능성을 포함한다. 예를 들어, 사용자 인터페이스는 비디오 선택, 햅틱 효과 선택, 햅틱 효과 조정, 햅틱 효과 배치, 햅틱 효과 생성, 스티커 선택, 스티커 배치, 스티커 수정, 비디오 저장, 및 비디오 재생을 위한 인터페이스를 포함한다. 어떤 실시예들에서, 사용자는 제스처, 예를 들어, 사용자 인터페이스와 연관된 제스처를 행함으로써 비디오를 선택할 수 있다.
그 후 프로세서(102)는 햅틱 효과와 연관된 제스처를 검출한다(606). 어떤 실시예들에서, 제스처는 터치 표면(116)에의 사용자 입력을 포함할 수 있다. 일 실시예에서, 이 제스처는 이미 존재하는 햅틱 효과, 예를 들어, 터치-스크린 디스플레이의 표면 상에서의 제스처를 선택할 수 있다. 어떤 실시예들에서, 이 제스처는 하나 이상의 센서(들)(108)에 의해 검출되고 프로세서(102)에 의해 햅틱 효과로 변환되는 제스처를 포함할 수 있다. 전술한 바와 같이, 디바이스는 모바일 디바이스의 움직임을 검출하도록 구성된 하나 이상 센서, 및 표면 상호작용을 검출하도록 구성된 센서들을 포함할 수 있다. 사용자는 디바이스의 표면 상에서 제스처를 행할 수 있고(예를 들어, 터치, 탭, 또는 스와이프) 사용자는 또한 디바이스를 가지고 제스처를 행할 수 있다(예를 들어, 공간을 통해 디바이스를 움직이거나, 디바이스를 기울이거나, 선회시키거나, 흔들거나, 또는 회전시킴 등). 이러한 제스처는 센서들에 의해 캡처될 수 있다. 센서들은 그 후 프로세서에 제스처와 연관된 신호를 전송할 수 있다. 또한, 어떤 실시예들에서 제스처는 디바이스의 카메라(예를 들어, 모바일 디바이스 상의 전방 또는 후방을 향한 카메라 또는 원격 카메라)에 의해 캡처된 제스처를 포함할 수 있다. 카메라는 이 제스처를 캡처하고 프로세서(102)에 제스처와 연관된 신호를 전송할 수 있다. 단계 608에 대해 더 논의되는 바와 같이, 프로세서는 제스처를 시뮬레이션하도록 구성된 하나 이상의 햅틱 효과를 결정할 수 있다.
다음에 프로세서는 햅틱 효과를 결정한다(608). 어떤 실시예들에서, 프로세서(102)는 사용자 선택에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 도 4a에 대해 논의된 바와 같이, 사용자는 가용의 햅틱 효과를 선택할 수 있다. 예를 들어, 컴퓨팅 디바이스(101)의 데이터 스토어는 사용자가 선택할 수 있는 복수의 햅틱 효과들과 연관된 데이터를 포함할 수 있다. 또한, 사용자는 햅틱 효과와 연관된 특성들을 조절할 수 있다. 예를 들어, 사용자는 햅틱 효과와 연관된 지속시간, 주파수, 강도 또는 몇몇 다른 특성을 수정할 수 있다. 어떤 실시예들에서, 프로세서(102)는 자동적으로 햅틱 효과를 선택할 수 있다. 예를 들어, 어떤 실시예들에서, 프로세서(102)는 비디오 내에서 발생하는 이벤트들과 연관된 햅틱 효과를 선택할 수 있다. 이러한 이벤트들은 비주얼 이벤트들 또는 오디오 이벤트들을 포함할 수 있다. 예를 들어, 프로세서(102)는 발생하는 동작 이벤트들과 햅틱 효과를 연관시킬 수 있고, 예를 들어, 활강 스키어의 비디오에서 프로세서(102)는 스키어의 충돌들 각각과 연관된 햅틱 효과들을 결정할 수 있다. 대안적으로, 프로세서는 비디오, 예를 들어, 스키타기 비디오의 개시 총 발사와 연관된 날카로운 음향을 검출할 수 있고, 햅틱 효과를 이 음향과 연관시킬 수 있다.
어떤 실시예들에서 프로세서(102)는 비디오 신호 내의 오디오를 고려하지 않고서, 비디오 신호 내의 화상들에 기초하여 햅틱 효과를 결정할 수 있다. 다른 실시예들에서, 프로세서(102)는 비디오 신호의 화상 성분들을 사용하지 않고서, 햅틱 효과를 결정하기 위해 신호 내의 오디오를 이용할 수 있다. 어떤 실시예들에서, 프로세서(102)는 비디오 신호의 비주얼 및 오디오 부분들 양방을 이용할 수 있다. 또한, 어떤 실시예들에서, 프로세서(102)는 분리된 오디오 및 비디오 스트림들을 수신할 수 있고 햅틱 효과를 결정하기 위해 양방을 함께 또는 개별적으로 사용할 수 있다.
어떤 실시예들에서, 프로세서(102)는 제스처에 기초하여 새로운 햅틱을 생성할 수 있다. 예를 들어, 사용자는 디바이스와 상호작용함(예를 들어, 디바이스를 흔들거나 또는 디바이스 상의 위치를 누름)으로써 햅틱 효과를 생성할 수 있다. 이 상호작용은 모바일 디바이스의 하나 이상의 센서(들)(108)에 의해 캡처될 수 있고 햅틱 효과로 변환될 수 있다. 예를 들어, 일 실시예에서 사용자는 심하게 디바이스를 흔듦으로써 새로운 햅틱 효과를 생성할 수 있다. 이 흔들기는 관성 센서에 의해 검출될 수 있다. 프로세서(102)는 심하게 흔들리는 디바이스를 시뮬레이션하도록 구성된 햅틱 효과를 결정하기 위해 관성 센서로부터의 신호를 이용할 수 있다. 어떤 실시예들에서, 프로세서(102)는 사용자 상호작용과 연관된 특성에 기초하여 햅틱 효과를 결정한다. 예를 들어, 프로세서(102)는 사용자 상호작용의 타입, 위치, 지속시간, 또는 다른 특성에 기초하여 햅틱 효과를 결정할 수 있다. 또한, 프로세서(102)는 다차원 햅틱 효과를 결정할 수 있다. 예를 들어, 프로세서(102)는 아래쪽으로 디바이스를 움직인 제스처를 시뮬레이션하기 위해 Z-평면에 힘을 출력하는 햅틱 효과를 결정할 수 있다. 또한, 프로세서는 터치-스크린의 표면 상에서의 제스처를 시뮬레이션하기 위해 X 평면 또는 Y 평면에 출력할 햅틱 효과(예를 들어, 터치-스크린의 표면 상에서의 표면 기반 효과)도 결정할 수 있다. 어떤 실시예들에서, 이러한 햅틱 효과들은 비디오 내의 움직이는 객체(예를 들어, 비디오에 이미 있는 객체 또는 사용자에 의해 부가된 스티커)의 느낌을 시뮬레이션할 수 있다. 예를 들어, 햅틱 효과는 좌측으로부터 우측으로, 위로부터 아래로, 전방으로부터 후방으로 움직이는, 움직이면서 기울이는, 또는 디스플레이의 안쪽으로 또는 바깥쪽으로 움직이는 객체의 느낌을 시뮬레이션할 수 있다. 어떤 실시예들에서 이러한 햅틱 효과들은 디스플레이 상의 비주얼 효과들, 예를 들어, 비디오 내의 스티커와 연관된 애니메이션에 대응할 수 있다.
예를 들어, 일 실시예에서, 사용자는 터치-스크린의 좌측에 있는 객체를 탭핑한 다음 객체를 터치-스크린의 우측으로 움직임으로써 좌측에서 우측으로 움직이는 객체의 느낌을 시뮬레이션하도록 구성된 햅틱 효과를 생성할 수 있다. 프로세서는 디스플레이의 좌측으로부터 디스플레이의 우측으로 움직이는 객체의 "질량"을 시뮬레이션하도록 구성된 햅틱을 결정할 수 있다.
어떤 실시예들에서, 컴퓨팅 디바이스(101)는 연관된 "햅틱 프로필들"을 저장할 수 있는데, 사용자는 사용자에게 가용적이기를 원하는 햅틱 효과들의 "프로필"을 결정하여 메모리(104) 내에 저장할 수 있다. 예를 들어, 일 실시예에서, 사용자는 어느 햅틱 효과를 비디오에 삽입하고 싶은지를 옵션들의 목록에서 선택할 수 있다.
어떤 실시예들에서, 프로세서(102)는 컴퓨팅 디바이스(101) 상의 가용의 햅틱 출력 디바이스(들)(118)에 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 어떤 실시예들에서, 프로세서(102)는 컴퓨팅 디바이스(101)와 연관된 대역폭 제한들에 기초하여 햅틱 효과들을 결정할 수 있다. 예를 들어, 어떤 실시예들에서 컴퓨팅 디바이스(101)는 단지 하나의 햅틱 출력 디바이스(118)를 포함할 수 있다. 그러한 실시예에서, 프로세서(102)는 한번에 출력될 하나의 햅틱 효과를 결정할 수 있다. 다른 실시예들에서 컴퓨팅 디바이스(101)는 복수의 햅틱 출력 디바이스들(118)을 포함할 수 있다. 그러한 실시예들에서, 프로세서(102)는 출력될 복수의 중첩하는 햅틱 효과들을 결정할 수 있다. 또한, 그러한 실시예들에서, 프로세서(102)는 햅틱 출력 디바이스들(118)에 의해 동시에 출력된 두 개 이상의 햅틱 효과들의 조합에 의해 생성되는 고조파에 의해 출력되는 합성 햅틱 효과를 결정할 수 있다.
다음에, 프로세서(102)는 햅틱 효과를 비디오 신호와 연관시킨다(610). 도 3b 및 도 4b에 대해 전술한 바와 같이, 사용자는 햅틱 효과를 배치시키기 위한 비디오 내의 위치를 선택할 수 있다. 이 위치는 비디오 내의 이벤트들과 연관될 수 있다. 예를 들어, 사용자는 비디오에서 특정 시간들에서 발생할 햅틱 효과들을 선택할 수 있다. 예를 들어, 비디오가 활강 스키어의 비디오를 포함하는 전술한 실시예에서, 사용자는 스키어가 다른 객체들과 충돌하는 위치들과 햅틱 효과들을 연관시킬 수 있다. 이러한 햅틱 효과들은 비디오를 시청하는 경험을 향상시킬 수 있다. 또한, 어떤 실시예들에서, 프로세서(102)는 햅틱 효과들을 배치시킬 비디오 내의 위치들을 자동으로 선택하도록 구성될 수 있다. 예를 들어, 프로세서는 비디오와 연관된 동작들, 전이, 움직임, 또는 다른 특성들 등과 같은 특징들을 검출하고 그러한 특징들과 연관된 위치들에 햅틱 효과들을 배치하도록 구성될 수 있다.
다음에, 프로세서(102)는 스티커를 비디오 신호와 연관시킨다(612). 도 5a에 대해 전술한 바와 같이, 사용자는 스티커를 선택하고 또한 스티커가 나타날 비디오 내의 위치를 선택할 수 있다. 전술한 바와 같이, 사용자는 이미 존재하는 스티커를 선택할 수 있다. 대안적으로, 사용자는 새로운 스티커를 생성할 수 있다. 예를 들어, 프로세서는 새로운 스티커를 생성하기 위한 인터페이스를 디스플레이할 수 있다. 이 인터페이스는 스티커를 그리고 수정하기 위한 특징을 포함할 수 있다. 또한, 어떤 실시예들에서, 사용자는 텍스트, 애니메이션들, 또는 다른 특징들을 스티커에 적용함으로써 기존 스티커를 수정할 수 있다.
다음에, 프로세서(102)는 비디오 신호, 햅틱 효과, 및 스티커들을 저장한다(614). 어떤 실시예들에서 프로세서는 이러한 요소들 각각을 단일 파일, 예를 들어, MP4 파일 내에 저장할 수 있다. 다른 실시예들에서는, 예를 들어, MP2 전송 스트림, HD 라이브스트림, 하나 이상의 타입의 MPEG, 또는 당해 기술 분야에 알려져 있는 다른 비디오 포맷 등과 같은 임의의 공지된 비디오 파일 포맷이 이용될 수 있다. 어떤 실시예들에서, 프로세서는 비디오 신호, 햅틱 효과들, 및 스티커들을 별도의 파일들에 저장할 수 있다. 예를 들어, 프로세서는 비디오 파일에 동기되는(synched) 햅틱 트랙을 생성할 수 있다.
그 후, 프로세서(102)는 비디오, 스티커, 및 햅틱 효과를 출력한다. 비디오와 스티커는 디스플레이를 이용하여 출력될 수 있다. 어떤 실시예들에서, 스티커는 재생 동안 비디오 내에서 움직이는 애니메이션으로 된 스티커를 포함할 수 있다. 다른 실시예들에서, 스티커는 움직이지 않는 고정된 스티커를 포함할 수 있고, 예를 들어, 스티커는 텍스트 박스를 포함할 수 있다.
햅틱 효과를 출력하기 위해, 프로세서(102)는 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스(118)에 전송할 수 있고, 햅틱 출력 디바이스는 햅틱 효과를 출력한다. 햅틱 효과는 (예를 들어, 모래 같은, 울퉁불퉁한, 또는 매끄러운) 질감, 진동, 감지된 마찰 계수의 변화, 온도의 변화, 치는 느낌, 전기-촉각 효과, 또는 변형(즉, 컴퓨팅 디바이스(101)와 연관된 표면의 변형)을 포함할 수 있다.
부가적으로 또는 대안적으로, 어떤 실시예들에서, 컴퓨팅 디바이스(101)는 디스플레이 상에 음향 및/또는 정보를 출력할 수 있다. 음향 및/또는 정보는 객체 및/또는 기능의 특성과 연관될 수 있다.
사용자에 의해 생성되는 콘텐츠 저작의 이점
사용자에 의해 생성되는 콘텐츠 저작의 이점들이 많이 있다. 예를 들어, 비디오들에의 촉각 강화는 창조적 콘텐츠 생성을 위한 길을 열 수 있다. 애니메이션으로 된 스티커들 또는 오직-촉각과 강화된 애니메이션으로 된 스티커들의 조합은 또한 비디오 제작에 있어서 사용자 표현의 부가적인 출구들을 제공할 수 있다. 또한, 애니메이션으로 된 오버레이 개념들(예를 들어, 동영상 내의 애니메이션으로 된 스티커)에 부가되는 추가의 특징으로서 촉각 강화를 이용함으로써 사용자 경험을 더 증강할 수 있다.
본 개시의 일부 실시예들은 제3자 애플리케이션의 구성요소 또는 디바이스-상의 애플리케이션의 구성요소로서 실시될 수 있다. 어떤 실시예들에서, 본 명세서에 개시된 시스템들 및 방법들은 또한 디바이스들 사이에 호환적이고, 예를 들어, 비디오 또는 햅틱 트랙이 플랫폼 독립적일 수 있고, 따라서 한번 생성되면 임의의 디바이스에서 재생 가능할 수 있다.
개론
앞서 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 구성들은, 적절한 경우, 다양한 절차들 또는 구성요소들을 생략, 치환 또는 추가할 수 있다. 예를 들어, 대안의 구성들에서, 방법들이 기술된 것과 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 추가, 생략 및/또는 결합될 수 있다. 또한, 특정의 구성들과 연관하여 기술된 특징들이 다양한 다른 구성들에서 결합될 수 있다. 구성들의 다른 측면들 및 요소들이 유사한 방식으로 결합될 수 있다. 또한, 기술이 발전하고, 따라서 요소들 중 다수는 예들이고, 본 개시 내용 또는 청구항들의 범위를 제한하지 않는다.
예시적인 구성들(구현들을 포함함)에 대한 완전한 이해를 제공하기 위해 구체적인 상세가 설명에 제공되어 있다. 그렇지만, 구성들이 이들 구체적인 상세 없이 실시될 수 있다. 예를 들어, 공지된 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들이 구성들을 불명료하게 하는 것을 피하기 위해 불필요한 상세 없이 나타내어져 있다. 이 설명은 예시적인 구성들만을 제공하고, 청구항들의 범위, 적용성 또는 구성들을 제한하지 않는다. 오히려, 구성들에 대한 이상의 설명은 기술된 기법들을 구현하는 것을 가능하게 하는 설명을 통상의 기술자에게 제공할 것이다. 본 개시 내용의 사상 또는 범위를 벗어나지 않고, 요소들의 기능 및 배열에 다양한 변경들이 행해질 수 있다.
또한, 구성들이 흐름도 또는 블록도로서 나타내어져 있는 프로세스로서 기술될 수 있다. 각각이 동작들을 순차적인 프로세스로서 기술할 수 있지만, 동작들 중 다수가 병렬로 또는 동시에 수행될 수 있다. 그에 부가하여, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되어 있지 않은 부가의 단계들을 가질 수 있다. 게다가, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들(hardware description languages), 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들이 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 기술된 작업들을 수행할 수 있다.
몇몇 예시적인 구성들을 기술하였지만, 본 개시 내용의 사상을 벗어나지 않고 다양한 수정들, 대안의 구성들, 및 균등물들이 사용될 수 있다. 예를 들어, 상기 엘리먼트들은 더 큰 시스템의 컴포넌트들일 수도 있으며, 여기서, 다른 규칙들이 본 발명의 적용에 우선하거나 또는 본 발명의 적용을 다르게 수정할 수 있다. 또한, 이상의 요소들이 고려되기 전에, 그 동안에, 또는 그 후에, 다수의 단계들이 취해질 수 있다. 그에 따라, 이상의 설명은 청구항들의 범위를 한정하지 않는다.
본 명세서에서 "하도록 적응된" 또는 "하도록 구성된"의 사용은 추가의 작업들 또는 단계들을 수행하도록 적응되거나 구성된 디바이스들을 배제하지 않는 개방적이고 포함적인 표현을 의미한다. 또한, "~에 기초하여"의 사용은, 하나 이상의 언급된 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산 또는 기타 동작이 실제로는 언급된 것들 이외의 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포함적인 것을 의미한다. 본 명세서에 포함된 제목들, 목록들 및 번호 매기기는 단지 설명의 용이함을 위한 것이고 제한하기 위한 것이 아니다.
본 발명 요지의 측면들에 따른 실시예들은 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합들로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합된 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는, 앞서 기술된 방법들을 수행하기 위해 센서 샘플링 루틴, 선택 루틴들, 및 다른 루틴들을 비롯한 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장되어 있는 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이러한 프로세서들은 마이크로프로세서, 디지털 신호 처리기(digital signal processor: DSP), 주문형 집적 회로(application-specific integrated circuit: ASIC), 필드 프로그래머블 게이트 어레이(field programmable gate arrays: FPGAs), 및 상태 머신을 포함할 수 있다. 이러한 프로세서들은 PLC, 프로그래머블 인터럽트 콘트롤러(programmable interrupt controller: PIC), 프로그래머블 로직 디바이스(programmable logic device: PLD), 프로그래머블 판독 전용 메모리(programmable read-only memory: PROM), 전자적 프로그래머블 판독 전용 메모리(electronically programmable read-only memory)(EPROM 또는 EEPROM), 또는 기타의 유사한 디바이스 등과 같은 프로그래머블 전자 디바이스를 더 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 본 명세서에 기술된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체(예를 들어, 유형의(tangible) 컴퓨터 판독가능 매체)를 포함할 수 있거나 그와 통신하고 있을 수 있다. 컴퓨터 판독가능 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기 또는 기타 저장 디바이스들을 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 예로서는, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타의 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 기타 임의의 매체가 포함되지만, 이것으로 제한되지 않는다. 또한, 라우터, 사설망 또는 공중망, 또는 다른 전송 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서, 및 프로세싱은 하나 이상의 구조일 수도 있고, 하나 이상의 구조를 통해 분산될 수도 있다. 프로세서는 본 명세서에 설명된 방법들(또는 방법들의 일부들) 중 하나 이상을 실행하기 위한 코드를 포함할 수 있다.
본 발명 요지가 그것의 특정 실시예들과 관련하여 상세히 기술되었지만, 통상의 기술자는 전술한 내용을 이해하자마자 이러한 실시예들에 대한 변경들, 변형들 및 균등물들을 용이하게 제조할 수 있다는 것을 잘 알 것이다. 따라서, 통상의 기술자에게는 즉각 명백할 것인 바와 같이, 본 개시 내용이 제한이 아니라 예로서 제시되어 있고 본 발명 요지에 이러한 수정들, 변형들 및/또는 추가들을 포함시키는 것을 배제하지 않는다는 것을 이해할 것이다.

Claims (22)

  1. 콘텐츠 저작을 위한 방법으로서,
    비디오 신호를 수신하는 단계;
    햅틱 저작과 연관된 사용자 인터페이스를 표시하는 단계;
    햅틱 효과와 연관된 제스처를 검출하는 단계;
    제스처에 부분적으로 기초하여 햅틱 효과를 결정하는 단계;
    상기 햅틱 효과를 상기 비디오 신호 내의 위치와 연관시키는 단계; 및
    상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계를 포함하는, 콘텐츠 저작을 위한 방법.
  2. 제1항에 있어서, 상기 사용자 인터페이스는 상기 비디오 신호와 연관된 화상 및 그 화상의 위에 있는 타임라인을 포함하는, 콘텐츠 저작을 위한 방법.
  3. 제2항에 있어서, 상기 타임라인은 상기 햅틱 효과의 그래픽 표현을 포함하는, 콘텐츠 저작을 위한 방법.
  4. 제1항에 있어서, 상기 비디오 신호는 모바일 디바이스의 카메라로부터 수신된 신호를 포함하는, 콘텐츠 저작을 위한 방법.
  5. 제1항에 있어서, 상기 제스처에 기초하여 햅틱 효과를 결정하는 단계는 사용자에 의해 선택된 햅틱 효과를 결정하는 단계를 포함하는, 콘텐츠 저작을 위한 방법.
  6. 제1항에 있어서, 상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계는 상기 비디오 신호 및 상기 연관된 햅틱 효과를 단일 미디어 파일에 저장하는 단계를 포함하는, 콘텐츠 저작을 위한 방법.
  7. 제1항에 있어서, 상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계는 상기 비디오 신호를 상기 햅틱 효과와는 별개의 파일에 저장하는 단계를 포함하는, 콘텐츠 저작을 위한 방법.
  8. 제1항에 있어서, 스티커를 상기 비디오 신호와 연관시키는 단계를 더 포함하는, 콘텐츠 저작을 위한 방법.
  9. 제7항에 있어서, 상기 스티커는 사용자에 의해 선택된 스티커를 포함하는, 콘텐츠 저작을 위한 방법.
  10. 제7항에 있어서, 상기 스티커, 상기 비디오 신호, 및 상기 연관된 햅틱 효과를 단일 파일에 저장하는 단계를 더 포함하는, 콘텐츠 저작을 위한 방법.
  11. 콘텐츠 저작을 위한 시스템으로서,
    비디오 신호를 수신하고 이 비디오 신호와 연관된 사용자 인터페이스를 출력하도록 구성된 디스플레이;
    제스처를 검출하고 이 제스처와 연관된 센서 신호를 전송하도록 구성된 센서;
    상기 센서 및 상기 디스플레이와 통신하는 프로세서를 포함하고, 상기 프로세서는,
    상기 센서 신호를 수신하고 상기 제스처에 부분적으로 기초하여 햅틱 효과를 결정하는 단계;
    햅틱 효과를 상기 비디오 신호 내의 위치와 연관시키는 단계; 및
    상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계를 수행하도록 구성된, 콘텐츠 저작을 위한 시스템.
  12. 제11항에 있어서, 상기 사용자 인터페이스는 상기 비디오 신호와 연관된 화상 및 그 화상의 위에 있는 타임라인을 포함하는, 콘텐츠 저작을 위한 시스템.
  13. 제12항에 있어서, 상기 타임라인은 상기 햅틱 효과의 그래픽 표현을 포함하는, 콘텐츠 저작을 위한 시스템.
  14. 제11항에 있어서, 화상을 캡처하도록 구성된 카메라를 더 포함하고, 상기 비디오 신호는 상기 화상과 연관된, 콘텐츠 저작을 위한 시스템.
  15. 제11항에 있어서, 사용자 입력에 기초하여 햅틱 효과를 결정하는 단계는 사용자에 의해 선택된 햅틱 효과를 결정하는 단계를 포함하는, 콘텐츠 저작을 위한 시스템.
  16. 제11항에 있어서, 상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하는 단계는 상기 비디오 신호 및 상기 연관된 햅틱 효과를 단일 미디어 파일에 저장하는 단계를 포함하는, 콘텐츠 저작을 위한 시스템.
  17. 제11항에 있어서, 상기 프로세서는 또한 스티커를 상기 비디오 신호와 연관시키도록 구성된, 콘텐츠 저작을 위한 시스템.
  18. 제17항에 있어서, 상기 스티커는 사용자에 의해 선택된 스티커를 포함하는, 콘텐츠 저작을 위한 시스템.
  19. 제18항에 있어서, 상기 프로세서는 또한 상기 스티커, 상기 비디오 신호, 및 상기 연관된 햅틱 효과를 단일 파일에 저장하도록 구성된, 콘텐츠 저작을 위한 시스템.
  20. 제11항에 있어서, 상기 프로세서와 통신하는 햅틱 출력 디바이스를 더 포함하는, 콘텐츠 저작을 위한 시스템.
  21. 제20항에 있어서, 상기 햅틱 출력 디바이스는, 압전 액추에이터, 전기 모터, 전기-자기 액추에이터, 음성 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터(eccentric rotating mass motor: ERM), 또는 선형 공진 액추에이터(linear resonant actuator: LRA) 중 하나 이상을 포함하는, 콘텐츠 저작을 위한 시스템.
  22. 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능 매체로서, 상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    비디오 신호를 수신하고;
    햅틱 저작과 연관된 사용자 인터페이스와 연관된 디스플레이 신호를 디스플레이에 전송하고;
    햅틱 효과와 연관된 제스처를 검출하고;
    상기 제스처에 기초하여 햅틱 효과를 결정하고;
    상기 햅틱 효과를 상기 비디오 신호 내의 위치와 연관시키고;
    상기 비디오 신호 및 상기 연관된 햅틱 효과를 저장하게 하도록 구성된, 비-일시적인 컴퓨터 판독가능 매체.
KR1020150008066A 2014-01-16 2015-01-16 사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법 Ceased KR20150085801A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461928357P 2014-01-16 2014-01-16
US61/928,357 2014-01-16

Publications (1)

Publication Number Publication Date
KR20150085801A true KR20150085801A (ko) 2015-07-24

Family

ID=52434541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150008066A Ceased KR20150085801A (ko) 2014-01-16 2015-01-16 사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법

Country Status (5)

Country Link
US (2) US10437341B2 (ko)
EP (2) EP2897026A1 (ko)
JP (2) JP6516477B2 (ko)
KR (1) KR20150085801A (ko)
CN (1) CN104793737B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170044469A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US10739971B2 (en) * 2015-06-05 2020-08-11 Apple Inc. Accessing and displaying information corresponding to past times and future times
WO2017053761A1 (en) * 2015-09-25 2017-03-30 Immersion Corporation Haptic effects design system
US10031580B2 (en) * 2016-01-13 2018-07-24 Immersion Corporation Systems and methods for haptically-enabled neural interfaces
US10102723B2 (en) * 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
US10101813B2 (en) * 2016-12-14 2018-10-16 Immersion Corporation Automatic haptic generation based on color features and motion analysis
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
FR3064504B1 (fr) * 2017-03-31 2022-02-04 Commissariat Energie Atomique Interface offrant une modulation de friction localisee par lubrification acoustique
US10194128B2 (en) 2017-06-12 2019-01-29 Amazon Technologies, Inc. Systems and processes for generating a digital content item
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
CN109379485B (zh) * 2018-09-26 2021-03-19 腾讯数码（天津）有限公司 应用程序的反馈方法、装置、终端及存储介质
US20200150765A1 (en) * 2018-11-14 2020-05-14 Immersion Corporation Systems and methods for generating haptic effects based on visual characteristics
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
CN110572709B (zh) * 2019-08-30 2022-01-25 杭州影笑科技有限责任公司 一种贴纸快捷定位方法
US10972682B1 (en) * 2019-12-12 2021-04-06 Facebook, Inc. System and method for adding virtual audio stickers to videos
JP2022541968A (ja) * 2020-06-30 2022-09-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
EP4272059A1 (en) 2020-12-31 2023-11-08 Snap Inc. Electronic communication interface with haptic feedback response
US12254132B2 (en) 2020-12-31 2025-03-18 Snap Inc. Communication interface with haptic feedback response
US12216823B2 (en) 2020-12-31 2025-02-04 Snap Inc. Communication interface with haptic feedback response
EP4272060A1 (en) 2020-12-31 2023-11-08 Snap Inc. Real-time video communication interface with haptic feedback
WO2022147451A1 (en) * 2020-12-31 2022-07-07 Snap Inc. Media content items with haptic feedback augmentations
US12164689B2 (en) 2021-03-31 2024-12-10 Snap Inc. Virtual reality communication interface with haptic feedback response
WO2022212177A1 (en) 2021-03-31 2022-10-06 Snap Inc. Virtual reality interface with haptic feedback response
US12314472B2 (en) 2021-03-31 2025-05-27 Snap Inc. Real-time communication interface with haptic and audio feedback response
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
JP7386363B2 (ja) * 2021-05-19 2023-11-24 アルプスアルパイン株式会社 感覚制御方法、感覚制御システム、変換モデル生成方法、変換モデル生成システム、関係式変換方法、およびプログラム
CN113949900B (zh) * 2021-10-08 2023-11-24 上海哔哩哔哩科技有限公司 直播贴图处理方法、系统、设备及存储介质
US11809630B1 (en) * 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
CN118550490A (zh) * 2023-02-27 2024-08-27 京东方科技集团股份有限公司 一种触觉交互信息处理方法、装置及设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
GB0426247D0 (en) * 2004-11-25 2004-12-29 Koninkl Philips Electronics Nv User interface for content authoring
EP1758398A1 (en) 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
KR100827241B1 (ko) 2006-12-18 2008-05-07 삼성전자주식회사 동적 영상물을 생성하기 위한 템플릿을 편집하는 장치 및방법
US20100005393A1 (en) * 2007-01-22 2010-01-07 Sony Corporation Information processing apparatus, information processing method, and program
US20090079690A1 (en) 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
KR101556522B1 (ko) * 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
EP2741177B1 (en) 2008-07-15 2019-06-26 Immersion Corporation Systems and Methods for Transmitting Haptic Messages
CN102159290B (zh) 2008-08-11 2015-03-25 意美森公司 一种用于音乐游戏的触觉感知游戏外设
US8378794B2 (en) * 2008-10-10 2013-02-19 Internet Services, Llc System and method for transmitting haptic data in conjunction with media data
US8540571B2 (en) 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
CN107102721A (zh) 2010-04-23 2017-08-29 意美森公司 用于提供触觉效果的系统和方法
WO2012001587A1 (en) 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Enhancing content viewing experience
US20120210200A1 (en) * 2011-02-10 2012-08-16 Kelly Berger System, method, and touch screen graphical user interface for managing photos and creating photo books
US8923684B2 (en) * 2011-05-23 2014-12-30 Cctubes, Llc Computer-implemented video captioning method and player
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
KR102035305B1 (ko) * 2013-01-15 2019-11-18 삼성전자주식회사 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US20140380380A1 (en) 2013-06-24 2014-12-25 Cinematique, L.L.C. System and method for encoding media with motion touch objects and display thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170044469A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치

Also Published As

Publication number Publication date
CN104793737A (zh) 2015-07-22
JP6516477B2 (ja) 2019-05-22
CN104793737B (zh) 2020-06-05
EP2897026A1 (en) 2015-07-22
EP3448053A1 (en) 2019-02-27
US10437341B2 (en) 2019-10-08
JP2015135678A (ja) 2015-07-27
US20200057506A1 (en) 2020-02-20
US20150199024A1 (en) 2015-07-16
JP2019125376A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
JP6516477B2 (ja) ユーザ生成コンテンツをオーサリングするためのシステム及び方法
US10474238B2 (en) Systems and methods for virtual affective touch
US10444829B2 (en) Systems and methods for viewport-based augmented reality haptic effects
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
EP3364272A1 (en) Automatic localized haptics generation system
JP2020080152A (ja) カスタマイズ可能な触覚再生を提供するシステムおよび方法
JP2018506765A (ja) ハプティック効果のオーバレイ
EP3367216A1 (en) Systems and methods for virtual affective touch
KR20150022694A (ko) 스포츠 이벤트를 햅틱으로 이용할 수 있는 시청
KR20160062698A (ko) 변형 기반의 햅틱 효과들을 위한 시스템들 및 방법들
KR20190122559A (ko) 증강 또는 가상 현실 환경들에 대한 동적 햅틱 재생을 제공하기 위한 시스템들 및 방법들
KR20170059368A (ko) 햅틱 가능 플렉시블 디바이스들
EP3336659A1 (en) Automatic haptic generation based on color features and motion analysis
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법
KR20170118864A (ko) 곡면형 디스플레이와의 사용자 상호작용을 위한 시스템들 및 방법들

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150116

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200108

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150116

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210113

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210628

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210113

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I