[go: up one dir, main page]

KR102803508B1 - 디스플레이 장치 및 이의 제어 방법 - Google Patents

디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102803508B1
KR102803508B1 KR1020180155697A KR20180155697A KR102803508B1 KR 102803508 B1 KR102803508 B1 KR 102803508B1 KR 1020180155697 A KR1020180155697 A KR 1020180155697A KR 20180155697 A KR20180155697 A KR 20180155697A KR 102803508 B1 KR102803508 B1 KR 102803508B1
Authority
KR
South Korea
Prior art keywords
sound
user
display
display device
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180155697A
Other languages
English (en)
Other versions
KR20200027394A (ko
Inventor
김대웅
김의준
이영아
신동헌
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/558,765 priority Critical patent/US11032508B2/en
Priority to CN201980056101.1A priority patent/CN112639683B/zh
Priority to PCT/KR2019/011376 priority patent/WO2020050609A1/en
Priority to EP19857592.0A priority patent/EP3797346A4/en
Publication of KR20200027394A publication Critical patent/KR20200027394A/ko
Application granted granted Critical
Publication of KR102803508B1 publication Critical patent/KR102803508B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치가 개시된다. 본 개시의 디스플레이 장치는, 디스플레이, 복수의 스피커, 센서 및 영상을 디스플레이하도록 디스플레이를 제어하고 영상에 대응되는 사운드를 생성하여 복수의 스피커를 통해 출력하고, 센서에 의해 사용자가 센싱되면, 센싱된 사용자의 위치를 판단하고, 판단된 사용자의 위치에 기초하여 사운드의 고역대 사운드의 제1 가중치 및 저역대 사운드의 제2 가중치를 변경하고, 변경된 사운드를 복수의 스피커를 통해 출력하는 프로세서를 포함한다.

Description

디스플레이 장치 및 이의 제어 방법 { DISPLAY APPARATUS AND METHOD FOR CONTROLLING THEREOF }
본 개시는 디스플레이 장치 및 이의 제어 방법에 대한 것으로, 보다 상세하게는 사용자의 위치에 따라 다른 영상 및 오디오를 제공하는 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, 벽에 설치된 대형 디스플레이 장치에 맞춰 폭포, 바람 등 자연 현상을 시각화하여 특별 제작한 컨텐츠가 많이 사용되고 있다.
기존에는 이러한 컨텐츠 제작을 위해 실제 자연 현상을 촬영한 동영상을 반복적으로 재생하거나, 유체 시뮬레이션을 통하여 실시간 렌더링을 수행하거나, 스크롤 방식을 이용하여 실시간 렌더링을 수행하는 방식을 이용하였다.
그러나, 이러한 방법은 과도한 리소스가 필요하며, 반복 재생됨에 따라 사용자는 피로함을 느끼고 현장감이 떨어진다는 문제점이 있었다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은, 사용자의 위치에 따라 다른 영상 및 오디오를 제공하는 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치는, 디스플레이, 복수의 스피커, 센서 및 영상을 디스플레이하도록 상기 디스플레이를 제어하고 상기 영상에 대응되는 사운드를 생성하여 상기 복수의 스피커를 통해 출력하고, 상기 센서에 의해 사용자가 센싱되면, 상기 센싱된 사용자의 위치를 판단하고, 상기 판단된 사용자의 위치에 기초하여 상기 사운드의 고역대 사운드의 제1 가중치 및 저역대 사운드의 제2 가중치를 변경하고, 상기 변경된 사운드를 상기 복수의 스피커를 통해 출력하는 프로세서를 포함한다.
이 경우, 상기 사운드는, 상기 고역대 사운드 및 상기 저역대 사운드를 병합하여 생성되는 것일 수 있다.
한편, 상기 프로세서는, 상기 판단된 사용자의 위치가 상기 디스플레이의 중앙일수록 상기 고역대 사운드의 제1 가중치를 감소시키고, 상기 저역대 사운드의 제2 가중치를 증가시킬 수 있다.
한편, 상기 프로세서는, 상기 판단된 사용자의 위치와 상기 디스플레이의 거리가 증가할수록 상기 고역대 사운드의 제1 가중치를 증가시키고, 상기 저역대 사운드의 제2 가중치를 감소시킬 수 있다.
한편, 상기 프로세서는, 상기 영상 중 상기 판단된 사용자의 위치에 대응되는 영역에 영상 효과를 제공하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는, 상기 판단된 사용자의 위치에 기초하여 상기 고역대 사운드의 패닝을 조절하고, 상기 저역대 사운드 및 상기 조절된 고역대 사운드를 상기 복수의 스피커를 통해 출력할 수 있다.
한편, 상기 복수의 스피커는, 좌측 스피커 및 우측 스피커를 포함하고, 상기 프로세서는, 상기 판단된 사용자의 위치가 상기 디스플레이의 사이드이면, 상기 좌측 스피커로 출력되는 사운드의 위상과 다른 위상의 사운드를 상기 우측 스피커로 출력할 수 있다.
한편, 통신부를 더 포함하고, 상기 프로세서는, 상기 통신부를 통해 날씨 정보를 입력받고, 우천 정보가 포함된 시간 동안, 상기 저역대 사운드의 제2 가중치를 증가시키고, 상기 저역대 사운드를 분산시켜 상기 복수의 스피커를 통해 출력할 수 있다.
한편, 상기 프로세서는, 상기 판단된 사용자의 위치와 상기 디스플레이의 거리가 증가할수록 볼륨을 증가시킨 사운드를 상기 복수의 스피커를 통해 출력할 수 있다.
한편, 상기 복수의 스피커는, 좌측 스피커 및 우측 스피커를 포함하고, 상기 프로세서는, 상기 판단된 사용자의 위치가 상기 디스플레이의 영역 내에서 이동하면, 상기 위치의 이동에 기초하여 상기 좌측 스피커 및 상기 우측 스피커의 볼륨을 조절할 수 있다.
한편, 상기 프로세서는, 상기 디스플레이를 복수의 세로 영역으로 분할하고, 상기 복수의 세로 영역 중 상기 센서에 의해 사용자가 센싱된 영역 및 상기 디스플레이와 상기 사용자의 거리에 기초하여 사용자의 위치를 판단할 수 있다.
한편, 상기 프로세서는, 상기 센서에 의해 센싱된 사용자가 없으면, 상기 영상에 대응되는 사운드의 고역대 사운드 및 저역대 사운드 각각에 랜덤 주기의 LFO(Low Frequency Oscillator) 신호를 적용하여 상기 복수의 스피커를 통해 출력할 수 있다.
한편, 통신부를 더 포함하고, 상기 영상은 폭포와 관련된 영상이며, 상기 프로세서는, 상기 통신부를 통해 날씨 정보가 입력되면, 상기 날씨 정보 및 시간 정보에 기초하여 프리즘 효과 또는 조명 효과가 제공되도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 영상은 폭포와 관련된 영상이며, 상기 프로세서는, 상기 판단된 사용자의 위치가 기설정된 시간 동안 유지되면, 상기 사용자의 위치에 대응되는 상기 디스플레이의 영역의 폭포 줄기의 폭이 증가되는 영상 효과가 제공되도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 영상은 폭포와 관련된 영상이며, 상기 프로세서는, 상기 폭포 줄기의 폭에 기초하여 상기 디스플레이의 하단 영역에 디스플레이되는 안개의 양을 조절할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 영상을 디스플레이하는 단계, 상기 영상에 대응되는 사운드를 생성하여 복수의 스피커를 통해 출력하는 단계, 사용자가 센싱되면, 상기 센싱된 사용자의 위치를 판단하는 단계, 상기 판단된 사용자의 위치에 기초하여 상기 사운드의 고역대 사운드의 제1 가중치 및 저역대 사운드의 제2 가중치를 변경하는 단계 및 상기 변경된 사운드를 상기 복수의 스피커를 통해 출력하는 단계를 포함한다.
이 경우, 상기 변경하는 단계는, 상기 판단된 사용자의 위치가 상기 디스플레이의 중앙일수록 상기 고역대 사운드의 제1 가중치를 감소시키고, 상기 저역대 사운드의 제2 가중치를 증가시킬 수 있다.
한편, 상기 변경하는 단계는, 상기 판단된 사용자의 위치와 상기 디스플레이의 거리가 증가할수록 상기 고역대 사운드의 제1 가중치를 증가시키고, 상기 저역대 사운드의 제2 가중치를 감소시킬 수 있다.
한편, 상기 복수의 스피커는, 좌측 스피커 및 우측 스피커를 포함하고, 상기 출력하는 단계는, 상기 판단된 사용자의 위치가 상기 디스플레이의 사이드이면, 상기 좌측 스피커로 출력되는 사운드의 위상과 다른 위상의 사운드를 상기 우측 스피커로 출력할 수 있다.
한편, 출력하는 단계는, 센싱된 사용자가 없으면, 상기 영상에 대응되는 사운드의 고역대 사운드 및 저역대 사운드 각각에 랜덤 주기의 LFO(Low Frequency Oscillator) 신호를 적용하여 상기 복수의 스피커를 통해 출력할 수 있다.
도 1은 본 개시에 따른 디스플레이 장치의 사용의 일 실시 예를 도시한 도면,
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 간략한 구성을 설명하기 위한 블럭도,
도 3은 도 2에 개시된 디스플레이 장치의 구체적인 구성을 설명하기 위한 블럭도,
도 4 및 도 5는 본 개시의 일 실시 예에 따른 사용자의 위치를 판단하기 위한 도면,
도 6 및 도 7은 본 개시의 일 실시 예에 따른 폭포 영상의 표현 방식을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 사용자 위치에 따른 사운드 변경 과정을 설명하기 위한 도면,
도 9는 도 8의 사운드 생성 동작을 설명하기 위한 도면,
도 10은 날씨 정보에 기초하여 사운드를 변경하는 과정을 설명하기 위한 도면,
도 11 및 도 12는 사용자 위치에 따라 다른 사운드 출력을 설명하기 위한 도면,
도 13 내지 도 15는 사용자 위치에 따라 다른 사운드 볼륨 조절을 설명하기 위한 도면,
도 16은는 사용자 위치에 따라 다른 사운드 위상 조절을 설명하기 위한 도면,
도 17은 사용자 수에 따라 다른 사운드 위상 조절을 설명하기 위한 도면,
도 18은 사용자 이동 속도에 따른 영상 효과 및 사운드 출력을 설명하기 위한 도면,
도 19는 사용자 감지 여부에 따라 변경되는 영상 효과를 설명하기 위한 도면,
도 20은는 시간 정보에 기초한 영상 효과를 설명하기 위한 도면,
도 21은 날씨 정보에 기초한 영상 효과를 설명하기 위한 도면,
도 22는 사용자의 명령 입력에 기초한 영상 효과를 설명하기 위한 도면, 그리고,
도 23은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시에 따른 디스플레이 장치의 사용의 일 실시 예를 도시한 도면이다.
도 1을 참조하면, 디스플레이 장치(100)는 배경 영상을 표시할 수 있다. 이때, 디스플레이 장치(100)는 TV, 모니터, 노트북 PC. 전자 액자, 키오스크, 전광판, 복수의 디스플레이를 구비한 멀티 디스플레이 등일 수 있다. 이때, 디스플레이 장치(100)는 본체가 바닥에 세워진 것이거나, 벽에 설치된 것일 수도 있다.
사용자(10)는 하나 이상일 수 있으며, 디스플레이 장치(100) 앞에 위치할 수 있다. 디스플레이 장치(100)는 사용자(10)를 센싱하면, 사용자(10)의 위치에 기초하여 영상 효과 및 사운드를 변경하여 출력할 수 있다. 디스플레이 장치(100)의 구체적인 동작은 이하 도 2 내지 도 23을 참조하여 자세히 설명하기로 한다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 간략한 구성을 설명하기 위한 블럭도이다.
도 2를 참조하면, 디스플레이 장치(100)는 디스플레이(110), 스피커(120), 센서(130) 및 프로세서(140)를 포함한다.
디스플레이(110)는 프로세서(140)의 제어에 의해 영상을 표시할 수 있다. 이하에서는 설명의 편의를 위해 디스플레이(110)에서 표시되는 영상을 '배경 영상'이라 지칭할 수 있다. 여기서, 배경 영상은 폭포, 구름, 나무 등의 자연 배경 영상 또는 분수 등의 인공 배경 영상일 수도 있다. 이때, 디스플레이(110)는 프로세서(140)의 제어에 따라 배경 영상에 다양한 영상 효과를 부가한 영상을 디스플레이할 수 있다. 이러한 영상 효과는 이하 도 18 내지 21을 참조하여 자세히 설명하기로 한다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 또한, 디스플레이(110)는 터치 스크린, 플렉서블 디스플레이 또는 투명 디스플레이로 구현될 수도 있다.
스피커(120)는 사운드를 출력할 수 있다. 구체적으로, 스피커(120)는 디스플레이(110)에 표시되는 영상에 대응되는 사운드를 출력할 수 있다. 그리고, 스피커(120)는 사용자 감지 여부에 기초하여, 프로세서(130)의 제어에 따라 변경된 사운드를 출력할 수 있다.
한편, 스피커(120)는 디스플레이 장치(100)에 구비된 것일 수도 있고, 디스플레이 장치(100)와는 유/무선으로 연결된 외부 장치일 수 있다. 실시 예에 따라, 복수의 스피커 중 일부는 디스플레이 장치(100)에 구비된 것이고, 나머지 일부는 디스플레이 장치(100)와 유/무선으로 연결된 외부 장치일 수도 있다.
구체적으로, 스피커(120)가 복수개이면, 스피커(120)는 디스플레이(110)를 바라보는 사용자(10)를 기준으로, 디스플레이(110)의 좌측에 배치된 좌측 스피커 및 디스플레이(110)의 우측에 배치된 우측 스피커를 포함할 수 있다. 여기서, 좌측 스피커 및 우측 스피커는 기준에 따라 다르게 지칭될 수도 있다.
복수의 스피커는 프로세서(140)의 제어에 의해 각각 다른 사운드를 출력할 수 있다. 사운드 출력의 다양한 실시 예는 이하 도 11 내지 도 18을 참조하여 자세히 설명하기로 한다.
센서(130)는 사용자를 센싱하기 위한 구성이다. 구체적으로, 센서(130)는 적어도 하나의 센서를 이용하여 사용자의 존재 여부, 위치 및 디스플레이(110)와의 거리 중 적어도 하나를 감지할 수 있다.
센서(130)는 사용자의 존재 여부 및 움직임을 감지하는 모션 센서일 수 있다. 구체적으로, 모션 센서는 RGB 카메라, depth 카메라, 적외선 센서, 초음파 센서, 또는 이들의 조합일 수 있다.
프로세서(140)는 디스플레이 장치(100)의 동작을 전반적으로 제어한다.
일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 배경 영상을 디스플레이하도록 디스플레이(110)를 제어하고, 배경 영상에 대응되는 사운드를 출력하도록 스피커(120)를 제어할 수 있다.
그리고, 센서(130)에 의해 사용자가 센싱되면, 프로세서(140)는 센서(130)로부터 수신된 센싱 값에 기초하여 사용자의 위치를 판단할 수 있다. 구체적으로, 프로세서(140)는 디스플레이(110)를 복수의 세로 영역으로 분할하고, 분할된 복수의 영역 중 사용자가 투영된 영역에 사용자가 위치하는 것으로 판단할 수 있다. 그리고, 프로세서(130)는 센싱 값에 기초하여 사용자와 디스플레이(110)의 거리를 식별하여, 최종적인 사용자의 위치를 판단할 수 있다. 이러한 사용자 위치 판단 동작은 이하 도 4 및 도 5를 참조하여 자세히 설명하기로 한다.
프로세서(140)는 판단된 사용자 위치에 기초하여, 사운드를 변경하고, 변경된 사운드를 출력하도록 스피커(120)를 제어할 수 있다. 구체적으로, 프로세서(140)는 배경 영상에 대응되는 사운드를 고역대 사운드 및 저역대 사운드로 분리할 수 있다. 그리고, 프로세서(140)는 판단된 사용자의 위치에 기초하여, 고역대 사운드 및 저역대 사운드의 가중치를 변경할 수 있다. 그리고, 프로세서(140)는 가중치가 변경된 고역대 사운드 및 가중치가 변경된 저역대 사운드를 병합하여 사운드를 생성하고, 생성된 사운드를 스피커(120)를 통해 출력할 수 있다.
구체적으로, 프로세서(140)는 판단된 사용자의 위치가 디스플레이(110)의 중앙에 가까울수록 고역대 사운드의 가중치를 감소시키고, 저역대 사운드의 가중치를 증가시킬 수 있다. 디스플레이(110)에서의 사용자의 위치에 따른 사운드의 변화는 이하 도 8 및 도 11을 참조하여 자세히 설명하기로 한다.
한편, 프로세서(140)는 사용자와 디스플레이(110) 간의 거리에 기초하여 사운드를 변경할 수 있다. 구체적으로, 프로세서(140)는 판단된 사용자의 위치와 디스플레이(110)의 거리가 증가할수록 고역대 사운드의 가중치를 증가시키고, 저역대 사운드의 가중치를 감소시킬 수 있다. 디스플레이(110)와 사용자의 거리에 따른 사운드의 변화는 이하 도 8 및 도 12를 참조하여 자세히 설명하기로 한다.
이는 사용자가 폭포 또는 바람의 중앙에 가까워질수록, 폭포 또는 바람과 거리가 가까워질수록 저주파 에너지를 키워 실질적으로 폭포 또는 바람에 다가가는 듯한 느낌을 주기 위함이다.
한편, 프로세서(140)는 판단된 사용자의 위치에 기초하여 사운드의 패닝을 조절할 수 있다. 여기서, 패닝이랑 소리의 방향을 조절하는 것을 의미할 수 있다. 구체적으로, 프로세서(140)는 사운드를 고역대 사운드 및 저역대 사운드로 분리하고, 사용자의 위치에 기초하여 분리된 고역대 사운드의 패닝을 조절할 수 있다. 그리고, 프로세서(140)는 분리된 저역대 사운드 및 패닝 조절된 고역대 사운드를 병합하여 스피커(120)를 통해 출력할 수 있다. 사운드에 방향성이 없는 저역대 사운드는 그대로 통과시키고, 방향성이 있는 고역대 사운드만 사용자의 위치에 따라 패닝을 조절함으로써, 저역대의 에너지를 유지하여 사운드의 웅장함은 유지하고, 사용자의 방향에 맞게 사운드를 출력 가능하게 된다. 사용자의 위치에 따른 사운드의 패닝 조절은 이하 도 8을 참조하여 자세히 설명하기로 한다.
한편, 프로세서(140)는 판단된 사용자의 위치가 디스플레이(110)의 사이드 영역으로 갈수록, 좌측 스피커와 우측 스피커에서 출력되는 사운드의 위상이 다르도록 사운드를 출력할 수 있다. 구체적으로, 좌측 스피커와 우측 스피커에서 출력되는 사운드는 시간 위상이 다를 수 있다. 예를 들어, 사용자가 디스플레이(110)의 사이드에 위치한 경우, 프로세서(140)는 좌측 스피커와 우측 스피커의 위상이 14ms만큼 차이나도록 사운드를 출력할 수 있다. 이로 인해 사용자는 보다 확대된 공간감을 느낄 수 있다. 사용자의 위치에 따라 좌우 스피커의 위상을 다르게 출력하는 실시 예는 이하 도 16을 참조하여 설명하기로 한다.
한편, 프로세서(140)는 센서(130)에 의해 두 명 이상의 사용자가 감지되면, 좌우 스피커의 위상을 다르게 출력하여 보다 확대된 공간감을 느낄 수 있도록 할 수 있다. 센싱된 사용자의 수에 따라 좌우 스피커의 위상을 다르게 출력하는 실시 예는 이하 도 17을 참조하여 설명하기로 한다.
한편, 프로세서(140)는 판단된 사용자의 위치에 기초하여 스피커(120)의 볼륨을 조절하여 사운드를 출력할 수 있다. 구체적으로, 프로세서(140)는 사용자와 디스플레이(110)의 거리가 증가할수록 볼륨을 증가시킨 사운드를 스피커(120)를 통해서 출력할 수 있다. 이로 인해 사용자는 디스플레이(110)의 일정 사정거리 내에서는 동일한 볼륨의 사운드를 들을 수 있다.
한편, 프로세서(140)는 사용자의 위치가 디스플레이(110)의 영역 내에서 이동하면, 위치의 이동에 기초하여 좌측 스피커 및 우측 스피커의 볼륨을 조절할 수 있다. 또한, 프로세서(140)는 디스플레이(110)에 표시된 배경 영상에 사용자 이동 속도에 따른 영상 효과를 부가할 수 있다.
구체적으로, 사용자의 이동 속도가 빠르면, 프로세서(140)는 디스플레이(110)에 표시된 배경 영상에 바람이 많이 부는 영상 효과를 부가하고, 바람 사운드의 볼륨을 증가시켜 출력할 수 있다. 예를 들어, 배경 영상으로 나무가 디스플레이된 상태에서, 사용자의 이동 속도가 빠르면, 프로세서(140)는 사용자의 속도에 기초하여 나무가 바람에 날리는 영상 효과를 디스플레이할 수 있다. 이때, 프로세서(140)는 사용자의 이동 속도에 기초하여 그림자가 흔들리는 영상 효과를 디스플레이할 수도 있다. 이와 같은 사용자 이동 속도에 따른 영상 효과 및 사운드 출력에 대해서는 이하 도 18을 참조하여 설명하기로 한다.
한편, 프로세서(140)는 디스플레이(110)에 디스플레이된 배경 영상 중 판단된 사용자의 위치에 대응되는 영역에 영상 효과를 제공할 수 있다. 예를 들어, 배경 영상이 폭포와 관련된 영상이고, 센서(130)에 의해 판단된 사용자의 위치가 기설정된 시간 동안 유지되면, 프로세서(140)는 폭포 영상 중 사용자의 위치에 대응되는 영역의 폭포 줄기의 폭이 증가되는 영상 효과를 제공하도록 디스플레이(110)를 제어할 수 있다.
이때, 프로세서(140)는 폭포와 관련된 영상의 폭에 기초하여 디스플레이(110)의 하단 영역에 디스플레이되는 안개의 양을 조절할 수 있다. 예를 들어, 폭포의 폭이 증가하면, 프로세서(140)는 디스플레이(110)의 하단 영역에 디스플레이되는 안개의 양을 증가시킬 수 있다.
한편, 사용자의 위치에 대응되는 영역의 폭포 줄기의 폭이 증가되면, 프로세서(140)는 폭포 줄기의 폭에 기초하여 저역대의 가중치를 증가시킨 폭포 사운드를 스피커(120)를 통해 출력할 수 있다.
다른 실시 예로, 배경 영상이 구름(또는 나무)과 관련된 영상이고, 센서(130)에 의해 판단된 사용자의 위치가 기설정된 시간 동안 유지되면, 프로세서(140)는 구름 영상의 이동 속도를 증가시키는 영상 효과를 제공하도록 디스플레이(110)를 제어할 수 있다.
이때, 프로세서(140)는 구름의 이동 속도에 기초하여 저역대의 가중치를 증가시킨 바람 사운드를 스피커(120)를 통해 출력할 수 있다.
한편, 센서(130)에 의해 센싱된 사용자가 없으면, 프로세서(140)는 배경 영상에 대응되는 사운드의 고역대 사운드 및 저역대 사운드 각각에 랜덤 주기의 LFO(Low Frequency Oscillator, 저주파 발진기)를 적용하여 스피커(120)를 통해 출력할 수 있다. 이에 대해서는 이하 도 9를 참조하여 자세히 설명하기로 한다.
한편, 도 2에서는 디스플레이(110)가 필수적인 구성인 것으로 도시되었으나, 실시 예에 따라, 디스플레이(110)가 디스플레이 장치(100)에 구비되지 않고, 외부 디스플레이 장치와 연결된 것으로 구현될 수도 있다.
상술한 바와 같이, 사용자의 위치에 기초하여 영상 효과 및 사운드를 제공함으로써, 사용자는 실제와 보다 유사한 현장감을 느낄 수 있게 된다.
도 3은 도 2에 개시된 디스플레이 장치의 구체적인 구성을 설명하기 위한 블럭도이다.
도 3을 참조하면, 디스플레이 장치(100)는 디스플레이(110), 스피커(120), 센서(130), 프로세서(140), 통신부(150), 메모리(160), 비디오 프로세서(170), 오디오 프로세서(180), 마이크(190)를 포함할 수 있다.
여기서, 디스플레이(110), 스피커(120) 및 센서(130)는 도 2에 도시된 구성과 동일한 바, 중복된 기재는 생략한다.
통신부(150)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 여기서, 디스플레이 장치(100)와 통신하는 외부 장치는 서버 또는 사용자 단말 장치 등일 수 있다.
통신부(150)가 외부 장치와 통신 연결되는 것은 제3 기기(예로, 중계기, 허브, 엑세스 포인트, 서버 또는 게이트웨이 등)를 거쳐서 통신하는 것을 포함할 수 있다. 무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 일 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 무선 통신 또는 유선 통신이 수행되는 네트워크는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
통신부(150)는 외부 장치로부터 날씨 정보, 시간 정보 등을 수신할 수 있다.
프로세서(140)는 통신부(150)를 통해 수신된 날씨 정보 및 시간 정보 중 적어도 하나를 이용하여, 디스플레이(110)에 디스플레이된 배경 영상에 영상 효과를 제공하고, 사운드를 변경하여 출력할 수 있다.
예를 들어, 날씨 정보에 우천 정보가 포함되면, 프로세서(140)는 우천 정보가 포함된 시간에는 도 10에 도시된 바와 같이 저역대 사운드의 가중치를 증가시키고, 저역대 사운드를 분산시켜 스피커(120)를 통해 출력할 수 있다.
도 10을 참조하면, 프로세서(140)는 디스플레이(110)에 디스플레이된 배경 영상에 대응되는 사운드를 생성(910)할 수 있다. 그리고, 통신부(150)를 통해 수신된 날씨 정보에 우천 정보가 포함되는지 판단하고(920), 우천 정보가 포함되면(920-Y), 프로세서(140)는 우천 정보가 포함된 시간의 사운드는 저역 필터(940)를 이용하여 고역대 사운드를 억제하고, 리버브(930)를 통해 사운드를 분산시켜 출력(950)할 수 있다. 도 10에서는 설명의 편의를 위하여 리버브(930)와 저역 필터(940)가 병렬적으로 적용되는 것으로 도시되었으나, 실제 구현시에는 연속적으로 적용될 수도 있으며, 둘 중 하나만 적용될 수도 있다.
한편, 우천 정보가 포함되지 않으면(920-N), 프로세서(140)는 생성된 사운드(910)를 그대로 출력할 수 있다.
일 실시 예로, 통신부(150)를 통해 날씨 정보 및 시간 정보 중 적어도 하나를 수신하면, 프로세서(140)는 수신된 날씨 정보 및 시간 정보 중 적어도 하나를 이용하여 영상 효과를 제공할 수 있다.
예를 들어, 수신된 시간 정보에 기초하여, 현재 시간이 밤인 경우, 프로세서(140)는 도 20에 도시된 바와 같이, 조명 효과가 디스플레이되도록 디스플레이 장치(100)를 제어할 수 있다.
한편, 디스플레이(110)에 디스플레이된 배경 영상이 폭포와 관련된 영상일 때, 수신된 시간 정보 및 날씨 정보에 기초하여, 현재 시간이 낮이고, 날씨가 맑은 경우, 프로세서(140)는 도 21에 도시된 바와 같이, 프리즘 효과가 디스플레이되도록 디스플레이 장치(100)를 제어할 수 있다.
메모리(160)는 디스플레이 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로, 메모리(160)에는 적어도 하나의 명령어가 저장될 수 있다. 프로세서(140)는 메모리(160)에 저장된 명령어를 실행함으로써 상술한 동작을 수행할 수 있다. 메모리(160)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
구체적으로, 메모리(160)에는 사용자에게 현장감을 제공하기 위해, 사용자의 위치에 따른 사운드의 볼륨, 패닝, 가중치에 대한 정보 등이 매칭되어 저장될 수 있다. 그리고, 메모리(160)에는 날씨 정보 또는 시간 정보에 따른 영상 효과가 매칭되어 저장될 수 있다.
그리고, 메모리(160)에는 배경 영상에 대한 컨텐츠가 저장될 수 있다. 여기서, 배경 영상은 폭포, 나무, 구름과 같은 자연 배경 영상 또는 분수 등의 인공 배경 영상일 수도 있다.
비디오 프로세서(170)는 통신부(150)를 통해 수신된 컨텐츠 또는, 메모리(160)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(170)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(180)는 통신부(150)를 통해 수신된 컨텐츠 또는, 메모리(160)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(180)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
프로세서(140)는 멀티미디어 컨텐츠에 대한 재생 애플리케이션이 실행되면 비디오 프로세서(170) 및 오디오 프로세서(180)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 이때, 디스플레이(110)는 비디오 프로세서(170)에서 생성한 이미지 프레임을 메인 표시 영역, 서브 표시 영역 중 적어도 하나의 영역에 디스플레이할 수 있다.
마이크(190)는 발화하는 사용자 음성을 수신할 수 있다. 마이크(190)는 프로세서(140)의 제어에 의해 외부에서부터 수신되는 음성(voice) 또는 사운드(sound)를 전기적인 신호로 생성(또는, 변환)한다. 마이크(190)에서 생성된 전기적인 신호는 프로세서(140)의 제어에 의해 변환되어 메모리(160)에 저장될 수 있다.
일 실시 예로, 센서(130)를 통해 사용자의 모션이 감지되거나, 트리거링 워드가 포함된 사용자 음성이 마이크(190)를 통해 수신되면, 프로세서(140)는 사용자 명령이 입력되는 동안 도 22에 도시된 바와 같이 폭포가 위로 되돌아가도록 영상 효과를 제공할 수 있다. 이후, 사용자 명령이 다시 입력되거나, 사용자 명령 입력이 종료되면, 프로세서(140)는 폭포가 다시 아래로 떨어지도록 배경 영상을 디스플레이할 수 있다. 이러한 동작은 배경 영상이 구름, 나무인 경우에도 바람의 방향을 변경하는 영상 효과로서 제공될 수 있다.
그 밖에, 도 3에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, HDMI 포트, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.
도 4 및 도 5는 본 개시의 일 실시 예에 따른 사용자의 위치를 판단하기 위한 도면이다.
도 4를 참조하면, 벽(wall)에 설치된 디스플레이 장치(100)는, 센서를 이용하여 사용자(10)가 센싱된 영역 및 디스플레이와 사용자(10)의 거리(d)를 이용하여 사용자(10)의 위치를 판단할 수 있다. 이때, 사용자(10)는 센서가 센싱 가능한 거리 및 폭 내에 위치할 것이다.
일 실시 예로, 디스플레이 장치(100)는 도 5에 도시된 바와 같이, 디스플레이를 복수의 세로 영역으로 분할하고, 복수의 세로 영역 중 사용자가 투영되는 영역을 센싱할 수 있다. 도 4 및 도 5를 참조하면, 1부터 7까지의 복수의 세로 영역 중 사용자가 센싱된 영역은 6 영역이므로, 디스플레이 장치(100)는 6 영역(51) 내이고, 거리가 d인 위치에 사용자(10)가 위치함을 판단할 수 있다.
한편, 도 4 및 도 5는 사용자 위치를 판단하는 일 실시 예에 불과하며, 복수의 초음파 센서 또는 복수의 적외선 센서를 이용하여 사용자의 위치를 판단하거나, 카메라를 이용하여 사용자의 위치를 판단하는 등 다양한 방식으로 사용자의 위치는 판단될 수 있다.
도 6 및 도 7은 본 개시의 일 실시 예에 따른 폭포 영상의 표현 방식을 설명하기 위한 도면이다.
기존에는 물의 흐름(방향 벡터)을 RGB 색공간에 매핑시킨 플로우 맵(flow map)과 물 표면의 굴절을 계산하기 위한 노말 맵(normal map)을 반복하여 물이 흐르는 듯한 그래픽을 렌더링하였다. 여기서, 노말 맵은 텍스쳐를 이용한 음영 등의 세부 묘사를 해 연산 효율을 높이는 기술을 의미할 수 있다.
한편, 본 개시는 노말 맵을 사용하는 대신 폭포 텍스쳐를 이용하여 폭포를 렌더링할 수 있다. 이때, 디스플레이 장치는 폭포의 텍스쳐가 반복되는 느낌을 피하기 위해, 랜덤 요소를 이용하여 두 개 이상의 텍스쳐를 믹싱할 수 있다. 도 6에서는 두 개의 텍스쳐를 믹싱하는 실시 예를 도시하였으나, 구현시에는 세 개 이상의 텍스쳐를 믹싱할 수도 있다.
도 6을 참조하면, 디스플레이 장치는 가중치 α를 곱한 텍스쳐 A(610)와 가중치 β를 곱한 텍스쳐 B(620)를 합하여 출력 텍스쳐(630)를 획득할 수 있다. 이때, α + β는 1.0을 만족하며, α 및 β 중 적어도 하나는 perlin noise 알고리즘에 의해 생성된 것일 수 있다. 여기서, perlin noise 알고리즘은 그래픽 분야에서 표면에 자연스러운 텍스쳐를 생성하는데 사용되는 기술로, 시각 효과에 있어서의 자연 현상의 복잡성을 보다 잘 표현할 수 있게 해주는 것이다.
한편, 일 실시 예로, 믹싱되는 2 이상의 텍스쳐는 물의 양에 기초하여 분류된 텍스쳐 그룹에서 선택될 수 있으며, 텍스쳐 그룹에서 선택되는 텍스쳐는 랜덤 주기로 변경될 수 있다. 이 때, 폭포의 물의 양을 기준으로 분류된 텍스쳐 그룹은 디스플레이 장치에 기저장되거나, 외부 장치로부터 수신된 것일 수 있다.
예를 들어, 텍스쳐 그룹은 도 7(a)에 도시된 바와 같이 물의 양이 많은 텍스쳐를 포함한 텍스쳐 그룹 A, 도 7(b)에 도시된 바와 같이 물의 양이 중간인 텍스쳐를 포함한 텍스쳐 그룹 B, 도 7(c)에 도시된 바와 같이 물의 양이 적은 텍스쳐를 포함한 텍스쳐 그룹 C로 분류될 수 있다. 도 7에서는 3개의 텍스쳐 그룹이 사용되는 것으로 도시하였지만, 실제 구현시에는 2개 또는 4개 이상일 수 있다. 그리고, 각 텍스쳐 그룹에 4개의 텍스쳐가 포함된 것으로 도시되었으나, 실시 예에 따라 3개 이하, 5개 이상일 수 있다.
구체적으로, 디스플레이 장치는 텍스쳐 그룹 A에서 선택된 텍스쳐에 가중치 α를 곱하고, 텍스쳐 그룹 B에서 선택된 텍스쳐에 가중치 β를 곱하고, 텍스쳐 그룹 C에서 선택된 텍스쳐에 가중치 γ를 곱한 후, 가중치를 곱한 각 텍스쳐를 더하여 출력 텍스쳐를 획득할 수 있다. 여기서 각 텍스쳐 그룹에서 선택되는 텍스쳐는 랜덤 주기로 변경될 수 있다.
이때, α + β + γ는 1.0을 만족하며, α, β, γ 중 적어도 하나는 perlin noise 알고리즘에 의해 생성된 것일 수 있다. 또는, 디스플레이 장치는 영상에 표시되는 물의 양에 기초하여, 물의 양이 많은 영역에서는 α 값이 커지도록 조정하고, 물의 양이 적은 영역에서는 γ 값이 커지도록 조정할 수 있다.
한편, 도 7에서는 물의 양에 따라 텍스쳐 그룹이 분류되는 실시 예를 도시하였으나, 텍스쳐의 컬러에 따라 텍스쳐 그룹이 분류될 수도 있다. 예를 들어, 텍스쳐 그룹 A는 R(red) 컬러의 텍스쳐가 포함된 그룹이고, 텍스쳐 그룹 B는 G(green) 컬러의 텍스쳐가 포함된 그룹이고, 텍스쳐 그룹 C는 B(blue) 컬러의 텍스쳐가 포함된 그룹일 수 있다. 이때, 디스플레이 장치는 각 그룹에서 선택된 텍스쳐를 믹싱하여 영상을 생성할 수도 있다.
도 8은 본 개시의 일 실시 예에 따른 사용자 위치에 따른 사운드 변경 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 우선 디스플레이 장치는 배경 영상에 대응되는 사운드를 생성(710)할 수 있다. 이때, 배경 영상에 대응되는 사운드는 폭포 사운드, 바람 사운드 등으로 도 9에 도시된 바와 같이 잡음(화이트 노이즈)를 이용하여 생성된 것일 수 있다.
도 9를 참조하면, 디스플레이 장치는 잡음을 발생(810)시키고, 고역 필터(High Pass Filter, 820) 및 저역 필터(Low Pass Filter, 830)를 이용하여 잡음의 고역대와 저역대로 분리할 수 있다. 이때, 디스플레이 장치는 분리된 고역대 사운드 및 저역대 사운드에 각각 LFO(825, 835)를 적용할 수 있다. 여기서, LFO는 사람의 귀에 들리는 범위보다 낮은 주파수 신호를 발생하는 발진기를 의미하며, 보통 0.1~30Hz 정도의 주파수를 발진시킬 수 있다.
이때, 적용되는 LFO(825, 835)는 랜덤 주기일 수 있다. 이로 인해, 사용자가 멀리서 오랜시간 청취하는 경우에도 같은 사운드가 반복되지 않게 된다.
이때, 디스플레이 장치는 배경 영상의 폭포의 높이를 표현하기 위해 저역대 사운드와 고역대 사운드에 가중치를 적용할 수 있다. 구체적으로, 디스플레이 장치는 물이 떨어지는 위치가 높을수록 저역대 사운드의 가중치를 증가시킬 수 있다. 실제 물이 떨어지는 높이가 높을수록 에너지가 증가하고, 수면과 충돌시 가진 위치에너지에 따라 많은 저역대 사운드가 발생되기 때문이다.
그리고, 디스플레이 장치는 각각 LFO가 적용된 고역대 사운드 및 저역대 사운드를 병합(840)하고, 폭포의 넓이를 표현하기 위해 좌우 스피커 중 하나의 사운드의 위상을 딜레이(850)하여 좌우 스피커의 위상 차를 생성할 수 있다. 이는 좌/우의 시간 위상 차(14ms 이하)를 넓이로 느끼는 청각 인지 특성을 이용한 것으로, 폭포의 넓이를 좌우 사운드의 딜레이로 표현할 수 있다.
그리고, 디스플레이 장치는 처리된 사운드를 출력(860)할 수 있다.
이렇게 출력된 사운드(860)는 도 8에서 생성된 사운드(710)와 대응될 수 있다. 도 9에 도시된 과정으로 생성된 사운드(710)가 출력되는 동안 사용자가 센싱되면(720-Y), 디스플레이 장치는 고역 필터(730)와 저역 필터(740)를 이용하여 사운드를 고역대 사운드와 저역대 사운드로 분리할 수 있다.
그리고, 디스플레이 장치는 분리된 고역대 사운드에 패닝 조절기(750)를 이용하여 패닝을 조절할 수 있다. 이때, 디스플레이 장치는 센싱 값(760)에 기초하여 고역대 사운드의 패닝을 조절할 수 있다. 여기서, 센싱 값(760)은 사용자의 위치를 의미할 수 있다.
그리고, 디스플레이 장치는 패닝 조절된 고역대 사운드와 저역대 사운드를 병합(770)할 수 있다. 이때, 디스플레이 장치는 센싱 값(760)을 이용하여 고역대 사운드와 저역대 사운드의 가중치를 적용할 수 있다. 구체적으로, 센싱 값(760)에 기초하여 판단된 사용자의 위치가 디스플레이의 중앙이거나, 디스플레이와의 거리가 가까운 경우, 저역대 사운드의 가중치를 증가시키고, 고역대 사운드의 가중치를 감소시켜 사운드를 병합할 수 있다.
그리고, 디스플레이 장치는 센싱 값(760)에 기초하여 좌우 스피커에서 출력될 사운드를 딜레이하여 시간 위상 차를 발생시킬 수 있다. 구체적으로, 센싱 값(760)에 기초하여 판단된 사용자의 위치가 디스플레이의 사이드 영역인 경우, 디스플레이 장치는 좌우 스피커를 통해 출력된 사운드 중 하나를 딜레이하여 좌우 사운드의 위상 차를 발생시킬 수 있다.
그리고, 디스플레이 장치는 위상 차가 발생한 좌우 사운드를 출력(790)할 수 있다.
만약, 사용자의 위치가 디스플레이의 중앙 영역인 경우, 디스플레이 장치는 딜레이 없이 좌우 사운드의 위상 차가 동일하도록 출력할 수 있다.
한편, 도 9에 도시된 과정으로 생성된 사운드(710)가 출력되는 동안 사용자가 센싱되지 않으면(720-N), 디스플레이 장치는 생성된 사운드(710)를 그대로 출력(790)할 수 있다.
도 11 및 도 12는 사용자 위치에 따라 다른 사운드 출력을 설명하기 위한 도면이다. 이때, 디스플레이 장치(100)에는 중앙 영역에 폭이 큰 폭포 영상이 표시된 경우일 수 있다.
구체적으로, 도 11(a)는 사용자(10)가 디스플레이 장치(100)의 중앙 영역에 위치하는 경우이고, 도 11(b)는 사용자(10)가 디스플레이 장치(100)의 사이드 영역에 위치하는 경우를 도시한 것이다.
도 11(a)와 같이, 사용자(10)가 디스플레이 장치(100)의 중앙 영역에 위치하는 경우, 디스플레이 장치는 폭포 사운드를 고역대 사운드 및 저역대 사운드로 분리하고, 저역대 사운드의 가중치를 증가시키고, 고역대 사운드의 가중치를 감소시킨 사운드를 출력할 수 있다.
한편, 도 11(b)와 같이, 사용자(10)가 디스플레이 장치(100)의 사이드 영역에 위치하는 경우, 디스플레이 장치는 폭포 사운드를 고역대 사운드 및 저역대 사운드로 분리하고, 고역대 사운드의 가중치를 증가시키고, 저역대 사운드의 가중치를 감소시킨 사운드를 출력할 수 있다.
이에 기초하면 사용자(10) 디스플레이 장치(100) 앞의 위치에 따라 다른 사운드를 청취하고, 이에 따라 실제 폭포를 앞에 둔 것과 같은 현장감을 느낄 수 있게 된다.
한편, 도 12(a)는 사용자(10)가 디스플레이 장치(100)와 가까운 거리에 위치하는 경우이고, 도 12(b)는 사용자(10)가 디스플레이 장치(100)와 먼 거리에 위치하는 경우를 도시한 것이다.
도 12(a)와 같이, 사용자(10)가 디스플레이 장치(100)와 가까운 거리에 위치하는 경우, 디스플레이 장치는 폭포 사운드를 고역대 사운드 및 저역대 사운드로 분리하고, 저역대 사운드의 가중치를 증가시키고, 고역대 사운드의 가중치를 감소시킨 사운드를 출력할 수 있다.
한편, 도 12(b)와 같이, 사용자(10)가 디스플레이 장치(100)와 먼 거리에 위치하는 경우, 디스플레이 장치는 폭포 사운드를 고역대 사운드 및 저역대 사운드로 분리하고, 고역대 사운드의 가중치를 증가시키고, 저역대 사운드의 가중치를 감소시킨 사운드를 출력할 수 있다.
이에 기초하면 사용자(10) 디스플레이 장치(100)와의 거리에 따라 다른 사운드를 청취하고, 이에 따라 실제 폭포를 앞에 둔 것과 같은 현장감을 느낄 수 있게 된다.
도 13 내지 도 15는 사용자 위치에 따라 다른 사운드 볼륨 조절을 설명하기 위한 도면이다. 이때, 디스플레이 장치(100)는 사용자(10)의 시선 방향을 기준으로, 좌측 스피커(120-1) 및 우측 스피커(120-2)를 구비할 수 있다.
도 13(a)는 사용자(10)가 디스플레이 장치(100)의 좌측 영역에 위치한 경우, 도 13(b)는 사용자(10)가 디스플레이 장치(100)의 중앙 영역에 위치한 경우, 도 13(c)는 사용자(10)가 디스플레이 장치(100)의 우측 영역에 위치한 경우를 도시한 것이다.
도 13(a)를 참조하면, 사용자(10)가 디스플레이 장치(100)의 좌측 영역에 위치한 경우, 좌측 스피커(120-1)는 작은 볼륨으로 사운드를 출력하고, 우측 스피커(120-2)는 큰 볼륨으로 사운드를 출력할 수 있다.
그리고, 도 13(b)를 참조하면, 사용자(10)가 디스플레이 장치(100)의 중앙 영역에 위치한 경우, 좌측 스피커(120-1) 및 우측 스피커(120-2)는 동일한 크기의 볼륨으로 사운드를 출력할 수 있다.
그리고, 도 13(c)를 참조하면, 사용자(10)가 디스플레이 장치(100)의 우측 영역에 위치한 경우, 좌측 스피커(120-1)는 큰 볼륨으로 사운드를 출력하고, 우측 스피커(120-2)는 작은 볼륨으로 사운드를 출력할 수 있다.
이는 사용자(10)의 위치에 상관 없이 동일한 볼륨의 청취 경험을 주기 위한 것으로, 사용자가 청취하는 볼륨은 동일할 수 있으나, 이상에 기재한 바와 같이, 사용자 위치에 따른 좌우 스피커의 위상 차, 저역대 사운드의 가중치 및 고역대 사운드의 가중치는 다를 수 있다.
도 14(a)는 사용자(10)가 디스플레이 장치(100)와 먼 거리에 위치한 경우, 도 14(b)는 사용자(10)가 디스플레이 장치(100)와 중간 거리에 위치한 경우, 도 14(c)는 사용자(10)가 디스플레이 장치(100)와 가까운 거리에 위치한 경우를 도시한 것이다. 이때, 사용자(10)는 디스플레이 장치(100)의 중앙 영역에 위치함을 전제로 하여, 좌우 스피커(120-1, 120-2)의 볼륨 크기는 동일할 수 있다.
도 14(a)를 참조하면, 사용자(10)가 디스플레이 장치(100)와 먼 거리에 위치한 경우, 좌측 스피커(120-1) 및 우측 스피커(120-2)는 큰 볼륨으로 사운드를 출력할 수 있다.
그리고, 도 14(b)를 참조하면, 사용자(10)가 디스플레이 장치(100)와 중간 거리에 위치한 경우, 좌측 스피커(120-1) 및 우측 스피커(120-2)는 중간 크기의 볼륨으로 사운드를 출력할 수 있다.
그리고, 도 14(c)를 참조하면, 사용자(10)가 디스플레이 장치(100)와 가까운 거리에 위치한 경우, 좌측 스피커(120-1) 및 우측 스피커(120-2)는 작은 볼륨으로 사운드를 출력할 수 있다.
이는 사용자(10)의 위치에 상관 없이 동일한 볼륨의 청취 경험을 주기 위한 것으로, 사용자가 청취하는 볼륨은 동일할 수 있으나, 이상에 기재한 바와 같이, 저역대 사운드의 가중치 및 고역대 사운드의 가중치는 다를 수 있다.
한편, 도 15는 도 13 및 도 14의 실시 예가 모두 적용된 경우로, 도 15(a)는 사용자(10)가 디스플레이 장치(100)의 좌측 영역, 먼 거리에 위치한 경우, 도 15(b)는 사용자(10)가 디스플레이 장치(100)의 우측 영역, 중간 거리에 위치한 경우, 도 15(c)는 사용자(10)가 디스플레이 장치(100)의 중앙 영역, 가까운 거리에 위치한 경우를 도시한 것이다.
도 15(a)를 참조하면, 사용자(10)가 디스플레이 장치(100)의 좌측 영역, 먼 거리에 위치한 경우, 좌측 스피커(120-1) 및 우측 스피커(120-2)는 모두 큰 볼륨으로 사운드를 출력하지만, 우측 스피커(120-2)가 좌측 스피커(120-1)에 비해 더 큰 볼륨으로 사운드를 출력할 수 있다.
그리고, 도 15(b)를 참조하면, 사용자(10)가 디스플레이 장치(100)의 우측 영역, 중간 거리에 위치한 경우, 좌측 스피커(120-1) 및 우측 스피커(120-2)는 모두 중간 볼륨으로 사운드를 출력하지만, 좌측 스피커(120-1)가 우측 스피커(120-2)에 비해 더 큰 볼륨으로 사운드를 출력할 수 있다.
그리고, 도 15(c)를 참조하면, 사용자(10)가 디스플레이 장치(100)의 중앙 영역, 가까운 거리에 위치한 경우, 좌측 스피커(120-1) 및 우측 스피커(120-2)는 모두 동일한 크기의 작은 볼륨으로 사운드를 출력할 수 있다.
이는 사용자(10)의 위치에 상관 없이 동일한 볼륨의 청취 경험을 주기 위한 것으로, 사용자가 청취하는 볼륨은 동일할 수 있으나, 이상에 기재한 바와 같이, 사용자 위치에 따른 좌우 스피커의 위상 차, 저역대 사운드의 가중치 및 고역대 사운드의 가중치는 다를 수 있다.
한편, 도 13 내지 도 15에 도시된 사운드 볼륨은 일 실시 예에 불과한 것이며, 이에 한정되지는 않는다.
도 16은 사용자 위치에 따라 다른 사운드 위상 조절을 설명하기 위한 도면이다. 이때, 디스플레이 장치(100)는 사용자(10)의 시선 방향을 기준으로, 좌측 스피커(120-1, L) 및 우측 스피커(120-2, R)를 구비할 수 있다. 그리고, 도 16에서의 음영 영역은 사용자(10)에게 느껴지는 사운드의 넓이를 의미할 수 있다.
도 16(a)는 사용자(10)가 디스플레이 장치(100)의 좌측 영역에 위치한 경우, 도 16(b)는 사용자(10)가 디스플레이 장치(100)의 중앙 영역에 위치한 경우, 도 16(c)는 사용자(10)가 디스플레이 장치(100)의 우측 영역에 위치한 경우를 도시한 것이다.
도 16(a)를 참조하면, 사용자(10)가 디스플레이 장치(100)의 좌측 영역에 위치한 경우, 좌측 스피커(120-1)와 우측 스피커(120-2)는 다른 위상의 사운드를 출력할 수 있다. 구체적으로, 디스플레이 장치(100)는 좌측 스피커(120-1)에서 출력되는 사운드와 우측 스피커(120-2)에서 출력되는 사운드의 위상 차가 14ms 이하이도록 좌측 스피커(120-1)의 사운드 및 우측 스피커(120-2)의 사운드 중 적어도 하나를 딜레이하여 출력할 수 있다.
이는 도 16(c)와 같이 사용자(10)가 디스플레이 장치(100)의 우측 영역에 위치한 경우도 동일하다.
한편, 도 16(b)와 같이, 사용자(10)가 디스플레이 장치(100)의 중앙 영역에 위치한 경우, 디스플레이 장치는 좌측 스피커(120-1)의 사운드 및 우측 스피커(120-2)의 사운드가 동일한 위상을 갖도록 출력할 수 있다.
이와 같이, 사용자(10)가 디스플레이 장치(100)의 양 사이드에 존재할 때에는 좌/우 사운드의 시간 위상 차를 주어 공간감을 벌리고, 디스플레이 장치(100)의 중앙에 있을 때에는 시간 위상 차를 두지 않아 보다 확대된 공간감을 느낄 수 있다.
도 17은 사용자 수에 따라 다른 사운드 위상 조절을 설명하기 위한 도면이다.
도 17(a)와 같이 하나의 사용자(10)가 디스플레이 장치(100)의 중앙 영역에 위치하면, 디스플레이 장치(100)는 좌측 스피커(120-1) 및 우측 스피커(120-1)의 사운드의 위상 차를 주지 않을 수 있다.
반면, 도 17(b)와 같이, 복수의 사용자가 디스플레이 장치(100)의 여러 영역에 위치하는 경우, 디스플레이 장치(100)는 좌측 스피커(120-1)에서 출력되는 사운드와 우측 스피커(120-2)에서 출력되는 사운드의 위상 차가 14ms 이하이도록 좌측 스피커(120-1)의 사운드 및 우측 스피커(120-2)의 사운드 중 적어도 하나를 딜레이하여 출력할 수 있다. 이로 인해, 복수의 사용자는 보다 확대된 공간감을 느낄 수 있게 된다.
한편, 도 16 및 도 17에 도시된 시간 위상 차는 일 실시 예에 불과한 것이며, 이에 한정되지는 않는다.
도 18은 사용자 이동 속도에 따른 영상 효과 및 사운드 출력을 설명하기 위한 도면이다. 구체적으로, 디스플레이 장치(100)는 구비된 센서를 이용하여 사용자의 위치 이동 및 이동 속도를 센싱할 수 있고, 센싱된 이동 속도에 기초하여 다른 영상 효과 및 사운드를 제공할 수 있다.
도 18(a)는 사용자(10)의 이동 속도가 4km/h 인 경우, 도 18(b)는 사용자(10)의 이동 속도가 8km/h인 경우, 도 18(c)는 사용자(10)의 이동 속도가 12km/h인 경우를 도시한 것이다.
도 18(a)와 같이 사용자(10)의 이동 속도가 4km/h 인 경우, 디스플레이 장치(100)는 약한 바람이 부는 영상 효과를 제공할 수 있다. 그리고, 약한 바람이 부는 영상 효과를 제공함에 따라 작은 바람 사운드가 제공되도록 좌우 스피커(120-1, 120-2)를 제어할 수 있다.
한편, 도 18(b)와 같이 사용자(10)의 이동 속도가 8km/h 인 경우, 디스플레이 장치(100)는 중간 바람이 부는 영상 효과를 제공할 수 있다. 그리고, 중간 바람이 부는 영상 효과를 제공함에 따라 도 18(a)보다는 큰 볼륨의 바람사운드가 제공되도록 좌우 스피커(120-1, 120-2)를 제어할 수 있다.
한편, 도 18(c)와 같이 사용자(10)의 이동 속도가 12km/h 인 경우, 디스플레이 장치(100)는 강한 바람이 부는 영상 효과를 제공할 수 있다. 그리고, 강한 바람이 부는 영상 효과를 제공함에 따라 도 18(b)보다 큰 볼륨의 바람사운드가 제공되도록 좌우 스피커(120-1, 120-2)를 제어할 수 있다.
도 18에서는 나무가 포함된 배경 영상에 영상 효과가 제공되는 것으로 도시하였으나, 구름, 바람개비 등 다양한 배경 영상에도 동일한 영상 효과 및 사운드가 제공될 수 있다. 또한, 사용자 이동에 따라 바람이 부는 듯한 영상 효과가 제공됨에 따라, 배경 영상에 포함된 나무, 바람개비 등의 그림자도 사용자 이동 속도에 따라 흔들리는 영상 효과가 제공될 수 있다.
이와 같이, 사용자 인터랙션에 따른 영상 효과 및 사운드가 제공됨으로 인해 사용자는 보다 현장감 있는 경험을 제공받을 수 있다.
도 19는 사용자 감지 여부에 따라 변경되는 영상 효과를 설명하기 위한 도면이다.
구체적으로, 도 19(a)는 사용자가 감지되지 않는 경우 제공되는 배경 영상을 도시한 것이다. 디스플레이 장치(100)는 사용자가 마지막으로 감지되었던 위치에 랜덤 요소를 적용하여 배경 영상 및 이에 대응되는 사운드를 출력할 수 있다.
예를 들어, 배경 영상이 폭포와 관련된 영상이라면, 디스플레이 장치(100)는 디스플레이 영역의 전반에 걸쳐서 얇은 폭의 폭포 줄기를 복수개 디스플레이할 수 있다. 그리고, 도 9에 도시된 바와 같이, 잡음을 이용한 폭포 사운드를 생성하고, 랜덤 주기의 LFO 신호를 이용하여 자연 현상과 보다 가깝도록 동일한 사운드가 반복되지 않게할 수 있다.
한편, 도 19(a)와 같은 상태에서, 사용자(10)가 센싱되고, 사용자(10)가 기설정된 시간 동안 위치를 유지하면, 디스플레이 장치(100)는 도 19(b)와 같이 영상 효과를 제공할 수 있다.
예를 들어, 배경 영상이 폭포와 관련된 영상이라면, 디스플레이 장치(100)는 사용자가 센싱된 위치에 대응되는 디스플레이 영역에 폭포 줄기의 폭이 증가되는 영상 효과를 제공할 수 있다. 폭포 줄기의 폭이 증가됨에 따라, 디스플레이 장치(100)는 저역대 사운드의 가중치를 증가시켜 출력할 수 있다. 그리고, 디스플레이 장치(100)는 디스플레이 하단 영역에 발생되는 물안개의 양을 증가시킬 수 있다.
이와 같이, 사용자의 위치에 따라 실시간으로 영상 효과 및 사운드를 제공함으로써, 사용자는 실제 폭포를 눈 앞에 둔 것과 같은 현장감을 느낄 수 있게 된다.
도 23은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 23을 참조하면, 우선 디스플레이 장치는 배경 영상을 디스플레이 할 수 있다(S2210). 이때, 배경 영상은 폭포, 나무, 구름과 같은 자연 배경 영상이거나, 분수 등과 같은 인공 배경 영상일 수 있다. 그리고, 디스플레이 장치는 배경 영상에 대응되는 사운드를 출력할 수 있다(S2220). 구체적으로, 배경 영상에 대응되는 사운드는 폭포와 같은 물 소리, 바람 소리 등으로, 디스플레이 장치는 잡음(white noise)에 랜덤 주기의 LFO 신호를 이용하여 생성된 사운드를 출력할 수 있다.
이후, 사용자가 센싱되면, 디스플레이 장치는 센싱된 사용자의 위치를 판단할 수 있다(S2230). 구체적으로, 디스플레이 장치는 구비된 적어도 하나의 센서를 이용하여 사용자의 위치를 판단할 수 있다. 예를 들어, 디스플레이 장치는 디스플레이를 복수의 세로 영역으로 분할하고, 센서를 이용하여 복수의 세로 영역 중 사용자가 센싱된 영역을 식별하고, 식별된 영역 및 사용자와의 거리를 이용하여 사용자의 위치를 판단할 수 있다.
그리고, 디스플레이 장치는 판단된 사용자의 위치에 기초하여 사운드의 고역대 사운드의 제1 가중치 및 저역대 사운드의 제2 가중치를 변경할 수 있다(S2240). 구체적으로, 디스플레이 장치는 배경 영상에 대응되는 사운드를 고역 필터 및 저역 필터를 이용하여 고역대 사운드와 저역대 사운드로 분리할 수 있다. 그리고, 사용자의 위치에 따라 고역대 사운드의 제1 가중치 및 저역대 사운드의 제2 가중치를 조절할 수 있다. 예를 들어, 사용자가 디스플레이의 중앙 또는 가까운 거리에 위치하면, 디스플레이 장치는 저역대 사운드의 제2 가중치를 증가시키고, 고역대 사운드의 제1 가중치를 감소시킬 수 있다.
이때, 디스플레이 장치는 사용자의 위치에 따라 고역대 사운드의 패닝을 조절하거나, 좌우 스피커에서 출력되는 사운드가 위상 차를 갖도록 제어할 수도 있다.
그리고, 디스플레이 장치는 변경된 사운드를 출력할 수 있다(S2250).
이상에 기재한 다양한 실시 예와 같이 사용자의 위치 및 사용자 인터랙션에 따라 다른 영상 효과 및 사운드를 제공함으로써, 사용자는 실제와 보다 유사한 현장감을 느낄 수 있게 된다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 디스플레이 장치 110 : 디스플레이
120 : 스피커 130 : 센서
140 : 프로세서

Claims (20)

  1. 디스플레이 장치에 있어서,
    통신부;
    디스플레이;
    제1 스피커 및 제2 스피커를 포함하는 복수의 스피커;
    센서; 및
    영상을 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 영상에 대응되는 사운드를 생성하여 상기 복수의 스피커를 통해 출력하고,
    상기 센서에 의해 사용자가 센싱되면, 상기 디스플레이에 대응하는 영역의 세로 방향 분할에 대응하는 복수의 영역 중 상기 센싱된 사용자의 위치에 대응되는 영역을 식별하고,
    상기 식별된 영역이 상기 디스플레이의 중앙 영역에 근접 정도에 기초하여 상기 사운드의 고역대 사운드에 대한 제1 가중치의 감소 및 상기 사운드의 저역대 사운드에 대한 제2 가중치의 증대에 대응하도록 상기 사운드를 변경하고,
    상기 변경된 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 통신부를 통해 외부 장치로부터 우천 정보를 포함하는 날씨 정보가 수신되면, 상기 날씨 정보에 기초하여 상기 저역대 사운드에 대한 상기 제2 가중치를 상기 고역대 사운드에 대한 제1 가중치보다 증가시키고, 상기 저역대 사운드를 분산시켜 상기 복수의 스피커를 통해 출력하며,
    상기 센싱된 사용자가 한 명이고 상기 식별된 영역이 상기 디스플레이의 중앙 영역에 대응하면, 상기 제1 스피커를 통해 출력되는 사운드의 위상 및 상기 제2 스피커를 통해 출력되는 사운드의 위상에 대응되는 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하고,
    상기 센싱된 사용자가 한 명이고 상기 식별된 영역이 상기 디스플레이의 측면 영역에 대응하거나, 상기 센싱된 사용자가 두 명 이상이면, 상기 제1 스피커를 통해 출력되는 사운드의 위상 및 상기 제2 스피커를 통해 출력되는 사운드의 위상 차이가 임계 값 이하가 되도록 상기 제1 스피커를 통해 출력되는 사운드 및 상기 제2 스피커를 통해 출력되는 사운드 중 적어도 하나가 딜레이되는 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 사운드는,
    상기 고역대 사운드 및 상기 저역대 사운드를 병합하여 생성되는 것인 디스플레이 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 위치와 상기 디스플레이의 거리가 증가할수록 상기 제1 가중치를 증가시키고, 상기 제2 가중치를 감소시키는 디스플레이 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 위치에 기초하여 상기 고역대 사운드의 패닝을 조절하고,
    상기 저역대 사운드 및 상기 조절된 고역대 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하는 디스플레이 장치.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 위치와 상기 디스플레이의 거리가 증가할수록 볼륨을 증가시킨 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하는 디스플레이 장치.
  10. 제1항에 있어서,
    제1 스피커제2 스피커상기 프로세서는,
    상기 사용자의 위치가 상기 디스플레이의 영역 내에서 이동하면, 상기 위치의 이동에 기초하여 상기 제1 스피커 및 상기 제2 스피커의 볼륨을 조절하는 디스플레이 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 영역 중 상기 식별된 영역 및 상기 디스플레이와 상기 사용자의 거리에 기초하여 사용자의 위치를 식별하는 디스플레이 장치.
  12. 삭제
  13. 제1항에 있어서,
    상기 영상은 폭포와 관련된 영상이며,
    상기 프로세서는,
    상기 통신부를 통해 상기 날씨 정보가 수신되면, 상기 날씨 정보 및 시간 정보에 기초하여 프리즘 효과 또는 조명 효과가 제공되도록 상기 디스플레이를 제어하는 디스플레이 장치.
  14. 삭제
  15. 제1항에 있어서,
    상기 영상은 폭포와 관련된 영상이며,
    상기 프로세서는,
    상기 폭포의 줄기의 폭에 기초하여 상기 디스플레이의 하단 영역에 디스플레이되는 안개의 양을 조절하는 디스플레이 장치.
  16. 디스플레이 장치의 제어 방법에 있어서,
    디스플레이 상에 영상을 디스플레이하는 단계;
    상기 영상에 대응되는 사운드를 생성하여 제1 스피커 및 제2 스피커를 포함하는 복수의 스피커를 통해 출력하는 단계;
    사용자가 센싱되면, 상기 디스플레이에 대응하는 영역의 세로 방향 분할에 대응하는 복수의 영역 중 상기 센싱된 사용자의 위치에 대응되는 영역을 식별하는 단계;
    상기 식별된 영역이 상기 디스플레이의 중앙 영역에 근접 정도에 기초하여 상기 사운드의 고역대 사운드에 대한 제1 가중치의 감소 및 상기 사운드의 저역대 사운드에 대한 제2 가중치의 증대에 대응하도록 상기 사운드를 변경하는 단계; 및
    상기 변경된 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하는 단계;를 포함하고,
    상기 디스플레이 장치의 제어 방법은,
    외부 장치로부터 우천 정보를 포함하는 날씨 정보가 수신되면, 상기 날씨 정보에 기초하여 상기 저역대 사운드에 대한 상기 제2 가중치를 상기 고역대 사운드에 대한 제1 가중치보다 증가시키고, 상기 저역대 사운드를 분산시켜 상기 복수의 스피커를 통해 출력하는 단계;
    상기 센싱된 사용자가 한 명이고 상기 식별한 영역이 상기 디스플레이의 중앙 영역에 대응하면, 상기 제1 스피커를 통해 출력되는 사운드의 위상 및 상기 제2 스피커를 통해 출력되는 사운드의 위상이 대응되는 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하는 단계; 및
    상기 센싱된 사용자가 한 명이고 상기 식별한 영역이 상기 디스플레이의 측면 영역에 대응하거나, 상기 센싱된 사용자가 두 명 이상이면, 상기 제1 스피커를 통해 출력되는 사운드의 위상 및 상기 제2 스피커를 통해 출력되는 사운드의 위상 차이가 임계 값 이하가 되도록 상기 제1 스피커를 통해 출력되는 사운드 및 상기 제2 스피커를 통해 출력되는 사운드 중 적어도 하나가 딜레이되는 사운드를 상기 복수의 스피커를 통해 출력하도록 제어하는 단계; 를 포함하는 디스플레이 장치의 제어 방법.
  17. 삭제
  18. 제16항에 있어서,
    상기 변경하는 단계는,
    상기 사용자의 위치와 상기 디스플레이의 거리가 증가할수록 상기 제1 가중치를 증가시키고, 상기 제2 가중치를 감소시키는 디스플레이 장치의 제어 방법.
  19. 삭제
  20. 삭제
KR1020180155697A 2018-09-04 2018-12-06 디스플레이 장치 및 이의 제어 방법 Active KR102803508B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/558,765 US11032508B2 (en) 2018-09-04 2019-09-03 Display apparatus and method for controlling audio and visual reproduction based on user's position
CN201980056101.1A CN112639683B (zh) 2018-09-04 2019-09-04 显示装置及其控制方法
PCT/KR2019/011376 WO2020050609A1 (en) 2018-09-04 2019-09-04 Display apparatus and method for controlling thereof
EP19857592.0A EP3797346A4 (en) 2018-09-04 2019-09-04 DISPLAY DEVICE AND METHOD OF CONTROLLING THEREOF

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862726552P 2018-09-04 2018-09-04
US62/726,552 2018-09-04

Publications (2)

Publication Number Publication Date
KR20200027394A KR20200027394A (ko) 2020-03-12
KR102803508B1 true KR102803508B1 (ko) 2025-05-08

Family

ID=69802938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180155697A Active KR102803508B1 (ko) 2018-09-04 2018-12-06 디스플레이 장치 및 이의 제어 방법

Country Status (3)

Country Link
EP (1) EP3797346A4 (ko)
KR (1) KR102803508B1 (ko)
CN (1) CN112639683B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102891081B1 (ko) * 2020-07-01 2025-11-26 삼성전자주식회사 전자 장치 및 그 제어 방법
CN115190413B (zh) * 2022-05-31 2025-06-24 歌尔科技有限公司 智能眼镜的音量调节方法、装置、智能眼镜及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316996A1 (en) * 2009-03-03 2011-12-29 Panasonic Corporation Camera-equipped loudspeaker, signal processor, and av system
US20180151168A1 (en) * 2016-11-30 2018-05-31 Plantronics, Inc. Locality Based Noise Masking

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2738099B1 (fr) * 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US8668045B2 (en) * 2003-03-10 2014-03-11 Daniel E. Cohen Sound and vibration transmission pad and system
US7825986B2 (en) * 2004-12-30 2010-11-02 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals and other peripheral device
US8880205B2 (en) * 2004-12-30 2014-11-04 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
JP4973919B2 (ja) * 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
CN101715589B (zh) * 2007-04-24 2014-01-22 锡克拜控股有限公司 标记物品的方法;用于标识所标记的物品的方法和设备;圆偏振粒子的使用
JP5527878B2 (ja) * 2009-07-30 2014-06-25 トムソン ライセンシング 表示装置及び音声出力装置
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
KR101764175B1 (ko) * 2010-05-04 2017-08-14 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP6035995B2 (ja) * 2012-08-17 2016-11-30 大日本印刷株式会社 気象情報生成装置、プログラム及び通信システム
KR102114219B1 (ko) * 2013-10-10 2020-05-25 삼성전자주식회사 오디오 시스템 및 오디오 출력 방법, 그리고 스피커 장치
EP2878515B1 (en) * 2013-11-29 2017-03-08 Harman Becker Automotive Systems GmbH Generating an audio signal with a configurable distance cue
US9712940B2 (en) * 2014-12-15 2017-07-18 Intel Corporation Automatic audio adjustment balance
KR20160144817A (ko) * 2015-06-09 2016-12-19 삼성전자주식회사 디스플레이 장치, 포인팅 장치, 포인팅 시스템 및 그 제어 방법
KR102468148B1 (ko) * 2016-02-19 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 음성 및 잡음 분류 방법
CN106782540B (zh) * 2017-01-17 2021-04-13 联想(北京)有限公司 语音设备及包括所述语音设备的语音交互系统
CN107749054B (zh) * 2017-10-31 2020-07-28 努比亚技术有限公司 一种图像处理方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316996A1 (en) * 2009-03-03 2011-12-29 Panasonic Corporation Camera-equipped loudspeaker, signal processor, and av system
US20180151168A1 (en) * 2016-11-30 2018-05-31 Plantronics, Inc. Locality Based Noise Masking

Also Published As

Publication number Publication date
CN112639683B (zh) 2024-08-13
EP3797346A4 (en) 2021-12-08
CN112639683A (zh) 2021-04-09
KR20200027394A (ko) 2020-03-12
EP3797346A1 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
US11032508B2 (en) Display apparatus and method for controlling audio and visual reproduction based on user's position
US10360847B2 (en) Display apparatus and control method thereof
KR102518869B1 (ko) 디지털 미디어 시스템
US10229523B2 (en) Augmented reality alteration detector
US20160314762A1 (en) Display apparatus and method for controlling the same
JP2016018560A (ja) 視覚効果を有するオブジェクトを表示する装置及び方法
KR20080055653A (ko) 디스플레이의 재생율을 조절하기 위한 시스템, 방법 및컴퓨터 프로그램 제품
KR20200061279A (ko) 전자 장치 및 그 제어 방법
KR20240109968A (ko) 디스플레이 장치 및 그 제어 방법
JP3702269B2 (ja) 画像処理装置、コンピュータの制御方法及びプログラム
CN111903137B (zh) 基于用户的姿势混合音频
KR102640581B1 (ko) 전자 장치 및 그 제어 방법
KR102803508B1 (ko) 디스플레이 장치 및 이의 제어 방법
US20240320895A1 (en) Streak visual effect generating method, video generating method, and electronic device
KR20180103239A (ko) 디스플레이 장치 및 그 제어 방법
US11107203B2 (en) Image processing method and display apparatus therefor providing shadow effect
KR102235679B1 (ko) 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법
WO2024179508A1 (zh) 一种虚拟礼物生成方法、装置、设备及介质
CN114760427A (zh) Led显示器显示控制方法、装置、智能终端及存储介质
CN112587915A (zh) 光照效果呈现方法、装置、存储介质及计算机设备
CN118044337B (zh) 基于第二音频声道内容有条件地调整光效果
CN113170229B (zh) 显示装置、服务器、电子装置及其控制方法
CN111416971B (zh) 一种控制方法、控制系统、电子设备及可读存储介质
EP4668089A1 (en) Electronic device and image output method thereof
CN115430144B (zh) 环境光遮蔽实现方法和装置、计算机存储介质、电子设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181206

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211118

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181206

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240221

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20241021

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

AMND Amendment
PX0901 Re-examination

Patent event code: PX09012R01I

Patent event date: 20250122

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20250204

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250429

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250430

End annual number: 3

Start annual number: 1

PG1601 Publication of registration