KR101334107B1

KR101334107B1 - 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법

Info

Publication number: KR101334107B1
Application number: KR1020100037495A
Authority: KR
Inventors: 김진우; 이정희
Original assignee: 주식회사 굿소프트웨어랩; 한국전자통신연구원
Priority date: 2010-04-22
Filing date: 2010-04-22
Publication date: 2013-12-16
Anticipated expiration: 2030-04-22
Also published as: KR20110117966A; US20110260965A1

Abstract

본 발명은 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법에 대하여 개시한다. 본 발명의 일면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치는, 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이 모듈; 상기 투명 디스플레이 모듈에 근접한 3차원 공간에서, 초음파 센서를 이용하여 사용자 지시수단을 감지하는 초음파 감지 모듈; 상기 사용자 지시수단을 추적하면서 촬영하는 영상 검출 모듈; 및 상기 영상 검출 모듈 및 상기 초음파 감지 모듈 중 적어도 하나로부터 전달받은 정보를 이용하여 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하여, 선택된 상기 멀티미디어 객체에 대응하는 제어를 실행하는 헤드 유닛을 포함한다.

Description

차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법{Apparatus and Method of User Interface for Manipulating Multimedia Contents in Vehicle}

본 발명은 차량 내에서 멀티미디어 정보를 조작할 수 있도록 하는 사용자 인터페이스 장치 및 방법에 관한 것으로서, 더 구체적으로는 차량 내에서 사용자가 안전하고 효율적으로 멀티미디어 정보를 조작할 수 있도록 손을 이용한 직관적인 인터페이스를 제공할 수 있는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법에 관한 것이다.

본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다. [과제관리번호: 2008-S-007-02, 과제명: 차량 전장용 통합제어 SW 플랫폼 개발]

최근 다양한 정보와 엔터테인먼트를 포괄하는 인포테인먼트(Infortainment) 활용을 위한 IT 기술을 차량에 접목하는 자동차 융합 기술에 대한 관심이 높아지고 있다. 이에 따라 차량 내외부의 네트워크 및 제어 기술에 대한 표준화와 더불어 차량 내부에서 멀티미디어를 편리하게 이용할 수 있는 제품들이 출시되고 있다.

차량 내에서 멀티미디어를 효율적으로 제어하기 위한 기술로는 손을 이용한 제스처 인식 방법이 부각되고 있다. 손을 이용한 제스처 인식은 손이 사람의 신체 일부 중에서 가장 자유로운 부분이며 일상적으로 도구를 다루기 위한 방법과 가장 가까워 가장 직관적인 인터페이스라고 할 수 있다. 이에 따라 이와 같은 제스처 인식의 원천 기술이 되는 알고리즘이나 제스처 인식을 이용한 다양한 애플리케이션이 많이 개발되고 있다.

그러나, 차량 내 환경은 주사용자인 운전자가 특정 방향을 주시해야 되는 점이나, 동작의 반경이 제한되는 점, 차량 전면 유리창을 통하여 제스처 인식 영역 전체에 자연광이 들어오는 점 등에서 일반적인 제스처 인식과는 다른 특징을 갖는 환경이라 할 수 있다. 따라서 이러한 사용 환경에서는 일반적으로 알려진 제스처 인식 기술을 적용하는 데에 한계가 있다.

본 발명은 전술한 바와 같은 종래기술의 한계를 극복하기 위하여 안출된 것으로서, 운전자를 비롯한 차량 내 멀티미디어 사용자를 위한 안전하고 효율적인 멀티미디어 제어 인터페이스 장치 및 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 일면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치는, 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이 모듈; 상기 투명 디스플레이 모듈에 근접한 3차원 공간에서, 초음파 센서를 이용하여 사용자 지시수단을 감지하는 초음파 감지 모듈; 상기 사용자 지시수단을 추적하면서 촬영하는 영상 검출 모듈; 및 상기 영상 검출 모듈 및 상기 초음파 감지 모듈 중 적어도 하나로부터 전달받은 정보를 이용하여 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하여, 선택된 상기 멀티미디어 객체에 대응하는 제어를 실행하는 헤드 유닛을 포함한다.

여기에서, 상기 헤드 유닛은, 상기 손의 끝점의 위치와, 상기 눈동자의 위치를 이용하여 얻어진 벡터 성분을 바탕으로, 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단할 수 있으며, 투명 디스플레이 모듈에 표시되는 하나 이상의 상기 멀티미디어 객체는, 상기 차량의 주행 환경 또는 사용자의 선택에 따라 배치 및 표시 여부가 변화될 수 있다.

본 발명의 다른 면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치는, 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이; 상기 투명 디스플레이에 근접한 3차원 공간 내의 물체를 감지하는 초음파 센서; 상기 3차원 공간을 스테레오 촬영하는 스테레오 카메라; 감지된 상기 물체가 손인지의 여부를 판단하고, 판단 결과 상기 물체가 손이면, 상기 손의 움직임을 추적하는 모션 추적부; 상기 손의 끝점의 3차원 위치에 대응하는 제1 좌표를 검출하는 제1 좌표 검출부; 상기 스테레오 카메라에 의해 촬영된 영상으로부터 사용자의 두 눈동자의 3차원 좌표를 획득하고, 상기 두 눈동자의 중심 위치와 상기 제1 좌표를 잇는 지시 벡터가 상기 투명 디스플레이와 만나는 지점에 대응하는 제2 좌표를 검출하는 제2 좌표 검출부; 상기 손의 움직임으로부터 사용자의 제스처를 파악하는 모션 해석부; 상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 종합부; 및 파악된 상기 최종의도에 따라 기 설정된 제어를 수행하는 제어부를 포함한다.

본 발명의 또 다른 면에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법은, 소정의 3차원 공간 내의 물체를 감지하는 초음파 센서 및/또는 상기 3차원 공간을 스테레오 촬영하는 스테레오 카메라를 구동하는 단계; 상기 3차원 공간 내에 물체가 감지되면, 감지된 상기 물체가 손인지를 확인하는 단계; 상기 물체가 손이면, 상기 손의 끝점에 대응하는 3차원 좌표인 제1 좌표를 검출하는 단계; 상기 스테레오 카메라에 의해 촬영된 스테레오 영상으로부터 상기 사용자의 두 눈동자에 대응하는 3차원 좌표를 검출하여, 상기 두 눈동자의 중심 위치와 상기 제1 좌표를 잇는 지시 벡터가 투명 디스플레이와 만나는 지점에 대응하는 제2 좌표를 검출하는 단계; 상기 손을 추적하여 사용자의 제스처를 파악하는 단계; 상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 단계; 및 파악된 상기 최종의도에 따라 기 설정된 제어를 수행하는 단계를 포함한다.

본 발명에 따르면, 전면 유리창에 근접한 3차원 인터페이스를 통해 멀티미디어 객체를 제어함으로써 사용자가 인터페이스 장치를 조작할 때에도 사용자의 전면 시야를 빼앗지 않게 되어, 차량 내에서 사용하기에 적합한 안전하고 효율적인 인터페이스 장치 및 방법이 제공된다.

또한, 본 발명에서는 손을 이용한 직관적인 인터페이스를 사용하고, 조작하고자 하는 메뉴를 직접 터치하지 않고 지시하는 것만으로 제어를 수행할 수 있어 효율성과 안전성은 더욱 증가한다.

더 나아가, 본 발명은 손과 눈을 이용한 인터페이스를 함께 제공하여 사용자의 손에 의해 지시되는 좌표와 시선의 방향을 상호 대응시킬 수 있으므로, 사용자는 손을 멀리 뻗거나 리모컨을 사용하지 않고, 곁눈질을 하면서 손으로 지시하는 것만으로도 원거리 개체를 쉽게 제어할 수 있어 안정성이 높다.

본 발명에서는 차량 전면 유리창에 투명 디스플레이를 부착하여 넓은 디스플레이 영역을 사용할 수 있으므로, 7인치 이내의 네비게이션 디스플레이의 한계를 극복하고, 멀티미디어 재생의 실감도를 높일 수 있으며, 운전 중에도 차량정보를 비롯한 다양하고 많은 양의 멀티미디어 정보를 사용자에게 제공할 수 있다. 또한, 주행 시 주변환경을 체크하고 환경에 따라 디스플레이 되는 개체의 배열을 조절하거나 제한할 수 있어 안전성을 확보하면서도 다양한 형태의 정보 제공이 가능하다.

뿐만 아니라, 본 발명은 스테레오 카메라와 초음파 센서를 함께 이용하여 제스처 인식의 정확도를 높일 수 있고, 주변조명의 영향에 인한 인식 성능 저하를 막을 수 있다.

또한, 본 발명의 사용자 인터페이스는 여러 개의 멀티미디어 개체에 대한 멀티태스킹(Multi-Tasking) 환경을 제공할 수 있으며, 운전자뿐만 아니라 차량 내부의 다른 사용자가 함께 사용하도록 본 발명을 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치를 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 투명 디스플레이 모듈을 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 초음파 감지 모듈에 의해 생성되는 3차원 공간을 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 초음파 감지 모듈을 도시한 예시도.
도 5는 본 발명의 일 실시예에 따라 눈동자와 손의 끝점의 좌표를 이용하여 제어하고자 하는 멀티미디어 객체를 지시하는 지시 벡터를 구하는 방법을 나타내는 도면.
도 6은 본 발명의 다른 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치를 도시한 구성도.
도 7은 본 발명의 또 다른 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법을 도시한 흐름도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이제 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치의 기본적인 구성을 나타내는 구성도다.

도 1에 나타난 바와 같이, 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치(10)는 투명 디스플레이 모듈(110), 영상 검출 모듈(120), 초음파 감지 모듈(130) 및 헤드 유닛(140)을 포함한다.

투명 디스플레이 모듈(110)은 차량의 전면 유리창에 장착되며, 헤드 유닛(140)의 제어에 따라 하나 이상의 멀티미디어 객체를 포함하는 영상을 표시한다. 본 명세서의 멀티미디어 객체는 음악이나 동영상 등의 재생용 멀티미디어 개체나 이와 같은 멀티미디어 개체를 제어하기 위한 메뉴 아이콘(볼륨 조절 등), 이용자에게 필요한 제반 상황 정보(예컨대, 본 발명이 차량에 적용된 경우에는 차량 주행 정보) 등과 같이 숫자, 문자, 테이블, 영상, 음성, 음향 등의 다양한 멀티미디어 형태로 표현되는 일체의 것을 포함하며, 투명 디스플레이 모듈(110)은 투명 박막 트랜지스터 디스플레이가 바람직하되, 이에 한정되지는 않음은 물론이다.

투명 디스플레이 모듈(110)과 그에 의해 표시되는 영상의 예가 도 2에 나타나 있다. 도 2에 나타난 바와 같이, 투명 디스플레이 모듈(110)은 차량의 전면 유리창(210)에 장착되며, 투명하므로 전면 유리창을 통한 사용자의 시야를 방해하지 않는다. 투명 디스플레이 모듈(110)에는 메뉴 아이콘(112) 등과 같이 멀티미디어를 제어하기 위한 개체나, 네비게이션 정보, 재생용 동영상 등과 같은 다양한 멀티미디어 객체(114)가 함께 표시될 수 있다.

한편, 투명 디스플레이 모듈(110)은 이에 제한되는 것은 아니지만, 3차원 변환 기능을 갖추어 3차원 영상을 사용자에게 표시하는 것이 바람직하다. 이와 같이 할 경우, 사용자로부터 멀리 떨어진 위치-예를 들면 차량의 왼쪽 운전석에 앉아있는 사용자를 기준으로 했을 때 전면 유리창의 오른쪽 가장자리 부분 등-에 표시된 멀티미디어 객체에 대해서도 2차원으로 표시하는 경우보다 더 높은 직관성을 제공할 수 있다. 즉, 사용자가 측면을 응시할 경우에도 정면의 객체를 조작하는 것과 동일한 환경에서 측면의 객체를 조작할 수 있도록 투명 디스플레이 모듈(110)에 3차원 변환 기능을 갖추는 것이 바람직하다.

영상 검출 모듈(120)은 전면 유리창의 상단에 위치하며, 사용자의 손과 같은 사용자 지시수단을 추적하면서 촬영한다. 또한, 영상 검출 모듈(120)은 사용자의 눈 위치를 파악하여 눈동자를 포함하는 영상을 검출한다.

영상 검출 모듈(120)은 사용자 지시수단이 카메라 시야 내에 위치하도록, 서보 모터(ServoMotor)에 의해 180도 회전 구동하면서 사용자 지시수단을 추적하는 기능을 갖고 있으며, 손이나 눈동자의 3차원 좌표의 획득 또는 3D 모델링 및 재구성이 가능하도록 스테레오 카메라(Stereo Camera)인 것이 좋다.

한편, 본 명세서에서 사용자 지시수단은 사용자의 손으로 가정하고 설명하지만, 포인터 기타 다른 형태의 지시수단을 사용하는 것을 배제하는 것은 아니다.

영상 검출 모듈(120)에 의해 촬영된 영상은 헤드 유닛(140)으로 전달되어 사용자 지시수단의 감지 영역내의 진입 여부나 사용자 눈동자의 3차원 위치를 파악하는 데이터로 이용된다.

초음파 감지 모듈(130)은 초음파 센서를 이용하여 투명 디스플레이 모듈(110)에 근접한 3차원 공간, 즉 감지 영역 내에서, 사용자 지시수단의 움직임을 실시간으로 감지한다.

초음파 감지 모듈(130)은 다수의 초음파 센서를 전면 유리창의 상하부 및/또는 측면에 배열하여 전면 유리창 후방의 육면체 또는 이와 유사한 형상의 3차원 공간에 초음파 센서에 의해 감지되는 n개의 부피요소(volume element)를 구성하도록 형성된다.

예컨대 도 4에서 x, y, z축 상에 초음파 센서(Tx, Rx 쌍)가 10개씩 있다고 가정하면(n_x = n_y = n_z = 10), 부피요소의 개수 n은 10x10x10의 1,000개가 된다.

도 3 및 도 4에 초음파 감지 모듈(130)에 의해 형성되는 3차원 공간의 예가 도시되어 있다. 도 3은 초음파 감지 모듈(130)에 의해 형성되는 3차원 공간을 측면에서 바라본 도면이며, 도 4는 초음파 감지 모듈(130)에 의해 형성되는 3차원 공간을 초음파 센서 어레이와 함께 도시한 도면이다.

차량에 적용되는 실시예에서는 도 3에 나타난 바와 같이, 다수의 초음파 센서에 의하여 사용자 지시수단이 감지되는 3차원 공간(230)은 전면 유리창(210)과 θ의 각을 이루며 수직되게 형성된 직육면체 또는 이와 유사한 공간이며, 이 공간은 사용자(운전자 또는 조수석 착석자)가 손을 뻗었을 때 손이 위치하게 되는 공간이 된다.

차량 이외의 다른 대상에 대하여 본 발명을 적용할 때에는 이와는 다른 형상의 3차원 감지 영역을 형성할 수 있을 것이다.

도 4에 나타난 바와 같이, 초음파 감지 모듈(130)은 n(= n_x * n_y * n_z)개의 부피요소로 이루어진 3차원 공간(230) 내에서 초음파 센서를 이용하여 사용자 지시수단을 검출하여 그 결과를 헤드 유닛(140)으로 전달한다.

초음파 센서는 조명의 영향을 받지 않기 때문에 카메라 센서를 사용하여 손 동작을 인식하는 방법에 비하여 신뢰성과 안정성이 높으며, 카메라 센서와 함께 이용되어 인식 정확도를 향상시킬 수 있다.

헤드 유닛(140)은 자동차 인포테인먼트와 관련하여 음악, 뉴스, 멀티미디어 재생, 네비게이션, 전화, 인터넷 서비스 등 많은 형태의 멀티미디어 애플리케이션을 구동하는 역할을 수행하며, 오픈 소스 기반의 제니비 멀티미디어 플랫폼(GENIVI Multimedia Platform) 표준을 따르는 것이 바람직할 것이다.

본 발명의 바람직한 일 실시예에서, 헤드 유닛(140)은 영상 검출 모듈(120) 및 초음파 감지 모듈(130)에 의해 획득된 정보를 바탕으로 사용자 지시수단에 의해 어떤 제어 대상 및/또는 제어 동작이 선택되었는지 여부를 판단하고, 판단 결과에 따라 선택된 제어를 더 수행한다.

이하에서 멀티미디어 객체 선택과 관련한 헤드 유닛(140)의 동작에 대해 보다 구체적으로 설명한다.

헤드 유닛(140)은 차량 전면 유리창 상단에 설치된 영상 검출 모듈(120)로부터 획득된 적어도 두 개의 영상을 이용해 감지 영역 내에 근접한 물체가 사용자의 손인지 여부를 판단한다.

다른 실시예로서, 헤드 유닛(140)은 정확성 및 신뢰성의 향상을 위하여 영상 검출 모드(120)로부터의 형상 정보뿐 아니라 초음파 감지 모듈(130)에 의하여 감지된 물체의 형상에 대한 정보를 함께 이용하여 감지 영역 내의 물체가 사용자 지시수단, 즉 손인지 판단하도록 구성될 수 있다.

즉, 초음파 센서는 조명의 영향을 받지 않기 때문에 자연광이 전면으로 입사되는 차량 내 환경에서도 정확히 감지 영역 내의 물체의 형상을 파악할 수 있어 사용자 지시 수단의 감지 영역 내 진입 여부를 보다 정확히 판단할 수 있다.

한편, 차량 내에서 사용될 제어장치는 안전성이 가장 중요하므로 정확한 인식 결과를 얻기 위하여 영상 검출 모듈(120) 및 초음파 감지 모듈(130)을 함께 이용하는 것이 바람직할 것이다.

헤드 유닛(140)은 검출된 결과가 손이라고 판단하면, 초음파 감지 모듈(130)로부터 손 외형에 대한 3차원 정보를 얻고 이를 이용하여 손의 모양을 3차원으로 재구성한다.

초음파 감지 모듈(130)은 깊이 축 z, 너비 축 x, 높이 축 y의 3개의 직교축을 따라 설치된 초음파 센서 배열의 송신단과 수신단의 정보를 활용하여 n 개의 부피요소(volume element)로 이루어진 3차원 감지 영역을 형성하고, 이 영역 내의 사용자가 원하는 제어대상과 제어동작을 결정하기 위하여 손이 가리키는 위치와 손의 움직임을 동시에 검출한다.

예컨대, 손이 가리키는 위치는 사용자가 제어하고자 하는 멀티미디어 개체, 예를 들면 재생하고자 하는 오디오 파일이나 제어용 개체의 선택에 이용될 수 있고, 손의 움직임은 사용자가 제어하고자 하는 동작을 특정하는 데 이용될 수 있다.

보다 구체적 예로서, 손이 가리키는 위치가 볼륨 제어 아이콘일 경우, 손의 움직임이 누르는 듯한 동작(예컨대, 손을 전체적으로 빠른 시간에 개체 방향으로 짧은 거리를 전진 이동시키는 동작)이 있으면 볼륨 제어 아이콘을 선택한 것으로 결정하고, 그 직후에 엄지와 검지로 무엇을 집는 것처럼 하여 팔목을 시계 또는 반시계 방향으로 회전하는 움직임이 추가로 일어나면 볼륨을 높이거나 낮추는 제어 동작을 원하는 것으로 결정할 수 있다.

멀티미디어 객체의 선택과 제어 동작은 전술한 예시 이외에 다양한 형태로 구성할 수 있으며, 이는 본 발명의 요지와 직접 관련된 사항은 아니므로 추가의 구체 설명은 생략한다.

손이 가리키는 위치를 검출하기 위해서는 검출된 손으로부터 손의 중심점과 손의 끝점 위치를 검출하고, 이 정보를 이용하여 지시되는 멀티미디어 객체를 결정하거나 제어 동작을 파악할 수 있다. 예컨대, 손의 끝점이 멀티미디어 객체가 투영된 공간에 위치하면 그 멀티미디어 객체를 선택한 것으로 파악하고 손의 중심점과 손의 끝점의 위치 및 상호 위치관계를 파악하여 손의 움직임을 파악하여 대응되는 제어 동작을 판단할 수 있다.

손의 위치 및 동작의 파악은 초음파 감지 모듈(130)이 단독으로 수행할 수 있고, 정확성 및 신뢰성의 향상을 위하여 영상 검출 모듈(120)에서 획득된 영상 정보를 함께 이용하여 수행할 수도 있다. 이 경우에, 영상 검출 모듈은 예컨대 서보 모터로 회전구동 가능하게 하여, 실시간으로 손을 추적하여 손의 움직임 반경(즉, 검출 가능한 손의 움직임 반경)을 넓게 하는 동시에 획득되는 영상 프레임의 주변 부분을 감소시켜 주변영상과 손의 구별을 용이하게 하고 손의 움직임을 더욱 세밀하게 파악할 수 있도록 함이 바람직하다.

다른 실시예로서, 눈(즉, 눈동자)의 위치와 손의 끝점의 위치를 파악하고 이를 이용하여 객체를 선택함으로써 객체 선택 및 조작에 따른 사용자의 움직임이나 노력을 감소시킬 수 있다.

즉, 손의 위치 만으로 객체를 선택하려면 사용자가 그 객체를 일정시간 응시하는 상황이 수반되는 경우가 일반적이다. 그러나 차량 운전과 같은 안전과 관련된 조작을 수행하면서 사용자의 시선이 잠시라도 전방 도로 이외의 곳으로 집중되는 상황은 사고를 유발할 수 있는 등의 원인이 되므로 바람직하지 않다.

따라서, 곁눈질과 사용자의 간단한 손 동작(손의 위치 및 손의 움직임)만으로 높은 정확도로 객체를 선택하고 조작할 수 있다면 본 발명의 동작환경인 비접촉 멀티미디어 객체의 선택 및 조작 환경의 효용성이 극대화 될 수 있다.

이를 위하여, 본 발명은 영상 검출 모듈(120)과 초음파 감지 모듈(130)을 함께 이용한다. 즉, 영상 검출 모듈(120)로부터 획득된 스테레오 영상을 통해 사용자의 눈동자의 3차원 위치를 검출하고, 초음파 감지 모듈(130)을 통해 사용자의 손의 끝점의 3차원 위치를 검출하여 이 두 점으로부터 이루어지는 3차원 지시 벡터를 구하여 멀티미디어 객체의 선택에 이용한다.

구체적으로, 헤드 유닛(140)은 영상 검출 모듈(120)로부터 획득된 스테레오 영상으로부터 두 개의 눈동자에 대한 위치 정보를 검출한다. 눈동자에 대한 각각의 3차원 공간상의 위치 정보는 디스패리티 맵(Disparity Map)을 사용하여 얻을 수 있다.

손의 끝점을 검출하기 위해서는 다양한 방법을 사용할 수 있으며, 예를 들면 검출된 손 영역으로부터 곡률 정보를 이용하여 손의 끝점을 검출할 수 있다. 사용자가 하나의 손가락(예를 들면 검지 손가락)만을 편 채로 멀티미디어 객체를 가리키는 경우에는 하나의 끝점만이 검출될 것이다. 이에 비해 사용자가 손을 편 채로 멀티미디어 객체를 가리키는 경우에는 다수의 끝점이 검출될 수 있으며, 이 때에는 객체에 가장 가까이 위치한 손가락의 끝점을 이용하는 등의 방법으로 끝점을 검출할 수 있다.

한편, 보다 신뢰성 있는 손의 끝점 검출 방법은 다음과 같다. 우선 초음파 감지 모듈(130)에서 감지한 정보를 이용하여 사용자의 눈(보다 정확히는 사용자의 두 눈동자의 중간 위치)이라고 판단될 수 있는 가상의 점을 지정한다. 가상의 점은 전술한 바와 같이 영상 검출 모듈(120)이 검출한 두 눈동자의 중간 위치로 할 수 있는데, 영상 검출 모듈(120)이 눈의 위치의 보정 및 영상 처리시 빛의 영향으로 인한 오인식을 대비하기 위하여, 초음파 감지 모듈(130)이 획득한 정보로부터 가상의 점을 설정하거나 영상 감지 모듈(120)로부터의 정보를 종합하여 가상의 점을 설정함이 바람직하다.

그 다음, 가상의 점으로부터 손이라고 판단되는 부분에서 가장 멀리 있는 점을 손의 끝점으로 간주한다.

이상에서 3차원 공간상에서 눈동자나 손의 끝점의 위치 파악은 특정 위치에 설치되어 있는 2개 이상의 특징점(마커)과의 상대 위치를 계산하여 얻는 방식을 취할 수 있다.

도 5는 본 발명의 실시예에 따라 눈동자와 손의 끝점의 좌표를 이용하여 제어하고자 하는 멀티미디어 객체를 지시하는 지시 벡터를 구하는 방법을 나타내고 있는데, 도 5를 참조하며, 눈동자의 위치와 손끝의 위치를 이용하여 3차원 멀티미디어 객체를 선택하는 과정을 구체적으로 설명한다.

통상 사람의 눈동자는 2개인데, 손을 이용하여 물체를 지시하는 경우에 그 사용자의 시선 방향은 두 눈동자의 중심 좌표와 지시를 위한 손 끝을 잇는 벡터방향과 일치하기 때문에, 우선 두 개의 눈동자(250)의 3차원 좌표 E_L(e¹ _L, e² _L, e³ _L)과 E_R(e¹ _R, e² _R, e³ _R)의 위치로부터 두 눈동자의 중심 위치의 좌표 E_M(e¹ _M, e² _M, e³ _M)를 구한다.

이어서, 두 눈동자의 중심 위치 E_M(e¹ _M, e² _M, e³ _M)와 손(240)의 끝점 P_finger(f¹, f², f³)을 잇는 지시 벡터

를 구한다.

종국적으로, 이 지시 벡터가 투명 디스플레이 모듈(110)과 만나는 지점 P_d에 해당하는 멀티미디어 객체(115)를 사용자가 제어하고자 하는 멀티미디어 객체로 판단한다.

이와 같이 눈동자의 위치로부터 시선 정보를 획득하여 이를 손의 끝점이 가리키는 좌표와 결합하여 최종 위치 정보를 구함으로써, 사용자가 운전석에 앉아서 차량 전면 유리창에 디스플레이 되는 멀티미디어 객체들을 순간적인 곁눈질로 보면서 손으로 객체를 직접 건드리지 않고 지시할 때에도 매우 정확히 대상 멀티미디어 객체를 선택할 수 있다.

한편, 초음파 감지 모듈(130)에 의해 형성된 3차원 공간 상에서 검출된 손은 그 방향과 제스처를 인식할 수 있도록 움직임이 추적된다. 움직임의 추적은 실시간으로 이전과 현재의 프레임(frame)을 비교하면서 동작의 변화를 추적하는 방식으로 이루어진다. 이러한 과정을 통하여 손의 동작에 대한 판단이 이루어지고 이에 따라 사용자가 원하는 멀티미디어 제어를 수행할 수 있다.

한편, 헤드 유닛(140)은 주행 시 주변환경을 실시간으로 확인하고 상황에 따라 투명 디스플레이 모듈(110)에 표시된 멀티미디어 객체들을 인공지능적으로 배열하거나 배열을 제한할 수 있다. 예를 들면, 교차로에 진입할 경우 사용자(운전자)의 시야를 확보하기 위하여 멀티미디어 객체를 일시적으로 표시하지 않거나 작게 표시하는 등의 제어가 가능하다. 또한, 주행 중일 때와 정지 중일 때의 모드를 다르게 설정하여 각 모드 별로 다르게 표시하도록 제어할 수 있다.

앞서 간략히 언급하였지만, 투명 디스플레이 모듈(110)에 표시되는 정보의 내용은 멀티미디어 객체에 제한되지 않으며, 네비게이션 정보, 차량에 대한 진단 및 알림 정보 등 다양한 정보를 포함할 수 있다. 또한, 차량 내에 통신 기능이 구비된 경우라면 인터넷 또는 무선 컨텐츠가 표시될 수도 있다. 그리고 이러한 정보들은 서로 유기적으로 연결되어 주행 시의 안전을 위하여 표시되는 객체의 위치 및 크기가 제어될 수 있다.

다음으로는, 도 1의 사용자 인터페이스 장치의 헤드 유닛의 다른 실시예에 대하여 자세히 설명한다. 도 6은 본 발명의 다른 실시예에 따른 헤드 유닛의 구성을 나타내는 구성도이다.

도 6에 나타난 바와 같이, 본 발명의 다른 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치의 헤드 유닛(50)은 모션 추적부(530), 제1 좌표 검출부(560), 제2 좌표 검출부(550), 모션 해석부(540), 종합부(570) 및 제어부(580)를 포함하여 이루어진다.

헤드 유닛(50)은 초음파 센서(510)와 스테레오 카메라(520)로부터 검출된 정보를 전달받는다. 초음파 센서(510)와 스테레오 카메라(520)는 각각 도 1에 나타난 본 발명의 실시예의 초음파 감지 모듈(130)과 영상 검출 모듈(120)에 대응되는 부분으로서 그 구성과 기능이 유사하다.

모션 추적부(530)는 초음파 센서(510)에 의해 3차원 공간 내에 물체가 감지되면, 스테레오 영상 및/또는 초음파 센서로부터 획득된 형상 정보로부터 감지된 물체가 사용자의 손인지를 확인한다.

감지된 물체가 손이면, 모션 추적부(530)는 스테레오 영상과 초음파 센서(510)에 의한 감지 결과 중 적어도 하나를 이용하여 손의 움직임을 추적한다.

제1 좌표 검출부(560)는 손의 끝점을 검출하여 손의 끝점의 3차원 좌표, 즉 제1 좌표를 검출한다.

제2 좌표 검출부(550)는 스테레오 카메라(520)에 의해 촬영된 스테레오 영상으로부터 눈동자를 검출하고, 두 눈동자의 중심 좌표와 손의 끝점이 생성하는 벡터가 투명 디스플레이 모듈과 만나는 지점에 대응하는 제2 좌표를 검출한다. 제2 좌표를 검출하는 방법은 앞서 도 1의 실시예에서 헤드 유닛(140)의 동작에 대해 설명한 방법과 같거나 유사하다.

여기에서 제1 좌표 검출부(560)와 제2 좌표 검출부(550)는 눈동자의 좌표와 손의 끝점의 좌표를 실시간으로 계산할 수 있으며, 또한, 눈동자의 좌표와 손의 끝점의 좌표를 추적하면서 일어날 일에 대한 예측 및 과거의 일에 대한 학습 과정을 통하여 제1 좌표 및 제2 좌표를 추적하도록 할 수도 있다.

모션 해석부(540)는 손이 움직이는 방향과 움직임의 패턴으로부터 사용자 손의 움직임, 즉 제스처를 파악한다. 모션 해석부(540)는 초음파 감지 모듈(130)에 의해 파악된 형상 정보의 이전 프레임과 현재 프레임을 비교하여 상기 제스처를 파악하도록 구성될 수 있다. 종합부(570)는 사용자의 제스처, 제1 좌표 및 제2 좌표를 종합하여 사용자의 최종의도를 파악한다. 이때, 종합부(570)는 동 시간대에 검출된 제스처, 제1 좌표 및 제2 좌표를 종합하여 최종의도를 파악한다.

사용자의 최종의도는 주로 사용자의 제스처와 제2 좌표에 의해 파악될 수 있지만, 눈동자의 중심 좌표를 구할 수 없는 등의 경우에는 제2 좌표 대신 제1 좌표가 사용자의 최종의도 파악을 위해 사용될 수 있다.

제어부(580)는 파악된 사용자의 최종 의도에 따라 기 설정된 제어를 수행한다.

여기서, 기 설정된 제어는 차량에 구비된 멀티미디어 콘텐츠의 재생, 네비게이션 제어, 차량정보 모니터링이나, 차량 내의 유무선 통신 제어 등에 관련된 것일 수 있다.

예컨대, 제어부(580)는 사용자의 차량정보 모니터링 요청에 따라, 차량정보를 진단하여 진단결과를 알려줄 수 있으며, 차량속도, 핸들 조작방향이나, 주행정보 등을 표시할 수 있다.

한편, 종합부(570)는 최종의도 파악 시에, 제스처, 제1 좌표, 제2 좌표 중에서, 사용자에 의해 제외되도록 설정된 항목을 고려하지 않을 수 있다.

이제, 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법에 대하여 설명한다. 도 7은 본 발명의 일 실시예에 따른 차량용 멀티미디어 제어를 위한 사용자 인터페이스 방법을 도시한 흐름도이다.

도 7에 나타난 바와 같이, 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치(10)가 구동되면 영상 검출 모듈(120)의 스테레오 카메라와 초음파 감지 모듈(130)의 초음파 센서가 구동된다(S610). 또는, 영상 검출 모듈(120)만이 먼저 구동되어 감지 영역 내 사용자 지시수단을 포착한 이후에 초음파 감지 모듈(130)이 구동되도록 구성할 수도 있다.

차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치(10)는 차량의 구동과 함께 시작될 수도 있고, 별도의 스위치를 이용해 구동이 시작될 수도 있다.

초음파 감지 모듈(130) 또는 영상 검출 모듈(120)에 의하여 3차원 감지 영역을 감지하여 감지 영역 내 물체의 존재 여부를 확인하고(S615), 스테레오 카메라에 의해 촬영된 스테레오 영상 및/또는 초음파 센서에 의해 감지된 형상을 분석하여 감지된 물체가 손인지를 판단한다(S620).

감지된 물체가 손이라고 판단되면, 실시간으로 손의 움직임을 추적하면서(S625), 3D 모델링 및/또는 재구성을(3D Reconstruction) 수행하여 손의 위치와 손의 움직임(제스쳐)를 인식한다(S630). 아울러 손의 끝점을 검출하여(S640), 이들 정보로부터 대상 멀티미디어 객체를 선택한다(S650). 본 명세서에서 3D 재구성이라 함은 특징점(차량 등 소규모 폐쇄공간 내에서는 마커를 활용)을 기준점으로 하여 손, 눈동자에 대한 3차원 공간에서의 실제 위치를 파악하는 과정을 의미한다. 3D 재구성은 차량의 내부 등과 같은 감지 영역을 가상 공간화하여 증강 현실을 구현할 수 있는 기초 환경이 될 수 있다.

이상의 과정은 영상 검출 모듈(120) 및 초음파 감지 모듈(130) 중 어느 하나가 수행하거나 또는 둘 다가 수행하도록 구성할 수 있다.

본 발명의 일 실시예에서는 손의 형상 및 위치, 움직임 만을 이용하여 멀티미디어 객체를 선택하고 제어할 수 있는바, 전술한 과정을 통하여 객체의 선택 및 손의 위치 및 움직임이 파악된 이후에, 이들 정보를 토대로 사용자의 제어 의도를 파악하고(S670), 요구되는 제어를 수행하도록 한다(S675). 이 경우, 사용자의 최종적 제어 의도 파악 시에, 제스처, 제1 좌표, 제2 좌표 중에서, 상기 사용자에 의해 제외되도록 설정된 항목을 고려하지 않도록 구성하여 연산 부하를 줄이고 정확성을 높일 수 있다.

한편, 멀티미디어 객체 선택에 관한 다른 실시예로서, 눈동자의 위치와 손의 끝점의 위치를 이용하여 객체를 선택하고자 하는 경우에는, 손의 움직임에 대한 실시간 추적(S625), 3D 모델링 및 재구성과 손의 움직임 인식(S630), 손의 끝점 검출(S640)은 초음파 감지 모듈(130)에서 수행하고, 영상 검출 모듈(120)이 스테레오 영상을 촬영하고(S655), 이로부터 눈동자를 검출하여(S660), 도 5를 참조하며 앞서 설명한 바와 같은 과정을 거쳐서 멀티미디어 객체를 선택한다(S650).

한편, 스테레오 영상의 촬영(S655) 및 눈동자의 검출(S660)을 토대로 사용자의 시선을 추적하고(S665), 이 정보를 고려하여 멀티미디어 객체를 선택(S650)하는 구성도 가능하다.

즉, 눈에 대한 인식은 명암이 뚜렷하기 때문에 비교적 빛의 영향을 받더라도 정확한 추출을 할 수 있고, 운전자가 다수가 아니기 때문에 개인별 데이터를 통해서 그 패턴이나 템플릿을 통해서 인식 정확도를 높일 수 있다. 사람의 시선(두 눈)을 디스플레이(전면 유리창의 기준점)를 기준으로 실시간으로 추적하며 일어날 일에 대한 예측 및 과거 일에 대한 학습과정이 추가 되면 사용자의 시선을 추적하는 것이 가능하며 시선 추적 결과 단독으로 또는 이를 보충하여 멀티미디어 객체의 선택을 수행하도록 구성할 수 있다.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함을 이해할 수 있을 것이다.

즉, 이상의 설명에서, 영상 검출 모듈(120)과 초음파 감지 모듈(130)이 획득한 정보를 가공하지 않고 헤드 유닛(140)으로 전달하는 것으로 설명하였지만, 헤드 유닛(140)에서 처리하는 것으로 설명된 일부 과정을 영상 검출 모듈(120) 또는 초음파 감지 모듈(130)이 직접 처리할 수도 있다.

예를 들어, 영상 검출 모듈(120)은 검출된 영상 자체를 헤드 유닛(140)으로 전달하는 대신, 손 끝점의 좌표나 눈동자의 좌표 등의 정보를 자체적으로 검출하여 헤드 유닛(140)으로 전달할 수도 있다. 또는, 헤드 유닛(140) 이외의 별도의 판단 장치에 의해서 전술한 판단 과정이 수행될 수 있도록 구성될 수 있으며, 그 외 당업자라면 본 명세서의 기재내용으로부터 다양한 구현 예를 이끌어 낼 수 있을 것이나, 이러한 변형 구현 예들이 본 발명의 기술적 사상의 범주에 속할 것임은 자명하다.

따라서 본 발명의 보호 범위는 전술한 실시예에 국한되지 않으며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims

하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이 모듈;
상기 투명 디스플레이 모듈에 근접한 3차원 공간에서, 초음파 센서를 이용하여 사용자 지시수단을 감지하는 초음파 감지 모듈;
상기 사용자 지시수단을 추적하면서 촬영하는 영상 검출 모듈; 및
상기 영상 검출 모듈 및 상기 초음파 감지 모듈 중 적어도 하나로부터 전달받은 정보를 이용하여 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하여, 선택된 상기 멀티미디어 객체에 대응하는 제어를 실행하는 헤드 유닛을 포함하며,
상기 초음파 감지 모듈은,
상기 3차원 공간에 다수의 상기 초음파 센서에 의해 감지되는 n개의 부피요소를 구성하여, 상기 사용자 지시수단의 3차원 형상, 위치 및 움직임을 감지하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제1항에 있어서, 상기 투명 디스플레이 모듈은,
박막 트랜지스터(Thin Film Transistor)를 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제1항에 있어서, 상기 영상 검출 모듈은,
회전 가능하며 상기 사용자 지시수단을 추적하는 스테레오 카메라를 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제1항에 있어서,
상기 사용자 지시수단은 사용자의 손이며,
상기 영상 검출 모듈은 상기 손 및 상기 사용자의 눈동자를 포함하는 영상을 촬영하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제4항에 있어서, 상기 헤드 유닛은,
상기 손의 끝점의 위치와, 상기 눈동자의 위치를 이용하여 얻어진 벡터 성분을 바탕으로, 상기 사용자 지시수단에 의해 상기 멀티미디어 객체 중 어느 하나가 선택되었는지 여부를 판단하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
삭제
제1항에 있어서,
상기 투명 디스플레이 모듈에 표시되는 하나 이상의 상기 멀티미디어 객체는 상기 차량의 주행 환경 또는 사용자의 선택에 따라 배치 및 표시 여부가 변화될 수 있는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제1항에 있어서, 상기 투명 디스플레이 모듈은,
하나 이상의 상기 멀티미디어 객체를 3차원으로 표시할 수 있는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
하나 이상의 멀티미디어 객체를 포함하는 영상을 표시하는 투명 디스플레이;
상기 투명 디스플레이에 근접한 3차원 공간 내의 물체를 감지하는 초음파 센서;
상기 3차원 공간을 스테레오 촬영하는 스테레오 카메라;
감지된 상기 물체가 손인지의 여부를 판단하고, 판단 결과 상기 물체가 손이면, 상기 손의 움직임을 추적하는 모션 추적부;
상기 손의 끝점의 3차원 위치에 대응하는 제1 좌표를 검출하는 제1 좌표 검출부;
상기 스테레오 카메라에 의해 촬영된 영상으로부터 사용자의 두 눈동자의 3차원 좌표를 획득하고, 상기 두 눈동자의 중심 위치와 상기 제1 좌표를 잇는 지시 벡터가 상기 투명 디스플레이와 만나는 지점에 대응하는 제2 좌표를 검출하는 제2 좌표 검출부;
상기 손의 움직임으로부터 사용자의 제스처를 파악하는 모션 해석부;
상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하여 상기 사용자의 최종의도를 파악하는 종합부; 및
파악된 상기 최종의도에 따라 기 설정된 제어를 수행하는 제어부
를 포함하는 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제9항에 있어서, 상기 초음파 센서는,
상기 3차원 공간에 n개의 부피요소를 형성하도록 다수 개 배치되는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제9항에 있어서, 상기 모션 추적부는,
상기 스테레오 카메라에 의해 촬영된 영상 또는 상기 초음파 센서에 의해 감지된 형상 정보를 분석하여 감지된 상기 물체가 손인지의 여부를 판단하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제9항에 있어서, 상기 모션 해석부는,
상기 초음파 센서에 의하여 획득된 형상 정보의 이전 프레임과 현재 프레임을 비교하여 상기 제스처를 파악하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제9항에 있어서, 상기 종합부는,
상기 최종의도 파악 시에, 상기 제스처, 상기 제1 좌표, 상기 제2 좌표 중에서, 상기 사용자에 의해 제외되도록 설정된 항목을 고려하지 않는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제9항에 있어서, 상기 종합부는,
동 시간대에 검출된 상기 제스처, 상기 제1 좌표 및 상기 제2 좌표를 종합하는 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
제9항에 있어서, 상기 기 설정된 제어는,
상기 차량에 구비된 멀티미디어 콘텐츠의 재생, 네비게이션 제어, 차량정보 모니터링 및 상기 차량 내의 유무선 통신 제어 중 적어도 하나에 관련된 것인 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치.
삭제
삭제
삭제
삭제
삭제