KR100970711B1

KR100970711B1 - Apparatus for searching the internet while watching TV and method threrefor

Info

Publication number: KR100970711B1
Application number: KR1020080019165A
Authority: KR
Inventors: 김진형; 김기응
Original assignee: 한국과학기술원
Priority date: 2008-02-29
Filing date: 2008-02-29
Publication date: 2010-07-16
Anticipated expiration: 2028-02-29
Also published as: KR20090093571A

Abstract

본 발명은 인터넷 검색장치 및 그 방법에 관한 것으로, TV시청 중 TV화면 속의 인물, 장소, 사건, 물건 등에 관하여 직접 인터넷 검색을 수행하는 TV 시청중 인터넷을 검색하는 장치 및 그 방법에 관한 것이다.The present invention relates to an Internet search apparatus and a method thereof, and more particularly, to an apparatus and method for searching the Internet while watching TV, which performs an Internet search directly on a person, place, event, object, etc. on a TV screen during TV viewing.

본 발명은 TV 시청중 인터넷을 검색하는 장치에 있어서, TV방송신호를 입력받고, 외부로부터 검색요청을 입력받는 TV신호 입력부; 수신한 TV방송신호 중 음성 또는 영상을 인식하여 기설정된 데이터와 비교하고, 그 결과를 인식 신뢰도에 따라 텍스트 형태의 단어들로 추출하는 인식부; 검색 포탈 이력을 저장하고, 인식부로부터 추출되는 단어들과 유사한 단어를 추가하며, 검색 포탈 이력으로부터 적합도를 판단하고, 그 결과 검색어로 선택하여 추출하는 검색어 추출부; 추출된 검색어를 이용하여 인터넷 검색을 하여 관련 정보를 관련도에 따라 추출하는 인터넷 검색엔진부; 및, TV신호 입력부, 인식부, 검색어 추출부 및 인터넷 검색엔진부를 제어하는 제어부; 를 포함한다.The present invention provides a device for searching the Internet while watching TV, comprising: a TV signal input unit for receiving a TV broadcast signal and receiving a search request from the outside; A recognition unit for recognizing a voice or an image of the received TV broadcast signal, comparing the received data with preset data, and extracting the result into words in text form according to recognition reliability; A search word extracting unit which stores a search portal history, adds words similar to words extracted from the recognition unit, determines a goodness of fit from the search portal history, and selects and extracts a search term as a result; An internet search engine that searches the Internet using the extracted search terms and extracts related information according to relevance; And a control unit controlling a TV signal input unit, a recognition unit, a search word extracting unit, and an internet search engine unit. It includes.

상기와 같은 본 발명은 TV시청 중 TV화면의 영상, 소리, 프로그램 정보로부터 인터넷을 직접 검색하여 정보를 제공받을 수 있는 효과가 있다.The present invention as described above has the effect that can be provided by directly searching the Internet from the image, sound, program information of the TV screen during TV viewing.

TV방송신호, 인터넷, 검색 TV signal, Internet, Search

Description

Apparatus for searching the internet while watching TV and method threrefor}

본 발명은 인터넷 검색장치 및 그 방법에 관한 것으로, 보다 상세하게는 TV시청 중 TV화면 속의 인물, 장소, 사건, 물건 등에 관하여 직접 인터넷 검색을 수행하는 TV 시청중 인터넷을 검색하는 장치 및 그 방법에 관한 것이다.The present invention relates to an Internet search apparatus and a method thereof, and more particularly, to an apparatus and method for searching the Internet while watching TV, which performs an Internet search directly on a person, place, event, object, etc. on a TV screen during TV viewing. It is about.

종래, 인터넷 검색장치에 관한 기술은 대한민국 공개특허 제2000-0072482호 '이용자의 검색을 용이하게 하는 인터넷 검색 시스템' 이외에 다수 출원 및 공개된 상태이다.Conventionally, the technology related to the Internet search apparatus has been published and published in a large number in addition to the Republic of Korea Patent Publication No. 2000-0072482 'Internet search system to facilitate the user' search.

상기 종래기술은, 도 1에 도시된 바와 같이, 인터넷 통신망에 접속하고 다양한 웹사이트(30)를 검색하여 필요한 정보를 제공받고, 접근한 웹사이트(30)의 정보가 자동으로 저장되어 있는 쿠키(11)나 템포롤리 인터넷 파일(12)을 갖는 이용자의 인터넷 연결수단(10)과; 인터넷 통신망에 접속한 상기 이용자의 인터넷 연결수단(10)에 검색엔진을 제공하고, 이 검색엔진을 통하여 정보 검색이나 특정 웹사이트(30)의 검색을 요청할 경우, 상기 이용자의 인터넷 연결수단(10)에 자동으로 저장되어 있는 쿠키(11)나 템포롤리 인터넷 파일(Temporary internet file:12)의 특 성을 분석하고 분석된 웹사이트(30)의 특성에 따라 정보 또는 웹사이트(30)의 검색결과부터 알려주는 운영자 서버(20)로 구성되는 것을 특징으로 한다.The prior art, as shown in Figure 1, is connected to the Internet communication network to search for a variety of websites (30) is provided with the necessary information, the information of the accessed website (30) is automatically stored cookies ( 11) or a user's Internet connection means 10 having a temporally Internet file 12; When a search engine is provided to the user's Internet connection means 10 connected to the Internet communication network, and a request for information search or a specific website 30 is requested through the search engine, the user's Internet connection means 10 Analyzes the characteristics of cookies (11) or Temporary internet files (12) that are automatically stored in the web site, and searches the information or search results of the website (30) according to the characteristics of the analyzed website (30). It is characterized by consisting of the operator server 20 to inform.

그러나, 종래기술은 키보드를 이용하여 검색어를 입력하면 검색엔진이 검색하여 그 결과를 출력하나, TV영상이나 소리, 방송 프로그램의 정보를 직접 검색어로 사용할 수 없는 문제점이 있다. 한 예로 TV 드라마에 나오는 배경을 알고 싶으나 그 지역명을 모르면 정보를 얻지 못하는 것이 현실이다. 즉, 사용자가 해당 검색어를 직접 입력하여야 하는 불편함이 있고, 해당 검색어를 모르면 중요한 정보를 놓치게 되는 문제점이 있다.However, in the related art, when a search term is input using a keyboard, a search engine searches and outputs a result, but there is a problem in that information of a TV image, sound, or broadcast program cannot be directly used as a search term. For example, if you want to know the background of TV dramas, but you don't know the local name, you can't get the information. In other words, there is an inconvenience that the user must directly enter the search word, there is a problem that missing important information if you do not know the search word.

본 발명의 목적은, 상기와 같은 문제점을 해결하기 위한 것으로서, TV시청 중 TV화면의 영상, 소리, 프로그램 정보로부터 인터넷을 직접 검색하여 관련 정보를 제공받을 수 있도록 함에 있다.Disclosure of Invention An object of the present invention is to solve the above problems, and to provide related information by directly searching the Internet from video, sound, and program information of a TV screen during TV viewing.

그리고 본 발명의 다른 목적은, TV화면 속의 단어나 로고를 직접 검색하여 관련 정보를 얻고, 모르는 외국어를 해당 국어의 키보드 없이도 인터넷 검색하는 TV 시청중 인터넷을 검색하는 장치 및 그 방법을 제공함에도 있다.Another object of the present invention is to provide an apparatus and method for searching the Internet while watching TV for directly searching a word or logo on a TV screen to obtain related information and searching the Internet for foreign languages without a foreign language's keyboard.

본 발명은 TV방송신호를 입력받고, 외부로부터 검색요청을 입력받는 TV신호 입력부; 상기 TV신호 입력부에 의해 수신한 TV방송신호 중 음성 및 영상을 인식하여 기설정된 데이터와 비교하고, 그 결과를 인식 신뢰도에 따라 텍스트 형태의 단어들로 추출하는 인식부; 검색 포탈 이력을 저장하고, 상기 인식부로부터 추출되는 단어들과 유사한 단어를 추가하며, 상기 검색 포탈 이력으로부터 적합도를 판단하고, 그 결과 검색어로 선택하여 추출하는 검색어 추출부; 상기 검색어 추출부에 의해 추출된 검색어를 이용하여 인터넷 검색을 하여 관련 정보를 관련도에 따라 추출하는 인터넷 검색엔진부; 및, 상기 TV신호 입력부, 인식부, 검색어 추출부 및 인터넷 검색엔진부를 제어하는 제어부; 를 포함한다.The present invention is a TV signal input unit for receiving a TV broadcast signal, and receives a search request from the outside; A recognition unit for recognizing audio and video among the TV broadcast signals received by the TV signal input unit, comparing the audio and video data with predetermined data, and extracting the result into words in text form according to recognition reliability; A search term extracting unit which stores a search portal history, adds words similar to words extracted from the recognition unit, determines a goodness of fit from the search portal history, and selects and extracts a search term as a result; An internet search engine that searches the Internet using the search word extracted by the search word extractor and extracts related information according to relevance; And a control unit controlling the TV signal input unit, recognition unit, search word extracting unit, and internet search engine unit. It includes.

한편, TV 시청중 인터넷을 검색하는 장치를 이용하는 검색 방법에 있어서, (a) 제어부가 TV신호 입력부를 통해 TV방송신호를 입력받는 단계; (b) 상기 제어부 가 입력받은 TV방송신호를 인식부의 인식DB모듈에 데이터베이스로 구축하는 단계; (c) 상기 제어부가 상기 TV신호 입력부의 외부신호 입력모듈을 통해 검색요청을 입력받는 단계; (d) 상기 제어부가 입력받은 TV방송신호 중 음성 또는 영상을 상기 인식부를 통해 인식하는 단계; (e) 상기 제어부가 상기 인식부를 통해 상기 인식DB모듈에 데이터베이스로 기설정한 데이터와 비교하여 텍스트 형태의 단어를 인식 신뢰도에 따라 검색어의 후보 단어로 추출하는 단계; (f) 상기 제어부가 상기 인식부의 인식결과인 후보 단어들을 검색어 추출부를 통해 인터넷 검색어로서의 적합도에 따라 검색어를 추출하는 단계; 및 (g) 상기 제어부가 상기 검색어 추출부에 의해 추출된 검색어를 이용하여 인터넷 검색엔진부를 통해 인터넷 검색하고, 관련 정보를 관련도에 따라 추출하는 단계; 를 포함한다.On the other hand, a search method using a device for searching the Internet while watching TV, the method comprising the steps of: (a) the control unit receives a TV broadcast signal through the TV signal input unit; (b) the control unit constructing the input TV broadcast signal as a database in the recognition DB module of the recognition unit; (c) receiving, by the controller, a search request through an external signal input module of the TV signal input unit; (d) recognizing, by the controller, a voice or an image of the TV broadcast signal received by the controller; (e) the control unit extracting a word having a text form as a candidate word of a search word based on a recognition reliability by comparing the data preset in the database to the recognition DB module through the recognition unit; (f) the control unit extracting the search terms based on the goodness of fit of the candidate words, which are the recognition results of the recognition unit, as the Internet search term through the search term extracting unit; And (g) searching the Internet through an internet search engine using the search word extracted by the search word extracting unit, and extracting related information according to relevance; It includes.

그리고, 본 발명은 TV화면 속의 단어나 로고를 직접 검색하여 관련 정보를 얻고, 모르는 외국어를 해당 국어의 키보드 없이 인터넷 검색하는 효과가 있다.In addition, the present invention has the effect of directly searching for words or logos on the TV screen to obtain related information, and to search the Internet without knowing a foreign language without a keyboard of the corresponding language.

본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미 와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.The features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, the terms or words used in the present specification and claims are defined in the technical spirit of the present invention on the basis of the principle that the inventor can appropriately define the concept of the term in order to explain his invention in the best way. It should be interpreted to mean meanings and concepts. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

본 발명의 일실시예에 따른 TV 시청중 인터넷을 검색하는 장치에 관하여 도 2를 참조하여 설명하면 다음과 같다.An apparatus for searching the Internet while watching TV according to an embodiment of the present invention will be described with reference to FIG. 2.

도 2는 본 발명의 일실시예에 따른 TV 시청중 인터넷을 검색하는 장치에 관한 개략적인 블록도이다.2 is a schematic block diagram of an apparatus for searching the Internet while watching TV according to an embodiment of the present invention.

본 발명의 일실시예에 따른 TV 시청중 인터넷을 검색하는 장치는 도 2에 도시된 바와 같이, TV신호 입력부(100), 인식부(200), 검색어 추출부(300), 인터넷 검색엔진부(400), 디스플레이부(500) 및 제어부(600)를 포함한다.As shown in FIG. 2, an apparatus for searching the Internet while watching TV according to an embodiment of the present invention includes a TV signal input unit 100, a recognition unit 200, a search word extractor 300, and an internet search engine unit ( 400, a display unit 500, and a controller 600.

우선, TV신호 입력부(100)는 공중파, 케이블, 비디오장치 등을 통하여 TV방송신호를 입력받고, 사용자로부터 검색요청을 입력받는 기능을 수행한다. 이러한 기능을 수행하는 TV신호 입력부(100)는, TV방송신호를 입력받는 TV신호 입력모듈(110), 외부로부터 검색요청을 입력받는 외부신호 입력모듈(120)을 포함한다. 여기서, 본 실시예에 따른 TV신호 입력부(100)는 외부로부터의 검색요청을 별도로 구비된 리모컨(미도시)으로부터 외부신호 입력모듈(120)를 통해 입력받는다.First, the TV signal input unit 100 receives a TV broadcast signal through an airwave, a cable, a video device, or the like, and performs a function of receiving a search request from a user. The TV signal input unit 100 performing such a function includes a TV signal input module 110 for receiving a TV broadcast signal and an external signal input module 120 for receiving a search request from the outside. Here, the TV signal input unit 100 according to the present embodiment receives a search request from the outside through an external signal input module 120 from a remote controller (not shown) separately provided.

또한, 인식부(200)는 외부로부터 검색요청신호를 입력받은 경우, TV신호 입력부(100)에 의해 수신한 TV방송신호 중 음성, 얼굴사진, 장소, GPS정보, 문자, 물체 및 상표를 인식하고, 기설정된 데이터와 비교하여, 그 결과를 인식 신뢰 도(confidence)에 따라 텍스트 형태의 단어로 추출하는 기능을 수행한다. Also, when the search unit 200 receives a search request signal from the outside, the recognition unit 200 recognizes a voice, a face photograph, a place, GPS information, a character, an object, and a trademark among the TV broadcast signals received by the TV signal input unit 100. In addition, the function compares the preset data and extracts the result as a word in text form according to recognition confidence.

이러한 기능을 수행하는 인식부(200)는 음성인식모듈(210), 얼굴인식모듈(220), 장소인식모듈(230), 위치인식모듈(240), 문자인식모듈(250), 동식물 인식모듈(260), 물체인식모듈(270), 상표인식모듈(280) 및 인식DB모듈(290)을 포함한다. 이때, 기설정된 데이터는 음성, 얼굴사진, 장소, GPS정보, 사전, 용어목록, 물체, 상표 등에 대한 정보와 그 정보에 대한 텍스트 명칭에 대한 정보 및 TV방송 프로그램 정보를 포함한다.Recognition unit 200 performing this function is the voice recognition module 210, face recognition module 220, place recognition module 230, location recognition module 240, character recognition module 250, flora and fauna recognition module ( 260, an object recognition module 270, a trademark recognition module 280, and a recognition DB module 290. In this case, the preset data includes information on voice, face photograph, place, GPS information, dictionary, term list, object, trademark, etc., information on a text name for the information, and TV broadcast program information.

여기서, 음성인식모듈(210)은 수신한 TV방송신호 중 음성을 인식하고, 인식DB모듈(290)에 기설정된 데이터와 비교하여 해당 텍스트 형태의 단어로 추출한다.Here, the voice recognition module 210 recognizes the voice of the received TV broadcast signal, and compares it with the data set in the recognition DB module 290 to extract the word in the text form.

얼굴인식모듈(220)은 TV방송신호의 영상 중 얼굴영역을 인식하고, 인식DB모듈(290)에 기설정된 데이터와 비교하여 해당자의 성명을 텍스트 형태의 단어로 추출한다.The face recognition module 220 recognizes the face area of the image of the TV broadcast signal, and extracts the name of the person in a text form by comparing the data set in the recognition DB module 290.

장소인식모듈(230)은 TV방송신호의 영상 중 배경영역을 인식하고, 인식DB모듈(290)에 기설정된 데이터와 비교하여 해당 장소명을 텍스트 형태의 단어로 추출한다.The place recognition module 230 recognizes the background area of the image of the TV broadcast signal, and compares the place name with the data preset in the recognition DB module 290 and extracts the place name as a text word.

위치인식모듈(240)은 TV방송신호 중 GPS정보가 포함된 신호를 인식하고, 인식DB모듈(290)에 GPS정보에 따라 기설정된 행정구역, 관광명소 명칭 등을 포함하는 지역명칭 정보를 텍스트 형태의 단어로 추출한다.The location recognition module 240 recognizes a signal including GPS information among the TV broadcast signals, and forms the text of the local name information including the name of an administrative region, a tourist attraction, etc. preset according to the GPS information in the recognition DB module 290. Extract into words.

문자인식모듈(250)은 TV방송신호의 영상 중 문자 영역을 인식하고, 인식DB모듈(290)에 기설정된 사전이나, 용어목록 등을 이용하여 그 해당하는 문자열을 텍스 트 형태의 단어로 추출한다. 이때, 문자인식모듈은 인식결과를 높이기 위하여 사전이나 자주 나타나는 용어 목록 등을 이용한다.The character recognition module 250 recognizes a character area of the image of the TV broadcast signal, and extracts the corresponding character string into a text form using a dictionary or a term list set in the recognition DB module 290. . At this time, the character recognition module uses a dictionary or a list of frequently appearing terms in order to increase the recognition result.

동식물 인식모듈(260)은 TV방송신호 중 동물 및 식물의 모습과 소리 등을 인식하고, 인식DB모듈(290)에 기설정된 데이터와 비교하여 해당 동식물의 명칭을 텍스트 형태의 단어로 추출한다.The flora and fauna recognition module 260 recognizes the appearance and sound of animals and plants among the TV broadcast signals, and compares the names of the animals and plants with the data preset in the recognition DB module 290 to extract words of the flora and fauna as text words.

물체인식모듈(270)은 TV방송신호의 영상 중 물체를 인식하고, 인식DB모듈(290)에 기설정된 데이터와 비교하여 그 물체의 일반 명칭을 텍스트 형태의 단어로 추출한다. 즉, 자동차라는 일반 명칭과 함께 소나타라는 제품 명칭을 제공한다. The object recognition module 270 recognizes the object in the image of the TV broadcast signal, and compares the data set in the recognition DB module 290 to extract the general name of the object as a text word. That is, the product name Sonata is provided along with the general name of automobile.

상표인식모듈(280)은 TV방송신호의 영상 중 상표를 인식하고, 인식DB모듈(290)에 기설정된 데이터와 비교하여 해당 회사의 명칭을 텍스트 형태의 단어로 추출한다.The trademark recognition module 280 recognizes a trademark in the image of the TV broadcast signal, and compares the name of the corresponding company with the data set in the recognition DB module 290 to extract a word in a text form.

인식DB모듈(290)은 음성인식모듈(210), 얼굴인식모듈(220), 장소인식모듈(230), 위치인식모듈(240), 문자인식모듈(250), 동식물 인식모듈(260), 물체인식모듈(270) 및 상표인식모듈(280)의 각 인식결과물에 대한 데이터를 비교하기 위하여, 수신한 TV방송신호 중, 음성, 얼굴사진, 장소, GPS정보, 사전, 용어목록, 물체, 상표 등에 대한 정보와 그 정보에 대한 텍스트 명칭에 대한 정보 및 TV방송 프로그램 정보를 저장하여 미리 설정하는 기능을 수행한다. Recognition DB module 290 is voice recognition module 210, face recognition module 220, place recognition module 230, location recognition module 240, character recognition module 250, flora and fauna recognition module 260, objects In order to compare data on each recognition result of the recognition module 270 and the trademark recognition module 280, among the received TV broadcast signals, voice, face photograph, place, GPS information, dictionary, term list, object, trademark, etc. Performs a function of storing and pre-setting the information about the information, the text name of the information and the TV broadcast program information.

본 실시예에 따른 인식부(200)는 TV방송신호의 영상에 다수의 얼굴, 물체 등이 존재하고, 또 다른 측면에서 동일한 영상을 서술할 수 있으므로, 한 영상에서 신뢰도(confidence)를 달리하는 다수의 인식 결과를 검색어의 후보로 도출한다.The recognition unit 200 according to the present embodiment has a plurality of faces, objects, and the like present in the image of the TV broadcast signal, and may describe the same image in another aspect. The recognition result is derived as a candidate of the search word.

또한, 검색어 추출부(300)는 인식부(200)에서 추출하는 후보 단어들을 인터넷 검색어로서의 적합도에 따라 검색어로 선택하여 추출하는 기능을 수행한다. 이러한 기능을 수행하는 검색어 추출부(300)는 검색 포탈 이력을 저장하는 검색 이력 저장모듈(310), 다수의 단어를 데이터베이스로 구축하는 단어DB모듈(320), 단어DB모듈에 구축된 데이터베이스로부터 후보 단어들과 유사한 단어를 추가하는 단어추가모듈(330) 및 검색 이력으로부터 적합도를 판단하는 적합도 판단모듈(340)을 포함한다.In addition, the search word extractor 300 selects and extracts candidate words extracted by the recognizer 200 as search terms according to a goodness of fit as an Internet search term. The search term extracting unit 300 performing such a function is a search history storage module 310 for storing a search portal history, a word DB module 320 for constructing a plurality of words into a database, and candidates from a database built in the word DB module. A word adding module 330 for adding words similar to words, and a fitness determining module 340 for determining a goodness of fit from the search history.

여기서, 인터넷의 검색어로서의 가능성, 즉 적합도(suitability)는 단어의 의미, 단어의 언어적 기능 등을 감안하여 결정되며 고유 명사는 검색어로서의 적합도가 높은 반면 자주 나타나는 일반명사와 기능어는 검색어로 적합도가 떨어지는 것이 통상적이다. 사용자의 나이, 학력, 직업, 취미 등에 따라서 개인차가 있고 시류에 따라 기복이 있다. 따라서 검색어로서의 적합도는 검색 포탈의 이력으로부터 추출하는 것이 바람직하다. 또한 한 검색어가 여러 의미로도 쓰이기 때문에 추출된 검색어의 의미를 차별화할 수 있는 부가적인 검색어를 추가하기도 한다. 한 예로서 과일의 그림을 인식하여 'Apple'이라고 검색엔진에 넘겼더니 컴퓨터 회사에 관한 이야기가 대부분인 경우를 피하기 위하여 'fruit'이라는 검색어를 추가하면 컴퓨터 회사의 검색 결과는 피할 수 있다. 다수의 후보 단어가 각기 다른 신뢰도로 추출되기 때문에 이들을 통합하여 인터넷 검색어로 가능성, 즉 적합도가 높은 것들을 선택한다.Here, the possibility as a search term of the Internet, that is, suitability is determined in consideration of the meaning of a word and the linguistic function of the word, and proper nouns have high suitability as search terms, while common nouns and functional words are less suitable as search terms. Is common. There are individual differences according to the user's age, education, occupation, hobbies, etc., and there are ups and downs according to the current class. Therefore, the goodness of fit as the search word is preferably extracted from the history of the search portal. In addition, since a search term is used in several meanings, an additional search term may be added to differentiate the meaning of the extracted search term. As an example, after recognizing a picture of a fruit and handing it to a search engine called 'Apple', the search results of a computer company can be avoided by adding the term 'fruit' to avoid most cases about computer companies. Since a number of candidate words are extracted with different reliability, they are combined to select the most probable, that is, the good fit, as an Internet search term.

또한, 인터넷 검색엔진부(400)는 검색어 추출부(300)에 의해 추출된 검색어 를 이용하여 인터넷을 검색하고, 관련 정보를 관련도(relevance)에 따라 제공하는 기능을 수행한다. 여기서, 본 실시예에 따른 관련도는 검색어를 이용하여 검색된 다수의 관련 정보 중, 관련 정보 내의 검색어 빈도수가 다른 관련 정보보다 상대적으로 높은 것을 관련도가 높다고 할 수 있다.In addition, the internet search engine unit 400 performs a function of searching the Internet using a search word extracted by the search word extractor 300 and providing related information according to relevance. In this case, the relevance according to the present embodiment may be regarded as having a relatively high relevance among a plurality of related information searched using a search word, in which the search word frequency in the related information is relatively higher than other related information.

또한, 디스플레이부(500)는 인터넷 검색엔진부(400)에 의해 검색된 결과를 인식부(200)의 인식 신뢰도, 검색어 추출부(300)의 적합도 및 인터넷 검색엔진부(400)의 관련도에 따라 목록으로 출력하는 기능을 수행한다.In addition, the display unit 500 may determine the result of the search by the internet search engine 400 according to the recognition reliability of the recognition unit 200, the suitability of the search word extractor 300, and the relevance of the internet search engine 400. Outputs the list.

그리고, 제어부(600)는 상술한 TV신호 입력부(100), 인식부(200), 검색어 추출부(300), 인터넷 검색엔진부(400) 및 디스플레이부(500)를 제어하는 기능을 수행한다.The controller 600 controls the TV signal input unit 100, the recognition unit 200, the search word extracting unit 300, the internet search engine unit 400, and the display unit 500.

본 발명은 TV시청중 임의의 시점에 인터넷 검색을 요청할 것에 대비하여 매 시점마다 사용자의 요구를 파악하기에 충분한 양(N frames)의 방송 내용을 저장하였다가 검색 요청이 들어오면 이 자료를 인식하고 분석하여 검색어를 추출하는 효과가 있다.The present invention stores N frames of broadcasting contents sufficient to grasp the user's request at each time in preparation for requesting Internet search at any time during TV viewing, and recognizes this data when a search request is received. It is effective to extract search terms by analyzing.

또한, 본 발명은 TV시청 중 TV화면의 영상, 소리, 프로그램 정보로부터 인터넷을 직접 검색하여 정보를 제공받을 수 있는 효과가 있다.In addition, the present invention has the effect that can be provided by directly searching the Internet from the image, sound, program information of the TV screen during TV viewing.

한편, 본 발명의 일실시예에 따른 TV 시청중 인터넷을 검색하는 장치를 이용 하는 검색 방법(이하, '검색 방법')에 관하여 도 3을 참조하여 설명하면 다음과 같다.Meanwhile, a search method (hereinafter, a 'search method') using an apparatus for searching the Internet while watching TV according to an embodiment of the present invention will be described with reference to FIG. 3.

도 3은 본 발명의 일실시예에 따른 검색 방법에 관한 전체적인 흐름도이다.3 is an overall flowchart of a search method according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 제어부(600)는 TV신호 입력부(100)를 통해 TV방송신호를 입력받는다(S2).As shown in FIG. 3, the control unit 600 receives a TV broadcast signal through the TV signal input unit 100 (S2).

다음으로 제어부(600)는 음성인식모듈(210), 얼굴인식모듈(220), 장소인식모듈(230), 위치인식모듈(240), 문자인식모듈(250), 동식물 인식모듈(260), 물체인식모듈(270) 및 상표인식모듈(280)의 각 인식결과물에 대한 데이터를 비교하기 위하여, 수신한 TV방송신호 중, 음성, 얼굴사진, 장소, GPS정보, 사전, 용어목록, 물체, 상표 등에 대한 정보와 그 정보에 대한 텍스트 명칭에 대한 정보 및 TV방송 프로그램 정보를 저장하고 미리 설정하여 데이터베이스로 구축한다(S4).Next, the control unit 600 is a voice recognition module 210, face recognition module 220, place recognition module 230, position recognition module 240, character recognition module 250, flora and fauna recognition module 260, objects In order to compare data on each recognition result of the recognition module 270 and the trademark recognition module 280, among the received TV broadcast signals, voice, face photograph, place, GPS information, dictionary, term list, object, trademark, etc. The information about the information about the information and the text name and TV program information about the information is set in advance to build a database (S4).

다음으로 제어부(600)는 TV신호 입력부(100)의 외부신호 입력모듈(120)을 통해 검색요청을 입력받는다(S6).Next, the control unit 600 receives a search request through the external signal input module 120 of the TV signal input unit 100 (S6).

다음으로 제어부(600)는 입력받은 TV방송신호 중 음성, 얼굴사진, 장소, GPS정보, 사전, 용어목록, 물체 및 상표를 인식부(200)의 각 인식모듈(210 내지 280)를 통해 인식한다(S8).Next, the controller 600 recognizes a voice, a face photograph, a place, GPS information, a dictionary, a term list, an object, and a trademark among the received TV broadcast signals through the recognition modules 210 to 280 of the recognition unit 200. (S8).

다음으로 제어부(600)는 각 인식모듈(210 내지 280)을 통해 인식DB모듈(290)에 데이터베이스로 기설정한 데이터와 비교하여 텍스트 형태의 단어를 인식 신뢰도에 따라 검색어의 후보들로 추출한다(S10).Next, the controller 600 compares the data preset in the database to the recognition DB module 290 through the recognition modules 210 to 280, and extracts a word in a text form as candidates for the search word according to the recognition reliability (S10). ).

다음으로 제어부(600)는 인식부(200)의 인식결과인 후보 단어들을 검색어 추 출부(300)를 통해 인터넷 검색어로서의 적합도에 따라 검색어를 추출한다(S12).Next, the control unit 600 extracts the candidate words, which are the recognition results of the recognition unit 200, according to the goodness of fit as the Internet search word through the search word extracting unit 300 (S12).

다음으로 제어부(600)는 검색어 추출부(300)에 의해 추출된 검색어를 이용하여 인터넷 검색엔진부(400)를 통해 인터넷 검색하고, 관련 정보를 관련도에 따라 추출한다(S14).Next, the controller 600 searches the Internet through the internet search engine 400 using the search word extracted by the search word extractor 300, and extracts related information according to the relevance (S14).

그리고 제어부(600)는 인터넷 검색엔진부(400)에 의해 추출된 관련 정보를 디스플레이부(500)를 통해 출력한다(S16). 여기서, 제 S16 단계를 구체적으로 살펴보면, 제어부(600)는 추출된 관련 정보를 디스플레이부(500)를 통해 인식부(200)의 인식 신뢰도, 검색어 추출부(300)의 적합도 및 인터넷 검색엔진부(400)의 관련도에 따라 출력한다.The controller 600 outputs the related information extracted by the internet search engine 400 through the display 500 (S16). Here, referring to step S16 in detail, the control unit 600 uses the display unit 500 to recognize the recognition reliability of the recognition unit 200, the suitability of the search word extractor 300, and the Internet search engine unit ( Output according to the relevance of 400).

그리고, 본 발명의 일실시예에 따른 검색어 추출과정에 대하여 도 4를 참조하여 상세히 살펴본다.And, the search word extraction process according to an embodiment of the present invention will be described in detail with reference to FIG.

도 4는 본 발명의 일실시예에 따른 검색어 추출과정에 관한 상세한 흐름도이다.4 is a detailed flowchart illustrating a search word extraction process according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 제어부(600)는 검색어 추출부(300)의 검색 이력 저장모듈(310)을 통해 검색 포탈 이력을 저장한다(S22).As shown in FIG. 4, the controller 600 stores the search portal history through the search history storage module 310 of the search word extractor 300 (S22).

다음으로 제어부(600)는 검색어 추출부(300)의 단어추가모듈(330)을 통해 인식부(200)의 결과인 후보단어들과 유사한 단어를 단어DB모듈(320)로부터 추가한다(S24).Next, the controller 600 adds words similar to the candidate words that are the results of the recognition unit 200 through the word adding module 330 of the search word extractor 300 from the word DB module 320 (S24).

그리고 제어부(600)는 검색 이력 저장모듈(310)에 저장된 검색 포탈 이력으로부터 인터넷 검색어로 적합한지 적합도 판단모듈(340)을 통해 적합도를 판단하여 그 적합도에 따라 검색어를 추출한다(S26).The controller 600 determines whether the fitness is suitable as an internet search term from the search portal history stored in the search history storage module 310 through the fitness determination module 340 and extracts the search word according to the fitness (S26).

도 1은 종래기술에 따른 개략적인 블록도.1 is a schematic block diagram according to the prior art;

도 2는 본 발명의 일실시예에 따른 TV 시청중 인터넷을 검색하는 장치에 관한 개략적인 블록도.2 is a schematic block diagram of an apparatus for searching the Internet while watching TV according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 검색 방법에 관한 전체적인 흐름도.3 is an overall flowchart of a search method according to an embodiment of the present invention;

도 4는 본 발명의 일실시예에 따른 검색어 추출과정에 관한 상세한 흐름도.4 is a detailed flowchart illustrating a search word extraction process according to an embodiment of the present invention.

<도면 부호에 대한 설명><Description of Drawing>

100 : TV신호 입력부 110 : TV신호 입력모듈100: TV signal input unit 110: TV signal input module

120 : 외부신호 입력모듈 200 : 인식부120: external signal input module 200: recognition unit

210 : 음성인식모듈 220 : 얼굴인식모듈210: voice recognition module 220: face recognition module

230 : 장소인식모듈 240 : 위치인식모듈230: location recognition module 240: location recognition module

250 : 문자인식모듈 260 : 동식물 인식모듈250: character recognition module 260: flora and fauna recognition module

270 : 물체인식모듈 280 : 상표인식모듈270: object recognition module 280: trademark recognition module

290 : 인식DB모듈 300 : 검색어 추출부290: recognition DB module 300: search term extraction unit

310 : 검색 이력 저장모듈 320 : 단어DB모듈310: search history storage module 320: word DB module

330 : 단어추가모듈 340 : 적합도 판단모듈330: word addition module 340: goodness of fit module

400 : 인터넷 검색엔진부 500 : 디스플레이부400: Internet search engine unit 500: Display unit

600 : 제어부600: control unit

Claims

In the apparatus for searching the Internet while watching TV,

A TV signal input unit for receiving a TV broadcast signal and receiving a search request from the outside;

A recognition unit for recognizing a voice and an image of the TV broadcast signal received by the TV signal input unit, comparing the pre-set data with the preset data, and extracting the recognition result into text-type words;

A search history storage module for storing a search portal history, a word DB module for constructing a plurality of words in a database, a word addition module for adding words similar to words extracted from the recognition unit from a database built in the word DB module; A search word extracting unit configured to extract a search word consisting of a suitability determining module for determining a goodness of fit from the search history of the search history storing module;

An internet search engine that searches the Internet using the search word extracted by the search word extractor and extracts related information according to relevance; And

A control unit controlling the TV signal input unit, recognition unit, search word extracting unit, and internet search engine unit; Including;

The recognition unit,

A voice recognition module for recognizing a voice among the TV broadcast signals received by the TV signal input unit and extracting the voice as a word having a text form by comparing with preset data;

A face recognition module for recognizing a face region in the image of the received TV broadcast signal and extracting the name of the person in a text form by comparing the preset data with preset data; And

A recognition DB module configured to preset information on a received TV broadcast signal, a text name for the information, and TV broadcast program information in order to compare data on each recognition result of the voice recognition module and the face recognition module; Apparatus for searching the Internet while watching TV comprising a.

The method of claim 1,

A display unit which outputs a result searched by the Internet search engine unit according to the recognition result, a goodness of fit and a degree of relevance; Apparatus for searching the Internet while watching TV further comprising.

The method of claim 1,

The TV signal input unit,

A TV signal input module for receiving a TV broadcast signal; And

An external signal input module for receiving a search request from the outside; Apparatus for searching the Internet while watching TV comprising a.

delete

The method of claim 1,

The recognition unit,

A place recognition module for recognizing a background area of the image of the TV broadcast signal received by the TV signal input unit, and extracting the place name into a text form word by comparing with the data preset in the recognition DB module;

A character recognition module that recognizes a character area of the image of the TV broadcast signal received by the TV signal input unit, and compares the character string with data preset in the recognition DB module to extract a corresponding character string as a text-type word;

An object recognition module for recognizing an object in the image of the TV broadcast signal received by the TV signal input unit, and comparing the data set in the recognition DB module to extract the general name of the object as a text word; And

A trademark recognition module for recognizing a trademark in the image of the TV broadcast signal received by the TV signal input unit, and extracting the name of the company as a text form by comparing the data set in the recognition DB module; Apparatus for searching the Internet while watching TV further comprising.

The method of claim 1,

The recognition unit,

A position recognition module for recognizing a signal including GPS information among the TV broadcast signals received by the TV signal input unit, and extracting a region name according to GPS information preset in the recognition DB module as a textual word; And

A flora and fauna recognition module for recognizing the appearance and sound of the flora and fauna among the TV broadcast signals received by the TV signal input unit, and extracting the name of the flora and fauna in a text form by comparing the data and the preset data in the recognition DB module; Apparatus for searching the Internet while watching TV further comprising.

The method of claim 1,

Information about the TV broadcast signal,

An apparatus for searching the Internet while watching TV, comprising information about voice, face photograph, place, GPS information, dictionary, term list, object, and trademark among the received TV broadcast signals.

delete

In a search method using a device for searching the Internet while watching TV,

(a) the control unit receiving a TV broadcast signal through the TV signal input unit;

(b) constructing a database of the TV broadcast signal received by the control unit in a recognition DB module of the recognition unit;

(c) receiving, by the controller, a search request through an external signal input module of the TV signal input unit;

(d) recognizing, by the control unit, a voice, a face photograph, a place, GPS information, a dictionary, a term list, an object, and a trademark from among the TV broadcast signals received by the controller;

(e) Text comparing the data preset by the control unit as a database in the recognition DB module through the recognition unit with the voice, face photograph, place, GPS information, dictionary, term list, object, and trademark among the TV broadcast signals; Extracting a word of a form as a candidate word of a search word according to a recognition result;

(f) the control unit extracting the search terms based on the goodness of fit of the candidate words, which are the recognition results of the recognition unit, as the Internet search term through the search term extracting unit; And

(g) searching the Internet through an internet search engine unit by using the search word extracted by the search term extracting unit, and extracting related information; Including;

Step (f),

(f-1) the control unit storing the search portal history through the search history storage module of the search word extractor;

(f-2) the controller adding a word similar to candidate words that are a result of the recognition unit through the word adding module of the search word extracting unit; And

(f-3) determining, by the control unit, a suitability from the search portal history stored in the search history storage module and extracting a search word according to the suitability; Search method comprising a.

The method of claim 9,

After step (g),

(h) the control unit outputting related information extracted by the internet search engine unit through a display unit; Search method characterized in that it further comprises.

delete