[go: up one dir, main page]

KR102104294B1 - 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션 - Google Patents

디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션 Download PDF

Info

Publication number
KR102104294B1
KR102104294B1 KR1020190137485A KR20190137485A KR102104294B1 KR 102104294 B1 KR102104294 B1 KR 102104294B1 KR 1020190137485 A KR1020190137485 A KR 1020190137485A KR 20190137485 A KR20190137485 A KR 20190137485A KR 102104294 B1 KR102104294 B1 KR 102104294B1
Authority
KR
South Korea
Prior art keywords
sign language
keyword
user
terminal
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190137485A
Other languages
English (en)
Inventor
유승수
Original Assignee
주식회사 멀틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 멀틱스 filed Critical 주식회사 멀틱스
Priority to KR1020190137485A priority Critical patent/KR102104294B1/ko
Application granted granted Critical
Publication of KR102104294B1 publication Critical patent/KR102104294B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 기술적 사상이 되는 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션이 개시된다. 본 발명의 일 실시 예에 따를 때, 단말기로부터 입력되는 질문에 상응하여 상기 질문에 포함된 키워드와 상기 키워드를 포함하는 답변을 매칭하여 DB를 구축하는 단계; 사용자가 소지한 상기 단말기로부터 상기 사용자 조작에 따라 상기 질문에 상응하는 키워드를 입력받는 단계; 상기 사용자의 단말기로부터 입력된 키워드와 상기 DB의 키워드를 매칭하여 상기 DB의 답변을 검색하는 단계; 검색된 답변을 분석하여 수화 문장을 추출하고 추출된 수화 문장에 대응한 수화 영상으로 변환하는 단계; 및 변환된 수화 영상에 대한 수화 영상 링크를 출력하는 단계;를 실행시킨다.

Description

디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션{SIGN LANGUAGE VIDEO CHATBOT APPLICATION STORED ON COMPUTER-READABLE STORAGE MEDIA}
본 발명은 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션에 관한 것이다. 구체적으로 본 발명은 수화 영상을 제공하는 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션에 관한 것이다.
챗봇은 사용자로부터 입력받은 키워드에 대응하는 답변을 디스플레이에 표시하는 애플리케이션이고, 챗봇 애플리케이션은 다양한 장치에 설치되어 웹 환경, 임베디드 환경에서 사용자의 질문에 답한다. 예를 들어, 집안에 설치되는 인공지능 스피커의 경우 챗봇 애플리케이션이 음성 인터페이스를 가져 음성 명령을 인식하고 이에 반응한다. 이러한 챗봇 애플리케이션은 다양한 매체를 통해 구현될 수 있다.
공개번호 제10-2019-0115509호, 자동 수화 인식 방법 및 시스템 등록번호 제10-1899588호, 수화 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법
본 발명은 수화 영상을 제공하는 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션을 제공한다. 구체적으로 본 발명은 사용자로부터 입력받은 키워드에 대응한 답변에 따른 수화 영상을 재생하는 수화 영상 챗봇 애플리케이션을 제공한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 문제는 청구항 제1항의 특징들을 포함하는 수화 영상 챗봇 애플리케이션을 제공함으로써 해결된다. 따라서, 본 발명에 따라, 단말기로부터 입력되는 질문에 상응하여 상기 질문에 포함된 키워드와 상기 키워드를 포함하는 답변을 매칭하여 DB를 구축하는 단계; 사용자가 소지한 상기 단말기로부터 상기 사용자 조작에 따라 상기 질문에 상응하는 키워드를 입력받는 단계; 상기 사용자의 단말기로부터 입력된 키워드와 상기 DB의 키워드를 매칭하여 상기 DB의 답변을 검색하는 단계; 검색된 답변을 분석하여 수화 문장을 추출하고 추출된 수화 문장에 대응한 수화 영상으로 변환하는 단계; 및 변환된 수화 영상에 대한 수화 영상 링크를 출력하는 단계;를 실행시킨다.
또한, 유리하게, 상기 변환하는 단계는, 검색된 답변을 분석하여 수화 문장을 추출하는 단계; 추출된 수화 문장에 대응한 수화 단어 영상을 매칭하는 단계; 및 매칭된 수화 단어 영상을 이용하여 수화 영상을 생성하는 단계를 포함한다.
또한, 본 발명의 맥락에서 상기 검색하는 단계는, 상기 사용자의 단말기로부터 입력된 키워드와 DB의 키워드를 패턴 매칭하는 단계; 상기 사용자의 단말기로부터 입력된 키워드의 형태소를 분석하는 단계; 및 분석된 키워드의 형태소를 이용하여 머신러닝을 수행하는 단계를 포함한다.
또한, 상기 패턴 매칭하는 단계는, 상기 사용자의 단말기로부터 입력된 키워드에 매칭되는 DB의 키워드가 없으면 DB의 유사어 사전을 참조하여 상기 사용자의 단말기로부터 입력된 키워드와 DB의 유사어를 패턴 매칭하는 단계; 및 상기 사용자의 단말기로부터 입력된 키워드가 상기 유사어 사전에도 없으면 DB의 키워드 업데이트를 요청하여 관리자에게 입력된 키워드에 대한 업데이트 요청 메시지를 전송하는 단계;를 포함한다.
또한, 상기 DB를 구축하는 단계는, 상기 DB의 키워드에 대응한 사용자의 수화 동작을 인식하는 단계; 및 인식된 수화 동작을 3D 애니메이션으로 변환하여 저장하는 단계;를 포함한다.
본 설명 및 청구범위 전반에 걸쳐 본 발명의 근본적인 개념들의 더 나은 이해를 위해 수화 영상 챗봇 애플리케이션에 대해서만 참조되었으나, 모든 본 발명의 측면들 내에서 본 발명은 추가적인 더 나아가 실시예들을 물론 또한 포괄한다. 당해 기술 분야에 있어서 통상의 기술을 가진자에게 쉽게 명백하게, 본 발명에 따른 방법들, 장치 및 시스템들은 수화 영상 챗봇 애플리케이션에 대해 동등하게 적용될 수 있다.
발명의 바람직한 실시예
단독으로 또는 조합으로 적용될 수 있는 본 발명의 바람직한 특징들은 부수하는 청구항들 내에서뿐만 아니라 하기 내에서 논의된다.
바람직하게, 사용자로부터 키워드를 입력받는 단계; 입력된 키워드와 DB의 키워드를 매칭하여 상기 DB의 답변을 검색하는 단계; 검색된 답변을 분석하여 수화 문장을 추출하고 추출된 수화 문장에 대응한 수화 영상으로 변환하는 단계; 및 변환된 수화 영상에 대한 수화 영상 링크를 출력하는 단계;를 실행시킨다.
본 발명의 일 실시 예에 따를 때, 수화 영상 챗봇 애플리케이션이 입력된 키워드에 대응한 수화 영상을 재생함으로써 챗봇 애플리케이션과 사용자간에 수화라는 매체를 통해 상호 작용한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 수화 영상 챗봇 애플리케이션의 구성을 보인 예시도이다.
도 2는 답변 검색 단계를 보인 예시도이다.
도 3은 수화 영상 화면을 보인 예시도이다.
도 4는 챗봇 접속 메인 화면을 보인 예시도이다.
도 5는 챗봇 민원 구현 화면을 보인 예시도이다.
도 6은 DB 구축을 보인 예시도이다.
도 7은 서버와 단말기의 구성을 보인 예시도이다.
도 8은 단말기의 구성을 보인 예시도이다.
도 9는 서버의 구성을 보인 예시도이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 개시의 실시 예를 상세히 설명하기로 한다.
도 1은 수화 영상 챗봇 애플리케이션의 구성을 보인 예시도이다.
사용자, 키워드, DB의 키워드, DB의 답변, 수화 문장, 수화 영상, 수화 영상 링크, 수화 단어 영상이 구성이고, 사용자는 수화 영상 챗봇 애플리케이션을 사용하는 사용자이고, 키워드는 수화 영상 챗봇 애플리케이션에 입력되는 질문이고, DB의 키워드는 사용자의 키워드에 매칭될 단어이고, DB의 답변은 사용자의 키워드 질문에 대응한 답변이고, 수화 문장은 수화로 표현되는 문장이고, 수화 영상은 수화로 표현되는 영상이고, 수화 영상 링크는 수화 영상을 가리키는 주소이고, 수화 단어 영상은 수화 단어로 표현되는 영상이다.
사용자는 사용자 단말기를 매개로 수화 영상 챗봇 애플리케이션(10)에 키워드를 입력하면(11) 수화 영상 챗봇 애플리케이션이 입력된 키워드와 DB의 키워드를 매칭하여 DB의 답변을 검색하고(12), 검색된 답변에 포함된 수화 문장을 추출하고, 추출된 수화 문장에 대응한 수화 영상을 생성하여(13) 수화 영상 링크를 디스플레이에 표시한다(14). 수화 영상 챗봇 애플리케이션은 수화 문장에 대응한 수화 영상을 생성함에 있어 수화 문장을 구성하는 수화 단어에 대응한 수화 단어 영상을 조합하여 수화 영상을 생성한다. 또한, 수화 영상 챗봇 애플리케이션은 수화 영상과 답변을 함께 표시한다.
수화 영상 챗봇 애플리케이션은 임베디드 장치로 구현될 수 있고, 임베디드 장치는 스마트폰을 포함하며, 기본 구성 요소로 프로세서, 메모리, 디스플레이를 포함하고, 상용 OS를 구비하고, OS에서 동작하는 애플리케이션 형태로 수화 영상 챗봇 애플리케이션이 구현된다. 예를 들어, 스마트폰의 경우 스마트폰의 프로세서는 제어부로 동작하고, 스마트폰의 디스플레이는 표시부로 동작한다. 애플리케이션 측면에서 소프트웨어 구조는, 제어부 및 표시부를 포함한다. 이러한 애플리케이션은 임베디드 장치에서 요구되는 다양한 동작 환경에 따라 프로그래밍 언어를 이용한 통합 개발 환경에 의해 만들어진다.
도 2는 답변 검색 단계를 보인 예시도이다.
입력된 키워드, DB의 키워드, 패턴 매칭, 키워드의 형태소, 머신러닝, 유사어 사전, 키워드 업데이트, 업데이트 요청 메시지가 구성이고, 입력된 키워드는 사용자 단말기로부터 입력된 키워드이고, DB의 키워드는 입력된 키워드에 매칭될 DB의 단어이고, 패턴 매칭은 단어를 구성하는 패턴에 대한 매칭이고, 키워드의 형태소는 키워드가 가지는 단어 속성이고, 머신러닝은 다수의 키워드로 신경망을 학습시켜 답변을 예측하는 알고리즘이고, 유사어 사전은 키워드에 대응하는 유사어 집합이고, 키워드 업데이트는 키워드를 갱신하는 것이고, 업데이트 요청 메시지는 키워드 업데이트를 요청하는 메시지이다.
수화 영상 챗봇 애플리케이션은 사용자 단말기로부터 입력받은 키워드와(21) DB의 키워드를 패턴 매칭하고(22), 키워드의 형태소를 분석하고(23), 분석된 키워드의 형태소로 머신러닝을 수행하여(24) 답변을 검색한다. 수화 영상 챗봇 애플리케이션은 키워드가 DB의 키워드에 매칭되지 않으면 DB의 유사어 사전을 참조하여 유사어를 검색하고, 유사어 사전에도 키워드가 검색되지 않으면 키워드 업데이트를 요청한다. 수화 영상 챗봇 애플리케이션은 관리자 단말기에게 업데이트 요청 메시지를 전송해서 관리자가 관리자 단말기를 매개로 사용자 단말기로부터 입력받은 키워드를 DB에 업데이트해서 답변 검색에 적용될 수 있도록 조치한다. 사용자 단말기로부터 입력받은 키워드는 추가 유사어 사전에 기록될 수 있고, 추가 유사어 사전은 사용자 단말기로부터 입력되는 다양한 종류의 사투리를 포함하는 키워드를 저장한다.
수화 영상 챗봇 애플리케이션은 사용자 단말기로부터 음성 또는 텍스트로 질문을 입력받으며, 음성의 경우 스피치 투 텍스트 모듈을 이용하여 텍스트로 변환한다. 텍스트는 텍스트 투 스피치 모듈로 음성으로 변환되어 음성 인식 모듈에 입력될 수 있다. 일반적인 스피치 투 텍스트 모듈과 텍스트 투 스피치 모듈은 사용자 단말기와 수화 영상 챗봇 애플리케이션이 음성 또는 텍스트로 상호 작용할 수 있도록 한다.
수화 영상 챗봇 애플리케이션에서 머신러닝은 CNN(Convonlutional Neural Network)와 RNN(Recurrent Neural Network)를 이용하며, CNN은 이미지 데이터 인식에 사용되고, RNN은 동작, 문자, 자연어의 순차적으로 등장하는 데이터 처리에 사용된다. 수화는 공간상의 정적 이미지 요소와 시간에 따라 순차적으로 변화하는 동적 요소를 모두 가지므로 학습을 통한 이상적인 수화 동작 인식을 위해 CNN과 RNN을 결합한 머신러닝 알고리즘이 수화 영상 챗봇 애플리케이션에 사용된다.
도 3은 수화 영상 화면을 보인 예시도이다.
수화 단어, 얼굴 표정, 손 모양이 구성이고, 수화 단어는 수화로 표현되는 단어이고, 얼굴 표정은 수화로 표현되는 얼굴 표정이고, 손 모양은 수화로 표현되는 손 모양이다.
수화 단어(31)에는 얼굴 표정(32)과 손 모양(33)이 대응해서 수화 영상이 만들어진다. 수화 영상은 DB에 저장되어 수화 영상 챗봇 애플리케이션이 검색하도록 DB가 구성된다.
도 4는 챗봇 접속 메인 화면을 보인 예시도이다.
챗봇 홈 페이지는 챗봇 접속 메인 화면(40)을 디스플레이에 표시해서 사용자가 사용자 단말기를 매개로 챗봇 접속 메인 화면(40)에서 수화 영상 챗봇 애플리케이션을 선택해서 실행하고, 수화 영상 챗봇 애플리케이션의 질문 입력창에 키워드를 입력해서 입력된 키워드에 대응한 답변에 따른 수화 영상을 본다. 수화 영상 챗봇 애플리케이션은 수화 영상을 수화 영상 링크로 출력해서 수화 영상 링크가 클릭되면 해당 수화 영상을 재생한다. 수화 영상 링크는 다른 컴퓨터에서도 읽혀서 해당 수화 영상이 재생되도록 컴퓨터간에 공유된다. 예를 들어, 컴퓨터는 수화 영상을 표시하는 디스플레이 장치일 수 있고, 디스플레이 장치는 온라인 또는 오프라인으로 동작하고, 스마트폰 또는 태블릿 중 어느 하나의 정보 처리 장치이다.
도 5는 챗봇 민원 구현 화면을 보인 예시도이다.
수화 챗봇, 수화 보기, 질문 입력이 구성일 수 있고, 수화 챗봇은 입력된 키워드에 대응한 수화를 표시하는 채팅 애플리케이션이고, 수화 보기는 수화 영상을 재생하는 메뉴이고, 질문 입력은 사용자 단말기로부터 질문 키워드를 입력받는 메뉴이다.
챗봇 민원 구현 화면(50)에 표시되는 수화 챗봇은 질문 입력에 따른 수화 보기 메뉴를 제공한다. 수화 챗봇은 질문 입력창에 입력되는 질문에 대한 키워드를 입력받고, 키워드에 대응한 수화 보기 메뉴를 제공한다. 수화 보기 메뉴가 선택되면 수화 챗봇은 키워드로 검색된 답변에 대응한 수화 영상을 재생한다.
도 6은 DB 구축을 보인 예시도이다.
키워드, 수화 동작, 3D 애니메이션이 구성이고, 키워드는 사용자 단말기로부터 입력받는 단어이고, 수화 동작은 키워드에 대응한 수화로 표현되는 동작이고, 3D 애니메이션은 카메라로 인식된 수화 영상이 3D 애니메이션으로 변환된 영상이다.
DB 구축에는 동작 인식 장비(61)에 의해 키워드에 대응한 수화 동작이 인식되고(62), 인식된 수화 동작이 3D 애니메이션으로 변환 생성되어 DB에 저장된다(63). 사용자의 수화 동작이 3D 애니메이션으로 변환되어 DB에 저장됨으로써 수화 영상 챗봇 애플리케이션이 수화 영상을 검색할 때 사용되는 DB가 만들어진다.
DB 서버는 임베디드 장치로 구현되고, 임베디드 장치는 컴퓨터를 포함하며, 기본 구성 요소로 프로세서, 메모리, 디스플레이를 포함하고, 상용 OS를 구비하고, OS에서 동작하는 애플리케이션 형태로 DB 서버가 구현된다. 이러한 애플리케이션은 임베디드 장치에서 요구되는 다양한 동작 환경에 따라 프로그래밍 언어를 이용한 통합 개발 환경에 의해 만들어진다. 통합 개발 환경에 사용되는 프로그래밍은 사용자와 인터페이스되는 컴퓨팅 환경에 따라 웹, 모바일 앱, 윈도우 앱으로 구분되고, 앱 종류에 맞게 웹 프로그래밍, 모바일 프로그래밍, 윈도우 프로그래밍으로 나누어진다.
DB 서버에 사용되는 웹 프로그래밍은 태그 정의로 이루어진 html과 문서 형식 정의 css가 결합되어 웹 프레임워크를 구성한다. 웹 프레임워크에서 클라이언트단의 프런트 엔드와 DB 서버 측 프로그래밍 언어가 사용되는 백 엔드가 서로 데이터를 주고받으면서 거대한 웹 환경을 만든다. 웹 환경은 DB 서버가 동작하는 주요 무대이며, DB 서버는 모바일 앱, 콘솔 앱 및 윈도우 앱과 웹 환경에서 통신하며 사용자에게 컴퓨팅 서비스를 제공한다.
도 7은 서버와 단말기의 구성을 보인 예시도이다.
서버(90)는 DB를 구축하여 수화 영상 챗봇 애플리케이션을 서비스하고, 단말기(80)는 서버(90)가 서비스하는 수화 영상 챗봇 애플리케이션에 접속해서 질문을 입력하고 서버(90)가 제공하는 수화 영상을 재생한다. 단말기(80)는 스마트폰 또는 컴퓨터이고, 서버(90)가 제공하는 웹 페이지를 표시한다. 웹 페이지는 수화 영상 챗봇 애플리케이션의 사용자 인터페이스를 표시하고, 사용자 인터페이스를 통해 단말기(80)로부터 질문을 입력받고, 서버(90)로 단말기(80)의 질문을 전달하고, 서버(90)가 처리한 수화 영상을 재생한다.
도 8은 단말기의 구성을 보인 예시도이다.
단말기(80)는 키보드(81)를 통해 사용자로부터 질문을 입력받고, 프로세서(82)는 입력된 질문을 서버(90)로 전송하고, 통신부(83)는 서버(90)가 응답하는 수화 영상을 수신하고, 디스플레이(84)는 프로세서(82)가 처리한 데이터를 표시한다. 단말기(80)는 키보드(81), 프로세서(82), 통신부(83), 디스플레이(84)를 가지고, 이들 구성을 이용하여 서버(90)에 접속해서 서버(90)가 제공하는 수화 영상 챗봇 애플리케이션을 서비스한다.
단말기(80)는 임베디드 장치로 구현될 수 있고, 임베디드 장치는 스마트폰을 포함하며, 기본 구성 요소로 프로세서, 메모리, 디스플레이를 포함하고, 상용 OS를 구비하고, OS에서 동작하는 애플리케이션 형태로 단말기(80)가 구현될 수 있다. 예를 들어, 스마트폰의 경우 스마트폰의 프로세서는 제어부로 동작하고, 스마트폰의 디스플레이는 표시부로 동작할 수 있다. 애플리케이션 측면에서 소프트웨어 구조는, 제어부 및 표시부를 포함할 수 있다. 이러한 애플리케이션은 임베디드 장치에서 요구되는 다양한 동작 환경에 따라 프로그래밍 언어를 이용한 통합 개발 환경에 의해 만들어진다.
도 9는 서버의 구성을 보인 예시도이다.
서버(90)는 키보드(91)를 통해 관리자로부터 관리 명령을 입력받고, 프로세서(92)는 관리 명령을 처리하여 수화 영상 챗봇 애플리케이션을 관리하고, 데이터베이스(93)는 수화 영상 챗봇 애플리케이션에서 생성되는 데이터를 저장하고, 통신부(94)는 단말기(80)로 프로세서(92)에 의해 생성된 데이터를 전송하고, 디스플레이(95)는 모니터리 화면을 제공한다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 수화 영상 챗봇 애플리케이션
31: 수화 단어
32: 얼굴 표정
33: 손 모양
40: 챗봇 접속 메인 화면
50: 챗봇 민원 구현 화면
61: 동작 인식 장비

Claims (5)

  1. 단말기로부터 입력되는 질문에 상응하여 상기 질문에 포함된 키워드와 상기 키워드를 포함하는 답변을 매칭하여 DB를 구축하는 단계;
    사용자가 소지한 상기 단말기로부터 상기 사용자 조작에 따라 상기 질문에 상응하는 키워드를 입력받는 단계;
    상기 사용자의 단말기로부터 입력된 키워드와 상기 DB의 키워드를 매칭하여 상기 DB의 답변을 검색하는 단계;
    검색된 답변을 분석하여 수화 문장을 추출하고 추출된 수화 문장에 대응한 수화 영상으로 변환하는 단계; 및
    변환된 수화 영상에 대한 수화 영상 링크를 출력하는 단계;를 실행시키며,
    상기 검색하는 단계는,
    상기 사용자의 단말기로부터 입력된 키워드와 상기 DB의 키워드를 패턴 매칭하는 단계;
    상기 사용자의 단말기로부터 입력된 키워드의 형태소를 분석하는 단계; 및
    분석된 키워드의 형태소를 이용하여 머신러닝을 수행하는 단계;를 실행시키고,
    상기 패턴 매칭하는 단계는,
    상기 사용자의 단말기로부터 입력된 키워드에 매칭되는 상기 DB의 키워드가 없으면 상기 DB의 유사어 사전을 참조하여 상기 사용자의 단말기로부터 입력된 키워드와 상기 DB의 유사어를 패턴 매칭하는 단계; 및
    상기 사용자의 단말기로부터 입력된 키워드가 상기 유사어 사전에도 없으면 상기 DB의 키워드 업데이트를 요청하여 관리자 단말기로 입력된 키워드에 대한 업데이트 요청 메시지를 전송하는 단계;를 실행시키는, 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션.
  2. 제 1 항에 있어서,
    상기 변환하는 단계는,
    검색된 답변을 분석하여 수화 문장을 추출하는 단계;
    추출된 수화 문장에 대응한 수화 단어 영상을 매칭하는 단계; 및
    매칭된 수화 단어 영상을 이용하여 수화 영상을 생성하는 단계;를 실행시키는, 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 DB를 구축하는 단계는,
    상기 DB의 키워드에 대응한 사용자의 수화 동작을 인식하는 단계; 및
    인식된 수화 동작을 3D 애니메이션으로 변환하여 저장하는 단계;를 실행시키는, 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션.
KR1020190137485A 2019-10-31 2019-10-31 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션 Active KR102104294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190137485A KR102104294B1 (ko) 2019-10-31 2019-10-31 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190137485A KR102104294B1 (ko) 2019-10-31 2019-10-31 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션

Publications (1)

Publication Number Publication Date
KR102104294B1 true KR102104294B1 (ko) 2020-04-24

Family

ID=70466195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137485A Active KR102104294B1 (ko) 2019-10-31 2019-10-31 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션

Country Status (1)

Country Link
KR (1) KR102104294B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667789A (zh) * 2020-12-17 2021-04-16 中国平安人寿保险股份有限公司 用户意图匹配方法装置、终端设备及存储介质
CN114157920A (zh) * 2021-12-10 2022-03-08 深圳Tcl新技术有限公司 一种展示手语的播放方法、装置、智能电视及存储介质
CN115103149A (zh) * 2022-05-23 2022-09-23 深圳康佳电子科技有限公司 一种社交健身场景的交互控制方法、终端设备及存储介质
US11483494B1 (en) 2021-05-13 2022-10-25 Twyn Limited Video-based conversational interface
KR20220147406A (ko) * 2021-04-27 2022-11-03 한국로봇융합연구원 수술 환자 문진 대화 시스템의 신규 답변 태깅 장치 및 방법
KR102724922B1 (ko) * 2023-12-05 2024-11-04 주식회사 멀틱스 Ai 기반 수어 챗봇 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230716A (ja) * 1993-02-02 1994-08-19 Hitachi Ltd 手話通訳装置および方法
KR20150102148A (ko) * 2014-02-27 2015-09-07 김조웅 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법
KR101899588B1 (ko) 2018-03-05 2018-09-17 주식회사 이큐포올 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법
KR20190115509A (ko) 2018-03-15 2019-10-14 전자부품연구원 자동 수어 인식 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230716A (ja) * 1993-02-02 1994-08-19 Hitachi Ltd 手話通訳装置および方法
KR20150102148A (ko) * 2014-02-27 2015-09-07 김조웅 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법
KR101899588B1 (ko) 2018-03-05 2018-09-17 주식회사 이큐포올 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법
KR20190115509A (ko) 2018-03-15 2019-10-14 전자부품연구원 자동 수어 인식 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2015-0102148호(2015.9.7. 공개) 1부.*
일본 공개특허공보 특개평06-230716호(1994.8.19. 공개) 1부.*

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667789A (zh) * 2020-12-17 2021-04-16 中国平安人寿保险股份有限公司 用户意图匹配方法装置、终端设备及存储介质
KR20220147406A (ko) * 2021-04-27 2022-11-03 한국로봇융합연구원 수술 환자 문진 대화 시스템의 신규 답변 태깅 장치 및 방법
KR102585949B1 (ko) * 2021-04-27 2023-10-05 한국로봇융합연구원 수술 환자 문진 대화 시스템의 신규 답변 태깅 장치 및 방법
US11483494B1 (en) 2021-05-13 2022-10-25 Twyn Limited Video-based conversational interface
GB2606713A (en) * 2021-05-13 2022-11-23 Twyn Ltd Video-based conversational interface
CN114157920A (zh) * 2021-12-10 2022-03-08 深圳Tcl新技术有限公司 一种展示手语的播放方法、装置、智能电视及存储介质
CN114157920B (zh) * 2021-12-10 2023-07-25 深圳Tcl新技术有限公司 一种展示手语的播放方法、装置、智能电视及存储介质
CN115103149A (zh) * 2022-05-23 2022-09-23 深圳康佳电子科技有限公司 一种社交健身场景的交互控制方法、终端设备及存储介质
KR102724922B1 (ko) * 2023-12-05 2024-11-04 주식회사 멀틱스 Ai 기반 수어 챗봇 시스템

Similar Documents

Publication Publication Date Title
KR102104294B1 (ko) 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
US12375432B2 (en) Chat management system
US20250060934A1 (en) Analyzing graphical user interfaces to facilitate automatic interaction
US11735182B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
CN112771530B (zh) 用于交互式web文档的自动导航的方法和系统
US11200893B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
US9805718B2 (en) Clarifying natural language input using targeted questions
US11809480B1 (en) Generating dynamic knowledge graph of media contents for assistant systems
US10860289B2 (en) Flexible voice-based information retrieval system for virtual assistant
US20220301250A1 (en) Avatar-based interaction service method and apparatus
WO2018045646A1 (zh) 基于人工智能的人机交互方法和装置
US12204588B2 (en) Systems and methods for providing personalized answers with learned user vocabulary for user queries
CN117312641A (zh) 智能获取信息的方法、装置、设备及存储介质
KR102285115B1 (ko) 챗봇 기반의 웹페이지 내비게이션 장치 및 방법
US20210034662A1 (en) Systems and methods for managing voice queries using pronunciation information
CN118586501A (zh) 显示设备及基于大语言模型的任务处理方法
CN112232066A (zh) 一种教学纲要生成方法、装置、存储介质及电子设备
US20210035587A1 (en) Systems and methods for managing voice queries using pronunciation information
KR20220168534A (ko) 인공지능 캐릭터의 대화 엔진 학습 방법 및 그 시스템
US12125486B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
US11907677B1 (en) Immutable universal language assistive translation and interpretation system that verifies and validates translations and interpretations by smart contract and blockchain technology
WO2019168235A1 (ko) 복수 개의 같은 유형의 엔티티 정보의 분석에 기초한 인텐트 결정을 제공하는 방법 및 대화형 ai 에이전트 시스템, 및 컴퓨터 판독가능 기록 매체
JP7629254B1 (ja) 情報処理システム、情報処理方法及びプログラム
JP2025039810A (ja) プログラム、方法、情報処理装置、システム
CN115052194B (zh) 学习报告生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

S20-X000 Security interest recorded

St.27 status event code: A-4-4-S10-S20-lic-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000