[go: up one dir, main page]

KR101917843B1 - Method and apparatus for automatic generation of application UI(user interface) - Google Patents

Method and apparatus for automatic generation of application UI(user interface) Download PDF

Info

Publication number
KR101917843B1
KR101917843B1 KR1020180076602A KR20180076602A KR101917843B1 KR 101917843 B1 KR101917843 B1 KR 101917843B1 KR 1020180076602 A KR1020180076602 A KR 1020180076602A KR 20180076602 A KR20180076602 A KR 20180076602A KR 101917843 B1 KR101917843 B1 KR 101917843B1
Authority
KR
South Korea
Prior art keywords
module
application
platform
control
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180076602A
Other languages
Korean (ko)
Inventor
남경아
조성주
Original Assignee
(주)이든크루
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이든크루 filed Critical (주)이든크루
Priority to KR1020180076602A priority Critical patent/KR101917843B1/en
Application granted granted Critical
Publication of KR101917843B1 publication Critical patent/KR101917843B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N99/005

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

어플리케이션 UI 자동 생성 방법 및 장치가 개시된다. 어플리케이션 UI(user interface) 자동 생성 장치는 객체를 인식하고 객체의 특징을 추출하기 위해 구현된 패턴 인식 모듈, 객체의 특징을 기반으로 플랫폼 별 컨트롤 변환을 수행하기 위해 구현된 객체 변환 모듈과 잘못 추출된 컨트롤 및 레이아웃을 재설정하고 변경 정보를 데이터베이스에 기록하기 위해 구현된 객체 편집 모듈을 포함할 수 있다.A method and apparatus for automatically generating an application UI are disclosed. An application user interface (UI) automatic generation device includes a pattern recognition module for recognizing an object and extracting characteristics of the object, an object conversion module implemented for performing platform-specific control conversion based on the characteristics of the object, And an object editing module implemented to reset the control and layout and write the change information to the database.

Description

어플리케이션 UI 자동 생성 방법 및 장치{Method and apparatus for automatic generation of application UI(user interface)}METHOD AND APPARATUS FOR AUTOMATICALLY GENERATING APPLICATION UI

본 발명은 UI 자동 생성 방법에 관한 것으로서, 보다 상세하게는 어플리케이션 UI 자동 생성 방법 및 장치에 관한 것이다.The present invention relates to a UI automatic generation method, and more particularly, to a method and apparatus for automatically generating an application UI.

모바일 어플리케이션은 다양한 장치에 설치되어 시스템과 사용자의 인터페이스 역할을 한다. Myers의 연구에 따르면 사용자 인터페이스(User Interface: UI)개발은 전체 프로그램 소스 코드 중 약 48%정도를 차지하며, 설계 단계의 45%, 구현 단계의 50% 정도의 시간을 소비한다.Mobile applications are installed on various devices and act as interfaces between system and user. According to a study by Myers, user interface (UI) development accounts for about 48% of the total program source code, 45% of the design phase, and 50% of the implementation phase.

현재 UI개발 방법으로는 개발 도구, 프로그램의 운용 환경에 따라 하위레벨 프로그래밍, 상위레벨 프로그래밍, 툴 킷의 사용, 비주얼 프로그래밍 등 다양한 방법이 사용되고 있다. 클라이언트-서버 환경에서 UI는 클라이언트 어플리케이션의 주요 기능에 해당하며, 클라이언트 시스템의 운영환경, 운영체제, 개발도구, 적용 장치 등의 요인들에 의해 영향을 받는다. 따라서 다양한 클라이언트 장치를 지원하기 위해서는 중복적인 클라이언트 개발이 발생할 수 있으며, 이는 시간과 비용의 낭비를 초래한다 따라서, 보다 편리하게 어플리케이션의 UI를 생성하기 위한 방법이 필요하다.Currently, various methods such as low-level programming, high-level programming, use of toolkit, and visual programming are used depending on the development tool and operating environment of the program. In the client-server environment, the UI corresponds to the main function of the client application and is influenced by factors such as the operating environment of the client system, the operating system, the development tool, and the application device. Therefore, in order to support various client devices, it is possible to develop a duplicate client, which causes waste of time and cost. Therefore, a method for creating UI of an application is needed more conveniently.

KR 10-2014-0153721KR 10-2014-0153721

본 발명의 일 측면은 어플리케이션 UI 자동 생성 방법을 제공한다.One aspect of the present invention provides a method of automatically generating an application UI.

본 발명의 다른 측면은 어플리케이션 UI 자동 생성 방법을 수행하는 장치를 제공한다.Another aspect of the present invention provides an apparatus for performing an application UI automatic generation method.

본 발명의 일 측면에 따른 어플리케이션 UI(user interface) 자동 생성 장치는, 디자인된 애플리케이션의 화면 이미지에서 객체를 인식하고 상기 객체의 특징을 추출하기 위해 구현된 패턴 인식 모듈; 상기 객체의 특징을 기반으로 컨트롤을 추출하고, 추출된 컨트롤에 대하여 플랫폼 별 컨트롤 변환을 수행하고, 추출된 객체, 컨트롤 및 레이아웃으로 화면을 구성하는 객체 변환 모듈; 및 잘못 추출된 객체의 특징, 컨트롤 및 레이아웃을 재설정하고 편집하기 위한 변경 정보를 데이터베이스에 기록하기 위해 구현된 객체 편집 모듈을 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for automatically generating an application UI (user interface), comprising: a pattern recognition module configured to recognize an object on a screen image of a designed application and extract a feature of the object; An object transformation module for extracting a control based on the characteristic of the object, performing platform-specific control transformation on the extracted control, and constructing a screen with the extracted object, control, and layout; And an object editing module implemented to record change information for resetting and editing features, controls, and layout of the erroneously extracted object in the database.

한편, 어플리케이션 UI 자동 생성 장치는 편집된 컨트롤 매핑 및 상기 레이아웃에 대한 변경 정보를 자동으로 상기 데이터베이스에 등록하고 차기 객체 변환시에 학습된 정보가 반영되도록 구현되는 변환 데이터 학습 모듈을 더 포함하고, 상기 변환 데이터 학습 모듈은 머신 러닝을 수행함으로써 차기 객체 변환 시에 학습된 정보가 반영되도록 구현될 수 있다.Meanwhile, the application UI automatic generation apparatus further includes a conversion data learning module which is configured to automatically register the edited control mapping and the change information on the layout in the database, and to reflect the learned information at the next object conversion, The data learning module can be implemented so that the learned information is reflected at the next object conversion by performing machine learning.

또한, 상기 패턴 인식 모듈은 정의된 화면을 입력으로 자동 광학 인식을 기반으로 상기 객체에 대한 생성 처리를 수행할 수 있다.In addition, the pattern recognition module may perform generation processing on the object based on automatic optical recognition with the defined screen input.

또한, 상기 장치는, 상기 플랫폼 별 화면 소스 코드를 생성하기 위해 구현되는 화면 생성 모듈; 상기 플랫폼 별 생성된 상기 어플리케이션 UI를 에뮬레이팅을 통해 확인하고 검증하기 위해 구현되는 에뮬레이터 모듈; 및 확인 및 검증된 상기 어플리케이션 UI를 각 플랫폼 별로 저장하기 위해 구현되는 저장 모듈을 더 포함할 수 있다.The apparatus may further include: a screen generation module that is implemented to generate the screen source code for each platform; An emulator module configured to verify and verify the application UI generated by the platform through emulation; And a storage module that is implemented to store the verified and verified application UI for each platform.

본 발명의 일 측면에 따른 어플리케이션 UI(user interface) 자동 생성 방법은, 패턴 인식 모듈이 디자인된 애플리케이션의 화면 이미지에서 객체를 인식하고 상기 객체의 특징을 추출하는 단계; 객체 변환 모듈이 상기 객체의 특징을 기반으로 컨트롤을 추출하고, 추출된 컨트롤에 대하여 플랫폼 별 컨트롤 변환을 수행하고, 추출된 객체, 컨트롤 및 레이아웃으로 화면을 구성하는 단계; 및 객체 편집 모듈이 잘못 추출된 객체의 특징, 컨트롤 및 레이아웃을 재설정하고 편집하기 위한 변경 정보를 데이터베이스에 기록하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of automatically generating an application UI (user interface), comprising: recognizing an object on a screen image of an application designed for a pattern recognition module and extracting the feature of the object; Extracting a control based on a characteristic of the object, performing a platform-specific control conversion on the extracted control, and constructing a screen using the extracted object, control, and layout; And recording the change information for resetting and editing the features, controls, and layout of the object that the object editing module erroneously extracted to the database.

본 발명의 실시예에 따른 어플리케이션 UI 자동 생성 방법 및 장치에서는 기획된 화면 디자인을 기반으로 자동으로 객체를 인식하여 각 플랫폼 별(윈도우, 리눅스, 맥, 안드로이드, iOS등) 어플리케이션 UI를 자동으로 생성하는 시스템과 인식된 객체에 대한 편집 및 수정 작업과 이 과정에 대한 머신 러닝을 통해 보다 의도된 객체로의 변환이 가능하도록 학습 가능할 수 있다. 객체 인식 및 객체 변환과 변환 학습의 표준화 및 자동화를 통해 각 플랫폼 별 어플리케이션 UI를 신속하게 자동 생성하여 개발 기간 단축 및 비용 절감 효과를 가져올 수 있다.In the method and apparatus for automatically generating an application UI according to an embodiment of the present invention, an application UI for each platform (Windows, Linux, Mac, Android, iOS, etc.) is automatically generated by automatically recognizing an object based on a designed screen design It is possible to learn to edit and modify the system and recognized objects, and machine-run the process so that it can be converted into more object. Object recognition and object conversion and conversion learning are standardized and automated, and application UI for each platform is automatically generated quickly, which can shorten the development period and reduce cost.

도 1은 본 발명의 실시예에 따른 어플리케이션 UI 자동 생성 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 UI 자동 생성 시스템을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 UI 자동 생성 방법을 나타낸 개념도이다.
1 is a conceptual diagram illustrating an apparatus for automatically generating an application UI according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a UI automatic generation system according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a UI automatic generation method according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

기존의 어플리케이션 제작 과정을 살펴보면 기획된 어플리케이션 화면은 각 플랫폼(윈도우, 리눅스, 맥, 안드로이드, iOS 등) 별로 해당 API(application interface)를 이용하여 제작 가능할 수 있다. 이러한 제작 방식은 멀티 플랫폼 대응을 위해서 각각의 전문적인 지식을 습득해야만 개발이 가능하며 시간적, 금전적으로 많은 비용이 든다.In the existing application creation process, the designed application screen can be produced by using an API (application interface) for each platform (Windows, Linux, Mac, Android, iOS, etc.). Such a production method can be developed only by acquiring respective expert knowledge in order to cope with multi-platform, and it is costly in terms of time and money.

이 중 UI(user interface) 개발의 경우, 윈도우 및 각 플랫폼 별로 유사한 컨트롤(예를 들어, 버튼)로 구성되는데 동일한 화면 작업을 처리하기 위해 각 플랫폼 별로 별도 UI 제작 작업을 각각 해야 한다. 또한 각 매체 별로 제작된 어플리케이션 UI를 실제 적용하여 디자인 및 기획된 내용처럼 표현되고 동작하는지 확인하기 위해서는 많은 시간과 비용이 필요하다.In the case of user interface (UI) development, it is composed of similar controls (for example, buttons) for each window and each platform. Also, it takes a lot of time and money to verify that the application UI created for each media is actually applied and displayed as designed and planned.

이에 본 발명의 실시예에 따른 어플리케이션 UI 자동 생성 방법에서는 기획된 화면 디자인에서 자동으로 객체를 인식하여 각 플랫폼(윈도우, 리눅스, 맥, 안드로이드, iOS등) 별 어플리케이션 UI를 자동으로 생성하는 시스템이 개시된다.Accordingly, in the method of automatically generating an application UI according to an embodiment of the present invention, a system for automatically generating an application UI for each platform (Windows, Linux, Mac, Android, iOS, etc.) do.

본 발명의 실시예에 따른 어플리케이션 UI 자동 생성 방법에서는 인식된 객체에 대한 편집 작업 및 수정 작업과 인식된 객체에 대한 편집 작업 및 수정 작업에 대한 머신 러닝을 통해 의도된 객체로의 변환이 가능하도록 학습 가능한 제작 시스템이 개시된다.In the method of automatically generating an application UI according to an embodiment of the present invention, editing and correction operations for recognized objects, editing operations for recognized objects, and machine learning for correcting operations, A possible production system is disclosed.

구체적으로 객체 인식, 객체 변환, 및 변환 학습의 표준화 및 자동화를 통해 각 플랫폼 별 어플리케이션 UI를 신속하게 자동 생성함으로써 개발 기간 단축 및 비용 절감 효과가 발생할 수 있다.More specifically, application UI for each platform is automatically generated by standardization and automation of object recognition, object conversion, and conversion learning, thereby shortening development time and cost.

본 발명의 실시예에 따른 어플리케이션 UI 자동 생성 방법에서는 각 컨트롤 별 특성이 데이터베이스에 설정될 수 있으며, 각 컨트롤 별 특성에 대한 추가 입력 및 변경이 가능하도록 한다.In the method of automatically generating an application UI according to the embodiment of the present invention, the property of each control can be set in the database, and further input and change can be made to the property of each control.

우선, 기획자 및 디자이너에 의해 디자인된 애플리케이션의 화면 이미지가 준비될 수 있다. 화면 이미지는 디지털 이미지 또는 스케치된 화면일 수 있다. 스케치된 화면인 경우, 스캔 장치를 이용하여 디지털 이미지가 생성될 수 있다.First, a screen image of an application designed by a designer and a designer can be prepared. The screen image may be a digital image or a sketched screen. In the case of a sketched screen, a digital image may be generated using the scanning device.

정의된 화면 이미지를 입력받은 후 자동 광학 인식(optical character recognition, OCR)이 진행되고 객체 생성 처리가 진행될 수 있다. 이 과정에서 객체 편집을 통해 얻어진 교정 지식 데이터베이스를 기반으로 보다 정확하게 객체가 생성될 수 있다.After receiving the defined screen image, optical character recognition (OCR) proceeds and object creation processing can proceed. In this process, more accurate objects can be created based on the calibration knowledge database obtained through object editing.

패턴 인식에 따라 자동 생성된 객체에 대한 편집 작업이 수행될 수 있다. 생성된 객체가 불분명한 패턴 인식으로 인해 다른 특성의 객체로 인식되었을 경우, 이를 수정하며 또한 차후 보완된 인식이 가능하도록 해당 수정 내역이 데이터베이스에 저장될 수 있다.An editing operation can be performed on the automatically generated object according to the pattern recognition. If the generated object is recognized as an object with different characteristics due to unclear pattern recognition, the modification can be stored in the database so that it can be corrected and further refined recognition is possible.

각 객체에 대한 패턴에 따라 버튼 컨트롤(button control), 에디트 컨트롤(edit control), 리스트 컨트롤(list control), 라벨 컨트롤(label control), 이미지 컨트롤(image control), 그리드 컨트롤(grid control), 챠트 컨트롤(chart control), 콤보 컨트롤(combo control) 등과 같은 보다 상세한 컨트롤로 변환 가능할 수 있다.According to the pattern for each object, a button control, an edit control, a list control, a label control, an image control, a grid control, a chart, It can be converted to more detailed controls such as a chart control, a combo control, and so on.

특정 컨트롤마다의 속성 재정의를 수행하고 재정의된 컨트롤에 대해서는 차후 객체 생성시 정확도 향상을 위하여 데이터베이스에 저장하고 이를 학습하여 보다 정밀한 객체 생성이 가능하도록 할 수 있다.Property redefinition for each specific control can be performed. For the redefined control, it can be stored in a database for improving accuracy in the creation of a subsequent object, and it is possible to generate a more precise object by learning it.

또한, 각 객체들의 레이아웃을 포함하여 미세한 조정 등의 작업이 수행될 수 있다.In addition, work such as fine adjustment including the layout of each object can be performed.

텍스트가 포함된 객체(라벨, 버튼 등)에 대해서는 OCR정확도에 따라 다르겠지만 잘못 인식된 텍스트에 대한 교정 작업이 수행될 수 있다. 특정된 패턴에 대한 객체를 정밀하게 연결할 수 있도록 편집 작업의 결과에 대한 데이터베이스화가 수행될 수 있다.For objects that contain text (labels, buttons, etc.), corrections to erroneously recognized text may be performed, depending on OCR accuracy. A database can be performed on the result of the editing operation so that the object for the specified pattern can be precisely connected.

이러한 변환 과정에 대한 머신 러닝을 통해 향후 자동 객체 인식 처리시에 보다 높은 객체 인식율을 유지하도록 할 수 있다. 편집된 객체들과 함께 각 플랫폼 별 화면 소스 코드를 생성하고, 최종 생성된 각 플랫폼 별 결과를 에뮬레이터를 통해 확인, 검증할 수 있다. 확인, 검증된 어플리케이션을 각 플랫폼 별로 자동 생성된 소스 코드가 지정된 위치에 저장될 수 있다. Through the machine learning of this conversion process, it is possible to maintain a higher object recognition rate in the automatic object recognition processing in the future. The screen source code for each platform can be generated together with the edited objects, and the final result of each platform can be confirmed and verified through the emulator. Verified and validated applications can be stored in the location where the source code is automatically generated for each platform.

도 1은 본 발명의 실시예에 따른 어플리케이션 UI 자동 생성 장치를 나타낸 개념도이다.1 is a conceptual diagram illustrating an apparatus for automatically generating an application UI according to an embodiment of the present invention.

도 1에서는 어플리케이션 UI 자동 생성 장치의 구조가 개시된다.1, a structure of an application UI automatic generation apparatus is disclosed.

어플리케이션 UI 자동 생성 장치는 패턴 인식 모듈(패턴 인식부)(100), 객체 변환 모듈(객체 변환부)(110), 객체 편집 모듈(객체 편집부)(120), 변환 데이터 학습 모듈(변환 데이터 학습 처리부)(130), 화면 생성 모듈(화면 생성부)(140), 에뮬레이터 모듈(에뮬레이터)(150), 저장 모듈(저장부)(160)을 포함할 수 있다.The application UI automatic generation apparatus includes a pattern recognition module 100, an object conversion module 110, an object editing module 120, a conversion data learning module A screen generation module 140, an emulator module 150 and a storage module 160. The screen generation module 140 may include a display module 130, a screen generation module 140, a emulator module 150,

패턴 인식 모듈(100)은 기획되고 디자인된 화면 이미지에서 객체의 패턴을 인식하고 객체의 형태, 글자 인식 결과, 배경 인식 결과 중의 적어도 하나를 포함하는 객체의 특징을 추출할 수 있다. 본 발명에서, 객체란 화면 이미지를 구성하는 데이터 및 그 데이터와 관련된 동작인 컨트롤을 모두 포함하는 개념이다. 화면 이미지를 구성하는 데이터로서의 객체로는 다양한 형태의 윈도우, 글자, 이미지, 배경 등이 있으며, 이러한 데이터 객체의 동작(절차, 방법, 기능 등)과 관련된 컨트롤로는 버튼 컨트롤(button control), 에디트 컨트롤(edit control), 리스트 컨트롤(list control), 라벨 컨트롤(label control), 이미지 컨트롤(image control), 그리드 컨트롤(grid control), 챠트 컨트롤(chart control), 콤보 컨트롤(combo control) 등이 있다. The pattern recognition module 100 recognizes a pattern of an object in a designed and designed screen image and extracts a feature of the object including at least one of an object type, a character recognition result, and a background recognition result. In the present invention, an object is a concept that includes both data constituting a screen image and controls related to the data. There are various types of windows, letters, images, and backgrounds as data constituting the screen image. Examples of controls related to the operation (procedure, method, function, etc.) of the data object include button control, There are edit control, list control, label control, image control, grid control, chart control, and combo control. .

예를 들어, 패턴 인식 모듈(100)은 화면 이미지에서 객체의 형태(shape)(예를 들어, 사각형, 타원, 원)에 대해 인식할 수 있다. 또한, 패턴 인식 모듈(100)은 배경 인식(단일 배경색, 그라데이션 배경, 이미지 배경 등) 및 글자 인식(내용, 폰트 크기, 글자 색상 등)을 수행하여 그에 따른 글자 인식 결과 및 배경 인식 결과를 생성할 수 있다.For example, the pattern recognition module 100 may recognize an object shape (e.g., a rectangle, an ellipse, and a circle) in a screen image. The pattern recognition module 100 performs background recognition (a single background color, a gradient background, an image background, and the like) and character recognition (content, font size, character color, and the like) to generate a character recognition result and a background recognition result .

구체적으로 선 간의 거리, 형상 간의 거리, 및 선의 끊김을 고려하여 해당 형상이 글자를 구성하는지 글자 외의 형상을 구성하는지에 대해 판단할 수 있다. 선들의 끊김을 고려하여 각각 객체 단위들을 클러스터링할 수 있다. 또한 추가적으로 다양한 필기체 글자에 대한 반복적 러닝 학습을 통해 글자 및 글자 외의 형상을 구분할 수 있다.Specifically, it is possible to judge whether the shape constitutes a letter or a shape other than a letter in consideration of a distance between lines, a distance between shapes, and a break of a line. It is possible to cluster object units in consideration of line breaks. In addition, it is possible to distinguish letters and characters other than letters through repeated learning of various handwritten characters.

객체 변환 모듈(110)은 추출된 각 객체의 특징을 기반으로 추출된 객체 들 중에서 컨트롤을 추출하고, 추출된 컨트롤에 대하여 각 플랫폼 별로 컨트롤 변환을 수행할 수 있다. 또한, 객체 변환 모듈(110)은 객체 위치 및 크기 정보를 기반으로 레이아웃을 구성하고, 추출된 객체의 특징, 컨트롤 및 레이아웃으로 화면을 구성하여 UI로 표시할 수 있다.The object transformation module 110 extracts the control from the extracted objects based on the extracted features of each object, and performs the control transformation on each platform for the extracted control. In addition, the object transformation module 110 may construct a layout based on the object position and size information, and display the UI on the basis of the features, controls, and layout of the extracted object.

객체 편집 모듈(120)은 잘못 추출된 컨트롤 및 레이아웃을 재설정하고 편집하는 변경 정보를 데이터베이스에 기록하기 위해 구현될 수 있다. 예를 들어, 패턴 인식 모듈(100)에서 추출된 객체 및 객체의 특징과, 객체 변환 모듈(110)에서 추출된 컨트롤 및 화면 구성의 레이아웃에서 잘못된 부분이 있는 경우, 사용자는 객체 편집 모듈(120)을 통해 잘못 추출된 컨트롤 및 레이아웃을 재설정/편집하고 그와 관련된 변경 정보의 이력을 데이터베이스에 기록하여 데이터베이스화한다.The object editing module 120 may be implemented to write change information to the database to reset and edit erroneously extracted controls and layouts. For example, if there is a mistake in the layout of the object and object extracted from the pattern recognition module 100 and the layout of the control and screen configuration extracted from the object conversion module 110, And the history of the change information related thereto is recorded in the database and converted into a database.

상기와 같은 방식으로, 객체 편집 모듈(120)은 각 컨트롤들의 속성을 보다 세밀하게 재설정하고 데이터베이스에 기록할 수 있다. 또한, 객체 편집 모듈(120)은 OCR에 의해 자동 추출된 텍스트를 수정할 수 있다.In such a manner, the object editing module 120 can more finely reset the attributes of each control and write them to the database. In addition, the object editing module 120 can modify the text automatically extracted by the OCR.

변환 데이터 학습 학습 모듈(130)은 편집된 컨트롤 매핑 및 레이아웃에 대한 정보와 변경 정보를 자동으로 데이터베이스에 등록하여 지속적으로 학습하고, 차기 객체 변환 시에 학습된 정보가 반영되도록 구현될 수 있다.The transformed data learning learning module 130 can be implemented in such a manner that the edited control mapping and layout information and change information are automatically registered in the database and continuously learned, and the learned information is reflected when the next object is transformed.

화면 생성 모듈(140)은 생성된 어플리케이션 UI를 기반으로 각 플랫폼(윈도우, 맥, 리눅스, 안드로이드, iOS 등) 별 화면 소스 코드를 생성하기 위해 구현될 수 있다.The screen generation module 140 can be implemented to generate screen source code for each platform (Windows, Mac, Linux, Android, iOS, etc.) based on the generated application UI.

에뮬레이터 모듈(160)은 각 플랫폼 별로 생성된 어플리케이션 UI를 에뮬레이터를 통해 확인하고 검증하기 위해 구현될 수 있다.The emulator module 160 can be implemented to verify and verify the application UI generated for each platform through the emulator.

저장 모듈(170)은 확인, 검증된 어플리케이션 UI를 각 플랫폼 별로 저장하기 위해 구현될 수 있다.The storage module 170 may be implemented to store the verified and verified application UI for each platform.

도 2는 본 발명의 실시예에 따른 UI 자동 생성 시스템을 나타낸 개념도이다.2 is a conceptual diagram illustrating a UI automatic generation system according to an embodiment of the present invention.

도 2를 참조하면, UI 자동 생성 시스템은 애플리케이션의 화면 이미지에 대해 패턴 인식(200)을 수행할 수 있다. 패턴 인식은 형태(shape) 인식, 글자 인식, 배경 인식을 포함할 수 있다. 패턴 인식된 결과를 기반으로, 객체의 형태, 배경 인식(단일 배경색, 그라데이션 배경, 이미지 배경 등) 결과, 및 글자 인식 결과(내용, 폰트 크기, 글자 색상 등) 등의 객체 특징이 추출된다. Referring to FIG. 2, the UI automatic generation system may perform pattern recognition (200) on a screen image of an application. Pattern recognition may include shape recognition, character recognition, and background recognition. Based on the pattern recognition result, object features such as object shape, background recognition (single background color, gradation background, image background) result, and character recognition result (contents, font size, character color, etc.) are extracted.

각 객체의 특징을 기반으로 추출된 객체들 중에서 컨트롤 추출(220)을 수행할 수 있다. 추출된 컨트롤에 대하여 각 플랫폼 별로 자동 컨트롤 변환이 수행된다.It is possible to perform the control extraction 220 among extracted objects based on the characteristics of each object. For each extracted control, automatic control conversion is performed for each platform.

결국, 정의된 화면 이미지를 입력받아 자동 광학 인식(optical character recognition, OCR)이 진행되고 객체 생성 처리가 진행될 수 있다. 이 과정에서 객체 편집(240)을 통해 얻어진 교정 지식 데이터베이스를 기반으로 머신 러닝을 통해 보다 정밀한 객체가 생성될 수 있다.As a result, the defined screen image is input and optical character recognition (OCR) proceeds and object creation processing can proceed. In this process, more accurate objects can be created through machine learning based on the calibration knowledge database obtained through the object editing 240.

컨트롤 특징 설정(250)이 수행될 수 있다. 본 발명의 실시예에 따른 어플리케이션 UI 자동 생성 방법에서는 각 컨트롤 별 특성이 데이터베이스에 설정될 수 있다. 각 컨트롤 별 특성에 대한 추가 입력 및 변경이 가능하도록 한다.The control feature setting 250 may be performed. In the method of automatically generating the application UI according to the embodiment of the present invention, the property of each control can be set in the database. Allows additional input and changes to the properties of each control.

텍스트가 포함된 객체(라벨, 버튼 등)에 대해서는 OCR정확도에 따라 다를 수 있겠지만, 잘못 인식된 텍스트에 대한 교정 작업이 수행될 수 있다. 특정 패턴에 대한 객체를 정밀하게 연결할 수 있도록 편집 작업의 결과에 대한 데이터베이스화가 수행될 수 있다. 이러한 변환 과정에 대한 머신 러닝을 통해 향후 자동 객체 인식 처리시에 반영하여 보다 높은 객체 인식율을 유지하도록 할 수 있다. For objects containing text (labels, buttons, etc.), calibration may be performed on the erroneously recognized text, although this may vary depending on the OCR accuracy. A database can be performed on the result of the editing operation so that the object for the specific pattern can be precisely connected. Through the machine learning of this conversion process, it can be reflected in the automatic object recognition processing in the future to maintain a higher object recognition rate.

각 플랫폼 별로 자동 생성된 소스 코드가 지정된 위치에 데이터베이스화되어 저장(260)될 수 있으며, 에뮬레이터(270) 모듈은 각 플랫폼 별로 생성된 어플리케이션 UI를 에뮬레이터를 통해 확인하고 검증하기 위해 구현될 수 있다.The source code automatically generated for each platform may be stored in a database at a specified location 260 and the emulator 270 module may be implemented to verify and verify the application UI generated for each platform through the emulator.

편집된 객체들과 함께 각 플랫폼 별 화면 소스 코드가 생성되고, 최종 생성된 각 플랫폼 별 결과는 에뮬레이터(270)를 통해 확인하고 검증될 수 있다. 각 플랫폼 별로 자동 생성된 소스 코드는 확인, 검증된 후에는 지정된 위치에 저장된다.The screen source code for each platform is generated together with the edited objects, and the final generated result for each platform can be verified and verified through the emulator 270. The automatically generated source code for each platform is stored in the specified location after verification and verification.

화면 생성(280)은 각 플랫폼(윈도우, 맥, 리눅스, 안드로이드, iOS 등) 별 화면 소스 코드를 기반으로 각 플랫폼 별 UI를 출력할 수 있다.Screen generation 280 can output a UI for each platform based on the screen source code of each platform (Windows, Mac, Linux, Android, iOS, etc.).

도 3은 본 발명의 실시예에 따른 UI 자동 생성 방법을 나타낸 개념도이다.3 is a conceptual diagram illustrating a UI automatic generation method according to an embodiment of the present invention.

도 3을 참조하면, 기획되고 디자인된 화면 이미지에 대한 패턴 인식이 수행된다(단계 S300).Referring to FIG. 3, pattern recognition is performed for a screen image that is designed and designed (step S300).

사용자에 의한 정의된 화면 이미지의 입력을 통해 자동 광학 인식(optical character recognition, OCR)이 진행되고 패턴 인식이 수행되며, 객체의 형태, 글자 인식 결과, 배경 인식 결과 중의 적어도 하나를 포함하는 객체의 특징이 추출된다. 또한, 객체의 특징이 추출된 후, 추출된 각 객체의 특징을 기반으로 추출된 객체들 중에서 컨트롤이 추출되고, 추출된 컨트롤에 대하여 각 플랫폼 별로 컨트롤 변환이 수행될 수 있다.The optical character recognition (OCR) is performed through the input of the defined screen image by the user, the pattern recognition is performed, and the feature of the object including at least one of the object type, the character recognition result, Is extracted. Also, after the feature of the object is extracted, the control is extracted from the extracted objects based on the feature of each extracted object, and the control conversion can be performed for each platform for the extracted control.

그리고 나서, 인식된 패턴을 기반으로 객체 생성이 수행될 수 있다(단계 S310). 객체 생성 단계에서는, 객체 위치 및 크기 정보를 기반으로 레이아웃을 구성하고, 추출된 객체, 컨트롤 및 레이아웃으로 화면을 구성하여 UI로 표시할 수 있도록 객체를 생성한다. Object creation may then be performed based on the recognized pattern (step S310). In the object creation step, a layout is formed based on the object position and size information, and a screen is composed of the extracted objects, controls, and layouts, and objects are created so that they can be displayed in the UI.

이 과정에서 객체 편집을 통해 얻어진 교정 지식 데이터베이스를 기반으로 보다 정밀한 객체가 생성될 수 있다. In this process, more precise objects can be created based on the calibration knowledge database obtained through object editing.

한편, 패턴 인식에 따라 자동 생성된 객체에 대하여 객체 편집이 수행될 수 있다(단계 S320). 이 과정에서 객체 편집을 통해 얻어진 교정 지식 데이터베이스를 기반으로 머신 러닝을 수행함으로써 보다 정밀한 객체가 생성될 수 있다(단계 S330).On the other hand, the object editing can be performed on the automatically generated object according to the pattern recognition (step S320). In this process, more accurate objects can be created by performing machine learning based on the calibration knowledge database obtained through object editing (step S330).

생성된 객체가 불분명한 패턴 인식에 의해 다른 특징의 객체로 되거나, 글자가 잘못 인식되었을 경우, 이를 수정하며 또한 차후 인식률을 높일 수 있도록 해당 내역들이 데이터베이스에 저장될 수 있다. 각 객체에 대한 패턴의 특징에 따라 버튼 컨트롤(button control), 에디트 컨트롤(edit control), 리스트 컨트롤(list control), 라벨 컨트롤(label control), 이미지 컨트롤(image control), 그리드 컨트롤(grid control), 챠트 컨트롤(chart control), 콤보 컨트롤(combo control) 등과 같은 보다 상세한 컨트롤로 변환될 수 있다. The generated details can be stored in the database so that the created object can be changed to an object of another characteristic by an unclear pattern recognition, or if a character is misrecognized, it can be corrected and the subsequent recognition rate can be increased. Button control, edit control, list control, label control, image control, and grid control, depending on the pattern characteristics of each object. , Chart control, combo control, and so on.

특정 컨트롤마다의 속성 재정의가 수행되고 재정의된 컨트롤에 대해서는 정확도 향상을 위하여 해당 내역이 데이터베이스에 저장되어 차후 객체 생성시 보다 정밀한 객체 생성이 가능하도록 할 수 있다. 또한, 각 객체들의 레이아웃을 포함하여 미세한 조정 등의 작업이 수행될 수 있다. 텍스트가 포함된 객체(라벨, 버튼 등)에 대해서는 OCR정확도에 따라 다르겠지만 틀린 텍스트에 대한 교정 작업이 수행될 수 있다. 특정된 패턴에 대한 객체를 정밀하게 연결할 수 있도록 편집 작업의 결과에 대한 데이터베이스화가 수행될 수 있다. Property redefinition for each specific control is performed. For the redefined control, the details are stored in the database to improve the accuracy, so that more precise object creation is possible in the subsequent object creation. In addition, work such as fine adjustment including the layout of each object can be performed. For objects that contain text (labels, buttons, etc.), correcting for incorrect text may be performed, depending on OCR accuracy. A database can be performed on the result of the editing operation so that the object for the specified pattern can be precisely connected.

편집 작업의 결과나 변경 내역 등이 저장된 데이터베이스를 기반으로 머신 러닝을 수행한다(단계 S330)The machine learning is performed based on the database storing the results of the editing work and the change history (step S330)

변환과 편집 과정에 대한 머신 러닝을 통해 향후 자동 객체 인식 처리시에 반영하여 보다 높은 객체 인식율이 유지될 수 있다.Through the machine learning of the transformation and editing process, it is reflected in the automatic object recognition processing in the future, so that the higher object recognition rate can be maintained.

각 플랫폼(윈도우, 맥, 리눅스, 안드로이드, iOS 등) 별 화면 소스 코드를 기반으로 각 플랫폼 별 UI를 가지는 화면을 생성한다(단계 S340).A screen having a UI for each platform is generated based on screen source codes for each platform (Windows, Mac, Linux, Android, iOS, etc.) (step S340).

각 플랫폼 별로 생성된 어플리케이션 UI를 에뮬레이터를 통해 확인 검증하는 단계를 수행한다(단계 S350).The application UI created for each platform is checked and verified through the emulator (step S350).

편집된 객체들과 함께 각 플랫폼 별 화면 소스코드를 생성되면, 최종 생성된 각 플랫폼 별 결과는 에뮬레이터를 통해 확인, 검증될 수 있다. Once the screen source code for each platform is generated along with the edited objects, the final result of each platform can be checked and verified through the emulator.

에뮬레이터를 통해 확인, 검증된 결과를 저장한다(단계 S360).The verified result is stored through the emulator (step S360).

확인, 검증된 어플리케이션을 각 플랫폼 별로 자동 생성된 소스코드가 지정된 위치에 저장될 수 있다. Verified and validated applications can be stored in the location where the source code is automatically generated for each platform.

전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The above-described methods may be implemented in an application or may be implemented in the form of program instructions that may be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium may be ones that are specially designed and configured for the present invention and are known and available to those skilled in the art of computer software.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.

Claims (8)

어플리케이션 UI(user interface) 자동 생성 장치는,
디자인된 애플리케이션의 화면 이미지에서 객체를 인식하고 상기 객체의 특징을 추출하기 위해 구현된 패턴 인식 모듈;
상기 객체의 특징을 기반으로 컨트롤을 추출하고, 추출된 컨트롤에 대하여 윈도우, 맥, 리눅스, 안드로이드, iOS 를 포함하는 플랫폼 별 컨트롤 변환을 수행하고, 추출된 객체, 컨트롤 및 레이아웃으로 화면을 구성하는 객체 변환 모듈; 및
잘못 추출된 객체의 특징, 컨트롤 및 레이아웃을 재설정하고 편집하기 위한 변경 정보를 데이터베이스에 기록하기 위해 구현된 객체 편집 모듈을 포함하고,
편집된 컨트롤 매핑 및 상기 레이아웃에 대한 변경 정보를 자동으로 상기 데이터베이스에 등록하고 차기 객체 변환시에 학습된 정보가 반영되도록 구현되는 변환 데이터 학습 모듈을 더 포함하며,
상기 변환 데이터 학습 모듈은 머신 러닝을 수행함으로써 차기 객체 변환 시에 학습된 정보가 반영되도록 구현되는 것을 특징으로 하고,
윈도우, 맥, 리눅스, 안드로이드, iOS를 포함하는 플랫폼 별 화면 소스 코드를 생성하기 위해 구현되는 화면 생성 모듈;및
확인 및 검증된 상기 어플리케이션 UI를 각 플랫폼 별로 저장하기 위해 구현되는 저장 모듈을 더 포함하는 것을 특징으로 하는 어플리케이션 UI 자동 생성 장치.
An application UI (user interface)
A pattern recognition module for recognizing an object in a screen image of a designed application and extracting a characteristic of the object;
Extracts the control based on the characteristics of the object, performs platform-specific control conversion including the window, Mac, Linux, Android, and iOS for the extracted control, and creates an object Conversion module; And
And an object editing module implemented to record change information for resetting and editing features, controls, and layout of a mis-extracted object in a database,
Further comprising a conversion data learning module which registers the edited control mapping and the change information for the layout in the database automatically and reflects the learned information when the next object is converted,
Wherein the conversion data learning module is implemented such that the learned information is reflected at the next object conversion by performing machine learning,
A screen generation module implemented to generate platform-specific screen source code including Windows, Mac, Linux, Android, and iOS;
Further comprising a storage module that is implemented to store the identified and verified application UI for each platform.
삭제delete 제1항에 있어서,
상기 패턴 인식 모듈은 정의된 화면을 입력으로 자동 광학 인식을 기반으로 상기 객체에 대한 생성 처리를 수행하는 것을 특징으로 하는 어플리케이션 UI 자동 생성 장치.
The method according to claim 1,
Wherein the pattern recognition module performs generation processing on the object based on automatic optical recognition with the defined screen as an input.
제1항에 있어서,
상기 플랫폼 별 생성된 상기 어플리케이션 UI를 에뮬레이팅을 통해 확인하고 검증하기 위해 구현되는 에뮬레이터 모듈을 더 포함하는 것을 특징으로 하는 어플리케이션 UI 자동 생성 장치.
The method according to claim 1,
Further comprising an emulator module that is implemented to verify and verify the application UI generated for each platform through emulation.
어플리케이션 UI(user interface) 자동 생성 방법은,
패턴 인식 모듈이 디자인된 애플리케이션의 화면 이미지에서 객체를 인식하고 상기 객체의 특징을 추출하는 단계;
객체 변환 모듈이 상기 객체의 특징을 기반으로 컨트롤을 추출하고, 추출된 컨트롤에 대하여 윈도우, 맥, 리눅스, 안드로이드, iOS를 포함하는 플랫폼 별 컨트롤 변환을 수행하고, 추출된 객체, 컨트롤 및 레이아웃으로 화면을 구성하는 단계; 및
객체 편집 모듈이 잘못 추출된 객체의 특징, 컨트롤 및 레이아웃을 재설정하고 편집하기 위한 변경 정보를 데이터베이스에 기록하는 단계를 포함하고,
변환 데이터 학습 모듈이 편집된 컨트롤 매핑 및 상기 레이아웃에 대한 정보를 자동으로 상기 데이터베이스에 등록하고 머신 러닝을 수행함으로써 차기 객체 변환 시에 학습된 정보를 반영하는 단계를 더 포함하며,
화면 생성 모듈이 윈도우, 맥, 리눅스, 안드로이드, iOS를 포함하는 플랫폼 별 화면 소스 코드를 생성하는 단계; 및
저장 모듈이 확인 및 검증된 상기 어플리케이션 UI를 각 플랫폼 별로 저장하는 단계를 더 포함하는 것을 특징으로 하는 어플리케이션 UI 자동 생성 방법.
An application UI (user interface)
Recognizing an object in a screen image of an application for which the pattern recognition module is designed and extracting the feature of the object;
The object conversion module extracts the control based on the characteristics of the object and performs platform-specific control conversion including the window, the Mac, the Linux, the Android, and the iOS with respect to the extracted control, ≪ / RTI > And
And recording the change information for resetting and editing the features, the controls and the layout of the object that the object editing module erroneously extracted in the database,
The transformation data learning module automatically registering the edited control mapping and the layout information in the database and reflecting the learned information at the next object conversion by performing machine learning,
Generating a screen source code for each platform including a window, a Mac, a Linux, an Android, and an iOS; And
Further comprising the step of storing the application UI that has been verified and verified by the storage module for each platform.
삭제delete 제5항에 있어서,
상기 패턴 인식 모듈은 정의된 화면을 입력으로 자동 광학 인식을 기반으로 상기 객체에 대한 생성 처리를 수행하는 것을 특징으로 하는 어플리케이션 UI 자동 생성 방법.
6. The method of claim 5,
Wherein the pattern recognition module performs generation processing on the object based on automatic optical recognition with the defined screen as an input.
제5항에 있어서,
에뮬레이터 모듈이 상기 플랫폼 별 생성된 상기 어플리케이션 UI를 에뮬레이팅을 통해 확인하고 검증하는 단계;를 더 포함하는 것을 특징으로 하는 어플리케이션 UI 자동 생성 방법.
6. The method of claim 5,
And emulating the application UI generated by the platform by emulating the application UI generated by the emulator module.
KR1020180076602A 2018-07-02 2018-07-02 Method and apparatus for automatic generation of application UI(user interface) Active KR101917843B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180076602A KR101917843B1 (en) 2018-07-02 2018-07-02 Method and apparatus for automatic generation of application UI(user interface)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180076602A KR101917843B1 (en) 2018-07-02 2018-07-02 Method and apparatus for automatic generation of application UI(user interface)

Publications (1)

Publication Number Publication Date
KR101917843B1 true KR101917843B1 (en) 2018-11-13

Family

ID=64397915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180076602A Active KR101917843B1 (en) 2018-07-02 2018-07-02 Method and apparatus for automatic generation of application UI(user interface)

Country Status (1)

Country Link
KR (1) KR101917843B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042629A (en) * 2018-10-16 2020-04-24 주식회사 키센스 Method for generating annotation and image based on touch of mobile device to learn artificial intelligence and apparatus therefor
KR102112858B1 (en) * 2020-03-03 2020-05-19 셀렉트스타 주식회사 Method and device for generating training data using ui providing guide point
WO2020198122A1 (en) * 2019-03-26 2020-10-01 Aivitae LLC Methods and systems for operating applications through user interfaces
KR102163818B1 (en) 2020-06-18 2020-10-12 주식회사 테크스페이스 Automatically completed backend flatform building apprarus
KR102255140B1 (en) 2020-11-11 2021-05-24 주식회사 테크스페이스 Hacking prevention apparatus for backend flatform using block chain
WO2022029504A1 (en) * 2020-08-06 2022-02-10 Coupang Corp. Computerized systems and methods for reducing latency in a modular platform
KR20230101086A (en) 2021-12-29 2023-07-06 주식회사 이엔타 Domain model machine learning system for application source code automatic generation system
KR20230101085A (en) 2021-12-29 2023-07-06 주식회사 이엔타 Metadata architecture-based application source code automatic generation system
WO2024158076A1 (en) * 2023-01-27 2024-08-02 주식회사 에이아이노미스 Artificial intelligence-based application generation interface control method and system
KR20250098810A (en) 2023-12-22 2025-07-01 삼성에스디에스 주식회사 Method and system for designing web screen using generative ai

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050050474A1 (en) * 2003-09-02 2005-03-03 Research In Motion Limited Method and data structure for user interface customization
KR101149990B1 (en) 2004-08-16 2012-06-01 마이크로소프트 코포레이션 An improved user interface for displaying selectable software functionality controls that are relevant to a selected object
KR101423030B1 (en) 2013-12-31 2014-07-23 주식회사 비디 Method of analysis application object which computer-executable, server performing the same and storage media storing the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050050474A1 (en) * 2003-09-02 2005-03-03 Research In Motion Limited Method and data structure for user interface customization
KR101149990B1 (en) 2004-08-16 2012-06-01 마이크로소프트 코포레이션 An improved user interface for displaying selectable software functionality controls that are relevant to a selected object
KR101423030B1 (en) 2013-12-31 2014-07-23 주식회사 비디 Method of analysis application object which computer-executable, server performing the same and storage media storing the same

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144707B1 (en) 2018-10-16 2020-08-14 주식회사 키센스 Method for generating annotation and image based on touch of mobile device to learn artificial intelligence and apparatus therefor
KR20200042629A (en) * 2018-10-16 2020-04-24 주식회사 키센스 Method for generating annotation and image based on touch of mobile device to learn artificial intelligence and apparatus therefor
US11068785B2 (en) 2019-03-26 2021-07-20 Aivitae LLC Methods and systems for operating applications through user interfaces
WO2020198122A1 (en) * 2019-03-26 2020-10-01 Aivitae LLC Methods and systems for operating applications through user interfaces
KR102112858B1 (en) * 2020-03-03 2020-05-19 셀렉트스타 주식회사 Method and device for generating training data using ui providing guide point
KR102163818B1 (en) 2020-06-18 2020-10-12 주식회사 테크스페이스 Automatically completed backend flatform building apprarus
WO2022029504A1 (en) * 2020-08-06 2022-02-10 Coupang Corp. Computerized systems and methods for reducing latency in a modular platform
US11475203B2 (en) 2020-08-06 2022-10-18 Coupang Corp. Computerized systems and methods for reducing latency in a modular platform
KR102255140B1 (en) 2020-11-11 2021-05-24 주식회사 테크스페이스 Hacking prevention apparatus for backend flatform using block chain
KR20230101086A (en) 2021-12-29 2023-07-06 주식회사 이엔타 Domain model machine learning system for application source code automatic generation system
KR20230101085A (en) 2021-12-29 2023-07-06 주식회사 이엔타 Metadata architecture-based application source code automatic generation system
KR102708113B1 (en) * 2021-12-29 2024-09-20 주식회사 이엔타 Domain model machine learning system for application source code automatic generation system
WO2024158076A1 (en) * 2023-01-27 2024-08-02 주식회사 에이아이노미스 Artificial intelligence-based application generation interface control method and system
KR20250098810A (en) 2023-12-22 2025-07-01 삼성에스디에스 주식회사 Method and system for designing web screen using generative ai

Similar Documents

Publication Publication Date Title
KR101917843B1 (en) Method and apparatus for automatic generation of application UI(user interface)
CN108763068B (en) Automatic testing method and terminal based on machine learning
CN110275834B (en) User interface automatic test system and method
US10810351B2 (en) Integrated document editor
KR102576276B1 (en) Processing of text handwriting input in free handwriting mode
US10635413B1 (en) System for transforming using interface image segments and constructing user interface objects
JP2005302011A (en) Method and apparatus for populating electronic forms from scanned documents
US11288169B2 (en) Method of, and apparatus for, handling reference images for an automated test of software with a graphical user interface
KR102485303B1 (en) Apparatus and mehod for labeling data
US10678521B1 (en) System for image segmentation, transformation and user interface component construction
CN110765015A (en) Method for testing application to be tested and electronic equipment
US20230195424A1 (en) Method and apparatus for generating applications
KR101989960B1 (en) Real-time handwriting recognition method using plurality of machine learning models, computer-readable medium having a program recorded therein for executing the same and real-time handwriting recognition system
JP5634972B2 (en) Method, computer program product and system for text segmentation
US20200371753A1 (en) Design validation for graphical user interface
CN117372286B (en) Python-based image noise optimization method and system
CN117951009A (en) Test script generation method and device, computing equipment and storage medium
CN117274969A (en) Seal identification method, device, equipment and medium
JP7645650B2 (en) Image processing device and program
CN109598649A (en) A kind of processing method of patent document, device and storage medium
JP3930466B2 (en) Character recognition device, character recognition program
US12154198B2 (en) Methods and systems for automated structured keyboard layout generation
US10558774B1 (en) Electronic library and design generation using image and text processing
JP2025064289A (en) Image Processing Device
JP2025064290A (en) Image Processing Device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180702

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20180710

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20180702

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180903

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181102

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181106

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181107

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221011

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20231121

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20241104

Start annual number: 7

End annual number: 7