[go: up one dir, main page]

KR102837017B1 - 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법 - Google Patents

경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Info

Publication number
KR102837017B1
KR102837017B1 KR1020210160488A KR20210160488A KR102837017B1 KR 102837017 B1 KR102837017 B1 KR 102837017B1 KR 1020210160488 A KR1020210160488 A KR 1020210160488A KR 20210160488 A KR20210160488 A KR 20210160488A KR 102837017 B1 KR102837017 B1 KR 102837017B1
Authority
KR
South Korea
Prior art keywords
vector
embedding
characters
language model
output vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210160488A
Other languages
English (en)
Other versions
KR20210145700A (ko
Inventor
슈시 위
징 리
Original Assignee
쿠팡 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿠팡 주식회사 filed Critical 쿠팡 주식회사
Publication of KR20210145700A publication Critical patent/KR20210145700A/ko
Priority to KR1020250096543A priority Critical patent/KR20250114471A/ko
Application granted granted Critical
Publication of KR102837017B1 publication Critical patent/KR102837017B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue creation or management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

단어 분할을 위한 컴퓨터-구현 방법 및 시스템은, 단어 분할(segmentation)을 위한 컴퓨터-구현 방법으로서, 분할을 위해 복수의 캐릭터를 수신하고; 임베딩 모델을 이용하여, 복수의 캐릭터의 캐릭터를 임베딩 벡터로 변환하며; 제1 출력 벡터를 검색하기 위해 임베딩 벡터를 포워드 언어 모델에 공급하고; 제2 출력 벡터를 검색하기 위해 임베딩 벡터를 리버스 언어 모델에 공급하고; 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하며; 그리고 비교에 기초하여 복수의 캐릭터를 분할하는 것을 포함하고, 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하는 것은 임베딩 벡터와 제1 출력 벡터 및 제2 출력 벡터 각각 사이의 유클리드 거리의 역 지수를 결정하는 것을 포함한다.

Description

경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR WORD SEGMENTATION BASED ON A COMPETING NEURAL CHARACTER LANGUAGE MODEL}
본 개시는 일반적으로 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법에 관한 것이다. 특히, 본 개시의 실시예는 제품 타이틀을 단어로 자동으로 분할하기 위해 자동으로 분할하기 위해 경합하는 신경 캐릭터 언어 모델에 기초한 비지도 단어 분할을 위한 창의적이고 비통상적인 시스템과 관련된다.
소비자는 종종 컴퓨터와 스마트 기기를 통해 온라인으로 다양한 아이템을 쇼핑하고 구매한다. 이러한 온라인 쇼핑객은 종종 구매할 제품을 찾기 위해 텍스트 검색에 의존한다. 예를 들어, 온라인 쇼핑객은 종종 그들의 제품 타이틀 및/또는 제품 별칭으로 제품을 검색한다. 따라서, 소매업체는 온라인 쇼핑객이 구매하기 위해 제품을 검색할 때 정확한 결과를 제공하기 위해 종종 그들의 제품 타이틀 및/또는 제품 별칭으로 판매를 위한 제품을 분류한다.
제품 타이틀 및/또는 제품 별칭으로 제품을 분류하기 위해, 많은 소매업체는 제품 타이틀을 검색 가능한 키워드로 분할하기 위해 지도식 단어 분할 접근 방식에 의존한다. 그러나, 지도식 단어 분할 접근 방식은 자연 언어 문법을 제대로 따르지 않을 수 있으므로, 아시아 언어를 포함하되 이에 국한되지 않는, 특정 언어에 적합하지 않을 수 있다. 이와 같이, 제품 타이틀이 정확한 키워드로 제대로 분할되지 않을 수 있으며, 따라서 구매를 위한 제품을 잘못 분류하고 궁극적으로 소비자의 온라인 쇼핑 경험을 저해할 수 있다. 또한, 온라인 쇼핑객이 텍스트를 입력하여 특정 제품을 검색할 때, 텍스트를 단어로 부적절하게 분할하면 정확한 검색 결과를 제공하기 위한 소매업체의 능력을 저해할 수 있다. 또한, 부적절한 단어 분할은 소비자에게 구매를 위해 관련 제품을 추천하기 위한 소매업체의 능력을 저해할 수 있다.
따라서, 부적절한 단어 분할은 소비자의 제품 검색을 연장시키고 온라인 플랫폼의 추천 품질을 감소시킴으로써 소비자의 사용자 경험을 심각하게 감소시킬 수 있다. 온라인 플랫폼이 제품 타이틀을 적절하고 정확한 키워드로 자동으로 분할하면 소비자의 사용자 경험은 크게 향상될 것이다.
따라서, 소비자가 온라인 쇼핑 중에 제품을 빠르게 찾고 구매할 수 있도록 제품 타이틀의 비지도 단어 분할을 위한 개선된 방법 및 시스템이 필요하다.
본 개시의 한 양상은 단어 분할을 위한 컴퓨터-구현 시스템에 관한 것이다. 시스템은, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서가 단계들을 수행하도록 하는 명령들을 포함하는 적어도 하나의 비-일시적 저장 매체를 포함할 수 있다. 단계는, 분할을 위해 복수의 캐릭터를 수신하고, 임베딩 모델을 이용하여, 복수의 캐릭터의 캐릭터를 임베딩 벡터로 변환하며, 임베딩 벡터 및 제1 컨텍스트 임베딩 벡터 시퀀스를 포워드 언어 모델에 공급하며, 임베딩 벡터 및 제2 컨텍스트 임베딩 벡터 시퀀스를 리버스 언어 모델에 공급하며, 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하며, 그리고 비교에 기초하여 복수의 캐릭터를 분할하는 것을 포함한다. 포워드 언어 모델은 제1 출력 벡터를 출력하도록 구성되고, 리버스 언어 모델은 제2 출력 벡터를 출력하도록 구성될 수 있다. 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하는 것은 임베딩 벡터와 제1 출력 벡터 및 제2 출력 벡터 각각 사이의 유클리드 거리의 역 지수를 결정하는 것을 포함할 수 있다.
일부 실시예에서, 임베딩 모델은 프로젝션 레이어 및 소프트맥스 분류기 레이어를 포함할 수 있다. 다른 실시예에서, 포워드 언어 모델 및 리버스 언어 모델은 순환신경망(RNN)을 포함할 수 있다. 추가적으로 또는 대안적으로, 포워드 언어 모델 및 리버스 언어 모델은, 게이티드 순환 유닛(GRU) 또는 롱 숏-텀 메모리(LSTM) 중 적어도 하나를 포함할 수 있다.
일부 실시예에서, 제1 컨텍스트 임베딩 벡터 시퀀스는 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 일부 실시예에서, 제2 컨텍스트 임베딩 벡터 시퀀스는 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 임베딩 벡터와 제1 출력 벡터 사이의 유클리드 거리의 역 지수가 임베딩 벡터와 제2 출력 벡터 사이의 유클리드 거리의 역 지수보다 클 때, 캐릭터를 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 페어링 하기 위한 명령들을 실행하도록 구성될 수 있다. 다른 실시예에서, 적어도 하나의 프로세서는 임베딩 벡터와 제2 출력 벡터 사이의 유클리드 거리의 역 지수가 임베딩 벡터와 제1 출력 벡터 사이의 유클리드 거리의 역 지수보다 클 때, 캐릭터를 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 페어링 하기 위한 명령들을 실행하도록 구성될 수 있다.
일부 실시예에서, 적어도 하나의 프로세서는 각 캐릭터가 단어에 속할 때까지 분할을 위한 복수의 캐릭터 각각에 대해 변환, 공급, 비교 및 분할의 단계를 반복하기 위한 명령들을 실행하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 복수의 캐릭터에서 캐릭터의 수 및 평균 단어 길이에 기초하여 복수의 캐릭터에서 분할의 수를 예측하기 위한 명령들을 실행하도록 구성될 수 있다.
본 개시의 다른 양상은 단어 분할을 위한 방법에 관한 것이다. 이 방법은 분할을 위해 복수의 캐릭터를 수신하고, 임베딩 모델을 이용하여, 복수의 캐릭터의 캐릭터를 임베딩 벡터로 변환하며, 임베딩 벡터 및 제1 컨텍스트 임베딩 벡터 시퀀스를 포워드 언어 모델에 공급하며, 임베딩 벡터 및 제2 컨텍스트 임베딩 벡터 시퀀스를 리버스 언어 모델에 공급하며, 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하며, 그리고 비교에 기초하여 복수의 캐릭터를 분할하는 것을 포함할 수 있다. 포워드 언어 모델은 제1 출력 벡터를 출력하도록 구성될 수 있고, 리버스 언어 모델은 제2 출력 벡터를 출력하도록 구성될 수 있다. 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하는 것은 임베딩 벡터와 제1 출력 벡터 및 제2 출력 벡터 각각 사이의 유클리드 거리의 역 지수를 결정하는 것을 포함할 수 있다.
일부 실시예에서, 임베딩 모델은 프로젝션 레이어 및 소프트맥스 분류기 레이어를 포함할 수 있다. 다른 실시예에서, 포워드 언어 모델 및 리버스 언어 모델은 순환신경망(RNN)을 포함할 수 있다. 추가적으로 또는 대안적으로, 포워드 언어 모델 및 리버스 언어 모델은, 게이티드 순환 유닛(GRU) 또는 롱 숏-텀 메모리(LSTM) 중 적어도 하나를 포함할 수 있다.
일부 실시예에서, 제1 컨텍스트 임베딩 벡터 시퀀스는 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 일부 실시예에서, 제2 컨텍스트 임베딩 벡터 시퀀스는 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 임베딩 벡터와 제1 출력 벡터 사이의 유클리드 거리의 역 지수가 임베딩 벡터와 제2 출력 벡터 사이의 유클리드 거리의 역 지수보다 클 때, 캐릭터를 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 페어링 하기 위한 명령을 실행하도록 구성될 수 있다. 다른 실시예에서, 적어도 하나의 프로세서는 임베딩 벡터와 제2 출력 벡터 사이의 유클리드 거리의 역 지수가 임베딩 벡터와 제1 출력 벡터 사이의 유클리드 거리의 역 지수보다 클 때, 캐릭터를 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 페어링 하기 위한 명령을 실행하도록 구성될 수 있다.
일부 실시예에서, 적어도 하나의 프로세서는 각 캐릭터가 단어에 속할 때까지 분할을 위한 복수의 캐릭터 각각에 대해 변환, 공급, 비교 및 분할의 단계를 반복하기 위한 명령을 실행하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 복수의 캐릭터에서 캐릭터의 수 및 평균 단어 길이에 기초하여 복수의 캐릭터에서 분할의 수를 예측하기 위한 명령을 실행하도록 구성될 수 있다.
본 개시의 또 다른 양상은 단어 분할을 위한 컴퓨터-구현 시스템에 관한 것이다. 시스템은 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서가 단계들을 수행하게 하는 명령들을 포함하는 적어도 하나의 비-일시적 저장 매체를 포함할 수 있다. 단계는, 분할을 위해 복수의 캐릭터를 수신하고, 임베딩 모델을 이용하여, 복수의 캐릭터의 캐릭터를 임베딩 벡터로 변환하며, 임베딩 벡터 및 제1 컨텍스트 임베딩 벡터 시퀀스를 포워드 언어 모델에 공급하며, 임베딩 벡터 및 제2 컨텍스트 임베딩 벡터 시퀀스를 리버스 언어 모델에 공급하며, 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하며, 그리고 비교에 기초하여 복수의 캐릭터를 분할하는 것을 포함할 수 있다. 포워드 언어 모델은 제1 출력 벡터를 출력하도록 구성되며, 리버스 언어 모델은 제2 출력 벡터를 출력하도록 구성될 수 있다. 제1 컨텍스트 임베딩 벡터 시퀀스는 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 제2 컨텍스트 임베딩 벡터 시퀀스는 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하는 것은 임베딩 벡터와 제1 출력 벡터 및 제2 출력 벡터 각각 사이의 유클리드 거리의 역 지수를 결정하는 것을 포함할 수 있다.
본 개시의 또 다른 양상은 단어 분할을 위한 컴퓨터-구현 방법에 관한 것이다. 단어 분할(segmentation)을 위한 컴퓨터-구현 방법으로서, 분할을 위해 복수의 캐릭터를 수신하고; 임베딩 모델을 이용하여, 복수의 캐릭터의 캐릭터를 임베딩 벡터로 변환하며; 제1 출력 벡터를 검색하기 위해 임베딩 벡터를 포워드 언어 모델에 공급하고; 제2 출력 벡터를 검색하기 위해 임베딩 벡터를 리버스 언어 모델에 공급하고; 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하며; 그리고 비교에 기초하여 복수의 캐릭터를 분할하는 것을 포함하고, 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하는 것은 임베딩 벡터와 제1 출력 벡터 및 제2 출력 벡터 각각 사이의 유클리드 거리의 역 지수를 결정하는 것을 포함한다.
본 개시의 또 다른 양상은 단어 분할을 위한 컴퓨터-구현 시스템에 관한 것이다. 단어 분할(segmentation)을 위한 컴퓨터-구현 시스템으로서, 분할을 위해 복수의 캐릭터를 수신하고; 임베딩 모델을 이용하여, 복수의 캐릭터의 캐릭터를 임베딩 벡터로 변환하며; 제1 출력 벡터를 검색하기 위해 임베딩 벡터를 포워드 언어 모델에 공급하고; 제2 출력 벡터를 검색하기 위해 임베딩 벡터를 리버스 언어 모델에 공급하고; 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하며; 그리고 비교에 기초하여 복수의 캐릭터를 분할하는 것을 포함하고, 임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교하는 것은 임베딩 벡터와 제1 출력 벡터 및 제2 출력 벡터 각각 사이의 유클리드 거리의 역 지수를 결정하는 것을 포함한다.
다른 시스템들, 방법들 및 컴퓨터-판독 가능한 매체도 본 명세서에서 논의된다.
도 1a는 개시된 실시예에 따른, 배송, 운송, 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 1b는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 검색 요청을 만족시키는 하나 이상의 검색 결과를 포함하는 검색 결과 페이지(SRP; Search Result Page)의 샘플을 나타낸 도면이다.
도 1c는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 제품 및 제품에 대한 정보를 포함하는 싱글 디스플레이 페이지(SDP; Single Display Page)의 샘플을 나타낸 도면이다.
도 1d는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 가상의 쇼핑 장바구니에 아이템을 포함하는 장바구니 페이지의 샘플을 나타낸 도면이다.
도 1e는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라, 가상의 쇼핑 장바구니로부터 구매 및 배송에 관한 정보에 따른 아이템을 포함하는 주문 페이지의 샘플을 나타낸 도면이다.
도 2는 개시된 실시예에 따른, 개시된 컴퓨터 시스템을 활용하도록 구성된 예시적인 풀필먼트 센터의 개략적인 도면이다.
도 3은 개시된 실시예에 따른, 단어 분할을 위한 컴퓨터화된 시스템을 포함하는 시스템의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 4는 개시된 실시예에 따른, 단어 분할을 위한 방법의 예시적인 실시예를 나타낸 흐름도이다.
도 5는 개시된 실시예에 따른, 비지도 단어 분할을 수행하기 위해 경합하는 신경 캐릭터 언어 모델을 이용하는 방법의 예시적인 실시예를 나타낸 도면이다.
이어서 첨부된 도면을 참조하여 자세하게 설명된다. 가능하면, 도면 및 상세한 설명에서 참조 부호가 같거나 유사한 부분을 참조하도록 사용된다. 여기에 몇몇 예시적인 실시예가 설명되지만, 변경, 조정 및 다른 구현도 가능하다. 예를 들면, 도면 내의 구성 및 스텝에 대해 교체, 추가, 또는 변경이 이루어질 수 있고, 여기에 설명된 예시적인 방법은 개시된 방법에 대해 스텝을 교체, 순서 변경, 제거 또는 추가함으로써 변경될 수 있다. 따라서, 다음의 자세한 설명은 개시된 실시예 및 예시로 제한되는 것은 아니다. 대신에 본 발명의 적절한 범위는 청구범위에 의해 규정된다.
본 개시의 실시예는 단어 분할을 위해 구성된 시스템 및 방법에 관한 것이다. 개시된 실시예는, 예를 들어, 제품 타이틀에 대해 비지도 단어 분할을 자동으로 수행하기 위해 경합하는 신경 캐릭터 언어 모델을 유리하게 이용할 수 있다.
일 실시예에서, 전처리 시스템은 합성화된 트레이닝 데이터를 생성하기 위해 트레이닝 데이터 시스템으로부터 수신된 초기 트레이닝 데이터를 사전 처리할 수 있다. 예를 들어, 텍스트 기반 초기 트레이닝 데이터는 중지 단어 제거, 키워드 토큰화, 키워드의 중복 제거, 및 초기 트레이닝 데이터의 확대를 포함하는, 방법의 임의의 조합을 이용하여 사전 처리될 수 있으며, 이미지 기반 초기 트레이닝 데이터는 이미지 증강 기술(예를 들면, PyTorch)을 이용하여 사전 처리될 수 있다. 계층적 모델 트레이너 시스템은 전처리 시스템에 의해 생성된 텍스트 기반 합성화된 트레이닝 데이터를 수신할 수 있고 이미지 모델 트레이너 시스템은 전처리 시스템에 의해 생성된 이미지 기반 합성화된 트레이닝 데이터를 수신할 수 있다. 계층적 모델 트레이너 시스템과 이미지 모델 트레이너는 제품 분류를 위해 수신된 합성화된 데이터를 이용하여 적어도 하나의 계층적 모델과 적어도 하나의 이미지 모델을 각각 생성하고 트레이닝 할 수 있다.
일부 실시예에서, 제품 카테고리 예측기는 제1 카테고리화되지 않은 제품과 연관된 정보를 수신할 수 있다. 예를 들어, 판매자는 제품 등록을 시도할 때 제품 이름, 속성 값, 제조업체, 브랜드 및 모델 번호를 포함하는 연결된 텍스트 문자열을 입력하도록 유도될 수 있다. 제품 카테고리 예측기는 총 확률 점수가 가장 높은 카테고리 다수를 예측하라는 요청을 수신할 수 있다. 제품 카테고리 예측기는 잠재적 카테고리 및 하위 카테고리의 확률 점수를 재귀적으로 계산하여 제1 카테고리화되지 않은 제품의 가장 관련성이 높은 카테고리를 예측하기 위해 계층적 모델을 이용할 수 있다. 제품 카테고리 예측기는 이어서 카테고리화되지 않은 제품을 가장 높은 총 확률 점수를 갖는 하나 이상의 카테고리로 분류할 수 있다.
도 1a를 참조하면, 배송, 운송 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 예시적인 시스템의 실시예를 나타낸 개략적인 블록도(100)가 도시되어 있다. 도 1a에 나타낸 바와 같이, 시스템(100)은 다양한 시스템을 포함할 수 있으며, 이들 각각은 하나 이상의 네트워크를 통해 서로 연결될 수 있다. 시스템은 (예를 들어, 케이블을 사용한) 직접 연결을 통해 서로 연결될 수 있다. 도시된 시스템은 배송 기관 기술(shipment authority technology, SAT) 시스템(101), 외부 프론트 엔드 시스템(103), 내부 프론트 엔드 시스템(105), 운송 시스템(107), 모바일 디바이스(107A, 107B, 107C), 판매자 포털(109), 배송 및 주문 트래킹(shipment and order tracking, SOT) 시스템(111), 풀필먼트 최적화(fulfillment optimization, FO) 시스템(113), 풀필먼트 메시징 게이트웨이(fulfillment messaging gateway, FMG)(115), 공급 체인 관리(supply chain management, SCM) 시스템(117), 창고 관리 시스템(119), 모바일 디바이스(119A, 119B, 119C)(풀필먼트 센터(fulfillment center, FC)(200) 내부에 있는 것으로 도시됨), 제3자 풀필먼트 시스템(121A, 121B, 121C), 풀필먼트 센터 인증 시스템(fulfillment center authorization system, FC Auth)(123), 및 노동 관리 시스템(labor management system, LMS)(125)을 포함한다.
일부 실시예에서, SAT 시스템(101)은 주문 상태와 배달 상태를 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SAT 시스템(101)은 주문이 약속된 배달 날짜(Promised Delivery Date, PDD)를 지났는지를 결정할 수 있고, 새로운 주문을 개시시키고, 배달되지 않은 주문의 아이템을 다시 배송하며, 배달되지 않은 주문을 취소하고, 주문 고객과 연락을 시작하는 것 등을 포함하는 적합한 조치를 취할 수 있다. SAT 시스템(101)은 또한, (특정 기간 동안 배송된 패키지의 개수와 같은) 출력, 및 (배송시 사용하기 위해 수신된 빈 카드보드 박스의 개수와 같은) 입력을 포함하는 다른 데이터를 감시할 수 있다. SAT 시스템(101)은 또한, 외부 프론트 엔드 시스템(103) 및 FO 시스템(113)과 같은 장치들 간의 (예를 들면, 저장 전달(store-and-forward) 또는 다른 기술을 사용하는) 통신을 가능하게 하는 시스템(100) 내의 상이한 장치들 사이의 게이트웨이로서 동작할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 사용자가 시스템(100) 내의 하나 이상의 시스템과 상호 동작할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 시스템의 프레젠테이션을 가능하게 하여 사용자가 아이템에 대한 주문을 할 수 있도록 하는 실시예에서, 외부 프론트 엔드 시스템(103)은 검색 요청을 수신하고, 아이템 페이지를 제시하며, 결제 정보를 요청하는 웹 서버로서 구현될 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 디바이스(예를 들어, 모바일 디바이스(102A) 또는 컴퓨터(102B))로부터 요청을 수신 및 처리하고, 이들 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 설계된 커스텀 웹 서버 소프트웨어를 실행할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 또는 결제 시스템 중 하나 이상을 포함할 수 있다. 일 양상에서, 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
도 1b, 1c, 1d 및 1e에 의해 나타낸 단계들의 예시적인 세트는 외부 프론트 엔드 시스템(103)의 일부 동작을 설명하는 것에 도움이 될 것이다. 외부 프론트 엔드 시스템(103)은 프레젠테이션 및/또는 디스플레이를 위해 시스템(100) 내의 시스템 또는 디바이스로부터 정보를 수신할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 검색 결과 페이지(Search Result Page, SRP)(예를 들면, 도 1b), 싱글 디테일 페이지(Single Detail Page, SDP)(예를 들면, 도 1c), 장바구니 페이지(Cart page)(예를 들면, 도 1d), 또는 주문 페이지(예를 들면, 도 1e)를 포함하는 하나 이상의 웹페이지를 호스팅하거나 제공할 수 있다. (예를 들면, 모바일 디바이스(102A) 또는 컴퓨터(102B)를 사용하는) 사용자 디바이스는 외부 프론트 엔드 시스템(103)으로 이동하고 검색 박스에 정보를 입력함으로써 검색을 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 시스템(100) 내의 하나 이상의 시스템으로부터 정보를 요청할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 FO 시스템(113)으로부터 검색 요청을 만족하는 정보를 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 또한, (FO 시스템(113)으로부터) 검색 결과에 포함된 각 제품에 대한 약속된 배달 날짜(Promised Delivery Date) 또는 "PDD"를 요청하고 수신할 수 있다. 일부 실시예에서, PDD는 제품이 들어있는 패키지가 특정 기간 이내, 예를 들면, 하루의 끝(PM 11:59)까지 주문되면 언제 사용자가 원하는 장소에 도착할 것인지에 대한 추정 또는 제품이 사용자가 원하는 장소에 배달될 약속된 날짜를 나타낼 수 있다(PDD는 FO 시스템(113)과 관련하여 이하에서 더 논의된다).
외부 프론트 엔드 시스템(103)은 정보에 기초하여 SRP(예를 들면, 도 1b)를 준비할 수 있다. SRP는 검색 요청을 만족하는 정보를 포함할 수 있다. 예를 들면, 이는 검색 요청을 만족하는 제품의 사진을 포함할 수 있다. SRP는 또한, 각 제품에 대한 각각의 가격, 또는 각 제품, PDD, 무게, 크기, 오퍼(offer), 할인 등에 대한 개선된 배달 옵션에 관한 정보를 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 (예를 들면, 네트워크를 통해) SRP를 요청 사용자 디바이스로 전송할 수 있다.
사용자 디바이스는 SRP에 나타낸 제품을 선택하기 위해, 예를 들면, 사용자 인터페이스를 클릭 또는 탭핑하거나, 다른 입력 디바이스를 사용하여 SRP로부터 제품을 선택할 수 있다. 사용자 디바이스는 선택된 제품에 관한 정보에 대한 요청을 만들어 내고 이를 외부 프론트 엔드 시스템(103)으로 전송할 수 있다. 이에 응답하여, 외부 프론트 엔드 시스템(103)은 선택된 제품에 관한 정보를 요청할 수 있다. 예를 들면, 정보는 각각의 SRP 상에 제품에 대해 제시된 것 이상의 추가 정보를 포함할 수 있다. 이는, 예를 들면, 유통 기한, 원산지, 무게, 크기, 패키지 내의 아이템 개수, 취급 지침, 또는 제품에 대한 다른 정보를 포함할 수 있다. 정보는 또한, (예를 들면, 이 제품 및 적어도 하나의 다른 제품을 구입한 고객의 빅 데이터 및/또는 기계 학습 분석에 기초한) 유사한 제품에 대한 추천, 자주 묻는 질문에 대한 답변, 고객의 후기, 제조 업체 정보, 사진 등을 포함할 수 있다.
외부 프론트 엔드 시스템(103)은 수신된 제품 정보에 기초하여 SDP(Single Detail Page)(예를 들면, 도 1c)를 준비할 수 있다. SDP는 또한, "지금 구매(Buy Now)" 버튼, "장바구니에 추가(Add to Cart)" 버튼, 수량 필드, 아이템 사진 등과 같은 다른 상호 동작 요소를 포함할 수 있다. SDP는 제품을 오퍼하는 판매자의 리스트를 포함할 수 있다. 이 리스트는 최저가로 제품을 판매하는 것으로 오퍼하는 판매자가 리스트의 최상단에 위치하도록, 각 판매자가 오퍼한 가격에 기초하여 순서가 정해질 수 있다. 이 리스트는 또한 최고 순위 판매자가 리스트의 최상단에 위치하도록, 판매자 순위에 기초하여 순서가 정해질 수 있다. 판매자 순위는, 예를 들어, 약속된 PPD를 지켰는지에 대한 판매자의 과거 추적 기록을 포함하는, 복수의 인자에 기초하여 만들어질 수 있다. 외부 프론트 엔드 시스템(103)은 (예를 들면, 네트워크를 통해) SDP를 요청 사용자 디바이스로 전달할 수 있다.
요청 사용자 디바이스는 제품 정보를 나열하는 SDP를 수신할 수 있다. SDP를 수신하면, 사용자 디바이스는 SDP와 상호 동작할 수 있다. 예를 들면, 요청 사용자 디바이스의 사용자는 SDP의 "장바구니에 담기(Place in Cart)" 버튼을 클릭하거나, 이와 상호 동작할 수 있다. 이렇게 하면 사용자와 연계된 쇼핑 장바구니에 제품이 추가된다. 사용자 디바이스는 제품을 쇼핑 장바구니에 추가하기 위해 외부 프론트 엔드 시스템(103)으로 이러한 요청을 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 장바구니 페이지(예를 들면, 도 1d)를 생성할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 가상의 "쇼핑 장바구니(shopping cart)"에 추가한 제품을 나열한다. 사용자 디바이스는 SRP, SDP, 또는 다른 페이지의 아이콘을 클릭하거나, 상호 동작함으로써 장바구니 페이지를 요청할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 장바구니에 추가한 모든 제품 뿐 아니라 각 제품의 수량, 각 제품의 품목당 가격, 관련 수량에 기초한 각 제품의 가격, PDD에 관한 정보, 배달 방법, 배송 비용, 쇼핑 장바구니의 제품을 수정(예를 들면, 수량의 삭제 또는 수정)하기 위한 사용자 인터페이스 요소, 다른 제품의 주문 또는 제품의 정기적인 배달 설정에 대한 옵션, 할부(interest payment) 설정에 대한 옵션, 구매를 진행하기 위한 사용자 인터페이스 요소 등과 같은 장바구니의 제품에 관한 정보를 나열할 수 있다. 사용자 디바이스의 사용자는 쇼핑 장바구니에 있는 제품의 구매를 시작하기 위해 사용자 인터페이스 요소(예를 들면, "지금 구매(Buy Now)"라고 적혀있는 버튼)를 클릭하거나, 이와 상호 동작할 수 있다. 그렇게 하면, 사용자 디바이스는 구매를 시작하기 위해 이러한 요청을 외부 프론트 엔드 시스템(103)으로 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 구매를 시작하는 요청을 수신하는 것에 응답하여 주문 페이지(예를 들면, 도 1e)를 생성할 수 있다. 일부 실시예에서, 주문 페이지는 쇼핑 장바구니로부터의 아이템을 재나열하고, 결제 및 배송 정보의 입력을 요청한다. 예를 들면, 주문 페이지는 쇼핑 장바구니의 아이템 구매자에 관한 정보(예를 들면, 이름, 주소, 이메일 주소, 전화번호), 수령인에 관한 정보(예를 들면, 이름, 주소, 전화번호, 배달 정보), 배송 정보(예를 들면, 배달 및/또는 픽업 속도/방법), 결제 정보(예를 들면, 신용 카드, 은행 송금, 수표, 저장된 크레딧), 현금 영수증을 요청하는 사용자 인터페이스 요소(예를 들면, 세금 목적) 등을 요청하는 섹션을 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 사용자 디바이스에 주문 페이지를 전송할 수 있다.
사용자 디바이스는 주문 페이지에 정보를 입력하고 외부 프론트 엔드 시스템(103)으로 정보를 전송하는 사용자 인터페이스 요소를 클릭하거나, 상호 동작할 수 있다. 그로부터, 외부 프론트 엔드 시스템(103)은 정보를 시스템(100) 내의 다른 시스템으로 전송하여 쇼핑 장바구니의 제품으로 새로운 주문을 생성하고 처리할 수 있도록 한다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 판매자가 주문과 관련된 정보를 전송 및 수신할 수 있도록 추가로 구성될 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자(예를 들면, 시스템(100)을 소유, 운영 또는 임대하는 조직의 직원)가 시스템(100) 내의 하나 이상의 시스템과 상호작용할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 사용자가 아이템에 대한 주문을 할 수 있게 하는 시스템의 프레젠테이션을 가능하게 하는 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자가 주문에 대한 진단 및 통계 정보를 볼 수 있게 하고, 아이템 정보를 수정하며, 또는 주문에 대한 통계를 검토할 수 있게 하는 웹 서버로서 구현될 수 있다. 예를 들면, 내부 프론트 엔드 시스템(105)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 내부 프론트 엔드 시스템(105)은 (도시되지 않은 다른 디바이스뿐 아니라) 시스템(100) 내에 나타낸 시스템 또는 디바이스로부터 요청을 수신 및 처리하고, 그러한 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 (설계된 커스텀 웹 서버 소프트웨어를 실행)할 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 결제 시스템, 분석 시스템, 주문 모니터링 시스템 등 중 하나 이상을 포함할 수 있다. 일 양상에서, 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
일부 실시예에서, 운송 시스템(107)은 시스템(100) 내의 시스템 또는 디바이스와 모바일 디바이스(107A-107C) 간의 통신을 가능하게 하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 운송 시스템(107)은 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 예를 들면, 일부 실시예에서, 모바일 디바이스(107A-107C)는 배달원에 의해 동작되는 디바이스를 포함할 수 있다. 정규직, 임시적 또는 교대 근무일 수 있는 배달원은 사용자에 의해 주문된 제품들이 들어 있는 패키지의 배달을 위해 모바일 디바이스(107A-107C)를 이용할 수 있다. 예를 들면, 패키지를 배달하기 위해, 배달원은 배달할 패키지와 배달할 위치를 나타내는 모바일 디바이스 상의 알림을 수신할 수 있다. 배달 장소에 도착하면, 배달원은 (예를 들면, 트럭의 뒤나 패키지의 크레이트에) 패키지를 둘 수 있고, 모바일 디바이스를 사용하여 패키지 상의 식별자와 관련된 데이터(예를 들면, 바코드, 이미지, 텍스트 문자열, RFID 태그 등)를 스캔하거나, 캡처하며, (예를 들면, 현관문에 놓거나, 경비원에게 맡기거나, 수령인에게 전달하는 것 등에 의해) 패키지를 배달할 수 있다. 일부 실시예에서, 배달원은 모바일 디바이스를 사용하여 패키지의 사진(들)을 찍거나 및/또는 서명을 받을 수 있다. 모바일 디바이스는, 예를 들면, 시간, 날짜, GPS 위치, 사진(들), 배달원에 관련된 식별자, 모바일 디바이스에 관련된 식별자 등을 포함하는 배달에 관한 정보를 포함하는 정보를 운송 시스템(107)에 전송할 수 있다. 운송 시스템(107)은 시스템(100) 내의 다른 시스템에 의한 접근을 위해 데이터베이스(미도시)에 이러한 정보를 저장할 수 있다. 일부 실시예에서, 운송 시스템(107)은 다른 시스템에 특정 패키지의 위치를 나타내는 트래킹 데이터를 준비 및 전송하기 위해 이러한 정보를 사용할 수 있다.
일부 실시예에서, 특정 사용자는, 한 종류의 모바일 디바이스를 사용할 수 있는 반면(예를 들면, 정규 직원은 바코드 스캐너, 스타일러스 및 다른 장치와 같은 커스텀 하드웨어를 갖는 전문 PDA를 사용할 수 있음), 다른 사용자는 다른 종류의 모바일 디바이스를 사용할 수 있다(예를 들면, 임시 또는 교대 근무 직원이 기성 휴대 전화 및/또는 스마트폰을 사용할 수 있음).
일부 실시예에서, 운송 시스템(107)은 사용자를 각각의 디바이스와 연관시킬 수 있다. 예를 들면, 운송 시스템(107)은 사용자(예를 들면, 사용자 식별자, 직원 식별자, 또는 전화번호에 의해 표현됨)와 모바일 디바이스(예를 들면, International Mobile Equipment Identity(IMEI), International Mobile Subscription Identifier(IMSI), 전화번호, Universal Unique Identifier(UUID), 또는 Globally Unique Identifier(GUID)에 의해 표현됨) 간의 연관성(association)을 저장할 수 있다. 운송 시스템(107)은, 다른 것들 중에 작업자의 위치, 작업자의 효율성, 또는 작업자의 속도를 결정하기 위해 데이터베이스에 저장된 데이터를 분석하기 위해 배달시 수신되는 데이터와 관련하여 이러한 연관성을 사용할 수 있다.
일부 실시예에서, 판매자 포털(109)은 판매자 또는 다른 외부 엔터티(entity)가 시스템(100) 내의 하나 이상의 시스템과 전자 통신할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 판매자는 판매자 포털(109)을 사용하여 시스템(100)을 통해 판매하고자 하는 제품에 대하여, 제품 정보, 주문 정보, 연락처 정보 등을 업로드하거나 제공하는 컴퓨터 시스템(미도시)을 이용할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객(예를 들면, 디바이스(102A-102B)를 사용하는 사용자)에 의해 주문된 제품들이 들어 있는 패키지의 위치에 관한 정보를 수신, 저장 및 포워딩하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객에 의해 주문된 제품들이 들어 있는 패키지를 배달하는 배송 회사에 의해 운영되는 웹 서버(미도시)로부터 정보를 요청하거나 저장할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 시스템(100)에 나타낸 시스템들로부터 정보를 요청하고 저장할 수 있다. 예를 들면, 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107)으로부터 정보를 요청할 수 있다. 전술한 바와 같이, 운송 시스템(107)은 사용자(예를 들면, 배달원) 또는 차량(예를 들면, 배달 트럭) 중 하나 이상과 연관된 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 또한, 풀필먼트 센터(예를 들면, 풀필먼트 센터(200)) 내부의 개별 제품의 위치를 결정하기 위해 창고 관리 시스템(WMS)(119)으로부터 정보를 요청할 수 있다. 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107) 또는 WMS(119) 중 하나 이상으로부터 데이터를 요청하고, 이를 처리하며, 요청시 디바이스(예를 들면, 사용자 디바이스(102A, 102B))로 제공할 수 있다.
일부 실시예에서, 풀필먼트 최적화(FO) 시스템(113)은 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103) 및/또는 배송 및 주문 트래킹 시스템(111))으로부터의 고객 주문에 대한 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. FO 시스템(113)은 또한, 특정 아이템이 유지 또는 저장되는 곳을 나타내는 정보를 저장할 수 있다. 예를 들면, 소정 아이템은 하나의 풀필먼트 센터에만 저장될 수 있는 반면, 소정 다른 아이템은 다수의 풀필먼트 센터에 저장될 수 있다. 또 다른 실시예에서, 특정 풀필먼트 센터는 아이템의 특정 세트(예를 들면, 신선한 농산물 또는 냉동 제품)만을 저장하도록 구성될 수 있다. FO 시스템(113)은 이러한 정보뿐 아니라 관련 정보(예를 들면, 수량, 크기, 수령 날짜, 유통 기한 등)를 저장한다.
FO 시스템(113)은 또한, 각 제품에 대해 대응하는 PDD(약속된 배달 날짜)를 계산할 수 있다. 일부 실시예에서, PDD는 하나 이상의 요소에 기초할 수 있다. 예를 들면, FO 시스템(113)은 제품에 대한 과거 수요(예를 들면, 그 제품이 일정 기간 동안 얼마나 주문되었는지), 제품에 대한 예측된 수요(예를 들면, 얼마나 많은 고객이 다가오는 기간 동안 제품을 주문할 것으로 예상되는지), 일정 기간 동안 얼마나 많은 제품이 주문되었는지를 나타내는 네트워크 전반의 과거 수요, 다가오는 기간 동안 얼마나 많은 제품이 주문될 것으로 예상되는지를 나타내는 네트워크 전반의 예측된 수요, 각각의 제품을 저장하는 각 풀필먼트 센터(200)에 저장된 제품의 하나 이상의 개수, 그 제품에 대한 예상 또는 현재 주문 등에 기초하여 제품에 대한 PDD를 계산할 수 있다.
일부 실시예에서, FO 시스템(113)은 주기적으로(예를 들면, 시간별로) 각 제품에 대한 PDD를 결정하고, 검색하거나 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로 전송하기 위해 이를 데이터베이스에 저장할 수 있다. 다른 실시예에서, FO 시스템(113)은 하나 이상의 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로부터 전자 요청을 수신하고 요구에 따라 PDD를 계산할 수 있다.
일부 실시예에서, 풀필먼트 메시징 게이트웨이(FMG)(115)는 FO 시스템(113)과 같은 시스템(100) 내의 하나 이상의 시스템으로부터 하나의 포맷 또는 프로토콜로 요청 또는 응답을 수신하고, 그것을 다른 포맷 또는 프로토콜로 변환하여, 변환된 포맷 또는 프로토콜로 된 요청 또는 응답을 WMS(119) 또는 제3자 풀필먼트 시스템(121A, 121B, 또는 121C)과 같은 다른 시스템에 포워딩하며, 반대의 경우도 가능한 컴퓨터 시스템으로서 구현될 수 있다.
일부 실시예에서, 공급 체인 관리(SCM) 시스템(117)은 예측 기능을 수행하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SCM 시스템(117)은, 예를 들어 제품에 대한 과거 수요, 제품에 대한 예측된 수요, 네트워크 전반의 과거 수요, 네트워크 전반의 예측된 수요, 각각의 풀필먼트 센터(200)에 저장된 제품 개수, 각 제품에 대한 예상 또는 현재 주문 등에 기초하여, 특정 제품에 대한 수요의 수준을 예측할 수 있다. 이러한 예측된 수준과 모든 풀필먼트 센터를 통한 각 제품의 수량에 응답하여, SCM 시스템(117)은 특정 제품에 대한 예측된 수요를 만족시키기에 충분한 양을 구매 및 비축하기 위한 하나 이상의 구매 주문을 생성할 수 있다.
일부 실시예에서, 창고 관리 시스템(WMS)(119)은 작업 흐름을 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, WMS(119)는 개개의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))로부터 개별 이벤트를 나타내는 이벤트 데이터를 수신할 수 있다. 예를 들면, WMS(119)는 패키지를 스캔하기 위해 이들 디바이스 중 하나를 사용한 것을 나타내는 이벤트 데이터를 수신할 수 있다. 풀필먼트 센터(200) 및 도 2에 관하여 이하에서 논의되는 바와 같이, 풀필먼트 프로세스 동안, 패키지 식별자(예를 들면, 바코드 또는 RFID 태그 데이터)는 특정 스테이지의 기계(예를 들면, 자동 또는 핸드헬드 바코드 스캐너, RFID 판독기, 고속 카메라, 태블릿(119A), 모바일 디바이스/PDA(119B), 컴퓨터(119C)와 같은 디바이스 등)에 의해 스캔되거나 판독될 수 있다. WMS(119)는 패키지 식별자, 시간, 날짜, 위치, 사용자 식별자, 또는 다른 정보와 함께 대응하는 데이터베이스(미도시)에 패키지 식별자의 스캔 또는 판독을 나타내는 각 이벤트를 저장할 수 있고, 이러한 정보를 다른 시스템(예를 들면, 배송 및 주문 트래킹 시스템(111))에 제공할 수 있다.
일부 실시예에서, WMS(119)는 하나 이상의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))와 시스템(100)과 연관된 하나 이상의 사용자를 연관시키는 정보를 저장할 수 있다. 예를 들면, 일부 상황에서, (파트 타임 또는 풀 타임 직원과 같은) 사용자는 모바일 디바이스(예를 들면, 모바일 디바이스는 스마트폰임)를 소유한다는 점에서, 모바일 디바이스와 연관될 수 있다. 다른 상황에서, 사용자는 임시로 모바일 디바이스를 보관한다는 점에서(예를 들면, 하루의 시작에서부터 모바일 디바이스를 대여받은 사용자가, 하루 동안 그것을 사용하고, 하루가 끝날 때 그것을 반납할 것임), 모바일 디바이스와 연관될 수 있다.
일부 실시예에서, WMS(119)는 시스템(100)과 연관된 각각의 사용자에 대한 작업 로그를 유지할 수 있다. 예를 들면, WMS(119)는 임의의 할당된 프로세스(예를 들면, 트럭에서 내리기, 픽업 구역에서 아이템을 픽업하기, 리비닝 월(rebin wall) 작업, 아이템 패킹하기), 사용자 식별자, 위치(예를 들면, 풀필먼트 센터(200)의 바닥 또는 구역), 직원에 의해 시스템을 통해 이동된 유닛의 수(예를 들면, 픽업된 아이템의 수, 패킹된 아이템의 수), 디바이스(예를 들면, 디바이스(119A-119C))와 관련된 식별자 등을 포함하는, 각 직원과 관련된 정보를 저장할 수 있다. 일부 실시예에서, WMS(119)는 디바이스(119A-119C)에서 작동되는 계시(timekeeping) 시스템과 같은 계시 시스템으로부터 체크-인 및 체크-아웃 정보를 수신할 수 있다.
일부 실시예에서, 제3자 풀필먼트 (3PL) 시스템(121A-121C)은 물류 및 제품의 제3자 제공자와 관련된 컴퓨터 시스템을 나타낸다. 예를 들면, (도 2와 관련하여 이하에서 후술하는 바와 같이) 일부 제품이 풀필먼트 센터(200)에 저장되는 반면, 다른 제품은 오프-사이트(off-site)에 저장될 수 있거나, 수요에 따라 생산될 수 있으며, 달리 풀필먼트 센터(200)에 저장될 수 없다. 3PL 시스템(121A-121C)은 FO 시스템(113)으로부터 (예를 들면, FMG(115)를 통해) 주문을 수신하도록 구성될 수 있으며, 고객에게 직접 제품 및/또는 서비스(예를 들면, 배달 또는 설치)를 제공할 수 있다. 일부 구현예에서, 하나 이상의 3PL 시스템(121A-121C)은 시스템(100)의 일부일 수 있지만, 다른 구현예에서는, 하나 이상의 3PL 시스템(121A-121C)이 시스템(100)의 외부에 있을 수 있다(예를 들어, 제3자 제공자에 의해 소유 또는 운영됨)일 수 있다.
일부 실시예에서, 풀필먼트 센터 인증 시스템(FC Auth)(123)은 다양한 기능을 갖는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 일부 실시예에서, FC Auth(123)는 시스템(100) 내의 하나 이상의 다른 시스템에 대한 단일-사인 온(single-sign on, SSO) 서비스로서 작동할 수 있다. 예를 들면, FC Auth(123)는 내부 프론트 엔드 시스템(105)을 통해 사용자가 로그인하게 하고, 사용자가 배송 및 주문 트래킹 시스템(111)에서 리소스에 액세스하기 위해 유사한 권한을 갖고 있다고 결정하며, 두 번째 로그인 프로세스 요구 없이 사용자가 그러한 권한에 액세스할 수 있게 한다. 다른 실시예에서, FC Auth(123)는 사용자(예를 들면, 직원)가 자신을 특정 작업과 연관시킬 수 있게 한다. 예를 들면, 일부 직원은 (디바이스(119A-119C)와 같은) 전자 디바이스를 갖지 않을 수 있으며, 대신 하루 동안 풀필먼트 센터(200) 내에서 작업들 사이 및 구역들 사이에서 이동할 수 있다. FC Auth(123)는 이러한 직원들이 상이한 시간 대에 수행 중인 작업과 속해 있는 구역을 표시할 수 있도록 구성될 수 있다.
일부 실시예에서, 노동 관리 시스템(LMS)(125)은 직원(풀-타임 및 파트-타임 직원을 포함함)에 대한 출근 및 초과 근무 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, LMS(125)는 FC Auth(123), WMS(119), 디바이스(119A-119C), 운송 시스템(107), 및/또는 디바이스(107A-107C)로부터 정보를 수신할 수 있다.
도 1a에 나타낸 특정 구성은 단지 예시일 뿐이다. 예를 들면, 도 1a는 FO 시스템(113)에 연결된 FC Auth 시스템(123)을 나타낸 반면, 모든 실시예가 이러한 특정 구성을 필요로 하는 것은 아니다. 실제로, 일부 실시예에서, 시스템(100) 내의 시스템은 인터넷, 인트라넷, WAN(Wide-Area Network), MAN(Metropolitan-Area Network), IEEE 802.11a/b/g/n 표준을 따르는 무선 네트워크, 임대 회선 등을 포함하는 하나 이상의 공공 또는 사설 네트워크를 통해 서로 연결될 수 있다. 일부 실시예에서, 시스템(100) 내의 시스템 중 하나 이상은 데이터 센터, 서버 팜 등에서 구현되는 하나 이상의 가상 서버로서 구현될 수 있다.
도 2는 풀필먼트 센터(200)를 나타낸다. 풀필먼트 센터(200)는 주문시 고객에게 배송하기 위한 아이템을 저장하는 물리적 장소의 예시이다. 풀필먼트 센터(FC)(200)는 다수의 구역으로 분할될 수 있으며, 각각이 도 2에 도시된다. 일부 실시예에서, 이러한 "구역(zones)"은 아이템을 수령하고, 아이템을 저장하고, 아이템을 검색하고, 아이템을 배송하는 과정의 상이한 단계 사이의 가상 구분으로 생각될 수 있다. 따라서, "구역"이 도 2에 나타나 있으나, 일부 실시예에서, 구역의 다른 구분도 가능하고, 도 2의 구역은 생략, 복제, 또는 수정될 수 있다.
인바운드 구역(203)은 도 1a의 시스템(100)을 사용하여 제품을 판매하고자 하는 판매자로부터 아이템이 수신되는 FC(200)의 영역을 나타낸다. 예를 들면, 판매자는 트럭(201)을 사용하여 아이템(202A, 202B)을 배달할 수 있다. 아이템(202A)은 자신의 배송 팔레트(pallet)를 점유하기에 충분히 큰 단일 아이템을 나타낼 수 있으며, 아이템(202B)은 공간을 절약하기 위해 동일한 팔레트 상에 함께 적층되는 아이템의 세트를 나타낼 수 있다.
작업자는 인바운드 구역(203)의 아이템을 수령하고, 선택적으로 컴퓨터 시스템(미도시)을 사용하여 아이템이 손상되었는지 및 정확한지를 체크할 수 있다. 예를 들면, 작업자는 아이템(202A, 202B)의 수량을 아이템의 주문 수량과 비교하기 위해 컴퓨터 시스템을 사용할 수 있다. 수량이 일치하지 않는다면, 해당 작업자는 아이템(202A, 202B) 중 하나 이상을 거부할 수 있다. 수량이 일치한다면, 작업자는 그 아이템들을 (예를 들면, 짐수레(dolly), 핸드트럭(handtruck), 포크리프트(forklift), 또는 수작업으로) 버퍼 구역(205)으로 운반할 수 있다. 버퍼 구역(205)은, 예를 들면, 예측된 수요를 충족시키기 위해 픽업 구역에 그 아이템이 충분한 수량만큼 있기 때문에, 픽업 구역에서 현재 필요하지 않은 아이템에 대한 임시 저장 영역일 수 있다. 일부 실시예에서, 포크리프트(206)는 버퍼 구역(205) 주위와 인바운드 구역(203) 및 드롭 구역(207) 사이에서 아이템을 운반하도록 작동한다. (예를 들면, 예측된 수요로 인해) 픽업 구역에 아이템(202A, 202B)이 필요하면, 포크리프트는 아이템(202A, 202B)을 드롭 구역(207)으로 운반할 수 있다.
드롭 구역(207)은 픽업 구역(209)으로 운반되기 전에 아이템을 저장하는 FC(200)의 영역일 수 있다. 픽업 동작에 할당된 작업자("피커(picker)")는 픽업 구역의 아이템(202A, 202B)에 접근하고, 픽업 구역에 대한 바코드를 스캔하며, 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A, 202B)과 관련된 바코드를 스캔할 수 있다. 그 다음 피커는 (예를 들면, 카트에 놓거나 운반함으로써) 픽업 구역(209)에 아이템을 가져갈 수 있다.
픽업 구역(209)은 아이템(208)이 저장 유닛(210)에 저장되는 FC(200)의 영역일 수 있다. 일부 실시예에서, 저장 유닛(210)은 물리적 선반, 책꽂이, 박스, 토트(tote), 냉장고, 냉동고, 저온 저장고 등 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 픽업 구역(209)은 다수의 플로어로 편성될 수 있다. 일부 실시예에서, 작업자 또는 기계는, 예를 들면, 포크리프트, 엘리베이터, 컨베이어 벨트, 카트, 핸드트럭, 짐수레, 자동화된 로봇 또는 디바이스, 또는 수작업을 포함하는 다양한 방식으로 아이템을 픽업 구역(209)으로 운반할 수 있다. 예를 들면, 피커는 아이템(202A, 202B)을 드롭 구역(207)의 핸드트럭 또는 카트에 놓을 수 있으며, 아이템(202A, 202B)을 픽업 구역(209)으로 가져갈 수 있다.
피커는 저장 유닛(210) 상의 특정 공간과 같은 픽업 구역(209)의 특정 스팟에 아이템을 배치(또는 "적재(stow)")하라는 명령을 수신할 수 있다. 예를 들면, 피커는 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A)을 스캔할 수 있다. 디바이스는, 예를 들면, 통로, 선반 및 위치를 나타내는 시스템을 사용하여, 아이템(202A)을 적재해야 하는 위치를 나타낼 수 있다. 그 다음 디바이스는 그 위치에 아이템(202A)을 적재하기 전에 피커가 그 위치에서 바코드를 스캔하도록 할 수 있다. 디바이스는 도 1a의 WMS(119)와 같은 컴퓨터 시스템에 아이템(202A)이 디바이스(119B)를 사용하는 사용자에 의해 그 위치에 적재되었음을 나타내는 데이터를 (예를 들면, 무선 네트워크를 통해) 전송할 수 있다.
일단 사용자가 주문을 하면, 피커는 저장 유닛(210)으로부터 하나 이상의 아이템(208)을 검색하기 위해 디바이스(119B)에 명령을 수신할 수 있다. 피커는 아이템(208)을 검색하고, 아이템(208) 상의 바코드를 스캔하며, 운송 기구(214) 상에 놓을 수 있다. 일부 실시예에서, 운송 기구(214)가 슬라이드로서 표현되지만, 운송 기구는 컨베이어 벨트, 엘리베이터, 카트, 포크리프트, 핸드트럭, 짐수레, 카트 등 중 하나 이상으로서 구현될 수 있다. 그 다음 아이템(208)은 패킹 구역(211)에 도착할 수 있다.
패킹 구역(211)은 아이템이 픽업 구역(209)으로부터 수령되고 고객에게 최종 배송하기 위해 박스 또는 가방에 패킹되는 FC(200)의 영역일 수 있다. 패킹 구역(211)에서, 아이템을 수령하도록 할당된 작업자("리비닝 작업자(rebin worker)")는 픽업 구역(209)으로부터 아이템(208)을 수령하고, 그것이 어느 주문에 대응하는지를 결정할 것이다. 예를 들면, 리비닝 작업자는 아이템(208) 상의 바코드를 스캔하기 위해 컴퓨터(119C)와 같은 디바이스를 사용할 수 있다. 컴퓨터(119C)는 아이템(208)이 어느 주문과 관련이 있는지를 시각적으로 나타낼 수 있다. 이는, 예를 들면, 주문에 대응하는 월(216) 상의 공간 또는 "셀(cell)"을 포함할 수 있다. (예를 들면, 셀에 주문의 모든 아이템이 포함되어 있기 때문에) 일단 주문이 완료되면, 리비닝 작업자는 패킹 작업자(또는 "패커(packer)")에게 주문이 완료된 것을 알릴 수 있다. 패커는 셀로부터 아이템을 검색하고, 배송을 위해 이들을 박스 또는 가방에 놓을 수 있다. 그 다음 패커는, 예를 들면, 포크리프트, 카트, 짐수레, 핸드트럭, 컨베이어 벨트, 수작업 또는 다른 방법을 통해, 박스 또는 가방을 허브 구역(213)으로 보낼 수 있다.
허브 구역(213)은 패킹 구역(211)으로부터 모든 박스 또는 가방("패키지(packages)")을 수신하는 FC(200)의 영역일 수 있다. 허브 구역(213)의 작업자 및/또는 기계는 패키지(218)를 검색하고, 각 패키지가 배달 영역의 어느 부분으로 배달되도록 되어 있는지를 결정하며, 패키지를 적합한 캠프 구역(215)으로 보낼 수 있다. 예를 들면, 배달 영역이 2개의 작은 하위 영역을 갖는다면, 패키지는 2개의 캠프 구역(215) 중 하나로 보내질 것이다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해 (예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 패키지를 캠프 구역(215)으로 보내는 것은, 예를 들면, (우편 번호에 기초하여) 패키지가 향하는 지리적 영역의 부분을 결정하고, 지리적 영역의 부분과 관련된 캠프 구역(215)을 결정하는 것을 포함할 수 있다.
일부 실시예에서, 캠프 구역(215)은 루트 및/또는 서브-루트로 분류하기 위해 허브 구역(213)으로부터 패키지가 수령되는 하나 이상의 빌딩, 하나 이상의 물리적 공간, 또는 하나 이상의 영역을 포함할 수 있다. 일부 실시예에서, 캠프 구역(215)은 FC(200)로부터 물리적으로 분리되어 있는 반면, 다른 실시예에서는 캠프 구역(215)은 FC(200)의 일부를 형성할 수 있다.
캠프 구역(215)의 작업자 및/또는 기계는, 예를 들면, 목적지와 기존 루트 및/또는 서브-루트의 비교, 각각의 루트 및/또는 서브-루트에 대한 작업량의 계산, 하루 중 시간, 배송 방법, 패키지(220)를 배송하기 위한 비용, 패키지(220)의 아이템과 관련된 PDD 등에 기초하여 패키지(220)가 어느 루트 및/또는 서브-루트와 연관되어야 하는지를 결정할 수 있다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해 (예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 일단 패키지(220)가 특정 루트 및/또는 서브-루트에 할당되면, 작업자 및/또는 기계는 배송될 패키지(220)를 운반할 수 있다. 예시적인 도 2에서, 캠프 구역(215)은 트럭(222), 자동차(226), 배달원(224A, 224B)을 포함한다. 일부 실시예에서, 배달원(224A)이 트럭(222)을 운전할 수 있는데, 이 때 배달원(224A)은 FC(200)에 대한 패키지를 배달하는 풀-타임 직원이며, 트럭은 FC(200)를 소유, 임대 또는 운영하는 동일한 회사에 의해 소유, 임대, 또는 운행된다. 일부 실시예에서, 배달원(224B)이 자동차(226)를 운전할 수 있는데, 이 때 배달원(224B)은 필요에 따라(예를 들면, 계절에 따라) 배달하는 "플렉스(flex)" 또는 비상시적인 작업자이다. 자동차(226)는 배달원(224B)에 의해 소유, 임대 또는 운행될 수 있다.
도 3을 참조하면, 단어 분할을 위한 시스템의 예시적인 실시예를 나타낸 개략적인 블록도를 보여준다. 도 3에 도시된 바와 같이, 시스템(300)은 단어 분할 시스템(301), 서버(303) 및 데이터베이스(304)를 포함할 수 있으며, 이들 각각은 네트워크(302)를 통해 서로 통신할 수 있다. 일부 실시예에서, 단어 분할 시스템(301), 서버(303) 및 데이터베이스(304)는, 예를 들어, 케이블을 이용하는 직접 연결을 통해 서로 및 시스템(300)의 다른 구성요소와 통신할 수 있다. 일부 다른 실시예에서, 시스템(300)은 도 1a의 시스템(100)의 일부일 수 있으며, 네트워크(302)를 통해 또는, 예를 들어, 케이블을 이용하는 직접 연결을 통해 시스템(100)의 다른 구성요소(예를 들면, 외부 프런트 엔드 시스템(103) 또는 내부 프런트 엔드 시스템(105))와 통신할 수 있다. 단어 분할 시스템(301)은 단일 컴퓨터를 포함할 수 있거나 개시된 예와 연관된 하나 이상의 프로세스 및 기능을 수행하기 위해 상호 운용되는 다중 컴퓨터를 포함하는 분산 컴퓨터 시스템으로서 각각 구성될 수 있다.
도 3에 도시된 바와 같이, 단어 분할 시스템(301)은 프로세서(305) 및 데이터베이스(309)를포함할 수 있다. 프로세서(305)는, 인텔TM에 의해 제조된 펜티엄TM의 제품군(family) 또는 AMDTM에 의해 제조된 TurionTM 제품군의 마이크로프로세와 같은, 하나 이상의 공지된 처리 디바이스일 수 있다. 프로세서(305)는 단일 코어 또는 병렬 프로세스를 동시에 실행하는 다중 코어 프로세서를 구성할 수 있다. 예를 들어, 프로세서(305)는 다수의 프로세스를 동시에 실행하고 제어하기 위해 논리 프로세서를 이용할 수 있다. 프로세서(305)는 가상 머신 기술 또는 다중 소프트웨어 프로세스, 애플리케이션, 프로그램 등을 실행(execute), 제어, 실행(run), 조작, 저장하는 등의 기능을 제공하는 다른 알려진 기술을 구현할 수 있다. 다른 예에서, 프로세서(305)는 단어 분할 시스템(301)이 동시에 다수의 프로세스를 실행할 수 있도록 병렬 처리 기능을 제공하도록 구성된 다중 코어 프로세서 장치를 포함할 수 있다. 당업자는 여기에서 개시된 기능을 제공하는 다른 유형의 프로세서 장치가 구현될 수 있음을 이해할 것이다.
데이터베이스(304 및 309)는, 예를 들어, OracleTM 데이터베이스, SybaseTM 데이터베이스 또는 다른 관계형 데이터베이스, 또는, HadoopTM 시퀀스 파일, HBaseTM 또는 CassandraTM와 같은, 비-관계형 데이터베이스를 포함할 수 있다. 데이터베이스(304 및 309)는 데이터베이스(들)의 메모리 디바이스에 저장된 데이터에 대한 요청을 수신 및 처리하고 데이터베이스(들)로부터 데이터를 제공하도록 구성된 컴퓨팅 구성요소(예를 들면, 데이터베이스 관리 시스템, 데이터베이스 서버 등)를 포함할 수 있다. 데이터베이스(304 및 309)는 HBase, MongoDBTM 또는 CassandraTM 과 같은 NoSQL 데이터베이스를 포함할 수 있다. 대안적으로, 데이터베이스(304 및 309)는 Oracle, MySQL 및 Microsoft SQL 서버와 같은 관계형 데이터베이스를 포함할 수 있다. 일부 실시예에서, 데이터베이스(304 및 309)는 서버, 범용 컴퓨터, 메인프레임 컴퓨터 또는 이러한 구성요소들의 임의의 조합의 형태를 취할 수 있다.
데이터베이스(304 및 309)는 개시된 예와 연관된 방법 및 프로세스를 수행하기 위해 프로세서(305)에 의해 사용될 수 있는 데이터를 저장할 수 있다. 도 3에 도시된 바와 같이, 데이터베이스(309)는 단어 분할 시스템(301)에 위치할 수 있다. 일부 실시예에서, 데이터베이스(304)는 단어 분할 시스템(301)에 위치할 수 있다. 일부 실시예에서, 시스템(300)은 데이터베이스(304) 또는 데이터베이스(309) 중 하나 또는 둘 다를 포함할 수 있다. 단어 분할 시스템(301)에 저장된 데이터는 단어 분할에 필요한 제품과 연관된 임의의 적절한 데이터를 포함할 수 있다. 예를 들어, 단어 분할 시스템(301)에 저장된 데이터는 제품 타이틀, 제품 이름, 제품 유형 이름, 제품 유형 키워드, 관련되거나 동의어의 제품 유형 키워드, 제품 브랜드, 제품 설명, 제품 제조업체 이름, 제품 카테고리 정보 등을 포함할 수 있다. 일부 실시예에서, 데이터베이스(309)에 저장된 데이터는 제품과 연관된 적절한 트레이닝 데이터를 포함할 수 있다. 예를 들어, 데이터베이스(309)에 저장된 데이터는 또한 제품 타이틀, 제품 이름, 제품 유형 이름, 제품 유형 키워드, 관련되거나 동의어의 제품 유형 키워드, 제품 브랜드, 제품 설명, 제품 제조업체 이름, 제품 카테고리 정보 등을 포함할 수 있다. 일부 실시예에서, 제품과 연관된 그러한 트레이닝 데이터는 단어 분할 시스템(301)에 직접적 저장되기 보다는, 데이터베이스(304)와 같은, 외부 데이터베이스에 저장될 수 있다. 따라서, 단어 분할 시스템(301)은 데이터베이스(304)에 저장된 트레이닝 데이터를 이용하여 단어 분할 시스템(301)과 연관된 하나 이상의 모델 및/또는 알고리즘을 트레이닝 하기 위해 네트워크(302)를 통해 데이터베이스(304)와 통신할 수 있다.
단어 분할 시스템(301)의 하나 이상의 프로세서(305)는 또한 단어 분할을 용이하게 하기 위해 사용되는 임베딩(embedding) 모델(306), 포워드(forward) 언어 모델(307) 및 리버스(reverse) 언어 모델(308)을 포함할 수 있다. 임베딩 모델(306), 포워드 언어 모델(307) 및 리버스 언어 모델(308)은, 제품 타이틀과 같은, 단어를 자동으로 분할하도록 트레이닝 될 수 있다. 임베딩 모델(306)은 입력 캐릭터를 벡터로 변환하거나 임베딩하도록 구성된 캐릭터 임베딩 모델을 포함할 수 있다. 임베딩 모델(306)은, word2vec 모델과 같은, 단어 임베딩을 생성하기 위해 공지된 모델을 이용하여 트레이닝 될 수 있다. 일부 실시예에서, 임베딩 모델(306)은, 데이터베이스(304 또는 309)와 같은, 데이터베이스에 저장된 캐릭터(예를 들면, c1, c2, c3, . . . cn)의 사전으로부터 캐릭터 컨텍스트를 입력할 수 있다. 또한, 제품 타이틀은 캐릭터 cq1, cq2, cq3, . . .cqn의 시퀀스를 포함할 수 있다. 각 캐릭터는 데이터베이스에 저장된 캐릭터(예를 들면, c1, c2, c3, . . . cn)의 사전으로부터 선택될 수 있다. 캐릭터의 시퀀스 중, 캐릭터의 사전에 있는 대상 캐릭터 ci는, 1의 차원을 갖는 반면 다른 모든 캐릭터의 차원이 0인, 원(one)-핫(hot) 벡터에 해당할 수 있다.
인베딩 모델(306)은 캐릭터 컨텍스트를 입력하고 실제 캐릭터를 예측할 수 있다. 예를 들어, 캐릭터 컨텍스트는 캐릭터 cq1, cq2, cq3, . .cqn의 시퀀스에서 대상 캐릭터 바로 앞에 있는 다수의 캐릭터 및 대상 캐릭터 바로 뒤에 있는 다수의 캐릭터를 포함할 수 있다. 예를 들어, 대상 캐릭터 cqi에 대한 캐릭터 컨텍스트는 (cqi-2, cqi-1, cqi+1, cqi+2)를 포함할 수 있다. 임베딩 모델(306)은 프로젝션(projection) 레이어와 소프트맥스 분류기 레이어를 포함할 수 있다. 임베딩 모델(306)은 각 원-핫 벡터를 합산하고 합산된 원-핫 벡터를 프로젝션 레이어에 공급할 수 있다. 그 다음, 프로젝션 레이어는 밀집한 차원 벡터를 출력할 수 있으며, 이는 대상 캐릭터가 cqi의 원-핫 벡터일 확률을 예측하기 위해 소프트맥스 분류기 레이어에 추가로 공급될 수 있다.
포워드 언어 모델(307) 및 리버스 언어 모델(308)은 입력의 시퀀스를 처리하도록 구성된 인공 신경망을 포함할 수 있다. 예를 들어, 포워드 언어 모델(307)과 리버스 언어 모델(308)은, 순환신경망(Recurrent Neural Networks, RNN), 게이티드 순환 유닛(Gated Recurrent Units, GRU), 롱 숏-텀 메모리(Long Short-Term Memory, LSTM) 등과 같은, 인공 신경망을 포함할 수 있다. 일부 실시예에서, 하나 이상의 프로세서(305)는 하나뿐 아니라 많은 포워드 언어 모델(307) 및/또는 하나뿐 아니라 많은 리버스 언어 모델(308)을 포함할 수 있다. 일부 실시예에서, 임베딩 모델(306)은 대상 캐릭터 앞에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하거나 임베딩할 수 있다. 대상 캐릭터 앞에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하여 생성된 벡터 시퀀스는 포워딩 언어 모델(307)에 입력하거나 공급될 수 있다. 그 다음 포워드 언어 모델(307)은, 대상 캐릭터 앞에 있는 캐릭터의 벡터 시퀀스에 기초하여 결정된, 대상 캐릭터의 임베디드 벡터를 출력하고 예측하도록 구성될 수 있다. 하나 이상의 프로세서(305)는 또한 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 임베딩 벡터와 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터 사이의 유클리드(Euclidean) 거리를 결정함으로써 포워드 언어 모델(307)의 손실 함수를 계산할 수 있다. 계산된 손실 함수는 하나 이상의 프로세서(305)가 포워드 언어 모델(307)에 의한 예측의 정확도, 예를 들어, 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 임베딩 벡터와 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터 사이의 유사성을 결정하게 할 수 있다.
또한, 임베딩 모델(306)은 대상 캐릭터 다음에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하거나 임베딩할 수 있다. 대상 캐릭터 다음에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하여 생성된 벡터 시퀀스는 리버스 언어 모델(308)에 입력하거나 공급될 수 있다. 그 다음 리버스 언어 모델(308)은, 대상 캐릭터 뒤에 있는 캐릭터의 벡터 시퀀스에 기초하여 결정된, 대상 캐릭터의 임베디드 벡터를 출력하고 예측하도록 구성될 수 있다. 하나 이상의 프로세서(305)는 또한 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 임베딩 벡터와 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터 사이의 유클리드 거리를 결정함으로써 리버스 언어 모델(308)의 손실 함수를 계산할 수 있다. 계산된 손실 함수는 하나 이상의 프로세서(305)가 리버스 언어 모델(308)에 의한 예측의 정확도, 예를 들어, 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 임베딩 벡터와 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터 사이의 유사성을 결정하게 할 수 있다.
추가적으로 또는 대안적으로, 하나 이상의 프로세서(305)는 예측과 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 실제 임베딩 벡터 사이의 유클리드 거리의 역 지수를 측정하여 대상 캐릭터를 예측하는 포워드 언어 모델(307) 및/또는 리버스 언어 모델(308)의 확률을 결정하도록 구성될 수 있다. 대상 캐릭터의 역 지수는 다음 수학식을 이용하여 계산될 수 있다.
)
여기서 cqi는 대상 캐릭터의 실제 임베딩 벡터이고, cqi'는 포워드 언어 모델(307) 및/또는 리버스언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터이다.
따라서, 위의 수학식을 이용하여, 하나 이상의 프로세서(305)는 대상 캐릭터의 실제 임베딩 벡터가 포워드 언어 모델(307) 또는 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까운지를 결정할 수 있다. 즉, 하나 이상의 프로세서(305)는 위치 "i"(즉, cqi')에서 대상 캐릭터의 임베디드 벡터를 예측하기 위해 포워드 언어 모델(307)을 이용하고, 위치 "i"(즉, cqi')에서 대상 캐릭터의 임베디드 벡터를 예측하기 위해 리버스 언어 모델(308)을 이용할 수 있다. 그 후, 하나 이상의 프로세서(305)는 위의 수학식을 이용하여, 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터를 이용하여 제1 역 지수를 계산하고, 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터를 이용하여 제2 역 지수를 계산할 수 있다. 대상 캐릭터의 실제 임베딩 벡터(즉, cqi)가 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까우면, 하나 이상의 프로세서(305)에 의해 계산된 제1 역 지수가 제2 역 지수보다 더 클 것이다. 대조적으로, 대상 캐릭터의 실제 임베딩 벡터(즉, cqi)가 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까우면, 하나 이상의 프로세서(305)에 의해 계산된 제2 역 지수가 제1 역 지수보다 더 클 것이다.
일부 실시예에서, 하나 이상의 프로세서(305)는 복수의 캐릭터에서 캐릭터의 수 및 평균 단어 길이에 기초하여 복수의 캐릭터에서 세그먼트의 수를 예측하도록 구성될 수 있다. 예를 들어, 하나 이상의 프로세서(305)는, 제품 타이틀과 같은, 복수의 캐릭터가 30개의 캐릭터를 포함하고 평균 단어 길이가 약 3개의 캐릭터라고 결정할 수 있다. 그러면, 하나 이상의 프로세서(305)는 수신된 복수의 캐릭터에 약 10개의 세그먼트 및/또는 분할된 단어가 있을 수 있음을 예측할 수 있을 것이다.
시스템(300)은 또한 네트워크(302)를 포함할 수 있다. 네트워크(302)는 하나 이상의 무선 네트워크, 유선 네트워크 또는 무선 네트워크와 유선 네트워크의 임의의 조합일 수 있다. 예를 들면, 네트워크(302)는 광섬유 네트워크, 수동 광 네트워크, 케이블 네트워크, 인터넷 네트워크, 위성 네트워크, 무선 LAN, GSM(Global System for Mobile Communication), PCS(Personal Communication Service), PAN(Personal Area Network), D-AMPS, Wi-Fi, 고정 무선 데이터(Fixed Wireless Data), IEEE 802.11b, 802.15.1, 802.11n 및 802.11g 또는 데이터를 송수신하기 위한 임의의 다른 유선 혹은 무선 네트워크 중 하나 이상을 포함할 수 있다.
또한, 네트워크(302)는 전화 선로, 섬유 광학, IEEE 이더넷 802.3, WAN(wide area network), LAN(local area network), 또는 인터넷과 같은 글로벌 네트워크를 포함할 수 있지만, 이것으로 한정되지 않는다. 또한 네트워크(302)는 인터넷 네트워크, 무선 통신 네트워크, 셀룰러 네트워크 등, 또는 그것들의 임의의 조합을 지원할 수 있다. 네트워크(302)는 하나의 네트워크, 또는 독립형 네트워크로서 동작하거나 서로 협력하여 동작하는, 위에서 언급된 임의의 수의 예시적인 타입의 네트워크를 더 포함할 수 있다. 네트워크(302)는 통신적으로 연결되는 하나 이상의 네트워크 요소의 하나 이상의 프로토콜을 이용할 수 있다. 네트워크(302)는 네트워크 디바이스의 하나 이상의 프로토콜에 대해서 다른 프로토콜로 바꾸거나 다른 프로토콜로부터 바뀔 수 있다. 비록 네트워크(302)는 단일 네트워크로서 도시되었지만, 하나 이상의 실시예에 따라서, 네트워크(302)는, 예를 들면, 인터넷, 서비스 공급자 네트워크, 케이블 텔레비전 네트워크, 기업 네트워크(corporate network), 및 홈 네트워크와 같은, 복수의 상호 연결된 네트워크를 포함할 수 있는 것으로 이해되어야 한다.
시스템(300)은 또한 서버(303)를 포함할 수 있다. 서버(303)는 웹 서버일 수 있다. 서버(303)는, 예를 들면, 인터넷과 같은, 네트워크(예로써, 네트워크(302))를 통해서 사용자에 의해 접속될 수 있는 웹 컨텐츠를 전달하는 예를 들면, 소프트웨어(예로써, 하나 이상의 애플리케이션) 및/또는 하드웨어(예로써, 하나 이상의 컴퓨터)를 포함할 수 있다. 서버(303)는, 예를 들면, 사용자와 통신하기 위해 하이퍼텍스트 전송 프로토콜(HTTP or sHTTP)을 이용할 수 있다. 사용자에게 전달된 웹 페이지는, 예를 들면, 텍스트 컨텐츠 뿐만 아니라 이미지, 스타일 시트, 및 스크립트도 포함할 수 있는 HTML 문서를 포함할 수 있다.
예를 들어, 웹 브라우저, 웹 크롤러, 또는 네이티브 모바일 애플리케이션과 같은 사용자 프로그램은, HTTP를 이용하여 특정 리소스에 대한 요청을 함으로써 통신을 시작할 수 있고, 서버(303)는 해당 리소스의 컨텐츠로 응답하거나 그렇게 할 수 없으면 에러 메시지로 응답할 수 있다. 서버(303)는 또한 사용자로부터 컨텐츠를 수신하는 것을 가능하게 하거나 용이하게 할 수 있어서, 사용자는, 예를 들면, 파일의 업로딩을 포함하는 웹 폼을 제출할 수 있다. 또한 서버(303)는, 예를 들면, 액티브 서버 페이지(ASP), PHP, 또는 다른 스크립팅 언어를 이용하여 서버측 스크립팅을 지원할 수 있다. 따라서, 서버(303)의 작용은 개별 파일들로 스크립트될 수 있지만, 실제 서버 소프트웨어는 변경되지 않는다.
다른 실시예에서, 서버(303)는 그 적용된 애플리케이션을 지원하기 위한 효율적인 절차(예로써, 프로그램, 루틴, 스크립트)의 실행에 전용되는 하드웨어 및/또는 소프트웨어를 포함할 수 있는 애플리케이션 서버일 수 있다. 서버(303)는, 예를 들면, 자바 애플리케이션 서버(예로써, 자바 플랫폼, 엔터프라이즈 에디션(Java EE), 마이크로소프트사의 닷넷 프레임워크, PHP 애플리케이션 서버 등)를 포함하는 하나 이상의 애플리케이션 서버 프레임워크를 포함할 수 있다. 다양한 애플리케이션 서버 프레임워크는 포괄적인 서비스 계층 모델을 포함할 수 있다. 서버(303)는 플랫폼 자체로 정의된 API를 통해서, 예를 들면, 시스템(100)을 구현하는 엔티티에, 접속 가능한 구성요소들의 세트로서 역할을 할 수 있다.
도 4는 단어 분할에 대한 예시적인 방법(400)을 나타낸 흐름도다. 이 예시적인 방법은 예로서 제공된다. 도 4에 도시된 방법(400)은 다양한 시스템의 하나 이상의 조합에 의해 실행되거나 수행될 수 있다. 이하에 설명되는 방법(400)은, 예로서, 도 3에 도시된 바와 같이, 단어 분할 시스템(301)에 의해 수행될 수 있으며, 그 시스템의 다양한 요소는 도 4의 방법을 설명하는 데 참조된다. 도 4에 도시된 각 블록은 예시적인 방법(400)에서 하나 이상의 프로세스, 방법 또는 서브루틴을 나타낸다. 도 4를 참조하면, 예시적인 방법(400)은 블록 401에서 시작할 수 있다.
블록 401에서, 단어 분할 시스템(301)의 하나 이상의 프로세서(305)는 분할을 위해 복수의 캐릭터를 수신할 수 있다. 예를 들어, 하나 이상의 프로세서(305)는 분할을 위해 제품과 연관된 제품 타이틀을 수신할 수 있다. 예를 들어, 제품 타이틀은 제품 타이틀의 하나 이상의 단어를 구성하는 캐릭터의 시퀀스를 포함할 수 있다. 캐릭터의 시퀀스는 제품 타이틀을 구성하는 적절한 단어를 결정하기 위해 분할되어야 할 수 있다.
분할을 위해 복수의 캐릭터를 수신한 후, 방법(400)은 블록 402로 진행할 수 있다. 블록 402에서 하나 이상의 프로세서(305)는, 임베딩 모델(306)과 같은, 임베딩 모델을 이용하여 복수의 캐릭터의 대상 캐릭터를 임베딩 벡터로 변환할 수 있다. 하나 이상의 프로세서(305)는, 임베딩 모델(306)을 이용하여, 대상 캐릭터를 임베딩 벡터로 변환할 수 있다. 임베딩 모델(306)은, word2vec 모델과 같은, 단어 임베딩을 생성하기 위해 공지된 모델을 이용하여 트레이닝 될 수 있다. 일부 실시예에서, 임베딩 모델(306)은, 데이터베이스(304 또는 309)와 같은, 데이터베이스에 저장된 캐릭터(예를 들면, c1, c2, c3, . . . cn)의 사전으로부터 캐릭터 컨텍스트를 입력할 수 있다. 또한, 제품 타이틀은 캐릭터의 시퀀스 cq1,cq2,cq3, . . .cqn를 포함할 수 있다. 각 캐릭터는 데이터베이스에 저장된 캐릭터의 사전(예를 들면, c1, c2, c3, . . . cn)으로부터 선택될 수 있다. 캐릭터의 시퀀스 중, 캐릭터의 사전에 있는 대상 캐릭터 ci는, 1의 차원을 갖는 반면 다른 모든 캐릭터의 차원이 0인, 원-핫 벡터에 해당할 수 있다.
인베딩 모델(306)은 캐릭터 컨텍스트를 입력하고 실제 대상 캐릭터 또는 그것의 임베딩 벡터를 예측할 수 있다. 예를 들어, 캐릭터 컨텍스트는 캐릭터 cq1, cq2, cq3, . .cqn의 시퀀스에서 대상 캐릭터 바로 앞에 있는 다수의 캐릭터 및 대상 캐릭터 바로 뒤에 있는 다수의 캐릭터를 포함할 수 있다. 예를 들어, 대상 캐릭터 cqi에 대한 캐릭터 컨텍스트는 (cqi-2, cqi-1, cqi+1, cqi+2)를 포함할 수 있다. 임베딩 모델(306)은 프로젝션 레이어와 소프트맥스 분류기 레이어를 포함할 수 있다. 임베딩 모델(306)은 각 원-핫 벡터를 합산하고 합산된 원-핫 벡터를 프로젝션 레이어에 공급할 수 있다. 그 다음, 프로젝션 레이어는 밀집한 차원 벡터를 출력할 수 있으며, 이는 대상 캐릭터가 cqi의 원-핫 벡터일 확률을 예측하기 위해 소프트맥스 분류기 레이어에 추가로 공급될 수 있다. 그 다음, 임베딩 모델(306)은 대상 캐릭터의 실제 임베딩 벡터를 출력할 수 있다.
대상 캐릭터를 임베딩 벡터로 변환한 후, 방법(400)은 블록 403으로 진행할 수 있다. 블록 403에서, 하나 이상의 프로세서(305)는 블록 402에서 결정된 임베딩 벡터 및 제1 컨텍스트 임베딩 벡터 시퀀스를, 포워드 언어 모델(307)과 같은, 포워드 언어 모델에 공급할 수 있다. 제1 컨텍스트 임베딩 벡터는 대상 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 포워드 언어 모델(307)은, 순환신경망(Recurrent Neural Networks, RNN), 게이티드 순환 유닛(Gated Recurrent Units, GRU), 롱 숏-텀 메모리(Long Short-Term Memory, LSTM) 등과 같은, 인공 신경망을 포함할 수 있다. 일부 실시예에서, 임베딩 모델(306)은 대상 캐릭터 앞에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하거나 임베딩할 수 있다. 대상 캐릭터 앞에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하여 생성된 벡터 시퀀스는 포워딩 언어 모델(307)에 입력하거나 공급될 수 있다. 그 다음 포워드 언어 모델(307)은 제1 출력 벡터를 출력하도록 구성될 수 있다. 제1 출력 벡터는, 대상 캐릭터 앞에 있는 캐릭터의 벡터 시퀀스에 기초하여 결정된, 대상 캐릭터의 임베디드 벡터의 예측을 포함할 수 있다.
블록 404에서 하나 이상의 프로세서(305)는 블록 402에서 결정된 임베딩 벡터 및 제2 컨텍스트 임베딩 벡터 시퀀스를, 리버스 언어 모델(308)과 같은, 리버스 언어 모델에 추가로 공급할 수 있다. 제2 컨텍스트 임베딩 벡터는 대상 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함할 수 있다. 리버스 언어 모델(308)은, 순환신경망(Recurrent Neural Networks, RNN), 게이티드 순환 유닛(Gated Recurrent Units, GRU), 롱 숏-텀 메모리(Long Short-Term Memory, LSTM) 등과 같은, 인공 신경망을 포함할 수 있다. 일부 실시예에서, 임베딩 모델(306)은 대상 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하거나 임베딩할 수 있다. 대상 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터를 벡터로 변환하여 생성된 벡터 시퀀스는 리버스 언어 모델(308)에 입력하거나 공급될 수 있다. 그 다음 리버스 언어 모델(308)은 제2 출력 벡터를 출력하도록 구성될 수 있다. 제2 출력 벡터는, 대상 캐릭터 뒤에 있는 캐릭터의 벡터 시퀀스에 기초하여 결정된, 대상 캐릭터의 임베디드 벡터의 예측일 수 있다.
포워드 언어 모델(307) 및 리버스 언어 모델(308)에 공급한 후, 방법(400)은 블록 405로 진행할 수 있다. 블록 405에서, 하나 이상의 프로세서는 블록 402에서 임베딩 모델(306)에 의해 결정된 임베딩 벡터를 블록 403으로부터의 제1 출력 벡터 및 블록 404로부터의 제2 출력 벡터와 비교할 수 있다. 비교하기 위해, 하나 이상의 프로세서(305)는 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 임베딩 벡터(블록 402로부터의)와 포워드 언어 모델(307)에 의해 예측된 (블록 403으로부터의) 제1 출력 벡터 및 리버스 언어 모델(308)에 의해 예측된 (블록 404로부터의) 제2 출력 벡터 각각 사이의 유클리드 거리를 결정하여 포워드 언어 모델(307)과 리버스 언어 모델(308)의 손실 함수를 계산할 수 있다. 계산된 손실 함수는 하나 이상의 프로세서(305)가 포워드 언어 모델(307)과 리버스 언어 모델(308)에 의한 예측의 정확도를 결정할 수 있게 할 수 있다.
추가적으로 또는 대안적으로, 하나 이상의 프로세서(305)는 예측과 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 실제 임베딩 벡터 사이의 유클리드 거리의 역 지수를 측정하여 대상 캐릭터를 예측하는 포워드 언어 모델(307) 및/또는 리버스 언어 모델(308)의 확률을 결정하도록 구성될 수 있다. 대상 캐릭터의 역 지수는 다음 수학식을 이용하여 계산될 수 있다.
)
여기서 cqi는 대상 캐릭터의 실제 임베딩 벡터이고, cqi'는 포워드 언어 모델(307) 및/또는 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터이다.
따라서, 위의 수학식을 이용하여, 하나 이상의 프로세서(305)는 대상 캐릭터의 실제 임베딩 벡터가 포워드 언어 모델(307) 또는 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까운지를 결정할 수 있다. 즉, 하나 이상의 프로세서(305)는 위치 "i"(즉, cqi')에서 대상 캐릭터의 임베디드 벡터를 예측하기 위해 포워드 언어 모델(307)을 이용하고, 위치 "i"(즉, cqi')에서 대상 캐릭터의 임베디드 벡터를 예측하기 위해 리버스 언어 모델(308)을 이용할 수 있다. 그 후, 하나 이상의 프로세서(305)는 위의 수학식을 이용하여, 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터를 이용하여 제1 역 지수를 계산하고, 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터를 이용하여 제2 역 지수를 계산할 수 있다. 대상 캐릭터의 실제 임베딩 벡터(즉, cqi)가 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까우면, 하나 이상의 프로세서(305)에 의해 계산된 제1 역 지수가 제2 역 지수보다 더 클 것이다. 대조적으로, 대상 캐릭터의 실제 임베딩 벡터(즉, cqi)가 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까우면, 하나 이상의 프로세서(305)에 의해 계산된 제2 역 지수가 제1 역 지수보다 더 클 것이다.
임베딩 벡터를 제1 출력 벡터 및 제2 출력 벡터와 비교한 후, 방법(400)은 블록 406으로 진행할 수 있다. 블록 406에서, 하나 이상의 프로세서(305)는 비교에 기초하여 복수의 캐릭터를 분할할 수 있다. 캐릭터를 분할하기 위해, 하나 이상의 프로세서(305)는 (블록 402로부터의) 임베딩 벡터와 (블록 403으로부터의) 제1 출력 벡터 사이의 유클리드 거리의 역 지수가 (블록 402로부터의) 임베딩 벡터와 (블록 404로부터의) 제2 출력 벡터 사이의 유클리드 거리의 역 지수보다 큰지 여부를 결정할 수 있다. 즉, 하나 이상의 프로세서(305)는 임베딩 모델(306)에 의해 결정된 대상 캐릭터의 실제 임베딩 벡터가 포워드 언어 모델(307)에 의해 결정된 제1 출력 벡터 또는 리버스 언어 모델(308)에 의해 결정된 제2 출력 벡터에 더 가까운지를 결정할 수 있다.
임베딩 벡터와 제1 출력 벡터 사이의 유클리드 거리의 역 지수가 임베딩 벡터와 제2 출력 벡터 사이의 유클리드 거리의 역 지수보다 클 때, 하나 이상의 프로세서(305)는 대상 캐릭터를 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 페어링 할 수 있다. 유사하게, 임베딩 벡터와 제2 출력 벡터 사이의 유클리드 거리의 역 지수가 임베딩 벡터와 제1 출력 벡터 사이의 유클리드 거리의 역 지수보다 클 때, 하나 이상의 프로세서(305)는 대상 캐릭터를 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 페어링 할 수 있다. 일부 실시예에서, 하나 이상의 프로세서(305)는 블록 401에서 수신된 복수의 캐릭터 각각이 단어에 속하고 복수의 캐릭터의 분할이 완료될 때까지 단계 402-406을 반복할 수 있다.
도 5는 개시된 실시예에 따른, 비지도 단어 분할을 수행하기 위해 경합하는 신경 캐릭터 언어 모델을 이용하는 방법(500)의 예시적인 실시예를 도시한다. 도 5에서 볼 수 있듯이, 하나 이상의 프로세서(305)는 복수의 캐릭터(501a-e)를 수신할 수 있다. 복수의 캐릭터(501a-e)는, 제품 타이틀 또는 제품 이름과 같은, 제품 식별자를 구성하는 복수의 캐릭터를 포함할 수 있다.
하나 이상의 프로세서(305)는 복수의 캐릭터(501a-e) 각각을 임베딩 레이어(502)에 임베딩하고 복수의 캐릭터(501a-e) 각각을 각각의 벡터(503a-e)로 변환할 수 있다. 따라서, 각각의 캐릭터는 임베디드 벡터에 의해 표현될 수 있다. 일부 실시예에서, 각각의 임베딩 벡터(503a-e)는 각각의 캐릭터(501a-e)의 실제 임베딩 벡터일 수 있다. 예를 들어, 만약 복수의 캐릭터(501a-e)가 "shoes"를 포함하면, 각 글자는 각각의 벡터(503a-e)로 변환될 수 있다(예를 들면, "s", "h", "o", "e" 및 "s"는 각각의 벡터로 각각 변환될 수 있음).
대상 캐릭터(501c)를 포함하는, 각 캐릭터(501a-e)를 각각의 임베딩 벡터(503a-e)로 변환한 후, 하나 이상의 프로세서(305)는 대상 캐릭터(501c)의 임베딩 벡터(503c)와 제1 컨텍스트 임베딩 벡터를 포워드 언어 모델(504)로 공급할 수 있다. 포워드 언어 모델(504)은 도 3의 포워드 언어 모델(307)로서 구현될 수 있다. 제1 컨텍스트 임베딩 벡터는 대상 캐릭터(501c) 앞에 있는 캐릭터(501a 및 501b)와 연관된 벡터(503a 및 503b)의 시퀀스를 포함할 수 있다. 예를 들어, 위의 예에서, "shoes"의 "o"에 대한 벡터는 대상 캐릭터(501c)일 수 있으며, 제1 컨텍스트 임베딩 벡터는 "sh"를 포함할 수 있다. 포워드 언어 모델(504)은, 순환신경망(Recurrent Neural Networks, RNN), 게이티드 순환 유닛(Gated Recurrent Units, GRU), 롱 숏-텀 메모리(Long Short-Term Memory, LSTM) 등과 같은, 인공 신경망을 포함할 수 있다. 그 다음 포워드 언어 모델(307)은 제1 출력 벡터(506)를 출력하도록 구성될 수 있다. 제1 출력 벡터(506)는, 대상 캐릭터(501c) 앞에 있는 캐릭터(501a 및 501b)의 벡터(503a 및 503b)의 시퀀스에 기초하여 결정된, 대상 캐릭터(501c)의 임베디드 벡터의 예측을 포함할 수 있다. 예를 들어, 포워드 언어 모델(504)은 "sh"에 대한 제1 컨텍스트 임베딩 벡터에 기초하여 대상 캐릭터(501c)의 벡터를 예측할 수 있다(예를 들면, 포워드 언어 모델(504)은 "sh" 다음에 오는 캐릭터를 예측할 수 있음).
하나 이상의 프로세서(305)는 대상 캐릭터(501c)의 임베딩 벡터(503c)와 제2 컨텍스트 임베딩 벡터를 리버스 언어 모델(505)로 추가로 공급할 수 있다. 리버스 언어 모델(505)은 도 3의 리버스 언어 모델(308)로서 구현될 수 있다. 제2 컨텍스트 임베딩 벡터는 대상 캐릭터(501c) 뒤에 있는 캐릭터(501d 및 501e)와 연관된 벡터(503d 및 503e)의 시퀀스를 포함할 수 있다. 예를 들어, 위의 예에서, "shoes"의 "o"에 대한 벡터는 대상 캐릭터(501c)일 수 있으며, 제2 컨텍스트 임베딩 벡터는 "es"를 포함할 수 있다. 리버스 언어 모델(505)은, 순환신경망(Recurrent Neural Networks, RNN), 게이티드 순환 유닛(Gated Recurrent Units, GRU), 롱 숏-텀 메모리(Long Short-Term Memory, LSTM) 등과 같은, 인공 신경망을 포함할 수 있다. 그 리버스 언어 모델(308)은 제2 출력 벡터(507)를 출력하도록 구성될 수 있다. 제2 출력 벡터(507)는, 대상 캐릭터(501c) 뒤에 있는 캐릭터(501d 및 501e)의 벡터(503d 및 503e)의 시퀀스에 기초하여 결정된, 대상 캐릭터(501c)의 임베디드 벡터의 예측을 포함할 수 있다. 예를 들어, 리버스 언어 모델(505)은 "es"에 대한 제2 컨텍스트 임베딩 벡터에 기초하여 대상 캐릭터(501c)의 벡터를 예측할 수 있다(예를 들면, 리버스 언어 모델(505)은 "es" 앞에 오는 캐릭터를 예측할 수 있음).
그 후, 하나 이상의 프로세서는 대상 캐릭터(501c)의 실제 임베딩 벡터(503c)를 제1 출력 벡터(506) 및 제2 출력 벡터(507)와 비교할 수 있다. 예를 들어, 하나 이상의 프로세서는 "shoes"에서 대상 캐릭터 "o"의 실제 임베딩 벡터(503c)를 제1 출력 벡터(506) 및 제 2출력 벡터(507)와 비교할 수 있다. 비교하기 위해, 하나 이상의 프로세서(305)는 대상 캐릭터(501c)의 실제 임베딩 벡터(503c)와 각각의 포워드 언어 모델(504)에 의해 예측된 제1 출력 벡터(506) 및 리버스 언어 모델(505)에 의해 예측된 제2 출력 벡터(507) 사이의 유클리드 거리를 결정하여 포워드 언어 모델(504)과 리버스 언어 모델(505)의 손실 함수를 계산할 수 있다. 계산된 손실 함수는 하나 이상의 프로세서(305)가 포워드 언어 모델(504)과 리버스 언어 모델(505)에 의한 예측의 정확도를 결정할 수 있게 할 수 있다.
추가적으로 또는 대안적으로, 하나 이상의 프로세서(305)는 예측과 대상 캐릭터(501c)의 실제 임베딩 벡터(503c) 사이의 유클리드 거리의 역 지수를 측정하여 대상 캐릭터(501c)를 예측하는 포워드 언어 모델(504) 및/또는 리버스 언어 모델(505)의 확률을 결정하도록 구성될 수 있다. 대상 캐릭터(501c)("cqi")의 역 지수는 다음 수학식을 이용하여 계산될 수 있다.
)
여기서 cqi는 대상 캐릭터의 실제 임베딩 벡터이고, cqi'는 포워드 언어 모델(307) 및/또는 리버스언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터이다.
따라서, 위의 수학식을 이용하여, 하나 이상의 프로세서(305)는 대상 캐릭터의 실제 임베딩 벡터가 포워드 언어 모델(307) 또는 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까운지를 결정할 수 있다. 즉, 하나 이상의 프로세서(305)는 위치 "i"(즉, cqi')에서 대상 캐릭터의 임베디드 벡터를 예측하기 위해 포워드 언어 모델(307)을 이용하고, 위치 "i"(즉, cqi')에서 대상 캐릭터의 임베디드 벡터를 예측하기 위해 리버스 언어 모델(308)을 이용할 수 있다. 그 후, 하나 이상의 프로세서(305)는 위의 수학식을 이용하여, 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터를 이용하여 제1 역 지수를 계산하고, 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터를 이용하여 제2 역 지수를 계산할 수 있다. 대상 캐릭터의 실제 임베딩 벡터(즉, cqi)가 포워드 언어 모델(307)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까우면, 하나 이상의 프로세서(305)에 의해 계산된 제1 역 지수가 제2 역 지수보다 더 클 것이다. 대조적으로, 대상 캐릭터의 실제 임베딩 벡터(즉, cqi)가 리버스 언어 모델(308)에 의해 예측된 대상 캐릭터의 임베디드 벡터에 더 가까우면, 하나 이상의 프로세서(305)에 의해 계산된 제2 역 지수가 제1 역 지수보다 더 클 것이다.
실제 임베딩 벡터(503c)를 제1 출력 벡터(506) 및 제2 출력 벡터(507)와 비교한 후, 하나 이상의 프로세서(305)는 비교에 기초하여 복수의 캐릭터(501a-e)를 분할하고, 분할된 제품 타이틀과 같은, 세그먼트(508)를 출력할 수 있다. 캐릭터를 분할하기 위해, 하나 이상의 프로세서(305)는 실제 임베딩(503c)와 제1 출력 벡터(506) 사이의 유클리드 거리의 역 지수가 실제 임베딩 벡터(503c)와 제2 출력 벡터(507) 사이의 유클리드 거리의 역 지수보다 큰지 여부를 결정할 수 있다. 예를 들어, "shoes"에서 "o"의 실제 임베딩 벡터(503c)와 제1 출력 벡터(506) 사이의 유클리드 거리의 역 지수가 실제 임베딩 벡터(503c)와 제2 출력 벡터(507) 사이의 유클리드 거리의 역 지수보다 크면, 하나 이상의 프로세서(305)는 "sh" 및 "o"가 분할되지 않고 "sho"로서 함께 유지되어야 한다고 결정할 수 있다. 이 프로세스는 예시적인 단어인 "shoes"의 각 글자가 단어에 속할 때까지 반복될 수 있다.
실제 임베딩 벡터(503c)와 제1 출력 벡터(506) 사이의 유클리드 거리의 역 지수가 실제 임베딩 벡터(503c)와 제2 출력 벡터(507) 사이의 유클리드 거리의 역 지수보다 클 때, 하나 이상의 프로세서(305)는 대상 캐릭터(501c)를 대상 캐릭터(501c) 앞에 있는 캐릭터(501a 및 501b)와 페어링 할 수 있다. 유사하게, 실제 임베딩 벡터(503c)와 제2 출력 벡터(507) 사이의 유클리드 거리의 역 지수가 실제 임베딩 벡터(503c)와 제1 출력 벡터(506) 사이의 유클리드 거리의 역 지수보다 클 때, 하나 이상의 프로세서(305)는 대상 캐릭터(501c)를 대상 캐릭터(501c) 뒤에 있는 캐릭터(501d 및 501e)와 페어링 할 수 있다. 일부 실시예에서, 하나 이상의 프로세서(305)는 복수의 캐릭터(501a-e) 각각이 단어에 속하고 복수의 캐릭터(501a-e)의 분할이 완료될 때까지 이러한 단계들을 수행할 수 있다.
본 개시는 그 특정 실시예를 참조하여 도시되고 설명되었지만, 본 개시는 다른 환경에서, 변경없이, 실시될 수 있음을 이해할 것이다. 전술한 설명은 예시의 목적으로 제시되었다. 그것은 개시된 정확한 형태나 실시예에 대해 총망라된 것이 아니며 이것으로 한정되는 것은 아니다. 개시된 실시예의 설명 및 실시를 고려하는 것으로부터 변경 및 조정이 통상의 기술자에게 명백할 것이다. 추가적으로, 비록 개시된 실시예의 형태가 메모리에 저장되는 것으로서 설명되었지만, 통상의 기술자는 이들 형태가 2차 저장 디바이스, 예를 들면, 하드디스크나 CD ROM, 또는 다른 형태의 RAM이나 ROM, USB 매체, DVD, 블루레이, 또는 다른 광 드라이브 매체와 같이, 다른 형태의 컴퓨터 판독 가능한 매체에 저장될 수도 있는 것을 이해할 것이다.
상술한 설명 및 개시된 방법에 기초한 컴퓨터 프로그램은 숙련된 개발자의 기술 내에 있다. 여러 프로그램 혹은 프로그램 모듈은 통상의 기술자에게 알려진 어느 기술을 이용하여 생성되거나, 또는 기존의 소프트웨어와 연결하여 설계될 수 있다. 예를 들면, 프로그램 섹션 혹은 프로그램 모듈은 닷넷 프레임워크, 닷넷 컴팩트 프레임워크(및 비주얼 베이식, C 등과 같은, 관련 언어), 자바, C++, 오브젝티브 C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿이 포함된 HTML 내에서 혹은 그것들에 의해서 설계될 수 있다.
게다가, 여기에서는 예시적인 실시예가 설명되었지만, 본 개시에 기초하여 통상의 기술자가 이해할 수 있는 바와 같이, 일부 또는 모든 실시예의 범위는 동등한 요소, 변경, 생략, 조합(예로써, 여러 실시예에 걸치는 형태의 조합), 조정 및/또는 수정을 가질 수 있다. 청구범위 내의 제한 사항은 그 청구범위 내에 적용된 언어에 기초하여 폭넓게 이해되도록 하는 것이며, 응용의 수행 동안 혹은 본 명세서 내에 설명된 예시로 한정되는 것은 아니다. 그 예시는 비배타적으로 해석되도록 하기 위한 것이다. 추가로, 개시된 방법의 스텝은 어떤 다른 방법으로 변경되거나, 스텝을 재배열 및/또는 스텝을 삽입하거나 삭제하는 것을 포함할 수 있다. 그러므로, 설명 및 예시는 오직 예시적으로 고려되는 것이며, 진정한 범위 및 기술 사상은 다음의 청구범위 및 그 동등한 전체 범위에 의해 나타내지는 것으로 의도된다.

Claims (10)

  1. 단어 분할(segmentation)을 위한 컴퓨터-구현 방법으로서,
    분할을 위해 복수의 캐릭터를 수신하고;
    임베딩 모델을 이용하여, 상기 복수의 캐릭터의 캐릭터를 임베딩 벡터로 변환하며;
    제1 출력 벡터를 검색하기 위해 상기 임베딩 벡터를 포워드 언어 모델에 공급하고;
    제2 출력 벡터를 검색하기 위해 상기 임베딩 벡터를 리버스 언어 모델에 공급하고;
    상기 임베딩 벡터를 상기 제1 출력 벡터 및 상기 제2 출력 벡터와 비교하며; 그리고
    상기 비교에 기초하여 상기 복수의 캐릭터를 분할하는 것을 포함하고,
    상기 임베딩 벡터를 상기 제1 출력 벡터 및 상기 제2 출력 벡터와 비교하는 것은 상기 임베딩 벡터와 상기 제1 출력 벡터 및 상기 제2 출력 벡터 각각 사이의 유클리드 거리의 역 지수를 결정하는 것을 포함하는 단어 분할을 위한 컴퓨터-구현 방법.
  2. 청구항 1에 있어서,
    상기 임베딩 모델은 프로젝션 레이어 및 소프트맥스 분류기 레이어를 포함하는 단어 분할을 위한 컴퓨터-구현 방법.
  3. 청구항 1에 있어서,
    상기 포워드 언어 모델 또는 상기 리버스 언어 모델 중 적어도 하나는 순환신경망(RNN)을 포함하는 단어 분할을 위한 컴퓨터-구현 방법.
  4. 청구항 3에 있어서,
    상기 포워드 언어 모델 또는 상기 리버스 언어 모델 중 적어도 하나는 게이티드 순환 유닛(GRU) 또는 롱 숏-텀 메모리(LSTM) 중 적어도 하나를 포함하는 단어 분할을 위한 컴퓨터-구현 방법.
  5. 청구항 1에 있어서,
    제1 컨텍스트 임베딩 벡터 시퀀스를 상기 포워드 언어 모델에 공급하는 것을 더 포함 - 상기 제1 컨텍스트 임베딩 벡터 시퀀스는 상기 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함함 - 하는 단어 분할을 위한 컴퓨터-구현 방법.
  6. 청구항 1에 있어서,
    제2 컨텍스트 임베딩 벡터 시퀀스를 상기 리버스 언어 모델에 공급하는 것을 더 포함 - 상기 제2 컨텍스트 임베딩 벡터 시퀀스는 상기 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 연관된 벡터의 시퀀스를 포함함 - 하는 단어 분할을 위한 컴퓨터-구현 방법.
  7. 청구항 1에 있어서,
    상기 임베딩 벡터와 상기 제1 출력 벡터 사이의 상기 유클리드 거리의 상기 역 지수가 상기 임베딩 벡터와 상기 제2 출력 벡터 사이의 상기 유클리드 거리의 상기 역 지수보다 클 때, 상기 캐릭터를 상기 캐릭터 앞에 있는 미리 결정된 수의 캐릭터와 페어링 하는 것을 더 포함하는 단어 분할을 위한 컴퓨터-구현 방법.
  8. 청구항 1에 있어서,
    상기 임베딩 벡터와 상기 제2 출력 벡터 사이의 상기 유클리드 거리의 상기 역 지수가 상기 임베딩 벡터와 상기 제1 출력 벡터 사이의 상기 유클리드 거리의 상기 역 지수보다 클 때, 상기 캐릭터를 상기 캐릭터 뒤에 있는 미리 결정된 수의 캐릭터와 페어링 하는 것을 더 포함하는 단어 분할을 위한 컴퓨터-구현 방법.
  9. 청구항 1에 있어서,
    각 캐릭터가 단어에 속할 때까지 분할을 위한 상기 복수의 캐릭터 각각에 대해 변환, 공급, 비교 및 분할의 단계들을 반복하는 것을 더 포함하는 단어 분할을 위한 컴퓨터-구현 방법.
  10. 명령들을 저장하는 메모리; 및
    청구항 1 내지 청구항 9 중 어느 한 항의 상기 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하는 단어 분할을 위한 컴퓨터-구현 시스템.
KR1020210160488A 2020-05-08 2021-11-19 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법 Active KR102837017B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020250096543A KR20250114471A (ko) 2020-05-08 2025-07-17 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/869,741 US10817665B1 (en) 2020-05-08 2020-05-08 Systems and methods for word segmentation based on a competing neural character language model
US16/869,741 2020-05-08
KR1020200085559A KR102330819B1 (ko) 2020-05-08 2020-07-10 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200085559A Division KR102330819B1 (ko) 2020-05-08 2020-07-10 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020250096543A Division KR20250114471A (ko) 2020-05-08 2025-07-17 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210145700A KR20210145700A (ko) 2021-12-02
KR102837017B1 true KR102837017B1 (ko) 2025-07-21

Family

ID=72944800

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020200085559A Active KR102330819B1 (ko) 2020-05-08 2020-07-10 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법
KR1020210160488A Active KR102837017B1 (ko) 2020-05-08 2021-11-19 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법
KR1020250096543A Pending KR20250114471A (ko) 2020-05-08 2025-07-17 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200085559A Active KR102330819B1 (ko) 2020-05-08 2020-07-10 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020250096543A Pending KR20250114471A (ko) 2020-05-08 2025-07-17 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법

Country Status (5)

Country Link
US (2) US10817665B1 (ko)
KR (3) KR102330819B1 (ko)
SG (1) SG11202104719SA (ko)
TW (2) TW202238488A (ko)
WO (1) WO2021224676A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817665B1 (en) * 2020-05-08 2020-10-27 Coupang Corp. Systems and methods for word segmentation based on a competing neural character language model
US11164232B1 (en) * 2021-01-15 2021-11-02 Coupang Corp. Systems and methods for intelligent extraction of attributes from product titles
CN113112007B (zh) * 2021-06-11 2021-10-15 平安科技（深圳）有限公司 神经网络中序列长度选择方法、装置、设备及存储介质
CN113591475B (zh) * 2021-08-03 2023-07-21 美的集团(上海)有限公司 无监督可解释分词的方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101846824B1 (ko) 2017-12-11 2018-04-09 가천대학교 산학협력단 개체명 인식시스템, 방법, 및 컴퓨터 판독가능매체
KR101929509B1 (ko) 2018-09-17 2018-12-14 서강대학교 산학협력단 형태소 합성 장치 및 방법
JP2020024277A (ja) 2018-08-07 2020-02-13 国立研究開発法人情報通信研究機構 データ・セグメンテーション装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529902B1 (en) * 1999-11-08 2003-03-04 International Business Machines Corporation Method and system for off-line detection of textual topical changes and topic identification via likelihood based methods for improved language modeling
CN101075228B (zh) * 2006-05-15 2012-05-23 松下电器产业株式会社 识别自然语言中的命名实体的方法和装置
KR20130014893A (ko) * 2011-08-01 2013-02-12 한국전자통신연구원 음성 인식 장치 및 방법
US9818401B2 (en) * 2013-05-30 2017-11-14 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
US9779085B2 (en) * 2015-05-29 2017-10-03 Oracle International Corporation Multilingual embeddings for natural language processing
CN106484682B (zh) * 2015-08-25 2019-06-25 阿里巴巴集团控股有限公司 基于统计的机器翻译方法、装置及电子设备
CN107704456B (zh) * 2016-08-09 2023-08-29 松下知识产权经营株式会社 识别控制方法以及识别控制装置
US10402495B1 (en) * 2016-09-01 2019-09-03 Facebook, Inc. Abstractive sentence summarization
US11042796B2 (en) * 2016-11-03 2021-06-22 Salesforce.Com, Inc. Training a joint many-task neural network model using successive regularization
US10832000B2 (en) * 2016-11-14 2020-11-10 International Business Machines Corporation Identification of textual similarity with references
US11068658B2 (en) * 2016-12-07 2021-07-20 Disney Enterprises, Inc. Dynamic word embeddings
KR20180077847A (ko) * 2016-12-29 2018-07-09 주식회사 엔씨소프트 문장 검증 장치 및 방법
CN108536708A (zh) * 2017-03-03 2018-09-14 腾讯科技（深圳）有限公司 一种自动问答处理方法及自动问答系统
US10089742B1 (en) * 2017-03-14 2018-10-02 Adobe Systems Incorporated Automatically segmenting images based on natural language phrases
CN107038157B (zh) * 2017-05-05 2020-09-29 百度在线网络技术（北京）有限公司 基于人工智能的识别错误发现方法、装置及存储介质
US10880330B2 (en) * 2017-05-19 2020-12-29 Indiana University Research & Technology Corporation Systems and methods for detection of infected websites
CN107168955B (zh) * 2017-05-23 2019-06-04 南京大学 利用基于词上下文的字嵌入与神经网络的中文分词方法
US10325020B2 (en) * 2017-06-29 2019-06-18 Accenture Global Solutions Limited Contextual pharmacovigilance system
TWM555499U (zh) * 2017-09-04 2018-02-11 Urad Co Ltd 產品分類系統
CN107807987B (zh) * 2017-10-31 2021-07-02 广东工业大学 一种字符串分类方法、系统及一种字符串分类设备
KR102260646B1 (ko) * 2018-10-10 2021-06-07 고려대학교 산학협력단 자연어 처리 시스템 및 자연어 처리에서의 단어 표현 방법
CN109815476B (zh) * 2018-12-03 2023-03-24 国网浙江省电力有限公司杭州供电公司 一种基于中文语素和拼音联合统计的词向量表示方法
CN109981631A (zh) * 2019-03-20 2019-07-05 国家计算机网络与信息安全管理中心 一种基于深度学习的xss攻击检测方法
CN110222329B (zh) * 2019-04-22 2023-11-24 平安科技（深圳）有限公司 一种基于深度学习的中文分词方法和装置
CN110288980A (zh) * 2019-06-17 2019-09-27 平安科技（深圳）有限公司 语音识别方法、模型的训练方法、装置、设备及存储介质
CN110909549B (zh) * 2019-10-11 2021-05-18 北京师范大学 对古汉语进行断句的方法、装置以及存储介质
US10817665B1 (en) 2020-05-08 2020-10-27 Coupang Corp. Systems and methods for word segmentation based on a competing neural character language model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101846824B1 (ko) 2017-12-11 2018-04-09 가천대학교 산학협력단 개체명 인식시스템, 방법, 및 컴퓨터 판독가능매체
JP2020024277A (ja) 2018-08-07 2020-02-13 国立研究開発法人情報通信研究機構 データ・セグメンテーション装置
KR101929509B1 (ko) 2018-09-17 2018-12-14 서강대학교 산학협력단 형태소 합성 장치 및 방법

Also Published As

Publication number Publication date
US10817665B1 (en) 2020-10-27
KR20250114471A (ko) 2025-07-29
KR102330819B1 (ko) 2021-12-01
KR20210145700A (ko) 2021-12-02
TW202238488A (zh) 2022-10-01
TW202143150A (zh) 2021-11-16
WO2021224676A1 (en) 2021-11-11
SG11202104719SA (en) 2021-12-30
US11113468B1 (en) 2021-09-07
KR20210136791A (ko) 2021-11-17
TWI771841B (zh) 2022-07-21

Similar Documents

Publication Publication Date Title
KR102788349B1 (ko) 제품 추천을 제공하기 위한 컴퓨터화된 시스템 및 방법
KR102761828B1 (ko) 인공지능을 사용하여 데이터베이스 파라미터를 최적화하기 위한 컴퓨터화된 시스템 및 방법
KR102848340B1 (ko) 제품 추천을 생성하기 위해 인공 지능을 사용하는 컴퓨터 시스템 및 방법
KR102837017B1 (ko) 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법
KR102350982B1 (ko) 인공 지능을 이용한 제품 분류를 위한 컴퓨터 시스템 및 방법
KR102769099B1 (ko) 가용 판매자의 지능적 선택과 연관 사용자 인터페이스 수정을 위한 컴퓨터화된 시스템 및 방법
WO2022123492A1 (en) Systems and methods for processing data for storing in a feature store and for use in machine learning
KR20230142409A (ko) 기계 검색가능 키워드를 생성하기 위한 시스템 및 방법
KR20240121196A (ko) 온라인 플랫폼 상의 서비스와 모듈을 관리 및 모니터링하기 위한 컴퓨터 시스템 및 방법
KR20250061715A (ko) 컴퓨터 구현 태스크를 최적화하기 위한 컴퓨터 리소스 할당 시스템 및 방법
TWI877726B (zh) 用於偵測產品品名中的不準確的電腦實行系統以及方法
KR102718988B1 (ko) 커스텀 풀필먼트 센터를 위한 최상위 아이템을 결정하는 컴퓨터 구현 시스템 및 방법
KR20230172996A (ko) 제휴 웹사이트에 대한 동적 제품 추천

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PA0107 Divisional application

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601