[go: up one dir, main page]

KR102694572B1 - 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 - Google Patents

완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 Download PDF

Info

Publication number
KR102694572B1
KR102694572B1 KR1020180020014A KR20180020014A KR102694572B1 KR 102694572 B1 KR102694572 B1 KR 102694572B1 KR 1020180020014 A KR1020180020014 A KR 1020180020014A KR 20180020014 A KR20180020014 A KR 20180020014A KR 102694572 B1 KR102694572 B1 KR 102694572B1
Authority
KR
South Korea
Prior art keywords
sequence
bit
output
bits
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180020014A
Other languages
English (en)
Other versions
KR20190099930A (ko
Inventor
권형달
강성호
이천
임윤재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180020014A priority Critical patent/KR102694572B1/ko
Priority to US16/970,859 priority patent/US11755904B2/en
Priority to PCT/KR2019/002050 priority patent/WO2019164250A1/ko
Publication of KR20190099930A publication Critical patent/KR20190099930A/ko
Application granted granted Critical
Publication of KR102694572B1 publication Critical patent/KR102694572B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Neurology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 특히, 본 개시는 인공지능 시스템 및 그 응용에 따른 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법으로, 완전 연결 네트워크의 현재 계층에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 학습 회로로부터 수신하고, 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 압축된 엣지 시퀀스를 구성하는 비트열 중 유효 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하고, 압축된 엣지 시퀀스 및 유효성 판별 시퀀스를 메모리에 라이트하고, 유효 비트가 학습 회로로 순차적으로 출력되도록, 유효성 판별 시퀀스에 기초하여 압축된 엣지 시퀀스를 메모리로부터 순차적으로 리드할 수 있다.

Description

완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 {METHOD AND APPARATUS FOR CONTROLLING DATA INPUT AND OUTPUT OF FULLY CONNECTED NETWORK}
개시된 실시예는 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법, 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 장치 및 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
다양한 실시예들에 따라 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치를 제공한다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 해결하기 위한 일 실시예에 따른 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치는, 메모리; 상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하고, 상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하고, 상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 상기 메모리에 라이트(write)하는 인코딩 회로; 및 상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 디코딩 회로를 포함한다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 유효 비트는 소정의 임계값보다 큰 비트이고, 상기 무효 비트는 상기 소정의 임계값보다 크지 않은 비트일 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 압축된 엣지 시퀀스는 상기 연속하는 무효 비트의 개수를 나타내는 비트를 포함할 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 압축된 엣지 시퀀스 내의 유효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '1'이고, 상기 압축된 엣지 시퀀스 내의 무효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '0'일 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 디코딩 회로는 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스의 출력 대기 비트가 유효한지 여부를 결정하고, 상기 출력 대기 비트가 무효한 경우 상기 출력 대기 비트의 리드를 스킵(skip)하고, 상기 출력 대기 비트가 유효한 경우 상기 출력 대기 비트를 리드할 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 수행을 위한 클록 게이팅 신호(clock gating signal)로 이용될 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 처리 단계를 점프(jump)하기 위해 이용될 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 제어 장치로부터 순차적으로 출력되는 상기 유효 비트는 상기 학습 회로에 저장된 상기 완전 연결 네트워크의 다음 계층의 가중치 비트와 순차적으로 연산될 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 제어 장치는 FIFO(first in first out)방식으로 데이터를 입출력할 수 있다.
일 실시예에 따른 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치의 제어 방법은, 상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하는 단계; 상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하는 단계; 상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 메모리에 라이트(write)하는 단계; 및 상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 단계를 포함한다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1a는 뉴럴 네트워크의 학습 방법을 설명하기 위한 도면이다.
도 1b는 학습 성능 개선을 위해 뉴럴 네트워크 내의 불필요한 연산을 생략하는 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 제어 장치의 블록도이다.
도 3은 인코딩 회로가 생성하는 시퀀스를 예시적으로 나타낸 도면이다.
도 4는 일 실시예에 따른 제어 장치 및 학습 회로의 관계를 나타낸 블록도이다.
도 5a 내지 5h는 제 1 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 6a 내지 6h는 제 2 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 7은 일 실시예에 따른 제어 방법을 나타내는 흐름도이다.
개시된 실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
뉴럴 네트워크(NeuralNetwork)는 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 뉴럴 네트워크는, 인공 지능 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 네트워크 모델을 포함할 수 있다. 다양한 종류의 딥 러닝 네트워크를 예로 들면, 완전 연결 네트워크(Fully Connected Network; FCN), 컨볼루션 뉴럴 네트워크(Convolutional Neural Network; CNN), 회귀 뉴럴 네트워크(Recurrent Neural Network; RNN), 딥 빌리프 네트워크(Deep Belief Network; DBN), 제한된 볼츠만 기계(Restricted Boltzman Machine; RBM) 방식 등이 있으나, 이에 제한되지 않는다.
뉴럴 네트워크의 구조를 이용하는 학습 네트워크 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함한다. 이 때, 뉴럴 네트워크의 네트워크 노드들은 다른 네트워크 노드들과의 연결들(links)을 형성한다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 설계될 수 있다.
개시된 실시예는 상술한 뉴럴 네트워크를 기반으로 한 데이터의 처리와 관련된다. 보다 구체적으로, 개시된 실시예는 완전 연결 네트워크를 기반으로 한 연산 처리 과정에 있어서, 데이터를 손실 없이 압축하여 메모리로의 리드(read)/라이트(write) 빈도를 줄임으로써 전력 소모를 감소시키고 처리 속도를 높이는 것에 관련된다. 개시된 실시예에 따르면 데이터 입출력 제어 장치 내의 메모리의 효율적인 사용을 증진시킬 수 있다.
또한, 개시된 실시예는 뉴럴 네트워크가 실행되는(forward execution) 동안의 중간 결과들에 관한 데이터 트래픽 및 연관된 저장 용량을 감소시킬 수 있다. 여기서, 뉴럴 네트워크를 실행한다는 의미는 계층을 이용하여(예를 들어, 프로세서, 컴퓨팅 유닛 등과 같은 디바이스를 이용하여) 뉴럴 네트워크의 데이터를 처리함을 의미할 수 있다. 또한, "데이터의 처리"의 예시는, 완전 연결 네트워크 내의 뉴런들 사이의 연결 가중치를 업데이트하는 것을 포함할 수 있다. 또한, "중간 결과"는 뉴럴 네트워크 내의 적어도 하나의 계층에서 수행되는 연산 결과를 의미할 수 있다.
도 1a는 뉴럴 네트워크의 학습 방법을 설명하기 위한 도면이다.
도 1a를 참조하면, 뉴럴 네트워크(100)는 입력 계층(120), 히든 계층(hidden layer)(140) 및 출력 계층(145)을 포함한다. 도 1a에서는 입력 데이터에 포함되는 정보를 분류하여 출력하는 완전 연결 네트워크를 예로 들어 도시하였다. 구체적으로, 뉴럴 네트워크(100)는 입력 데이터가 영상 데이터일 때, 영상 데이터에 포함되는 영상 객체의 종류를 분류한 결과 데이터를 출력 데이터로써 출력한다.
뉴럴 네트워크(100)을 형성하는 복수개의 계층들은 데이터를 수신하는 복수개의 노드(node)(예를 들어, 125)들을 포함할 수 있다. 그리고, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)(예를 들어, 130)들로 연결된다. 각각의 노드들은 대응되는 가중치값을 가지고 있어서, 뉴럴 네트워크(100)는 입력된 신호와 가중치 값을 연산, 예를 들어, 곱하기 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.
도 1a를 참조하면, 입력 계층(120)은 입력 데이터, 예를 들어, 고양이를 영상 객체로 포함하는 영상 데이터(110)를 입력 받는다.
또한, 뉴럴 네트워크(100)는 입력 계층(120)과 제 1 히든 계층(HIDDEN LAYER1) 간에 형성되는 제 1 계층(Layer 1)(150), 제 1 히든 계층(HIDDEN LAYER1)과 제 2 히든 계층(HIDDEN LAYER2) 간에 형성되는 제 2 계층(Layer 2)(155), 제 2 히든 계층(HIDDEN LAYER2)과 제 3 히든 계층(HIDDEN LAYER3) 간에 형성되는 제 3 계층(Layer 3)(160), 및 제 3 히든 계층(HIDDEN LAYER3)과 출력 계층(OUTPUT LAYER(145) 간에 형성되는 제 4 계층(Layer 4)(170)으로 형성될 수 있다.
뉴럴 네트워크(100)의 입력 계층(120)에 포함되는 복수개의 노드들은 입력 데이터(110)에 대응되는 신호들을 수신한다. 그리고, 히든 계층(140)에 포함되는 복수개의 계층들에서의 연산을 통하여, 출력 계층(145)에서는 영상 데이터(110)에 대응되는 출력 데이터(175)를 출력할 수 있다. 도시된 예시에서, 뉴럴 네트워크(100)는 입력된 영상에 포함되는 영상 객체의 종류를 분류하기 위한 연산을 수행하여 'Cat 확률: 98%'라는 출력 데이터(175)를 출력할 수 있다. 뉴럴 네트워크(100)을 통하여 출력된 출력 데이터(175)의 정확도를 높이기 위해서, 출력 계층(145)에서 입력 계층(120) 방향으로 학습(learning)을 수행하며 출력 데이터의 정확도가 높아지도록 가중치값들을 수정할 수 있다.
이처럼, 뉴럴 네트워크(100)는 학습을 통하여 계층 내의 적어도 하나의 노드의 연결 가중치들을 조절할 수 있다. 이 때, 가중치를 조절하는 과정에서 오버피팅(overfitting) 문제가 발생할 수 있다. 오버피팅은 학습 데이터에 지나치게 집중을 함으로써 새롭게 입력되는 데이터에 대한 출력 정확도가 떨어지는 상황을 의미한다. 이러한 오버피팅 문제를 해결하기 위해 이용되는 방법으로 드랍아웃(dropout), 프루닝(pruning) 등의 기법을 이용한 연산이 이용되기도 한다. 드랍아웃, 프루닝 등과 같은 연산은 뉴럴 네트워크 내의 불필요한 연산을 생략함으로써 학습 성능을 개선할 수 있는 기법을 말한다.
도 1b는 학습 성능 개선을 위해 뉴럴 네트워크 내의 불필요한 연산을 생략하는 방법을 설명하기 위한 도면이다.
도 1b를 참조하면, 완전 연결 뉴럴 네트워크(180) 및 일부 연결이 생략된 뉴럴 네트워크(190)가 도시된다. 일부 연결이 생략된 뉴럴 네트워크(190)는 완전 연결 뉴럴 네트워크(180)에 비해 적은 수의 노드 및 적은 수의 엣지를 갖는다. 예를 들어, 일부 연결이 생략된 뉴럴 네트워크(190)는 드랍아웃이 적용된 네트워크일 수 있다.
완전 연결 뉴럴 네트워크(180)의 학습 성능을 개선하기 위해서 이용될 수 있는 방법 중에 하나는 모델 결합(model combination)일 수 있다. 이러한 모델 결합을 위해서는 서로 다른 학습 데이터를 이용해서 학습을 하거나, 모델이 서로 다른 구조를 가져야 한다. 그러나, 네트워크가 깊은 경우에 복수개의 네트워크를 학습시키는 것은 많은 연산량을 필요로 한다는 문제점을 갖는다. 드랍아웃은 이러한 문제점을 해결하기 위한 것으로, 복수개의 모델을 만드는 대신 학습 사이클이 진행되는 동안 무작위로 일부 뉴런을 생략할 수 있다. 이 경우, 생략된 뉴런의 조합만큼 지수함수적으로 다양한 모델을 학습시키는 것과 같은 효과가 생기게 되므로 모델 결합의 효과를 누릴 수 있다.
도 1b를 참조하면, 일부 연결이 생략된 뉴럴 네트워크(190)는 완전 연결 뉴럴 네트워크(180)에 비해 엣지의 개수가 적을 수 있다. 따라서, 일부 연결이 생략된 뉴럴 네트워크(190)는 노드들 사이의 연결관계를 나타내는 엣지 시퀀스 중에서 '연결해제'를 나타내는 비트값 '0'을 다수 포함할 수 있다.
이하에서는, 전술한 드랍아웃 또는 프루닝 등을 적용한 뉴럴 네트워크의 연산에서 불필요한 연산들을 생략하는 실질적인 방법에 대해 상세히 설명하기로 한다. 개시된 실시예에 따르면, 뉴럴 네트워크(예를 들어, 완전 연결 네트워크)의 연산 과정에서 사용되는 매트릭스와 벡터의 곱셈을 저전력으로 빠르게 수행할 수 있다.
도 2는 일 실시예에 따른 제어 장치의 블록도이다.
도 2를 참조하면, 제어 장치(200)는 메모리(210), 인코딩 회로(220) 및 디코딩 회로(230)를 포함한다. 제어 장치(200)는 뉴럴 네트워크의 학습을 수행하는 학습 회로(240)와 연결될 수 있다. 제어 장치(200)는 학습 회로(240)의 연산 과정에서 출력되는 정보를 수신할 수 있으며, 제어 장치(200)에서 생성된 정보를 학습 회로(240)로 전송할 수도 있다.
학습 회로(240)는, 입력 계층, 히든 계층(hidden layer) 및 출력 계층을 포함하는 뉴럴 네트워크를 통한 연산을 수행할 수 있다. 여기서, 히든 계층은 복수개의 계층들, 예를 들어, 제 1 계층, 제 2 계층, 제 3 계층 등을 포함할 수 있다. 학습 회로(120)에서 수행되는 뉴럴 네트워크의 연산은 도 1a 내지 1b를 통해 전술한 바와 같다.
일 실시예에 따른 제어 장치(200)는 선입선출 방식, 즉, FIFO(first in first out) 방식으로 학습 회로(240)로부터 데이터를 수신하고 학습 회로(240)로 데이터를 출력할 수 있다. 학습 회로(240)는 뉴럴 네트워크 내의 각각의 계층 단위로 정보를 처리할 수 있다. 이 때, 학습 회로(240)의 정보 처리 과정에서 각 계층 별로 대기 시간이 존재할 수 있다. 예를 들어, 제 1 계층에 대한 연산 이후 소정 대기 시간 동안 제 1 계층에 대한 연산 결과가 재처리 또는 가공될 수 있다. 이와 같은 연산 결과의 재처리 또는 가공 과정은 제어 장치(200)를 통해 수행될 수 있다. 제어 장치(200)는 제 1 계층의 연산 결과를 가공하여 학습 회로(240)에 전송할 수 있다. 학습 회로(240)가 제어 장치(200)로부터 수신한 가공된 연산 결과는 제 2 계층의 연산을 위해 이용될 수 있다. 제어 장치(200)는 학습 회로(240)로부터 데이터를 순차적으로 입력받고 학습 회로(240)로 가공한 데이터를 순차적으로 출력할 수 있다.
일 실시예에 따른 메모리(210)는 소정의 크기를 가지는 시퀀스(sequence) 또는 비트스트림(bitstream)을 저장할 수 있다.
일 실시예에 따른 시퀀스는 뉴럴 네트워크를 구성하는 복수개의 계층을 구성하는 노드들 간의 엣지(edge)의 연결 여부와 관련된 정보일 수 있다. 구체적으로, 시퀀스는 뉴럴 네트워크에 포함되는 일 계층에서 형성되는 복수개의 엣지들 각각의 연결 또는 연결해제를 나타내는 정보가 될 수 있다. 예를 들어, 도 1a를 참조하면, 시퀀스는 소정 계층, 예를 들어, 제1 계층(150)에 포함되는 복수개의 엣지들(130) 각각의 연결관계를 나타내는 엣지 시퀀스와 관련된 정보일 수 있다.
일 실시예에 따라, 시퀀스를 구성하는 비트열 각각의 값은 소정 엣지의 연결 강도를 나타낼 수 있다. 예를 들어, 비트값이 클수록 소정 엣지의 연결 강도가 강하다는 것을 의미할 수 있고, 비트값이 작을수록 소정 엣지의 연결 강도가 약하다는 것을 의미할 수 있다. 이하에서는 시퀀스로서 소정 엣지들의 연결 강도를 나타내는 정보를 "엣지 시퀀스"라고 지칭하도록 한다.
일 실시예에 따른 시퀀스는 엣지 시퀀스를 구성하는 비트열 중에서 유효한(valid) 비트와 무효한(invalid) 비트를 구별하는 시퀀스와 관련된 정보일 수 있다. 예를 들면, 시퀀스를 구성하는 비트열에 포함되는 '0' 값은 해당 비트의 어드레스에 대응하는 엣지 시퀀스의 비트가 무효한 비트임을 나타낼 수 있다. 또한, 예를 들면, 시퀀스를 구성하는 비트열에 포함되는 '1' 값은 해당 비트의 어드레스에 대응하는 엣지 시퀀스의 비트가 유효한 비트임을 나타낼 수 있다. 엣지 시퀀스의 비트가 무효한지 또는 유효한지 여부는 소정의 임계값과의 크기를 비교함으로써 결정될 수 있다. 이하에서는 엣지 시퀀스를 구성하는 비트열 중에서 유효한(valid) 비트와 무효한(invalid) 비트를 판별하는 시퀀스를 "유효성 판별 시퀀스"라고 지칭하도록 한다.
일 실시예에 따른 메모리(210)는 전술한 엣지 시퀀스 또는 유효성 판별 시퀀스를 저장할 수 있다. 일 실시예에 따른 엣지 시퀀스는 압축되어 압축된 엣지 시퀀스의 형태로서 메모리(210)에 저장될 수도 있다. 엣지 시퀀스, 압축된 엣지 시퀀스 및 유효성 판별 시퀀스에 대한 자세한 설명은 도 3을 통해 후술하기로 한다.
일 실시예에 따라 학습 회로(240)가 소정 계층에 대한 연산을 종료하면, 제어 장치(200)는 학습 회로(240)로부터 해당 계층에 대한 연산 결과를 수신할 수 있다. 이 때, 해당 계층에 대한 연산 결과는 해당 계층에 대한 엣지 시퀀스를 의미하는 것일 수 있다.
일 실시예에 따른 인코딩 회로(220)는 제어 장치(200)가 수신한 엣지 시퀀스를 가공하여 메모리(210)에 저장할 수 있다. 예를 들어, 가공된 시퀀스는 엣지 시퀀스를 압축한 압축된 시퀀스일 수 있다. 또한, 예를 들어, 가공된 시퀀스는 압축된 엣지 시퀀스를 구성하는 비트열 중에서 유효한 비트와 무효한 비트를 구별하는 유효성 판별 시퀀스일 수도 있다. 일 실시예에 따른 인코딩 회로(220)는 학습 회로(240)의 연산 주기에 대응하여 가공된 시퀀스를 생성할 수 있다. 일 실시예에 따른 인코딩 회로(220)는 가공된 시퀀스를 메모리(210)에 라이트(write)할 수 있다. 일 실시예에 따라 압축된 시퀀스는 압축되기 이전의 시퀀스에 비해 비트열의 개수가 적으므로, 인코딩 회로(220)는 메모리(210)로의 라이트 횟수를 줄일 수 있다. 따라서, 제어 장치(200)는 라이트 횟수의 감소로 인해 전력 소모를 절감할 수 있다.
일 실시예에 따른 디코딩 회로(230)는 인코딩 회로(220)가 생성한 가공된 시퀀스를 학습 회로(240)에 전달함으로써 뉴럴 네트워크 내의 엣지의 연결 상태를 결정하도록 할 수 있다. 일 실시예에 따른 디코딩 회로(230)는 메모리(210)로부터 가공된 시퀀스를 리드(read)하여 제어 장치(200)로 하여금 가공된 시퀀스 내의 비트열을 순차적으로 출력하도록 할 수 있다. 일 실시예에 따라 압축된 시퀀스는 압축되기 이전의 시퀀스에 비해 비트열의 개수가 적으므로, 디코딩 회로(230)는 메모리(210)로부터의 리드 횟수를 줄일 수 있다. 따라서, 제어 장치(200)는 리드 횟수의 감소로 인해 전력 소모를 절감할 수 있다.
도 3은 인코딩 회로가 생성하는 시퀀스를 예시적으로 나타낸 도면이다.
도 3을 참조하면, 엣지 시퀀스(310), 압축된 엣지 시퀀스(320, 340) 및 유효성 판별 시퀀스(330, 350)가 예시된다.
일 실시예에 따른 엣지 시퀀스(310)는 소정 엣지들의 연결 강도를 나타내는 정보일 수 있다. 엣지 시퀀스(310)는 비트열로 구성될 수 있다. 비트열에 포함된 비트값이 클수록 소정 엣지의 연결 강도가 강하다는 것을 의미할 수 있고, 비트값이 작을수록 소정 엣지의 연결 강도가 약하다는 것을 의미할 수 있다.
일 실시예에 따른 엣지 시퀀스(310)는 유효한 비트와 무효한 비트를 포함할 수 있다. 엣지 시퀀스의 비트가 무효한지 또는 유효한지 여부는 소정의 임계값과의 크기를 비교함으로써 결정될 수 있다. 일 실시예에 따라 엣지 시퀀스의 비트가 임계값 이하일 경우 해당 비트는 무효할 수 있다. 무효하다는 의미는, 해당 비트에 대응하는 엣지가 연결 해제됨을 의미할 수 있다. 소정 임계값 이하의 비트를 무효로 처리하는 것은, 프루닝이나 드랍아웃 등과 같이 학습 성능 개선 차원에서 불필요한 계산을 생략하기 위함일 수 있다.
일 실시예에 따른 인코딩 회로(220)는 엣지 시퀀스(310)를 구성하는 비트열 중 연속하는 무효 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스(320, 340)를 생성할 수 있다.
예를 들어, 소정의 임계값이 '0'일 경우 엣지 시퀀스(310)를 구성하는 비트열 중에서 '0' 이하의 값을 갖는 비트들이 무효하고, '0' 보다 큰 값을 갖는 비트들만이 유효할 수 있다. 또한, 엣지 시퀀스(310) 중에서는 임계값 '0' 이하의 값을 갖는 비트가 연속으로 존재할 수 있다. 인코딩 회로(220)는 임계값 '0' 이하의 값을 갖는 비트가 연속적으로 존재할 경우, 이를 하나의 비트값으로 표현함으로써 압축된 엣지 시퀀스(320)를 생성할 수 있다. 이 때, 표현되는 비트값은 엣지 시퀀스(310) 중에서 임계값 '0' 이하의 값을 갖는 비트가 연속하는 횟수를 나타낼 수 있다. 예를 들어, 엣지 시퀀스(310) 중에서 "000"과 같이 임계값 '0' 이하의 값을 갖는 비트가 3회 연속하는 경우, 엣지 시퀀스(310)의 "000"은 압축된 엣지 시퀀스(320) 상에서 "3"으로 표현될 수 있다. 이처럼 인코딩 회로(220)는 연속하는 무효 비트를 하나의 비트로 압축함으로써 학습 회로(240)의 연산 속도를 개선시킬 수 있다.
예를 들어, 소정의 임계값이 '3'일 경우 엣지 시퀀스(310)를 구성하는 비트열 중에서 '3' 이하의 값을 갖는 비트들이 무효하고, '3' 보다 큰 값을 갖는 비트들만이 유효할 수 있다. 또한, 엣지 시퀀스(310) 중에서는 임계값 '3' 이하의 값을 갖는 비트가 연속으로 존재할 수 있다. 인코딩 회로(220)는 임계값 '3' 이하의 값을 갖는 비트가 연속적으로 존재할 경우, 이를 하나의 비트값으로 표현함으로써 압축된 엣지 시퀀스(340)를 생성할 수 있다. 이 때, 표현되는 비트값은 엣지 시퀀스(310) 중에서 임계값 '3' 이하의 값을 갖는 비트가 연속하는 횟수를 나타낼 수 있다. 예를 들어, 엣지 시퀀스(310) 중에서 "00310002"과 같이 임계값 '3' 이하의 값을 갖는 비트가 8회 연속하는 경우, 엣지 시퀀스(310)의 "00310002"은 압축된 엣지 시퀀스(340) 상에서 "8"로 표현될 수 있다. 이처럼 인코딩 회로(220)는 연속하는 무효 비트를 하나의 비트로 압축함으로써 학습 회로(240)의 연산 속도를 개선시킬 수 있다.
일 실시예에 따른 인코딩 회로(220)는 압축된 엣지 시퀀스(320, 340)를 구성하는 비트열 중 유효 비트와 무효 비트를 나타내는 유효성 판별 시퀀스(330, 350)를 생성할 수 있다.
일 실시예에 따른 유효성 판별 시퀀스(330, 350)는 '0' 과 '1'로 표현되는 이진수 시퀀스(binary sequence)일 수 있다. 예를 들면, 유효성 판별 시퀀스(330, 350)를 구성하는 비트열에 포함되는 '0' 값은 해당 비트의 어드레스에 대응하는 압축된 엣지 시퀀스(320, 340)의 비트가 무효한 비트임을 나타낼 수 있다. 또한, 예를 들면, 유효성 판별 시퀀스(330, 350)를 구성하는 비트열에 포함되는 '1' 값은 해당 비트의 어드레스에 대응하는 압축된 엣지 시퀀스(320, 340)의 비트가 유효한 비트임을 나타낼 수 있다.
일 실시예에 따른 디코딩 회로(230)는 압축된 엣지 시퀀스(320, 340)와 유효성 판별 시퀀스(330, 350)에 기초하여 압축된 엣지 시퀀스(320, 340) 중 유효한 비트만을 메모리(210)로부터 리드할 수 있다. 구체적으로, 디코딩 회로(230)는 유효성 판별 시퀀스(330, 350)에 기초하여 압축된 엣지 시퀀스(320, 340)의 출력 대기 비트가 유효한지 여부를 결정하고, 출력 대기 비트가 무효한 경우 출력 대기 비트의 리드를 스킵(skip)하고, 출력 대기 비트가 유효한 경우 출력 대기 비트를 리드할 수 있다. 예를 들어, 압축된 엣지 시퀀스(320)에 대해 디코딩 회로(230)는 유효 비트인 "93124781" 로 이루어진 비트열을 리드할 수 있다. 또한 예를 들어, 압축된 엣지 시퀀스(340)에 대해 디코딩 회로(230)는 유효 비트인 "9478" 로 이루어진 비트열을 리드할 수 있다.
일 실시예에 따라 제어 장치(200)로부터 순차적으로 출력되는 유효 비트는 학습 회로(240)에 저장된 완전 연결 네트워크의 다음 계층의 가중치 비트와 순차적으로 연산 처리될 수 있다.
도 4는 일 실시예에 따른 제어 장치 및 학습 회로의 관계를 나타낸 블록도이다.
도 4를 참조하면 제어 장치(410)는 뉴럴 네트워크의 학습을 처리하는 학습 회로(440)와 연결되어 데이터의 입출력을 제어할 수 있다. 또한, FIFO 제어기(450)는 학습 회로(440)와 연결되어 데이터의 입출력을 제어할 수 있다. FIFO 제어기(450)는 소정 계층의 가중치 매트릭스와 관련된 정보를 학습 회로(440)에 출력할 수 있다.
일 실시예에 따른 제어 장치(410)는 인코딩 회로(420)와 디코딩 회로(430)를 포함한다. 도 4의 인코딩 회로(420) 및 디코딩 회로(430)는 도 2를 통해 전술한 인코딩 회로(220) 및 디코딩 회로(230)와 대응하므로 자세한 설명은 생략하기로 한다.
일 실시예에 따른 학습 회로(440)는 뉴럴 네트워크의 학습을 위한 연산을 수행할 수 있다. 예를 들어, 뉴럴 네트워크는 완전 연결 네트워크일 수 있다. 완전 연결 네트워크에서 각각의 계층에 포함되는 노드들은 가중치값을 가지고 있다. 완전 연결 네트워크에서, 현재 계층에 입력된 신호는 가중치 매트릭스와 연산, 예를 들어, 곱하기 연산되어 출력될 수 있다. 여기서, 현재 계층에 입력된 신호는 N x 1(N은 현재 계층을 구성하는 노드의 개수) 크기의 매트릭스 데이터일 수 있다. 또한, 현재 계층에 입력된 신호와 곱하기 연산되는 가중치 매트릭스는 M x N(M은 현재 계층의 다음 계층을 구성하는 노드의 개수, N은 현재 계층을 구성하는 노드의 개수) 크기의 매트릭스 데이터일 수 있다. 현재 계층에서 출력되는 신호는 다음 계층에 입력될 수 있다. 여기서, 일 실시예에 따라 현재 계층에서 출력되는 신호는 제어 장치(410)에 의한 제어를 통해 다음 계층에 입력될 수 있다.
일 실시예에 따른 학습 회로(440)는 레지스터(442, 444), 비교기(446) 및 누산기(accumulator; 448)를 포함할 수 있다.
일 실시예에 따른 제어 장치(410)는 디코딩 회로(430)가 메모리로부터 리드한 유효성 판별 시퀀스를 학습 회로(440)의 비교기(446)로 출력할 수 있다. 일 실시예에 따라 제어 장치(410)로부터 순차적으로 출력되는 유효성 판별 시퀀스는 FIFO 제어기(450)로부터 순차적으로 출력되는 유효성 판별 시퀀스와 비교기(446)를 통해 비교될 수 있다.
일 실시예에 따른 비교기(446)는 제어 장치(410) 및 FIFO 제어기(450)로부터 수신한 두 비트의 값을 AND 연산하여 모두 '1'인 경우에만 클록 게이팅(clock gating) 신호로 활용할 수 있다. 즉, 제어 장치(410) 및 FIFO 제어기(450)로부터 수신한 두 비트의 값 중 하나라도 '0'이면 클록이 인가되지 않아서 레지스터(442, 444)의 토글(toggle)이 일어나지 않을 수 있다. 일 실시예에 따른 비교기(446)는 학습 회로(440)에 입력되는 데이터가 유효한 경우에만 연산 동작을 개시하는 역할을 할 수 있다.
일 실시예에 따른 레지스터(442)는 제어 장치(410)로부터 수신한 엣지 시퀀스의 현재 비트를 비교기(446)로부터 수신한 클록 게이팅 신호에 기초하여 저장할 수 있다. 또한, 레지스터(444)는 FIFO 제어기(450)로부터 수신한 가중치 시퀀스의 현재 비트를 비교기(446)로부터 수신한 클록 게이팅 신호에 기초하여 저장할 수 있다.
일 실시예에 따라, 레지스터(442)에 저장된 엣지 시퀀스의 현재 비트는 레지스터(444)에 저장된 가중치 시퀀스의 현재 비트와 곱하기 연산될 수 있다. 곱하기 연산된 결과는, 누산기(448)에 누산되어 다음 연산 결과와 더해질 수 있다. 일 실시예에 따른 누산기(448)는 제어 장치(410)가 엣지 시퀀스의 마지막 비트를 출력할 때까지 연산 결과를 누산할 수 있다. 일 실시예에 따른 학습 회로(440)는 현재 계층에 대한 결과값으로서 누산기(448)에 저장된 최종 결과를 제어 장치(410)로 출력할 수 있다.
일 실시예에 따른 레지스터(442, 444)는 독자적인 목적에 의해 체계적인 동작을 수행하는 하드웨어 소자(예를 들어, 처리 소자(processing element))일 수 있다. 레지스터(442, 444)에 데이터가 저장되고 출력되는 과정에 대해 이하 상세히 설명하기로 한다.
도 5a 내지 5h는 제 1 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 5a 내지 5h를 참조하면, 제 1 실시예에 따른 제어 장치(510)는 학습 회로(580)로 뉴럴 네트워크(예를 들어, 완전 연결 네트워크)의 학습을 위한 데이터를 출력할 수 있다. 제어 장치(510)로부터 출력되는 데이터는 뉴럴 네트워크의 현재 계층에 대한 입력 데이터일 수 있다. 제어 장치(510)로부터 출력되는 현재 계층에 대한 입력 데이터는 현재 계층의 가중치 데이터(540, 550, 560, 570)와 연산될 수 있다. 이러한 연산은 가중치 매트릭스(예를 들어, 4 x 4 크기)와 입력 매트릭스(예를 들어, 4 x 1 크기)의 곱하기 연산일 수 있다. 학습 회로(580)는 복수개의 처리 소자를 이용하여 매트릭스들 사이의 곱하기 연산을 수행할 수 있다. 처리 소자들 간의 데이터 진행 순서는 왼쪽에서 오른쪽으로 순차적으로 진행될 수 있다.
학습 회로(580)는 현재 계층의 출력으로서, 제어 장치(510)로부터 출력되는 데이터와 가중치 데이터(540, 550, 560, 570)와 연산한 결과를 출력할 수 있다. 도 5a 내지 5h에 예시된 연산 동작에서는 4 개의 비트가 학습 회로(580)에 입력되며, 비트값의 유효성을 판단하는 임계값이 0인 것으로 예시되었다.
도 5a를 참조하면, 제어 장치(510)가 학습 회로(580)로 출력하는 대상으로서 압축된 엣지 시퀀스 "427"과 유효성 판별 시퀀스 "101"이 예시되어 있다. 압축된 엣지 시퀀스 "427" 및 유효성 판별 시퀀스 "101"는 인코딩 회로(520)에 의해 생성되어 제어 장치(510) 내의 메모리에 라이트된 것일 수 있다. 제 1 실시예에 따라, 디코딩 회로(530)는 선입선출(first in first out;FIFO) 방식으로 엣지 시퀀스(즉, 압축된 엣지 시퀀스)와 유효성 판별 시퀀스를 메모리로부터 리드하여 출력할 수 있다.
도 5b를 참조하면, 제어 장치(510)로부터 첫번째로 출력될 엣지 시퀀스의 비트 '7'은, 유효성 판별 시퀀스가 가리키는 비트값 '1'에 의해 유효한 것으로 판별되어 학습 회로(580)의 처리 소자에 전달될 수 있다. 이에 따라, 제어 장치(510)로부터 첫번째로 출력되는 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(540)의 유효한 비트 '1'과 곱하기 연산되어 '7'의 값으로 저장될 수 있다.
도 5c를 참조하면, 제어 장치(510)로부터 두번째로 출력될 엣지 시퀀스는, 유효성 판별 시퀀스가 가리키는 비트값 '0'에 의해 무효한 것으로 판별되어 처리 소자에 전달되지 않을 수 있다. 이에 따라, 처리 소자는 가중치 시퀀스(540)와의 곱하기 연산을 수행하지 않을 수 있다. 따라서, 가중치 시퀀스(540)와의 연산 결과는 여전히 '7'로 유지될 수 있다. 한편, 제어 장치(510)로부터 첫번째로 출력된 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(550)와의 곱하기 연산을 위해 인접한 처리 소자로 전달될 수 있다.
도 5d를 참조하면, 제어 장치(510)로부터 세번째로 출력될 엣지 시퀀스는, 유효성 판별 시퀀스가 가리키는 비트값 '0'에 의해 무효한 것으로 판별되어 처리 소자에 전달되지 않을 수 있다. 이에 따라, 처리 소자는 가중치 시퀀스(540)와의 곱하기 연산을 수행하지 않을 수 있다. 따라서, 가중치 시퀀스(540)와의 연산 결과는 여전히 '7'로 유지될 수 있다. 한편, 제어 장치(510)로부터 첫번째로 출력된 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(560)와의 곱하기 연산을 위해 인접한 처리 소자로 전달될 수 있다. 또한, 엣지 시퀀스의 두번째 비트가 무효임을 나타내는 정보는 가중치 시퀀스(550)와의 연산을 위한 처리 소자에 전달될 수 있다.
도 5e를 참조하면, 제어 장치(510)로부터 네번째로 출력될 엣지 시퀀스는, 유효성 판별 시퀀스가 가리키는 비트값 '1'에 의해 유효한 것으로 판별되어 처리 소자에 전달될 수 있다. 이에 따라, 제어 장치(510)로부터 네번째로 출력되는 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(540)의 유효한 비트 '4'와 곱하기 연산되며, 곱하기 연산된 결과값 '16'은 기저장된 중간 결과값인 '7'과 더해져서 최종 결과값 '23'으로 저장될 수 있다. 한편, 제어 장치(510)로부터 첫번째로 출력된 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(570)와의 곱하기 연산을 위해 인접한 처리 소자로 전달될 수 있다. 또한, 엣지 시퀀스의 두번째 비트가 무효임을 나타내는 정보는 가중치 시퀀스(560)와의 연산을 위한 처리 소자에 전달될 수 있다. 또한, 엣지 시퀀스의 세번째 비트가 무효임을 나타내는 정보는 가중치 시퀀스(550)와의 연산을 위한 처리 소자에 전달될 수 있다.
도 5f를 참조하면, 제어 장치(510)로부터 엣지 시퀀스가 모두 출력되었으므로, 가중치 시퀀스(540)와의 연산은 종료되었다. 제어 장치(510)로부터 네번째로 출력된 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(550)의 유효한 비트 '7'와 곱하기 연산되며, 곱하기 연산된 결과값 '28'은 기저장된 중간 결과값인 '14'과 더해져서 최종 결과값 '42'로 저장될 수 있다.
도 5g를 참조하면, 가중치 시퀀스(540, 550)와의 연산은 종료되었다. 제어 장치(510)로부터 네번째로 출력된 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(560)의 유효한 비트 '2'와 곱하기 연산되며, 곱하기 연산된 결과값 '8'은 기저장된 중간 결과값인 '35'와 더해져서 최종 결과값 '43'으로 저장될 수 있다.
도 5h를 참조하면, 가중치 시퀀스(540, 550, 560)와의 연산은 종료되었다. 제어 장치(510)로부터 네번째로 출력된 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(570)의 유효한 비트 '7'와 곱하기 연산되며, 곱하기 연산된 결과값 '28'은 기저장된 중간 결과값인 '14'와 더해져서 최종 결과값 '42'로 저장될 수 있다.
도 5a 내지 5h에 예시된 학습 회로의 연산 수행 과정에서, 최종적으로 출력되는 현재 계층의 연산 결과는 [23, 42, 43, 42]T 이다. 이 같은 연산 결과는 현재 계층의 입력 데이터 [7, 0, 0, 4]T 와 가중치 데이터(540, 550, 560, 570)와의 매트릭스 곱셈 결과와 일치한다.
도 5a 내지 5h를 참조하여 설명한 제 1 실시예에 따르면, 제어 장치(510)로부터 출력되는 유효성 판별 시퀀스는 학습 회로(580) 내의 처리 소자의 동작을 토글링(toggling) 또는 트리거링(trigerring) 시키는 역할을 할 수 있다.
도 6a 내지 6h는 제 2 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 6a 내지 6h를 참조하면, 제 2 실시예에 따른 제어 장치(610)는 학습 회로(640)로 뉴럴 네트워크(예를 들어, 완전 연결 네트워크)의 학습을 위한 데이터를 출력할 수 있다. 제어 장치(610)로부터 출력되는 데이터는 뉴럴 네트워크의 현재 계층에 대한 입력 데이터일 수 있다. 제어 장치(610)로부터 출력되는 현재 계층에 대한 입력 데이터는 현재 계층의 가중치 데이터(650)와 연산될 수 있다. 학습 회로(640)는 처리 소자를 이용하여 매트릭스들 사이의 곱하기 연산을 수행할 수 있다. 학습 회로(640)는 현재 계층의 출력으로서, 제어 장치(610)로부터 출력되는 데이터와 가중치 데이터(650)와 연산한 결과를 출력할 수 있다.
도 6a를 참조하면, 제어 장치(610)가 학습 회로(640)로 출력하는 대상으로서 압축된 엣지 시퀀스 "532427"과 유효성 판별 시퀀스 "110101"이 예시되어 있다. 압축된 엣지 시퀀스 "532427"과 유효성 판별 시퀀스 "110101"는 인코딩 회로(620)에 의해 생성되어 메모리에 라이트된 것일 수 있다. 제 2 실시예에 따라, 디코딩 회로(630)는 선입선출(first in first out;FIFO) 방식으로 압축된 엣지 시퀀스와 유효성 판별 시퀀스를 메모리로부터 리드하여 출력할 수 있다. 제 2 실시예에 따르면, 제어 장치(610)로부터 출력되는 유효성 판별 시퀀스의 비트값이 '0'인 경우, 해당 어드레스에 대응하는 엣지 시퀀스의 비트값이 어드레스 카운터에 입력될 수 있다. 여기서, 학습 회로(640)는 다음 수행할 연산 순서를 해당 어드레스에 대응하는 엣지 시퀀스의 비트값 만큼 점프(jump)할 수 있다. 제 2 실시예에 따르면, 제어 장치(610)로부터 출력되는 유효성 판별 시퀀스의 비트값이 '1'인 경우, 비트값 '1'이 어드레스 카운터에 입력될 수 있다.
도 6b를 참조하면, 제어 장치(610)로부터 첫번째로 출력될 유효성 판별 시퀀스의 비트값은 '1'이다. 제어 장치(610)의 디코딩 회로(630)는 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별할 수 있다.
도 6c를 참조하면, 제어 장치(610)로부터 첫번째로 출력되는 엣지 시퀀스의 비트값 '7'과 가중치 시퀀스(650)로부터 첫번째로 출력되는 비트값 '1'이 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '7'과 가중치 시퀀스(650)의 비트값 '1'을 곱하기 연산하여 '7'의 값을 저장할 수 있다.
또한, 도 6c를 참조하면, 도 6b에서 디코딩 회로(630)가 식별한 '1'의 값이 학습 회로(640)의 어드레스 카운터에 전달될 수 있다. 어드레스 카운터에 전달되는 값은 현재 연산을 수행하는 비트 어드레스로부터 다음 연산을 수행할 비트 어드레스까지의 차이를 의미할 수 있다. 즉, 어드레스 카운터에 '1'의 값이 전달되면 다음 연산에서 1칸 뒤의 비트가 연산에 참여하게 된다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는(즉, 두번째로 출력될) 유효성 판별 시퀀스의 비트값이 '0'임을 식별할 수 있다.
도 6d를 참조하면, 어드레스 카운터에 전달된 '1'의 값에 근거하여, 제어 장치(610)로부터 엣지 시퀀스의 두번째 비트값이 출력되어야 한다. 그러나, 엣지 시퀀스의 두번째 비트값은 유효성 판별 시퀀스가 가리키는 비트값 '0'에 의해 무효한 것으로 판별되어 레지스터(660)에 전달되지 않을 수 있다. 이에 따라 레지스터(660)는 가중치 시퀀스(650)와의 곱하기 연산을 수행하지 않을 수 있다. 따라서, 레지스터(660)에 저장된 값은 여전히 '7'의 값으로 유지될 수 있다.
또한, 도 6c에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '0'임을 식별하였으므로, 도 6b에서의 디코딩 회로(630)는 해당 어드레스에 대응하는 엣지 시퀀스의 비트값 '2'를 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 2칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는(즉, 세번째로 출력될) 유효성 판별 시퀀스의 비트값이 '0'임을 식별할 수 있다.
도 6e를 참조하면, 어드레스 카운터에 전달된 '2'의 값에 근거하여, 가중치 시퀀스(650)로부터 네번째로 출력되는 비트값 '1'이 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '4'와 가중치 시퀀스(650)의 비트값 '1'을 곱하기 연산하여 얻은 값을 기저장된 중간 결과값 '7'과 더하여 '11'의 값으로 저장할 수 있다.
또한, 도 6d에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '0'임을 식별하였으므로, 도 6e에서의 디코딩 회로(630)는 해당 어드레스에 대응하는 엣지 시퀀스의 비트값 '2'를 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 2칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별할 수 있다.
도 6f를 참조하면, 어드레스 카운터에 전달된 '2'의 값에 근거하여, 가중치 시퀀스(650)로부터 여섯번째 비트값이 레지스터에 입력되어야 한다. 그러나, 가중치 시퀀스(650)의 여섯번째 비트값은 '0'으로서 레지스터(660)에 전달되지 않을 수 있다. 이에 따라 레지스터(660)는 곱하기 연산을 수행하지 않을 수 있고, 레지스터(660)에 저장된 값은 여전히 '11'의 값으로 유지될 수 있다.
또한, 도 6e에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별하였으므로, 도 6f에서의 디코딩 회로(630)는 '1'의 값을 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 1칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별할 수 있다.
도 6g를 참조하면, 어드레스 카운터에 전달된 '1'의 값에 근거하여, 가중치 시퀀스(650)로부터 일곱번째로 출력되는 비트값 '4'가 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '3'와 가중치 시퀀스(650)의 비트값 '4'를 곱하기 연산하여 얻은 값을 기저장된 중간 결과값 '11'과 더하여 '23'의 값으로 저장할 수 있다.
또한, 도 6f에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별하였으므로, 도 6g에서의 디코딩 회로(630)는 '1'의 값을 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 1칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다.
도 6h를 참조하면, 어드레스 카운터에 전달된 '1'의 값에 근거하여, 가중치 시퀀스(650)로부터 여덟번째로 출력되는 비트값 '3'이 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '5'와 가중치 시퀀스(650)의 비트값 '3'을 곱하기 연산하여 얻은 값을 기저장된 중간 결과값 '23'과 더하여 '38'의 값으로 저장할 수 있다.
도 6a 내지 6h를 참조하여 설명한 제 2 실시예에 따르면, 제어 장치(610)로부터 출력되는 유효성 판별 시퀀스는 학습 회로(640)의 연산 처리 단계를 점프하기 위해 이용될 수 있다.
도 7은 일 실시예에 따른 제어 방법을 나타내는 흐름도이다.
단계 S710에서, 제어 장치(200)는 완전 연결 네트워크의 현재 계층에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 학습 회로로부터 수신할 수 있다.
단계 S720에서, 제어 장치(200)는 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 압축된 엣지 시퀀스를 구성하는 비트열 중 유효 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성할 수 있다.
단계 S730에서, 제어 장치(200)는 압축된 엣지 시퀀스 및 유효성 판별 시퀀스를 메모리에 라이트할 수 있다.
단계 S740에서, 제어 장치(200)는 유효 비트가 학습 회로로 순차적으로 출력되도록, 유효성 판별 시퀀스에 기초하여 압축된 엣지 시퀀스를 메모리로부터 순차적으로 리드할 수 있다.
상기 살펴 본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

Claims (19)

  1. 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치에 있어서,
    메모리;
    상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하고, 상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하고, 상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 상기 메모리에 라이트(write)하는 인코딩 회로; 및
    상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 디코딩 회로;
    를 포함하는, 제어 장치.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 유효 비트는 소정의 임계값보다 큰 비트이고, 상기 무효 비트는 상기 소정의 임계값보다 크지 않은 비트인, 제어 장치.
  3. 제 1 항에 있어서,
    상기 인코딩 회로는 상기 연속하는 무효 비트의 개수를 하나의 비트값으로 표현함으로써 상기 압축된 엣지 시퀀스를 생성하는, 제어 장치.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 압축된 엣지 시퀀스 내의 유효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '1'이고, 상기 압축된 엣지 시퀀스 내의 무효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '0'인, 제어 장치.
  5. 제 1 항에 있어서,
    상기 디코딩 회로는 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스의 출력 대기 비트가 유효한지 여부를 결정하고, 상기 출력 대기 비트가 무효한 경우 상기 출력 대기 비트의 리드를 스킵(skip)하고, 상기 출력 대기 비트가 유효한 경우 상기 출력 대기 비트를 리드하는, 제어 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 수행을 위한 클록 게이팅 신호(clock gating signal)로 이용되는, 제어 장치.
  7. 제 1 항에 있어서,
    상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 처리 단계를 점프(jump)하기 위해 이용되는, 제어 장치.
  8. 제 1 항에 있어서,
    상기 제어 장치로부터 순차적으로 출력되는 상기 유효 비트는 상기 학습 회로에 저장된 상기 완전 연결 네트워크의 다음 계층의 가중치 비트와 순차적으로 연산되는, 제어 장치.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 제어 장치는 FIFO(first in first out) 방식으로 데이터를 입출력하는, 제어 장치.
  10. 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치의 제어 방법에 있어서,
    상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하는 단계;
    상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하는 단계;
    상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 메모리에 라이트(write)하는 단계; 및
    상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 단계를 포함하는, 제어 방법.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10 항에 있어서,
    상기 유효 비트는 소정의 임계값보다 큰 비트이고, 상기 무효 비트는 상기 소정의 임계값보다 크지 않은 비트인, 제어 방법.
  12. 제 10 항에 있어서,
    상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 생성하는 단계는,
    상기 연속하는 무효 비트의 개수를 하나의 비트값으로 표현함으로써 상기 압축된 엣지 시퀀스를 생성하는 단계를 포함하는, 제어 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10 항에 있어서,
    상기 압축된 엣지 시퀀스 내의 유효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '1'이고, 상기 압축된 엣지 시퀀스 내의 무효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '0'인, 제어 방법.
  14. 제 10 항에 있어서,
    상기 리드하는 단계는,
    상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스의 출력 대기 비트가 유효한지 여부를 결정하는 단계;
    상기 출력 대기 비트가 무효한 경우 상기 출력 대기 비트의 리드를 스킵(skip)하는 단계; 및
    상기 출력 대기 비트가 유효한 경우 상기 출력 대기 비트를 리드하는 단계를 포함하는, 제어 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10 항에 있어서,
    상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 수행을 위한 클록 게이팅 신호(clock gating signal)로 이용되는, 제어 방법.
  16. 제 10 항에 있어서,
    상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 처리 단계를 점프(jump)하기 위해 이용되는, 제어 방법.
  17. 제 10 항에 있어서,
    상기 제어 장치로부터 순차적으로 출력되는 상기 유효 비트는 상기 학습 회로에 저장된 상기 완전 연결 네트워크의 다음 계층의 가중치 비트와 순차적으로 연산되는, 제어 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10 항에 있어서,
    상기 제어 방법은 FIFO(first in first out) 방식으로 데이터를 입출력하는, 제어 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180020014A 2018-02-20 2018-02-20 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 Active KR102694572B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180020014A KR102694572B1 (ko) 2018-02-20 2018-02-20 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치
US16/970,859 US11755904B2 (en) 2018-02-20 2019-02-20 Method and device for controlling data input and output of fully connected network
PCT/KR2019/002050 WO2019164250A1 (ko) 2018-02-20 2019-02-20 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180020014A KR102694572B1 (ko) 2018-02-20 2018-02-20 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190099930A KR20190099930A (ko) 2019-08-28
KR102694572B1 true KR102694572B1 (ko) 2024-08-13

Family

ID=67686974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180020014A Active KR102694572B1 (ko) 2018-02-20 2018-02-20 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치

Country Status (3)

Country Link
US (1) US11755904B2 (ko)
KR (1) KR102694572B1 (ko)
WO (1) WO2019164250A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049013B1 (en) 2018-04-20 2021-06-29 Perceive Corporation Encoding of weight values stored on neural network inference circuit
US10977338B1 (en) 2018-04-20 2021-04-13 Perceive Corporation Reduced-area circuit for dot product computation
US11210586B1 (en) 2018-04-20 2021-12-28 Perceive Corporation Weight value decoder of neural network inference circuit
US10863127B1 (en) 2018-08-21 2020-12-08 Perceive Corporation Compressive sensing based image capture using multi-lens array
KR102788804B1 (ko) * 2019-12-27 2025-03-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102787375B1 (ko) 2019-12-27 2025-03-27 삼성전자주식회사 신경망의 데이터 입력 및 출력을 제어하는 제어 방법 및 장치
US11526965B2 (en) * 2020-09-28 2022-12-13 Robert Bosch Gmbh Multiplicative filter network
KR102339896B1 (ko) * 2021-05-24 2021-12-16 리벨리온 주식회사 프로세싱 엘리먼트, 이의 동작 방법, 및 이를 포함하는 가속기
KR20240103490A (ko) 2022-12-27 2024-07-04 주식회사 케이티 차량의 장애 발생을 예측하는 서버 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018193380A1 (en) 2017-04-17 2018-10-25 Cerebras Systems Inc. Fabric vectors for deep learning acceleration
US20190121639A1 (en) 2017-10-20 2019-04-25 Graphcore Limited Processing in neural networks

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532693A (en) 1994-06-13 1996-07-02 Advanced Hardware Architectures Adaptive data compression system with systolic string matching logic
US5818368A (en) 1997-04-18 1998-10-06 Premier Research, Llc Method and apparatus for lossless digital data compression
US20060230008A1 (en) * 2005-04-08 2006-10-12 Robin Burgener Artificial neural network guessing method and game
EP1710735A1 (en) * 2005-04-08 2006-10-11 20Q.net Inc. Artificial neural network guessing method and game
US7840861B2 (en) 2006-06-27 2010-11-23 Silicon Image, Inc. Scan-based testing of devices implementing a test clock control structure (“TCCS”)
JP5174357B2 (ja) 2006-01-20 2013-04-03 シリコン イメージ，インコーポレイテッド 組込み自己試験及びデバッグ機能を有する同時コードチェッカー及びハードウエア効率的高速ｉ／ｏ
US8255655B2 (en) 2009-10-02 2012-08-28 Sandisk Technologies Inc. Authentication and securing of write-once, read-many (WORM) memory devices
EP3229473B1 (en) 2011-04-15 2020-11-25 BlackBerry Limited Methods and devices for coding and decoding the position of the last significant coefficient
US9769536B2 (en) 2014-12-26 2017-09-19 System73, Inc. Method and system for adaptive virtual broadcasting of digital content
KR101806833B1 (ko) 2015-12-31 2017-12-11 인천대학교 산학협력단 인공 신경망의 희소 활동을 활용하는 동기 직접 회로의 소비 전력 절감 장치 및 방법
US20180096249A1 (en) * 2016-10-04 2018-04-05 Electronics And Telecommunications Research Institute Convolutional neural network system using adaptive pruning and weight sharing and operation method thereof
KR102683757B1 (ko) * 2018-02-20 2024-07-10 삼성전자주식회사 심층 신경망의 학습을 수행시키는 방법 및 그에 대한 장치
JP7162074B2 (ja) * 2018-04-27 2022-10-27 アリババ グループ ホウルディング リミテッド 機械学習を行うための方法及びシステム
KR102787375B1 (ko) * 2019-12-27 2025-03-27 삼성전자주식회사 신경망의 데이터 입력 및 출력을 제어하는 제어 방법 및 장치
KR20210086233A (ko) * 2019-12-31 2021-07-08 삼성전자주식회사 완화된 프루닝을 통한 행렬 데이터 처리 방법 및 그 장치
KR20220116270A (ko) * 2020-02-07 2022-08-22 주식회사 히타치하이테크 학습 처리 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018193380A1 (en) 2017-04-17 2018-10-25 Cerebras Systems Inc. Fabric vectors for deep learning acceleration
US20190121639A1 (en) 2017-10-20 2019-04-25 Graphcore Limited Processing in neural networks

Also Published As

Publication number Publication date
US20200380363A1 (en) 2020-12-03
KR20190099930A (ko) 2019-08-28
US11755904B2 (en) 2023-09-12
WO2019164250A1 (ko) 2019-08-29

Similar Documents

Publication Publication Date Title
KR102694572B1 (ko) 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치
Jaafra et al. Reinforcement learning for neural architecture search: A review
US12001954B2 (en) Method of performing learning of deep neural network and apparatus thereof
KR102532749B1 (ko) 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치
US11853886B2 (en) Recurrent neural network and training process for same
KR102787375B1 (ko) 신경망의 데이터 입력 및 출력을 제어하는 제어 방법 및 장치
CN114139637B (zh) 多智能体信息融合方法、装置、电子设备及可读存储介质
CA3014632A1 (en) Recurrent networks with motion-based attention for video understanding
CN110674919A (zh) 用于构建图像模型的方法和设备
CN113537455A (zh) 突触权重训练方法、电子设备和计算机可读介质
CN113269313A (zh) 突触权重训练方法、电子设备和计算机可读介质
CN110909860A (zh) 神经网络参数初始化的方法和装置
US11568303B2 (en) Electronic apparatus and control method thereof
US20220212660A1 (en) Method and System for Determining Weights for an Attention Based Method for Trajectory Prediction
KR102090109B1 (ko) 학습 및 추론 장치 및 그 방법
CN113239077A (zh) 一种基于神经网络的搜索方法、系统和计算机可读存储介质
EP4575904A1 (en) Method and apparatus for parallel training of neural network model
CN112668720A (zh) 自适应模型构建方法、装置、电子设备和存储介质
CN119648747B (zh) 基于关键点和模仿学习的动作预测方法、终端及存储介质
JP7746539B2 (ja) モデル拡張を用いた自己教師あり学習
KR20240136705A (ko) 2개의 얼굴이미지를 이용한 딥러닝 기반 합성얼굴 생성 장치 및 방법
KR20230137686A (ko) 뉴럴 네트워크의 추론 단계에서의 미분 계산 방법 및 장치
KR20250077340A (ko) 사람의 개입 없이 다양한 태스크를 처리하기 위한 목표 조건부 강화 학습 방법 및 장치
CN119068231A (zh) 一种视觉导航模型训练方法、系统、设备和可读存储介质
CN117782106A (zh) 一种基于脉冲神经网络改进的深度路径规划方法及系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180220

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210219

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180220

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231025

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240524

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240807

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240808

End annual number: 3

Start annual number: 1

PG1601 Publication of registration