RU2427914C1 - Method of intellectual information processing in neuron network - Google Patents
Method of intellectual information processing in neuron network Download PDFInfo
- Publication number
- RU2427914C1 RU2427914C1 RU2010139165/08A RU2010139165A RU2427914C1 RU 2427914 C1 RU2427914 C1 RU 2427914C1 RU 2010139165/08 A RU2010139165/08 A RU 2010139165/08A RU 2010139165 A RU2010139165 A RU 2010139165A RU 2427914 C1 RU2427914 C1 RU 2427914C1
- Authority
- RU
- Russia
- Prior art keywords
- network
- single images
- layers
- layer
- shifts
- Prior art date
Links
- 210000002569 neuron Anatomy 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000010365 information processing Effects 0.000 title abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000036039 immunity Effects 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 210000000225 synapse Anatomy 0.000 description 23
- 230000000306 recurrent effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 7
- 230000001934 delay Effects 0.000 description 6
- 230000001737 promoting effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.The invention relates to bionics, modeling of functional aspects of a person and can find application in computer technology for the construction of intelligent machines and systems.
В настоящее время известны способы интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. М.: Издательский дом «Вильямс», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.).Currently, there are known methods of intelligent information processing in a neural network, used for approximation, classification, pattern recognition, speech processing, forecasting, identification, estimation of production processes, associative control and for solving other creative tasks (Khaikin S. Neural networks: full course, 2nd edition, Translated from English by M .: Williams Publishing House, 2006. - 1104 p .; AI Galushkin, Theory of Neural Networks, Book 1: Textbook for universities / General ed. A.I .Galushkina. - M .: IPRZhR, 2000 .-- 416 p.).
Однако этим способам характерны узкие возможности по запоминанию структурно сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Эти способы не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью.However, these methods are characterized by narrow capabilities for storing structurally complex time-varying signals, their recognition, association with other signals, retrieving from the network memory and reproducing in its original form. These methods do not allow, when processing information, to solve a wide range of problems with the same neural network.
Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в двухслойной нейронной сети с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с учетом текущих состояний последних. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, с.59-67).The closest analogue of the invention is a method of intelligent information processing in a two-layer neural network with feedbacks that close two-layer circuits with a delay time of single images less than the immunity time of network neurons after their excitation. According to it, the signal is fed into the network after decomposition into components in a basis consistent with the input layer of the network. In this case, each component is converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component before being fed into the network. The signal is represented on the network in the form of consecutive sets of single images in accordance with predefined rules for its recognition, taking into account the inverse recognition results. When transferring sets of single images from layer to layer, they are shifted along the layers, taking into account the current states of the latter. Recognition results are stored on network elements. As processing results, sequential sets of single images are used on the output layer of the network after the reverse transformation into the corresponding source signals (Osipov V.Yu. Associative Intelligent Machine / Information Technologies and Computing Systems. No. 2, 2010, pp. 59-67).
Недостатком этого способа является то, что сдвиги совокупностей единичных образов вдоль слоев осуществляют с постоянными параметрами сдвигов на всем пространстве слоев. Не учитывается возможность достижения максимума ассоциативного взаимодействия между единичными образами в сети. Это ограничивает функциональные возможности способа по интеллектуальной обработке информации.The disadvantage of this method is that the shifts of the sets of single images along the layers are carried out with constant parameters of the shifts in the entire space of the layers. The possibility of reaching the maximum of associative interaction between individual images in the network is not taken into account. This limits the functionality of the method for intellectual information processing.
Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.The objective of the invention is to expand the functionality of intelligent information processing in a neural network.
Технический результат от использования изобретения заключается в повышении интеллектуальности обработки информации в нейронной сети, улучшении запоминания, распознавания сигналов и извлечения их из сети.The technical result from the use of the invention is to increase the intelligence of processing information in a neural network, to improve the memorization, recognition of signals and their extraction from the network.
Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом их текущих состояний, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению сдвиги совокупностей единичных образов вдоль слоев осуществляют с изменяемыми параметрами сдвигов и продвигают совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром.The problem is solved in that in the known method of intelligent processing of information in a neural network, which consists in supplying a two-layer network with feedbacks that close two-layer circuits with a delay time of single images less than the immunity time of the network neurons after their excitation, a signal decomposed into components in the basis matched with the input network layer, with each component transformed into a sequence of single images with a repetition rate as a predefined function from the amplitude of the component, representing the signal in the form of successive sets of single images in accordance with predefined recognition rules taking into account the inverse recognition results, shifts of sets of single images along the layers taking into account their current states, storing recognition results on network elements, using as processing results successive sets of single images on the output layer of the network after the inverse transformation to the corresponding output signals, the invention shifts aggregates unit images carried out along the layers having variable shifts and promote plurality of unit images along the layers in a spiral with a variable diameter.
Новым существенным признаком изобретения является то, что сдвиги совокупностей единичных образов вдоль слоев предлагается осуществлять с изменяемыми параметрами сдвигов и продвигать совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром. Это позволяет повысить ассоциативное взаимодействие единичных образов в нейронной сети и расширить функциональные возможности по интеллектуальной обработке информации в ней.A new significant feature of the invention is that it is proposed to carry out shifts of sets of single images along layers with variable parameters of shifts and to promote sets of single images along layers in a spiral with a variable diameter. This allows you to increase the associative interaction of single images in a neural network and expand the functionality for intellectual processing of information in it.
Сущность изобретения поясняется фиг.1÷6.The invention is illustrated in figure 1 ÷ 6.
На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.Figure 1 shows the structural diagram of a two-layer recurrent neural network that implements the proposed method, where 1, 5 - the first, second layers of neurons; 2, 6 - the first, second blocks of unit delays; 3, 4 - the first, second blocks of dynamic synapses; 7 - control unit synapses.
На фиг.2 а, б представлена линейная схема продвижения совокупностей единичных образов вдоль слоев в двухслойной рекуррентной сети. Эту схему продвижения в дальнейшем будем называть «Бегущая строка».Figure 2 a, b presents a linear diagram of the promotion of sets of single images along the layers in a two-layer recurrent network. This scheme of promotion in the future will be called "Running line".
На фиг.3 приведена схема продвижения в двухслойной рекуррентной сети совокупностей единичных образов по спирали с постоянным диаметром.Figure 3 shows the promotion scheme in a two-layer recurrent network of sets of single images in a spiral with a constant diameter.
На фиг.4 приведен пример схемы продвижения в двухслойной рекуррентной сети совокупностей единичных образов по спирали с изменяемым диаметром.Figure 4 shows an example of a promotion scheme in a two-layer recurrent network of sets of single images in a spiral with a variable diameter.
На фиг.5 приведены результаты оценки эффективности двухслойных рекуррентных сетей со схемой продвижения совокупностей единичных образов «Бегущая строка» и схемой «Спираль 30».Figure 5 shows the results of evaluating the effectiveness of two-layer recurrent networks with a scheme for promoting sets of single images "Running line" and the scheme "Spiral 30".
На фиг.6 показана зависимость эффективности двухслойных рекуррентных нейронных сетей со спиральными схемами продвижения совокупностей единичных образов от числа нейронов в слоях сети.Figure 6 shows the dependence of the efficiency of two-layer recurrent neural networks with spiral schemes for promoting sets of single images on the number of neurons in the network layers.
Способ осуществляется следующим образом.The method is as follows.
Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.Consider it on the example of a neural network, a structural diagram of which is presented in figure 1.
Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают на этот слой.An input signal, decomposed into components in a basis consistent with the
После подачи на первый вход первого слоя нейронов такого сигнала на его выходе имеют место последовательные совокупности единичных образов, несущие всю информацию о входном сигнале.After applying such a signal to the first input of the first layer of neurons at its output, there are successive sets of single images that carry all the information about the input signal.
После задержки в первом блоке единичных задержек 2 последовательные совокупности единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ, в общем случае со всеми нейронами второго слоя нейронов 5.After a delay in the first unit of
Особенность динамических синапсов сети в следующем. Амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умноженной на вес wij(t) синапса. Веса wij(t) синапсов определяются через произведение их весовых коэффициентов kij(t) и функций ослабления β(rij(t)),A feature of dynamic network synapses is as follows. The amplitude of a single image at the output of each synapse is equal to the amplitude of the input single image, multiplied by the weight w ij (t) of the synapse. The weights w ij (t) of the synapses are determined through the product of their weights k ij (t) and the attenuation functions β (r ij (t)),
Весовые коэффициенты, kij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Значения весовых коэффициентов могут быть определены по известным правилам (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, с.59-67).Weighting factors, k ij (t), vary depending on the effects on the synapses of a single image and act as elements of a long-term network memory. When single images pass through synapses, they remove information about previous effects from them and leave information about their appearance through changes in weight coefficients. The values of weights can be determined according to well-known rules (V. Osipov, Associative Intelligent Machine / Information Technologies and Computing Systems. No. 2, 2010, pp. 59-67).
Каждая из связей (синапсов) имеет свое значение функции ослабления βij(rij) единичных образов, зависящее от rij - удаленности связываемых через синапсы нейронов (расстояний между ними на плоскости X, Y). Полагается, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю.Each of the connections (synapses) has its own value of the attenuation function β ij (r ij ) of individual images, depending on r ij - the distance of neurons connected via synapses (distances between them on the X, Y plane). It is believed that the distance between the interacting layers of the neural network tends to zero.
Функция β(rij) может определяться как:The function β (r ij ) can be defined as:
где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; α - положительный постоянный коэффициент; N - число нейронов в каждом слое сети.where h is the degree of the root, the higher it is, the wider the associative spatial interaction in the network; α is a positive constant coefficient; N is the number of neurons in each layer of the network.
Входящую в (1) величину rij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:Included in (1), the value of r ij in units of neurons, taking into account the possible spatial shifts of the aggregates of individual images along the network layers, can be expressed as:
Δхij, Δуij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов соответственно по координатам X, Y; L, М - число соответственно столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.Δх ij , Δу ij - the projection of the connection of the j-th neuron with the i-th on the X, Y axis without taking into account spatial shifts; d, q are the values of unit shifts in X, Y coordinates, respectively; L, M - the number of columns and rows, respectively, into which each layer of the neural network is divided due to shifts.
Изменяя Δхij, Δуij на соответствующие значения nij·d и mij·q, можно менять rij и направление потока совокупностей единичных образов вдоль слоев сети.By changing Δх ij , Δу ij by the corresponding values of n ij · d and m ij · q, we can change r ij and the flow direction of the sets of single images along the network layers.
Такие сдвиги совокупностей единичных образов вдоль слоев реализуются через управление динамическими синапсами с блока управления синапсами 7.Such shifts of the aggregates of single images along the layers are realized through the control of dynamic synapses from the synapse control unit 7.
Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов в нем сначала анализируются состояния первого и второго слоев. В случае когда на выходе первого или второго слоя имеет место совокупность единичных образов, которую нельзя передать на другой слой по коротким связям (синапсам с минимальными функциями β(rij(0)) ослабления единичных образов) из-за нахождения соответствующих нейронов этого слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.To make a decision in the synapse control unit about shifting the next set of single images, it first analyzes the states of the first and second layers. In the case when at the output of the first or second layer there is a set of unit images that cannot be transferred to another layer by short connections (synapses with minimal functions β (r ij (0)) of attenuation of single images) due to the finding of the corresponding neurons of this layer in states of immunity, carry out a shift of this aggregate. In the case where there are no obstacles to transmitting the totality of single images via short connections, it is not shifted.
В общем случае смещенные совокупности единичных образов с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.In the general case, the displaced sets of single images from the output of the first block of
Заметим, что все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем имеемая сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.Note that all single images received on the same neuron at different synapses are summed up. When this sum is exceeded a predetermined threshold of neuron excitation, it is excited and a single image is formed at its output. Then the available amount is reset, and the neuron itself then goes into the immunity state of the input signals. It contains the specified time, the same for all neurons of the network, which is greater than the total delay of single images in
Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1.Successive sets of single images from the output of the
С учетом этого поступающие на первый слой нейронов 1 прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности.With this in mind, the direct and inverse aggregates of single images arriving at the first layer of
За счет приоритетности коротких связей в нейронной сети между входом и выходом сети, реализующей предлагаемый способ, легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.Due to the priority of short connections in the neural network between the input and output of the network that implements the proposed method, an unambiguous correspondence between the components of the input and output signals is easily established.
С учетом этого соответствия по номерам нейронов, формируемых последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов соответственно устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например их цифровой синтез по известным параметрам.Given this correspondence, the frequency and spatial characteristics of the components of the initial signal are determined from the numbers of neurons formed by the sequence of single images at the output of the device. According to the repetition frequencies and relative delays of individual images, the amplitudes and phases of the components of the original signal are respectively set. Then reproduce the components of the original signals and by adding them restore the original, for example, speech, visual and other signals. To determine the amplitudes of the components of the source signal, the current number of unit images falling into a predetermined time interval is determined. To reproduce the components of the source signals, we apply, for example, their digital synthesis according to known parameters.
Согласно изобретению сдвиги совокупностей единичных образов вдоль слоев предлагается осуществлять с изменяемыми параметрами nij·d и mij·q сдвигов и продвигать совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром. Для пояснения этого решения рассмотрим сначала схему продвижения совокупностей единичных образов в двухслойной рекуррентной сети с их однонаправленными постоянными сдвигами d вдоль слоев. На фиг.2а показан путь продвижения совокупностей единичных образов между слоями для этого случая.According to the invention, it is proposed to carry out shifts of sets of single images along the layers with variable parameters n ij · d and m ij · q of shifts and to promote sets of single images along the layers in a spiral with a variable diameter. To clarify this solution, we first consider the scheme of advancing sets of single images in a two-layer recurrent network with their unidirectional constant shifts d along the layers. On figa shows the path of promotion of sets of single images between the layers for this case.
За счет цикличности обмена информацией первого слоя со вторым все пространство слоев (фиг.2а, б) разбивается на L полей. На фиг.2б большой стрелкой показано продвижение совокупностей единичных образов вдоль первого и второго слоев. В соответствии с фиг.2 входные сигналы в виде последовательных совокупностей единичных образов подаются на первое поле первого слоя, продвигаются по сети в указанных направлениях, ассоциируются друг с другом. При этом входные последовательные совокупности единичных образов преобразуются в параллельные, а снимаются с сети после ассоциаций снова как последовательные. Имеет место схема продвижения этих совокупностей в виде «Бегущей строки». За счет сдвигов совокупностей единичных образов вдоль слоев по двум координатам можно реализовать продвижение их по спирали (фиг.3) с постоянным диаметром. Недостатком всех этих путей продвижения совокупностей единичных образов в двухслойной нейронной сети выступает то, что они не обеспечивают максимального ассоциативного взаимодействия единичных образов в сети. Это ограничивает возможности по запоминанию, распознаванию и извлечению сигналов из нейронной сети.Due to the cyclical exchange of information of the first layer with the second, the entire space of layers (figa, b) is divided into L fields. On figb large arrow shows the progress of sets of single images along the first and second layers. In accordance with figure 2, the input signals in the form of consecutive sets of single images are applied to the first field of the first layer, move through the network in these directions, are associated with each other. In this case, the input sequential sets of single images are converted to parallel, and removed from the network after associations again as sequential. There is a scheme for promoting these aggregates in the form of a “running line”. Due to shifts of the aggregates of single images along the layers along two coordinates, it is possible to realize their advance in a spiral (Fig. 3) with a constant diameter. The disadvantage of all these ways of promoting aggregates of single images in a two-layer neural network is that they do not provide the maximum associative interaction of single images in the network. This limits the ability to memorize, recognize, and extract signals from the neural network.
Осуществление сдвигов совокупностей единичных образов вдоль слоев с изменяемыми параметрами сдвигов и продвижения совокупностей единичных образов вдоль слоев по спирали с изменяемым диаметром позволяет устранить этот недостаток. Пример схемы продвижения в двухслойной рекуррентной сети совокупностей единичных образов по спирали с изменяемым диаметром приведен на фиг.4.The implementation of shifts of sets of single images along layers with variable parameters of shifts and the advancement of sets of single images along layers in a spiral with a variable diameter eliminates this drawback. An example of a promotion scheme in a two-layer recurrent network of sets of single images in a spiral with a variable diameter is shown in Fig.4.
Для доказательства преимущества предлагаемого способа по сравнению с известными решениями исследовались ассоциативные возможности нейронных сетей со схемами Sz продвижения совокупностей единичных образов вдоль слоев в виде «Бегущей строки» (фиг.2) и спиралей с постоянными диаметрами 12, 30, 60, 120 нейронов. Спиральные схемы с такими диаметрами будем называть в дальнейшем «Спираль 12», «Спираль 30», «Спираль 60», «Спираль 120». Все размеры исследуемых нейронных сетей приведены в таблице. В числителях дробей таблицы дано произведение длины слоя на его ширину в единицах нейронов, а в знаменателях - произведение длины строки (диаметра спирали) в единицах столбцов размером d=6 на число строк (витков) шириной q=6.To prove the advantages of the proposed method in comparison with the known solutions, the associative capabilities of neural networks with schemes S z for advancing sets of single images along the layers in the form of a “Running line” (figure 2) and spirals with constant diameters of 12, 30, 60, 120 neurons were studied. Spiral circuits with such diameters will be called hereinafter “
Оценка эффективности нейронных сетей осуществлялась по показателюAssessment of the effectiveness of neural networks was carried out according to the indicator
пространственно-временной связи между единичными образами в сети, гдеspatio-temporal connection between single images in a network, where
βij(rij(Sz) - функция ослабления единичного образа при передаче его от i-го до j-го нейрона при Sz схеме;β ij (r ij (S z ) - the attenuation function of a single image when transferring it from the i-th to the j-th neuron in the S z circuit;
tij - время, равное сумме отдельных тактов работы сети, за которые единичный образ от i-го нейрона дойдет до j-го нейрона в плоскости одного и того же слоя.t ij is the time equal to the sum of the individual clock cycles of the network, during which a single image from the i-th neuron will reach the j-th neuron in the plane of the same layer.
Время tij в зависимости от структуры сети при одном и том же расстоянии rij может существенно отличаться. Например, кратчайшие расстояния между нейронами первого и L+1 полей слоев сети на фиг.3 незначительны, однако время преодоления их единичными образами велико. Единичные образы продвигаются вдоль сети не по кратчайшим путям, а в соответствии с указанным направлением. Учитывая, что функция βij(rij) безразмерна и принимает значения только от нуля до единицы, с физической точки зрения используемый показатель можно трактовать также как время активного взаимодействия между единичными образами в плоскостях нейронной сети. Чем меньше ослабление и чем на большем интервале времени осуществляется взаимодействие единичных образов, тем шире ассоциативные возможности сети.The time t ij , depending on the network structure at the same distance r ij, can differ significantly. For example, the shortest distances between the neurons of the first and L + 1 fields of the network layers in Fig. 3 are insignificant, however, the time for overcoming them with single images is long. Single images do not move along the network along the shortest paths, but in accordance with the indicated direction. Considering that the function β ij (r ij ) is dimensionless and takes values only from zero to unity, from a physical point of view, the used indicator can also be interpreted as the time of active interaction between unit images in the planes of a neural network. The less attenuation and the greater the interaction of single images over a longer time interval, the wider the associative capabilities of the network.
В интересах оценки принятого показателя эффективности (3) этих структур была разработана программная модель двухслойной рекуррентной нейронной сети с управляемыми синапсами. Полученные зависимости
Из анализа фиг.5 видно, что наилучшими ассоциативными возможностями обладает сеть со спиральной схемой продвижения совокупностей единичных образов вдоль слоев. Для функции (1) с h=4, α=40 структура «Спираль 30» с диаметром спирали D=30 нейронов при десяти витках, каждый шириной по 6 нейронов, с N=1800 и d=q=6, обеспечивает выигрыш по сравнению с «Бегущей строкой» длиной 300 и шириной 6 нейронов на 29%.From the analysis of Fig. 5 it is seen that the network with a spiral scheme for promoting sets of single images along the layers has the best associative capabilities. For function (1) with h = 4, α = 40, the “Spiral 30” structure with a spiral diameter D = 30 neurons at ten turns, each 6 neurons wide, with N = 1800 and d = q = 6, provides a gain in comparison with a creeping
Сравнение спиральных структур с диаметрами 12, 30, 60, 120 с шириной витков по 6 нейронов при d×q=36 позволило установить следующую особенность. С ростом размеров сети спиральные структуры с меньшим D начинают уступать по эффективности структурам, у которых диаметр больше. На фиг.6 видно, что спиральная структура с D=30 имеет преимущество над структурой с D=60 только для слоев сети с N меньше 1440 нейронов. Затем она проигрывает позиции. Структура с D=12 при N=144 лучше всех. Однако для РНС с N=360 ее эффективность уже ниже, чем у структуры с D=30.A comparison of spiral structures with diameters of 12, 30, 60, 120 with a turn width of 6 neurons at d × q = 36 made it possible to establish the following feature. As the network grows in size, spiral structures with lower D begin to be inferior in efficiency to structures with a larger diameter. Figure 6 shows that the spiral structure with D = 30 has an advantage over the structure with D = 60 only for network layers with N less than 1440 neurons. Then she loses the position. A structure with D = 12 at N = 144 is the best. However, for an RNS with N = 360, its efficiency is already lower than that of a structure with D = 30.
Учитывая, что поступающие в нейронную сеть сигналы заполняют ее и покидают постепенно, только схема продвижения совокупностей единичных образов вдоль ее слоев по спирали с изменяемым диаметром может обеспечить наилучшие ассоциативные возможности сети. Наличие же повышенных ассоциативных возможностей у нейронной сети расширяет в целом ее функциональные возможности по запоминанию, распознаванию и извлечению сигналов из сети. Преимущества интеллектуальной обработки сигналов в рекуррентных нейронных сетях со спиральными структурами с изменяемым диаметром спирали, по сравнению с сетями с постоянными параметрами сдвигов совокупностей единичных образов вдоль слоев, также были подтверждены фактическими результатами их обработки на исследуемых сетях после обучения на одних и тех же примерах.Considering that the signals entering the neural network fill it and leave gradually, only the scheme for advancing sets of single images along its layers in a spiral with a variable diameter can provide the best associative capabilities of the network. The presence of increased associative capabilities of a neural network expands in general its functional capabilities for storing, recognizing and extracting signals from the network. The advantages of intelligent signal processing in recurrent neural networks with spiral structures with a variable spiral diameter, compared with networks with constant parameters of the shifts of sets of single images along the layers, were also confirmed by the actual results of their processing on the studied networks after training on the same examples.
Способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек нейронной сети, реализующей способ, применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов и блок управления ими могут быть реализованы специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.A method of intelligent information processing in a neural network can be implemented using a well-known element base. As the neurons of the layers and elements of the unit delays in the units of the unit delays of the neural network that implements the method, waiting multivibrators are applicable. In this case, the waiting multivibrators in the unit of single delays should be started not on the leading, but on the trailing edge of the input pulse. Dynamic synapse blocks and their control unit can be implemented by specialized processors, programmable integrated circuits, operating in accordance with the rules discussed above.
Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.The method can also be implemented by emulating a two-layer recurrent neural network with controlled synapses on modern computers.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010139165/08A RU2427914C1 (en) | 2010-09-16 | 2010-09-16 | Method of intellectual information processing in neuron network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010139165/08A RU2427914C1 (en) | 2010-09-16 | 2010-09-16 | Method of intellectual information processing in neuron network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2427914C1 true RU2427914C1 (en) | 2011-08-27 |
Family
ID=44756893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2010139165/08A RU2427914C1 (en) | 2010-09-16 | 2010-09-16 | Method of intellectual information processing in neuron network |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2427914C1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2483356C1 (en) * | 2011-12-06 | 2013-05-27 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2502133C1 (en) * | 2012-07-27 | 2013-12-20 | Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук | Method for intelligent information processing in neural network |
| RU2514931C1 (en) * | 2013-01-14 | 2014-05-10 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2553074C1 (en) * | 2014-01-17 | 2015-06-10 | Закрытое акционерное общество "СПИИРАН-Научно-техническое бюро высоких технологий" | Method for intelligent information processing in neural network |
| RU2801063C1 (en) * | 2023-03-20 | 2023-08-01 | Николай Александрович Соколов | Method for automated classification of search objects in multichannel magnetometric system based on artificial neural network |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2045778C1 (en) * | 1990-06-11 | 1995-10-10 | Институт кибернетики им.В.М.Глушкова АН Украины | Device for simulating neuron networks |
| US6363369B1 (en) * | 1997-06-11 | 2002-03-26 | University Of Southern California | Dynamic synapse for signal processing in neural networks |
| RU2000111888A (en) * | 2000-05-12 | 2002-03-27 | Военный университет ВПВО ВС РФ | NEURAL NETWORK DEVICE FOR SOLVING COMBINATION OPTIMIZATION PROBLEMS |
| US7092923B2 (en) * | 2001-11-26 | 2006-08-15 | Exploitation Of Next Generation Co. Ltd. | Synapse element with learning function and semiconductor integrated circuit device including the synapse element |
-
2010
- 2010-09-16 RU RU2010139165/08A patent/RU2427914C1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2045778C1 (en) * | 1990-06-11 | 1995-10-10 | Институт кибернетики им.В.М.Глушкова АН Украины | Device for simulating neuron networks |
| US6363369B1 (en) * | 1997-06-11 | 2002-03-26 | University Of Southern California | Dynamic synapse for signal processing in neural networks |
| RU2000111888A (en) * | 2000-05-12 | 2002-03-27 | Военный университет ВПВО ВС РФ | NEURAL NETWORK DEVICE FOR SOLVING COMBINATION OPTIMIZATION PROBLEMS |
| US7092923B2 (en) * | 2001-11-26 | 2006-08-15 | Exploitation Of Next Generation Co. Ltd. | Synapse element with learning function and semiconductor integrated circuit device including the synapse element |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2483356C1 (en) * | 2011-12-06 | 2013-05-27 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2502133C1 (en) * | 2012-07-27 | 2013-12-20 | Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук | Method for intelligent information processing in neural network |
| RU2514931C1 (en) * | 2013-01-14 | 2014-05-10 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2553074C1 (en) * | 2014-01-17 | 2015-06-10 | Закрытое акционерное общество "СПИИРАН-Научно-техническое бюро высоких технологий" | Method for intelligent information processing in neural network |
| RU2801063C1 (en) * | 2023-03-20 | 2023-08-01 | Николай Александрович Соколов | Method for automated classification of search objects in multichannel magnetometric system based on artificial neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12380320B2 (en) | Resilient neural network | |
| Denoeux et al. | Initializing back propagation networks with prototypes | |
| Fang et al. | Encoding, model, and architecture: Systematic optimization for spiking neural network in FPGAs | |
| CN109328362A (en) | Progressive Neural Network | |
| CN103675616B (en) | The online partial discharge detection signal recognition method of cable | |
| RU2427914C1 (en) | Method of intellectual information processing in neuron network | |
| Kuremoto et al. | Time series forecasting using restricted boltzmann machine | |
| Wilson et al. | Learning to manipulate object collections using grounded state representations | |
| Tieck et al. | Towards grasping with spiking neural networks for anthropomorphic robot hands | |
| RU2413304C1 (en) | Method and device of intellectual processing of information in neural network | |
| RU2446463C1 (en) | Method and apparatus for intelligent information processing in neural network | |
| CN110275147A (en) | Human behavior micro-Doppler classification and identification method based on migration depth neural network | |
| Ma | Recent advances in deep learning based computer vision | |
| RU2514931C1 (en) | Method for intelligent information processing in neural network | |
| Han et al. | A new approach for function approximation incorporating adaptive particle swarm optimization and a priori information | |
| Osipov | Space-time structures of recurrent neural networks with controlled synapses | |
| Herz | Global analysis of recurrent neural networks | |
| RU2502133C1 (en) | Method for intelligent information processing in neural network | |
| RU2553074C1 (en) | Method for intelligent information processing in neural network | |
| Thiruvarudchelvan et al. | Analysis of SpikeProp convergence with alternative spike response functions | |
| RU2483356C1 (en) | Method for intelligent information processing in neural network | |
| CN102982372A (en) | Neuron oscillator and chaotic neural network based on neuron oscillator | |
| Benderskaya | Nonlinear dynamics as a part of soft computing systems: Novel approach to design of data mining systems | |
| RU2737227C1 (en) | Method for intelligent multi-level information processing in neural network | |
| Gupta et al. | Braids, knots and links: Investigating dynamic human features as geometric proxies for supervised feature extraction in different ocean acoustic applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20150917 |