Импульсная нейронная сеть
(ИмНС,
англ.
Pulsed neural networks
, PNN) или
Спайковая нейронная сеть
(СНН,
англ.
Spiking neural network
, SNN) — третье поколение
искусственных нейронных сетей
(ИНС)
, которое отличается от бинарных (первое поколение) и частотных/скоростных (второе поколение) ИНС тем, что в нем
нейроны
обмениваются короткими (у биологических нейронов — около 1—2 мс)
импульсами
одинаковой
амплитуды
(у биологических нейронов — около 100 мВ).
Является самой реалистичной, с точки зрения физиологии, моделью ИНС
.
Содержание
История
Истоки
Первая научная модель импульсной нейронной сети была предложена
Аланом Ходжкином
и
Эндрю Хаксли
в 1952 году. Эта модель описывала как
потенциалы действия
возникают и распространяются. Импульсы, однако, как правило, не передаются непосредственно между нейронами. Связь требует обмена химическими веществами, которые называются
нейротрансмиттерами
, в
синаптической
щели
.
С точки зрения
теории информации
, проблема заключается в отсутствии модели, которая бы объясняла, как кодируется информация и декодируются серии последовательностей импульсов, то есть потенциалы действия. Для нейробиологии всё еще открытым является вопрос: нейроны связываются с помощью
частотного или временного кодирования
? С помощью временного кодирования один импульсный нейрон может заменять сотни скрытых элементов частотной нейронной сети
.
Современные исследования
В настоящее время существует два направления исследования ИмНС
:
создание
компьютерных моделей
, точно повторяющих модели функционирования нейронов реального
мозга
, благодаря чему станет возможным как объяснение механизмов его работы, так и диагностика/лечение заболеваний и травм
ЦНС
;
создание компьютерных моделей, абстрактно повторяющих модели функционирования нейронов реального мозга, что позволит использовать все преимущества реального мозга, таких как
и
энергоэффективность
, при анализе больших объемов данных.
Устройство
Принцип работы
Сеть получает на входы серию импульсов и выдаёт импульсы на выходе. В каждое мгновение каждый
нейрон
имеет некоторое значение (аналог
электрического потенциала
у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный
импульс
, после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый
рефрактерный период
) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Существует всего два параметра весовых связей импульсного нейрона — время задержки и величина веса
.
Модели нейронов
Способы моделирования нейронов ИмНС можно разделить на две группы
:
В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты)
. Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов
.
Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации
:
фазовый (временной) — информация о сигнале задается точным (или в пределах некоторого окна) положением импульсов во времени (относительно какого-либо общего опорного
ритма головного мозга
);
синхронный (позиционный/пространственный/популяционный) — информация о сигнале задается синхронной активностью различных групп нейронов, и, как следствие, синхронным (или в пределах некоторого окна) появлением импульсов на определенных выходах сети (например, реагирующие на высокие и низкие частоты слуховые рецепторы
улитки уха
находятся в разных зонах);
время до появления первого импульса — информация о сигнале задается временем появления первого импульса на каком-либо выходе;
порядковый — информация о сигнале задается порядком получения импульсов на выходах сети;
интервальный (задержковый) — информация о сигнале задается расстоянием между импульсами, получаемыми на выходах сети;
резонансный — информация о сигнале задается плотной последовательностью импульсов (очередью), приводящей к возникновению резонанса (одиночные импульсы затухают и не вносят никакого вклада в передачу информации).
Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации, например:
пространственно-временной — информация задается не только определенной последовательностью импульсов во времени, но они еще и должны исходить от определенной группы нейронов;
популяционно-частотный — информация задается повышением частоты порождения импульсов определенной группой нейронов.
Устройство
Архитектуры ИмНС можно разделить на следующие группы
:
(НПР) — данные передаются строго в одном направлении: от входов к выходам, обратные связи отсутствуют, а обработка может проходить по множеству слоев;
Рекуррентная нейронная сеть
(РНС) — отдельные нейроны/популяции нейронов взаимодействуют друг с другом, то есть имеется обратная связь. ИНС такого вида обладают собственной динамикой и высокой вычислительной способностью;
— внутри ИНС некоторые популяции нейронов относятся к виду НПР, а некоторые — к РНС. Взаимодействие между популяциями может быть как однонаправленным, так и взаимным.
— представляет собой многослойную цепь, в которой импульсная активность может распространяться в виде синхронной волны передачи пачек импульсов от одной популяции к последующей;
— резервуарная ИНС состоит из резервуара, исполненного по рекуррентному виду, и выходных нейронов.
Импульсные ИНС имеют ряд преимуществ над нейросетями предыдущих поколений
:
ИмНС являются динамическими, а значит отлично подходят для работы с динамическими процессами (распознавание речи и динамических изображений)
;
ИмНС обладают многозадачностью, ведь входные данные обрабатываются в
нейронной сети с обратными связями
, а разные группы считывающих нейронов могут быть обучены на решение разных задач;
ИмНС способны осуществлять распознавание с предвидением (то есть не обязательно обладать полной информацией об объекте или знать результат процесса);
ИмНС просто обучать, так как достаточно обучить только выходные считывающие нейроны;
ИмНС имеют повышенную продуктивность обработки информации и помехоустойчивость, так как используют временно́е представление информации;
ИмНС требует меньшего числа нейронов, так как каждый нейрон импульсной нейронной сети заменяет два нейрона (
возбуждающий
и
тормозящий
) классической ИНС;
ИмНС имеют высокую скорость работы и большой потенциал распараллеливания, так как для передачи импульса необходимо отправить 1 бит, а не непрерывную величину, как в частотных ИНС
;
ИмНС могут обучаться в процессе работы
.
Недостатки
ИмНС нецелесообразно использовать в системах с малым числом нейронов;
Не существует совершенного алгоритма обучения.
Реализации
Списки
.
Программные
Программное обеспечение
, которое используется, в основном, для имитации импульсных нейронных сетей и используемые биологами для изучения их работы, свойств и характеристик. Позволяет моделировать с высоким уровнем детализации и точности, но требуют большого времени
моделирования
.
;
;
;
.
Программное обеспечение, которое может использоваться для решения реальных, а не теоретических задач. Моделирование в них проходит очень быстро, но не позволяет моделировать сложные, то есть биологически реалистичные, модели нейронов.
.
Программное обеспечение, которое работает достаточно эффективно для того, чтобы моделирование проходило быстро, иногда даже в режиме реального времени, но, в то же время, оно способно использовать нейронные модели, которые подробно описаны и биологически правдоподобным. Все это очень удобно для задач обработки информации.
Зрительные и слуховые
нейропротезы
, использующие последовательности импульсов для подачи сигналов в
зрительную кору
, и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными
протезами
активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы
болезни Паркинсона
,
дистонии
, хронических болей,
МДП
и
шизофрении
.
Робототехника
из Сан-Диего разрабатывает роботов, использующих ИмНС, а
SyNAPSE
создает нейроморфические системы и процессоры
.
Компьютерное зрение
Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM
TrueNorth
включает в себя миллион программируемых нейронов и 256 миллионов программируемых
синапсов
, что позволяет
симулировать
работу нейронов
зрительной коры
. Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда
транзисторов
, но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт
.
↑
(неопр.)
Дата обращения: 13 октября 2016.
28 августа 2016 года.
↑
(неопр.)
. Дата обращения: 16 октября 2016.
28 августа 2016 года.
↑
Gerstner, Wulfram and Kistler, Werner M.
Spiking Neuron Models: Single Neurons, Populations, Plasticity. — Cambridge, U.K.: Cambridge university press, 2002.
Hodgkin, Alan L; Huxley., Andrew F.
A quantitative description of membrane current and its application to conduction and excitation in nerve
(англ.)
//
(англ.)
(
: journal. — 1952. —
Vol. 117
. —
P. 500—544
.
Wulfram Gerstner.
Spiking Neurons
//
(неопр.)
/ Wolfgang Maass; Christopher M. Bishop. —
MIT Press
, 2001. —
ISBN 0-262-63221-7
.
(неопр.)
. Дата обращения: 16 октября 2016. Архивировано из
11 июня 2015 года.
↑
Ponulak, Filip; Kasinski, Andrzej.
Introduction to spiking neural networks: Information processing, learning and applications
(англ.)
//
(англ.)
(
: journal. — 2010. —
Vol. 71
. —
P. 409—433
.
Колесницкий О. К., Бокоцей И. В., Яремчук С. С.
Аппаратная реализация элементов импульсных нейронных сетей с использованием биспин-приборов, Часть 1
// XII Всероссийская научно-техническая конференция «Нейроинформатика». — Москва: МИФИ, 2010. — С. 122—127.
Синявский Олег Юрьевич.
Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации. — Москва, 2011.
Скнар И.И.
Концепция построения биологически правдоподобной искусственной нейронной сети
// Нейро-нечіткі технології моделювання в економіці / А. В. Матвійчук. — Київ: КНЕУ, 2014. — Т. 3. — С. 188—218.
Roadmap p.11 «Given the complexities and conceptual issues of consciousness we will not examine criteria 6abc, but mainly examine achieving criteria 1‐5.»