Interested Article - Импульсная нейронная сеть

lauretta
  • 2020-12-05
  • 1

Насекомое управляется ИмНС для поиска цели в неизвестной местности.
Классификация комплексированных изображений, поступающих с двух систем технического зрения , в реальном времени силами ИмНС глубинного обучения .

Импульсная нейронная сеть (ИмНС, англ. Pulsed neural networks , PNN) или Спайковая нейронная сеть (СНН, англ. Spiking neural network , SNN) — третье поколение искусственных нейронных сетей (ИНС) , которое отличается от бинарных (первое поколение) и частотных/скоростных (второе поколение) ИНС тем, что в нем нейроны обмениваются короткими (у биологических нейронов — около 1—2 мс) импульсами одинаковой амплитуды (у биологических нейронов — около 100 мВ). Является самой реалистичной, с точки зрения физиологии, моделью ИНС .

История

Истоки

Первая научная модель импульсной нейронной сети была предложена Аланом Ходжкином и Эндрю Хаксли в 1952 году. Эта модель описывала как потенциалы действия возникают и распространяются. Импульсы, однако, как правило, не передаются непосредственно между нейронами. Связь требует обмена химическими веществами, которые называются нейротрансмиттерами , в синаптической щели .

С точки зрения теории информации , проблема заключается в отсутствии модели, которая бы объясняла, как кодируется информация и декодируются серии последовательностей импульсов, то есть потенциалы действия. Для нейробиологии всё еще открытым является вопрос: нейроны связываются с помощью частотного или временного кодирования ? С помощью временного кодирования один импульсный нейрон может заменять сотни скрытых элементов частотной нейронной сети .

Современные исследования

В настоящее время существует два направления исследования ИмНС :

  1. создание компьютерных моделей , точно повторяющих модели функционирования нейронов реального мозга , благодаря чему станет возможным как объяснение механизмов его работы, так и диагностика/лечение заболеваний и травм ЦНС ;
  2. создание компьютерных моделей, абстрактно повторяющих модели функционирования нейронов реального мозга, что позволит использовать все преимущества реального мозга, таких как и энергоэффективность , при анализе больших объемов данных.

Устройство

Импульсная нейронная сеть с одним скрытым слоем

Принцип работы

Сеть получает на входы серию импульсов и выдаёт импульсы на выходе. В каждое мгновение каждый нейрон имеет некоторое значение (аналог электрического потенциала у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный импульс , после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый рефрактерный период ) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Существует всего два параметра весовых связей импульсного нейрона — время задержки и величина веса .

Модели нейронов

Способы моделирования нейронов ИмНС можно разделить на две группы :

  1. Модель Ходжкина — Хаксли ;
  2. ;
  3. Модель ФитцХью — Нагумо ;
  4. ;
  5. ;
  6. ;
  7. ;
  8. ;
  9. Кабельная теория дендритов .
  • модели порогового значения — порождают импульс при определенном уровне напряжения.
  1. Метод «интегрировать-и-сработать» ;
  2. Метод «интегрировать-и-сработать» с утечками .

Представление информации

Способ представления информации в импульсных нейросетях: фазовый.
Способ представления информации в импульсных нейросетях: синхронный.
Способ представления информации в ИмНС: время до появления первого импульса.
Способ представления информации в ИмНС: порядковый.
Способ представления информации в ИмНС: интервальный.

В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты) . Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов .

Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации :

  1. фазовый (временной) — информация о сигнале задается точным (или в пределах некоторого окна) положением импульсов во времени (относительно какого-либо общего опорного ритма головного мозга );
  2. синхронный (позиционный/пространственный/популяционный) — информация о сигнале задается синхронной активностью различных групп нейронов, и, как следствие, синхронным (или в пределах некоторого окна) появлением импульсов на определенных выходах сети (например, реагирующие на высокие и низкие частоты слуховые рецепторы улитки уха находятся в разных зонах);
  3. время до появления первого импульса — информация о сигнале задается временем появления первого импульса на каком-либо выходе;
  4. порядковый — информация о сигнале задается порядком получения импульсов на выходах сети;
  5. интервальный (задержковый) — информация о сигнале задается расстоянием между импульсами, получаемыми на выходах сети;
  6. резонансный — информация о сигнале задается плотной последовательностью импульсов (очередью), приводящей к возникновению резонанса (одиночные импульсы затухают и не вносят никакого вклада в передачу информации).

Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации, например:

  1. пространственно-временной — информация задается не только определенной последовательностью импульсов во времени, но они еще и должны исходить от определенной группы нейронов;
  2. популяционно-частотный — информация задается повышением частоты порождения импульсов определенной группой нейронов.

Устройство

Архитектуры ИмНС можно разделить на следующие группы :

  1. (НПР) — данные передаются строго в одном направлении: от входов к выходам, обратные связи отсутствуют, а обработка может проходить по множеству слоев;
  2. Рекуррентная нейронная сеть (РНС) — отдельные нейроны/популяции нейронов взаимодействуют друг с другом, то есть имеется обратная связь. ИНС такого вида обладают собственной динамикой и высокой вычислительной способностью;
  3. — внутри ИНС некоторые популяции нейронов относятся к виду НПР, а некоторые — к РНС. Взаимодействие между популяциями может быть как однонаправленным, так и взаимным.
  1. — представляет собой многослойную цепь, в которой импульсная активность может распространяться в виде синхронной волны передачи пачек импульсов от одной популяции к последующей;
  2. — резервуарная ИНС состоит из резервуара, исполненного по рекуррентному виду, и выходных нейронов.

Методы обучения

Методы обучения ИмНС делятся на три группы :

  1. ( англ. Spike-timing-dependent plasticity (STDP) );
  2. ( англ. Growing spiking neural networks );
  3. ( англ. Artola, Bröcher, Singer (ABS) rule );
  4. ( англ. Bienenstock, Cooper, Munro (BCM) rule );
  5. ( англ. Relationship between BCM and STDP rules );
  6. ( англ. General unsupervised learning ).
  1. ( англ. SpikeProp );
  2. Методы глубокого обучения ( англ. Deep learning );
  3. ( англ. Remote Supervised Method (ReSuMe) );
  4. ( англ. FreqProp );
  5. ( англ. Local error-driven associative biologically realistic algorithm (LEABRA) );
  6. ( англ. Supervised Hebbian Learning ).
  1. ( англ. Spiking actor-critic );
  2. ( англ. RL through reward-modulated STDP ).

Качественные характеристики

Преимущества

Импульсные ИНС имеют ряд преимуществ над нейросетями предыдущих поколений :

  1. ИмНС являются динамическими, а значит отлично подходят для работы с динамическими процессами (распознавание речи и динамических изображений) ;
  2. ИмНС обладают многозадачностью, ведь входные данные обрабатываются в нейронной сети с обратными связями , а разные группы считывающих нейронов могут быть обучены на решение разных задач;
  3. ИмНС способны осуществлять распознавание с предвидением (то есть не обязательно обладать полной информацией об объекте или знать результат процесса);
  4. ИмНС просто обучать, так как достаточно обучить только выходные считывающие нейроны;
  5. ИмНС имеют повышенную продуктивность обработки информации и помехоустойчивость, так как используют временно́е представление информации;
  6. ИмНС требует меньшего числа нейронов, так как каждый нейрон импульсной нейронной сети заменяет два нейрона ( возбуждающий и тормозящий ) классической ИНС;
  7. ИмНС имеют высокую скорость работы и большой потенциал распараллеливания, так как для передачи импульса необходимо отправить 1 бит, а не непрерывную величину, как в частотных ИНС ;
  8. ИмНС могут обучаться в процессе работы .

Недостатки

  1. ИмНС нецелесообразно использовать в системах с малым числом нейронов;
  2. Не существует совершенного алгоритма обучения.

Реализации

Красными точками отмечены первые по мощности суперкомпьютеры из TOP500 за соответствующие годы. Синие и зеленые горизонтальные линии отражают оценочные (по Рэймонду Курцвейлу ) требования к производительности (выраженной в FLOPS ) суперкомпьютеров для эмуляции соответствующих уровней человеческого мозга . Таким образом, при удвоении мощности каждые 1.1 года, в 2019 году появится первый суперкомпьютер (10 18 FLOPS ЦП и 10 4 Tb ОЗУ), способный полноценно эмулировать деятельность импульсной нейросети.

Списки

.

Программные

Программное обеспечение , которое используется, в основном, для имитации импульсных нейронных сетей и используемые биологами для изучения их работы, свойств и характеристик. Позволяет моделировать с высоким уровнем детализации и точности, но требуют большого времени моделирования .

  • ;
  • ;
  • ;
  • .

Программное обеспечение, которое может использоваться для решения реальных, а не теоретических задач. Моделирование в них проходит очень быстро, но не позволяет моделировать сложные, то есть биологически реалистичные, модели нейронов.

  • .

Программное обеспечение, которое работает достаточно эффективно для того, чтобы моделирование проходило быстро, иногда даже в режиме реального времени, но, в то же время, оно способно использовать нейронные модели, которые подробно описаны и биологически правдоподобным. Все это очень удобно для задач обработки информации.

  • .

Аппаратные

Использующее существующую архитектуру пользователя:

Использующее свою, специализированную, архитектуру:

Применение

Протезирование

Зрительные и слуховые нейропротезы , использующие последовательности импульсов для подачи сигналов в зрительную кору , и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными протезами активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы болезни Паркинсона , дистонии , хронических болей, МДП и шизофрении .

Робототехника

из Сан-Диего разрабатывает роботов, использующих ИмНС, а SyNAPSE создает нейроморфические системы и процессоры .

Компьютерное зрение

Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM TrueNorth включает в себя миллион программируемых нейронов и 256 миллионов программируемых синапсов , что позволяет симулировать работу нейронов зрительной коры . Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда транзисторов , но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт .

Телекоммуникации

Qualcomm занимается исследованием возможности применения ИмНС в телекоммуникационных устройствах .

Примечания

  1. ↑ Maas, Wolfgang. (англ.) // Neural Networks : journal. — 1997. — Vol. 10 . — P. 1659—1671 . — doi : .
  2. ↑ Дата обращения: 13 октября 2016. 28 августа 2016 года.
  3. ↑ . Дата обращения: 16 октября 2016. 28 августа 2016 года.
  4. ↑ Gerstner, Wulfram and Kistler, Werner M. Spiking Neuron Models: Single Neurons, Populations, Plasticity. — Cambridge, U.K.: Cambridge university press, 2002.
  5. Hodgkin, Alan L; Huxley., Andrew F. A quantitative description of membrane current and its application to conduction and excitation in nerve (англ.) // (англ.) ( : journal. — 1952. — Vol. 117 . — P. 500—544 .
  6. Wulfram Gerstner. Spiking Neurons // (неопр.) / Wolfgang Maass; Christopher M. Bishop. — MIT Press , 2001. — ISBN 0-262-63221-7 .
  7. . Дата обращения: 16 октября 2016. Архивировано из 11 июня 2015 года.
  8. ↑ Ponulak, Filip; Kasinski, Andrzej. Introduction to spiking neural networks: Information processing, learning and applications (англ.) // (англ.) ( : journal. — 2010. — Vol. 71 . — P. 409—433 .
  9. Борисюк Г. Н.; Борисюк Р. М.; Казанович Я. Б.; Иваницкий Г. Р. // Успехи физических наук : журнал. — Российская академия наук , 2002. — Т. 172 . — С. 1189—1214 . — doi : . 2 декабря 2016 года.
  10. ↑ Коденко Никита Игоревич, Методы обучения импульсных нейронных сетей
  11. Bekolay, Trevor. Learning in large-scale spiking neural networks (неопр.) . — 2011.
  12. Колесницкий О. К., Бокоцей И. В., Яремчук С. С. Аппаратная реализация элементов импульсных нейронных сетей с использованием биспин-приборов, Часть 1 // XII Всероссийская научно-техническая конференция «Нейроинформатика». — Москва: МИФИ, 2010. — С. 122—127.
  13. Синявский Олег Юрьевич. Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации. — Москва, 2011.
  14. Скнар И.И. Концепция построения биологически правдоподобной искусственной нейронной сети // Нейро-нечіткі технології моделювання в економіці / А. В. Матвійчук. — Київ: КНЕУ, 2014. — Т. 3. — С. 188—218.
  15. Roadmap p.11 «Given the complexities and conceptual issues of consciousness we will not examine criteria 6abc, but mainly examine achieving criteria 1‐5.»
Источник —

lauretta
  • 2020-12-05
  • 1
  • Tags:

Same as Импульсная нейронная сеть

The title for the last searches