Другие журналы

научное издание МГТУ им. Н.Э. Баумана

НАУКА и ОБРАЗОВАНИЕ

Издатель ФГБОУ ВПО "МГТУ им. Н.Э. Баумана". Эл № ФС 77 - 48211.  ISSN 1994-0408

Исследование метода обучения с подкреплением спайковой нейронной сети

# 06, июнь 2016
DOI: 10.7463/0616.0842238
Файл статьи: SE-BMSTU...o183.pdf (1044.54Кб)
авторы: Козов А. В.1, Чернышев А. С.1,*

УДК 004.852

1 МГТУ им. Н.Э. Баумана, Москва, Россия

В статье рассмотрен метод обучения с подкреплением спайковой нейронной сети. Спайковые искусственные нейронные сети, называемые также нейронными сетями третьего поколения, — это особый класс искусственных нейросетей, в которых сигнал представлен набором импульсов (спайков) одинаковой амплитуды и длительности. Для обучения таких сетей необходимо применение специальных методов. Разработка и исследование таких методов в настоящее время является актуальной проблемой. Рассмотрен метод обучения с подкреплением для нейронной сети, построенной при применении определенного типа связи между нейронами, называемого гедонистическим синапсом. Гедонистический синапс частично отражает свойства своего реального биологического аналога. Он изменяет свою активность в зависимости от собственной активности в предыдущие моменты времени и подкрепления в системе. Исследование проведено с целью определения влияния параметров такого синапса на эффективность обучения спайковой нейронной сети. Представлена математическая модель гедонистического синапса и приведено описание ее параметров и переменных. Описана роль этих параметров и переменных в обучении с подкреплением нейронной сети. Для оценки качества обучения использованы такие критерии как показатель числа ошибок и AUC-показатель. Описано применение этих показателей и получение на их основе обобщенной оценки обученности. Также приводится описание метода генерации и примеры тестовых данных, использованных при исследовании. Описан метод расчета подкрепления для сети в зависимости от ее выходных сигналов. Представлен анализ влияния переменных и параметров модели гедонистического синапса на качество обучения нейронной сети. Изложены особенности метода байесовской оптимизации и описано применение этого метода для оптимизации качества классификации. Приведен детальный анализ результатов оптимизации. По результатам работы сделан вывод о том, что подобный метод обучения может применяться для классификации многомерных временных рядов. Обозначены возможные направления дальнейших исследований в этой области — оптимизация структуры нейронной сети и ее применение для решения прикладных задач.

Список литературы
  1. LukošEvičIus M., Jaeger H. Reservoir computing approaches to recurrent neural network training // Computer Science Review. 2009. Vol. 3. №. 3. Pp. 127-149. DOI: 10.1016/j.cosrev.2009.03.005
  2. Maass W. Networks of spiking neurons: The third generation of neural network models // Neural Networks. 1997. Vol. 10. №. 9. Pp. 1659-1671. DOI: 10.1016/S0893-6080(97)00011-7
  3. Paugam-Moisy H., Bohte. S.M. Computing with Spiking Neuron Networks // Handbook of Natural Computing. Springer. 2009. pp 335-376. DOI: 10.1007/978-3-540-92910-9_10
  4. Seung H. S. Learning in Spiking Neural Networks by Reinforcement of Stochastic Synaptic Transmission // Neuron. 2003. Vol. 40. №. 6. Pp. 1063–1073. DOI: 10.1016/S0896-6273(03)00761-X
  5. Skinner, B.F. "The Behavior of Organisms: An Experimental Analysis". New York: Appleton-Century-Crofts. 1938
  6. Peters J., Bagnell J.A. Policy Gradient Methods // Encyclopedia of Machine Learning. Springer US. 2011. Pp. 774-776
  7. Bradley A.P. The Use of the Area Under the ROC Curve in the Evaluation of Machine Learning Algorithms // Pattern Recognition. 1997. Vol. 30. № 7. Pp. 1145–1159. DOI: 10.1007/978-0-387-30164-8_640
  8. Kappel D., Nessler B., Maass W. STDP Installs in Winner-Take-All Circuits an Online Approximation to Hidden Markov Model Learning // PLoS Comput. Biol. 2014. Vol. 10. № 3. DOI: 10.1371/journal.pcbi.1003511
  9. Library of Dynamic Neural Networks // https://github.com : веб-сайт. Режим доступа:https://github.com/alexeyche/dnn (дата обращения 01.05.2016).
  10. Brochu E., Cora V.M., De Freitas N. A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning. CoRR abs. 2010
Поделиться:
 
ПОИСК
 
elibrary crossref ulrichsweb neicon rusycon
 
ЮБИЛЕИ
ФОТОРЕПОРТАЖИ
 
СОБЫТИЯ
 
НОВОСТНАЯ ЛЕНТА



Авторы
Пресс-релизы
Библиотека
Конференции
Выставки
О проекте
Rambler's Top100
Телефон: +7 (915) 336-07-65 (строго: среда; пятница c 11-00 до 17-00)
  RSS
© 2003-2017 «Наука и образование»
Перепечатка материалов журнала без согласования с редакцией запрещена
 Тел.: +7 (915) 336-07-65 (строго: среда; пятница c 11-00 до 17-00)