DETECTIVE PRINCIPLE OF ARTIFICIAL NEURAL NETWORKS CONSTRUCTION AS ALTERNATIVE OF THE CONNECTIONIST PARADIGME
Keywords:
artificial neural networks, neuron model, detector principle, connectivityAbstract
Artificial neural networks (ANN) are inadequate to biological neural networks. This inadequacy is manifested in the use of the obsolete model of the neuron and the connectionist paradigm of constructing ANN. The result of this inadequacy is the existence of many shortcomings of the ANN and the problems of their practical implementation. The alternative principle of ANN construction is proposed in the article. This principle was called the detector principle. The basis of the detector principle is the consideration of the binding property of the input signals of a neuron. A new model of the neuron-detector, a new approach to teaching ANN - counter training and a new approach to the formation of the ANN architecture are used in this principle.Downloads
References
Хайкин С. Нейронные сети. Полный курс. Изд. 2. М.: Изд. дом "Вильямс", 2006, -1104 с.
Уоссерман Ф. Нейрокомпьютерная техника. Теория и практика. М: 2006. 184 с.
Осовский С. Нейронные сети для обработки ин- формации / Пер. с польского И.Д. Рудинского. - М.: Фи- нансы и статистика, 2002. - 344 с.
Desai N.S, Rutherford L.C, Turrigiano G.G. Plastic- ity in the intrinsic excitability of cortical pyramidal neurons. Nat Neurosci 2. Р. 515-520.
Izhikevich E.M. Simple model of Spiking Neurons, IEEE Transactions on neural networks, 2003, vol. 14, no. 6, 1569-1572.
Citri A., Malenka R.C. Synaptic Plasticity: Multiple Forms, Functions, and Mechanisms // Neuropsychopharmaco- logy. - 2008. Т. 33, № 1. - С. 1-24.
Meyer D.; Bonhoeffer T.; Scheuss V. (2014). Balance and Stability of Synaptic Structures during Synaptic Plasticity. Neuron. 82 (2): 430–443. doi:10.1016/j.neuron.2014.02.031.
Психофизиология. Учеб. Для вузов под ред. Ю.И. Александрова. – С.Пб: Питер, 2012. – 464 с.
Schmidhuber J. (1993). Habilitation thesis, TUM, 1993. Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN. ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf
Хьюбел Д. Глаз, мозг, зрение. М.: Мир. 1990. 239 с.
Лурия А.Р. Основы нейропсихологии. М.: Акаде- мия, 2006. 384 с.
Бехтель Э.Е., Бехтель А.Э. Контекстуальное опознание. СПб.: Питер, 2005. 336с.
Goodale M. A., Milner A.D. Separate pathways for perception and action. Trends in Neuroscience Vol.15 (1), 1992: P. 20–25. DOI:10.1016/0166-2236(92)90344-8.
Ungerleider LG, Mishkin M. Two Cortical Visual Systems // Analysis of Visual Behavior / Ingle DJ, Goodale MA and Mansfield RJW. — MIT Press, 1982. — P. 549–586.
Driver J., Davis G., Russell C., Turatto M., Free- man E. Segmentation, attention and phenomenal visual objects // Cognition. 2001. Vol.80, № 1-2. P.61-95.
Бабенко В.В. Механизмы зрительной сегмента- ции. Диссертация на соискание ученой степени доктора биологических наук по специальности 03.00.13, Физиоло- гия. Ростовский Государственный университет. Ростов- на-Дону. 2001, 261 с.
Нейропсихология:. Хрестоматия 3-е изд. /Под ред. Е. Д. Хомской – СПб.: Питер, 2010. – 992 с.
Losonczy A., Makara J.K., Magee J.C. (2008). Compartmentalized dendritic plasticity and input feature stor- age in neurons. Nature 452 (7186): 436–441. DOI:10.1038/nature06725.
Rall W. Theoretical significance of dendritic trees for neuronal input-output relations. // Neural Theory and Modeling: Proceedings of the 1962 Ojai Symposium. — Stan- ford University Press. — P. 73–97.
Chitwood R.A., Hubbard A., Jaffe D.B. (1999). Pas- sive electrotonic properties of rat hippocampal CA3 interneu- rones. The Journal of Physiology 515 (3): 743—756. DOI:10.1111/j.1469-7793.1999.743ab.x.
Markram H., Sakmann B. (May 24, 1994). Calcium transients in dendrites of neocortical neurons evoked by single subthreshold excitatory postsynaptic potentials via low- voltage-activated calcium channels. PNAS: 5207—5211.
Chen W.R., Midtgaard J., and Shepherd G.M. (1997). «Forward and Backward Propagation of Dendritic Impulses and Their Synaptic Control in Mitral Cells». Science 278 (5337): 463—467. DOI:10.1126/science.278.5337.463.
Martina M., Vida I., and Jonas P. (2000). Distal Initiation and Active Propagation of Action Potentials in In- terneuron Dendrites. Science 287 (5451): 295—300. DOI:10.1126/science.287.5451.295.
Raastad M., Lipowski R. (1996). Diversity of Post- synaptic Amplitude and Failure Probability of Unitary Excita- tory Synapses between CA3 and CA1 Cells in the Rat Hippo- campus. European Journal of Neuroscience 8 (6): 1265— 1274. DOI:10.1111/j.1460-9568.1996.tb01295.x.
Bartels, A.; Zeki, S. (Jul 2006). The temporal order of binding visual attributes. (PDF). Vision Res 46 (14): 2280– 6. doi:10.1016/j.visres.2005.11.017.
Singer W. (2007). "Binding by synchrony". Scholarpedia 2 (12): 1657. doi:10.4249/scholarpedia.1657.
Principles of neural coding. Edited by Rodrigo Quian Quiroga, Stefano Panzeri. CRC Press Taylor & Fran- cis Group, LLC, 2013, 663 p.
Паржин Ю.В. Модель презентативной подсис- темы формальной системы интеллектуального типа Системи обробки інформації. – Х.: Харківський універси- тет Повітряних Сил, 2009. – Вип.6 (80). – С. 2 – 12.
Паржин Ю.В. Модально-векторная теория фор- мальных интеллектуальных систем. Основные определе- ния. Системи обробки інформації. – Х.: Харківський уні- верситет Повітряних Сил, 2011. – Вип.8 (98). – С. 2 – 12.
Parzhin Y. Hypotheses of neural code and the in- formation model of the neuron-detector [Electronic resource] / Y. Parzhin // ScienceOpen Research – Section: SOR- COMPSCI, - Access mode: DOI: 10.14293/S2199- 1006.1.SOR-COMPSCI.AP5TO7.v1, 2014.
Инюшкин А. Н., Мистрюгов К. А. Особенности спайковой активности нейронов супрахиазматического ядра. Вестник Самарского государственного универси- тета. Выпуск № 3 (104) / 2013, с. 146-152.
Данилова Н.Н. Психофизиология: Учебник для вузов. – М.: Аспект Пресс, 2004. – 368 с. – (серия "Класси- ческий университетский учебник"), Zeki, S. (1984). The construction of colours by the cerebral cortex. Proc. Roy. Inst. Gt. Britain 56:P. 231-257.
Демидов В.Е. Как мы видим то, что видим. М.: Знание, 1979. 208 с.
Ваграмян З.А. Осцилляторная нервная сеть в закрытых системах мозга. Вестник РАУ, Серия физико- математической и естественной науки, №1, 2008, С. 102- 107.
Leopold D.A., Bondar I.V., Giese M.A. Norm-based face encoding by single neurons in the monkey inferotemporal cortex. Nature, Vol 442|3, Nature Publishing Group, 2006, P. 572-575, doi:10.1038/nature04951.
LeCun Y., Cortes C., Burges C. MNIST handwritten digit database http://yann.lecun.com/exdb/mnist/.
