КАПСУЛЬНІ НЕЙРОННІ МЕРЕЖІ
Ключові слова:
глибоке навчання, капсульні нейронні мережі, згорткові нейронні мережі
Анотація
Предметом вивчення є історія становлення та розвиток теорії нейронних мереж, сучасні підходи до проблем розпізнавання та класифікації зображень. Особлива увага приділяється якісному огляду капсульних та згорткових нейронних мереж, принципів їх роботи та визначення основних відмінностей. Метою роботи є аналіз сучасного стану досліджень нейронних мереж та можливих перспектив розвитку цієї галузі. Завдання: проаналізувати історичний розвиток теорії нейронних мереж. Провести порівняння між типами нейронних мереж, що базуються на концепції глибокого навчання: згортковими та капсульними. Методом проведення дослідження є аналіз сучасної літератури та основних тенденцій розвитку глибокого навчання. Результатами проведеного дослідження є виявлення значущих відкриттів, що вплинули на розвиток нейронних мереж. Функціонування нейронних мереж базується на роботі нервової системи біологічних організмів. Зокрема, це принцип активності біологічного нейрону, ансамблі нейронів, виявлення «простих клітин» у зоровій корі мозку. На даний момент найбільший розвиток мають нейронні мережі, що засновані на концепції глибокого навчання, яка дозволяє багатошаровим обчислювальним моделям вивчати дані з кількома рівнями абстракції. Згорткові мережі, що використовують цю концепцію досягли значних успіхів у розпізнаванні зображень, відео та аудіо. Рекурентні мережі виявилися кращі у аналізі тексту та мови. Згорткові нейронні мережі маються низку недоліків, на яких наголошено у роботі. Капсульні нейронні мережі є вдосконаленням концепції згорткових нейронних мереж. В їх основі покладено «капсули», які призначені для виявлення характеристик об’єкта. Капсули як група нейронів характеризуються вектором активації. Запропонований відомими ученими векторний підхід дозволяє врахувати поворот та трансляцію об’єктів. Капсульні нейронні мережі потребують значно меншу навчальну вибірку, ніж згорткові. У висновках роботи визначаються основні перспективи розвитку теорії нейронних мереж, а також можливий стрімкий розвиток неконтрольованого навчання нейронних мереж. Наголошується на важливості критичного аналізу проблем нейронних мереж як вирішального фактору їх майбутнього розвитку.Завантаження
Дані про завантаження поки що недоступні.
Посилання
1. Rashid T. Make your own neural network. – CreateSpace Independent Publishing Platform, 2016.
2. McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity/ W. S. McCulloch//The bulletin of mathematical biophysics. – 1943. – V. 5. – No. 4. – P. 115-133.
3. Rochester N., J.R. Holland, L.R. Haibt and W.L. Duda. Tests оn а сеll assembly theory of the action of the brain, using а large digital computer/ N. Rochester//IRE Transactions оn Information Theory. – 1956. - V. IТ-2. - P. 80-93.
4. Caianiello E.R. Outline of а theory of thought-processes and thinking machines //J.Theor.Biology. – 1961. – V. l. - P. 204-235.
5. Anderson J.A., Pellionisz А. eds. Neurocomputing 2: Directions for Research, Cambridge, МА: MIТ Press, 1990.
6. Minsky M.L. and S.A. Papert. Perceptrons, expanded edition, Cambridge, МА: MIТ Press, 1988.
7. Bryson А.Е., Jr. and У.С. Но. Aplied Optimal Control, Blaisdell, 1969. (Second Edition, 1975, Hemisphere pиblishing, Washington, ОС).
8. von Neumann J., Shannon C.E., McCarthy J. eds. Probabilistic logics and the synthesis of reliable organisms from unreliable components, in Automata Studies/ J. von Neumann//Princeton, NJ: Princeton University Press. -1956. - P. 43-98.
9. Rosenblatt F. The Perceptron: А probabilistic model for information storage and organization in the brain/ F. Rosenblatt//Psychological Review. - 1958, V. 65. - P. – 386-08.
10. Rosenblatt F. Оn the convergence of reinforcement procedures in simple perceptions/ F. Rosenblatt//Соmеll Aeronautical Laboratory Report. – 1960. – VG - 1196 - GA.
11. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities/ J. J. Hopfield//Proceedings of the National Academy of Sciences, USA. – 1982. - V. 79. - P. – 2554-2558.
12. Cowan J.D. А Mathematical Theory of Central Nervous Activity. Ph.D. Thesis, University of London, 1967.
13. Rumelhart О.Е., G.E. Hinton and R.J. Williams. Leaning representations of back-propagation еrrors/ O.E. Rumelhart//Nature (London). – 1986. - V. 323. - P. – 533-536.
14. LeCun Y. Backpropagation applied to handwritten zip code recognition // Neural computation. – 1989. – V. 1, No. 4. – P. 541-551.
15. Sabour S., Frosst N., Hinton G. E. Dynamic routing between capsules/ S. Sabour, N. Frosst, G. E. Hinton//Advances in Neural Information Processing Systems. – 2017. – P. 3856-3866.
16. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. – 2015. – V. 521, No 7553. – P. 436 – 444.
17. Taigman, Y., Yang, M., Ranzato, M. Deepface: closing the gap to human-level performance in face verification // Proc. Conference on Computer Vision and Pattern Recognition 1701–1708 (2014).
2. McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity/ W. S. McCulloch//The bulletin of mathematical biophysics. – 1943. – V. 5. – No. 4. – P. 115-133.
3. Rochester N., J.R. Holland, L.R. Haibt and W.L. Duda. Tests оn а сеll assembly theory of the action of the brain, using а large digital computer/ N. Rochester//IRE Transactions оn Information Theory. – 1956. - V. IТ-2. - P. 80-93.
4. Caianiello E.R. Outline of а theory of thought-processes and thinking machines //J.Theor.Biology. – 1961. – V. l. - P. 204-235.
5. Anderson J.A., Pellionisz А. eds. Neurocomputing 2: Directions for Research, Cambridge, МА: MIТ Press, 1990.
6. Minsky M.L. and S.A. Papert. Perceptrons, expanded edition, Cambridge, МА: MIТ Press, 1988.
7. Bryson А.Е., Jr. and У.С. Но. Aplied Optimal Control, Blaisdell, 1969. (Second Edition, 1975, Hemisphere pиblishing, Washington, ОС).
8. von Neumann J., Shannon C.E., McCarthy J. eds. Probabilistic logics and the synthesis of reliable organisms from unreliable components, in Automata Studies/ J. von Neumann//Princeton, NJ: Princeton University Press. -1956. - P. 43-98.
9. Rosenblatt F. The Perceptron: А probabilistic model for information storage and organization in the brain/ F. Rosenblatt//Psychological Review. - 1958, V. 65. - P. – 386-08.
10. Rosenblatt F. Оn the convergence of reinforcement procedures in simple perceptions/ F. Rosenblatt//Соmеll Aeronautical Laboratory Report. – 1960. – VG - 1196 - GA.
11. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities/ J. J. Hopfield//Proceedings of the National Academy of Sciences, USA. – 1982. - V. 79. - P. – 2554-2558.
12. Cowan J.D. А Mathematical Theory of Central Nervous Activity. Ph.D. Thesis, University of London, 1967.
13. Rumelhart О.Е., G.E. Hinton and R.J. Williams. Leaning representations of back-propagation еrrors/ O.E. Rumelhart//Nature (London). – 1986. - V. 323. - P. – 533-536.
14. LeCun Y. Backpropagation applied to handwritten zip code recognition // Neural computation. – 1989. – V. 1, No. 4. – P. 541-551.
15. Sabour S., Frosst N., Hinton G. E. Dynamic routing between capsules/ S. Sabour, N. Frosst, G. E. Hinton//Advances in Neural Information Processing Systems. – 2017. – P. 3856-3866.
16. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. – 2015. – V. 521, No 7553. – P. 436 – 444.
17. Taigman, Y., Yang, M., Ranzato, M. Deepface: closing the gap to human-level performance in face verification // Proc. Conference on Computer Vision and Pattern Recognition 1701–1708 (2014).
Опубліковано
2018-10-30
Як цитувати
Hlavcheva D. Капсульні нейронні мережі / D. Hlavcheva, V. Yaloveha // Системи управління, навігації та зв’язку. Збірник наукових праць. – Полтава: ПНТУ, 2018. – Т. 5 (51). – С. 132-135. – doi:https://doi.org/10.26906/SUNZ.2018.5.132.
Розділ
Інформаційні технології
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
