РЕКУРЕНТНА НЕЙРОННА МЕРЕЖА ДЛЯ ОБРОБКИ ВЕЛИКИХ ТЕКСТОВИХ ДАНИХ
Ключові слова:
нейронні мережі, рекурентні мережі, програмні бібліотеки, великі текстові дані
Анотація
Предметом вивчення статті є нейронні мережі, а саме рекурентні нейронні мережі, що відрізняються здатністю запам'ятовування данні, а також програмні бібліотеки для їх реалізації. Метою роботи є аналіз нейронної мережі Хопфілда, мереж Елмана і Джордана, ESN-мережі, рекурсивної мережі і рекурентної мережі з довгою короткостроковою пам'яттю для безпосереднього визначення оптимальної архітектури мережі. А також аналіз наступних програмних бібліотек: CNTK, Theano, Gluon, TensorFlow. Завдання: провести порівняння за спрямованістю застосування і можливостям роботи з великими текстовими даними перерахованих вище рекурентних нейронних мереж, визначити яка з розглянутих програмних бібліотек є оптимальною і швидкодійною для розробки рекурентної нейронної мережі. Методом проведення дослідження є тестування навантаження програмних комплексів в однакових апаратних умовах, з використанням однакового набору даних. За підсумком роботи отримано результати: платформою для інтеграції технологій вибрано додаток для обробки текстових даних великого обсягу і їх резюмування, а саме проект інтерактивного середовища написання літератури, створений з використанням .NET, який дозволяє автоматично резюмувати текст за певними критеріями. Для аналізу продуктивності програмних бібліотек було розглянуто тест на основі навчання та використання рекурентних мереж з LSTM-модулями на тестовому наборі даних, з використанням усіх досліджуваних бібліотек. Висновки: в якості найбільш оптимального архітектурного підходу варто вважати використання LSTM-модулів, які вирішують проблему затухаючого градієнта. Завдяки цьому мережі, засновані на цьому підході, показують найкращі результати при роботі з довгостроковими залежностями, що є вкрай важливим фактором при обробці текстових даних. За результатами тестів продуктивності можна сказати, що найбільш оптимізованими для роботи з рекурентною архітектурою є програмні бібліотеки CNTK і Gluon. При навчанні вони демонструють швидкість, що перевершує продуктивність TensorFlow і Theano на 10-60%.Завантаження
Дані про завантаження поки що недоступні.
Посилання
1. Levy Omer, Yoav Goldberg, Ido Dagan. Improving distributional similarity with lessons learned from word embeddings. Transactions of the Association for Computational Linguistics 3. — 2015. — P. 211–225.
2. Дональд Мичи. Machine Learning, Neural and Statistical Classification. 1994г. Лос-Аламос. с.120-145
3. Christopher Manning. Computational linguistics and deep learning. Computational Linguistics. — 2016.
4. Кристофер Бишоп. Pattern Recognition and Machine Learning. 2006г. Массачусетс. с.201-215
5. Кевин Мерфи. Machine Learning: A Probabilistic Perspective. 2012г. Технический колледж Нью-Йорка. с.65-82
2. Дональд Мичи. Machine Learning, Neural and Statistical Classification. 1994г. Лос-Аламос. с.120-145
3. Christopher Manning. Computational linguistics and deep learning. Computational Linguistics. — 2016.
4. Кристофер Бишоп. Pattern Recognition and Machine Learning. 2006г. Массачусетс. с.201-215
5. Кевин Мерфи. Machine Learning: A Probabilistic Perspective. 2012г. Технический колледж Нью-Йорка. с.65-82
Опубліковано
2018-09-12
Як цитувати
Nguyen A. Рекурентна нейронна мережа для обробки великих текстових даних / A. Nguyen, Y. Sidorov // Системи управління, навігації та зв’язку. Збірник наукових праць. – Полтава: ПНТУ, 2018. – Т. 4 (50). – С. 135-138. – doi:https://doi.org/10.26906/SUNZ.2018.4.135.
Розділ
Інформаційні технології
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
