РЕКУРЕНТНА НЕЙРОННА МЕРЕЖА ДЛЯ ОБРОБКИ ВЕЛИКИХ ТЕКСТОВИХ ДАНИХ

Анотація

Предметом вивчення статті є нейронні мережі, а саме рекурентні нейронні мережі, що відрізняються здатністю запам'ятовування данні, а також програмні бібліотеки для їх реалізації. Метою роботи є аналіз нейронної мережі Хопфілда, мереж Елмана і Джордана, ESN-мережі, рекурсивної мережі і рекурентної мережі з довгою короткостроковою пам'яттю для безпосереднього визначення оптимальної архітектури мережі. А також аналіз наступних програмних бібліотек: CNTK, Theano, Gluon, TensorFlow. Завдання: провести порівняння за спрямованістю застосування і можливостям роботи з великими текстовими даними перерахованих вище рекурентних нейронних мереж, визначити яка з розглянутих програмних бібліотек є оптимальною і швидкодійною для розробки рекурентної нейронної мережі. Методом проведення дослідження є тестування навантаження програмних комплексів в однакових апаратних умовах, з використанням однакового набору даних. За підсумком роботи отримано результати: платформою для інтеграції технологій вибрано додаток для обробки текстових даних великого обсягу і їх резюмування, а саме проект інтерактивного середовища написання літератури, створений з використанням .NET, який дозволяє автоматично резюмувати текст за певними критеріями. Для аналізу продуктивності програмних бібліотек було розглянуто тест на основі навчання та використання рекурентних мереж з LSTM-модулями на тестовому наборі даних, з використанням усіх досліджуваних бібліотек. Висновки: в якості найбільш оптимального архітектурного підходу варто вважати використання LSTM-модулів, які вирішують проблему затухаючого градієнта. Завдяки цьому мережі, засновані на цьому підході, показують найкращі результати при роботі з довгостроковими залежностями, що є вкрай важливим фактором при обробці текстових даних. За результатами тестів продуктивності можна сказати, що найбільш оптимізованими для роботи з рекурентною архітектурою є програмні бібліотеки CNTK і Gluon. При навчанні вони демонструють швидкість, що перевершує продуктивність TensorFlow і Theano на 10-60%.