NEURAL ARCHITECTURE COMPARISON FOR FACT VERIFICATION ON FEVER DATASET

S. Datsenko

doi:10.26906/SUNZ.2025.3.072

Автор(и)

S. Datsenko

DOI:

https://doi.org/10.26906/SUNZ.2025.3.072

Ключові слова:

перевірка фактів, нейронні мережі, набір даних FEVER, гібридні архітектури, графічні нейронні мережі, двонаправлений LSTM

Анотація

Експоненціальне зростання дезінформації та фейкових новин на цифрових платформах ставить безпрецедентні виклики перед цілісністю інформації, що вимагає створення складних автоматизованих систем перевірки фактів, здатних з високою точністю та обчислювальною ефективністю перевіряти твердження на основі надійних джерел доказів. Це дослідження має на меті оцінити та порівняти чотири гібридні нейронні архітектури (BiLSTM-CNN, BiLSTM-RNN, BiLSTM-GRU та BiLSTM-GNN) для автоматизованої перевірки фактів за допомогою набору даних FEVER, досліджуючи їх ефективність у перевірці тверджень та доказів в умовах обмеженої пам'яті GPU, одночасно аналізуючи динаміку навчання та можливості узагальнення. Отримано наступні результати: архітектура BiLSTM-CNN досягла оптимальної продуктивності з точністю 79,5%, відтворюваністю 79,5%, 77,9% F1-показником та 93,4% AUCROC, за нею йдуть BiLSTM-GNN (78,9% точність, 93,3% AUC-ROC) та BiLSTM-GRU (77,9% точність, 92,2% AUCROC), тоді як BiLSTM-RNN продемонструвала катастрофічну невдачу (33,3% точність). Усі успішні архітектури продемонстрували значне перенавчання з розривом у точності тренування-валідації 15-17%, що вказує на системні проблеми узагальнення з обмеженими даними для навчання (40 000 зразків). Висновок. Витяг багатоядерних конволюційних ознак виявляється найефективнішим для розпізнавання локальних візерунків у перевірці фактів, тоді як підходи, натхненні графами, демонструють багатообіцяючий потенціал для реляційного міркування. Постійне перенавчання в різних архітектурах підкреслює гостру необхідність вдосконалення методів регуляризації, збільшення обсягу даних та ансамблевих методів для досягнення надійної роботи автоматизованих систем перевірки фактів в умовах обчислювальних обмежень.

Завантаження

Дані завантаження ще не доступні.

Посилання

1. Thorne, J.; Vlachos, A.; Christodoulopoulos, C.; Mittal, A. FEVER: a Large-scale Dataset for Fact Extraction and VERification. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, New Orleans, Louisiana, June 2018; pp. 809–819. doi: https://doi.org/10.18653/v1/N18-1074. DOI: https://doi.org/10.18653/v1/N18-1074

2. Nie, Y.; Chen, H.; Bansal, M. Combining Fact Extraction and Verification with Neural Semantic Matching Networks. In Proceedings of the AAAI Conference on Artificial Intelligence, July 2019; pp. 6859–6866. doi: https://doi.org/10.1609/aaai.v33i01.33016859. DOI: https://doi.org/10.1609/aaai.v33i01.33016859

3. Abualigah, L.; Al-Ajlouni, Y.Y.; Daoud, M.S.; Altalhi, M.; Migdady, H. Fake news detection using recurrent neural network based on bidirectional LSTM and GloVe. Soc. Netw. Anal. Min. 2024, 14, 40. doi: https://doi.org/10.1007/s13278-024-01198-w. DOI: https://doi.org/10.1007/s13278-024-01198-w

4. Sastrawan, I.K.; Bayupati, I.P.A.; Arsa, D.M.S. Detection of fake news using deep learning CNN–RNN based methods. ICT Express 2021, 8, 396–408. doi: https://doi.org/10.1016/j.icte.2021.10.003. DOI: https://doi.org/10.1016/j.icte.2021.10.003

5. Dev, D. G.; Bhatnagar, V.; Bhati, B. S.; Gupta, M.; Nanthaamornphong, A. LSTMCNN: A hybrid machine learning model to unmask fake news. Heliyon. 2024, 3, 10. doi: https://doi.org/10.1016/j.heliyon.2024.e25244. DOI: https://doi.org/10.1016/j.heliyon.2024.e25244

6. Ajik, E. D.; Obuandike, G. N.; Echobu, F. O. Fake News Detection Using Optimized CNN and LSTM Techniques. Journal of Information Systems and Informatics. 2023, 3, 5, 1044-1057. doi: https://doi.org/10.51519/journalisi.v5i3.548. DOI: https://doi.org/10.51519/journalisi.v5i3.548

7. Nasir, J. A.; Khan, O. S.; Varlamis, I. Fake news detection: A hybrid CNN-RNN based deep learning approach. International Journal of Information Management Data Insights. 2021, 1, 1, 100007. doi: https://doi.org/10.1016/j.jjimei.2020.100007. DOI: https://doi.org/10.1016/j.jjimei.2020.100007

8. Almandouh, E.; Alrahmawy, M.F.; Eisa, M. et al. Ensemble based high performance deep learning models for fake news detection. Sci. Rep. 2024, 14, 26591. doi: https://doi.org/10.1038/s41598-024-76286-0. DOI: https://doi.org/10.1038/s41598-024-76286-0

9. Mohammed, A.; Kora R. A comprehensive review on ensemble deep learning: Opportunities and challenges. J. King Saud Univ.-Comput. Inf. Sci. 2023, 2, 35, 757–774. doi: https://doi.org/10.1016/j.jksuci.2023.01.014. DOI: https://doi.org/10.1016/j.jksuci.2023.01.014

10. Veličković, P.; Cucurull, G.; Casanova, A.; Romero, A.; Liò, P.; Bengio, Y. Graph Attention Networks. In Proceedings of the International Conference on Learning Representations, 2018; pp. 1–12. url: https://arxiv.org/abs/1710.10903v3.

11. Brody, S.; Alon, U.; Yahav, E. How Attentive are Graph Attention Networks? In Proceedings of the International Conference on Learning Representations, May 2021. url: https://arxiv.org/abs/2105.14491.

12. Wu, L.; Rao, Y.; Yang, X.; Wang, W.; Nazir, A. Evidence-Aware Hierarchical Interactive Attention Networks for Explainable Claim Verification. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, July 2020; pp. 1388–1394. doi: https://doi.org/10.24963/ijcai.2020/193. DOI: https://doi.org/10.24963/ijcai.2020/193

13. Xu, W.; Wu, J.; Liu, Q.; Wu, S.; Wang, L. Evidence-aware Fake News Detection with Graph Neural Networks. In Proceedings of the ACM Web Conference 2022, April 2022; pp. 2501–2510. doi: https://doi.org/10.1145/3485447.3512122. DOI: https://doi.org/10.1145/3485447.3512122

14. Sun, C.; Li, C.; Lin, X. et al. Attention-based Graph Neural Networks: A Survey. Artif. Intell. Rev. 2023, 56, 2263–2310. doi: https://doi.org/10.1007/s10462-023-10577-2. DOI: https://doi.org/10.1007/s10462-023-10577-2

15. Wu, Z.; Pan, S.; Chen, F.; Long, G.; Zhang, C.; Yu, P.S. A Comprehensive Survey on Graph Neural Networks. IEEE Trans. Neural Netw. Learn. Syst. 2021, 32, 4–24. doi: https://doi.org/10.1109/TNNLS.2020.2978386. DOI: https://doi.org/10.1109/TNNLS.2020.2978386

16. Luu, S. T.; Vo, T.; Nguyen, LM. MCVE: Multimodal Claim Verification and Explanation Framework for Fact-Checking System. Multimed. Syst. 2025, 31, 242. doi: https://doi.org/10.1007/s00530-025-01804-7. DOI: https://doi.org/10.1007/s00530-025-01804-7