МЕТОДОЛОГІЯ АВТОМАТИЗОВАНОЇ ОЦІНКИ ТЕМАТИЧНОЇ СПОРІДНЕНОСТІ НАУКОВИХ ПУБЛІКАЦІЙ НА ОСНОВІ СЕМАНТИЧНОГО АНАЛІЗУ

Oleksandr Ivaniuk

doi:10.26906/SUNZ.2025.3.096

Автор(и)

Oleksandr Ivaniuk

DOI:

https://doi.org/10.26906/SUNZ.2025.3.096

Ключові слова:

тематична спорідненість, ембединги, косинусна подібність, призначення рецензентів, дисертації, профілі науковців, OpenAI text-embedding-3-large, UMAP, DBSCAN, NDCG, Hit@k, рекомендаційні системи, текстова аналітика, машинне навчання

Анотація

Актуальність. Автоматизована оцінка тематичної спорідненості між дисертаційними дослідженнями та профілями потенційних експертів потрібна для прозорого й відтворюваного добору офіційних опонентів і складу разових рад; відкриті дані NAQA.Svr роблять таку оцінку технічно можливою. Об’єкт дослідження: методи та засоби побудови семантичних профілів дисертацій і науковців та їх ранжування у спільному векторному просторі. Мета статті: розробити та емпірично перевірити методологію автоматизованої оцінки тематичної спорідненості наукових публікацій на основі семантичного аналізу. Результати дослідження. Сформовано корпус із 259 дисертацій, 662 профілів науковців і 3345 публікацій; тексти нормалізовано, назви публікацій стандартизовано засобами великої мовної моделі. Семантичні подання отримано за допомогою моделі OpenAI. Порівнювалися два варіанти подання дисертацій (повний опис; лише ключові слова) та науковців (публікації; ключові слова). Якість оцінювалася за фактичними призначеннями опонентів, використовуючи метрики NDCG, Hit@k і NDCG-lift. Найкращі результати стабільно показала комбінація «дисертація за ключовими словами» та «науковець за публікаціями», яка демонструє найвищу точність у верхніх позиціях і найбільший виграш відносно випадкового відбору. Висновки. Поєднання профілю дисертації за ключовими словами з профілем науковця, агрегованим за публікаціями, забезпечує найкращий баланс точності та стійкості і є практично доцільним для попереднього добору опонентів. Запропонована методологія відтворювана, масштабована й узгоджена з відкритими даними; перспективні напрями – урахування часової ваги публікацій, двомовності термінів та процедурних обмежень під час остаточного призначення.

Завантаження

Дані завантаження ще не доступні.

Посилання

1. Кабінет Міністрів України. (2022). Про затвердження Порядку присудження ступеня доктора філософії та скасування рішення разової спеціалізованої вченої ради закладу вищої освіти, наукової установи про присудження ступеня доктора філософії. Available at: https://zakon.rada.gov.ua/laws/show/44-2022-%D0%BF#Text

2. Національне агентство із забезпечення якості вищої освіти. (2024). Порядок функціонування інформаційної системи «NAQA.Svr» (затверджено 30.08.2022; зі змінами від 19.11.2024). Available at: https://naqa.gov.ua/wpcontent/uploads/2025/04...8F-NAQA.Svr_22.04.2025.pdf

3. Національне агентство із забезпечення якості вищої освіти. (2020). Рекомендації для експертів Національного агентства стосовно акредитації освітніх програм третього рівня вищої освіти (додаток до «Методичних рекомендацій для експертів Національного агентства щодо застосування Критеріїв оцінювання якості освітньої програми»). Available at: https://naqa.gov.ua/wp-content/uploads/2020/02....pdf

4. Міністерство освіти і науки України. (2024). Про затвердження Положення про акредитацію освітніх програм, за якими здійснюється підготовка здобувачів вищої освіти (Наказ № 686; зареєстровано в Міністерстві юстиції України 04.07.2024 № 1013/42358). Available at: https://zakon.rada.gov.ua/laws/show/z1013-24#Text

5. Національне агентство із забезпечення якості вищої освіти. (2019). Методичні рекомендації для експертів Національного агентства щодо застосування Критеріїв оцінювання якості освітньої програми. Available at: https://bit.ly/4gG5Yki

6. Zhao, X., & Zhang, Y. (2022). Reviewer assignment algorithms for peer review automation: A survey. Information Processing & Management, 59(5), 103028. https://doi.org/10.1016/j.ipm.2022.103028 DOI: https://doi.org/10.1016/j.ipm.2022.103028

7. Aksoy, M., Yanik, S., & Amasyali, M. F. (2023). Reviewer assignment problem: A systematic review of the literature. Journal of Artificial Intelligence Research, 76, 761–827. https://doi.org/10.1613/JAIR.1.14318 DOI: https://doi.org/10.1613/jair.1.14318

8. Tan, S., Duan, Z., Zhao, S., Chen, J., & Zhang, Y. (2021). Improved reviewer assignment based on both word and semantic features. Information Retrieval Journal, 24(3), 175–204. https://doi.org/10.1007/s10791-021-09390-8 DOI: https://doi.org/10.1007/s10791-021-09390-8

9. Price, S., & Flach, P. (2017). Computational support for academic peer review: A perspective from artificial intelligence. Communications of the ACM, 60(3), 70–79. https://doi.org/10.1145/2979672 DOI: https://doi.org/10.1145/2979672

10. Ogunleye, O., Ifebanjo, T., Abiodun, T. N., & Adebiyi, A. A. (2017). Proposed framework for a paper-reviewer assignment system using Word2Vec. Proc. of the 4th Covenant University Conf. on E-Governance in Nigeria (CUCEN 2017). Covenant University Repository. Available at: https://www.researchgate.net/publication/322356955_Covenant_University_EGovernance_Conference_CUCEN_2017

11. Mimno, D., & McCallum, A. (2007). Expertise modeling for matching papers with reviewers. Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, рp. 500–509. https://doi.org/10.1145/1281192.1281247 DOI: https://doi.org/10.1145/1281192.1281247

12. Штовба, С. Д., Петричко, М. В. (2024). Експрес-підбір опонентів для разових рад із захисту PhD-дисертацій. Ukrainian Journal of Information Systems and Data Science, 2(1), 41–54. https://doi.org/10.31558/2786-9482.2024.1.4 DOI: https://doi.org/10.31558/2786-9482.2024.1.4