ОЦІНКА ЧУТЛИВОСТІ ПОЯСНЕНЬ В ІНТЕЛЕКТУАЛЬНІЙ ІНФОРМАЦІЙНІЙ СИСТЕМІ
DOI:
https://doi.org/10.26906/SUNZ.2023.2.165Ключові слова:
інтелектуальна система, пояснення, процес прийняття рішення, причинно-наслідковий зв'язок, оцінка поясненьАнотація
Предметом вивчення в статті є процеси побудови пояснень щодо отриманих рішень в інтелектуальній інформаційній системі. Метою є оцінка чутливості пояснень на основі аналізу властивостей вхідних даних та відповідних рішень в інтелектуальній інформаційній системі для підтримки вибору найкращого пояснення з позицій задоволення інтересів користувача. Завдання: структуризація критеріїв кількісної оцінки пояснень при представленні інтелектуальної системи у вигляді чорного ящику; розробка методу оцінки чутливості пояснень в інтелектуальній інформаційній системі. Використовуваними підходами є: підходи до побудови пояснень, підходи оцінки пояснень в інтелектуальних інформаційних системах. Отримані наступні результати. Структуровано критерії оцінки пояснень для інтелектуальних систем, представлених згідно принципу чорного ящику. Вказані критерії враховують вплив на пояснення вхідних та вихідних даних інтелектуальної системи, відповідність пояснення процесу прийняття рішення в інтелектуальній системі, а також відповідність пояснення і розуміння результатів інтелектуальної системи користувачем. На базі виконаної структуризації запропоновано метод оцінки чутливості пояснень для інтелектуальної системи, представленої згідно принципу чорного ящика. Висновки. Наукова новизна отриманих результатів полягає в наступному. Запропоновано метод оцінки чутливості пояснень для інтелектуальної системи, представленої згідно принципу чорного ящика. Метод містить етапи, пов'язані із перевіркою та визначенням схожості вхідних даних і результатів для альтернативних моделей інтелектуальних систем за кількісними та якісними показниками, а також кількісної оцінки вхідних даних та визначення чутливості пояснення. Запропонований метод дає можливість порівняти та вибрати пояснення з урахуванням властивостей та важливості вхідних даних з тим, щоб визначити можливості застосування альтернативних підходів до побудови пояснень щодо результатів інтелектуальної інформаційної системи. Подальший розвиток запропонованого підходу орієнтований на визначення і реалізацію метрик оцінки точності і прозорості пояснень.Завантаження
Посилання
Castelvecchi D. (2016), “Can we open the black box of AI?” Nature, Vol. 538 (7623), pp. 20-23.
Tintarev N., Masthoff J. (2012), “Evaluating the effectiveness of explanations for recommender systems”, User Model UserAdap Inter., Vol. 22, pp. 399– 439, https://doi.org/10.1007/s11257-011-9117-5.
Miller T. (2019), “Explanation in artificial intelligence: Insights from the social sciences”, Artificial Intelligence, vol. 267, pp.1-38, DOI: https://doi.org/10.1016/j.artint.2018.07.007
Adadi, A., Berrada, M. (2018) Peeking inside the black-box: a survey on explainable artificial intelligence (XAI). IEEE Access 6, 52138– 52160.
Chalyi, S., Leshchynskyi, V. (2020). Method of constructing explanations for recommender systems based on the temporal dynamics of user preferences. EUREKA: Physics and Engineering, 3, 43-50. doi: 10.21303/2461-4262.2020.001228. Available at: http://journal.eu-jr.eu/engineering/article/view/14.
Gunning і D. Aha, (2019) “DARPA’s Explainable Artificial Intelligence (XAI) Program”, AI Magazine, Vol. 40(2), pp.44-58, doi: 10.1609/aimag.v40i2.2850.
Isaac Lage, Emily Chen, Jeffrey He, Menaka Narayanan, Been Kim, Samuel J Gershman, Finale Doshi-Velez. ( 2019) Human evaluation of models built for interpretability. In Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, vol.7, pp 59–67.
Oana-Maria Camburu, Eleonora Giunchiglia, Jakob Foerster, Thomas Lukasiewicz, Phil Blunsom.( 2019) Can I trust the explainer? Verifying post-hoc explanatory methods. arXiv:1910.02065.
Mengjiao Yang and Been Kim (2019). BIM: Towards quantitative evaluation of interpretability methodswith ground truth. arXiv:1907.09701.
Peter Lipton. Inference to the best explanation.Routledge, 2003.
