ФРЕЙМВОРК ДЛЯ МЕТРИЧНОГО ОЦІНЮВАННЯ СИСТЕМ ШТУЧНОГО ІНТЕЛЕКТУ НА ОСНОВІ МОДЕЛІ ЯКОСТІ
Ключові слова:
система штучного інтелекту, оцінювання якості, метрики оцінювання, візуалізація, фреймворк
Анотація
Мотивація. На сьогодні вкрай важливо розуміти, чи можна довіряти системам, що базуються на використанні штучного інтелекту (СШІ). Велика кількість сучасних СШІ побудовано за принципом «чорної скриньки», тобто незрозуміло, яким чином вони працюють, а тільки є результати роботи. Також потрібні засоби для порівняння декількох СШІ. У випадку, коли декілька варіантів ШІ конкурують щодо використання у деякій системі, потрібно визначити кращий. Метою дослідження є розроблення модель-базованого фреймворку для оцінювання якості СШІ з використанням метрик і методу візуалізації результатів. Етапи дослідження. В статті аналізуються моделі якості СШІ, метрики і види згорток для її оцінювання, пропонується метод оцінювання та візуалізації результатів і приклад використання методу. Висновки. Для оцінювання СШІ використано базові моделі якості, об’єднані у чотирьохрівневу ієрархію. Для цих характеристик визначено правила формування метрик і метод розрахунку якості з використанням згорток та візуалізації проміжних і кінцевих результатів за допомогою радіальних метричних діаграм. Відповідні моделі якості, метрики і методи оцінювання і візуалізації утворюють фреймворк для автоматизації процесів, який реалізується з використанням розробленого інструментального засобу. Цей засіб дозволяє користувачу створювати модель якості, встановлювати метрики якості, вводити значення показників метрик. Потім на основі цих показників розраховується узагальнена метрика якості системи та візуалізується за допомогою РМД. Засіб є десктопним застосунком, створеним на платформі .Net Framework. Напрям подальших досліджень. Майбутні кроки можуть бути присвячено розвитку моделі та інструментарію оцінювання якості для різних доменів з урахуванням аспектів еволюції якості.Завантаження
Дані про завантаження поки що недоступні.
Посилання
1. Trustworthy AI [Text] / R. Chatila, V. Dignum, M. Fisher, F. Giannotti, K. Morik, S. Russell, K. Yeung // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics): collective monograph, edited by B. Braunschweig, M. Ghallab. – Cham: Springer International Publishing, 2021. – Vol. 12600. – Р. 13-39. DOI: 10.1007/978-3-030-69128-8.
2. A Systematic Review of Explainable Artificial Intelligence in Terms of Different Application Domains and Tasks [Text] / M. R. Islam, M. U. Ahmed, S. Barua, S. Begum // Applied Sciences. – 2022. – Vol. 12. – Article Id: 1353. DOI: 10.3390/app12031353
3. Харченко В. С., Фесенко Г. В., Ілляшенко О. О. (2022), Базова модель нефункційних характеристик для оцінки якості штучного інтелекту // Радіоелектронні і комп'ютерні системи 2(102). с. 1-14.
4. ISO/IEC 25010 (2011). ISO/IEC 25010:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models.
5. Харченко В.С., Жихарев В.Я., Іллюшко В.М. та ін. (2004), Основи надійності цифрових систем, Харків: Нац. Аерокосм. Ун-т. «ХАІ».
6. NIST Four Principles of Explainable Artificial Intelligence: Draft NISTIR 8312 / P. J. Phillips, C. A. Hahn, P. C. Fontana, D. A. Broniatowski, M. A. Przybocki, C. A. Hahn, P. C. Fontana. – Gaithersburg: National Institute of Standards and Technology, 2020. – 24 p. DOI: 10.6028/NIST.IR.8312.
7. European Commission, Directorate-General for Communications Networks, Content and Technology, Ethics guidelines for trustworthy AI, Publications Office, (2019), https://data.europa.eu/doi/10.2759/346720
8. UNESCO (2021), Recommendation on the Ethics of Artificial Intelligence, https://unesdoc.unesco.org/ark:/48223/pf0000380455, Дата звернення 21.05.2022
9. ISO/IEC TR 24028:2020. Information technology. Artificial intelligence. Overview of trustworthiness in artificial intelligence [Electronic resource]. – Available at: https://www.iso.org/standard/77608.html. – 10.03.2022.
10. OECD. Tools for Trustworthy AI: A Framework to Compare Implementation Tools [Electronic resource]. – Available at: https://www.oecd.org/science/tools-for-trustworthy-ai-008232ec-en.htm. – 10.03.2022.
11. Москаленко В. В. Багатоетапний метод глибинного навчання з попереднім самонавчанням для класифікаційного аналізу дефектів стічних труб [Текст] / В. В. Москаленко, М. О. Зарецький, А. С. Москаленко, А. Г. Коробов, Я. Ю. Ковальський // Радіоелектронні і комп’ютерні системи. – 2021. – № 4. – C. 71-81. DOI: 10.32620/reks.2021.4.06.
12. Kuchuk, H. System of license plate recognition considering large camera shooting angles [Text] / H. Kuchuk, A. Podorozhniak, N. Liubchenko, D. Onischenko // Radioelectronic and Computer Systems. – 2021. – No. 4. – P. 82-91. DOI: 10.32620/reks.2021.4.07
13. Some, Evariste & Gondwe, Greg & Rowe, Evan. (2019). Cybersecurity and Driverless Cars: In Search for a Normative Way of Safety. 352-357. 10.1109/IOTSMS48152.2019.8939168.
14. Gordieiev, O. IT-oriented software quality models and evolution of the prevailing characteristics [Text] / O. Gordieiev, V. Kharchenko // Dependable Systems, Services and Technologies (DESSERT): Proceeding of 9th Int. Conf., 2018. – P. 375-380. DOI: 10.1109/DESSERT.2018.8409162.
2. A Systematic Review of Explainable Artificial Intelligence in Terms of Different Application Domains and Tasks [Text] / M. R. Islam, M. U. Ahmed, S. Barua, S. Begum // Applied Sciences. – 2022. – Vol. 12. – Article Id: 1353. DOI: 10.3390/app12031353
3. Харченко В. С., Фесенко Г. В., Ілляшенко О. О. (2022), Базова модель нефункційних характеристик для оцінки якості штучного інтелекту // Радіоелектронні і комп'ютерні системи 2(102). с. 1-14.
4. ISO/IEC 25010 (2011). ISO/IEC 25010:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models.
5. Харченко В.С., Жихарев В.Я., Іллюшко В.М. та ін. (2004), Основи надійності цифрових систем, Харків: Нац. Аерокосм. Ун-т. «ХАІ».
6. NIST Four Principles of Explainable Artificial Intelligence: Draft NISTIR 8312 / P. J. Phillips, C. A. Hahn, P. C. Fontana, D. A. Broniatowski, M. A. Przybocki, C. A. Hahn, P. C. Fontana. – Gaithersburg: National Institute of Standards and Technology, 2020. – 24 p. DOI: 10.6028/NIST.IR.8312.
7. European Commission, Directorate-General for Communications Networks, Content and Technology, Ethics guidelines for trustworthy AI, Publications Office, (2019), https://data.europa.eu/doi/10.2759/346720
8. UNESCO (2021), Recommendation on the Ethics of Artificial Intelligence, https://unesdoc.unesco.org/ark:/48223/pf0000380455, Дата звернення 21.05.2022
9. ISO/IEC TR 24028:2020. Information technology. Artificial intelligence. Overview of trustworthiness in artificial intelligence [Electronic resource]. – Available at: https://www.iso.org/standard/77608.html. – 10.03.2022.
10. OECD. Tools for Trustworthy AI: A Framework to Compare Implementation Tools [Electronic resource]. – Available at: https://www.oecd.org/science/tools-for-trustworthy-ai-008232ec-en.htm. – 10.03.2022.
11. Москаленко В. В. Багатоетапний метод глибинного навчання з попереднім самонавчанням для класифікаційного аналізу дефектів стічних труб [Текст] / В. В. Москаленко, М. О. Зарецький, А. С. Москаленко, А. Г. Коробов, Я. Ю. Ковальський // Радіоелектронні і комп’ютерні системи. – 2021. – № 4. – C. 71-81. DOI: 10.32620/reks.2021.4.06.
12. Kuchuk, H. System of license plate recognition considering large camera shooting angles [Text] / H. Kuchuk, A. Podorozhniak, N. Liubchenko, D. Onischenko // Radioelectronic and Computer Systems. – 2021. – No. 4. – P. 82-91. DOI: 10.32620/reks.2021.4.07
13. Some, Evariste & Gondwe, Greg & Rowe, Evan. (2019). Cybersecurity and Driverless Cars: In Search for a Normative Way of Safety. 352-357. 10.1109/IOTSMS48152.2019.8939168.
14. Gordieiev, O. IT-oriented software quality models and evolution of the prevailing characteristics [Text] / O. Gordieiev, V. Kharchenko // Dependable Systems, Services and Technologies (DESSERT): Proceeding of 9th Int. Conf., 2018. – P. 375-380. DOI: 10.1109/DESSERT.2018.8409162.
Опубліковано
2022-06-07
Як цитувати
Vasyliev Ihor Фреймворк для метричного оцінювання систем штучного інтелекту на основі моделі якості / Ihor Vasyliev, Vyacheslav Kharchenko // Системи управління, навігації та зв’язку. Збірник наукових праць. – Полтава: ПНТУ, 2022. – Т. 2 (68). – С. 41-45. – doi:https://doi.org/10.26906/SUNZ.2022.2.041.
Розділ
Інформаційні технології
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
