ФРЕЙМВОРК ДЛЯ МЕТРИЧНОГО ОЦІНЮВАННЯ СИСТЕМ ШТУЧНОГО ІНТЕЛЕКТУ НА ОСНОВІ МОДЕЛІ ЯКОСТІ

Анотація

Мотивація. На сьогодні вкрай важливо розуміти, чи можна довіряти системам, що базуються на використанні штучного інтелекту (СШІ). Велика кількість сучасних СШІ побудовано за принципом «чорної скриньки», тобто незрозуміло, яким чином вони працюють, а тільки є результати роботи. Також потрібні засоби для порівняння декількох СШІ. У випадку, коли декілька варіантів ШІ конкурують щодо використання у деякій системі, потрібно визначити кращий. Метою дослідження є розроблення модель-базованого фреймворку для оцінювання якості СШІ з використанням метрик і методу візуалізації результатів. Етапи дослідження. В статті аналізуються моделі якості СШІ, метрики і види згорток для її оцінювання, пропонується метод оцінювання та візуалізації результатів і приклад використання методу. Висновки. Для оцінювання СШІ використано базові моделі якості, об’єднані у чотирьохрівневу ієрархію. Для цих характеристик визначено правила формування метрик і метод розрахунку якості з використанням згорток та візуалізації проміжних і кінцевих результатів за допомогою радіальних метричних діаграм. Відповідні моделі якості, метрики і методи оцінювання і візуалізації утворюють фреймворк для автоматизації процесів, який реалізується з використанням розробленого інструментального засобу. Цей засіб дозволяє користувачу створювати модель якості, встановлювати метрики якості, вводити значення показників метрик. Потім на основі цих показників розраховується узагальнена метрика якості системи та візуалізується за допомогою РМД. Засіб є десктопним застосунком, створеним на платформі .Net Framework. Напрям подальших досліджень. Майбутні кроки можуть бути присвячено розвитку моделі та інструментарію оцінювання якості для різних доменів з урахуванням аспектів еволюції якості.