СУЧАСНІ ІНСТРУМЕНТИ ОРКЕСТРАЦІЇ ДАНИХ ДЛЯ ПОБУДОВИ КОНВЕЄРІВ АВТОМАТИЧНОЇ ОБРОБКИ ДАНИХ
DOI:
https://doi.org/10.26906/SUNZ.2024.2.095Ключові слова:
оркестрація даних, конвеєри обробки даних, ETL, DAGАнотація
Всесвіт даних у сучасних компаніях постійно розширюється. Зі збільшенням кількості даних збільшується потреба в управлінні, синхронізації розкладів та вирішення проблем обробки. Компаніям потрібно зламати бар'єри між джерелами даних та сховищами, щоб по-справжньому використовувати всю інформацію, яку вони збирають. Оркестрація даних дозволяє організаціям автоматизувати та оптимізувати свої дані, перетворюючи їх на оперативні активи, щоб цінну інформацію можна було використовувати для прийняття бізнес-рішень у режимі реального часу. За деякими оцінками, 80% роботи, пов'язаної з аналізом даних, зводиться до збирання та підготовки даних, що означає, що оркестрація даних може скоротити велику кількість часу на обробку та планування. Метою даної роботи є аналіз сучасних інструментів оркестрації. Об’єктом дослідження є дата інженерія. Предметом дослідження є оркестрація даних.Завантаження
Посилання
Fundamentals of Data Engineering. Authors: Joseph Reis and Matthew Housley -2022. – 447 p.
Data Pipelines Pocket Reference: Moving and Processing Data for Analytics. Authors: James Densmore – 2021. – 274 p.
Коваленко А. А., Кучук Г. А. Методи синтезу інформаційної та технічної структур системи управління об’єктом критичного застосування. Сучасні інформаційні системи. 2018. Т. 2, № 1. С. 22–27. DOI: https://doi.org/10.20998/2522-9052.2018.1.04
Свиридов А. C., Коваленко А. А., Кучук Г. А. Метод перерозподілу пропускної здатності критичної ділянки мережі на основі удосконалення ON/OFF-моделі трафіку. Сучасні інформаційні системи. 2018. Т. 2, № 2. С. 139–144. DOI: https://doi.org/10.20998/2522-9052.2018.2.24
Datsenko, S. and Kuchuk, H. (2023), “Biometric authentication utilizing convolutional neural networks”, Advanced Information Systems, Vol. 7, no. 2, pp. 87–91, doi: https://doi.org/10.20998/2522-9052.2023.2.12
Petrovska, I. and Kuchuk, H. (2023), “Adaptive resource allocation method for data processing and security in cloud environment”, Advanced Information Systems, Vol. 7, No. 3, pp. 67–73, doi: https://doi.org/10.20998/2522-9052.2023.3.10
Офіційний сайт Airflow [Electronic resource] – URL: https://airflow.apache.org/docs/apache-airflow/stable/index.html
Офіційний сайт Prefect [Electronic resource] – URL: https://docs.prefect.io/latest/
Офіційний сайт Mage [Electronic resource] – URL: https://docs.mage.ai/introduction/overview
Офіційний сайт Kestra [Electronic resource] – URL: https://kestra.io/docs
Офіційний сайт Dagster [Electronic resource] – URL: https://docs.dagster.io/getting-started/what-why-dagster
