СУЧАСНІ ІНСТРУМЕНТИ ОРКЕСТРАЦІЇ ДАНИХ ДЛЯ ПОБУДОВИ КОНВЕЄРІВ АВТОМАТИЧНОЇ ОБРОБКИ ДАНИХ
Ключові слова:
оркестрація даних, конвеєри обробки даних, ETL, DAG
Анотація
Всесвіт даних у сучасних компаніях постійно розширюється. Зі збільшенням кількості даних збільшується потреба в управлінні, синхронізації розкладів та вирішення проблем обробки. Компаніям потрібно зламати бар'єри між джерелами даних та сховищами, щоб по-справжньому використовувати всю інформацію, яку вони збирають. Оркестрація даних дозволяє організаціям автоматизувати та оптимізувати свої дані, перетворюючи їх на оперативні активи, щоб цінну інформацію можна було використовувати для прийняття бізнес-рішень у режимі реального часу. За деякими оцінками, 80% роботи, пов'язаної з аналізом даних, зводиться до збирання та підготовки даних, що означає, що оркестрація даних може скоротити велику кількість часу на обробку та планування. Метою даної роботи є аналіз сучасних інструментів оркестрації. Об’єктом дослідження є дата інженерія. Предметом дослідження є оркестрація даних.Завантаження
Дані про завантаження поки що недоступні.
Посилання
1. Fundamentals of Data Engineering. Authors: Joseph Reis and Matthew Housley -2022. – 447 p.
2. Data Pipelines Pocket Reference: Moving and Processing Data for Analytics. Authors: James Densmore – 2021. – 274 p.
3. Коваленко А. А., Кучук Г. А. Методи синтезу інформаційної та технічної структур системи управління об’єктом критичного застосування. Сучасні інформаційні системи. 2018. Т. 2, № 1. С. 22–27. DOI: https://doi.org/10.20998/2522-9052.2018.1.04
4. Свиридов А. C., Коваленко А. А., Кучук Г. А. Метод перерозподілу пропускної здатності критичної ділянки мережі на основі удосконалення ON/OFF-моделі трафіку. Сучасні інформаційні системи. 2018. Т. 2, № 2. С. 139–144. DOI: https://doi.org/10.20998/2522-9052.2018.2.24
5. Datsenko, S. and Kuchuk, H. (2023), “Biometric authentication utilizing convolutional neural networks”, Advanced Information Systems, Vol. 7, no. 2, pp. 87–91, doi: https://doi.org/10.20998/2522-9052.2023.2.12
6. Petrovska, I. and Kuchuk, H. (2023), “Adaptive resource allocation method for data processing and security in cloud environment”, Advanced Information Systems, Vol. 7, No. 3, pp. 67–73, doi: https://doi.org/10.20998/2522-9052.2023.3.10
7. Офіційний сайт Airflow [Electronic resource] – URL: https://airflow.apache.org/docs/apache-airflow/stable/index.html
8. Офіційний сайт Prefect [Electronic resource] – URL: https://docs.prefect.io/latest/
9. Офіційний сайт Mage [Electronic resource] – URL: https://docs.mage.ai/introduction/overview
10. Офіційний сайт Kestra [Electronic resource] – URL: https://kestra.io/docs
11. Офіційний сайт Dagster [Electronic resource] – URL: https://docs.dagster.io/getting-started/what-why-dagster
2. Data Pipelines Pocket Reference: Moving and Processing Data for Analytics. Authors: James Densmore – 2021. – 274 p.
3. Коваленко А. А., Кучук Г. А. Методи синтезу інформаційної та технічної структур системи управління об’єктом критичного застосування. Сучасні інформаційні системи. 2018. Т. 2, № 1. С. 22–27. DOI: https://doi.org/10.20998/2522-9052.2018.1.04
4. Свиридов А. C., Коваленко А. А., Кучук Г. А. Метод перерозподілу пропускної здатності критичної ділянки мережі на основі удосконалення ON/OFF-моделі трафіку. Сучасні інформаційні системи. 2018. Т. 2, № 2. С. 139–144. DOI: https://doi.org/10.20998/2522-9052.2018.2.24
5. Datsenko, S. and Kuchuk, H. (2023), “Biometric authentication utilizing convolutional neural networks”, Advanced Information Systems, Vol. 7, no. 2, pp. 87–91, doi: https://doi.org/10.20998/2522-9052.2023.2.12
6. Petrovska, I. and Kuchuk, H. (2023), “Adaptive resource allocation method for data processing and security in cloud environment”, Advanced Information Systems, Vol. 7, No. 3, pp. 67–73, doi: https://doi.org/10.20998/2522-9052.2023.3.10
7. Офіційний сайт Airflow [Electronic resource] – URL: https://airflow.apache.org/docs/apache-airflow/stable/index.html
8. Офіційний сайт Prefect [Electronic resource] – URL: https://docs.prefect.io/latest/
9. Офіційний сайт Mage [Electronic resource] – URL: https://docs.mage.ai/introduction/overview
10. Офіційний сайт Kestra [Electronic resource] – URL: https://kestra.io/docs
11. Офіційний сайт Dagster [Electronic resource] – URL: https://docs.dagster.io/getting-started/what-why-dagster
Опубліковано
2024-04-30
Як цитувати
Zaleskyi V. Сучасні інструменти оркестрації даних для побудови конвеєрів автоматичної обробки даних / V. Zaleskyi, P. Ivanovskii, V. Fedorchenko // Системи управління, навігації та зв’язку. Збірник наукових праць. – Полтава: ПНТУ, 2024. – Т. 2 (76). – С. 95-98. – doi:https://doi.org/10.26906/SUNZ.2024.2.095.
Розділ
Інформаційні технології
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
