АНАЛІЗ ФУНКЦІОНУВАННЯ РОЗПОДІЛЕНИХ СИСТЕМ ОБРОБКИ ТА ЗБЕРІГАННЯ ДАНИХ
Ключові слова:
розподілена інформаційна система, обробка даних, SOA, P2P, Web-Scale, сховище даних, центр обробки даних, event-driven architectures
Анотація
Актуальність. Зі зростанням обсягу даних, генерованих користувачами, IoT пристроями, соціальними медіа, бізнес-процесами тощо, потреба в масштабованих рішеннях для зберігання стає все більш очевидною. Розподілені системи дозволяють ефективно масштабуватися, забезпечуючи збільшення обсягів зберігання і обчислювальної потужності без значних затрат. Сучасний бізнес вимагає високої доступності та надійності систем, оскільки навіть мінімальний час простою може призвести до значних фінансових втрат та зниження довіри клієнтів. Розподілені системи забезпечують високу доступність і витривалість, автоматично відновлюючи роботу після збоїв і реплікуючи дані для забезпечення їх цілісності. Глобалізація бізнесу вимагає роботи з даними у різних географічних локаціях. Розподілені системи дозволяють локалізувати зберігання та обробку даних ближче до кінцевих користувачів, знижуючи затримки і підвищуючи загальну продуктивність систем. Збільшення загроз безпеці та посилення нормативних вимог до захисту даних змушують організації шукати більш надійні рішення для зберігання даних. Розподілені системи пропонують розширені можливості для шифрування даних, регулювання доступу, аудиту та відповідності нормативним актам. Для обробки великих обсягів даних часто потрібні великі обчислювальні потужності. Розподілені системи зберігання даних ідеально підходять для роботи в парі з розподіленими обчисленнями, такими як обробка потокових даних, машинне навчання, великі дані, дозволяючи ефективно розподіляти завдання і обробляти великі обсяги інформації.Серед викликів, з якими можуть стикатися розподілені системи зберігання даних, - забезпечення консистентності даних між вузлами, управління затримками мережі, захист даних і забезпечення безпеки. Для вирішення цих викликів застосовуються різні стратегії та технології, включаючи алгоритми консистентного хешування, реплікацію даних, транзакційні протоколи з гарантією атомарності, консистентності, ізоляції та довговічності та моделі послідовної консистентності. Таким чином, в умовах постійного зростання обсягів даних та збільшення вимог до їх обробки, розподілені системи зберігання даних є ключовим елементом інфраструктури будь-якої організації, що прагне до інновацій та ефективності. Метою даної роботи є аналіз функціонування розподілених систем обробки та зберігання даних. Об’єктом дослідження є розподілені системи обробки та зберігання даних. Предметом дослідження є архітектурні рішення розподілених систем зберігання та обробки даних. Результати. Проведено аналіз функціонування розподілених систем обробки та зберігання даних. Вибір архітектурного рішення для розподіленої системи залежить від специфіки задач, які необхідно вирішити, вимог до продуктивності, масштабованості, надійності та доступності. Зазвичай, ефективні розподілені системи використовують комбінацію зазначених підходів для досягнення оптимальних результатів. Вибір архітектурного рішення для розподілених систем - це комплексний процес, який вимагає балансування між технічними, бізнесовими та операційними вимогами. Врахування майбутнього зростання, потенційних викликів і гнучкості системи є ключовими факторами для забезпечення її довгострокового успіху.Завантаження
Дані про завантаження поки що недоступні.
Посилання
1. Tanenbaum, Andrew S., and Maarten van Steen. Distributed Systems: Principles and Paradigms. 3rd ed., Pearson, 2017.p.17-30.
2. Thomas Erl, Benjamin Carlyle, Cesare Pautasso, Raj Balasubramanian. SOA with REST. – Prentice Hall, 2013.
3. Kovalenko, A., Kuchuk, H., Kuchuk, N. and Kostolny, J. (2021), “Horizontal scaling method for a hyperconverged network”, 2021 Int. Conf. on Information and Digital Technologies (IDT), Zilina, doi: https://doi.org/10.1109/IDT52577.2021.9497534
4. Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE. Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid – 2011. p. 23.
5. HWM Singapore. An introduction to network attached storage. SPH Magazines – 2003. pp. 90–92.
6. Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng. Characterization and Optimization of Memory-Resident MapReduce on HPC Systems. IEEE 28th International Parallel and Distributed Processing Symposium. IEEE – 2014. pp. 799–808. doi:10.1109/IPDPS.2014.87
2. Thomas Erl, Benjamin Carlyle, Cesare Pautasso, Raj Balasubramanian. SOA with REST. – Prentice Hall, 2013.
3. Kovalenko, A., Kuchuk, H., Kuchuk, N. and Kostolny, J. (2021), “Horizontal scaling method for a hyperconverged network”, 2021 Int. Conf. on Information and Digital Technologies (IDT), Zilina, doi: https://doi.org/10.1109/IDT52577.2021.9497534
4. Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE. Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid – 2011. p. 23.
5. HWM Singapore. An introduction to network attached storage. SPH Magazines – 2003. pp. 90–92.
6. Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng. Characterization and Optimization of Memory-Resident MapReduce on HPC Systems. IEEE 28th International Parallel and Distributed Processing Symposium. IEEE – 2014. pp. 799–808. doi:10.1109/IPDPS.2014.87
Опубліковано
2024-09-06
Як цитувати
Bilokon Anton Аналіз функціонування розподілених систем обробки та зберігання даних / Anton Bilokon, Stanislav Borisov, Maxim Usatenko, Volodymyr Fedorchenko // Системи управління, навігації та зв’язку. Збірник наукових праць. – Полтава: ПНТУ, 2024. – Т. 3 (77). – С. 84-88. – doi:https://doi.org/10.26906/SUNZ.2024.3.084.
Розділ
Інформаційні технології
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.