РОЗПОДІЛ РЕСУРСІВ БАГАТОФАЗНОЇ СИСТЕМИ ОБРОБКИ ВЕЛИКИХ ДАНИХ ПРИ ВИСОКОІНТЕНСИВНОМУ ВХІДНОМУ ПОТОЦІ
Ключові слова:
великі дані, багатофазна система масового обслуговування, обчислювальний ресурс, високоінтенсивний потік
Анотація
Завдання оптимального проектування багатофазної системи обробки великих даних (БФСОВД) при високоінтенсивному вхідному потоці потребують застосування сучасних математичних і комп'ютерних методів та засобів. Предметом дослідження є ресурси багатофазної системи обробки великих даних. Мета дослідження – розроблення методу оптимального розподілу ресурсів БФСОВД при високоінтенсивному вхідному потоці, котрий враховує як можливість проведення аналізу даних у режимі реального часу, так і особливостей високоінтенсивного потоку вхідних даних із багатьох джерел. Результати. Визначено особливості високоінтенсивних потоків вхідних даних та показана можливість апроксимації його з достатньою точністю гауссівським розподілом. Також визначені особливості функціонування багатофазних систем та запропонована схема функціонування багатофазної системи обробки великих даних. Базуючись на отриманих результатах розроблена математична модель процесу оптимізаціі розподілу ресурсів багатофазної системи обробки великих даних при високоінтенсивному вхідному потоці. Для цього використано метод динамічного програмування. Висновок. В результаті отримана мінімальна кількість каналів в кожній фазі БФСОВД, при якій середній час аналізу даних в системі буде мінімальним.Завантаження
Дані про завантаження поки що недоступні.
Посилання
1. Кучук Г.А. Метод оценки характеристик АТМ-трафика / Г.А. Кучук // Інформаційно-керуючі системи на залізничному транспорті, – 2003. – № 6. – С. 44–48.
2. Кучук Г. А., Можаєв О. О., Воробйов О. В. Метод агрегування фрактального трафіка. Радіоелектронні та комп'ютерні системи. 2006. № 6 (18). С. 181–188.
3. Saravana, Balaji B,, Karthikeyan, N.K. and Raj Kumar, R.S., (2018), “Fuzzy service conceptual ontology system for cloud service recommendation”, Computers & Electrical Engineering, Vol. 69, pp. 435–446.
4. Saravana, Balaji B., Mohamed, Uvaze Ahamed, Eswaran C. and Kannan R., (2019), “Prediction-based Lossless Image Compression”, Lecture Notes in Computational Vision and Biomechanics (Springer), Vol. 30, No 1, pp.1749 – 17961, DOI: https://doi.org/10.1007/978-3-030-00665-5_161
5. Кучук Г. А. Фрактальный гауссовский шум в трафиковых трассах / Г.А. Кучук // Системи обробки інформації. – 2004. – № 3(31). – С. 91-100.
6. Кучук Г.А. Аналіз та моделі самоподібного трафіка / Г.А. Кучук, О.О. О.В. Можаев, Воробйов // Авиационнокосмическая техника и технология. – 2006. – Вып. 9 (35). – С. 173-180.
7. Amin Salih M., Potrus M.Y. A Method for Compensation of TCP Throughput Degrading During Movement Of Mobile Node. ZANCO Journal of Pure and Applied Sciences. 2015. Vol. 27, No 6. P. 59–68.
8. Gomathi, B, Karthikeyan, N.K. and Saravana, Balaji B., (2018), “Epsilon-Fuzzy Dominance Sort Based Composite Discrete Artificial Bee Colony optimization for Multi-Objective Cloud Task Scheduling Problem”, International Journal of Business Intelligence and Data Mining, Vol. 13, Issue 1-3, pp. 247-266, DOI: https://doi.org/10.1504/IJBIDM.2018.088435
9. Dhivakar B., Saravanan S.V., Sivaram M., Krishnan R.A. Statistical Score Calculation of Information Retrieval Systems using Data Fusion Technique”. Computer Science and Engineering. 2012. Vol. 2, Issue 5. pp.43-45.
10. Sivaram, M., Batri, K., Amin Salih, Mohammed and Porkodi V. (2019), “Exploiting the Local Optima in Genetic Algorithm using Tabu Search”, Indian Journal of Science and Technology, Volume 12, Issue 1.
11. Kuchuk G., Nechausov S., Kharchenko, V. Two-stage optimization of resource allocation for hybrid cloud data store. International Conference on Information and Digital Technologies. 2015. P. 266-271.
12. Ruban, I. Redistribution of base stations load in mobile communication networks / I. Ruban, H. Kuchuk, A. Kovalenko // Innovative technologies and scientific solutions for industries. – 2017. – No 1 (1) – P. 75-81.
13. Коваленко А.А. Сучасний стан та тенденції розвитку комп'ютерних систем об'єктів критичного застосування / А.А. Коваленко, Г.А. Кучук // Системи управління, навігації та зв’язку. – Полтава . ПНТУ, 2018. – Вип. 1(47). – С. 110-113. DOI : https://doi.org/10.26906/SUNZ.2018.1.110
14. Кучук Г. А. Модель процесса эволюции топологической структуры компьютерной сети системы управления объектом критического применения / Г.А. Кучук, А.А. Коваленко, А.А. Янковский // Системи обробки інформації. – 2014. – № 7(123). – С. 93-96.
15. Кучук Г. А. Метод параметрического управления передачей данных для модификации транспортных протоколов беспроводных сетей / Г.А. Кучук, А.С. Мохаммад, А.А. Коваленко // Системи обробки інформації. – 2011. – № 8(98). – С. 211-218.
16. Кучук Г.А. Метод мінімізації середньої затримки пакетів у віртуальних з’єднаннях мережі підтримки хмарного сервісу / Г.А. Кучук, А.А. Коваленко, Н.В. ЛуковаЧуйко // Системи управління, навігації та зв’язку. – Полтава . ПНТУ, 2017. – Вип. 2(42). – С. 117-120.
17. Sivaram, M., Yuvaraj, D., Amin Salih, Mohammed, Porkodi, V. and Manikandan V. (2018), “The Real Problem Through a Selection Making an Algorithm that Minimizes the Computational Complexity”, International Journal of Engineering and Advanced Technology, Vol. 8, iss. 2, 2018, pp. 95-100.
18. Sivaram, M., Porkodi, V., Mohammed, A.S., Manikandan V. Detection of Accurate Facial Detection Using Hybrid Deep Convolutional Recurrent Neural Network. ICTACT Journal on Soft Computing. 2019. Vol. 09, Issue 02. pp. 1844-1850.
19. Mohammed, A. S. Optimal Forecast Model for Erbil Traffic Road Data. ZANCO Journal of Pure and Applied Sciences. 2017. Vol. 29, No 5. P. 137–145. DOI: https://doi.org/10.21271/ZJPAS.29.5.15
20. Amin Salih M., Yuvaraj D., Sivaram M., Porkodi V. Detection And Removal Of Black Hole Attack In Mobile Ad Hoc Networks Using Grp Protocol. International Journal of Advanced Research in Computer Science. Vol. 9, No 6. P. 1–6.
21. Коваленко А. А., Кучук Г. А. Методи синтезу інформаційної та технічної структур системи управління об’єктом критичного застосування. Сучасні інформаційні системи. 2018. Т. 2, № 1. С. 22–27. DOI: https://doi.org/10.20998/2522-9052.2018.1.04
22. Свиридов А. C., Коваленко А. А., Кучук Г. А. Метод перерозподілу пропускної здатності критичної ділянки мережі на основі удосконалення ON/OFF-моделі трафіку. Сучасні інформаційні системи. 2018. Т. 2, № 2. С. 139–144. DOI: https://doi.org/10.20998/2522-9052.2018.2.24
23. Moiseev A. Investigation of High Intensive General Flow / A. Moiseev, A. Nazarov // Proc. of the IV International Conference «Problems of Cybernetics and Informatics» (PCI’2012), September 12–14, 2012. Baku, Azerbaijan. – Baku: ANAS, 2012. – P. 161–163.
2. Кучук Г. А., Можаєв О. О., Воробйов О. В. Метод агрегування фрактального трафіка. Радіоелектронні та комп'ютерні системи. 2006. № 6 (18). С. 181–188.
3. Saravana, Balaji B,, Karthikeyan, N.K. and Raj Kumar, R.S., (2018), “Fuzzy service conceptual ontology system for cloud service recommendation”, Computers & Electrical Engineering, Vol. 69, pp. 435–446.
4. Saravana, Balaji B., Mohamed, Uvaze Ahamed, Eswaran C. and Kannan R., (2019), “Prediction-based Lossless Image Compression”, Lecture Notes in Computational Vision and Biomechanics (Springer), Vol. 30, No 1, pp.1749 – 17961, DOI: https://doi.org/10.1007/978-3-030-00665-5_161
5. Кучук Г. А. Фрактальный гауссовский шум в трафиковых трассах / Г.А. Кучук // Системи обробки інформації. – 2004. – № 3(31). – С. 91-100.
6. Кучук Г.А. Аналіз та моделі самоподібного трафіка / Г.А. Кучук, О.О. О.В. Можаев, Воробйов // Авиационнокосмическая техника и технология. – 2006. – Вып. 9 (35). – С. 173-180.
7. Amin Salih M., Potrus M.Y. A Method for Compensation of TCP Throughput Degrading During Movement Of Mobile Node. ZANCO Journal of Pure and Applied Sciences. 2015. Vol. 27, No 6. P. 59–68.
8. Gomathi, B, Karthikeyan, N.K. and Saravana, Balaji B., (2018), “Epsilon-Fuzzy Dominance Sort Based Composite Discrete Artificial Bee Colony optimization for Multi-Objective Cloud Task Scheduling Problem”, International Journal of Business Intelligence and Data Mining, Vol. 13, Issue 1-3, pp. 247-266, DOI: https://doi.org/10.1504/IJBIDM.2018.088435
9. Dhivakar B., Saravanan S.V., Sivaram M., Krishnan R.A. Statistical Score Calculation of Information Retrieval Systems using Data Fusion Technique”. Computer Science and Engineering. 2012. Vol. 2, Issue 5. pp.43-45.
10. Sivaram, M., Batri, K., Amin Salih, Mohammed and Porkodi V. (2019), “Exploiting the Local Optima in Genetic Algorithm using Tabu Search”, Indian Journal of Science and Technology, Volume 12, Issue 1.
11. Kuchuk G., Nechausov S., Kharchenko, V. Two-stage optimization of resource allocation for hybrid cloud data store. International Conference on Information and Digital Technologies. 2015. P. 266-271.
12. Ruban, I. Redistribution of base stations load in mobile communication networks / I. Ruban, H. Kuchuk, A. Kovalenko // Innovative technologies and scientific solutions for industries. – 2017. – No 1 (1) – P. 75-81.
13. Коваленко А.А. Сучасний стан та тенденції розвитку комп'ютерних систем об'єктів критичного застосування / А.А. Коваленко, Г.А. Кучук // Системи управління, навігації та зв’язку. – Полтава . ПНТУ, 2018. – Вип. 1(47). – С. 110-113. DOI : https://doi.org/10.26906/SUNZ.2018.1.110
14. Кучук Г. А. Модель процесса эволюции топологической структуры компьютерной сети системы управления объектом критического применения / Г.А. Кучук, А.А. Коваленко, А.А. Янковский // Системи обробки інформації. – 2014. – № 7(123). – С. 93-96.
15. Кучук Г. А. Метод параметрического управления передачей данных для модификации транспортных протоколов беспроводных сетей / Г.А. Кучук, А.С. Мохаммад, А.А. Коваленко // Системи обробки інформації. – 2011. – № 8(98). – С. 211-218.
16. Кучук Г.А. Метод мінімізації середньої затримки пакетів у віртуальних з’єднаннях мережі підтримки хмарного сервісу / Г.А. Кучук, А.А. Коваленко, Н.В. ЛуковаЧуйко // Системи управління, навігації та зв’язку. – Полтава . ПНТУ, 2017. – Вип. 2(42). – С. 117-120.
17. Sivaram, M., Yuvaraj, D., Amin Salih, Mohammed, Porkodi, V. and Manikandan V. (2018), “The Real Problem Through a Selection Making an Algorithm that Minimizes the Computational Complexity”, International Journal of Engineering and Advanced Technology, Vol. 8, iss. 2, 2018, pp. 95-100.
18. Sivaram, M., Porkodi, V., Mohammed, A.S., Manikandan V. Detection of Accurate Facial Detection Using Hybrid Deep Convolutional Recurrent Neural Network. ICTACT Journal on Soft Computing. 2019. Vol. 09, Issue 02. pp. 1844-1850.
19. Mohammed, A. S. Optimal Forecast Model for Erbil Traffic Road Data. ZANCO Journal of Pure and Applied Sciences. 2017. Vol. 29, No 5. P. 137–145. DOI: https://doi.org/10.21271/ZJPAS.29.5.15
20. Amin Salih M., Yuvaraj D., Sivaram M., Porkodi V. Detection And Removal Of Black Hole Attack In Mobile Ad Hoc Networks Using Grp Protocol. International Journal of Advanced Research in Computer Science. Vol. 9, No 6. P. 1–6.
21. Коваленко А. А., Кучук Г. А. Методи синтезу інформаційної та технічної структур системи управління об’єктом критичного застосування. Сучасні інформаційні системи. 2018. Т. 2, № 1. С. 22–27. DOI: https://doi.org/10.20998/2522-9052.2018.1.04
22. Свиридов А. C., Коваленко А. А., Кучук Г. А. Метод перерозподілу пропускної здатності критичної ділянки мережі на основі удосконалення ON/OFF-моделі трафіку. Сучасні інформаційні системи. 2018. Т. 2, № 2. С. 139–144. DOI: https://doi.org/10.20998/2522-9052.2018.2.24
23. Moiseev A. Investigation of High Intensive General Flow / A. Moiseev, A. Nazarov // Proc. of the IV International Conference «Problems of Cybernetics and Informatics» (PCI’2012), September 12–14, 2012. Baku, Azerbaijan. – Baku: ANAS, 2012. – P. 161–163.
Опубліковано
2019-06-21
Як цитувати
Kovalenko A. Розподіл ресурсів багатофазної системи обробки великих даних при високоінтенсивному вхідному потоці / A. Kovalenko, H. Kuchuk, LyashenkoО. // Системи управління, навігації та зв’язку. Збірник наукових праць. – Полтава: ПНТУ, 2019. – Т. 3 (55). – С. 115-119. – doi:https://doi.org/10.26906/SUNZ.2019.3.115.
Розділ
Інформаційні технології
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
