Применение методов с машинным обучением для управления сетевой вычислительной инфраструктурой

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

В статье рассмотрено применение методов машинного обучения для оптимального управления ресурсами сетевой вычислительной инфраструктурой – вычислительной инфраструктурой нового поколения. Рассмотрена связь между предлагаемой вычислительной инфраструктурой и концепцией GRID. Показано, как методы машинного обучения в управлении сетевой вычислительной инфраструктуре позволяют решить проблемы управления вычислительной инфраструктурой, которые не позволили реализовать концепцию GRID в полной мере. В качестве примера рассмотрено применение метода многоагентной оптимизации в комбинации с методом машинного обучения с подкреплением для управления сетевыми ресурсами. Показано, что использование многоагентных методов машинного обучения позволяет повысить скорость распределения транспортных потоков и обеспечить оптимальную загрузку сетевых каналов вычислительной инфраструктуры по критерию равномерности распределения нагрузки и что такое управление сетевыми ресурсами эффективнее централизованного подхода.

Об авторах

Р. Л. Смелянский

Московский государственный университет им. М.В. Ломоносова

Автор, ответственный за переписку.
Email: smel@cs.msu.su

член-корреспондент, факультет Вычислительной математики и кибернетики, кафедра Автоматизации систем вычислительных комплексов

Россия, Москва

Е. П. Степанов

Московский государственный университет им. М.В. Ломоносова

Email: estepanov@lvk.cs.msu.ru

факультет Вычислительной математики и кибернетики, кафедра Автоматизации систем вычислительных комплексов

Россия, Москва

Список литературы

  1. Smeliansky R. Hierarchical edge computing // Int. Conf. Modern Network Tech., MoNeTec-2018. Moscow, 2018. P. 97–105.
  2. Smeliansky R. et al. On hpc & cloud environments integration. chapter 1 // Performance evaluation models for distributed service networks. Springer: Springer Nature Switzerland AG Gewerbestrasse 11, 6330 Cham, Switzerland, 2020.
  3. Smeliansky R. Network Powered by Computing: Next Generation of Computational Infrastructure // Edge Computing Technology, Management and Integration. IntechOpen, 2023. ISBN 978-1-83768-862-3. P. 47–70.
  4. Topology and Orchestration Specification for Cloud Applications.http://docs.oasis-open.org/tosca/TOSCA/v1.0/os/TOSCA-v1.0-os.html [Accessed: 2024-19-03]
  5. https://www.itprotoday.com/serverless-computing/what-serverless-computing (accessed: March 19, 2024).
  6. Foster I., Kesselman C. The Grid 2: Blueprint for a new computing infrastructure. Elsevier, 2003.
  7. Foster I., Kesselman. C. The history of the grid //arXiv:2204.04312, 2022.
  8. https://www.cpubenchmark.net/year-on-year.html (accessed: March 19, 2024).
  9. https://www.visualcapitalist.com/cp/charted-history-exponential-growth-in-ai-computation/ (accessed: March 19, 2024).
  10. https://habr.com/ru/companies/yota/articles/283220/ (accessed: March 19, 2024).
  11. Моисеев Н.Н., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука, 1978. 352 с.
  12. Karimireddy S.P. et al. Scaffold: Stochastic controlled averaging for federated learning. International conference on machine learning. PMLR, 2020.
  13. Vogels T., Karimireddy SP., Jaggi M. PowerSGD: Practical low-rank gradient compression for distributed optimization // Advances in Neural Information Processing Systems. 2019.
  14. Oseledets I., Tyrtyshnikov E. TT-cross approximation for multidimensional arrays // Linear Algebra and its Applications. 2010. Т. 432. № 1. P. 70–88.
  15. Gusak J. et al. Automated multi-stage compression of neural networks // Proceedings of the IEEE/CVF Int. Conf. on Computer Vision Workshops, 2019.
  16. Novikov A. et al. Tensorizing neural networks // Advances in neural information processing systems. 2015. N 28.
  17. Gong Y. et al. ETTE: Efficient tensor-train-based computing engine for deep neural networks // Proceedings of the 50th Ann. Int. Symp. on Computer Architecture. 2023. P. 1–13.
  18. Смелянский Р.Л., Антоненко В.А. Концепции программного управления и виртуализации сетевых сервисов в современных сетях передачи данных. М.: Курс, 2019. 160 с.
  19. Bernardez G. et al. Is machine learning ready for traffic engineering optimization? // 2021 IEEE29th International Conference on Network Protocols (ICNP). IEEE, 2021.
  20. You Xinyu et al. Toward packet routing with fully distributed multiagent deep reinforcement learning. // IEEE Transactions on Systems, Man, and Cybernetics: Systems 52.2 (2020): 855–868.
  21. Mai Xuan, Quanzhi Fu and Yi Chen. Packet routing with graph attention multi-agent reinforcement learning // 2021 IEEE Global Communications Conference (GLOBECOM). IEEE, 2021.
  22. Stepanov E. et al. On Fair Traffic allocation and Efficient Utilization of Network Resources based on MARL // Preliminary on ResearchGate. Available from: https://www.researchgate.net/publication/371166584_On_Fair_Traffic_allocation_and_Efficient_Utilization_of_Network_Resources_based_on_MARL (accessed: November 14, 2023).
  23. ECMP Load Balancing. Available from: https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/mp_l3_vpns/configuration/xe-3s/asr903/mp-l3-vpns-xe-3s-asr903-book/mp-l3-vpns-xe-3s-asr903-book_chapter_0100.pdf (accessed: November 14, 2023).
  24. UCMP Load Balancing. Available from: https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/mp_l3_vpns/configuration/xe-3s/asr903/17-1-1/b-mpls-l3-vpns-xe-17-1-asr900/m-ucmp.pdf (accessed: November 14, 2023).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

© Российская академия наук, 2024