面向分布式机器学习的网络模态创新

郭泽华; 朱昊文; 徐同文

doi:10.11959/j.issn.1000-0801.2023128

您当前的位置：

首页 >

文章列表页 >

面向分布式机器学习的网络模态创新

专题：多模态网络 | 更新时间：2024-06-05

- 面向分布式机器学习的网络模态创新
- Network modal innovation for distributed machine learning
- 电信科学 2023年39卷第6期页码：44-51
- 作者机构：
  
  1. 北京理工大学自动化学院，北京 100081
  2. 延安大学物理与电子信息学院，陕西延安 716099
- 作者简介：
  
  [ "郭泽华（1985- ），男，博士，北京理工大学自动化学院特别研究员，主要研究方向为可编程网络、机器学习和网络安全" ]
  [ "朱昊文（1992- ），男，北京理工大学自动化学院博士生，主要研究方向为分布式机器学习与可编程网络" ]
  [ "徐同文（1990- ），男，北京理工大学自动化学院博士生、延安大学物理与电子信息学院讲师，主要研究方向为计算机网络" ]
- 基金信息：
  
  国家自然科学基金资助项目;The National Natural Science Foundation of China(62002019);CCF-之江实验室联合创新基金;CCF-Zhijiang Laboratory Joint Innovation Fund(K2022QA0AB02);嵩山实验室预研项目;Songshan Laboratory Pre-research Project(YYJC022022009)
- DOI：10.11959/j.issn.1000-0801.2023128
  中图分类号： TP393
- 网络出版日期：2023-06，
  
  纸质出版日期：2023-06-20
- 稿件说明：
移动端阅览
郭泽华, 朱昊文, 徐同文. 面向分布式机器学习的网络模态创新[J]. 电信科学, 2023,39(6):44-51.

Zehua GUO, Haowen ZHU, Tongwen XU. Network modal innovation for distributed machine learning[J]. Telecommunications science, 2023, 39(6): 44-51.
郭泽华, 朱昊文, 徐同文. 面向分布式机器学习的网络模态创新[J]. 电信科学, 2023,39(6):44-51. DOI： 10.11959/j.issn.1000-0801.2023128.

Zehua GUO, Haowen ZHU, Tongwen XU. Network modal innovation for distributed machine learning[J]. Telecommunications science, 2023, 39(6): 44-51. DOI： 10.11959/j.issn.1000-0801.2023128.

摘要

分布式机器学习作为人工智能的主流计算架构，目前仍然存在数据性能传输不高、模型训练速度慢等缺陷，传统的网络模态无法满足分布式机器学习场景的通信语义，继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术，基于应用特点设计了面向分布式机器学习场景的新型网络模态及其运行逻辑，为多模态网络技术在垂直行业的应用提供了借鉴意义。

Abstract

Distributed machine learning

as a popular computing architecture for artificial intelligence

still faces challenges of slow model training and poor data performance transmission.Traditional network modalities were un able to meet the communication needs of distributed machine learning scenarios

hindering the improvement of model training performance.New network modalities and operation logic for distributed machine learning scenarios using multimodal network technology were proposed.This approach was designed based on application characteristics and provides implications for the use of multimodal network technology in various industries.

关键词

Keywords

references

新一代人工智能发展规划 [R ] . 2017 .

The new generation of artificial intelligence development plan [R ] . 2017 .

ABHISHEKVA , BINNY S , JOHAN T R , et al . Federated learning:collaborative machine learning with out centralized training data [J ] . International Journal of Engineering Technology and Management Sciences , 2022 : 355 - 359 .

KAIROUZ P , MCMAHAN H B , AVENT B , et al . Advances and open problems in federated learning [J ] . Advances and Open Problems in Federated Learning , 2021 .

冯琦 . 基于安全多方计算的数据隐私保护技术研究 [D ] . 武汉:武汉大学 , 2021 .

FENG Q . Research on data privacy protection technology based on secure multi-party computing [D ] . Wuhan:Wuhan University , 2021 .

LI M , ZHOU L , YANG Z , et al . Parameter server for distributed machine learning [J ] . Big Learning NIPS Workshop , 2013 ( 6 ).

LI M , ANDERSEN D G , PARK J W , et al . Scaling distributed machine learning with the parameter server [C ] // Proceedings of the 11th USENIX conference on Operating Systems Design and Implementation . New York:ACM Press , 2014 : 583 - 598 .

薛镭 , 邹涛 , 张汝云 . 多模态智慧网络标准化研究 [J ] . 标准科学 , 2021 ( S1 ): 37 - 48 .

XUE L , ZOU T , ZHANG R Y . Standardization of multimodal smart network [J ] . Standard Science , 2021 ( S1 ): 37 - 48 .

李丹 , 胡宇翔 , 邬江兴 . 新型网络技术创新发展战略研究 [J ] . 中国工程科学 , 2021 , 23 ( 2 ): 15 - 21 .

LI D , HU Y X , WU J X . Innovative development strategy of new network technologies [J ] . Strategic Study of CAE , 2021 , 23 ( 2 ): 15 - 21 .

国兴昌 . 多模态网络中NDN与IP共存互通机制研究与实现 [D ] . 北京:北京交通大学 , 2021 .

GUO X C . Research and implementation of coexistence and interworking mechanism between NDN and IP in multi-modal networks [D ] . Beijing:Beijing Jiaotong University , 2021 .

李军飞 , 胡宇翔 , 伊鹏 , 等 . 面向 2035 的多模态智慧网络技术发展路线图 [J ] . 中国工程科学 , 2020 , 22 ( 3 ): 141 - 147 .

LI J F , HU Y X , YI P , et al . Development roadmap of polymorphic intelligence network technology toward 2035 [J ] . Strategic Study of CAE , 2020 , 22 ( 3 ): 141 - 147 .

SAPIO A , CANINI M , HO C Y , et al . Scaling distributed machine learning with in-network aggregation [EB ] . arXiv Print , 2019 ,arXiv:1903.06701.

LAO C L , LE Y , MAHAJAN K , et al . ATP:in-network aggregation for multi-tenant learning [C ] // In 18th USENIX Symposium on Networked Systems Design and Implementation (NSDI 21) . USENIX Association , 2021 : 741 - 761 .

GEBARA N , GHOBADI M , COSTA P . In-network aggregation for shared machine learning clusters [J ] . Proceedings of Machine Learning and Systems , 2021 .

LI Y J , LIU I J , YUAN Y F , et al . Accelerating distributed reinforcement learning with in-switch computing [C ] // Proceedings of the 46th International Symposium on Computer Architecture . New York:ACM Press , 2019 : 279 - 291 .

GRAHAM R L , BUREDDY D , LUI P , et al . Scalable hierarchical aggregation protocol (SHArP):a hardware architecture for efficient data reduction [C ] // Proceedings of 2016 First International Workshop on Communication Optimizations in HPC (COMHPC) . Piscataway:IEEE Press , 2017 : 1 - 10 .

浏览量

419

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

云化的智算中心万卡集群创新与实践

5G-Advanced核心网运行智能架构演进、关键技术及应用研究

Prophet模型在话单量智能预测中的应用研究

构建未来：通信大数据开放平台在智能社会治理中的创新应用与发展前景

业务驱动的空天地海一体化网络技术研究