智算中心推理业务能力评估方法研究

武振宇; 赵占军; 卜忠贵; 刘鹏; 田雯; 王祎玮; 董江帆; 王猛; 张誌

doi:10.11959/j.issn.1000-0801.2025167

您当前的位置：

首页 >

文章列表页 >

智算中心推理业务能力评估方法研究

专栏 | 更新时间：2025-08-07

- 智算中心推理业务能力评估方法研究
- Research on evaluation methods for inference business capability of intelligent computing center
- 电信科学 2025年41卷第7期页码：200-206
- 作者机构：
  
  1.中国移动通信集团设计院有限公司，北京 100080
  2.中国移动通信集团设计院有限公司安徽分公司，安徽合肥 230031
  3.中国移动通信集团设计院有限公司山东分公司，山东济南 250101
- 作者简介：
  
  [ "武振宇（1975- ），男，中国移动通信集团设计院有限公司高级工程师，主要研究方向为云计算、算力网络、智算中心等。" ]
  赵占军（1971- ），男，中国移动通信集团设计院有限公司高级工程师，主要研究方向为云计算、智算等。
  卜忠贵（1976- ），男，中国移动通信集团设计院有限公司正高级工程师，主要研究方向为云计算、智算等。
  刘鹏（1985- ），男，中国移动通信集团设计院有限公司高级工程师，主要研究方向为智算、支撑系统等。
  田雯（1987- ），女，中国移动通信集团设计院有限公司高级工程师，主要研究方向为云计算、智算等。
  王祎玮（1995- ），女，中国移动通信集团设计院有限公司助理工程师，主要研究方向为云计算、智算等。
  董江帆（1987- ），男，中国移动通信集团设计院有限公司工程师，主要研究方向为业务网、智算等。
  王猛（1981- ），男，中国移动通信集团设计院有限公司安徽分公司高级工程师，主要研究方向为云计算、智算等。
  张誌（1978- ），男，中国移动通信集团设计院有限公司山东分公司高级工程师，主要研究方向为智算、支撑系统等。
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2025167
  中图分类号： TP393
- 收稿：2025-03-21，
  
  修回：2025-07-09，
  
  纸质出版：2025-07-20
- 稿件说明：
移动端阅览
武振宇,赵占军,卜忠贵等.智算中心推理业务能力评估方法研究[J].电信科学,2025,41(07):200-206.

WU Zhenyu,ZHAO Zhanjun,BU Zhonggui,et al.Research on evaluation methods for inference business capability of intelligent computing center[J].Telecommunications Science,2025,41(07):200-206.
武振宇,赵占军,卜忠贵等.智算中心推理业务能力评估方法研究[J].电信科学,2025,41(07):200-206. DOI： 10.11959/j.issn.1000-0801.2025167.

WU Zhenyu,ZHAO Zhanjun,BU Zhonggui,et al.Research on evaluation methods for inference business capability of intelligent computing center[J].Telecommunications Science,2025,41(07):200-206. DOI： 10.11959/j.issn.1000-0801.2025167.

摘要

人工智能推理中心的建设已成为当前智算中心建设的热点，按照智能算力的规模评估智算中心推理业务能力不再准确。通过建立时延不敏感业务模型、时延敏感业务模型、用户访问业务模型，提出对智算中心推理业务能力的量化评估方法，从而在建设环节做到建需匹配，提高投资效益。

Abstract

The construction of artificial intelligence inference centers has become a hotspot in the current development of intelligent computing centers. Evaluating the inference business capability of intelligent computing centers solely based on the scale of intelligent computing power is no longer accurate. A quantitative evaluation method for the inference business capability of intelligent computing centers was proposed by establishing three models: a delay-insensitive business model

a delay-sensitive business model

and a user access business model. This approach aims to achieve alignment between construction and requirements during the construction phase

thereby improving investment efficiency.

关键词

Keywords

references

杨杰 . 西班牙巴塞罗那世界移动通信大会(MWC 2024)开幕式主旨演讲 [EB ] . 2024 .

YANG J . Keynote speech at the opening ceremony of the Mobile World Congress (MWC 2024) in Barcelona, Spain [EB ] . 2024 .

人民网 . MWC25|中国移动总经理何飚: 拥抱“AI+”新时代共谱数智新篇章 [EB ] . 2025 .

People’s Daily Online . MWC25|He Biao, general manager of China Mobile: embrace the “AI+” new era and co-create a new chapter of digital intelligence [EB ] . 2025 .

中华人民共和国国家互联网信息办公室 . 国家互联网信息办公室关于发布2024年生成式人工智能服务已备案信息的公告 [EB ] . 2025 .

Cyberspace Administration of Chian . Announcement of the Cyberspace Administration of Chian on the release of the recorded information of generative artificial intelligence services in 2024 [EB ] . 2025 .

KAPLAN J , MCCANDLISH S , HENIGHAN T , et al . Scaling laws for neural language models [J ] . arXiv preprint , 2020 : 2001 .08361.

中国软件评测中心 . 人工智能大语言模型技术发展研究报告(2024年) [R ] . 2024

China Software Testing Center . Research report on the development of artificial intelligence large language model technology (2024) [R ] . 2024 .

WEI J , WANG X , COHEN T , et al . Chain of thought prompting elicits reasoning in large language models [J ] . arXiv preprint , 2022 : 2201 .11903.

RADFORD A , METZ L , CHINTALA S . CLIP: contrastive language-image pre-training [J ] . arXiv preprint , 2021 : 2103 . 00020.

中国算力大会 . 中国智算中心服务发展报告(2024年) [R ] . 2024 .

China Computational Power Conference . China artificial intelligence data center service development report (2024) [R ] . 2024 .

NARAYANAN D , KUMAR A , LI Z . Cloud-native AI: principles and practices [M ] . California : O'Reilly , 2022 .

META . Meta’s AI infrastructure: scaling to 350,000 accelerator cards [EB ] . 2024 .

MICROSOFT . Building and operating a million-scale AI cluster: lessons from Microsoft’s project Stellar [R ] . 2024 .

中国电信 . 智算产业发展研究报告(2024年) [R ] . 2024 .

China Telecom . Research report on the development of intelligent computing industry (2024) [R ] . 2024 .

工业和信息化部 , 教育部 , 科技部 , 等 . 工业和信息化部等七部门关于推动未来产业创新发展的实施意见 [EB ] . 2024 .

Ministry of Industry and Information Technology , Ministry of Education , Ministry of Science and Technology , et al . Implementation opinions of seven departments including MIIT on promoting the innovation and development of future industries [EB ] . 2024 .

JIANG Y , WANG Y , DUAN Y , et al . High-performance deep learning inference on GPU: a survey [J ] . ACM Computing Surveys , 2021 , 54 ( 3 ): 1 - 35 .

JOHN S , MATHEW A , JOSE P . A comprehensive analysis of GPU performance for deep learning inference [J ] . IEEE Micro , 2022 , 42 ( 3 ): 24 - 33 .

BERTSEKAS D P , GALLAGER R G . Queueing theory in computer networks: performance modeling and analysis [M ] . New York : Prentice Hall , 1991 .

浏览量

628

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

新型智算中心密钥分发设计方案

云化的智算中心万卡集群创新与实践

面向大模型的智算网络发展研究