基于远程GPU虚拟化的边缘智能体应用

doi:10.11959/j.issn.1000-0801.2025084

您当前的位置：

首页 >

文章列表页 >

基于远程GPU虚拟化的边缘智能体应用

更新时间：2025-05-13

- 基于远程GPU虚拟化的边缘智能体应用
- Telecommunications Science Vol. 41, Issue Z1, Pages: 215-221(2025)
- 作者机构：
  
  1.上海理想信息产业（集团）有限公司，上海 201315
  2.常州技师学院，江苏常州 213032
- 作者简介：
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2025084
  CLC： TP393
- Received：09 December 2024，
  
  Revised：2025-02-07，
  
  Published：25 March 2025
- 稿件说明：
移动端阅览
徐玉清,吕轩民,肖潇.基于远程GPU虚拟化的边缘智能体应用[J].电信科学,2025,41(Z1):215-221.

[J]. Telecommunications Science, 2025, 41(Z1): 215-221.
徐玉清,吕轩民,肖潇.基于远程GPU虚拟化的边缘智能体应用[J].电信科学,2025,41(Z1):215-221. DOI： 10.11959/j.issn.1000-0801.2025084.

[J]. Telecommunications Science, 2025, 41(Z1): 215-221. DOI： 10.11959/j.issn.1000-0801.2025084.

摘要

在人工智能的飞速发展中，大型语言模型（LLM）以其在自然语言处理（NLP）领域的革命性突破，引领着技术进步的新浪潮。然而，这些模型传统上主要部署在云端服务器上，这种做法虽然保证了强大的计算力支持，却也带来了一系列挑战：网络延迟、数据安全、持续的联网要求等。正因如此，将LLM部署在端侧设备上的探索应运而生，它不仅能够提供更快的响应速度，还能在保护用户隐私的同时，实现个性化的用户体验。然而，市场上可用的边缘智能体平台都是低功耗设备，计算能力有限。提出了一种新颖的方法，通过使用远程GPU虚拟化技术，为边缘智能体提供算力资源，而不会影响其功耗。与使用本地算力相比，在边缘设备上使用远程GPU虚拟化性能提升了3.2倍。

Abstract

关键词

Keywords

references

王浩 , 王浩枫 . 面向CPUs-GPUs系统的OpenCL任务调度框架 [J ] . 计算机工程与设计 , 2022 , 43 ( 7 ): 1955 - 1963 .

崔雪冰 , 张延红 , 李国徽 . 基于通用计算的GPU-CPU协作计算模式研究 [J ] . 微电子学与计算机 , 2009 , 26 ( 8 ): 30 - 33 .

崔嘉 . 试析虚拟计算环境中资源池的资源聚合机制的研究 [J ] . 自动化技术与应用 , 2017 , 36 ( 6 ): 35 - 37, 41 .

查乾 . 基于GPU虚拟化的资源优化调度 [D ] . 武汉 : 武汉理工大学 , 2022 .

吴再龙 , 王利明 , 徐震 , 等 . GPU虚拟化技术及其安全问题综述 [J ] . 信息安全学报 , 2022 , 7 ( 2 ): 30 - 58 .

梁桂才 , 李玉荣 . 混合现实中基于GPU虚拟化的AI计算优化 [J ] . 通信与信息技术 , 2024 ( 02 ): 114 - 120 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

5G赋能智慧旅游：网络优化、边缘计算与切片技术的创新应用

Related Author

陈德来

余毅

Related Institution

中国电信股份有限公司上海分公司

上海通创信息技术股份有限公司

上海市网络制造与企业信息化重点实验室

⁰