基于远程GPU虚拟化的边缘智能体应用

徐玉清; 吕轩民; 肖潇

doi:10.11959/j.issn.1000-0801.2025084

您当前的位置：

首页 >

文章列表页 >

基于远程GPU虚拟化的边缘智能体应用

研发与探讨 | 更新时间：2025-05-13

- 基于远程GPU虚拟化的边缘智能体应用
- 暂无标题
- 电信科学 2025年41卷第Z1期页码：215-221
- 作者机构：
  
  1.上海理想信息产业（集团）有限公司，上海 201315
  2.常州技师学院，江苏常州 213032
- 作者简介：
  
  徐玉清（1978- ），男，上海理想信息产业（集团）有限公司、高级工程师、事业部经理，主要研究方向为云计算及算力、云端协同、GPU虚拟化技术。
  吕轩民（1983- ），男，常州技师学院高级工程师、信息服务学院副院长，主要研究方向为基于5G移动通信技术的高速工业互联网架构设计与搭建，公有云信息化系统架构设计、集成、开发、运维，微服务信息化系统架构设计、开发、运维。
  肖潇（1998- ），女，上海理想信息产业（集团）有限公司工程师，主要研究方向为人工智能、大模型应用。
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2025084
  中图分类号： TP393
- 收稿：2024-12-09，
  
  修回：2025-02-07，
  
  纸质出版：2025-03-25
- 稿件说明：
移动端阅览
徐玉清,吕轩民,肖潇.基于远程GPU虚拟化的边缘智能体应用[J].电信科学,2025,41(Z1):215-221.
徐玉清,吕轩民,肖潇.基于远程GPU虚拟化的边缘智能体应用[J].电信科学,2025,41(Z1):215-221. DOI： 10.11959/j.issn.1000-0801.2025084.

DOI：

摘要

在人工智能的飞速发展中，大型语言模型（LLM）以其在自然语言处理（NLP）领域的革命性突破，引领着技术进步的新浪潮。然而，这些模型传统上主要部署在云端服务器上，这种做法虽然保证了强大的计算力支持，却也带来了一系列挑战：网络延迟、数据安全、持续的联网要求等。正因如此，将LLM部署在端侧设备上的探索应运而生，它不仅能够提供更快的响应速度，还能在保护用户隐私的同时，实现个性化的用户体验。然而，市场上可用的边缘智能体平台都是低功耗设备，计算能力有限。提出了一种新颖的方法，通过使用远程GPU虚拟化技术，为边缘智能体提供算力资源，而不会影响其功耗。与使用本地算力相比，在边缘设备上使用远程GPU虚拟化性能提升了3.2倍。

Abstract

关键词

Keywords

references

王浩 , 王浩枫 . 面向CPUs-GPUs系统的OpenCL任务调度框架 [J ] . 计算机工程与设计 , 2022 , 43 ( 7 ): 1955 - 1963 .

崔雪冰 , 张延红 , 李国徽 . 基于通用计算的GPU-CPU协作计算模式研究 [J ] . 微电子学与计算机 , 2009 , 26 ( 8 ): 30 - 33 .

崔嘉 . 试析虚拟计算环境中资源池的资源聚合机制的研究 [J ] . 自动化技术与应用 , 2017 , 36 ( 6 ): 35 - 37, 41 .

查乾 . 基于GPU虚拟化的资源优化调度 [D ] . 武汉 : 武汉理工大学 , 2022 .

吴再龙 , 王利明 , 徐震 , 等 . GPU虚拟化技术及其安全问题综述 [J ] . 信息安全学报 , 2022 , 7 ( 2 ): 30 - 58 .

梁桂才 , 李玉荣 . 混合现实中基于GPU虚拟化的AI计算优化 [J ] . 通信与信息技术 , 2024 ( 02 ): 114 - 120 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

5G赋能智慧旅游：网络优化、边缘计算与切片技术的创新应用