浏览全部资源
扫码关注微信
1.上海理想信息产业(集团)有限公司,上海 201315
2.常州技师学院,江苏 常州 213032
徐玉清(1978- ),男,上海理想信息产业(集团)有限公司、高级工程师、事业部经理,主要研究方向为云计算及算力、云端协同、GPU虚拟化技术。
吕轩民(1983- ),男,常州技师学院高级工程师、信息服务学院副院长,主要研究方向为基于5G移动通信技术的高速工业互联网架构设计与搭建,公有云信息化系统架构设计、集成、开发、运维,微服务信息化系统架构设计、开发、运维。
肖潇(1998- ),女,上海理想信息产业(集团)有限公司工程师,主要研究方向为人工智能、大模型应用。
收稿:2024-12-09,
修回:2025-02-07,
纸质出版:2025-03-25
移动端阅览
徐玉清,吕轩民,肖潇.基于远程GPU虚拟化的边缘智能体应用[J].电信科学,2025,41(Z1):215-221.
徐玉清,吕轩民,肖潇.基于远程GPU虚拟化的边缘智能体应用[J].电信科学,2025,41(Z1):215-221. DOI: 10.11959/j.issn.1000-0801.2025084.
DOI:
在人工智能的飞速发展中,大型语言模型(LLM)以其在自然语言处理(NLP)领域的革命性突破,引领着技术进步的新浪潮。然而,这些模型传统上主要部署在云端服务器上,这种做法虽然保证了强大的计算力支持,却也带来了一系列挑战:网络延迟、数据安全、持续的联网要求等。正因如此,将LLM部署在端侧设备上的探索应运而生,它不仅能够提供更快的响应速度,还能在保护用户隐私的同时,实现个性化的用户体验。然而,市场上可用的边缘智能体平台都是低功耗设备,计算能力有限。提出了一种新颖的方法,通过使用远程GPU虚拟化技术,为边缘智能体提供算力资源,而不会影响其功耗。与使用本地算力相比,在边缘设备上使用远程GPU虚拟化性能提升了3.2倍。
王浩 , 王浩枫 . 面向CPUs-GPUs系统的OpenCL任务调度框架 [J ] . 计算机工程与设计 , 2022 , 43 ( 7 ): 1955 - 1963 .
崔雪冰 , 张延红 , 李国徽 . 基于通用计算的GPU-CPU协作计算模式研究 [J ] . 微电子学与计算机 , 2009 , 26 ( 8 ): 30 - 33 .
崔嘉 . 试析虚拟计算环境中资源池的资源聚合机制的研究 [J ] . 自动化技术与应用 , 2017 , 36 ( 6 ): 35 - 37, 41 .
查乾 . 基于GPU虚拟化的资源优化调度 [D ] . 武汉 : 武汉理工大学 , 2022 .
吴再龙 , 王利明 , 徐震 , 等 . GPU虚拟化技术及其安全问题综述 [J ] . 信息安全学报 , 2022 , 7 ( 2 ): 30 - 58 .
梁桂才 , 李玉荣 . 混合现实中基于GPU虚拟化的AI计算优化 [J ] . 通信与信息技术 , 2024 ( 02 ): 114 - 120 .
0
浏览量
6
下载量
CSCD
关联资源
相关文章
相关作者
相关机构