重磅发布 | WirelessGPT:面向通信与感知一体化的多任务预训练无线基础模型

随着以ChatGPT为代表的人工智能大模型迅速发展,如何将大模型技术深度应用于无线通信领域,推动未来无线网络的变革,已成为工业界和学术界共同关注的焦点。未来的6G网络不仅需要提供高速的数据传输服务,还将原生地支持计算、数据处理、人工智能以及通信与感知的深度融合。传统的无线AI技术多基于任务专用模型,各任务之间缺乏协作,导致泛化能力受限、数据标注成本过高、多任务协同困难。这种单一任务模型的弊端越来越明显,无法满足未来无线网络复杂场景的需求。

为解决这些问题,鹏城实验室杨婷婷教授团队研发了全球首个面向通信与感知一体化(ISAC)的多任务预训练无线基础模型——WirelessGPT,开启了无线与AI融合创新的新阶段。

图1:WirelessGPT在2025年全球6G技术与产业生态大会发布

WirelessGPT已于今年4月在全球6G技术与产业生态大会发布,并引起强烈反响。发布后,团队围绕模型架构创新和下游任务拓展持续开展了大量工作,取得如下最新进展:

  • 引入三轴注意力机制,显著提升模型处理复杂无线信道数据的能力;

  • 提出多尺度数据编码方法,提升了数据利用效率和模型的泛化能力;

  • 新增多基站无人机目标跟踪这一下游任务,并基于WirelessGPT实现了亚米级精度的目标定位。

本文将详细介绍WirelessGPT的研究背景、核心技术,以及试验验证结果,并介绍WirelessGPT模型训练所采用的数据集,以及未来研究方向。

研究背景与现实需求

随着6G网络逐步走向商业化应用,通信和感知任务的融合需求日益增强。以无人机通信、智能交通、工业物联网、智慧城市等应用为代表的多样化场景,对无线系统提出了更高的泛化能力和实时响应能力的要求。然而,传统无线AI技术通常针对每一特定任务分别开发和优化专属模型,造成了模型泛化性差、数据获取和标注成本高昂、计算资源浪费严重等问题。此外,单一任务模型无法有效利用跨任务之间的共同特征,难以实现高效协同。

面对这一系列挑战,业界迫切需要一种能够同时覆盖多任务、多场景,具备强泛化能力的通用无线基础模型,以应对未来复杂且动态的无线网络需求。

2:WirelessGPT多任务无线基础模型

WirelessGPT的核心技术创新

WirelessGPT以Transformer结构为核心,创新性地引入了一系列专门为无线信道数据设计的关键技术,以有效提高跨场景、多任务的泛化性能,具体包括以下几个方面:

  • 三轴注意力机制(Triple-axis Attention):在时间、空间、频率三个维度分别构建注意力机制,分别捕捉不同维度的相关性和特征依赖性,显著提高模型处理复杂无线信道数据的能力。

  • 多尺度数据编码(Multi-scale Patch Embedding):针对无线信道数据的多尺度特征,采用多层次的编码结构,能够同时保留数据的全局信息和局部细节,提高数据利用效率和模型泛化能力。

  • 掩码自监督学习策略(Masked Self-supervised Learning):随机遮蔽部分信道数据,训练模型通过上下文信息恢复缺失部分,增强了模型对噪声和信息缺失场景的适应能力,使其能够有效应对现实环境中复杂多变的无线传播场景。

3: WirelessGPT模型架构 

实验验证与性能优势

研究团队在多个具有代表性的通信与感知任务中广泛验证了WirelessGPT的性能,实验证明其在性能和效率上全面领先于传统方法和现有AI模型。

  • 信道估计:与传统Transformer及ResCNN模型相比,WirelessGPT的归一化均方误差(NMSE)提升超过42.5%,训练成本和推理时间显著降低,适合实时通信场景。

4: 信道估计任务的归一化均方误差(NMSE)vs信噪比曲线 

  • 动态信道预测:在用户移动速度为40 km/h的条件下,相较于传统方法,NMSE降低超过49.74%;与专用大模型LLM4CP对比,训练成本降低48.7%,推理速度提升70.4%,显示出卓越的实时处理能力。

5: 信道预测任务的归一化均方误差(NMSE)vs信噪比曲线

  • 人类活动识别与步态识别:基于压缩的嵌入特征实现了当前的最新最优精度(SOTA),显著降低了数据输入量和计算复杂度,支持快速高效的分类任务。

6: 分类任务的收敛性比较:(a) 人类活动识别任务(6类)中不同方案的验证损失随轮次的变化比较;(b) 人类身份识别任务(15类)中不同方案的验证损失随轮次的变化比较

  • 无线环境重建:直接从无线信道数据出发,精确生成环境的3D重建点云,准确捕获城市建筑边缘、散射体位置等关键特征,适合无线感知与数字孪生等应用场景。

7:基于WirelessGPT基座的无线环境3D重建效果图

  • 多基站无人机目标跟踪:利用多个基站协同定位与轨迹追踪技术,实现亚米级精度的目标定位,适用于无人机编队管理和精确目标监控等任务。

8:基于WirelessGPT的目标跟踪训练误差曲线。图中分别展示了X、Y、Z三个方向在4000个轮次内的跟踪误差

数据集支持:Traciverse 2.0

WirelessGPT训练采用自主研发的Traciverse 2.0数据集,该数据集涵盖全球27个城市场景,数据规模超过500GB,具备以下特点:

  • 全频段覆盖:涵盖短波、超短波、Sub-6 GHz、毫米波、太赫兹、光无线以及水声通信等多种频段。

  • 多场景与多模态:支持卫星通信、无人机通信、工业物联网、车联网、高铁通信等多种应用场景,包含信道状态信息(CSI)、无线电地图、城市地图、无人机运动数据等多模态数据。

9:Traciverse 2.0的多场景、多模态数据示例,包含丰富的数据覆盖和细致的建模能力

未来研究展望

团队计划进一步扩展WirelessGPT的规模,从现有8000万参数扩展至8亿乃至80亿级别,探索更复杂场景下的模型性能。与此同时,将深入研究跨模态融合技术、利用真实环境数据增强模型泛化能力,并针对边缘设备进行优化,以实现高效、低复杂度的部署方案。

更多细节请访问论文原文

https://arxiv.org/abs/2502.06877

GenAINet公众号简介

GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立,由GenAINet公众号运营团队负责维护并运行。

GenAINet公众号运营团队:

孙黎,彭程晖 (华为技术有限公司)

杜清河,肖玉权,张朝阳 (西安交通大学)

王锦光,俸萍 (鹏城实验室)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值