上岸自动驾驶感知！轨迹预测1v6小班课仅剩最后一个名额~

最新推荐文章于 2025-09-07 11:32:41 发布

转载最新推荐文章于 2025-09-07 11:32:41 发布 · 86 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247676838&idx=3&sn=0130525d32335dbfa458004733bf7ba0&chksm=cfcc884c7d0bb005073faa0b68221f39ca68274dc980b1a988c06ae5e5586d24fce3f25932e5&scene=126&sessionid=0

文章标签：

#自动驾驶 #人工智能 #机器学习

⼀、端到端离不开的轨迹预测

端到端量产以来，很多规划控制和轨迹预测放同学都很焦虑，都想着转行做感知模型，怕自己过两年失业。但这一年多以来，据自动驾驶之心了解，一段式端到端上车的并不多，很多公司依然沿用二段式端到端或者模块化的方法，轨迹预测或者说联合预测仍然是量产使用最多的算法，依然是许多公司和机构研究的热点。但更进一步，其实轨迹预测的模型和感知模型融合在一起训练，其实就是所谓的端到端，因此相关的会议和期刊依然有较大量的工作产出。

自动驾驶之心针对目前比较火的基于扩散模型的多智能体轨迹预测方法研究展开了首个1v6小班课！目前只剩最后一个名额~

本课题聚焦于“基于扩散模型的多智能体轨迹预测方法”。多智能体轨迹预测旨在根据多个交互主体的历史轨迹，预测其未来运动轨迹，这在自动驾驶、智能监控和机器人导航等场景中至关重要。然而，由于人的行为具有不确定性和多模态性，预测任务十分困难。传统方法通常依赖循环神经网络、卷积网络或图神经网络建模社会交互，而生成模型（如GAN和CVAE）虽然可以模拟多模态分布，但效率不高。

扩散模型是一类通过逐步去噪实现复杂分布生成的新型模型，近年来在图像生成等领域取得了重大突破。研究者发现将扩散模型应用于轨迹预测可以显著提升多模态建模能力。例如，LeapfrogDiffusionModel（LED）采用可训练的“跳跃”初始化器，减少去噪步骤并实现实时预测，在NBA/NFL/SDD/ETHUCY等数据集上显著提升精度并加速了19–30倍。MixedGaussianFlow（MGF）通过构建混合高斯先验来更好地匹配未来轨迹的多峰分布，在UCY/ETH和SDD数据集上达到了最先进性能。此外，Pattern Memory-based Diffusion Model（MPMNet）提出从训练集中聚类人类运动模式并构建记忆库，引导扩散模型生成多样而合理的轨迹。

本课题将综合利用扩散生成机制建模轨迹的不确定性，同时融合社会交互建模与条件控制机制，实现对目标点和环境因素的灵活引导。研究将在ETH、UCY、SDD等公开数据集上进行实证验证，与现有主流方法（如LED、MGF、SingularTrajectory等）进行系统比较，预期成果包括算法框架、定量和可视化展示以及高水平论文，具有在自动驾驶、智能监控和服务机器人领域的广泛应用前景。

二、课程目的

• 解决只了解零散知识，没有清晰的体系的问题，帮助同学系统掌握指定方向的重点理论知识，同时做适当拓展，让学员对指定方向内容形成更清晰的体系；

• 解决没有方向，动手能力差，无法复现论文，帮助同学将模型理论与代码实践相结合，协助同学开发设计新模型铺垫基础；能让学员将baseline深化拓展，形成自己的论文；

• 解决文章不会写、写了不会投的问题，帮助同学积累一套论文写作方法论、获得修稿指导与投稿建议。

三、招生人数⭐

6人/期（至多8人）

四、招生对象⭐

• 轨迹预测与自驾方向的本硕博，希望获取论文创新思路；

• 申硕申博、国外留学，提升简历含金量；

• 有科研需求，想融会贯通的使用算法模型，了解前沿进展和方向；

• 从事自动驾驶轨迹预测、diffusion等领域工作，想系统提升算法理论，高效掌握算法设计及创新思路，快速了解论文撰写技能；

五、课程收获

经典论文、前沿论文和代码实现——创新点、baseline、数据集——选题方法、实验方法、写作方法、投稿建议。

12周【在线小组科研】+2周【论文指导】+10周【论文维护期】。
获得对经典及前沿的典型论文的分析方法，理解重点算法与原理、清晰不同算法的优劣势，也促使自己对研究idea的思考；
即使自己没有想到合适的idea，也能得到老师提供的idea从⽽进⾏后续的研究过程（导师会给每位同学都准备一个idea）；
获得Coding能力的增强，在老师准备的baseline代码和可用数据集上更高效展开研究和实验⼯作；
获得论文写作、自查、修改的方法论，以及关于投稿的⼀些建议；
撰写出一篇论文初稿（自己完全投入课程的学习与实践中，将可能会产出一篇不错的论文）。

扫码立即咨询

六、招生要求⭐

基础要求

具备深度学习基础，对轨迹预测或行为建模有初步了解，熟悉 Python 语法以及 PyTorch 使用。

基础补齐

Python编程语言入门
深度学习与PyTorch框架
入学基础先修课（随到随学）：补充基础知识、强化后期课程理解能力，减轻学习负担

硬件要求

建议设备配备至少16GB内存和4GB以上显存的NVIDIA GPU（如RTX 3080及以上）

软件要求

掌握基本的编程语言(python等),具备基础编程能力.
熟练使用PyTorch等深度学习框架的调用和调试.
最好具备Linux系统下开发调试的能力.

学习要求

1）每周上课前按时阅读相关资料并完成相关作业。

2）作业必须在规定时限内完成。

3）课上积极参与讨论、交流。

4）应该全勤。若晚交作业、上课请假等必须提前1⽇通知班主任和导师并说明理由。

5）保持学术诚信，拒绝剽窃。

6）每次课后自学时长至少1-2小时。

七、课程亮点

1.“2+1”式优质授课师资，更全面的学习支持

项目采用“1+1”教学服务团队，为同学带来全方位的学习支持。

导师由名校教授、研究院、行业导师担任，领衔授课；

在此之上，配备经验丰富的科研论文班主任，全程跟踪监督项目进展，解决同学学习过程中的每个所需。

2. 全学习周期服务更专业的科研体验

依据多年累积的教研经验，项目精心设计了每个学习阶段的教学支持，保证学习效果。

这一学习经历从项目正式开始前就已展开，导师将先对同学个人基础知识水平进行测试，并有针对性地帮助同学进行学术通识准备，以更好地开展项目；

项目开始后，主讲导师将根据同学个人特点，进行教学指导，并基于评估系统对每位同学的表现进行密切跟踪，通过便捷的问题反馈机制及时优化教学流程；

项目后期，在同学准备项目报告时，导师将带领同学进行学术知识复习与回顾，并对报告内容进行指导。

同时，对于非学术性问题(上课时间、线上软件操作流程等)将由班主任老师进行服务解决，以便同学更加专注于学术知识的研究

3. 高学术标准更深刻的项目收获

1）项目均配备科学制定的《学员守则》与《学员表现评估体系》，让学员在理解学术诚信重要性的同时，提前感受高标准学术经历的魅力。

2）项目结束后，同学将有丰富、立体、全面的产出与收获，从申请材料、个人经历的角度更高效地助力申博申硕留学等申请与就业。

3）产出包括论文初稿、项目结业证书、看学生优秀程度给推荐信。

九、课程大纲⭐

● 提供数据集：

提供 ETH、UCY、SDD 等公开行人或车辆轨迹数据集，按照课题需要准备相应预处理脚本。

● 提供Baseline代码：

针对扩散模型轨迹预测提供多个开源框架，例如 LED (https://github.com/MediaBrain-SJTU/LED)、SingularTrajectory (https://github.com/InhwanBae/SingularTrajectory)、MGF (代码见论文链接)、MPMNet (待公开) 等，供学员参考和扩展。

● 必读论文：

Leapfrog Diffusion Model for Stochastic Trajectory Prediction（CVPR 2023）：提出跳跃扩散模型，通过学习跳跃初始化器加速去噪并实现实时预测arxiv.org。

MGF: Mixed Gaussian Flow for Diverse Trajectory Prediction（NeurIPS 2024）：构建混合高斯先验提升多样性，在 UCY/ETH 数据集上达到最先进性能arxiv.org。

SingularTrajectory: Universal Trajectory Predictor Using Diffusion Model（CVPR 2024）：在五个任务上统一建模人类运动的扩散框架。

Uncovering the human motion pattern: Pattern Memorybased Diffusion Model for Trajectory Prediction（arXiv 2024）：利用运动模式记忆库引导扩散模型生成多样化轨迹arxiv.org。

PMM-Net: Single-stage Multi-agent Trajectory Prediction with Patching-based Embedding and Explicit Modal Modulation（2024）：提出基于补丁的时序特征提取和显式模态调制模型，指出现有生成模型（GAN、CVAE、扩散模型）效率不足

参考时间安排，以下为参考课表，最终时间安排以实际通知为准：

周次	课程主题	课时（小时）	核心内容/阶段产出
1	先导课	1–1.5	介绍轨迹预测任务、扩散模型基础和课程安排
2	课题概览与科研路径介绍	1–1.5	回顾轨迹预测技术发展，比较传统模型与生成式模型创新点
3	选题讨论	1–1.5	与导师沟通，确定每位同学的研究 idea
4	经典轨迹预测方法（一）	1–1.5	讲解 LSTM、Social Pooling、Graphbased model 等经典方法
5	经典轨迹预测方法（二）	1–1.5	探讨目标点引导与条件预测、GAN/CVAE 等生成模型
6	扩散模型基础与生成式建模	1–1.5	介绍扩散模型原理、去噪扩散概率模型及其在时间序列中的应用
7	扩散模型轨迹预测架构与代表算法	1–1.5	深入解析 LED、MGF、SingularTrajectory、MPMNet 等方法：LED 采用可训练跳跃初始化加速推理；MGF 构建混合高斯先验提升多模态多样性；MPMNet 利用运动模式记忆引导扩散生成
8	扩散模型高级话题：条件控制与社会交互建模	1–1.5	探讨如何在扩散模型中融入目标点、速度约束、邻域交互等控制变量
9	多模态与不确定性建模	1–1.5	分析轨迹预测的不确定性来源，介绍混合高斯流等提高多样性的策略
10	数据集与评测	1–1.5	介绍 ETH、UCY、SDD 等数据集，讲解数据预处理、划分及 ADE/FDE 等评测指标
11	训练技巧与实现	1–1.5	演示扩散模型训练流程、超参数设置、加速推理等工程实践
12	应用场景与扩展	1–1.5	探讨扩散轨迹预测在自动驾驶、监控、机器人等领域的应用与部署
13	论文写作方法论	1–1.5	指导论文结构、创新点表达、实验描述与可视化
14	课题汇报与投稿意见	1–1.5	总结研究成果，讲解会议/期刊选择及投稿流程