目录
摘要
多模态医学影像(如 MRI、CT、PET)在空间结构与功能代谢等信息上具有天然互补性,但临床场景中存在分辨率不一、模态不齐、跨设备域移等挑战。本文面向“实验室验证有效/已有同类文章发表”的成熟度,系统综述多模态融合的代表性技术,并提出一套可复现实验方案与模型蓝图:一种多尺度跨模态融合网络(MS-CMFN)。该网络以金字塔式多尺度表示为基础,引入跨尺度可变形交互注意力与门控专家路由,兼顾细粒度结构与全局上下文;同时以注册对齐、缺失模态鲁棒性训练与自监督预训练提升泛化与可用性。我们给出基于公开数据集(AMOS、BraTS、HECKTOR)的可操作评测协议与消融设计,并讨论可解释性、合规与潜在局限。本文旨在为医学多模态融合研究与落地提供一套“拿来即用”的论文骨架与内容。
关键词:多模态融合、医学影像、跨模态注意力、Feature Pyramid、多尺度表示、缺失模态、注册对齐、自监督预训练、分割评测