TMI 2024 | MCPL：医学视觉-语言模型的多模态协作提示学习

最新推荐文章于 2025-08-25 23:42:58 发布
最新推荐文章于 2025-08-25 23:42:58 发布
阅读量112 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 医学图像处理论文解读 文章标签： 语言模型 人工智能 TMI 深度学习 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/148649022

论文信息

题目：MCPL: Multi-Modal Collaborative Prompt Learning for Medical Vision-Language Model
MCPL：医学视觉-语言模型的多模态协作提示学习
作者：Pengyu Wang, Huaqi Zhang, Yixuan Yuan
源码链接：https://github.com/CUHK-AIM-Group/MCPL

论文创新点

  1. 首次提出多模态协作提示学习范式
    本文首次提出了一种多模态协作提示学习方法，用于对齐医学文本-图像表示。与现有的独立或单向耦合的多模态提示方法不同，本文通过建立多向提示耦合，使提示能够协作学习，从而提高多模态提示之间的协同作用。

  2. 构建解剖-病理（AP）提示
    本文首次引入实例级的解剖和病理信息来构建解剖-病理（AP）提示，使V-L模型能够更好地理解和对齐医学报告和图像。通过结合解剖和病理信息，模型能够更准确地

了解本专栏 订阅专栏 解锁全文
论文速读 · 第14期 | 大模型与医学人工智能
强化学习曾小健
03-28 936
比较两个协助研究组，LLM的协助下医生的DDx质量得分较高（前十准确率51.7%），相比未使用LLM的医生（36.1%）（麦克马尔检验：45.7，p < 0.01），以及使用搜索引擎的医生（44.4%）（4.75，p = 0.03）。和睡眠呼吸暂停的潜力。结果强调了将LLMs纳入医疗诊断的前景，并取决于方法论的进步，以确保人工智能生成的输出的准确性和临床连贯性，从而提高LLMs在医疗决策中的可信度。大量实验证明，与最先进的方法相比，我们的方法在神经障碍诊断方面取得了卓越的性能，并得到了临床医生的验证。
【提示学习论文六】MaPLe: Multi-modal Prompt Learning论文原理
weixin_51293984的博客
01-11 3479
这篇文章于2023年发表在CVPR（Conference on Computer Vision and Pattern Recognition），作者是Muhammad Uzair Khattak，Hanoona Rasheed，Muhammad Maaz，Salman Khan，Fahad Shahbaz Khan。研究发现Clip的问题：在单个分支（语言或视觉）中使用prompt来调整表示是次优的，它不能在下游任务上灵活地动态调整两个表示空间。
TMI 2024 | HiDiff：用于医学图像分割的混合扩散框架
小白学视觉
06-29 53
医学图像分割随着深度学习（DL）技术的快速发展取得了显著进展。现有的基于DL的分割模型通常是判别式的，即它们旨在学习从输入图像到分割掩膜的映射。然而，这些判别式方法忽略了底层数据分布和类别的内在特征，导致特征空间不稳定。在此工作中，我们提出通过生成模型的底层数据分布知识来补充判别式分割方法。为此，我们提出了一个新颖的混合扩散框架，用于医学图像分割，称为HiDiff，它可以融合现有的判别式分割模型和新的生成扩散模型的优势。HiDiff包含两个关键组件：判别式分割器和扩散细化器。
TMI 2024 | GenSelfDiff-HIS: 基于扩散的生成自监督用于组织病理学图像分割
小白学视觉
03-14 169
组织病理学图像分割是一项耗时且劳动密集的任务，通常需要经验丰富的病理学家进行分析以确保准确性。为了减轻这一负担，基于大规模标注数据集的监督机器学习方法已被用于组织病理学图像分析。然而，在许多情况下，大规模标注数据的可用性是训练这些模型的瓶颈。自监督学习（SSL）是一种替代范式，它通过仅利用未标注的数据来构建模型，从而提供了一定的缓解。SSL的基本思想是训练网络在未标注数据上执行一个或多个伪任务或预训练任务，然后将其用于各种下游任务。研究表明，SSL的成功与否在很大程度上取决于所考虑的预训练任务。
TMI 2024 | PolarFormer: 一种基于Transformer的血管内OCT多病变分割方法
小白学视觉
05-23 68
尽管已有多种基于深度学习的方法被提出用于从血管内光学相干断层扫描（OCT）图像中提取单一类别的易损斑块，但由于缺乏公开的大规模多类别易损斑块标注的血管内OCT数据集，进一步的研究受到了限制。此外，由于斑块的不规则分布、独特的几何形状和模糊的边界，多类别易损斑块分割极具挑战性。现有方法未能充分解决易损斑块的几何特征和空间先验信息。为了解决这些问题，我们收集了一个包含70个回拉数据的数据集，并开发了一个名为PolarFormer的多类别易损斑块分割模型，该模型结合了易损斑块在空间分布上的先验知识。
TMI 2024 | 学习鲁棒形状正则化以实现可泛化的医学图像分割
小白学视觉
04-09 95
可泛化的医学图像分割使模型能够在领域偏移问题下泛化到未见的目标领域。最近进展表明，分割目标的形状因其在跨领域的高一致性和鲁棒性，可以作为可靠的正则化来帮助模型获得更好的跨领域性能，其中现有方法通常寻求一个共享框架来同时渲染分割图和形状先验。然而，由于现代深度神经网络固有的纹理和风格偏好，提取的形状的边缘或轮廓将不可避免地受到医学图像在领域偏移下的特定领域纹理和风格干扰的影响。为了解决这一局限性，作者设计了一个新颖的框架，将形状正则化和分割图分离。
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.10.20-2024.10.25
小小帅
05-13 924
本文摘要涵盖了六篇关于多模态和视觉语言模型的研究论文，涉及图像检索、风格化图像生成、生物医学任务、开放世界交互、图像-文本匹配以及视觉语言调整等领域。主要研究包括：1）ChatSearch 数据集和生成式检索模型 ChatSearcher，用于一般对话图像检索；2）零镜头风格化图像生成方案，通过图像到文本到图像的转换实现语义协调；3）可解释双语多模态大语言模型 MedRegA，用于生物医学任务；4）ROCKET-1 模型，利用视觉-时间上下文提示进行开放世界交互；5）EntityCLIP 模型，通过多模态注
TMI 2025 | Serp-Mamba: Advancing High-Resolution Retinal Vessel Segmentation with Selective SSM
画心
07-18 1016
提出Serp-Mamba模型，用于高分辨率视网膜血管分割。针对UWF-SLO图像中血管形态特殊、类别失衡等挑战，提出两项创新：1) 蛇形交织自适应扫描机制（SIA），通过可变形路径动态贴合血管曲率，解决传统Mamba固定扫描导致的血管断裂问题；2) 模糊驱动双重校准模块（ADDR），利用双阈值划分和交叉注意力重校准模糊像素，缓解高分辨率下的类别失衡问题。
TMI 2024 | SASAN：用于医学图像分割的谱轴向空间方法网络
小白学视觉
03-03 184
眼科疾病，如中心性浆液性脉络膜视网膜病变（CSC）全球范围内严重影响数百万人的视力。精确划分脉络膜和黄斑水肿对于诊断和治疗这些疾病至关重要。然而，现有的3D医学图像分割方法常常因为这些病变的异质性和模糊特征而不足，加之医学图像清晰度问题和设备及环境限制引起的噪声干扰。为了解决这些挑战，我们提出了谱分析协同轴向空间网络（SASAN），这种方法创新性地整合了使用快速傅里叶变换（FFT）的频谱特征。SASAN包含两个关键模块：频率集成神经增强器（FINE），减轻噪声干扰；
硬件开发_基于STM32单片机的护眼语音台灯系统
weixin_45732499的博客
08-25 205
本文介绍了一种智能护眼语音台灯系统的设计与实现。该系统具备语音控制、超声波测距和距离报警三大功能，采用STM32F103C8T6单片机作为主控，搭配HC-SR04超声波模块和LU-ASR01语音识别模块。电路设计包含最小系统、测距、语音识别、按键设置和蜂鸣器报警模块。程序设计通过UART串口通讯实现功能整合，支持自定义距离阈值，当检测距离过近时会触发蜂鸣器报警，提醒用户保持适当距离，实现智能护眼功能。系统具有操作便捷、响应灵敏的特点。
Agentic AI 知识框架整理
形上得其象，形下合于数；阴阳自济，玄理自明。
08-23 974
其战略价值在于将人类从复杂的、多步骤的认知劳动中解放出来，极大提升知识工作的效率与创新上限，是迈向通用人工智能（AGI）的核心路径。它不再是“你问我答”的聊天机器人，而是能。Agentic AI 的发展正遵循典型的。Agentic AI 的终极目标是创建能。
【笔记】动手学Ollama 第七章 搭建本地RAG
ReedFoley的博客
08-22 978
正文详见：7.3 使用 LangChain 搭建本地 RAG 应用。
数据库审计是什么？主要功能详解与厂商解析
yuandiansec的博客
08-21 1080
数据库审计
Science Robotics 通过人机交互强化学习进行精确而灵巧的机器人操作
weixin_44887311的博客
08-23 889
本文提出了一种基于强化学习（RL）的机器人操作系统HIL-SERL，通过集成预训练视觉模型、样本高效算法和人机交互修正机制，可在1-2.5小时内完成复杂操作任务的训练。该系统在叠叠乐抽块、物体翻转、设备组装等任务中表现优异，平均成功率提升101%，执行速度提高1.8倍，显著优于模仿学习和传统控制方法。研究表明RL可直接在现实环境中高效学习视觉操控策略，为工业应用提供了新思路。
Paddle3D-PETRv1 精度测试与推理实践指南
Hi20240217的博客
08-22 1442
本文介绍了在Paddle3D中使用PETRv1模型进行3D物体检测的完整流程。首先通过Docker配置标准测试环境，安装Paddle3D并下载预训练权重。然后准备NuScenes迷你数据集，生成所需的注解文件。接着对原始模型进行精度测试，获取mAP、NDS等关键指标。最后将训练好的模型导出为推理格式，便于后续部署。文章详细说明了每个步骤的操作命令和参数含义，特别对精度测试结果中的各项指标进行了专业解读，帮助读者理解模型性能评估标准。整个流程涵盖了从环境搭建到最终模型导出的全链路操作，为3D目标检测任务提供了
深度学习分类网络初篇
最新发布
qq_43129538的博客
08-25 711
本文回顾了深度学习的发展历程，从1943年的人工神经元模型到2012年AlexNet的突破性进展，展现了神经网络的三起两落。重点解析了深度学习基础概念，包括神经网络的基本组成（输入层、隐藏层、输出层）和核心组件（激活函数、损失函数）。通过代码示例展示了感知机、多层感知机等经典模型的实现，以及不同激活函数的特性对比。文章为理解深度学习分类网络提供了系统性的入门指南，适合不同基础的读者学习参考。
快速了解深度学习
wzdzgdf的博客
08-22 683
在人工智能的浪潮中，“深度学习” 无疑是最热门的词汇之一。从手机里的人脸识别到语音助手，从自动驾驶汽车到医疗影像诊断，深度学习技术正悄然改变着我们的生活。
车辆方向数据集 - 物体检测
yousuotu的博客
08-22 361
五类车辆分别是： [汽车、公共汽车、卡车、摩托车、自行车] 三种方向类型分别是： [前、后、侧] 因此车辆方向数据集共有 15 类车辆，其方向为 car_back、car_front、car_side、bus_back、bus_front 等。每行包含图像中车辆的类和边界框坐标。车辆方向数据集中 的所有车辆都标有车辆类别（五个类别）及其方向（三种类型）。将vehicle.part01.rar-vehicle.part24.rar放置再同一目录下，双击vehicle.part01.rar即可进行自动解压。
H-DenseUNet: Python实现肝脏肿瘤分割的深度学习模型
通过学习和使用该模型，研究人员和医生可以提高医学图像分析的效率和准确性，从而为疾病的诊断和治疗提供帮助。需要注意的是，由于代码是在Python 2环境下开发的，使用者需要确保环境和依赖包符合要求。此外，用户还...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值