（论文速读）CLIP-Event：让AI真正“看懂“图像中的事件故事

于 2025-08-23 13:54:55 发布
阅读量562 收藏 7
点赞数 10
CC 4.0 BY-SA版权
分类专栏： CLIP系列 文章标签： 人工智能 计算机视觉 机器学习 深度学习 CLIP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LJ1147517021/article/details/150494912

论文题目：CLIP-Event: Connecting Text and Images with Event Structures（CLIP-Event:用事件结构连接文本和图像）

会议：CVPR2022

摘要：视觉语言(V+L)预训练模型通过理解图像和文本之间的对齐，在支持多媒体应用方面取得了巨大的成功。虽然现有的视觉语言预训练模型主要关注于理解图像中的对象或文本中的实体，但它们往往忽略了事件及其参数结构层面的对齐。在这项工作中，我们提出了一个对比学习框架来执行视觉语言预训练模型来理解事件和相关的论点(参与者)角色。为了实现这一目标，我们利用文本信息提取技术获取事件结构知识，并利用多个提示函数通过操纵事件结构来对比困难的否定描述。我们还设计了一个基于最优传输的事件图对齐损失来捕获事件参数结构。此外，我们收集了一个大型事件丰富的数据集(106,875张图像)进行预训练，这为评估对复杂长句的理解提供了更具挑战性的图像检索基准1。实验表明，我们的零样本学习CLIP-Event在多媒体事件提取的论点提取中优于最先进的监督模型，在事件提取中获得了超过5%的绝对f分增益，并且在零样本学习设置下的各种下游任务上都有显着改进。

在人工智能快速发展的今天，让机器像人类一样理解图像和文本的关系一直是一个核心挑战。虽然CLIP等视觉-语言预训练模型在这方面取得了显著进展，但它们在理解图像中的事件和动作方面仍存在明显缺陷。

问题：现有模型"只见树木，不见森林"

想象这样一个场景：两张新闻图片都显示抗议者和警察，都涉及"攻击"事件。但在第一张图中，抗议者是攻击者，警察是受害者；在第二张图中，角色正好相反。对人类来说，这种区别显而易见，但对现有的AI模型却是一个巨大挑战。

这暴露了当前视觉-语言模型的根本问题：

  • 重对象轻事件：模型能识别图像中的"人"、"车"等对象，却难以理解"攻击"、"运输"等事件
  • 缺乏结构理解：无法理解事件中不同参与者的角色关系
  • 动词理解薄弱：在需要理解动作和行为的任务中表现不佳

创新解决方案：事件结构驱动的学习

1. 事件知识的自动提取

研究团队首先解决了事件知识获取的问题。他们使用先进的文本信息抽取技术，从新闻标题中自动提取：

  • 事件类型：如"Transport"、"Attack"等
  • 论元角色：如"Agent"（施动者）、"Entity"（受动者）、"Instrument"（工具）等
  • 参与实体：如"抗议者"、"受伤男子"、"担架"等

2. 巧妙的负样本生成策略

为了让模型学会精确区分不同的事件和角色，研究者设计了两种负样本生成方法：

负事件采样：基于混淆矩阵找到视觉上相似但语义不同的事件。比如"Transport"和"Arrest"在视觉上可能很相似（都可能涉及人群聚集），但事件性质完全不同。

负论元采样：通过"右旋转"论元角色序列来生成错误的角色分配。比如将"抗议者-Agent，受伤男子-Entity，担架-Instrument"变成"担架-Agent，抗议者-Entity，受伤男子-Instrument"。

3. 多样化的提示函数

团队设计了5种不同的提示函数来将事件结构转换为自然语言描述：

  1. 单模板提示：用一个句子描述整个事件
  2. 组合模板提示：为每个论元单独造句
  3. 连续提示：使用可学习的token
  4. 标题编辑：直接修改原始标题
  5. GPT-3提示：生成最自然的描述

4. 基于最优传输的事件图对齐

这是论文的一个重要技术创新。研究者将事件表示为图结构：

  • 中心节点代表事件类型
  • 周围节点代表参与实体
  • 边代表论元角色关系

然后使用最优传输算法在文本事件图和视觉事件图之间建立全局最优对齐。这确保了具有相似视觉特征的对象倾向于对齐到相同的论元角色。

令人印象深刻的实验结果

零样本性能的显著提升

在多媒体事件抽取任务上，CLIP-Event相比原始CLIP实现了：

  • 事件抽取F1分数绝对提升5.5%
  • 论元抽取相对提升33.3%

更令人惊讶的是，零样本的CLIP-Event在论元抽取上甚至超过了有监督训练的最先进模型！

全面的下游任务提升

模型在多个任务上都展现出了一致的改进：

  • 图像检索：在复杂的VOANews数据集上表现尤其突出
  • 视觉常识推理：在需要理解场景细节的推理任务上提升明显
  • 时间推理：在VisualCOMET任务上超过了基于困惑度的最先进模型

消融研究的洞察

实验还揭示了几个重要发现：

  • 移除最优传输对齐会显著降低性能，证明了事件图对齐的重要性
  • GPT-3生成的提示效果最好，显示了自然语言描述的价值
  • 在新闻数据上的预训练收益被事件结构知识显著放大

技术意义与应用前景

这项工作的意义远不止于提升几个百分点的性能指标：

理论贡献

  • 首次将事件结构知识系统性地引入视觉-语言预训练
  • 提出了完整的事件驱动的对比学习框架
  • 展示了如何利用文本IE技术来增强视觉理解

实际应用

  • 新闻分析：能更准确地理解新闻图片中的事件和参与者角色
  • 视频理解：为理解动态事件序列奠定基础
  • 多模态问答：在需要事件推理的问答系统中有巨大潜力

未来展望

论文作者在结论中提到，未来将把这种能力扩展到视频领域，通过论元跟踪来理解事件的演化。这为构建真正理解动态世界的AI系统开辟了新的道路。

CLIP-Event不仅是一个技术创新，更代表了AI理解世界方式的一次重要转变：从静态的对象识别向动态的事件理解迈进。在这个信息爆炸的时代，让机器真正"看懂"图像背后的故事，无疑具有深远的意义。

这项工作提醒我们，真正的视觉智能不仅要识别"是什么"，更要理解"发生了什么"以及"谁对谁做了什么"。CLIP-Event在这个方向上迈出了坚实的一步，为构建更智能的多模态AI系统铺平了道路。

【论文速读】Prefix-Tuning: Optimizing Continuous Prompts for Generation
weixin_43457608的博客
10-14 1495
微调实际上是利用大型预训练过的语言模型来执行下游任务的一种方法。但是，它会修改所有的语言模型参数，因此需要为每个任务存储一个完整的副本。在本文中，我们提出了Prefix-Tuning（前缀调优），这是一种针对自然语言生成任务的轻量级替代方法，它可以保持语言模型参数冻结，但优化了一个连续特定任务的小向量（称为前缀）。前缀调优从prompting（提示）中获得灵感，允许后续的令牌像关注“虚拟令牌”一样关注这个前缀。
【RAG 论文】Adaptive-RAG：自适应地根据 query 难度来选择合适的 RAG 模型
VLyb
04-25 3763
Adaptive-RAG：自适应地根据 user query 的难度来选择合适的 RAG 模型来生成回复，从而在开销和准确度之间取得一个平衡
图像融合论文速读：SMAE-Fusion: Integrating saliency-aware masked autoencoder with hybrid attention transforme
图像强的博客
12-30 1600
SMAE-Fusion是一种新颖的红外-可见光图像融合框架，它将自监督学习范式与显着性感知动态掩蔽相结合。 最初，SMAE-Fusion 利用掩模图像建模，并采用所提出的掩模策略来重建关键区域和目标，有效地弥合了上游预训练和下游任务之间的语义差距。 随后，我们提出了一种混合注意力增强变压器作为特征提取的骨干网络，它通过建模局部和全局特征之间的交互来实现全面有效的特征表示。 此外，渐进式特征融合模块无缝地结合了自注意力和交叉注意力机制，增强了跨模态特征的语义一致性，同时保留了互补信息。
（论文速读）ViT-CoMer: 让Vision Transformer在密集预测任务中重焕生机
LJ1147517021的博客
08-06 753
ViT-CoMer提出了一种结合卷积多尺度特征交互的视觉Transformer架构，用于解决ViT在密集预测任务中局部信息交互不足和特征单一的问题。该模型采用双分支设计，在保持ViT主干的同时引入CNN多尺度特征金字塔(MRFP)，并通过创新的双向融合模块(CTI)实现跨模态交互。实验表明，ViT-CoMer-L在COCO数据集上达到64.3% AP，在ADE20K上实现62.1% mIoU，性能优于现有方法且无需额外预训练。该工作为密集预测任务提供了高效的新基准，展示了CNN与Transform
论文速读|I-CTRL：通过受限强化学习使人型机器人模仿和控制
2301_81924597的博客
08-31 711
该框架通过在非物理基础的转换后的运动上施加受限的强化学习算法，提高了运动相似度，并确保了跟随参考人类轨迹的能力。该研究的贡献包括：1) 实现了多种人型机器人的物理相容的人类 ähnliche 运动学习；2) 设计了一种新的样本高效的受限强化学习算法，该算法能够更好地保留目标运动的风格，并且能够泛化到大约 10,000 种运动，使用单一的策略和共享的奖励；3) 对四种不同的人型机器人进行了定量和定性的评估，展示了模型在不调整奖励的情况下的灵活性。
AI论文速读 | ST-LoRA：低秩适配的时空预测
suzukiwudi的博客
04-18 882
时空预测在现实世界的动态系统中至关重要，它利用来自不同地点的历史数据来预测未来的变化。现有的方法通常优先考虑开发复杂的神经网络来捕获数据的复杂依赖性，但其准确性未能显示出持续的改进。此外，这些方法还忽视了节点的异构性，阻碍了定制预测模块有效处理不同的区域节点。本文目标不是提出一种新模型，而是提出一种新颖的低秩适配框架，作为现有时空预测模型的现成插件，称为ST-LoRA，它通过以下方式缓解上述问题： 节点级调整。具体来说，首先定制一个包含多个可训练低秩矩阵的节点自适配低秩层。
大模型论文速读DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning2025.1
黛玛日孜的博客
04-06 762
最后，作者还使用了模型蒸馏技术，将强化学习的能力应用到更小的模型中。该方法利用了大型模型的强大能力和小型模型的高效性，通过数据蒸馏技术将大型模型的知识转移到小型模型中，从而提高了模型的性能。在未来的研究中，作者计划进一步扩展DeepSeek-R1的能力，包括提高其处理多语言查询的能力，优化其提示工程，并研究如何将CoT应用于更复杂的任务，例如函数调用和JSON输出等。该论文提出了两种方法来提高模型的推理能力：一种是直接应用强化学习（RL）到基础模型上，另一种是将更大模型的推理模式“蒸馏”到更小的模型中。
（论文速读）ZERO-IG：低光图像去噪与增强技术
LJ1147517021的博客
08-09 712
ZERO-IG提出了一种零样本低光图像增强方法，通过光照引导联合去噪与自适应增强。该方法利用下采样图像对进行初步去噪，基于光照平滑性估计接近真实的照明，并采用像素级自适应缩放防止增强不足或过曝。通过连接反射与照明保持计算关系，在不改变噪声特性的同时实现去噪。实验表明，该方法在PSNR和SSIM指标上优于现有技术，且无需训练数据或噪声先验。核心创新包括零样本学习策略、光照引导的联合处理以及三子网络（LD-Net、IE-Net、RD-Net）协同架构，适用于移动摄影、安防监控等多种低光场景。
（论文速读）Text-IF：基于语义文本引导的退化感知交互式图像融合方法
LJ1147517021的博客
08-05 1045
本文提出Text-IF，一种基于文本语义引导的交互式图像融合新方法。针对传统图像融合方法在退化处理和非交互性方面的局限性，Text-IF创新性地将文本引导引入融合过程，通过语义文本编码器和融合解码器实现退化感知和交互式融合。实验表明，该方法在多个数据集上显著优于现有方法，在退化处理、融合质量等方面表现优异，且支持通过文本描述灵活控制融合结果。这项研究开创了文本引导图像融合的新范式，为多模态信息融合提供了新思路。
论文速读《Embodied-R: 基于强化学习激活预训练模型具身空间推理能力》
lovely_yoshino的博客
05-06 7060
具身智能是通用人工智能的重要组成部分。我们希望预训练模型不仅能在信息空间中实现问答、多模态理解，还能像人一样在真实三维空间中基于连续的视觉观测实现感知、思考和动作。这意味着预训练模型在感知基础上，形成对环境的形而上的理解，并结合意图规划自我动作，比如：“总结历史动作轨迹”、“归纳自身与周围对象的空间关系”、"根据导航目标确定下一步的动作"等。图1：具身空间推理：任务与思维过程。我们从公共的具身视频数据集中识别出具有挑战性的任务，涵盖室内和室外场景。我们引入了慢思考的概念，以提升推理性能。
【LLM 论文】Self-Refine：使用 feedback 迭代修正 LLM 的 output
VLyb
06-25 2986
论文提出了 Self-Refine，核心就是反复迭代 Feedback 和 Refine 操作，从而让 LLM 在具体任务上有更好的表现。论文在多个任务上进行了实验，发现 Self-Refine 可以有效地在各种任务上提升 LLM 的表现，当在较弱的小模型上则表现不佳（会重复输出）。
CXR-CLIP: Toward Large Scale Chest X-ray Language-Image Pre-training论文速读
qq_45745941的博客
04-17 632
大规模图像-文本对数据集极大地促进了视觉语言预训练 （VLP） 模型的发展，该模型无需昂贵的注释即可实现零样本或少样本分类。然而，在医疗领域，数据的稀缺性仍然是开发强大的VLP模型的重大挑战。在本文中，我们通过一般提示将图像-标签对扩展为图像-文本对，并在放射学报告中利用多个图像和多个切片来解决胸部 X 射线中缺乏图像-文本数据的问题。我们还设计了两种对比损失，分别命名为 ICL 和 TCL，用于学习医学图像和报告的研究水平特征。代码地址。
NLP论文速读|ReST:使用过程奖励指导搜索树来进行自我训练(ReST-MCTS : LLM Self-Training via Process RewardGuided Tree Search)
2401_85576118的博客
11-08 1033
在现有的自我训练方法中，LLM生成的响应被用来筛选出正确的输出答案作为训练数据，但这种方法常常导致训练集中包含错误的计划或中间推理步骤，从而限制了LLM在复杂推理任务中的最终性能。本文提出了一种名为ReST-MCTS∗的强化自我训练方法，该方法基于将过程奖励指导与树搜索MCTS∗集成，以收集更高质量的推理痕迹以及每一步的价值，用于训练策略和奖励模型。ReST-MCTS∗通过树搜索基于强化学习的推理：给定正确的最终答案，ReST-MCTS∗能够通过估计这一步有助于得出正确答案的概率来推断正确的过程奖励。
Bot 流量“假阳性”调优笔记
@云安全小杜
08-19 1288
这次实验最大的收获是：与其在规则里“猜”爬虫长什么样，不如把判断逻辑外置到一个能持续学习的边缘节点。群联的清洗中心提供了实时封禁 API，让我们可以把模型结果直接落地，而不用改一行业务代码——这比传统“先打日志、再人工加黑名单”的节奏快了整整一个量级。
门控循环单元（GRU, Gated Recurrent Unit）
2501_91641025的博客
08-20 936
门控循环单元（GRU, Gated Recurrent Unit）是循环神经网络（RNN）的一种改进结构，由 Cho 等人在 2014 年提出。它和 LSTM 一样，旨在解决RNN 的梯度消失和梯度爆炸问题，同时能够建模长距离依赖信息。与 LSTM 相比，GRU 结构更简洁，参数更少，计算效率更高。GRU 是 LSTM 的简化版，在很多任务上能取得相似甚至更好的效果。优点：计算效率高、参数量少、适合大规模训练。缺点：缺少独立记忆单元，在极长序列任务中可能稍逊于 LSTM。在实际应用中，
Huggingface-Qwen2源码解读
Jeremy程序员
08-19 1749
本文记录了基于HuggingFace Transformers最新master分支对Qwen2模型的学习过程。主要内容包括：1) 开发环境搭建（Python 3.11、PyTorch CPU版）；2) 模型测试代码实现，通过调参创建轻量级配置；3) 核心架构分析，包括分词编码、DecoderLayer处理流程（RMSNorm归一化、自注意力机制、前馈网络）和分组查询注意力机制；4) Qwen2的三大优化点：RMSNorm计算优化、RoPE位置编码和GQA注意力机制；5) 开发中遇到的版本依赖问题及解决方法。
【无标题】
As3310010的博客
08-20 704
从基础功能到自主决策：Agent 开发进阶之路
【笔记】动手学Ollama 第七章 搭建本地RAG
最新发布
ReedFoley的博客
08-22 660
正文详见：7.3 使用 LangChain 搭建本地 RAG 应用。
数据库审计是什么？主要功能详解与厂商解析
yuandiansec的博客
08-21 938
数据库审计
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值