FairAdaBN论文速读

最新推荐文章于 2025-08-19 15:10:04 发布
最新推荐文章于 2025-08-19 15:10:04 发布
阅读量227 收藏 1
点赞数 5
CC 4.0 BY-SA版权
分类专栏： # 非模型优化 文章标签： prompt 论文阅读 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45745941/article/details/138047105
本文探讨了深度学习模型在医疗中的不公平性问题，提出FairAdaBN方法，结合适应性批标准化和新损失函数，旨在提高模型公平性的同时保持良好性能。还引入了FATE度量来评估这种权衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

FairAdaBN: Mitigating Unfairness with Adaptive Batch Normalization and Its Application to Dermatological Disease Classification

摘要

深度学习在医疗研究和应用中变得越来越普遍，同时涉及敏感信息和关键诊断决策。研究人员观察到不同人口统计属性子组之间的性能差异显著，这被称为模型不公平性，并投入大量精力精心设计优雅的架构来解决不公平性，这带来了沉重的训练负担，带来了糟糕的泛化能力，并揭示了模型性能和公平性之间的权衡。

本文提出了一种使批标准化适应于敏感属性的方法，即FairAdaBN。可以适应几种原来不知道公平性的分类主干。此外，我们推导出一个新的损失函数，该函数限制了小批量上的子组之间的统计平衡，鼓励模型在收敛时具有相当的公平性。为了评估模型性能和公平性的权衡，我们提出了一种新的度量方法，称为公平性准确性权衡效率（FATE），用于计算公平性改进的标准化精度下降。

代码地址

本文方法

在这里插入图片描述
损失函数如下：
在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

NLP论文速读（EMNLP2024）|多风格可控生成的动态多奖励权重
2401_85576118的博客
11-27 1193
本文探讨了文本风格在沟通中的重要性，指出文本风格传达了除原始语义内容之外的多种信息，如人际关系动态（例如正式性）和作者的情绪或态度（例如厌恶）。（动态加权）在所有指标上表现最佳，不仅在风格控制上优于其他方法，同时保持了较低的困惑度和二元组重复率，表明生成的文本既符合目标风格，又保持了较高的语言质量。这些奖励公式被用来训练模型以生成具有特定风格的文本，特别是结合了负面（Negative）和非正式（Informal）风格的文本。在风格控制上表现不错，同时保持了较低的二元组重复率，表明生成的文本较为多样化。
NLP论文速读|Fine-Grained Verifiers: 面向视觉语言模型的细粒度检验器
2401_85576118的博客
10-27 1122
该论文试图解决视觉语言大型模型（VLLMs）在视觉和语言模态对齐方面可能导致诸如幻觉和不安全内容生成等问题。相关研究包括大型语言模型（LLMs）和预训练视觉模型的发展，这些模型通过线性投影或q-former等方式推进了视觉和语言模态之间的连接。尽管VLLMs在多个领域展现出显著能力，但在精确对齐视觉和语言模态以进行集成推理方面仍存在挑战，这通常是由于它们独立预训练的结果。
1205论文速读
qq_27789905的博客
12-05 2097
本文提出了一种新颖的CRP框架，用于LSGDM，并将其应用于社交信任网络中的反馈机制。该框架通过整合界限感，使个体更愿意接受ELICIT基于优化模型的推荐，从而增强群体共识。此外，文章还介绍了以下改进措施：利用LFM检测重叠社区的方法有助于将属于一个或多个社区的DM分开，从而开发出有效的反馈机制，以考虑重叠DM的独特动态。将来自全球和本地视角的DM权重更好地捕捉了个人在不同场景下的重要性，提供了更清晰的理解每个个体的角色，并突出了其本地和全局贡献之间的差距。
1122论文速读
qq_27789905的博客
11-23 1060
在于网络流量数据处理的方式该论文提出了一种名为 MalBoT-DRL 的新型深度强化学习 （DRL） 模型，用于检测物联网环境中的僵尸网络活动。作者与最先进的机器学习 （ML） 和深度学习 （DL） 模型进行了广泛的评估和比较，证明了 MalBoT-DRL 在检出率和适应性方面的优越性。该研究有助于了解 IoT 环境中僵尸网络的行为和特征，为开发有效的网络安全解决方案提供见解。作者还通过采用迁移学习和网络蒸馏技术，解决了在面对以前看不见的威胁时保持高检测率的挑战。
1123论文速读
qq_27789905的博客
11-23 848
该论文主要研究了社区结构检测算法的评价指标，并提出了一种新的评价方法。文章的优点包括以下几点：系统地回顾了当前常用的社区结构检测算法评价指标，指出了NMI型指标存在的问题。提出了一种新的评价方法，将计算得到的社区标签与真实标签通过整数线性规划映射，然后使用kappa指数和F-score作为评价指标。实验结果表明，新方法在多个数据集上表现优于传统的评价指标，证明了其有效性。
1118论文速读
qq_27789905的博客
11-18 1796
该论文的方法创新点在于采用了基于大偏差理论的统计学方法来处理网络数据，并结合社区检测方法来识别异常节点。这种方法不仅能够提高检测准确率，而且可以适用于不同类型的网络拓扑结构。此外，该方法还具有可扩展性和实时性的优势，能够在大规模网络中快速检测异常行为。具有较高的准确性和效率，不比深度学习的方案差，该论文还提出了一种用于发现DDoS攻击的滑动窗口技术，可以监测连续一段时间内的异常流量，并存储所有的异常。
1212论文速读
qq_27789905的博客
12-12 860
超图HVEH(V, E)HVE：由节点集合V1NV1...N和超边集合EEE组成，其中每个超边e∈Ee \in Ee∈E描述了一组唯一节点的相互作用，即e⊆Ve⊆V，且∣e∣|e|∣e∣是超边的大小。节点的度did_idi​：节点iii所属的超边数量。度序列dd1dNdd1​...dN​：所有节点的度的向量。超边大小序列kk1kDkk1​...kD​：每个超边大小的计数。
1124论文速读2
qq_27789905的博客
11-24 2019
该论文提出了一种新的网络嵌入算法NEC，用于无监督地学习有标签节点的特征向量和社区分配。NEC将网络嵌入和聚类优化合并为一个统一的目标函数，并使用小批量随机梯度下降法进行训练。该模型在各种真实世界数据集上进行了实验评估，并证明了其在社区检测任务上的优越性能。
SFusion论文速读
qq_45745941的博客
04-18 686
人们用不同的感官感知世界，例如视觉、听觉、嗅觉和触觉。处理和融合来自多种模式的信息使人工智能能够更轻松地理解我们周围的世界。然而，当缺少模态时，可用模态的数量在不同情况下是不同的，这导致了N对1的融合问题。本文提出了一种基于自注意力的融合块，称为SFusion。与预设公式或基于卷积的方法不同，所提出的模块可以自动学习融合可用模态，而无需合成或零填充缺失模态。具体而言，从上游处理模型中提取的特征表示被投影为标记并输入到自注意力模块中以产生潜在的多模态相关性。
论文速读记录 - 202409
Milkha的博客
09-29 1070
9月论文速读记录，KDD 2024论文专场，提前祝大家国庆快乐！
Sigir2024 ranking相关论文速读
Milkha的博客
06-15 1005
Sigir2024 ranking 相关论文速读
NLP论文速读|HBAT:一种面向大语言模型的混合对齐训练方法Hybrid Alignment Training for Large Language Models
2401_85576118的博客
10-29 1385
该论文的实验主要关注于评估所提出的HBAT在大型语言模型（上的表现，特别是在摘要（Summarization）和对话（Dialogue）任务上。在摘要任务上，HBAT在LLaMA2-7B和LLaMA2-13B模型上均取得了最佳结果。在对话任务上，HBAT在对话任务上也表现出色，尤其是在使用PPO进行人类偏好对齐训练时，HBAT在PandaLM和Reward上都超过了RLHF。在传统的两阶段对齐训练中，即指令遵循对齐和人类偏好对齐，存在目标可能发生冲突的问题，导致LLMs无法同时很好地对齐指令和人类偏好。
NLP论文速读|CoCoT
2401_85576118的博客
11-06 968
在探索人工通用智能（AGI）的发展过程中，大型多模态模型（LMMs）在处理多个图像输入时面临两个主要问题：一是缺乏对细节的精细感知能力，二是倾向于在多个图像之间混合信息。论文主要关注提升LMMs在处理多个输入图像时对细节的捕捉和总结能力，特别是在图像与图像之间、以及图像与文本之间的匹配任务上。这包括图像到图像的匹配（评估LMMs是否能够有效推理和配对相关图像），以及多图像到文本的匹配（评估LMMs是否能够准确捕捉和总结详细的图像信息）。在这个任务中，模型需要将图像中提取的信息与文本描述进行匹配。
NLP论文速读|How to Evaluate Reward Models for RLHF
2401_85576118的博客
10-28 1389
PPE通过评估奖励模型在12个不同领域中的12个不同指标来选择人类偏好或可验证正确的响应，从而为奖励模型提供了一个全面的评估。PPE包括16,038对来自Chatbot Arena的标记人类偏好对，以及2,555个提示，每个提示有32个不同的采样响应选项，总共81,760个响应，涵盖4个不同的模型，所有这些都基于可验证的正确性标签。通过这些方法，该论文旨在提供一个成本效益高的方法来近似评估奖励模型对下游LLM性能的影响，并为奖励模型的选择和改进提供指导。
Prompt engineering（PE） —— prompt 优化如何进行？
qq_53250079的博客
08-18 746
如何做PE工程
论文阅读：Prompt Optimization in Large Language Models
m0_53605808的博客
08-19 1033
提示优化是提升大语言模型（Large Language Models, LLMs）下游任务性能的关键任务。本文中，提示被定义为从词汇表中选取的 n 元语法（n-grams）序列。因此，研究目标是筛选出在特定性能指标下最优的提示。提示优化可视为一个组合优化问题，其可能的提示数量（即组合搜索空间）等于词汇表大小（所有可能的 n 元语法数量）的提示长度次方。由于穷举搜索不切实际，亟需一种高效的搜索策略。
完整设计 之 智能合约系统：主题约定、代理协议和智能合约 （临时命名）----PromptPilot （助手）答问之2
ChuanfangChen的博客
08-16 718
智能合约系统架构设计摘要 本设计构建了一个多层次智能合约系统，包含150字以内的核心架构： 三级架构体系： 元级（序分）：MetaModel合约定义系统核心原则 模型级（流通分）：ThreeDimensionalModel合约实现三种推理框架 任务级（正宗分）：TaskModel合约处理具体业务 智能实现： try-catch类比推理（机械智能） case-switch推论推理（机器智能） if-then演绎推理（人工智能） 开发支持： Solidity智能合约模板 Remix+MetaMask开发环境 三
Spring Ai Prompts
最新发布
qq_38527427的博客
08-19 876
Prompts翻译过来就是提示词的意思。提示词一般是输入的用于指导AI 大模型生成什么样的内容返回给使用者。提示词设置越详情，AI就更能生成符合要求的内容。
【深度长文】Anthropic发布Prompt Engineering全新指南
一手知识的搬运工
08-18 896
本文对Anthropic发布的Prompt Engineering做了系统性的总结，对于想系统化提升自己提示工程能力的同学来有帮助，希望阅读本文能对你有所启发。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小杨小杨1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值