WHAT MAKES GOOD DATA FOR ALIGNMENT? A COMPREHENSIVE STUDY OF AUTOMATIC DATA SELECTION IN INSTRUCTION

最新推荐文章于 2025-08-20 16:31:12 发布
最新推荐文章于 2025-08-20 16:31:12 发布
阅读量375 收藏 6
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huoshanshaohui/article/details/144948565

这篇文章提出了DEITA的数据集筛选方法

进化复杂度

目前评估复杂度的几种方法：

  1. 随机选择
  2. 长度
  3. 困惑度
  4. 大模型评分
  5. 指令结点数
  6. 评分模型（Instag）
  7. IFD

本文的做法：
让GPT给一个指令增加复杂度，生成6段对应的文本。然后用GPT给这六段文本打分和排序。不同于一次一次打分，一次给6段原意相同的文本再打分，作者说效果更好。作者说如果是一个一个单独评，大模型倾向都给高分。

在这里插入图片描述

进化质量

方法完全相同，直接看结果
在这里插入图片描述

多样性方法：

直接使用embedding，然后计算余弦距离d，当d<threshold才加入？感觉这里是写错了，应该是余弦相似度？选距离近的点怎么会增加多样性。

完整方法

在这里插入图片描述
先从质量和复杂度两个角度，将一个指令扩展成6个指令，然后让GPT对这6个指令一起打分。得到打分的结果后，训练两个Llama对数据进行评价。

得到质量和复杂度两个评价后，简单的将两者相乘，作为指标的结果。然后按照这个得分排序，一

最低0.47元/天 解锁文章

200万优质内容无限畅学
【KD】What Makes a “Good“ Data Augmentation in Knowledge Distillation -- A Statistical Perspective
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
02-27 269
NeurIPS 2022 通过统计学视角度量知识蒸馏中不同数据增强方法的优劣
【大模型】大语言模型简介
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
What Makes Good Synthetic Training Data for Learning Disparity and Optical Flow Estimation?
Gussss的博客
07-06 768
Abstract研究重点从研究算法过度到创建suitable和大量的训练数据，对于光流和场景流来说，太过困难，因为人们不能进去每个像素的精确光流场。
Deita: 有限高质量数据在LLM的潜力是真的大
zenRRan的博客
01-05 2108
数据工程在指令调优中的有着关键作用。当选择适当时，只需要有限的数据就可以实现卓越的性能。然而，什么是良好的指令调优数据以进行对齐，以及如何自动有效地选择数据仍需研究。本文深入研究了对齐的自动数据选择策略。在复杂性、质量和多样性三个维度上评估数据。并提出DEITA(Data-Efficient Instruction Tuning for Alignment)，一个从LLaMA和Mistral模型中...
Post-Training有多重要？一文带你了解全部细节
yiyele的博客
09-07 3953
本文主要介绍了llama3.1，Nemotron4-340B及gemma2三个模型在post-training阶段的一些工作。主要涉及数据搜集，合成数据，SFT及DPO等。
Llama3.1--post-training要点一览
2401_85379281的博客
08-07 1750
在Llama-3的报告中，任何在pre-training之后发生的训练都属于post-training，包括SFT、DPO等。Llama-3的post-training不是一次完成的，而是多个round迭代进行，整个post-training包含6轮的SFT和DPO。
Aquila-Med LLM：开创性的全流程开源医疗语言模型
eagleofstar的博客
06-21 959
Aquila-Med是智源研究院针对医疗领域复杂性提出的解决方案，通过构建大规模的中英双语医疗数据集进行持续预训练，并开发高质量的SFT和DPO数据集，以提升模型在单轮、多轮对话以及医疗选择题中的表现。目前，智源研究院开源了Aquila-Med的模型权重，数据集和整个训练过程，旨在为研究社区提供有价值的资源。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2710
CVPR2022完整论文列表
论文阅读：Prompt Optimization in Large Language Models
m0_53605808的博客
08-19 1027
提示优化是提升大语言模型（Large Language Models, LLMs）下游任务性能的关键任务。本文中，提示被定义为从词汇表中选取的 n 元语法（n-grams）序列。因此，研究目标是筛选出在特定性能指标下最优的提示。提示优化可视为一个组合优化问题，其可能的提示数量（即组合搜索空间）等于词汇表大小（所有可能的 n 元语法数量）的提示长度次方。由于穷举搜索不切实际，亟需一种高效的搜索策略。
【论文阅读69】-DeepHGNN复杂分层结构下的预测
wangshangshang09的博客
08-18 470
这篇论文提出的 **DeepHGNN** 框架，把层级时间序列预测问题转化为图学习问题，通过 **图神经网络 + 层级插值 + 端到端一致性** 来提升预测精度和层级一致性，在实验中优于现有方法。
【论文阅读】-《SIGN-OPT: A QUERY-EFFICIENT HARD-LABEL ADVERSARIAL ATTACK》
最新发布
spinage的博客
08-20 865
本文提出了一种名为Sign-OPT的新型查询高效硬标签对抗攻击方法，用于评估机器学习系统在严格受限环境下的对抗鲁棒性。该方法通过单次查询直接估计方向导数的符号而非梯度本身，显著提升了查询效率。理论分析证明了算法的收敛性，实验结果表明，在MNIST、CIFAR-10和ImageNet等数据集上，Sign-OPT相比现有方法可减少5-10倍的查询次数，并能找到扰动更小的对抗样本。该工作为硬标签黑盒攻击提供了一种实用的高效优化方案。
[论文阅读] 软件工程工具 | EVOSCAT可视化工具如何重塑软件演化研究
张较瘦
08-15 751
本文是对论文《EVOSCAT: Exploring Software Change Dynamics in Large-Scale Historical Datasets》的解读，旨在帮助读者快速理解该研究的核心内容。文章介绍了EVOSCAT工具的设计背景、创新点、研究方法和主要贡献，通过通俗的语言和结构化的梳理，展示了这款工具如何通过交互式散点图解决大规模软件演化数据的分析难题。同时，本文归纳了工具的关键功能、应用案例及局限性，为关注软件演化研究的读者提供了清晰的参考。
Image and Video Tokenization with Binary Spherical Quantization 论文阅读
m0_56243424的博客
08-18 601
摘要 本文提出了一种基于Transformer的新型视觉分词器BSQ-ViT，采用二值球面量化(BSQ)方法，将高维视觉嵌入投影到低维超球面后进行二值化量化。BSQ具有参数高效、可扩展性强和表示紧凑等优势，可将视觉数据压缩至原始大小的1/100。模型采用Transformer编码器-解码器架构，配合分块式因果掩码支持变长视频输入。实验表明，BSQ-ViT在图像/视频重建任务中均达到当前最优效果，重建FID比次优方法降低43%，速度提升2.4倍。此外，结合自回归先验的自适应算术编码，其视频压缩性能与H.264
论文阅读 2025-8-9 [DiC, DropKey]
weixin_51552032的博客
08-18 691
闲来没事，找点近一年的论文看看。
【论文笔记】STORYWRITER: A Multi-Agent Framework for Long Story Generation
AustinCyy的博客
08-16 823
研究只考虑了英文，并不支持多语言生成只关注了小说故事生成，并未考虑其他艺术风格该文章中的复杂叙事结构，其实就是把 生成的 Outline 在扩写后，交给 LLM 重构了 Outline 的顺序，这样不能解决实际问题，只是表面上的工作，该处可以参考中对于复杂叙事结构的描述，或许有参考价值。生成长度为 4000 字，并不能很好的解决小说的故事生成，还是个 toy。
论文阅读-Gated CRF Loss for Weakly Supervised Semantic Image Segmentation
zjuPeco的博客
08-17 1092
GatedCRFLoss的论文精读
diffusion model(1.4) 相关论文阅读清单
duoyasong5907的博客
08-18 70
《Denoising Diffusion Probabilistic Models》DDPM论文。
《Dual Prompt Personalized Federated Learning in Foundation Models》——论文阅读
2301_77039628的博客
08-19 550
面向大规模预训练模型的千万级设备场景，用“双提示（Dual Prompt）”机制实现高效、可扩展的个性化联邦学习（PFL）
data alignment中文？
05-29
"data alignment" 的中文翻译为 "数据对齐"。在计算机系统中，数据对齐是指将数据存储在内存中时按照一定的规则进行排列。一般来说，数据类型有不同的长度，为了提高内存读取的效率，需要将数据排列在内存地址的整数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

volcanical

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值