fairseq常用的命令行参数

已于 2023-04-17 15:01:45 修改
阅读量769 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 pytorch
于 2023-04-16 21:54:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_L_Fighting/article/details/130188984
文章详细介绍了fairseq库在训练神经网络模型时的参数设置，包括tensorboard-logdir的可视化，bleu评估指标的使用，以及最佳检查点的选择策略。此外，还涵盖了fairseq在生成、评分和交互式模式下的命令行选项，如beamsearch，bpe处理和不同语言对的处理方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

fairseq-train

--tensorboard-logdir   #可视化训练过程
--keep-last-epochs 10  # 默认保存最后10个epoch
--eval-bleu            # 在验证阶段评估bleu
--eval-bleu-args '{"beam": 5, "max_len_a": 1.2, "max_len_b": 10}'      # 评估bleu的参数
--eval-bleu-detok moses   # 验证阶段时使用moses工具来进行detokenize
--eval-bleu-remove-bpe  # 在验证阶段评估bleu时 remove-bpe
--best-checkpoint-metric bleu # 选择best-checkpoint的策略，默认是loss最低，这里使用bleu
--maximize-best-checkpoint-metric  # 最大化选择best-checkpoint的策略，在使用bleu时使用
--patience 10  			# 如果连续10次验证运行的有效性能没有提高，则提前停止训练

fairseq-generate

--beam 5  # 解码时beam search设置为5
--remove-bpe # 生成remove bpe之后的结果
--scoring sacrebleu  # 默认使用bleu
--sacrebleu   # 效果同上
--quiet       # 只打印最终成绩

fairseq-score

-s, --sys   # 机器翻译模型的输出
-r, --ref   # 目标语句
-o, --order  # n-gram的阶数，默认为4
--ignore-case   # 大小写敏感的分数
--sacrebleu     # 使用sacrebleu
--sentence-bleu    # 报告句子级别的BLEU

fairseq-interactive

--path    # 模型checkpoint的路径
data
--beam    # beam size
--source-lang  # 源语言类型
--target-lang  # 目标语言类型
--tokenizer    # 使用的tokenizer，可以选择使用 moses、nltk和space
--bpe          # 使用的bpe，可以选择用 byte_bpe、bytes、characters、fastbpe、gpt2、bert、hf_byte_bpe、sentencepiece、 subword_nmt
--bpe-codes   # 指定训练得到的bpe-codes
--max-len-a   # 生成的最大长度为 ax+b(x是源序列长度)，这里指定a，默认为0
--max-len-b   # 生成的最大长度为 ax+b(x是源序列长度)，这里指定b，默认为200
--min-len     # 最小生成长度，默认为1
自然语言处理之机器翻译：Fairseq：Fairseq模型训练与优化
zhubeibei168的博客
04-10 598
自然语言处理基础涵盖了NLP的概述、机器翻译原理以及深度学习在机器翻译中的应用。通过理解这些概念，我们可以更好地设计和优化NMT模型，如使用变换器架构，并利用Fairseq等工具包进行高效训练。Fairseq是由Facebook AI Research开发的开源框架，用于训练高质量的神经机器翻译模型。它基于PyTorch构建，提供了丰富的功能和优化，使得研究者和开发者能够轻松地进行模型训练、调整和部署。
自然语言处理之机器翻译：Fairseq：PyTorch深度学习框架应用
zhubeibei168的博客
04-10 1069
机器翻译（Machine Translation, MT）是NLP中的一个经典问题，旨在将文本从一种语言自动翻译成另一种语言。现代机器翻译系统通常基于神经网络，特别是序列到序列（Seq2Seq）模型，它使用编码器-解码器架构来学习源语言和目标语言之间的映射关系。Fairseq是由Facebook AI Research开发的开源机器翻译框架，基于PyTorch深度学习框架。
Fairseq:用Python编写的Facebook AI Research Sequence-to-Sequence工具包-开源
05-15
Fairseq（-py）是一个序列建模工具包，研究人员和开发人员可以使用它们来训练定制模型，以进行翻译，摘要，语言建模和其他文本生成任务。 我们提供各种序列建模论文的参考实现。 Microsoft和Google的最新工作表明，通过在数据并行工作人员之间共享模型参数和优化程序状态，可以大大提高数据并行培训的效率。 这些想法被封装在Fairscale提供的新的FullyShardedDataParallel（FSDP）包装器中。 可以通过用户提供的插件来扩展Fairseq。 模型定义了神经网络架构，并封装了所有可学习的参数。 准则根据给定的模型输出和目标来计算损失函数。 任务存储字典，并为数据集的加载/迭代，初始化模型/条件和计算损失提供帮助。
【机器翻译】Fairseq常用checkpoint相关训练参数
weixin_43857772的博客
09-20 1100
-eval-bleu-remove-bpe sentencepiece 不适合目标端为中文。--patience x个epoch后不再出现checkpoint_best训练终止。--eval-bleu-detok moses 不适合目标端为中文。目标端为中文可以使用sacremoses生成bleu的待测文档。--finetune-from-model 迁移学习可以用。sacremoses的效果。
fairseq框架下模型训练-train
weixin_41318625的博客
01-20 4177
fairseq训练框架，原代码解析，fairseq的训练过程是如何进行的
fairseq transformer训练中的一些问题
DragonBark的博客
09-21 4919
fairseq transformer训练中的一些问题 这两天看fairseq transformer的代码，并在服务器用transformer跑实验。今天遇到一些问题，和师兄进行了一些交流，记录下来。 另一篇梳理nlp中的一些英文名词的还在写，整理好再发布。 transformer中的数据的流向和形式的变化？ 在训练前，数据基本都是以 的形式传入，即 句子数*单词数 的一个矩阵。 假设现...
【NLP】序列到序列（seq2seq）建模工具fairseq使用详解
酒酿小圆子呀～
12-16 1408
fairseq 是 Facebook AI Research Sequence-to-Sequence Toolkit 的缩写，是一款开源的神经机器翻译框架。它基于PyTorch开发，用于训练和评估各种序列到序列（seq2seq）模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成、语音识别等。它支持多种模型架构，包括但不限于 Transformer、LSTM 和 Convolutional models，并且具有高效的多GPU训练和分布式训练功能。
基于fairseq的LSTM翻译模型教程
03-17
### 如何使用 Fairseq 构建 LSTM 翻译模型 Fairseq 是 Facebook 提供的一个开源神经序列到...以上命令行展示了部分常用参数及其典型取值范围，更多细节可查阅官方手册了解完整的功能列表和支持的各种优化技巧。 ---
自然语言处理之机器翻译：Fairseq：低资源语言翻译策略
zhubeibei168的博客
04-10 824
Fairseq是由Facebook AI Research开发的开源机器翻译框架，它基于PyTorch构建，提供了高效且灵活的神经网络模型实现，特别适合于训练大规模的序列到序列模型。高效性：利用GPU加速，能够快速训练模型。灵活性：支持多种模型架构，如Transformer、LSTM等。可扩展性：易于添加新的模型或修改现有模型。社区支持：拥有活跃的社区和丰富的资源，便于学习和交流。低资源语言是指在互联网上可用的文本数据量非常有限的语言。
自然语言处理之机器翻译：Fairseq：深度学习与神经网络基础
最新发布
zhubeibei168的博客
04-10 906
神经机器翻译通过序列到序列模型和注意力机制，能够更有效地处理自然语言翻译任务，特别是在处理长句子和复杂结构时。通过深度学习模型自动学习翻译规则，NMT在翻译质量和效率上都超越了传统的统计和基于规则的方法。Fairseq是由Facebook AI Research(Fair)开发的一个开源框架，用于训练序列到序列(sequence-to-sequence)模型，特别适用于机器翻译和文本生成任务。
使用tensorboard可视化fairseq-train训练过程报错
qq_53253415的博客
04-27 339
做机器翻译的时候遇到的问题，输入的命令如下。
pytorch(fairseq) debug经验--CUDA ERROR: device-side assert triggered
QingerBig的博客
01-07 1082
痛苦又充实的回忆???? 在跑自己修改的模型时，遇到了这个令人摸不到头脑的问题，从网上的博客中查找，大部分是说，数据集的标签出了问题，从而导致越界，而在项目运行中一直使用的是同一个数据集，同时过去的实验代码都是在同一个数据集及预处理程序下使用的，所以果断排除该问题所导致的。 这个问题更坑的地方在于，他抱错的地方并不是错误发生的地方，这就导致了定位的困难，回去看日志信息，捕捉到了一条关键信息，Assertion srcIndex < srcSelectDimSize failed. 我意识到，是不是自己
探索Facebook NLP框架Fairseq的强大功能
艰难困苦，玉汝于成。
04-06 3817
FairseqFairseq是由Facebook AI Research开发的一个序列到序列模型工具包，用于自然语言处理和语音识别任务。它支持各种模型架构，包括卷积神经网络（CNNs）、循环神经网络（RNNs）和Transformer模型。Fairseq的设计理念是提供灵活、可扩展和高效的工具，以便研究人员和开发人员能够快速构建、训练和部署各种序列到序列模型。Fairseq支持多种训练和推理技术，例如自监督学习、多任务学习、知识蒸馏和模型融合等。
FaceBook-NLP工具Fairseq
comli_cn的博客
05-17 2222
1. 简介 作为一个通用的序列建模工具，fairseq可以在多个自然语言处理任务上使用，如机器翻译、自动摘要、语音识别等文本生成任务，或者BERT、GPT等语言模型的训练；同时fairseq还实现了目前常用的多数模型，如RNN、CNN、Transformer、RoBERTa、XLM等。除了大量内置的任务和模型，fairseq还提供了极为简洁的接口，以便于使用者扩展已有模型、验证新的想法。 开源代码： https://github.com/pytorch/fairseq/tree/v0.10.1 文档： ht
【深度学习】使用Fairseq进行机器翻译
Dong_ZH的博客
01-09 1万+
前言 一、文件存放位置 二、数据预处理 1.对中文进行分词操作 2.对英文数据操作 2.1Normalize punctuation 2.2Tokenizer 三、Train Test Valid 文件的划分 四、Sub-BEP处理 五、二值化处理 六、进入训练 七、使用tensorbord查看训练的结果 八、使用模型预测 1.生成式翻译 2.交互式翻译 九、译文处理 总结 前言 使用fairseq工具以及简单的中英文语料使用transfomer进行翻...
fairseq的使用
热门推荐
不负韶华，加油！
09-29 2万+
fairseq的使用 下载fairseq到本地 项目地址：https://github.com/pytorch/fairseq 运行fairseq项目出现报错： 解决方案： cd到fairseq的文件夹，执行 pip install --editable .
Fairseq学习日记：注定麻烦的旅程
starinline的专栏
11-22 7059
现在开头：Fairseq是一个正在快速迭代的产品，而且是开源的！ 这不是表扬，这意味着三件事情： 1.他没有文档！所有框架代码都没有任何注释，包括函数docstring都没有 2.他没有经过有效测试，估计是抢时间吧！即使是官网Readme里的例子也是无法跑起来的！ 3.他是一个框架，而且是一个非常不Pythonic的框架，充斥着inline/包装器/莫名其妙的语法。 虽然这三点决定他真的对不住Facebook的金字招牌，但是作为一个学习者，总要把他运行起来，那么开始这场针对 FaceBOOK派“全
fairseq笔记
koala_cola的博客
01-13 3346
文章目录训练新模型数据预处理预处理脚本python的参数类型 训练新模型 以机器翻译为例子开始 数据预处理 Fairseq 包含多个翻译数据集的示例预处理脚本：IWSLT 2014（德语-英语）、WMT 2014（英语-法语）和 WMT 2014（英语-德语）。预处理和二值化 IWSLT 数据集： > cd examples/translation/ #把当前路径切换到翻译示例下 > bash prepare-iwslt14.sh #运行预处理脚本 > cd ../..
fairseq实现自定义数据的训练
不负韶华，加油！
10-20 2138
原数据： 预处理 TEXT=examples/translation/py_hz fairseq-preprocess --source-lang input --target-lang label --trainpref $TEXT/train --validpref $TEXT/valid --testpref $TEXT/test --destdir data-bin/py_hz_pre 训练模型 fairseq-train data-bin/py_hz_pre --.
fairseq
03-26
### Fairseq 使用教程及项目地址 Fairseq 是由 Facebook AI 研究团队开发的一个高性能序列到序列 (Seq2Seq) 学习框架，广泛应用于机器翻译、文本生成以及其他自然语言处理任务的研究与开发[^2]。 #### 1. 安装方式 Fairseq 提供两种主要的安装方法： - **pip 安装**: 用户可以通过 Python 的包管理工具 `pip` 来快速安装 Fairseq。这种方式适合希望快速上手而不关心底层实现细节的用户[^3]。 ```bash pip install fairseq ``` - **源码安装**: 如果需要自定义功能或者参与项目的开发工作，则推荐通过克隆仓库并编译的方式进行安装。此方法允许开发者修改代码以满足特定需求。 ```bash git clone https://github.com/pytorch/fairseq.git cd fairseq pip install --editable . ``` #### 2. 主要命令工具 Fairseq 配备了一系列强大的命令行工具来支持数据预处理、模型训练以及推理等功能: - **fairseq-preprocess**: 数据预处理工具，用于准备输入数据集以便后续训练过程使用。 - **fairseq-train**: 训练神经网络模型的核心脚本。 - **fairseq-generate**: 利用已训练好的模型生成目标语句或其他形式的结果。 - **fairseq-interactive**: 实现交互式的预测模式，方便调试和测试新样本。 - **fairseq-score**: 对齐两个文件中的句子并对它们评分。 - **fairseq-eval-lm**: 评估语言模型性能。 #### 3. GitHub 项目地址 以下是 Fairseq 和其更新版本 Fairseq2 的官方 GitHub 地址： - Fairseq: [https://gitcode.com/gh_mirrors/fa/fairseq](https://gitcode.com/gh_mirrors/fa/fairseq) - Fairseq2: [https://gitcode.com/gh_mirrors/fa/fairseq2](https://gitcode.com/gh_mirrors/fa/fairseq2)[^1] 这些链接提供了完整的文档说明和技术支持资源，帮助使用者更好地理解和应用该框架。 ```python import torch from fairseq import checkpoint_utils, distributed_utils, options, tasks, utils # 加载预训练模型 model_name_or_path = 'path/to/model' models, cfg, task = checkpoint_utils.load_model_ensemble_and_task([model_name_or_path]) # 设置设备为 GPU 或 CPU device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') for model in models: model.to(device) # 构建字典映射表 generator = task.build_generator(models, cfg.generation) ``` 以上是一个简单的例子展示如何加载 Fairseq 中保存下来的模型，并将其部署至指定硬件平台上运行推断操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值