云淡风轻_的博客

1 文本生成介绍本课是文本到文本的生成，机器翻译为例介绍整个的优化工作QPS：每秒处理句子的速度2 transformer性能瓶颈分析和优化self-attention的实现在pp中调用了20个左右的基本算子3 PaddleNLP机器翻译应用示例...

一、小样本学习FSL背景介绍1.1 定义Few-shot learning旨在通过少量样本学习泛化能力强的模型 怎么算少？每个类下仅有4/8/16个训练样本1.2 小样本学习为什么重要标准的监督机器学习中所需要的标注数据量是非常大的，一般都要成千上万的规模。但是对人类来说，人类是通过少量的样本学习的。专业知识才能标注，成本也非常高；冷启动：在没有用户数据的时候如何推荐，试探性的推荐然后根据反馈来进一步推荐；新药发现：需要做实验，需要专业性，成本高。如果能做到小样本学习..

一、PaddleNLP飞桨自然语言开发库：API可直接调用，丰富的模型库，产业级预置任务Taskflow二、PaddleNLP Taskflow2.1 目标和意义taskflow旨在提供开箱即用（一行代码就可以调用）的NLP预置任务能力，在中文场景上提供产业级的效果与极致的预测性能。2.2 taskflow架构如图，taskflow架构由三部分组成，设计了一个auto splitter的模块来支持任意长度文本输入不用担心文本截断；fast tokenizer模...

目录一、搜索场景中的技术难点二、技术选型与方案实施2.1 相关性的两个维度2.2 文本相关性2.3 词向量模型2.4bert不能用2.5选择了表示模型和交互模型2.6 sentencebert三、无监督数据使用&模型训练&优化&评估3.1 只有大规模无监督数据怎么办？3.2 PaddleNLP检索场景解决方案3.3 SimCSE四、模型优化4.1 模型性能优化4.2 模型层数12压缩到6层&动态图转静态图（训...