codeslogan

意味着传递了fpDevice_A指针的指针，那么就可以接收cudaMalloc函数为fpDevice_A所分配的在GPU中的内存空间的首地址。由于是指针的指针，因此在强转时，使用的是。首先在使用上，cudaMalloc要求所需分配内存的变量以参数方式进行传递；malloc为fpHost_A分配内存空间，返回的数据类型是。，那么只能达到修改float类型变量的目的；，意味着取fpDevice_A地址的地址。，代表所分配内存空间的首地址。如果在此处仅仅只传递。

Doccano是一款开源的数据标注工具，在本地或服务器上安装运行之后，可直接在web上访问，导入数据进行标注。我们选用其作为图谱问答数据nlu.yml的标注工作。但是从数据标注，再到完整的nlu.yml文件，需要经过一系列的转换过程，因此本文在这项工作上进行总结探索。

任何一个训练过程，首当其冲的是获取到每个任务阶段所需要的标注型数据，因此本文将对ChatGPT可能使用到的数据及其标注方法进行介绍。

改进了RNN的训练慢的缺点，利用self-attention机制实现并行计算。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。同时使用注意力机制更容易关注序列的全局特征，解决了RNN不善处理长距离依赖的问题

有向图模型，主要用于时序数据建模，在语音识别，自然语言处理等领域，以及在知识图谱命名实体识别中的序列标注，有广泛应用。

“上面的多项式特征是根据它们与目标数据的匹配程度来选择的。考虑这个问题的另一种方法是，一旦我们创建了新特性，我们仍然在使用线性回归。鉴于此，最好的特征将是相对于目标的线性。这可以通过一个例子来更好地理解。”——吴恩达简单理解，就是对X进行处理，使X与Y呈现的函数是线性的。如上图所示，对X所做的特征中，X2X^2X2与Y呈线性关系，最符合对X进行特征工程的目的，可以称为一个好的特征工程。

大多数人在训练模型时遇到训练卡住，无法继续往下进行时，会把它归结为梯度下降过小，已经进入。其实不然，如果在这个时间去计算其梯度会发现，梯度远没有到达足够小的情况。那么是什么样的原因导致了训练无法继续下去呢？本文将揭示可能影响到训练的另一个因素——学习率(learning rate)

接着上一篇的CNN，本篇继续学习深度学习中另一个非常重要的模型RNN。如果说卷积神经网络可以有效地处理空间信息， 那么本篇的循环神经网络（recurrent neural network，RNN）则可以更好地处理序列信息。循环神经网络通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。（过去信息+当前输入=当前输出）........................

本文记录了在跟随李沐老师的动手学深度学习课程中，CNN部分的要点。

随着层次的增加，计算梯度时会导致多次矩阵乘法。原因：每个层输出的值太大，累加导致爆炸。即dropout，解决模型过拟合问题。两者来自于神经网络的层次。

几次面试下来，优化算法被问到的频率非常的高，所以在这里简单记录一个常见优化算法的特点。因自己对AI领域的了解还不是很深，只能浅浅地记录一下。

文章目录题目归属及框架前言概述动机贡献KV组件Local closed world assumption(LCWA)抽取器(Extractors)抽取方法Text documents(TXT)HTML trees (DOM)HTML tables (TBL)Human Annotated pages(ANO)抽取器比较抽取器结果合并基于图的先验概念计算(Priors)路径排序算法Neural network model (MLP)Extractors + Priors思考总结题目归属及框架前言谷

文章目录1. 前驱知识transE2. 高斯分布3. 结论性概念4. KG2E5. Qualitative Analysis6. Link Prediction损失函数结论Metrichit@10mean rank7. Triplet Classificationevaluation protocolimplementresult参考资料1. 前驱知识transETransE [4] represents a relation as a vector r indicating the semanti

一次epoch代表利用所有分好的batches进行训练，每个batch内的计算是基于平行计算，因此，如果batch分的小，那么计算次数就多，计算速度就慢；在没有平行计算时，小的batch自然比大的batch计算的要快，这就好比计算10道数学题和计算100道数学题之间的区别。有平行计算时，由于batch中的资料是同时开始计算，所花费的时间等同于计算1道数学题的时间。《统计学习方法》李航著，第2版，北京：清华大学出版社，2019。在梯度为0的情况下，计算L()，以此判断鞍点与局部最小。