
深度学习
AI_Frank
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
NER任务的精确评估指标P、R、F1
直接用一个实例来看几个参数具体的含义:sentence : The Hospital said it would probably know by Tuesday whether its patients had Congo Fever .gold_tag:b-AGENT e-AGENTo ob-DSE m-DSE e-DSEo ob-TARGET m-TARGET m- TARGET m-TARGET m-TARGETe-TARGETopredict_tag: o e-AGENT b...转载 2020-11-23 11:10:49 · 5870 阅读 · 3 评论 -
tf.contrib.crf.crf_log_likelihood()函数详解
1、tf.contrib.crf.crf_log_likelihoodcrf_log_likelihood(inputs,tag_indices,sequence_lengths,transition_params=None)在一个条件随机场里面计算标签序列的log-likelihood参数:inputs: 一个形状为[batch_size, max_seq_len, num_tags] 的tensor,一般使用BILSTM处理之后输出转换为他要求的形状作为CRF层的输入. tag_indices转载 2020-10-19 20:58:22 · 2016 阅读 · 1 评论 -
GPU【学生党】计算平台推荐
MistGPU智星云极链AI云平台矩池云BitaHub极客云个人最近使用的是MistGPU这个平台,按分钟计费,价格也还可以,主要是数据可以在关机后保存七天,(如果不想数据丢失,就7天内再次开下机,期限就会刷新为7天)缺点:可能会时间冲突,只要能开机就是自己一个人在使用这台机器,但是如果别人在用,你会开不了机,系统会在机器空闲时发短信提醒你,我觉得这个缺点可以接受,还有就是实在着急可以找客服换机器,他会帮你迁移数据,客服回复很及时)可以选择需要的环境,一般tf大家可能需要1.x和2.x的,原创 2020-10-15 13:41:38 · 1539 阅读 · 0 评论 -
[E050] Can‘t find model ‘en_core_web_md‘. It doesn‘t seem to be a shortcut link, a Python package
在使用spacy加载模型报错,如下所示:import spacyspacy.load("en_core_web_sm")OSError: [E050] Can't find model 'en_core_web_sm'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory.使用python3 -m spacy download en_core_web_sm依旧无法下原创 2020-10-14 14:23:12 · 2200 阅读 · 0 评论 -
pytorch-pretrained-bert的模型下载慢
第一步,先安装模型框架pip install pytorch-pretrained-bert第二步,一般如果调用BertModel等模型的时候,需要下载相应的预先训练模型,下载后的文件存放在cache文件夹:~/.pytorch_pretrained_bert/,但是往往服务器的速度受限,会下载很慢,因此我们可以直接下载下来,再放到指定位置去model = BertModel.from_pretrained('../temp/bert-base-uncased', cache_dir=temp_di原创 2020-10-09 19:17:26 · 1511 阅读 · 2 评论 -
error -- unsupported GNU version! gcc versions later than 5 are not supported!
报错如下:这个问题是gcc版本与cuda不兼容的问题,可以通过以下方式解决,我这里用的是cuda-8.0先安装gcc-5,g++-5sudo apt install gcc-5 g++-5然后删除之前的软链接,建立新的sudo rm /usr/local/cuda-8.0/bin/gccsudo rm /usr/local/cuda-8.0/bin/g++sudo ln -s /usr/bin/gcc-5 /usr/local/cuda-8.0/bin/gccsudo原创 2020-08-17 15:56:45 · 1728 阅读 · 0 评论 -
ERROR (theano.sandbox.cuda): ERROR: Not using GPU. Initialisation of device 3 failed: Bad device num
这个错误一般是GPU的数目设置出现问题,我的代码如下所示:THEANO_FLAGS=device=gpu3,floatX=float32,lib.cnmem=0.8错误如下:因为我的机器只有一个显卡,而我程序中写的是3,因此出现了这个错误,可以更改为cuda0如下:...原创 2020-08-17 15:48:44 · 329 阅读 · 0 评论 -
Ubuntu16.04的CUDA10.0安装及多个版本CUDA切换
一、官网查找指定版本并安装CUDA官网地址我这里选择的CUDA10.0,选择的runfile[local]下载下来进行安装1.先使用下面的命令安装相关依赖sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev2.开始安装使用如下指令:sudo sh cuda_10.0.13原创 2020-07-29 17:22:53 · 2554 阅读 · 1 评论 -
Ubuntu16.04安装tensorflow-GPU记录
1.创建conda环境conda create -n tf-GPU python==3.72.激活环境conda activate tf-GPU3.安装tensorflow1.首先检查自己的cuda和cudnn的版本号,然后在官网进行对比,找到自己的版本tensoerflow官网对应版本使用下面的命令可以看到自己的版本号cat /usr/local/cuda/version.txtcat /usr/local/cuda/include/cudnn.h | grep原创 2020-07-29 14:34:55 · 284 阅读 · 0 评论 -
解决运行出现CUDA error:out of memory的问题
模型运行出现以下问题,经过查找资料发现解决方案如下:CUDA_VISIBLE_DEVICES限制一下使用的GPU。比如有0,1,2,3号GPU,CUDA_VISIBLE_DEVICES=2,3,则当前进程的可见GPU只有物理上的2、3号GPU,此时它们的编号也对应变成了0、1,即cuda:0对应2号GPU,cuda:1对应3号GPU。如何设置CUDA_VISIBLE_DEVICES:① 使用python的os模块import osos.environ[‘CUDA_VISIBLE_DEVICES原创 2020-07-04 14:28:15 · 39890 阅读 · 2 评论 -
解决pytorch-pretrained-bert模型下载极慢的问题
最近需要跑一些模型,都需要用到pytorch-pretrained-bert来进行预处理训练,但是服务器上面下载或者没有外网的情况下真的很慢,最后还会失败,经过搜寻资料,解决方式如下:如果你有外网,可以直接下载安装pip install pytorch-pretrained-bert但大多数情况下这个都用不了,所以接下来就是解决方法了如果调用BertModel等模型的时候,需要下载相应的预先训练模型,下载后的文件存放在cache文件夹:~/.pytorch_pretrained_bert/但是这转载 2020-07-04 14:11:22 · 3954 阅读 · 0 评论 -
jupyter线上平台
1.https://colab.research.google.com/2.https://mybinder.org/3.https://www.floydhub.com/4 https://tianchi.aliyun.com/5 https://momodel.cn/6 https://www.huaweicloud.com/product/modelarts.html原创 2020-05-24 19:56:14 · 2095 阅读 · 0 评论 -
LSTM做预测遇到的错误总结
一个是shape()、reshape()函数的问题,经常会有:ValueError:cannot reshape array of size 220110 into <870,7,36>这其实是对这两个函数的理解问题,文档里说的比较不好理解,通俗一点就是shape(a,b,c)、reshape(a,b,c)其实就是reshape(样本多少个,每个样本中有几组变量的个数,每个...转载 2020-01-14 20:22:19 · 4846 阅读 · 4 评论