- 博客(99)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 数据挖掘比赛预备知识
查看特征的数值类型有哪些，对象类型有哪些：特征一般都是由类别型特征和数值型特征组成，而数值型特征又分为连续型和离散型。 类别型特征有时具有非数值关系，有时也具有数值关系。比如‘grade’中的等级A，B，C等，是否只是单纯的分类，还是A优于其他要结合业务判断。 数值型特征本是可以直接入模的，但往往风控人员要对其做分箱，转化为WOE编码进而做标准评分卡等操作。从模型效果上来看，特征分箱主要是为了降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定。num
2020-11-03 23:56:47
2545
2
原创 GAN及其相关模型训练细节总结
前言：GANs虐我千百遍，我待GANs如初恋；前段时间使用infoGAN在做实验，碰到了许多莫名其妙的问题，可见，复现了一个模型能不能train一个好的结果还是另一回事。于是我从网上整理了一些关于生成模型训练的一些细节，我再重申一些，下面的内容大部分不是来自本人的原创，侵删！正文：1. 更大的kernel，更多的filter大的kernel能够覆盖更多的像素，也因此能够获得过多的信息。在CIFAR-10数据上，使用5*5的kernel能够得到很好的效果，而使用3*3的kernel会导..
2020-11-02 12:50:39
2838
原创 关于解决Tensorboard出现No dashboards are active for the current data set.问题
关于启动Tensorboard，在浏览器中打开可视化界面，会出现No dashboards are active for the current data set.错误，大概意思就是无法从事件文件中加载出任何数据。关于这个问题，网上所有的答案我总结一下，无非以下几点： 1. 路径含有中文： tensorboard --logdir=路径中含有中文可能会导致这个问题，解决方法也比较简单，将中文替换成英文。 2. 路径错误： tensorboard --logdir=路径，这个路径不
2020-10-28 21:35:37
66668
54
原创 Tensorflow中卷积网络与反卷积网络
前言:卷积（Convolution） 反卷积（Deconvolution）也有很多其他的叫法，比如：Transposed Convolution（转置卷积），Fractional Strided Convolution（微步卷积）等等。 卷积的实质：卷积的实质就是矩阵相乘，具体细节参照下图：反卷积和卷积的关系:下图表示的是参数为的反卷积操作，其对应的卷积操作参数为。我们可以发现对应的卷积和非卷积操作关系为，但是反卷积却多了。通过对比我们可以发现卷积层中左上角的输...
2020-09-22 09:49:32
682
原创 jupyter notebook使用心得
下列语句可以输出代码默认的保存路径：import osprint(os.path.abspath('.'))常用的快捷键是：Ctrl + Enter: 执行单元格代码Shift + Enter: 执行单元格代码并且移动到下一个单元格Alt + Enter: 执行单元格代码，新建并移动到下一个单元格文件默认存储路径怎么改？第一步：找到配置文件菜单中打开Anaconda Prompt输入命令jupyter notebook --generate-config根据上面.
2020-08-19 12:06:45
7793
原创 读论文笔记（ACGAN）
前言：这篇论文的全称为：《Conditional Image Synthesis with Auxiliary Classifier GANs》，基于辅助分类器GANs的条件图像合成，在很多时候，它和SGAN一样经常被人们称为半监督学习，因为会用到图片的类别标签；ACGAN同时结合了CGAN和SGAN的做法来提高图片的生成质量，即CGAN通过结合标签信息来提高生成数据的质量，SGAN通过重建标签信息来提高生成数据的质量。在我看来，（1）ACGAN的提出在很大程度上解决了GAN模型崩溃的问题，所谓GAN
2020-08-15 16:25:18
6800
原创 机器学习领域常用激活函数汇总
前言这篇博客简介了一些常见的激活函数，并简要总结了每个激活函数的缺点。部分常见激活函数一览图： sigmoid 表达式：导数：sigmoid激活函数图像如下：下面我们来看看sigmoid激活函数有哪些缺点：在饱和区域存在梯度缺失的问题。 sigmoid是一个非零中心的函数。 表达式较为复杂，计算复杂度高。这里详细介绍第二个缺点，我们知道在NN的训练过程中，正向传播得到损失值会和反向传播得到偏导数做积，以此获得下一次更新的梯度，而非..
2020-08-01 13:03:45
696
原创 Conditional Generative Adversarial Nets（CGAN）
前言：这篇博客为阅读论文后的总结与感受，方便日后翻阅、查缺补漏，侵删！论文：Conditional Generative Adversarial Nets参考：博客一、博客二解决的问题：介绍这个问题前，我们首先回顾GAN的优点与缺点：GAN 的优点：● GAN是一种生成式模型，相比较其他生成模型（玻尔兹曼机和GSNs）只用到了反向传播，而不需要复杂的马尔科夫链。● 相比其他所有模型，GAN可以产生更加清晰，真实的样本。● GAN采用的是一种无监督的学习方式训...
2020-07-20 13:08:17
2259
原创 InfoGAN（基于信息最大化生成对抗网的可解释表征学习）
前言：这篇博客为阅读论文后的总结与感受，方便日后翻阅、查缺补漏，侵删！论文：InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets解决的问题：InfoGAN，它是对生成性对抗网络（GAN）的一个信息论扩展，因此，它是对原有模型的改进。InfoGAN能够以完全无监督的方式学习分离的表示，我们知道在GAN提到，生成器（generato...
2020-07-18 22:55:17
3171
1
原创 零样本学习
前言这篇博客为阅读论文后的总结与感受，方便日后翻阅、查缺补漏，侵删！论文：零样本学习研究进展 零样本图像识别 零样本图像分类综述：十年进展概念：零样本学习 (Zero-shot learning).，零样本学习是迁移学习的一种特殊场景；在零样本学习过程中，训练类集和测试类集之间没有交集，需要通过训练类与测试类之间的知识迁移来完成学习，使在训练类上训练得 到的模型能够成功识别测试类输入样例的类标签。更一般来说，零样本学习如果模型在训练过程中，只使用训练类的样本进行训练,，且在测..
2020-07-15 10:08:48
12222
1
原创 VAE中重参数化技巧
谈起重参数化技巧，不得不提变分自编码器(VAE)；在VAE中，我们知道需要对编码器的输出、进行采样，从而可以将采样输入到编码器网络，能够得到输入样本的重构，以这种方式对模型进行训练。而VAE并没有这么做，而是采取了另一种做法：从高斯分布中采样，然后和训练样本训练得到的和，做运算的结果输入到解码器网络（点乘符号表示每个元素位置上的相乘），便能得到我们样本x的重构，这让我很困惑很久。下面开始介绍重参数化技巧，以两种情况： 概率分布： 直接从边缘概率分布中采样，即给定一个随机变量y，并且，这里我们用表示
2020-07-12 17:13:11
17876
2
原创 梯度下降算法综述
目录：简介梯度下降算法。 介绍梯度下降算法的不同变体。 总结在优化过程面临的一些挑战。 介绍最常见的优化算法。 介绍并行和分布式环境中梯度下降算法。 关于随机梯度优化算法的一些额外策略。简介梯度下降算法：梯度下降法是最常用的优化算法之一，也是迄今为止优化神经网络最常用的方法之一。同时，每个最先进的深度学习库都包含各种优化梯度下降算法的实现。然而，这些算法通常被称作黑盒优化器，因为很难找到对其优缺点的实际解释。本文旨在为读者提供有关优化梯度下降的不同算法的区别与联系，使得它更好的为我们所用
2020-07-11 19:32:58
1469
原创 泰勒展开式推导梯度下降
关于梯度下降的公式可能大家耳熟能详，沿着梯度的反方向一步一步的移动，总能到达我们想要的最优点；可是为什么可以这样做呢？开始我的答案无非就是“梯度的反方向就是损失值下降最快的方向”，最近看了李宏毅老师的梯度下降算法发现别有洞天，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。推导梯度下降之前开始引入一个Feature scaling(特征缩放):假设我们要优化的目标函数为：，当的变化以1,2，.....这样比较小幅度的变化，而以100,200，.....比较大幅度的变化，因此与对.
2020-07-10 15:55:43
1914
原创 马尔可夫链蒙特卡洛采样(MCMC)
首先我们要明确的是马尔可夫链蒙特卡洛采样以下简称MCMC，它首先是个采样方法。1.采样的目的采样作为任务，用于生成新的样本 求和/求积分比如我们知道样本z的后验分布p(z|x),我们经常会有一个需求，得到目标函数f(x)在概率分布上的期望，通常这个期望是很难计算的，我们可以根据p(z|x)采用N个样本，分别为,当N足够大我们便可以得到该期望值。如下式：也就是说，从概率分布中取点，从而近似计算这个积分。采样结束后，我们需要评价采样出来的样本点是不是好的样本集：样本趋向于高概率的区.
2020-06-24 00:07:11
4120
原创 如何感性地理解EM算法？
如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，远比看懂它的数学推导重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已。打个比方，一个梨很甜，用数学的语言可以表述为糖分含量90%，但只有亲自咬一口，你才能真正感觉到这个梨有多甜，也才能真正理解数学上的90%的糖分究竟是怎么样的。如果EM是个梨，本文的目的就是带领大家咬一口。首先，这个博客的内容不是我原创的，我在简书看见的写的.
2020-05-09 23:29:06
226
原创 SVD（奇异值分解）
https://www.cnblogs.com/endlesscoding/p/10033527.html#3135397303
2020-03-24 17:54:19
370
原创 AndroidStudio中出现2个依赖中存在依赖的版本不一致的解决办法
第一个方法排除掉冲突的其中一个版本即可。因为 support 库一般要保持统一版本，所以我选择排除其他库的冲突版本。androidTestImplementation ('com.android.support.test:runner:1.0.2'){ exclude group: 'com.android.support' } androidTestImplemen...
2019-07-24 16:29:20
5950
1
原创 关于implementation ‘com.android.support:appcompat-v7:28.0.0-alpha运行报错
今天导入了一个module，并且让项目关联了这个module,发现运行工程的时候死活运行不起来，最后发现运行的报了一个Android dependency 'com.android.support:support-core-ui' has different version for the compile (28.0.0-alpha1) and runtime (28.0.0) classpa...
2019-01-07 15:37:02
13494
1
原创 关于解决Can‘t run remote python interpreter: Couldn‘t obtain remote socket from output
这是由于容器中，当登录shell时，会输出一些提示信息（To avoid this, run the container by specifying your user’s userid），只需将这些提示信息的输出关闭即可。更改/etc/bash.bashrc文件，将其中的echo语句全部删除。解决···················
2023-05-31 12:01:11
415
原创 科大讯飞---温室温度预测挑战赛
一、赛题介绍：时间序列问题比赛网址数据集： 初赛 训练集：2019年3月14日---->2019年4月3日，每分钟一条数据，接近半个月的数据。测试集：后10天的数据，每30分钟一条数据。数据预处理：1.训练集中label缺失的样本去掉。2.训练集中其他特征缺失比例比较小，且相邻2个样本关联程度比较高，因此直接选择线性填充。3.异常值截断（假设数据服从正态分布，使用3σ法则进行截断，可用前后均值替换）upper = data_df...
2021-09-26 21:16:54
1118
1
原创 Leetcode--------贪心
455. 分发饼干假设你是一位很棒的家长，想要给你的孩子们一些小饼干。但是，每个孩子最多只能给一块饼干。对每个孩子i，都有一个胃口值g[i]，这是能让孩子们满足胃口的饼干的最小尺寸；并且每块饼干j，都有一个尺寸s[j]。如果s[j]>= g[i]，我们可以将这个饼干j分配给孩子i，这个孩子会得到满足。你的目标是尽可能满足越多数量的孩子，并输出这个最大数值。示例1:输入: g = [1,2,3], s = [1,1]输出: 1解释: 你有三个孩子和两...
2021-08-25 22:23:31
476
原创 Tensorflow2.0实现自编码器AE
关于自编码器的结构，我都不介绍了，比较简单，框架结构如下：代码：import tensorflow as tfimport tensorflow.keras.datasets.mnist as minstimport matplotlib.pyplot as pltimport pandas as pdimport numpy as npfrom tensorflow.keras import layersfrom tensorflow.keras.models import..
2021-08-07 10:03:18
933
1
原创 Leetcode--------回溯法
回溯法模板：回溯三部曲：回溯函数模板返回值以及参数，习惯是函数起名字为backtracking 回溯函数终止条件if (终止条件) { 存放结果; return;}回溯搜索的遍历过程总结：void backtracking(参数) { if (终止条件) { 存放结果; return; } for (选择：本层集合中元素（树中节点孩子的数量就是集合的大小）) { 处理节点;
2021-08-05 18:01:10
444
原创 Leetcode--------二叉树Part2
226. 翻转二叉树翻转一棵二叉树。示例：输入： 4 / \ 2 7 / \ / \1 3 6 9输出： 4 / \ 7 2 / \ / \9 6 3 1代码：class Solution: def invertTree(self, root: TreeNode) -> TreeNode: """ 采用递归的方法
2021-08-01 10:09:43
171
原创 Leetcode--------二叉树Part1
二叉树的定义：class TreeNode: def __init__(self, value): self.value = value self.left = None self.right = None144. 二叉树的前序遍历代码：# Definition for a binary tree node.# class TreeNode:# def __init__(self, val=0, left=None,
2021-07-30 17:42:07
222
原创 Leetcode--------字符串
344. 反转字符串编写一个函数，其作用是将输入的字符串反转过来。输入字符串以字符数组 char[] 的形式给出。不要给另外的数组分配额外的空间，你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。你可以假设数组中的所有字符都是 ASCII 码表中的可打印字符。示例 1：输入：["h","e","l","l","o"]输出：["o","l","l","e","h"]示例 2：输入：["H","a","n","n","a","h"]输出：["h","a",
2021-07-27 18:15:42
189
原创 大数据时代的Serverless工作负载预测比赛的Top方案研究
首先给出比赛 Link一：异常值、空值的处理训练集中RESOURCE/DISK_USAGE字段在靠前部分存在大量空值。通过可视化可知，该部分采样时间间隔与后面明显不一致，且CPU使用率均为0。猜测该部分空值对应的时间为系统初始化状态，可以直接进行删除而不造成正常工作状态信息丢失。通过可视化可知，两个任务目标的训练集测试集分布存在明显差异（为了方便观察使用了kde进行拟合），特别是JOB在训练集和测试集中分布差异极大，训练集中最大值为140测试集则为200。后期直接采用规则预测的方.
2021-07-22 20:54:05
582
1
原创 Leetcode27. 移除元素
给你一个数组 nums和一个值 val，你需要 原地 移除所有数值等于val的元素，并返回移除后数组的新长度。不要使用额外的数组空间，你必须仅使用 O(1) 额外空间并 原地 修改输入数组。元素的顺序可以改变。你不需要考虑数组中超出新长度后面的元素。示例 1：输入：nums = [3,2,2,3], val = 3输出：2, nums = [2,2]解释：函数应该返回新的长度 2, 并且 nums 中的前两个元素均为 2。你不需要考虑数组中超出新长度后面的元素。例如，函数...
2021-07-18 15:00:58
118
原创 Leetcode--------哈希表
代码：class Solution: def isAnagram(self, s: str, t: str) -> bool: record = [0]*26 for word_one in s: #获取一个字母的相对于字符"a"的ascii码 record[ord(word_one)-ord("a")] += 1 for word_two in t: #同理 ..
2021-07-13 16:45:21
184
原创 Leetcode142. 环形链表 II
给定一个链表，返回链表开始入环的第一个节点。如果链表无环，则返回null。为了表示给定链表中的环，我们使用整数 pos 来表示链表尾连接到链表中的位置（索引从 0 开始）。 如果 pos 是 -1，则在该链表中没有环。注意，pos 仅仅是用于标识环的情况，并不会作为参数传递到函数中。说明：不允许修改给定的链表。进阶：你是否可以使用O(1)空间解决此题？示例 1：输入：head = [3,2,0,-4], pos = 1输出：返回索引为 1 的链表节点...
2021-07-07 14:36:59
144
原创 Leetcode面试题 02.07. 链表相交
给定两个（单向）链表，判定它们是否相交并返回交点。请注意相交的定义基于节点的引用，而不是基于节点的值。换句话说，如果一个链表的第k个节点与另一个链表的第j个节点是同一节点（引用完全相同），则这两个链表相交。示例 1：输入：intersectVal = 8, listA = [4,1,8,4,5], listB = [5,0,1,8,4,5], skipA = 2, skipB = 3输出：Reference of the node with value = 8输入解释：相交节点的值为..
2021-07-07 13:40:55
219
2
原创 Leetcode19. 删除链表的倒数第N个节点
给你一个链表，删除链表的倒数第n个结点，并且返回链表的头结点。进阶：你能尝试使用一趟扫描实现吗？输入：head = [1,2,3,4,5], n = 2输出：[1,2,3,5]示例 2：输入：head = [1], n = 1输出：[]示例 3：输入：head = [1,2], n = 1输出：[1]提示：链表中结点的数目为 sz1 <= sz <= 300 <= Node.val <= 1001 <=...
2021-07-06 09:58:00
162
原创 Leetcode24. 两两交换链表中的节点
给定一个链表，两两交换其中相邻的节点，并返回交换后的链表。你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。输入：head = [1,2,3,4]输出：[2,1,4,3]示例 2：输入：head = []输出：[]示例 3：输入：head = [1]输出：[1]解决方法：定义2个指针（头指针front,尾指针tail），这2个指针进行节点的互换，循环时，若尾部指针还能向后移动2个位置，就一直交换下去。还要定义一个临时指针，若前面进.
2021-07-05 21:37:08
206
1
原创 Leetcode206. 反转链表
给你单链表的头节点head，请你反转链表，并返回反转后的链表。输入：head = [1,2,3,4,5]输出：[5,4,3,2,1]解法:代码：# Definition for singly-linked list.# class ListNode:# def __init__(self, val=0, next=None):# self.val = val# self.next = nextclass Solution...
2021-07-04 19:52:58
161
原创 Leetcode707. 设计链表
设计链表的实现。您可以选择使用单链表或双链表。单链表中的节点应该具有两个属性：val和next。val是当前节点的值，next是指向下一个节点的指针/引用。如果要使用双向链表，则还需要一个属性prev以指示链表中的上一个节点。假设链表中的所有节点都是 0-index 的。在链表类中实现这些功能：get(index)：获取链表中第index个节点的值。如果索引无效，则返回-1。 addAtHead(val)：在链表的第一个元素之前添加一个值为val的节点。插入后，新节点将成...
2021-07-04 19:29:23
149
原创 Leetcode203. 移除链表元素
给你一个链表的头节点head和一个整数val，请你删除链表中所有满足Node.val == val的节点，并返回新的头节点。输入：head = [1,2,6,3,4,5,6], val = 6输出：[1,2,3,4,5]输入：head = [], val = 1输出：[]# Definition for singly-linked list.# class ListNode:# def __init__(self, val=0, next=...
2021-07-04 15:50:09
232
原创 Tensorflow2.0中数据增强及训练过程中数据增强
数据增强：它是正则化的一种形式，使我们的网络可以更好地将其推广到我们的测试/验证集。ImageDataGenerator工作原理：ImageDataGenerator接受原始数据，对其进行随机转换，并仅返回转换后的新数据。接受一批用于训练的图像；进行此批处理并对批处理中的每个图像应用一系列随机变换（包括随机旋转，调整大小，剪切等）；用新的，随机转换的批次替换原始批次；在此随机转换的批次上训练CNN（即原始数据本身不用于训练）。1）对图片进行数据增强，并将其结果保存到文件夹中：""
2021-05-19 11:15:21
2591
原创 Tensorflow2.0中动态调整学习率
自定义学习率变化函数 ""一： 定义学习率和epoch的关系""# Learning Rate Scheduledef lr_schedule(epoch): lr = 1e-3 if epoch > 180: lr *= 0.5e-3 elif epoch > 160: lr *= 1e-3 elif epoch > 120: lr *= 1e-2 elif epoch > 8..
2021-05-19 10:37:05
4242
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人