独热编码——文本数据

【说明】文章内容来《机器学习——基于sklearn》，用于学习记录。若有争议联系删除。

1、简介

        机器学习算法往往无法直接处理文本数据，需要把文本数据转换为数值型数据，独热编码就是一种解决方法。独热（one-hot）编码又称为一位有效编码。独热编码将文本中的单词编号，构建字典结构的词汇表。其中，key是单词，value是单词的索引。词汇表有n个单词，构成n个词向量。例如，某个单词在词汇序列中的位置为k，对应的词向量的第k个位置为1，其他位置都为0。独热编码保证了每一个取值只会使得一种状态处于激活态，也就是说多种状态中只有一个状态位为1，其他状态位都是0.

独热编码具有操作简单、容易理解的优势。但是独热编码完全割裂了词与词之间的联系；而且当数据量较大时，每个向量的长度过大，会占据大量内存。

2、独热编码的步骤

独热编码的步骤：

（1）确定要编码的对象。例如[“中国”,“美国”,“英国”,“中国”]。

（2）确定分类变量。例如，中国、美国、英国共3个类别。

（3）特征的整数编码。例如中国为0，美国为1，英国为2.

独热编码为

3、独热编码实现

（1）方法一：pandas的get_dummies方法，格式如下：

pandas.get_dummies(data, sparse = False)

【参数说明】

• data:数组类型为Series或DataFrame
• spare:是否是稀疏矩阵

示例：

import pandas as pd
s = pd.Series(list('abcd'))
print(s)
s1 = pd.get_dummies(s, sparse = True)
print(s1)

【运行结果】

（2）方法二：采用sklearn 的preprocessing模块

示例：

from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder()
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])
ans1 = enc.transform([[0,1,3]])
ans2 = enc.transform([[0,1,3]]).toarray()#toarray()方法返回一个Object数组,它就是Object不是其他类
print(ans1)
print(ans2)
#第一个特征（即为第一列）为[0,1,0,1],其中三类特征值[0,1],因此One-Hot Code可将[0,1]表示为:[10,01]
#第二个特征（即为第二列）为[0,1,2,0]，有三种值[0,1,2]：采用三个编码：[100,010,001]
#第三个特征[3,0,1,2]表示为[1000,0100,0010,0001]
#0作为第一特征编码为10，1作为第二特征编码为010,3作为第三特征编码为0001