使用Tensorflow实现文本分类

⚠申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址。 全文共计3077字，阅读大概需要3分钟
🌈更多学习内容， 欢迎👏关注👀【文末】我的个人微信公众号：不懂开发的程序猿
⏰个人网站：https://jerry-jy.co/

❗❗❗知识付费，🈲止白嫖，有需要请后台私信或【文末】个人微信公众号联系我

使用Tensorflow实现文本分类

实验目录

1.使用Tensorflow实现文本分类

实验过程

1.使用Tensorflow实现文本分类

知识点

1)卷积神经网络CNN
2)文本分类
3)神经网络

实验目的

1)掌握使用Tensorflow实现文本分类的方法。

实验内容

1)使用Tensorflow实现文本分类

实验环境

1)Oracle Linux 7.4
2)Python 3.6
3)Tensorflow 2.1
4)nltk 3.4
5)matplotlib 3.1

实验步骤

1)打开Jupyter，并新建Python工程

1.桌面空白处右键，点击Konsole打开一个终端
2.切换至/experiment/jupyter目录

cd experiment/jupyter

3.启动Jupyter，root用户下运行需加’–allow-root’

jupyter notebook --ip=127.0.0.1 --allow-root

4.依次点击右上角的“新建”，Python 3新建python工程

5.点击“未命名”，在弹出框中修改标题名，点击重命名确认

2)导入所需库

1.输入代码后，使用shift+enter执行，下同。
2.导入实验所需库

import csv
import tensorflow as tf
import numpy as np
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
from nltk.corpus import stopwords
import nltk 

3)加载停用词

1.使用nltk加载停用词

nltk.download('stopwords')
STOPWORDS = set(stopwords.words('english'))
print(STOPWORDS)

4)定义超参数

1.定义超参数

vocab_size = 5000
embedding_dim = 64
max_length = 200
trunc_type = 'post'
padding_type = 'post'
oov_tok = '<OOV>'
training_portion = 0.8

返回的张量比输入多一个轴，嵌入向量沿新的最后一个轴对齐。

5)导入数据

1.读取新闻文章和标签，同时删除停用词

articles = []
labels = []
 
with open("/root/experiment/datas/bbc-text.csv", 'r') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')
    ne