利用朴素贝叶斯进行社交媒体洞察：推文数据处理与分析

### 利用朴素贝叶斯进行社交媒体洞察：推文数据处理与分析 在社交媒体数据挖掘中，对推文数据的处理和分析是一项重要任务。本文将详细介绍如何收集、分类推文数据，以及如何创建可复制的数据集。 #### 1. 推文数据收集与初步处理 在收集推文数据时，我们需要对返回的对象进行检查，确保其为实际的推文。因为Twitter返回的对象并非都是实际的推文，有些可能是删除推文的操作等。关键的判断依据是对象中是否包含“text”键。 运行收集脚本几分钟后，会有100条推文被添加到输出文件中。你可以多次运行该脚本以添加更多推文到数据集，但要注意，如果运行过快（即在Twitter获取新推文之前），输出文件中可能会出现重复推文。 #### 2. 数据集加载与分类 在收集到一组推文（即数据集）后，我们需要为其添加标签以进行分类。我们将在IPython Notebook中设置一个表单，以便手动输入标签。 我们存储的数据集接近JSON格式。JSON是一种数据格式，它对数据结构的要求不高，并且可以直接在JavaScript中读取。如果数据集包含非数值数据，JSON是一种很好的存储格式；但如果数据集完全是数值型的，使用基于矩阵的格式（如NumPy）可以节省空间和时间。 我们的数据集与标准JSON的一个关键区别是，我们在推文之间添加了换行符，这样便于追加新的推文。要解析该数据集，我们可以使用`json`库，但需要先按换行符分割文件以获取实际的推文对象。 以下是设置IPython Notebook并定义数据集和标签文件名的代码： ```python import os input_filename = os.path.join(os.path.expanduser("~"), "Data", "twitter", "python_tweets.json") labels_filename = os.path.join(os.path.expanduser("~"), "Data", "twitter", "python_classes.json") ``` 接着，导入`json`库并加载推文： ```python import json tweets = [] with open(input_filename) as inf: for line in inf: if len(line.strip()) == 0: continue tweets.append(json.loads(line)) ``` 我们的目标是对推文进行分类，判断其是否与Python编程语言相关。为了实现这一目标，我们将利用IPython Notebook嵌入HTML和在JavaScript与Python之间交互的能力，创建一个推文查看器，方便快速对推文进行分类。 首先，创建一个列表来存储标签，并检查是否已有标签，如果有则加载： ```python labels = [] if os.path.exists(labels_filename): with open(labels_filename) as inf: labels = json.load(inf) ``` 然后，定义一个函数来获取下一条需要标记的推文： ```python def get_next_tweet(): return tweet_sample[len(labels)]['text'] ``` 由于在IPython Notebook中仅使用纯Python难以获得交互式反馈，我们将使用JavaScript和HTML来获取用户输入。 以下是在IPython Notebook中定义的JavaScript函数： ```javascript %%javascript function set_label(label){ var kernel = IPython.notebook.kernel; kernel.execute("labels.append(" + label + ")"); load_next_tweet(); } function load_next_tweet(){ var code_input = "get_next_tweet()"; var kernel = IPython.notebook.kernel; var callbacks = { 'iopub' : {'output' : handle_output}}; kernel.execute(code_input, callbacks, {silent:false}); } function handle_output(out){ var res = out.content.data["text/plain"]; $("div#tweet_text").html(res); } ``` 接下来，使用`%%html`魔法函数嵌入HTML表单： ```html %%html <div name="tweetbox"> Instructions: Click in textbox. Enter a 1 if the tweet is relevant, enter 0 otherwise.<br> Tweet: <div id="tweet_text" value="text"></div><br> <input type=text id="capture"></input><br> </div> ``` 再添加JavaScript代码来捕获按键事件： ```html <script> $("input#capture").keypress(function(e) { if(e.which == 48) { set_label(0); $("input#capture").val(""); }else if (e.which == 49){ set_label(1); $("input#capture").val(""); } }); load_next_tweet(); </script> ``` 运行上