五种不同的微博评论数据获取方法

我们发现绿色框住的是第一个分页的，它是“count=10”没有max_id，二粉色框住的URL是有max_id的，不知道大家之前有没有印象，在我们预览(preview)界面中，我们是见到过max_id的，所以我们观察一下第一个分页的max_id。

上个文章讲到我们已经可以用文字的方式得到网页的信息(如果没看上一篇文章的可以先看一下)

本文介绍了如何通过Python脚本抓取微博评论数据。首先，通过F12开发者工具分析微博评论的请求，发现评论数据以JSON格式返回。接着，使用requests库发送GET请求，携带必要的headers和参数，获取评论数据。通过解析JSON，提取评论内容、用户ID、昵称、性别、地点和评论时间等信息。为了获取所有评论，文章还介绍了如何通过max_id参数实现分页请求，并计算总评论数以确定循环次数。最后，提到将数据写入CSV文件，并建议在请求中加入延时以防止IP被封。整个过程展示了从数据抓取到存储的完整流程。

电脑访问手机端微博_https://m.weibo.cn/_：打开一条微博_https://m.weibo.cn/detail/4907031376694279_：URL地址中的_49070__31376694279_就是需要爬取的微博ID：将ID填写到_main_下即可，也支持同时填写多个。

无需修改，上手即用！大幅度降低微博评论的爬取限制！基于微博API调用爬取！克服了在网页端爬取时，对于每条微博限制爬取200条左右的评论，并且在数据预处理方面，通过API调用也更简洁，对新手十分有利。

public List getWeiboList(String content) throws ClientProtocolException, IOException{ Document doc=Jsoup.parse(content); Elements sets=doc.getElementsByClass("c"); List list=new ArrayList(); Syste

工具：Rstudio，R(3.3.4)install.packages("devtools") library(devtools) devtools::install_github("sjhfx/rwda") library(RCurl) library(bitops) library(rjson) library(jiebaR) library(jiebaRD) library(wordcloud

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章。