用八爪鱼爬取微博热门评论

最新推荐文章于 2025-06-13 14:26:26 发布
最新推荐文章于 2025-06-13 14:26:26 发布
阅读量4.1k 收藏 6
点赞数
CC 4.0 BY-SA版权
文章标签： 爬虫 数据库 python
原文链接：http://www.cnblogs.com/zhonghuasong/p/5975971.html
本文介绍了如何使用八爪鱼爬虫工具抓取微博热门评论。通过设置爬虫任务，包括取消“在新标签中打开页面”的选项，配置Ajax加载超时等，以应对Ajax请求。在完成爬取后，可以通过导出功能将数据保存为Text、Html、Excel或数据库格式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

关于八爪鱼

八爪鱼, 是一款简单易操作的爬虫工具。当然这种工具也有一定的局限性，可定制性肯定没有用一些爬虫框架(scrapy等)好(毕竟代码是自己写的，哈哈)。

使用八爪鱼

最近，使用八爪鱼爬取了一些微博的热门评论。当然，使用新浪微博API也是可以的。但是，自己为了快嘛，也想了解一下这个工具。
八爪鱼软件中基本爬取工作都有教程的。下面，我就以爬取微博热门评论，讲解一下，足以应付八爪鱼的基本使用了。

安装

八爪鱼目前只有Windows版本，没有Mac版本，所以我在虚拟机中装了一个八爪鱼。
八爪鱼下载， 下载安装无脑下一步就好了。
登陆的时候需要提前注册账号，然后用注册号的账号登录即可。

爬虫任务配置

  1. 创建任务（高级模式）
    爬取页面
  2. 设置基本信息
  3. 设置工作流程（主要参考教程）
    整个任务配置
    点击元素设置
最低0.47元/天 解锁文章

200万优质内容无限畅学
【微博】评论采集
网页爬虫与数据采集 · 八爪鱼
11-19 7332
采集场景 在微博主页（https://weibo.com/）登录后，打开微博博文链接，采集博文链接的评论数据。实例网址：https://weibo.com/1977661791/I7PgktlCh 。 采集字段 博主用户名、发布时间、博文、分享数、评论数、点赞数、评论、评论用户名、评论时间。 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例： 教程说明 本篇更新时间：2020/05/18 八爪鱼版本：V8.1.12 如果因网页改版造成网址或步骤无效，无法
requests案例——爬取微博的一级和二级评论
qq_53256193的博客
10-11 1717
一级评论接口:https://m.weibo.cn/comments/hotflow?二级评论接口:https://m.weibo.cn/comments/hotFlowChild?max_id: 13883307764046392 #翻页参数---从第二页开始 (在上一页一级评论接口可以找到)max_id: 0 #二级翻页参数(在上一页评论接口中可以找到)print('-------二级评论-------')
第九讲 数据采集：用八爪鱼采集微博评论
qq_43466427的博客
01-07 1万+
这是专栏里的总结图，这一讲主要是对“八爪鱼”这个数据采集器进行了简要介绍，包括设计流程以及应用案例。 练习：通过八爪鱼抓取豆瓣网上关于《海王》的评论。 （1）输入网页：https://movie.douban.com/ （2）输入关键词 （3）点击搜索 （4）设置循环翻页（必须先设置循环条件） （5）选择提取元素 选择单条内容的最大选择区域，点击选中子元素—选中全部 （6）启动采集 数据量...
八爪鱼采集器：快速抓取评论数据教程(微博)
最新发布
xiyv666的博客
06-13 911
摘要：需要数据集研究语言及网络用语、网络暴力等数据集采集模板导入及配置
八爪鱼-01微博评论
m0_62785037的博客
05-03 1873
八爪鱼是一款网络数据采集工具，它可以帮助用户从网页上采集所需的信息。以上举例为微博评论采集方面。
09丨数据采集：如何用八爪鱼采集微博上的“D&G”评论
修罗神的海岛
06-20 6208
八爪鱼的基本操作在开始操作前，我先来介绍下今天要讲的主角“八爪鱼”工具。相比使用 Python 进行爬虫，八爪鱼的使用更加简便，因为是所见即所得的方式，基本上不需要编写代码，除了在正则表达式匹配的时候会用到 XPath。这里简单介绍下 XPath，XPath 的英文是 XML Path Language，也就是 XML 的路径语言，用来在 XML 文件中寻找我们想要的元素。所以八爪鱼可以使用 XPath 帮我们更灵活地定位我们想要找的元素。自定义任务 VS 简易采集如果你想要采集数据就需要新建一个任务，在建
微博评论数据爬取以及分析
热门推荐
网页爬虫与数据采集 · 八爪鱼
09-06 2万+
#不许你没看过の系列！# 吹爆最近的国漫《哪吒之魔童降世》 从故事情节、角色设计到特效处理 都非常牛！！！ #连海报都好好看啊# 上映首周票房已经达到14.1亿！ 打破国漫票房记录！ 豆瓣评分达到8.6分！ 14亿票房背后，到底是谁成为《哪吒》票房主力军呢？ 今天小编用八爪鱼数据采集爬取4794条《哪吒之魔童降...
八爪鱼采集器爬取微博评论
01-05
### 使用八爪鱼采集器爬取微博评论数据 #### 工具准备 为了成功抓取微博评论数据，需准备好八爪鱼采集器这一工具。此工具能够简化网页数据提取过程并提供可视化界面来配置采集逻辑[^1]。 #### 配置流程概述 在...
Python微博动态爬虫
m0_74823388的博客
12-27 1789
本文是刘金路的《整个过程十分明了，就是用户利用代码模拟Ajax请求，发送给服务器，服务器再处理该请求，返回相应的数据，最后在页面进行渲染。本文所使用的第三方库有requests、openpyxl，请先自行安装。偷懒的读者可以直接跳到第七章，直接复制代码运行。效果图。
利用八爪鱼爬取关键词搜索的微博数据
清洄KAKA的博客
03-17 7503
微博有些内容比较长会被折叠，爬取的时候需要自动点击展开这一元素，但是展开元素所对应的位置是不一样的，有的一个div组件里有一个链接，有的有0，2，3个话题或超话会干扰，所以我们需要用到xpath来正则匹配。
八爪鱼爬取热点的一些信息---新浪
cainiao2013的博客
01-25 2862
使用工具：八爪鱼 实现目标：在新浪微博搜索页面输入关键字，爬取博主的一些信息，博主博文链接，博主名，发博时间，来自终端，博文内容，点赞数，评论数，评论者，评论内容，评论时间，评论点赞数，博主详细信息。 提样效果：八爪鱼生成的表格有较多冗余数据，跳过了登录与验证码处理。 目前为止，生成的数据有点乱，需要二次处理。
600+条新冠疫情评论自制数据集（情感分析实验）.csv
03-13
个人使用八爪鱼爬取的微博评论内容，来自2021年1月6日的一条微博，仅分享给大家做科研使用
获取新浪微博内容和评论
dfds的专栏
09-24 1789
public List getWeiboList(String content) throws ClientProtocolException, IOException{ Document doc=Jsoup.parse(content); Elements sets=doc.getElementsByClass("c"); List list=new ArrayList(); Syste
爬虫实战：爬取微博明星的某一条动态的粉丝评论
weixin_39848830的博客
02-27 3276
2018/2/27，这是我的第一篇博客，写的目的很单纯，就是记录自己学习过程中遇到的问题以及解决方法。初次学习爬虫，本人不才，代码其实也是学习一些B站视频。下面开始爬取的步骤由于是为了爬取粉丝的评论，所以我们的目标就是要找到包含评论的代码，再将其解析并保存下来1.找到代码        爬取的网页是https://m.weibo.cn/status/4160547165300149（鹿晗和关晓彤宣...
求助：为什么用八爪鱼采集器抓取特定时间段的微博会出现漏抓情况？
weixin_52823452的博客
12-13 1976
八爪鱼抓取微博内容 抓取不完整的问题 在原微博网址设置了特定的时间段，导入八爪鱼采集器后也显示了相应时间段内容。例如按一小时抓取，但采集完成后导出的数据发现，一般只抓取了半个小时就停止了。有人碰到过类似问题吗？或者是否知道解决办法。 微博网址显示选定了特定的某一小时 但导出数据时发现只采集了十多分钟就跳到下一个时间段了 ...
Python爬虫—爬取微博评论数据
2301_78096295的博客
02-21 1224
今日，分享编写Python爬虫程序来实现微博评论数据的下载。
网络爬虫违法吗？
网页爬虫与数据采集 · 八爪鱼
09-24 7246
Web爬取，也称为Web抓取，数据抓取或爬虫，是一种计算机程序技术，用于从网站上抓取大量数据，并将其处理为结构化数据。 Web抓取是常用的： 基本上，网页抓取是互联网的功能。例如，SEO需要创建站点地图并授予其权限，让Google对其网站进行抓取，以便在搜索结果中获得更高的排名。许多顾问公司会雇用专门从事网络抓取的公司来丰富他们的数据库，以便为他们的客户提供专业服务。 在数字化时代，很...
自动爬取微博热门评论和点赞数并存为EXCEL文件(python2)
change_things的博客
12-01 6942
前言 上篇文章介绍了如何获取Cookie并爬取微博评论，但评论千千万，我们可能只对点赞数高的评论感兴趣，也就是热门评论。但要想获取热门评论，用之前的方法得把评论爬个遍，然后按点赞数排序。这种做法一来费时，二来爬的不完整（除非把微博数据库全爬下来）。但微博后台已经帮我们给所有评论排了序，所以我们直接爬热门评论就好了。 获取Cookie 1、用浏览器进入手机版微博页面登陆微博，如进入https:...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值