蜘蛛侠
分享
扫一扫
这是一个专注于网络爬虫技术的专栏，涵盖从基础到进阶的内容。我们将介绍爬虫的工作原理、常用工具（如Python、Scrapy、BeautifulSoup等）、反爬虫技巧、数据存储与处理方法，以及实际应用案例。无论你是新手还是有经验的开发者，这里都有你需要的知识，帮助你高效爬取、分析互联网数据，解决实际
超级会员免费看
全职送外卖，业余学编程
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
基于python代码的通过爬虫方式实现TK下载视频（2025年6月）
本文介绍了一种无需登录即可下载TikTok视频的Python实现方法。通过构造匿名Cookie模拟游客访问，利用BeautifulSoup解析HTML页面中的JSON数据，提取视频ID、标题和播放地址。采用流式分块下载技术(每次64KB)优化内存使用，确保大文件下载稳定性。代码示例包含完整实现流程：设置伪造UA头、获取游客Cookie、解析视频元数据、执行分块下载并保存本地。该方法绕过平台登录限制，适用于自动化采集场景。原创 2025-06-22 21:11:39 · 191 阅读 · 0 评论 -
基于python代码的通过爬虫方式实现快手发布视频（2025年4月）
基于python代码的通过爬虫方式实现快手发布视频（2025年4月）原创 2025-04-25 21:24:27 · 559 阅读 · 0 评论 -
基于nodeJS代码的通过爬虫方式实现tiktok发布视频（2025年4月）
基于nodeJS代码的通过爬虫方式实现tiktok发布视频（2025年4月）原创 2025-04-23 12:04:55 · 346 阅读 · 0 评论 -
基于python代码的通过爬虫方式实现tiktok发布视频（2025年4月）
基于python实现的通过爬虫方式实现tiktok发布视频（2025年4月）原创 2025-04-23 11:52:25 · 564 阅读 · 0 评论 -
通过爬虫方式实现头条号发布视频（2025年4月）
通过爬虫方式实现头条号发布视频（2025年4月）原创 2025-04-20 23:32:21 · 315 阅读 · 0 评论 -
通过爬虫方式获取视频号授权登录的cookie的代码
通过爬虫方式获取视频号授权登录的cookie的代码原创 2025-01-02 11:42:12 · 674 阅读 · 0 评论 -
通过爬虫方式实现视频号助手发布视频
通过爬虫方式实现视频号助手发布视频原创 2025-01-02 11:40:02 · 1832 阅读 · 0 评论 -
快手NS sig3签名算法（2025年1月）
快手NS sig3签名算法（2025年1月）原创 2025-01-02 11:34:56 · 2136 阅读 · 5 评论 -
抖音中动态生成msToken的方法
抖音中动态生成msToken的方法原创 2024-12-30 20:29:15 · 1472 阅读 · 0 评论 -
某音点赞视频的源码
某音点赞视频的源码原创 2024-12-15 16:17:46 · 561 阅读 · 0 评论 -
某音a_bogus 192位解决办法（2024年12月）
某音a_bogus 192位解决办法（2024年12月）原创 2024-12-07 12:36:18 · 3076 阅读 · 5 评论 -
获取抖音中x-secsdk-csrf-token的方法
获取抖音中x-secsdk-csrf-token的方法原创 2024-11-27 21:11:43 · 1319 阅读 · 1 评论 -
基于Python拉取tiktok直播视频流，并将视频流切割成一定时长的视频片段
基于Python拉取tiktok直播视频流，并将视频流切割成一定时长的视频片段原创 2024-11-20 14:17:56 · 652 阅读 · 0 评论 -
多平台的视频发布逆向步骤分析 (2025年3月份最新版)
发布视频的代码是用Python 实现的，Python 版本 是3.10+，没有使用headless browser，通过调接口来实现。原创 2024-10-19 18:13:53 · 1015 阅读 · 0 评论 -
基于Python增加抖音视频播放量的代码
通过发送HTTP请求来实现这一功能。代码主要功能的简要介绍：1. `get_ttwid`：这个函数用于获取`ttwid`，它是通过向字节跳动的接口发送POST请求，并从响应的cookie中提取`ttwid`值。2. `get_web_id`：这个函数用于获取`web_id`，它是通过向某个API发送POST请求，并从响应中提取`web_id`。3. `get_ms_token`：这个函数生成一个随机字符串，作为`ms_token`。原创 2024-10-19 20:56:32 · 2589 阅读 · 0 评论 -
基于Python拉取抖音直播视频流，并将视频流切割成一定时长的视频片段
基于Python拉取抖音直播视频流，并将视频流切割成一定时长的视频片段原创 2024-10-19 22:10:46 · 1142 阅读 · 0 评论 -
基于OAuth2.0授权发布视频
发布视频原创 2024-10-20 19:21:14 · 1151 阅读 · 0 评论 -
基于java的OAuth2.0的授权发布视频
基于java的OAuth2.0的授权发布视频原创 2024-10-22 16:35:55 · 386 阅读 · 0 评论 -
基于Python实现的视频号助手里评论视频和发布私信消息
与视频号平台进行交互，包括获取授权信息、获取视频列表、评论列表、发布评论、删除评论、获取用户名称、获取私信历史、发送私信等功能。14. `test_private_message`：测试私信功能，获取用户名称，查看私信历史，并尝试发送文本和图片私信。9. `get_private_msg_session_info`：获取私信会话信息，用于获取特定会话的详细信息。3. `get_comment_list`：获取特定视频的评论列表，可以查看视频下的评论内容。3、其他的不变，有问题可以私信评论；原创 2024-10-22 17:03:57 · 1099 阅读 · 6 评论 -
小红书请求中xs,xt字段的计算方法
小红书请求中xs,xt字段的计算方法原创 2024-10-28 11:50:50 · 971 阅读 · 0 评论 -
抖音中aBogus签名算法的纯Python代码实现（2024年8月）
目前网上的aBogus签名算法都是用python里execjs来执行js代码计算的，这种方法虽然可以达到计算签名值的结果，但是性能不高。本文直接将aBogus的js的源码改成python代码，同样的参数，计算的结果和js版本一样。原创 2024-10-29 09:47:04 · 1547 阅读 · 10 评论 -
抖音中aBogus签名算法的纯PHP代码实现（2024年10月）
目前网上的aBogus签名算法都是用python里execjs来执行js代码计算的，这种方法虽然可以达到计算签名值的结果，但是性能不高。本文直接将aBogus的js的源码改成php代码，同样的参数，计算的结果和js版本一样。原创 2024-10-29 10:03:01 · 1068 阅读 · 3 评论 -
基于Python拉取快手直播视频流，并将视频流切割成一定时长的视频片段
基于Python拉取快手直播视频流，并将视频流切割成一定时长的视频片段原创 2024-10-29 10:52:00 · 728 阅读 · 0 评论 -
基于Java拉取抖音直播视频流，并将视频流切割成一定时长的视频片段
基于Java拉取抖音直播视频流，并将视频流切割成一定时长的视频片段原创 2024-10-30 16:29:24 · 786 阅读 · 0 评论 -
某音最新bd-ticket-guard-client-data计算方法（2024年11月）
某音最新bd-ticket-guard-client-data计算方法原创 2024-11-13 08:32:51 · 1743 阅读 · 4 评论 -
通过爬虫方式获取小红书授权登录的cookie的代码
通过爬虫方式获取小红书授权登录的cookie的代码原创 2024-11-13 16:59:32 · 2722 阅读 · 8 评论 -
通过爬虫方式获取快手授权登录的cookie的代码
通过爬虫方式获取快手授权登录的cookie的代码原创 2024-11-13 17:05:29 · 1242 阅读 · 0 评论 -
通过爬虫方式获取某音授权登录的cookie的代码
通过爬虫方式获取某音授权登录的cookie的代码原创 2024-11-13 17:13:07 · 1330 阅读 · 6 评论