没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告基于Python+scrapy+redis的分布式爬虫实现框架.zip

基于Python+scrapy+redis的分布式爬虫实现框架.zip

共28个文件

py：11个

pyc：9个

xml：4个

Python项目

0 下载量 115 浏览量 2025-08-22 21:34:43 上传评论收藏 25KB ZIP 举报

温馨提示

基于Python+scrapy+redis的分布式爬虫实现框架.zip

资源推荐

资源详情

资源评论

收起资源包目录

基于Python+scrapy+redis的分布式爬虫实现框架.zip （28个子文件）

scrapy_redis_mongodb-master

scrapy.cfg 284B

.idea

workspace.xml 46KB

misc.xml 215B

inspectionProfiles

profiles_settings.xml 228B

modules.xml 292B

scrapy_redis_mongodb.iml 398B

run.py 115B

.gitignore 14B

README.md 311B

scrapy_redis_mongodb

__init__.py 0B

pipelines.py 3KB

settings.pyc 775B

spiders

__init__.py 161B

master_scrapy_news.py 1KB

scrapy_news.pyc 2KB

TestSpider.py 664B

redis_mongo.pyc 1KB

__init__.pyc 166B

slave_redis_mongo.py 1KB

items.py 643B

middlewares

__init__.py 0B

RandomUserAgent.py 5KB

RandomUserAgent.pyc 5KB

__init__.pyc 170B

__init__.pyc 158B

pipelines.pyc 3KB

settings.py 5KB

items.pyc 788B

共 28 条

# scrapy_redis_mongodb 基于Python+scrapy+redis的分布式爬虫实现框架 #project start 运行run.py #scrapy_news.py 主要功能是抓取种子url，保存到redis #redis_mongo.py 主要是从redis里面读url，解析数据保存到mongodb （拓展到其他机器，都是从redis里面读url）

评论收藏

内容反馈