scrapy 自定义管道保存图片、json、csv文件格式以及MySQL

最新推荐文章于 2022-11-28 16:41:04 发布

想不到叫啥好

最新推荐文章于 2022-11-28 16:41:04 发布

阅读量2.4k

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/weixin_42657103/article/details/81635514

这篇博客介绍了如何使用Scrapy的自定义管道来保存图片、JSON文件、CSV格式数据以及如何将数据存入MySQL数据库。首先，详细讲解了自定义管道保存图片的步骤，包括配置ImagesPipeline和设置保存路径。接着，阐述了自定义管道保存JSON文件和CSV数据的方法。最后，说明了如何连接MySQL数据库并利用管道将爬取的数据存储到数据库中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在上一篇博客中，简单的介绍了系统自带的管道保存方法，今天来讲一下如何用自定义的管道来保存文件以及图片。

1.保存图片：

开始的步骤，保持不变，成功获取数据后，进入到pipeline.py里面，引入 from scrapy.pipelines.images import ImagesPipeline, 并且继承 ImagesPipeline （如下图）：

import scrapy
# ImagesPipeline 系统中下载图片的管道
from scrapy.pipelines.images import ImagesPipeline
# 系统管道有下载图片的功能，我们的管道继承了系统的管道，也有了下载图片的功能
class ZhanzhangPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        print('管道方法执行了')
        # print(item['title'])
        # print(item['img'])
        # 这个方法会循环执行
        # 前边每次会传入一个个item，这个item会被交给了引擎，
        # 引擎又交给了管道来运行，管道里面有很多方法
        # 这些方法会依次执行
        yield scrapy.Request(url=item['img'][0],meta={'item':item})
        # 管道里面提供了一系列的内置方法，这下方法会自动从第一个执行到最后一个

然后设置保存的路径以及图片名称：

 def file_path(self, request, response=None, info=None):
        print('==

最低0.47元/天解锁文章

200万优质内容无限畅学