爬虫实例图片爬取--1（某领域）

最新推荐文章于 2024-08-15 21:21:22 发布

Delusion(✘_✘)

最新推荐文章于 2024-08-15 21:21:22 发布

阅读量334

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # 爬虫实例文章标签：爬虫 python

本文链接：https://blog.csdn.net/m0_66060262/article/details/125802822

爬虫实例专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了如何使用Python的requests和parsel库爬取网页图片。首先向目标网站发送请求获取源码，然后解析数据定位图片链接。通过循环遍历获取所有图片地址，并对每个地址发起新的请求下载图片，保存到本地。最后，演示了如何批量抓取多个页面的图片，创建对应文件夹并下载。这是一个实用的Python爬虫实践案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬图片的流程

1.向目标网站发送请求

2.获取数据(网页源码)

3.解析数据

4.向详情页发送请求

5.获取数据

确定网址，发起请求

导入请求库，然后发起请求

import requests

headers = {
    'User-Agent': 'sadasdsafdgdsd'
}
url = 'https://www.xxxxx.com/104212.html'
response = requests.get(url=url,headers=headers)
print(response.text)

接着导入解析库

import parsel

对数据进行解析

import requests
import parsel

headers = {
    'User-Agent': 'sadasdsafdgdsd'
}
url = 'https://www.jdlingyu.com/104212.html'
response = requests.get(url=url,headers=headers)
html = response.text
select = parsel.Selector(html)
print(select)

利用css来进行定位，

img_all = select.css('.entry-content img::attr(src)').getall()

::attr(src)是提取这元素中的src对应的地址。

但是提取出来并不好看，可以用for来进行再次提取

for img in img_all:
    print(img)

既然拿到了图片的地址，那么就对这个地址发起请求

img_data = requests.get(img,headers=headers).content

然后取这个地址的反斜杠最后一段，用来做图片的名称

img_name = img.split('/')[-1]

接着创建一个名为img的文件夹用来存图片

    with open(f'img/{img_name}',mode='wb') as f:
        f.write(img_data)

可以了，但是就这四张太少了，来整多点！！

那么重新来一遍，对整体进行请求

import requests
import parsel

headers = {
    'User-Agent': 'sadasdsafdgdsd'
}
url = 'https://www.xxxx.com/tuji'
response = requests.get(url=url,headers=headers)
html = response.text
select = parsel.Selector(html)
print(select)

这里有一堆

再次用css来进行定位

因为它的地址和名称都在这，所以

title_list = select.css('.post-info h2 a::text').getall()
link_list = select.css('.post-info h2 a::attr(href)').getall()

然后

for title,link in zip(title_list,link_list):

把它们提取出来。

接着导入os模块，来创建文件夹

    if not os.path.exists(f'img/{title}'):
        os.mkdir(f'img/{title}')

然后运行就完事了

完整代码如下：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：untitled1 
@File    ：实例1.py
@IDE     ：PyCharm 
@Author  ：冷巷(✘_✘)
@Date    ：2022/7/15 14:28 
"""

import requests
import parsel
import os

headers = {
    'User-Agent': 'sadasdsafdgdsd'
}
url = 'https://www.jdlingyu.com/tuji'
response = requests.get(url=url,headers=headers).text
select = parsel.Selector(response)
title_list = select.css('.post-info h2 a::text').getall()
link_list = select.css('.post-info h2 a::attr(href)').getall()
for title,link in zip(title_list,link_list):
    if not os.path.exists(f'img/{title}'):
        os.mkdir(f'img/{title}')
    response_1 = requests.get(link,headers=headers)
    html_data = response_1.text
    select = parsel.Selector(html_data)
    img_all = select.css('.entry-content img::attr(src)').getall()
    for img in img_all:
        img_data = requests.get(img,headers=headers).content
        img_name = img.split('/')[-1]
        with open(f'img/{img_name}',mode='wb') as f:
            f.write(img_data)