urllib库的使用

原创 已于 2022-08-15 01:42:05 修改 · 1.9k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#servlet #java #html

于 2022-08-15 01:34:01 首次发布

目录

1、urllib的使用

2、一个类型和六个方法

 2.1、一个类型

 2.2、六个方法

 2.3、下载图像、视频

3、请求对象的定制

 3.1、编解码

  3.1.1、get请求方式

  3.1.2、Post请求方式

 3.2、ajax请求

  3.2.1、ajax的get请求

  3.2.2、ajax的post请求

 3.3、cookie登录

4、使用代理

 4.1、handler代理

 4.2、handler代理IP地址修改

 4.3、代理池

1、urllib的使用

 urllib.request.urlopen() 模拟浏览器向服务器发送请求：

 1）定义需要访问的url地址

 2）模拟浏览器向服务器发送请求

 3）获取响应的页面源码 

# 使用urllib获取百度首页源码
import urllib.request

# 1、定义一个url 需要访问的地址
url = 'http://www.baidu.com'

# 2、模拟浏览器向服务器发送请求 response就是响应
response = urllib.request.urlopen(url)

# 3、获取响应中的页面源码
# read方法 返回的是字节形式的二进制数据 -> 需要转换为字符串
# 解码：二进制->字符串 decode('编码的格式')
content = response.read().decode('utf-8')

# 4、打印数据
print(content)

2、一个类型和六个方法

 2.1、一个类型

  1）代码： 

# 使用urllib获取百度首页源码
import urllib.request

# 1、定义一个url 需要访问的地址
url = 'http://www.baidu.com'

# 2、模拟浏览器向服务器发送请求 response就是响应
response = urllib.request.urlopen(url)

# 一个类型和六个方法
print(type(response))

  2）输出：

​

  3）response的数据类型是HttpResponse：

  • 字节‐‐>字符串 解码decode
  • 字符串‐‐>字节 编码encode

 2.2、六个方法

  1. read() 字节形式读取二进制 扩展：rede(5)返回前几个字节

  2.  readline() 只能 读取一行

  3. readlines() 一行一行读取 直至结束

  4. getcode() 获取状态码 （判断书写逻辑是否正确，返回200表示正常）

  5. geturl() 获取url地址

  6. getheaders() 获取header 

# 使用urllib获取百度首页源码
import urllib.request

# 1、定义一个url 需要访问的地址
url = 'http://www.baidu.com'

# 2、模拟浏览器向服务器发送请求 response就是响应
response = urllib.request.urlopen(url)

# 按照一个字节一个字节的方式进行读取
content = response.read()

# 返回5个字节
content = response.read(5)

# 读取一行数据
content = response.readline()

# 按照一行一行的方式进行读取
content = response.readlines()

# 返回状态码 如果是200证明没有错
print(response.getcode())

# 返回url地址
print(response.geturl())

# 获取响应头等状态信息
print(response.getheaders())

 2.3、下载图像、视频

import urllib.request

# 下载网页
url_page = 'http://www.baidu.com'

# url代表的是下载的路径 filename文件的名字
urllib.request.urlretrieve(url_page, 'baidu.html')

# 下载图片
url_img = 'https://img0.baidu.com/it/u=1309359181,3567527426&fm=253&fmt=auto&app=138&f=JPEG?w=281&h=499'

urllib.request.urlretrieve(url_img, 'lisa.jpg')

# 下载视频
url_video = 'https://vd3.bdstatic.com/mda-kjtx64epufgk8zw5/sc/cae_h264_nowatermark/1604104149/mda-kjtx64epufgk8zw5.mp4?v_from_s=hkapp-haokan-hnb&auth_key=1659543870-0-0-4dd2d6b9e96b8193a5e2ec3a86177452&bcevod_channel=searchbox_feed&pd=1&cd=0&pt=3&logid=3270589526&vid=6647036806223333961&abtest=103747_2-103890_2&klogid=3270589526'

urllib.request.urlretrieve(url_video, 'lisa.mp4')

3、请求对象的定制

UA介绍：User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统 及版本、CPU 类型、浏览器及版本。浏览器内核、浏览器渲染引擎、浏览器语言、浏览器插件等

UA反爬虫：在进行爬虫时候，程序模仿浏览器操作，但是反爬虫机制在响应爬虫请求时候需要进行UA识别，这时候就需要将UA参数传进我们的爬虫程序中

import urllib.request
 
url = 'https://www.baidu.com'
 
# url的组成
# https://www.baidu.com/s?wd=周杰伦
 
# http/https    www.baidu.com   80/443     s      wd = 周杰伦     #
#    协议             主机        端口号     路径     参数           锚点
# http   80
# https  443
# mysql  3306
# oracle 1521
# redis  6379
# mongodb 27017
 
headers = {
    'User-Agent': ''
}
 
# 因为urlopen方法中不能存储字典 所以headers不能传递进去
# 请求对象的定制
request = urllib.request.Request(url=url,headers=headers)
 
response = urllib.request.urlopen(request)
 
content = response.read().decode('utf8')
 
print(content)

 3.1、编解码

  3.1.1、get请求方式

  1）urllib.parse.quote()：quote方法能够将汉字转换成unicode编码的格式，适用于单个参数

import urllib.request

url = 'https://cn.bing.com/search?q='

# 模拟浏览器访问——解决ua反爬
headers = {
    'User-Agent': ''
}

# 将周杰伦三个字变成unicode编码
# 我们需要依赖于urllib.parse
name = urllib.parse.quote('猪猪侠')

url = url + name

# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送消息
response = urllib.request.urlopen(request)
content = response.read().decode('utf8')

# 打印数据
print(content)

  2）urllib.parse.urlencode()：urlencode方法也可以将汉字转换成unicode编码，适用于多个参数

# urlencode的应用场景：多个参数的时候
import urllib.request

base_url = 'https://cn.bing.com/search?'

data = {
    'q': '周杰伦',
    'sex': '男',
    'location': '中国台湾省'
}

new_data = urllib.parse.urlencode(data)

url = base_url + new_data

headers = {
    'User-Agent': ''
}

request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

context = response.read().decode('utf-8')

print(context)

  3.1.2、Post请求方式

 post请求方式与get请求方式区别

1）get请求方式的参数必须编码：

        参数是拼接到url后面编码之后，不需要调用encode方法

                url = base_url + new_data

                new_data = urllib.parse.urlencode(data)

                request = urllib.request.Request(url=url, headers=headers)                

2）post请求方式的参数必须编码：

        参数是放在请求对象定制的方法中，编码之后需要调用encode方法：

                url = 'https://fanyi.baidu.com/sug'

                data = urllib.parse.urlencode(data).encode('utf8')

                request = urllib.request.Request(url=url, data=data, headers=headers)

         

import urllib.request

url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent': ''
}

data = {
    'kw': 'spider'
}

# post请求方式的参数，必须要进行编码 data = urllib.parse.urlencode(data).encode('utf8') 编码之后必须调用encode方法
# post请求方式的参数，不会拼接在url后，而是放在请求对象定制的参数中
data = urllib.parse.urlencode(data).encode('utf8')

# post参数放在请求对象定制的方法中
request = urllib.request.Request(url=url, data=data, headers=headers)

response = urllib.request.urlopen(request)

context = response.read().decode('utf8')

print(context)

 3.2、ajax请求

  3.2.1、ajax的get请求

  1）获取豆瓣电影第一页

# get请求
# 获取豆瓣电影的第一页数据 并且保存起来

import urllib.request

url = "https://movie.douban.com/typerank?type_name=%E5%8A%A8%E4%BD%9C&type=5&interval_id=100:90&action="

headers = {
    'User-Agent': ''
}

# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)

# 获取响应的数据
response = urllib.request.urlopen(request)
content = response.read().decode('utf8')

# 数据下载到本地(open方法默认为gdk版本，如果需要保存汉字，需要设置编码为utf8)
fp = open('douban.json', 'w', encoding='utf8')
fp.write(content)

  2）获取豆瓣电影前十页

# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=100&limit=20

import urllib.parse
import urllib.request


def create_request(page):
    base_url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action="

    data = {
        'start': (page - 1) * 20,
        'limit': '20'
    }

    data = urllib.parse.urlencode(data)

    url = base_url + data

    headers = {
        'User-Agent': ''
    }

    request = urllib.request.Request(url=url, headers=headers)

    return request


def get_content(request):
    reponse = urllib.request.urlopen(request)
    content = reponse.read().decode('utf8')
    return content


def down_load(page, content):
    with open('douban' + str(page) + '.json', 'w', encoding='utf8') as fp:
        fp.write(content)


if __name__ == '__main__':
    start_page = int(input('请输入起始的页码'))
    end_page = int(input('请输入结束的页码'))

    for page in range(start_page, end_page):
        # 请求对象定制
        request = create_request(page)
        # 获取响应的数据
        content = get_content(request)
        # 下载
        down_load(page, content)

  3.2.2、ajax的post请求

import urllib.request
import urllib.parse


def create_request(page):
    base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'

    data = {
        'cname': '北京',
        'pid': '',
        'pageIndex': page,
        'pageSize': '10'
    }

    data = urllib.parse.urlencode(data).encode('utf8')

    headers = {
        'User-Agent': ''
    }

    request = urllib.request.Request(url=base_url, headers=headers, data=data)

    return request


def get_content(request):
    reponse = urllib.request.urlopen(request)
    content = reponse.read().decode('utf8')
    return content


def down_load(page, content):
    with open('kfc' + str(page) + '.json', 'w', encoding='utf8') as fp:
        fp.write(content)


if __name__ == '__main__':
    start_page = int(input('请输入起始页码'))
    end_page = int(input('请输入结束页码'))

    for page in range(start_page, end_page + 1):
        # 请求对象的定制
        request = create_request(page)

        # 获取网页源码
        content = get_content(request)

        # 下载
        down_load(page, content)

 3.3、cookie登录

cookie中携带者个人登录信息，如果有登录之后的cookie，那么我们可以携带者cookie进入到任何页面

# 适用的场景：在数据采集的时候，需要绕过登录，直接采集数据
# 个人信息页面是utf8，但是还是报编码错误，因为并没有进入个人信息页面，而是跳转到了登陆页面
# 那么登录页面不是utf8，所以报错
# 请求头信息不够，所以访问不成功
import urllib.request

url = 'https://weibo.com/u/3554714072'

# 模拟浏览器访问——解决ua反爬
headers = {
    # :authority: weibo.com
    # :method: GET
    # :path: /
    # :scheme: https
    'accept': '',
    # 可能会导致编码错误
    # 'accept-encoding': '',
    'accept-language': '',
    'cache-control': '',
    'client-version': '',
    'cookie': '',
    # referer 判断当前路径是不是由上一个路径进来，一般情况下，做图片防盗链
    'referer': '',
    'sec-ch-ua': '',
    'sec-ch-ua-mobile': '',
    'sec-ch-ua-platform': '',
    'sec-fetch-dest': '',
    'sec-fetch-mode': '',
    'sec-fetch-site': '',
    'sec-fetch-user': '',
    'upgrade-insecure-requests': '',
    'user - agent': ''
}

# 因为urlopen方法中不能存储字典，所以headers不能传递进去
# 请求对象的定制(因为参数顺序的问题，不能直接写url和headers)
request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf8')

with open('weibo.html', 'w', encoding='utf8') as fp:
    fp.write(content)

4、使用代理

 4.1、handler代理

import urllib.request

url = 'http://www.baidu.com/'

headers = {
    'User-Agent': ''
}

request = urllib.request.Request(url=url, headers=headers)

# 获取handler对象
handler = urllib.request.HTTPHandler()

# 获取opener对象
build_opener = urllib.request.build_opener(handler)

# 调用open方法
response = build_opener.open(request)

content = response.read().decode('utf8')

print(content)

 4.2、handler代理IP地址修改

import urllib.request

url = 'http://www.baidu.com/s?wd=ip'

headers = {
    'Accept': '',
    'Accept-Language': '',
    'Cache-Control': '',
    'Connection': '',
    'Cookie': '',
    'Host': '',
    'sec-ch-ua': '',
    'sec-ch-ua-mobile': '',
    'sec-ch-ua-platform': '',
    'Sec-Fetch-Dest': '',
    'Sec-Fetch-Mode': '',
    'Sec-Fetch-Site': '',
    'Sec-Fetch-User': '',
    'Upgrade-Insecure-Requests': '',
    'User-Agent': ''
}

request = urllib.request.Request(url=url, headers=headers)

# response = urllib.request.urlopen(request)
proxise = {
    'http': ''
}

handler = urllib.request.ProxyHandler(proxies=proxise)
opener = urllib.request.build_opener(handler)
response = opener.open(request)

context = response.read().decode('utf8')

with open('daili.html', 'w', encoding='utf8') as fp:
    fp.write(context)

 4.3、代理池

import urllib.request

url = 'http://www.baidu.com/s?wd=ip'

headers = {
    'Accept': '',
    'Accept-Language': '',
    'Cache-Control': '',
    'Connection': '',
    'Cookie': '',
    'Host': '',
    'sec-ch-ua': '',
    'sec-ch-ua-mobile': '',
    'sec-ch-ua-platform': '',
    'Sec-Fetch-Dest': '',
    'Sec-Fetch-Mode': '',
    'Sec-Fetch-Site': '',
    'Sec-Fetch-User': '',
    'Upgrade-Insecure-Requests': '',
    'User-Agent': ''
}


request = urllib.request.Request(url=url, headers=headers)

# response = urllib.request.urlopen(request)
proxise_pool = [
    {'http': ''},
    {'http': ''},
]

import random
proxies = random.choice(proxise_pool)
handler = urllib.request.ProxyHandler(proxies=proxies)
opener = urllib.request.build_opener(handler)
response = opener.open(request)

context = response.read().decode('utf8')

with open('daili.html', 'w', encoding='utf8') as fp:
    fp.write(context)

Python 爬虫入门（六）：urllib库的使用方法
blues_C的博客
08-04 2224
欢迎来到"Python 爬虫入门"系列的第六篇文章。今天我们来学习Python标准库中的urllib,这是一个用于处理URL的强大工具包。urllib是Python内置的HTTP请求库,不需要额外安装,就可以直接使用。它提供了一系列用于操作URL的函数和类,可以用来发送请求、处理响应、解析URL等。
爬虫入门之urllib的使用
weixin_43167531的博客
09-07 252
urllib库的基本使用 request它是最基本的HTTP请求模块，可以用来模拟发送请求，就像在浏览器中输入网址，然后敲击回车键一样，使用的时候只需要给库方法传入相关的URL的相关的参数即可. error:异常处理模块，如果出现请求错误，我们课使用这个模块来捕获异常，然后进行重试或者其他操作，保证程序不会以为终止。 parse：这是一个工具模块，提供了许多url的处理方法，比如拆分，解析，合并等...
urllib库的使用（一篇就够了）
热门推荐
m0_43404934的博客
01-05 2万+
在Python2中，有urllib和urllib2两个库来实现请求的发送，而在Python3中，统一为了urllib，其官方文档链接为：https://docs.python.org/3/library/urllib.html。urllib是Python内置的HTTP请求库，它包含4个模块： request：最基本的HTTP请求模块，可以用来模拟发送请求。 error：异常处理模块，如果出现请求错误，可以捕获异常，然后进行重试或其他操作。 parse：工具模块，提供了许多URL处理方法，如拆分、解析、合并
urllib的用法
weixin_43270619的博客
05-16 382
urllib.request模块的用法 urlopen urllib.request.urlopen(url)，括号内可传递的参数除了url，还有timeout, cafile,capath,context。 response = urllib.request.urlopen(url, data=data, timeout=100,capath=None,cafile=None,context=N...
Urllib库基本使用
开枪为你送行
06-20 443
Urllib库基本使用 1 模块 urllib.request—————— 请求模块 urllib.error ——————— 异常处理模块 urllib.parse——————— url解析模块 urllib.robotparser———— robots.txt解析模块 2 urlopen urllib.request.urlopen(url, data=None, ...
爬虫之urllib库的使用
天天学安全专属博客
02-27 9534
urllib库的使用,爬虫，爬虫概述，反爬手段 ，以及反爬技术的使用， urllib.request模块基本使用，爬虫实战
urllib的使用
qq_39217312的博客
07-14 1143
urllib时python的一个内置库，一共包含四个模块。
Python urllib 入门使用（步骤详细）
卡尔特斯
11-15 1758
urllib库，它是Python内置的HTTP`request` 请求模块，提供最基本的 `HTTP` 请求处理。`parse` 工具模块，提供处理 `url` 的很多方法：拆分、解析、合并等等。`error` 异常处理模块，如果出现请求错误，可以捕获这些错误，保证程序不会意外终止。`robotparser` 模块，主要用来识别网站的 `robots.txt` 文件，判断哪些网站可以爬取，用的比较少。# 使用 urllib# url 的组成wd=123# 协议 主机 端口号 路径 参数 锚点。
urllib库的基本使用
weixin_42152274的博客
03-07 332
所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib。 urllib 是 Python3 自带的模块(不需要下载，导入即可使用) urllib 官方文档：https://docs.python.org/3/library/urllib.html 可以基本看到里面的四大模块 注...
urllib的基本用法
dayun555的博客
03-05 432
#coding:utf-8 # urllib urllib2 import urllib from urllib import request,parse,response # 使用urllib发起请求 rep = request.urlopen('http://www.baidu.com') # .read()函数读取响应中的响应数据 result = rep.read() # decod...
小汪的ajax学习笔记
weixin_42027541的博客
12-19 351
ajax1.初识ajax 1.初识ajax 不刷新页面进行请求
python爬虫urllib怎么使用_Python爬虫之Urllib库的基本使用
weixin_36130547的博客
12-24 145
#get请求importurllib.requestresponse= urllib.request.urlopen("http://www.baidu.com")print(response.read().decode('utf-8'))#post请求importurllib.parseimporturllib.requestdata= bytes(urllib.parse.urlencode(...
关于urllib的使用
meini32的博客
04-30 2341
1. urllib库的作用 ：解析网页 URL模块 代码 请求模块 urllib.request 异常处理模块 urllib.error 解析模块 urllib.parse 2. 请求模块 举个例子：访问百度 import urllib.request #解析一个网址 获取get请求 response = urllib.request.urlopen("http://www.baidu.com") #把访问的网站的源码封装到一个对象当中（response） print(res
python urllib的基本使用方法
pin-csdn的博客
08-22 1151
#_*_ coding:utf-8 _*_ #Author:gaoqiang import urllib import urllib2 #基本使用 def demo_base(url="http://www.baidu.com/"):     try:         req=urllib2.urlopen(url,timeout=3)     except urllib2
Urllib的使用（一）
u013109501的博客
08-23 604
1,使用urllib爬取网页首先需要导入对应的模块 import urllib.request 2,在导入模块后，我们需要使用urllib.request.urlopen打开并爬取一个网页。（以百度网址http：//www.baidu.com为例） file=urllib.request.urlopean("http://www.baidu.com") 3,读取网页内容 data=...
Python爬虫基础（一）：urllib库的使用详解
秃了也弱了
09-12 5265
urllib是一个python自带的库，不需要手动安装。urllib库用于操作网页 URL，并对网页的内容进行抓取处理。urllib 包 包含以下几个模块：urllib.request - 打开和读取 URL。urllib.error - 包含 urllib.request 抛出的异常。urllib.parse - 解析 URL。urllib.robotparser - 解析 robots.txt 文件python爬虫主要用到的urllib库中的request和parse模块。
使用urllib库爬取网站
最新发布
12-28
### 如何使用 `urllib` 库进行网页爬取 Python 的内置库 `urllib` 提供了一系列用于处理 URL 的模块，可以方便地执行网络请求并获取网页内容。下面是一个简单的例子来展示如何利用 `urllib.request` 来抓取网页数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值