爬虫反爬之cookie

最新推荐文章于 2025-07-03 07:19:52 发布

听说这有个小白

最新推荐文章于 2025-07-03 07:19:52 发布

阅读量1.5k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：爬虫 python 文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_46466247/article/details/108938793

python 同时被 2 个专栏收录

42 篇文章

订阅专栏

爬虫

3 篇文章

订阅专栏

爬取某些网页需要携带cookie才可以进行访问
携带cookie一般有两种方式：
手动设置cookie：

#在header中携带cookie
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'，
    "cookie":""
}

自动获取cookie：

#使用requests模块自带的Session
# 爬取雪球网主页

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
# 实例化一个session对象
s = requests.Session()
first_url = 'https://xueqiu.com/'
# 通过session对象进行页面的请求
s.get(first_url,headers=headers)

# 雪球网热门咨询url
url = 'https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=110605&size=15'
json_text = s.get(url,headers=headers).json()