python爬虫豆瓣评论实验报告_爬虫---爬取豆瓣网评论内容

这段时间肯定经常听到一句话“我命由我不由天”，没错，就是我们国产动漫---哪咤，今天我们通过python还有上次写的pyquery库来爬取豆瓣网评论内容

爬取豆瓣网评论

1、找到我们想要爬取的电影---小哪咤

2、查看影片评论

点击查看我们的影评，发现只能查看前200个影评，这里就需要登录了

分析出来全部影评的接口地址

好巧用到了上次写的通过requests登录豆瓣网，然后通过session会话访问评论内容-----post请求登录豆瓣网

#coding:utf-8

importrequests#登录请求地址

s =requests.session()

url= 'https://accounts.douban.com/j/mobile/login/basic'

#请求头

headers ={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}#body数据

data ={'name':"xxxxx", #账号

"password":"xxxx", #密码

"remember":"false"}#发送请求

r = s.post(url,headers=headers,data=data)#全部评论内容

url2 = 'https://movie.douban.com/subject/26794435/comments?start=20&limit=20&sort=new