
网络爬虫
妹特斯邦威
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Scrapy 中 Request和 Response的各参数及属性介绍
Request 对象 Request构造器方法的参数列表: Request(url [, callback=None, method=‘GET’, headers=None, body=None,cookies=None, meta=None, encoding=‘utf-8’, priority=0,dont_filter=False, errback=None, flags=None]) 各参...原创 2019-10-31 12:01:13 · 831 阅读 · 0 评论 -
计算文件的MD5值并改名
废话不多说,直接代码 import hashlib import os #求文件md5并改名为MD5值 filename = '1234.mp4' file = open(filename,'rb') md5 = hashlib.md5(file.read()).hexdigest() file.close() os.rename(filename,'{}.{}'.format(md5, fil...原创 2019-09-26 10:48:12 · 356 阅读 · 0 评论 -
用requests下载视频
直接上代码 import requests def down_video(): header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} url = 'ht...原创 2019-09-26 11:40:55 · 4389 阅读 · 2 评论 -
用requests下载图片
按照惯例,直接代码 import requests def download_img(url,num): # 下载图片 r = requests.get(url, stream=True) print(r.status_code) # 返回状态码 if r.status_code == 200: open('./img_{}.png'.format...原创 2019-09-26 11:42:53 · 3563 阅读 · 0 评论 -
you-get 下载视频
python使用的版本为3.6.5 1、安装you-get win+R打开运行窗口,输入cmd,输入 pip install you-get,等待安装完成 必要的依赖库 ffmpeg,合并分块视频,安装方式同上 2、you-get参数 基本格式:you-get url 附加参数: -i 查看视频的相关参数 -o 为设置视频保存位置 -O 为设置视频文件名字 -n 以下载流式视频以及合并分...原创 2019-09-26 10:06:20 · 248 阅读 · 0 评论