qq_42025868的博客

爬取xxx天气爬取网址：https://tianqi.2345.com/today-60038.htm安装pip install scrapy我使用的版本是scrapy 2.5创建scray爬虫项目在命令行如下输入命令scrapy startproject namename为项目名称如，scrapy startproject spider_weather之后再输入scrapy genspider spider_name 域名如，scrapy genspider chang

简介爬取新闻标题1. 安装pip install requestpip install fake_useragent2. 演示进入网址，查看网页源代码找到标题界面，根据li标签的特征使用re匹配代码演示import requestsfrom fake_useragent import UserAgent # 伪装请求头的库import reurl = 'http://sports.qq.com/' # 腾讯体育新闻网址headers = {'User-A