- 博客(3)
- 收藏
- 关注
RSS订阅原创 分析网站数据是否是Ajax请求
当我们需要运用爬虫程序爬取网站信息数据时，最先需要分析数据到底是在服务器端组成好发回给浏览器的？还是通过Ajax请求进行发送的？ 验证方法： 1.点击要爬取的网页数据的下一页，观察地址栏是否发生变化。如果没有发生变化，则说明是Ajax请求。 2.在开发者模式下（F12），单击左上角小箭头，去在网页中找他的element，如果在element真实存在；在网页中单击右键，查看网页源代码，（ctrl+F）查找element中div的属性名，发现不存在，或者被注释掉了，则证明是一个Ajax请求。 下面以王者荣耀
2022-03-31 21:23:04
1250
1
原创 多线程—生产者与消费者
进程就相当于一条高速路，而线程就相当于这条高速上的多个车道。**线程结束，而进程不一定结束；进程结束，线程一定结束。** 日常中多线程访问全局变量通常会引起安全问题，为解决此安全问题，可以采用锁机制**threading.Lock()创建一个锁对象，用Lock.acquire()**进行枷锁操作，**Lock.release()**进行释放锁操作。 Notice：访问全局变量无需加锁，修改全局变量时才需要加锁，修改完毕之后释放锁。 以下以一个生产者线程和一个消费者线程为例。 相较于threading.L
2022-03-30 22:40:39
495
原创 使用python向csv文件写入数据
CSV称为逗号分隔值，是一种以.csv结尾的文件。 常见问题分析： 1、PermissionError: [Errno 13] Permission denied: '***.csv' 出现这样的问题是由于csv文件没有关闭，在excel中创建的***.csv没有关闭，关闭excel就可以解决。 2、运行之后点开***.csv，发现添加的数据出现双倍行距 解决这样的问题，只需要在打开文件时添加“newline =''”， with open('***.csv','a+',newli...
2022-03-23 08:30:30
2083
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人