Ginta的博客

Windows所谓数据丢失是因为 redis 有个专门保存数据的文件，而这个文件一开始是只读的，我直接把整个 Redis 文件夹的权限都开放给当前用户，这样退出时数据就会保留下来了。还有就是启动时要用redis-server.exe redis.windows.conf命令。...

前言爬虫过程中不可缺少的环节就是数据存储，一般来说这些数据首选是保存到数据库中。但是数据库写的方式是同步写入，能不能像 request 请求那样遇到这种 I/O 操作就去执行其他任务呢？答案是可以的。Scrapy异步写入Scrapy 是基于 Twisted 库实现的爬虫框架，而 Twisted 库已经为我们准备好了异步写入数据库的方法，配置也很简单,在 pipelines.py 里定义一个...

DELETEFROM jianshe_enterprise_projectWHERE id NOT IN ( SELECT dt.minno FROM ( SELECT MIN(id) AS minno FROM jianshe_enterprise_project GROUP BY project_id ) ...

前言分布式爬虫项目需要用到 Redis， 所以这里就记录一下安装过程。步骤打开链接-找到适合的版本下载一直默认点击下一步就可以安装完后进入 Redis 安装路径命令作用redis-server启动Redis服务redis-cli连接redis的客户端redis.windows.confredis配置文件启动现在我们安装完成了，要启动...

前言一般爬虫是在 Ubuntu 系统下进行配置的，这次的任务就是在 Ubuntu 系统下安装 redis。步骤sudo apt-get install redis-server，遇到依赖包输入 Y 回车即可启动，安装以后自动启动，可以查看 ps aux|grep redis手动启动， sudo service redis-server start停止， sudo service r...

更新：2019.5.6编写一个 SQL 查询，获取 Employee 表中第二高的薪水（Salary） 。IdSalary110022003300例如上述 Employee 表，SQL查询应该返回 200 作为第二高的薪水。如果不存在第二高的薪水，那么查询应返回 null。SecondHighestSalary200...

前言在爬取目标网站时采用的多线程操作，理论上速度应该是比串行快很多但是实际效果并没有想象中的那么快，刚开始速度还是可以的，过几个小时以后就慢下来了，重启以后又变快了，这肯定不是网速的原因。发现问题我是按照网上的方式使用连接池来连接数据库的import pymysqlfrom DBUtils.PooledDB import PooledDBpool = PooledDB(pymysql,...