迷途无归的博客

redis分布式爬虫 在原有基础上redis 增设密码，需要进行一定的设置 1、settings.py REDIS_HOST = '172.16.1.101' REDIS_PORT = 6379 REDIS_PARAMS = { 'password': 'wR2E&EblAbKNq1Ub', } 2、起始url设置：run_scrapy_redis_start_url.sh #!/bin/bash source /etc/profile redis-cli -a 'wR2E&EblAbK

  1、浏览器动态渲染：splash     注：效果类似于seleium配合chrome

一、安装流程 功能：系统重启后，能够自动启动redis服务 [hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0]$mkdir redis [hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0]$cd redis/ [hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0...

anaconda过程 1、获取anaconda包并执行安装 wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh sh Anaconda3-2019.07-Linux-x86_64.sh 2、添加环境并激活 sudo vi /etc/profile source /etc/profile sud...

1、设备 scrapy 单机版：1台机器 scrapy 分布式：至少2台机器 2、linux环境配置 2.1 redis安装 具体见：linux redis 完整安装过程 2.2 python环境安装 借助anaconda管理python 具体见：linux anaconda安装和环境配置 3、代码修改 3.1 setting.py修改 在setting中添加如下代码 DUPEFILTER_CL...