ClaireWJQ-CSDN博客

原创【scrapy】最全爬虫攻略汇总

本文总结了爬虫框架中踩过的坑，以备不时之需，分享给大家。目录项目创建相关python库与官方文档ScrapyRequestspyquerylxml生成web请求网页内容解析工具CSS 选择器调用方法表达式语法Xpathpyquery库使用方法优点动态内容JavascriptAjax反反爬措施代理Useragen...

2019-08-20 10:18:53 485

原创 [scrapy]赶集网爬虫之验证码重定向问题

爬虫框架：scrapy问题：赶集网爬虫被重定向到 “.*callback.ganji.com.*”解决方法：MiddleWares.py中，继承RedirectMiddleware，重写_redirect函数，修改redirected.url为正确的网址，就完事了。class ThreatDefenceRedirectMiddleware(RedirectMiddlew...

2019-08-09 14:33:50 802

原创动态规划求最长公共子串/子序列（python）

import numpy as np最长公共子串# 最长公共子串def LongestCommonString(a, b): length = 0 substr = '' cell = np.zeros(shape=(len(a), len(b))) for i in range(len(a)): for j in range(len(...

2018-12-18 17:30:46 802

原创 python 递归返回None

调用栈问题需要确保每次递归调用都会执行return语句否则，会默认返回空值例子：def Euclidean_Algorithm(a, b): ''' 辗转相除法求最大公约数 :param a: :param b: :return: 最大公约数 ''' a, b = b % a, a # print(a, b) ...

2018-11-27 10:51:14 592

原创依存句法分析：原理、应用

本文内容为网友博客总结和项目应用心得体会语言学中的一些概念词法：词汇构成、变化和使用规则。句法：句子的各个组成部分的排列以及相互关系，研究句子类型和句子成分。语法：词法和句法合称为语法。词性（词类）：词的类型。具有相同句法功能、能在同样的组合位置中出现的词，聚合成一个词类（词性）。词义：词的内容，反映人们对客观事物特点的认识，包括词的“词汇意义”、词的 “语法意义”、词的...

2018-11-23 16:14:38 12452 1

原创 python单链表：添加插入删除查找替换

添加：在结尾添加新节点插入：在指定位置插入新节点删除：删除指定位置的节点查找：返回指定位置的值替换：替换指定位置的值#-*-coding:utf-8-*-# author : Wang Claire# time 2018/11/23# 节点class Node(): def __init__(self, item=None, pos_next=None):...

2018-11-23 15:54:33 1658