lulin1991-CSDN博客

原创爬虫学习第四部分

本次进行数据爬取，爬取腾讯新闻的热点数据了解ajax加载通过chrome的开发者工具，监控网络请求，并分析用selenium完成爬虫用selenium爬取https://news.qq.com/的热点精选每条新闻的结构一致，具体代码如下： import time from selenium import webdriver from bs4 import Beaut...

2020-04-28 09:00:52 245

原创爬虫学习第三部分

本次学习内容session和cookie，ip代理知识，selenium的使用，拔高：实现丁香园的模拟登录爬取留言板。挑战项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容。丁香园论坛：http://www.dxy.cn/bbs/thread/626626#626626。以下实现selenium模拟登录 import requests, json, re, ran...

2020-04-25 23:48:52 348

原创爬虫学习第二部分

本次学习内容bs4、xpath和正则表达式目录 1.xpath学习 1.1知识要点： Xpath常用的路径表达式谓语（Predicates）通配符组合路径 XPath 运算符 1.2使用lxml解析 1.3 实战：爬取丁香园-用户名和回复内容 1.xpath学习学习xpath，使用lxml+xpath提取内容。使用xpath提取丁香园论坛的...

2020-04-23 23:26:55 978

原创爬虫学习第一部分

第一部分主要学习内容html等有关知识，api使用，request-get使用拔高部分：js 之前做过一些简单爬虫，对request-get的使用比较熟悉。以下代码是之前爬取链家二手房数据，较为简单，以武汉市为例，结果保存在txt中。 import requests from bs4 import BeautifulSoup def getHTMLText(url): ...

2020-04-21 23:50:34 274

原创 contourArea函数调用注意问题

C++: double contourArea(InputArray contour, bool oriented=false ) contour为轮廓上的点vector，oriented：表示某一个方向上轮廓的的面积值，顺时针或者逆时针面积的值与输入点的顺序有关，求的是按照点的顺序连接构成的图形的面积。

2017-08-28 12:20:53 4598

原创求图中最长路径

求最长路径函数： vectorPath; vectorLongPath; bool first=true; float pathSum,longPathSum; int paths=0; vector> status(6,vector(6,0)); //顶点状态 void getRoad(vector> prox,int start,int end) { Path.push_back(s

2017-08-18 19:00:17 4765

原创 socket+Protocol buffer 错误

通过socket不断接收计算结果数据，接收到数据后利用protocol buffer 进行反序列化会出错，错误指向如下图：是由于socket发送数据时是一次发送完，但是接收数据会存在分批次接收的原因。程序是设置为一次接收完毕，但是实际情况是socket会分批次接收数据，导致误以为未接收完的部分为新的一帧结果，从而出现数据的错乱。解决代码(摘自论坛):

2015-07-09 11:49:30 817

转载 COleDateTime类 CTime类

使用COleDateTime类 1) 获取当前时间。 CTime time; time = CTime::GetCurrentTime(); 2) 获取时间元素。 int year = time.GetYear() ; int month = time.GetMonth(); int day = time.GetDay();

2015-02-03 17:31:45 594