mygodit的博客

背景：公司目前在运营维护的是一款通过采集网页信息，保证项目内的信息能够定时更新的python项目。 前面博客实现的多个功能也是在为这个项目服务。（这个项目也是部门几个小伙伴一起努力从零开发出来的）。 因为网页的信息更新时间不能确定，并且网页的采集规则以及网站的正常访问，无法一直保持正常。 如果人工去筛查出没有正常工作的网站的话，工作量也是非常巨大且繁琐的（经常会搞到两三点的那种）。 为了保证采集项...

背景故事: 公司的MySQL数据库关联太复杂了，结构难缠，关系混乱，为了后续项目的方便查询，老板交代，需要将MySQL的数据全部迁移至MongoDB中去。 这MySQL数据量大概在40M左右，数据量5w+,说起来不算太大，如果一条一条的读取迁移，任务也能完成，具体实施起来，效率就是慢的一批。果断转换思路。 ε=(´ο｀*)))唉，想当年也是操作数据库的一把好手，不曾想，在这爬虫领域逍遥自在了许久，...

引言 众所周知,python最强大的地方在于，python社区汇总拥有丰富的第三方库，开源的特性，使得有越来越多的技术开发者来完善 python的完美性。 未来人工智能，大数据方向，区块链的识别和进阶都将以python为中心来展开。 咳咳咳！ 好像有点打广告的嫌疑了。 当前互联网信息共享时代，最重要的是什么?是数据。最优价值的是什么？是数据。最能直观体现技术水平的是什么?还是数据。 所以，今天我们...