Man_ge的博客

Date : 2023-03-28Author : ManGeMail : [email protected] : https://github.com/mangenotwork/gathertoolgo get github.com/mangenotwork/gathertoolgathertool是一个高度封装工具库，包含了http/s的请求，Mysql数据库方法，数据类型处理方法，数据提取方法，websocket相关方法，TCP|UDP相关方法，NoSql相关方法，开发常用方法等; 可

gathertoolgathertool是golang脚本化开发库，目的是提高对应场景程序开发的效率；轻量级爬虫库，接口测试&压力测试库，DB操作库等。地址：下载: go get github.com/mangenotwork/gathertool库文档:使用gathertool能很规范化抓取程序的编写，提供配置，请求，提取，保存；特别是提取，使用 gt.GetPointClassHTML 快速定位到数据Dom范围，再使用gt.RegHtmlATxt获取到具体数据；

golang爬虫抓取期货数据

golang爬虫抓取商品报价数据

使用爬虫框架 gathertool框架地址： https://github.com/mangenotwork/gathertool框架下载: go get github.com/mangenotwork/gathertool介绍: 轻量级爬虫，接口测试，压力测试框架, 提高开发对应场景的golang程序。框架文档: https://380949.baklib-free.com/获取cookie步骤请求https://weibo.com F12 Network查看到由 https

golang爬虫高并发抓取阳光高考招生简章链接地址一级页面 学校列表https://gaokao.chsi.com.cn/zsgs/zhangcheng/listVerifedZszc–method-index,lb-1,start-0.dhtml二级页 每年的https://gaokao.chsi.com.cn/zsgs/zhangcheng/listZszc–schId-5.dhtml三级页 招生章程内容https://gaokao.chsi.com.cn/zsgs/zhangc

基于golang爬虫框架gathertool快速编写并发抓取国内ip信息gathertool框架地址： https://github.com/mangenotwork/gathertool框架下载: go get github.com/mangenotwork/gathertool介绍: 轻量级爬虫，接口测试，压力测试框架, 提高开发对应场景的golang程序。框架文档: https://github.com/mangenotwork/gathertool/blob/main/READ

依赖库“github.com/imroc/req”“github.com/PuerkitoBio/goquery”参考自己的开源项目https://github.com/mangenotwork/ManGe_IpProxy实例简单，直接上code/* golang 的代理ip采集*/package mainimport ( "fmt" "math/rand" "time" "strings" "regexp" "database/sql"

接口https://youhui.pinduoduo.com/goods/goods-detail?goodsId=商品信息ID思路通过遍历商品信息ID来获取商品的信息， 1 ~ 99999999999然后使用多线程或多进程进行抓取优点 ： 无反爬，实现简单缺点 ： 效率慢，资源损耗大，时间长效果实现#!/usr/bin/env python# -*- co...

效果图简述1. 需要用到 requests 库。2. 利用多进程同步爬取，multiprocessing库。3. 需要对目标网站做接口分析，找到读取数据的接口。4. 获取到的数据可以利用正则清洗。5. 采集的数据保存到csv.>code# -*- coding=utf-8 -*-__author__ = 'ManGe' ''' 信用中国 四...