本文介绍了一个系统，它通过管理员配置的关键字自动抓取目标网站数据，存储在MySQL数据库中，并通过邮件发送信息。系统模块包括招投标管理和招聘信息管理，主要技术使用了活字格低代码开发平台和PythonSelenium进行数据抓取，同时涉及IP代理和数据库设计。
一 系统介绍
本系统根据管理员配置的关键字，自动定时获取目标网站的数据，存储到数据库，并自动发信息到邮箱，供用户作为信息分析的数据基础。
目标用户：
- 企业销售人员挖掘市场信息；
- 人力资源分析挖掘；
- 行业竞争对手招聘信息分析等。
演示网址：" http://www.itgcs.tech:2001/招投标和招聘信息查询 "
操作人员账号：test 密码：123456
管理员账号密码：暂不开放。
二 系统模块
2.1 招投标管理
2.1.1 最新公告
2.1.2 公告站点
略
2.1.3 关键字管理
2.1.4 中标查询
2.1.5 系统信息
略
2.2 甲方招聘管理
2.2.1 企业管理
略
2.2.2 关键字管理
2.2.3 招聘信息
略
2.3 乙方招聘管理
2.3.1 企业管理
略
2.3.2 招聘信息
2.3.3 职位数量
三 系统使用的关键技术
3.1 系统界面开发
基于活字格企业级低代码开发平台，开发小白也能快速上手
活字格低代码平台价值
-
可视化设计，会 Excel 就能开发 Web 应用
活字格设计器提供类 Excel 的可视化设计界面，只要你会使用 Excel，就能轻松上手，最大限度降低学习成本。
-
可灵活定制，实现各类企业应用，并易于维护
活字格 Web 应用生成平台高度灵活，提供了强大的定制能力，任何数据表、按钮、颜色、位置、流程等均可由用户自定制，因此，用户可根据企业个性化需求快速创建各种 Web 系统，如生产管理、进销存、项目信息管理、车辆设备管理、人事考勤管理、出差管理、会议室预定等。
-
页面轻松美化，呈现专业级应用
活字格内置多样的布局、丰富的主题样式、大量的图标、背景图片等，使用者轻松点选即可生成统一美观的页面效果。
-
企业信息化一步跨入移动互联时代
基于活字格的信息系统是纯 Web 架构，用户可随时随地通过多种终端访问；同时，活字格也提供移动 APP 和微信公众号集成，帮助企业一步跨入移动互联时代。
深度集成，助力行业软件二次开发
ERP、OA等行业软件在实施和使用过程中，难免会遇到与企业个性化需求不符的情况，亟需对其进行二次开发以适配企业需求。传统的纯代码二次开发，需要开发者具备较强的软件开发技能，门槛高，效率低。
借助活字格低代码开发平台，行业软件交付团队或企业用户无需编码，即可根据企业的个性化需求快速开发出行业软件中不具备的功能，然后利用活字格的单点登录等系统集成功能，通过简单配置就能与行业软件实现对接。此时，最终用户在ERP等行业软件中直接访问用活字格开发出的Web应用，无需重复登录，甚至完全感觉不到活字格的存在。与传统的二次开发相比，使用活字格做二次开发门槛更低，更省时省力。
开放的平台，强大的扩展性和系统集成能力
-
开放的插件机制
-
支持 JavaScript 编程
3.2 系统功能 - 关键代码
3.2.1 Python Selenium 获取数据关键代码
driver = util.get_browser() #没有防爬的，就不要用代理
random.shuffle(new_keywords) # 使用前打乱一下顺序，防止页面卡在某个关键字，后续的就不再爬取
for key in new_keywords:
# 指定加载页面
driver.get(row[0])
print("等待10秒页面加载完毕")
wait = WebDriverWait(driver, 10)
time.sleep(10) # 等待5秒，担心刷新太快，被封
repeat_count = 0
# 最多翻3页
for i in range(3):
if repeat_count >= 2: # 有两条记录重复，则该关键字放弃，不再搜索
break
print("开始输入：" + key)
input = driver.find_element(By.ID, 'search-text')
driver.execute_script("arguments[0].value = '';", input)
input.send_keys(key)
input.send_keys(webdriver.Keys.RETURN)
wait = WebDriverWait(driver, 5)
time.sleep(5)
#仅搜标题
radiobutton = driver.find_element(By.NAME, 'radiobutton')
driver.execute_script("arguments[0].click();", radiobutton)
time.sleep(5)
datatr_elements = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.XPATH, '//*[@class="datatr"]')))
print("获取到%d条数据" % len(datatr_elements))
for datatr in datatr_elements:
if repeat_count >= 2:
break
span_element = datatr.find_element(By.XPATH, './td[2]/a/span')
print(span_element.text) # 打印标签内容
a_href = span_element.find_element(By.XPATH, '..')
print(a_href.get_attribute("href"))
write_return = db.write_最新公告(span_element.text, a_href.get_attribute("href"), row[1])
if write_return == common.ret_repeat:
repeat_count = repeat_count + 1
3.2.2 IP 代理及优化策略
有的网站会防爬禁用IP，需要不断更换新的IP。IP代理采用的 https://ip.huashengdaili.com/，是收费服务。
def get_proxy():
try:
# 代理服务器信息
url = "https://mobile.huashengdaili.com/servers.php?session=U18f9c9d00825174137--fa112b2c2794b6b205323af548be5919&time=10&count=1&type=text&only=1&pw=no&protocol=http&ip_type=tunnel&format=city,time&dev=web"
response = requests.get(url)
if response.status_code == 200:
if is_valid_ip_port(response.text):
print(f"新的代理:{response.text}")
return "http://" + response.text
else:
print("请求发生错误：", response.text)
return ""
else:
return ""
except requests.RequestException as err:
# 捕获requests库抛出的所有异常
print("请求发生错误：", err)
return ""
except Exception as err:
# 捕获其他可能的异常
print("发生未知错误：", err)
return ""参考我的另一篇文章：5分钟上手IP代理服务_代理ip 每个5分钟 如何编写代码-CSDN博客
3.3 Mysql关系型数据库
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for 表_招聘管理_企业管理
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_企业管理`;
CREATE TABLE `表_招聘管理_企业管理` (
`ID` bigint NOT NULL AUTO_INCREMENT,
`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`BOSS直聘` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`智联招聘` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`是否启用` tinyint(1) NULL DEFAULT 0,
`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`FGC_CreateDate` datetime NULL DEFAULT NULL,
`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`FGC_LastModifyDate` datetime NULL DEFAULT NULL,
`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
PRIMARY KEY (`ID`) USING BTREE,
UNIQUE INDEX `ID`(`ID` ASC) USING BTREE,
UNIQUE INDEX `企业名称`(`企业名称` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 101 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;
-- ----------------------------
-- Table structure for 表_招聘管理_招聘信息
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_招聘信息`;
CREATE TABLE `表_招聘管理_招聘信息` (
`ID` bigint NOT NULL AUTO_INCREMENT,
`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`招聘职位` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`区域` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`工作地址` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`薪资` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`入库时间` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`FGC_CreateDate` datetime NULL DEFAULT NULL,
`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`FGC_LastModifyDate` datetime NULL DEFAULT NULL,
`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
PRIMARY KEY (`ID`) USING BTREE,
UNIQUE INDEX `ID`(`ID` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 457 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;
-- ----------------------------
-- Table structure for 表_招聘管理_职位数量
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_职位数量`;
CREATE TABLE `表_招聘管理_职位数量` (
`ID` bigint NOT NULL AUTO_INCREMENT,
`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`职位数量` bigint NULL DEFAULT NULL,
`日期` datetime NULL DEFAULT NULL,
`企业ID` bigint NULL DEFAULT NULL,
`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`FGC_CreateDate` datetime NULL DEFAULT NULL,
`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
`FGC_LastModifyDate` datetime NULL DEFAULT NULL,
`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,
PRIMARY KEY (`ID`) USING BTREE,
INDEX `企业ID_index`(`企业ID` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 61 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;
四 后记
本次分享结束，欢迎讨论！QQ微信同号： 6550523
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
