- 博客(468)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 程序员必备！23款在线工具集合，提升开发效率的利器
程序员工具箱是一个基于Vue.js开发的在线工具集合网站，从上线至今，已经服务了非常多的开发者。网站采用现代化的技术栈，界面简洁美观，功能强大实用。这个程序员工具箱我自己也一直在用，希望能为广大的开发者朋友提供便利。无论是日常开发还是学习研究，这些工具都能帮你提高效率，节省时间。如果你觉得有用，请分享给更多的开发者朋友！🚀。
2025-08-19 21:41:06
1837
5
原创 黑夜力作-Web爬虫入门与实战精讲-专栏导读
本专栏本着从零到一，全面覆盖，实战为王，学以致用。本专栏从爬虫的基本概念讲起，逐步深入到HTTP协议、请求与响应、XPath等，再到Selenium、BeautifulSoup等主流爬虫框架的应用，最后手把手开发出电商订单抓取实战项目，让你轻松掌握Web爬虫的奥秘，下面是专栏主要的一些内容展示，欢迎大家订阅，分享，探讨。
2024-08-21 12:02:12
2241
5
原创 Linux命令200例专栏导读：实用指南助你成为Linux大师
欢迎来到我们的Linux命令专栏！本专栏旨在帮助读者更深入了解和掌握Linux操作系统中各种有用的命令。无论是初学者还是有一定经验的用户，这里都会有适合你的内容。我们将从基础的命令如cd、ls等开始，逐步介绍更高级和复杂的命令，如grep、sed、awk等。通过本专栏，您将学会如何使用命令行交互式地管理文件和目录、进行文本处理、查找和过滤数据以及其他实用操作。让我们一起开始这个Linux命令之旅吧！无论你是系统管理员、开发者、运维工程师、数据分析师还是普通用户，这个专栏都将为你提供必备的技能和知识。
2023-08-05 12:04:29
1175
30
原创 第1.7节：机器学习 vs 深度学习 vs 强化学习
在人工智能的广阔领域中，机器学习（Machine Learning）、深度学习（Deep Learning）和强化学习（Reinforcement Learning）是三个核心概念。它们之间既有联系又有区别，常常让人感到困惑。本文将深入解析这三个概念，帮助大家理解它们的本质、特点和应用场景。
2025-08-27 20:30:00
460
原创 第1.6节：什么是人工智能？
人工智能（Artificial Intelligence，AI）是当今科技领域最热门的话题之一。从智能手机的语音助手到自动驾驶汽车，从医疗诊断到金融风控，AI技术已经渗透到我们生活的方方面面。但是，到底什么是人工智能？它的本质是什么？它与人类智能有什么区别？这些问题看似简单，实则深奥。
2025-08-27 08:00:00
836
原创 第1.5节：大模型时代（2020至今）
摘要： 2020年至今，AI进入大模型时代，以GPT-3和ChatGPT为标志，多模态、开源生态和AGI探索成为核心趋势。GPT-3的1750亿参数突破展示了少样本学习能力，ChatGPT则推动AI大众化应用。多模态模型（如GPT-4、DALL·E）融合文本与视觉，开源社区（LLaMA、Hugging Face）降低技术门槛。技术挑战包括计算成本、安全对齐，而社会影响涉及就业、伦理与监管。未来，AGI可能通过规模化、多模态和强化学习实现，重塑人机协作范式。大模型正成为基础设施，需平衡创新与责任。 （字数：1
2025-08-26 08:00:00
1126
原创 第1.4节：深度学习的突破（2010-2020）
【深度学习革命（2010-2020）】摘要：2010-2020年是AI发展的黄金十年，深度学习取得突破性进展。2012年AlexNet在ImageNet竞赛中获胜，开启了计算机视觉革命；2016年AlphaGo战胜李世石，展现了强化学习潜力；2017年Transformer架构和2018年BERT、GPT系列模型彻底改变了自然语言处理。生成对抗网络（GAN）在图像生成领域大放异彩，深度学习技术广泛应用于互联网、医疗、金融等行业。开源框架TensorFlow和PyTorch推动了技术民主化。尽管面临计算成本、
2025-08-25 08:30:00
979
原创 第1.3节：AI寒冬与复兴（1980-2010）
摘要： 1980-2010年是AI发展的关键转折期，经历了第二次AI寒冬与缓慢复兴。专家系统因知识获取难、维护成本高而衰落，但统计学习、神经网络等技术为复兴奠定基础。互联网时代，PageRank算法和推荐系统推动了AI的实用化，而深度信念网络和卷积神经网络（如LeNet-5）成为深度学习的萌芽。这一时期启示我们：AI发展需长期技术积累、数据驱动、应用结合及持续投入。这段历史为现代AI爆发提供了算法、数据和工程经验，彰显了技术演进的曲折与韧性。 （字数：150）
2025-08-24 10:03:46
793
原创 第6章-08-【实战】一键流程串联与配置说明
本文介绍了电商订单数据处理的一键化流水线实现方案。该方案通过pipeline.py脚本串联五大核心功能：自动登录保存Cookie、订单数据CSV导出、MySQL数据库写入、统计报表生成以及邮件自动推送。文章详细说明了目录结构、依赖安装、配置准备（需复制并修改config.json）和运行方式，同时列出了预期输出结果和常见问题解决方案。针对二次开发，建议增加动态参数、扩展报表维度或接入调度平台。本方案适用于需要自动化处理电商数据的场景，相关代码已收录于《Web爬虫入门与实战精讲》专栏。
2025-08-24 08:15:00
16
原创 第6章-07-【实战】电商订单抓取之数据报告推送到邮箱
【摘要】本文介绍如何通过SMTP发送包含附件的日报邮件，实现自动化报告推送。作者提供完整的Python实现代码，支持SSL加密、多收件人、异常重试机制等关键功能。文章涵盖SMTP服务器配置（QQ/163/企业邮箱）、邮件内容构建（正文+多附件）、发送重试策略等核心环节，并给出Windows/cron定时任务部署建议。代码可直接用于业务场景，实现爬虫数据报告的自动推送，适合需要定期发送分析报表的技术人员参考。（148字）
2025-08-24 08:00:00
14
原创 第1.2节：早期AI发展（1950-1980）
各位朋友大家好，欢迎来到我的最新专栏《智能时代：人人都要知道的AI课》，人工智能已经不再是科幻电影中的遥远概念，而是正在深刻改变我们每个人的生活。从ChatGPT的爆火，到自动驾驶的普及，从智能家居的便利，到医疗AI的突破——AI技术正在以惊人的速度重塑我们的世界，今天我们讲【早期AI发展（1950-1980）】。
2025-08-23 20:29:22
1035
原创 第6章-06-【实战】电商订单抓取之生成数据报告
这篇教程介绍了如何基于MySQL订单数据生成多维度业务报告。文章首先列出需要统计的关键指标（总订单数、销售额及按天/店铺/状态分组统计），然后提供了对应的SQL聚合查询示例。通过Python脚本实现从数据库查询数据、导出CSV报表和生成Markdown格式摘要的功能，包含完整的代码实现（数据库连接、数据查询、CSV导出和Markdown报告生成）。最后给出扩展建议，如增加筛选条件、更多统计维度和可视化图表等。该方案适合需要定期生成业务分析报告的场景，能有效提升数据统计与汇报效率。
2025-08-23 08:15:00
16
原创 第6章-05-【实战】电商订单抓取之存储数据到MySQL
本文介绍了如何将下载的订单CSV数据解析并存储到MySQL数据库。主要内容包括：假设CSV包含订单ID、时间、买家、金额等字段；提供建表SQL语句，建议创建主键、唯一索引和普通索引；使用PyMySQL实现CSV解析和批量插入，包含类型转换、数据清洗和去重更新（upsert）功能；给出性能优化建议，如批量写入、多进程处理等；强调数据质量注意事项，如金额精度、时间格式和异常处理。文章适合需要实现电商订单数据入库的开发人员参考。
2025-08-23 08:00:00
12
原创 第1.1节：图灵测试与AI的诞生
摘要： 本文回顾了人工智能的起源，聚焦于1950年艾伦·图灵提出的"图灵测试"及其深远影响。图灵通过设计"人类与机器对话测试"，将抽象的智能问题转化为可操作的评估标准，奠定了AI研究的理论基础。文章梳理了图灵测试的核心思想、历史意义与现代争议，同时介绍了早期AI研究（如ELIZA、达特茅斯会议）的关键进展。尽管图灵测试存在语言局限性和欺骗可能，但它仍是衡量AI智能的重要里程碑。随着ChatGPT等技术的发展，文章提出对现代AI评估体系的思考，包括常识推理、多模态能力等
2025-08-22 21:30:20
891
原创 第6章-03-【实战】电商订单抓取之用WebDriver下载文件
摘要：Selenium实现网页数据自动导出与下载 本文介绍使用Selenium模拟用户操作实现网页数据自动导出的完整方案。作者为电商行业技术专家，分享了稳定下载的关键配置：通过Chrome选项设置默认下载目录、禁用下载确认弹窗；提供等待文件下载完成的轮询机制代码；并给出完整的点击导出按钮实现流程。 文中包含三个核心部分：1)下载策略设计，2)Chrome浏览器配置代码，3)导出按钮点击与文件等待处理实现。特别针对电商后台等需要登录和复杂交互的场景，提供了复用登录会话、处理二次确认等实用技巧。 该方案已在实际
2025-08-22 08:00:00
13
原创 第6章-04-【实战】电商订单抓取之用Requests下载文件
本文介绍了如何通过Python使用Requests库下载电商平台订单CSV文件。主要内容包括：1）加载已保存的登录Cookie；2）封装会话管理并加入重试机制；3）实现流式下载大文件功能；4）处理"先创建导出任务再下载"的流程；5）提供完整示例代码。文章详细讲解了两种下载方式：直接GET请求下载和分步式任务下载，并包含异常处理和超时控制。适用于需要批量导出电商订单数据的开发场景，代码可直接集成到爬虫项目中。
2025-08-22 08:00:00
13
原创 第6章-02-【实战】电商订单抓取之找到订单下载csv路径
《订单数据导出接口定位指南》摘要：本文详细介绍使用Chrome开发者工具定位电商平台订单CSV导出接口的实操方法。通过Network面板分析请求URL、方法、Header及参数，指导开发者将抓包信息转化为可编程配置（含Python示例）。文章重点解析典型导出请求形态（GET直链/POST任务型）、CSRF防护处理及大数据量分页注意事项，为后续自动化下载提供技术依据。适用于需要批量导出订单数据的开发场景，建议配合专栏《Web爬虫入门与实战精讲》系统学习。（149字）
2025-08-21 08:15:00
14
1
原创 第6章-01-【实战】电商订单抓取之模拟登录
本文介绍了使用Selenium WebDriver实现电商网站登录的完整流程，重点讲解了账号密码登录方案。文章包含登录方案总览、前置准备、元素定位技巧、代码实现示例以及扫码登录和人工兜底策略。通过演示如何保存登录后的Cookie供后续请求复用，作者提供了稳定可靠的登录解决方案。针对常见问题如验证码处理、登录失败情况给出了实用建议，强调扫码登录和Cookie复用的重要性。本文是电商数据抓取系列教程的一部分，适合对Web爬虫感兴趣的开发者参考学习。
2025-08-21 08:00:00
13
原创 第5章-02-数据存储之Python操作MySQL实现增删改查
本文介绍了使用PyMySQL进行MySQL数据库操作的核心方法，涵盖从基础连接到高级特性的完整实现。主要内容包括：数据库连接池封装、CRUD操作示例（单条/批量插入、查询分页、更新删除）、事务控制与回滚机制，以及索引优化建议。文中提供了可直接复用的代码片段，特别适合爬虫数据存储场景，包含去重写入、批量操作等实战技巧，帮助开发者快速实现数据持久化。通过事务示例演示了库存转移的原子性操作，确保数据一致性。附建表SQL和完整Python实现，可作为MySQL操作的标准参考模板。
2025-08-20 08:15:00
12
原创 第4章-12-更好避免被风控到的一些经验
Web爬虫反风控实战指南 本文总结了避免Web爬虫被风控系统检测和封禁的核心策略： IP管理：采用多层级代理架构（住宅/数据中心/移动IP混合），实现智能轮换和冷却机制 指纹伪装：使用undetected-chromedriver等工具，结合Canvas、UserAgent等指纹随机化技术 行为模拟：实现随机滚动、鼠标移动、点击等人类交互模式，采用正态分布间隔请求 高级架构：分布式爬虫系统配合动态解析技术，应对反爬机制 关键技巧包括多类型代理混合使用、浏览器指纹修改、请求间隔随机化、分布式任务调度等。通过综
2025-08-20 08:00:00
16
原创 第5章-01-数据存储之Python中MySQL相关操作的库安装
本文介绍了配置Python与MySQL交互环境的完整流程。首先对比了PyMySQL、mysql-connector等常用库的优缺点，推荐使用PyMySQL作为主要驱动。详细说明了安装步骤、连通性测试方法，并重点讲解了字符集设置（utf8mb4）和时区配置等关键环节。针对MySQL 8认证失败等常见问题提供了解决方案，最后给出了依赖清单示例。文章为爬虫数据存储提供了稳定的基础设施搭建指南，适合各平台开发者快速配置开发环境。
2025-08-20 08:00:00
11
原创 第4章-11-给Requests加上代理IP进行工作
摘要 本文详细介绍了如何为Python Requests库设置代理IP，包括HTTP/HTTPS和SOCKS代理的配置方法、代理认证方式以及代理池管理策略。主要内容涵盖：代理IP的作用（避免封禁、突破限制、提高稳定性）、代理类型选择（HTTP/HTTPS/SOCKS）、基本代理设置、认证实现（基础认证和URL认证）、代理池的创建与轮换机制，以及从API获取代理和健康检查等高级技巧。通过示例代码展示了完整的代理使用流程，帮助开发者提升爬虫的匿名性和可靠性。文章还提供了代理轮换和异常处理的最佳实践，适合各类网络
2025-08-19 08:15:00
209
原创 第4章-10-给WebDriver加上代理IP进行工作
本文介绍了为WebDriver添加代理IP的技术方案，旨在提升爬虫的匿名性和稳定性。主要内容包括：1）代理IP的必要性，包括避免IP封禁、访问地理限制内容和提高匿名性；2）代理类型对比，分析HTTP/HTTPS代理和SOCKS代理的适用场景；3）具体实现方法，提供Chrome浏览器设置代理和认证代理的完整代码示例；4）代理轮换策略，涵盖简单随机轮换和API智能获取方案；5）代理有效性检测方法。文章通过实用代码片段展示了WebDriver集成代理IP的全流程，为开发者提供了可落地的技术解决方案。
2025-08-19 08:00:00
143
原创 第4章-09-监听Chrome Network中的接口请求与json返回数据
本文介绍了如何通过Chrome开发者工具的Network面板监听和分析AJAX请求，为Web爬虫开发提供数据获取方法。主要内容包括：1) 打开开发者工具并切换至Network选项卡；2) Network面板的功能区域和请求类型标识；3) 筛选XHR请求并分析请求详情；4) 使用Python模拟请求的代码示例；5) 电商网站商品数据抓取的实战案例，包含分页获取数据和保存结果的完整流程。文章提供了详细的代码实现，帮助开发者快速掌握基于Network请求分析的爬虫开发技术。
2025-08-18 19:30:00
22
原创 第4章-04-用WebDriver页面元素操作
本文介绍了Selenium WebDriver中常用的页面元素操作方法，包括定位元素、输入文本、点击操作、下拉菜单选择、复选框/单选框操作等基础功能，以及拖拽、悬停、滚动等高级操作。文章还详细讲解了显式和隐式等待机制，并通过一个完整的登录表单实战示例，展示了如何将各类元素操作组合应用。这些技巧能够有效提升自动化测试和网络爬虫的开发效率，为Web自动化操作提供全面指导。
2025-08-18 19:00:00
167
原创 华为云Flexus+DeepSeek征文｜DeepSeek-V3/R1开通指南及使用心得
最近华为云又有新动作了，今天我们要研究的产品是ModelArts Studio大模型即服务平台，据悉，ModelArts Studio 是华为云面向企业级AI开发推出的 一站式大模型即服务（MaaS）平台，专注于降低大模型技术的应用门槛。
2025-06-07 08:38:38
941
5
原创 处理requested offset not available on the broker: Broker: Offset out of range (broker 1001)
最近用到sentry无法收集与统计数据，结果看到了几个容器始终是restarting的状态，然后看了一下容器内部的日志。
2025-03-13 19:19:06
465
原创 CentOS7上面搭建sentry24版本详细教程与踩坑记录
这次搭建`sentry24.8`这个版本，这是一个比较新的版本，安装过程中多去`github`以及`stack overflow`上面去寻找问题，由于百度上面可以搜索到的内容很有限，所以本次将一些踩坑记录都记录一下。
2025-03-13 19:16:46
1505
5
原创 Python使用Pillow库压缩图片并调整大小实战
使用Pillow库来压缩图像并重新调整其大小是一个简单而有效的方法，可以显著优化图像加载速度和存储效率。通过调整图像大小和压缩质量，你可以在不牺牲太多图像质量的情况下，显著减小图像文件的大小。希望这篇文章能帮助你理解如何使用Pillow库来压缩图片并重新调整其大小。如果你有任何问题或需要进一步的帮助，可以评论区留言！
2024-10-24 19:21:15
642
原创 10·24征文 | 向代码世界的筑梦者致敬，只要你敢勇敢爱自己，就总会有人爱你
我这篇文章中，首先向大家科普了程序员群体，包括编程世界的发展，程序员群体的数量，以及如何看待程序员这个群体等内容，后面通过JavaScript构建的3维立体“1024程序员节快乐”标语祝大家节日快乐。程序员是一个平凡而伟大的群体，他们穿梭在数字与代码的世界里，用一行行精妙的指令构建出虚拟与现实的桥梁。在大多数人眼中，屏幕上的光标闪烁、键盘的敲击声，或许只是日复一日的重复与枯燥，但对于程序员而言，这却是探索未知、创造未来的神圣仪式。程序员的路并非一帆风顺。
2024-10-24 12:17:42
7262
50
原创 第4章-03-用WebDriver获取页面Cookie
使用Selenium WebDriver获取页面Cookie并将其保存到文件是一个常见的需求，尤其是在进行Web自动化测试或爬虫开发时。以下是一个使用Python和Selenium WebDriver来获取页面Cookie并将其保存到文本文件的具体例子。
2024-09-07 08:07:44
433
原创 第4章-02-用WebDriver驱动浏览器页面截图
请注意，上面的示例代码中的需要你根据实际情况替换为ChromeDriver的实际路径。同样，保存截图的文件名（如）和路径也可以根据你的需要进行修改。方法直接将截图保存到文件系统，而（或）方法则返回截图的二进制数据或Base64编码的字符串，让你能够更灵活地处理截图数据。推荐您订阅本专栏其他内容，Web爬虫入门与实战精讲，相信不会让您失望。如果你对上面的功能有疑问，随时欢迎与我交流。
2024-09-07 08:04:54
261
原创 第4章-01-学会从Chrome浏览器中Network
Chrome浏览器的Network工具是一个功能强大的网络调试工具，通过它可以查看和分析网页加载过程中的所有网络请求及其内容。
2024-09-04 22:30:18
808
原创 828华为云征文｜Flexus云服务器X实例赋能，用Python将微信公众号秒变智能聊天机器人
前面一些章节我们讲到了如何购买华为云flexusx实例，并且开启了一台4核12G的机器，今天我们继续开发一个极其实用的公众号程序，结合文心一言的消息自动回复的聊天功能，一起来体验AI的魅力。正值华为云828 B2B企业节盛惠之际，Flexus X实例的优惠活动异常诱人，强烈推荐您一探究竟。尤其是对于那些在追求极致算力性能的同时，也严格要求自建MySQL、Redis、Nginx等服务表现力的企业与开发者来说，这绝对是不容错过的绝佳机会！⭐⭐⭐点击此处体验⭐⭐⭐。
2024-09-04 22:23:08
6374
12
原创 第4章-05-用WebDriver下载页面csv到本地
在使用Selenium WebDriver下载CSV文件到当前目录时，需要注意几个关键点。首先，Selenium WebDriver本身并不直接处理文件下载，它主要用于模拟用户在浏览器中的操作。因此，要实现文件下载，通常需要通过浏览器设置来允许下载，并且可能需要额外的配置来确保文件被下载到特定的位置。不过，对于大多数现代浏览器（如Chrome），当使用Selenium WebDriver时，默认的下载行为可能会受到浏览器“无头模式”或特定安全策略的限制。
2024-09-01 12:42:05
301
原创 828华为云征文｜Flexus云服务器X实例Docker容器化实践，轻松搭建LNMP环境
本文我们通过Flexus云服务器X实例实现了Docker容器化实践，轻松搭建LNMP环境，实现了高效、灵活的Web服务部署。Docker简化了LNMP组件的部署与管理，提升了开发运维效率。Flexus云服务器X以其卓越的性能和可扩展性，为Docker容器提供了坚实的底层支持，助力企业快速构建稳定、安全的Web应用环境。
2024-09-01 10:53:34
7680
13
原创 第4章-06-让无头浏览器加载扩展插件
在使用Selenium WebDriver时，配置无头浏览器（如Chrome的无头模式）以加载扩展插件是一个相对高级的操作，因为它涉及到浏览器配置和扩展插件的兼容性。以下是一个详细的步骤说明，包括如何配置Chrome的无头浏览器以加载扩展插件：
2024-08-31 16:55:14
532
原创 第4章-07-将WebDriver获取的Cookie传递给Requests
在使用Selenium WebDriver获取了浏览器的Cookies之后，你可以将这些Cookies传递给requests库，以便在后续的HTTP请求中使用这些Cookies。这样做可以让你模拟浏览器会话，使得请求看起来像是从之前使用Selenium WebDriver控制的浏览器发出的。
2024-08-31 16:52:08
434
原创 第4章-08-用Python Requests库模拟浏览器访问接口
使用Python的Requests库模拟浏览器访问接口是一种非常常见的做法，特别是在进行网络爬虫、API测试或自动化脚本编写时。Requests库提供了简单易用的接口，让你能够发送HTTP请求并处理响应。以下是一个基本的示例，展示了如何使用Requests库模拟浏览器（实际上是HTTP客户端）访问一个Web接口。
2024-08-30 21:41:09
3665
原创 828华为云征文｜Flexus云服务器X，云上性能新飞跃，开启业务增长新纪元
在这个技术日新月异的时代，作为一名热衷于探索新技术、追求高效解决方案的技术博主，我始终站在云计算浪潮的前沿。今天，我将带大家一同体验华为云Flexus云服务器X的购买过程，从初步接触到深入管理，全方位解析这一云端之旅的每一个精彩瞬间。通过这次华为云Flexus云服务器X的购买体验，我深刻感受到了云计算技术的强大魅力和无限潜力。在未来的日子里，我将继续作为一名技术博主，不断探索和分享更多关于云计算的新技术、新应用和新趋势。如果你也对云计算感兴趣，不妨跟随我的脚步，一同踏上这场充满挑战与机遇的云端之旅吧！
2024-08-30 21:19:45
11799
13
Chrome扩展开发实战：网页图片抓取，打造专属自己的效率插件
2023-09-06
Css+Html仿ChatGpt聊天页面Demo
2023-08-04
Canvas实战开发一个二维折线图插件
2023-08-03
大牛练成记：用Javascript徒手写出一个日期选择插件
2023-08-02
用JavaScript和HTML实现聊天页面和功能
2023-07-30
一个maven构建的springMvc+mybatis项目基础架构
2016-03-11
JS使用WebSocket实现与Java图形界面（swing）进行通信
2018-09-12
jmeter-2.4.zip
2017-12-26
postman-4.1.2
2017-12-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人