zhousenshan-CSDN博客

加工是用于处理数据流的，所以要补充加工名，可以把该加工涉及到的数据流，在说明中标识出来，再在数据流名称所在的句子中，找。说明中的每一句话，都能与图中有对应关系，当把说明中的实体与数据流标识出来之后，容易缩小对应范围，找出纰漏。(2)检查图中每个加工，是否存在只有入没有出，或只有出没有入，或根据输入的数据无法产生对应的输出的情况。如：生成报告、发出通知、批改作业、记录分数，当然这只是普遍情况，也有例外，如物流跟踪、用户管理。存储的文字方面特征：“**文件”、“**表”、“**库”、“**清单”、“**档案”

2024-05-04 16:27:28 276

转载【新版】软考 - 系统架构设计师（总结笔记）

（5）数据库概念、数据模型、数据库模式、关系数据库、关系模型、关系运算、关系数据设计的基本理论、函数依赖、键/候选键、函数依赖的公理（Armstrong 公理）、规范化理论、模式分解（是否保持函数依赖&是否无损）、数据库设计、概念结构设计、E-R模型、 ER图两个不同实体的联系、概念结构设计的过程、逻辑结构设计、并发控制、事务的ACID特性、数据库的安全性、数据库备份与恢复、数据库性能优化、应用程序与数据库的交互、NoSQL数据库、分布式数据库、数据库优化技术、分布式缓存技术Redis。

2024-05-04 15:53:38 1727

转载「软考高级」系统架构设计精华知识点汇总

在执行交付计划之前，极限编程要求团队对系统的架构做一次预研（架构穿刺），当架构的初始方案确定后，就可以进入每次小版本的交付，每个小版本交付又被划分为多个周期相同的迭代，在迭代过程中，要求执行一些必须的活动，如编写用户故事、故事点估算、验收测试等。是一种近螺旋式的开发方法，提倡测试先行，将复杂的开发过程分解为一个个相对比较简单的小周期，通过交流、反馈、简单、勇气，开发人员和客户可以非常清楚开发进度、变化、待解决的问题、潜在的困难等，并根据实际情况及时的调整开发过程。

2024-04-05 08:41:59 5554 1

转载 AAA 分布式事务解决方案

本地事务在单个数据库上执行的事务，可以利用关系型数据库本身提供的事务特性来实现事务管理。事务的四大特性 ACID1. 原子性：事务是一个不可分割的执行单元，要么全部执行成功，要么全部回滚。2. 一致性：使数据库从一个一致性状态转变到另一个一致性状态。3. 隔离性：事务的执行是相互独立的，互不干扰。4. 持久性：事务的执行结果必须是持久化保存的，事务一旦提交，改变是永久的。事务并发执行的问题1. 丢失更新：[ 写-写 ]2. 读脏数据：[ 写-读 ] 读到尚未提交的数据。

2024-04-05 08:28:22 629

原创 BeautifulSoup4用法及示例

BeautifulSoup4 是一个用于解析 HTML 和 XML 文档的 Python 库，它能够从网页中提取数据，非常适合网络爬虫和数据抓取任务。运行程序后，在输入框中输入要抓取的网址，点击"抓取网页"按钮。"BeautifulSoup4 网页抓取工具"# 创建 BeautifulSoup 对象。程序将显示网页标题和所有链接。"请输入有效的URL地址"# 第一个 <p> 标签。# 所有 <p> 标签。显示网页标题和所有链接。# 获取href属性。# 发送HTTP请求。# 解析HTML内容。

2025-09-07 19:37:28 670

原创 python打包工具setuptools

其他包可以定义入口点，你的包可以去发现并加载这些入口点，从而实现灵活的插件架构。参数，你可以将模板、静态文件（如 CSS/JS）、配置文件等一并打包到分发包中。它的主要目的是让你能够轻松地打包你的 Python 项目，以便于分发和安装。）的基石之一，没有它，Python 的包管理不会像今天这样强大和便捷。），声明项目元信息（名字、版本、作者等）、依赖项、入口点等。元数据管理、依赖声明、自动包发现、创建命令行工具、插件系统。将你的代码、依赖、元信息等打包成一个可分发的格式。的文件夹），你无需手动列出它们。

2025-09-06 22:42:20 728

转载 Python与机器学习：Scikit-learn机器学习库简介和总结

简单易用：统一接口设计，快速上手功能全面：支持常用机器学习算法兼容性强：和 NumPy、Pandas、matplotlib 无缝协作文档完善：官方文档清晰全面。

2025-09-06 22:11:01 30

转载 ReflectionUtils反射工具：精要介绍与实战应用指南

是 Spring 框架提供的一个反射工具类，它封装了 Java 反射 API 的一些常用操作，使得我们能够更加方便、简洁地使用反射功能。。

2025-09-06 22:02:54 29

转载 Python机器学习10大经典算法的讲解和示例

为了展示10个经典的机器学习算法的最简例子，我将为每个算法编写一个小的示例代码。这些算法将包括线性回归、逻辑回归、K-最近邻（KNN）、支持向量机（SVM）、决策树、随机森林、朴素贝叶斯、K-均值聚类、主成分分析（PCA）、和梯度提升（Gradient Boosting）。我将使用常见的机器学习库，如 scikit-learn，numpy 和 pandas 来实现这些算法。为了展示10个经典的机器学习算法的最简例子，我将为每个算法编写一个小的示例代码。

2025-09-06 22:00:03 39

原创 Python中使用pandas读取数据库SQL数据

创建数据库连接引擎# 格式：数据库类型+驱动://用户名:密码@主机:端口/数据库名。推荐使用SQLAlchemy方式，因为它提供了更好的兼容性和更多的功能选项。# 对于SQLite（Python内置，无需安装额外包）：不要在代码中硬编码数据库密码，使用环境变量或配置文件。# 读取SQL查询结果到DataFrame。这是最通用和推荐的方法，支持多种数据库。：对于大数据集，考虑使用分块读取。# 从环境变量获取数据库配置。# 对于SQL Server。# 或者使用SQL表达式。# 分块读取大数据集。

2025-09-05 09:20:32 731

转载 SQLAlchemy详解

SQLAlchemy 是 Python SQL 工具包和对象关系映射器，为应用程序开发人员提供 SQL 的全部功能和灵活性。SQLAlchemy支持SQLite、PostgreSQLSQL Server等多种数据库。

2025-09-05 09:03:27 31

原创 Python爬虫常用框架

工具/框架类型特点适用场景Scrapy全能型框架功能强大、生态丰富、结构清晰、异步高性能中大型、结构化、高并发爬虫项目轻量级组合简单灵活、易上手、学习资料多初学者、小规模脚本、快速原型httpx现代HTTP库兼容Requests、支持异步和HTTP/2需要异步的高性能脚本，替代Requestsaiohttp异步HTTP库极致性能、纯异步超大规模、高并发I/O密集型爬虫浏览器自动化模拟真人操作、可处理任何JS渲染页面，Playwright更现代更快复杂JS渲染、登录验证等（最后手段）

2025-09-04 14:24:21 718

原创第一次用pyQt6制作JSON小工具

Qt Designers是一个单独的exe文件，可以从官网下载。我们设计的UI图保存后是一个.ui结尾的文件。

2025-09-02 17:04:48 237

原创 Python 打包whl格式介绍

whl 文件可以是特定于平台的（如 cp39-cp39-win_amd64.whl）。当你希望全世界的人都能通过 pip install your-package-name 来安装你的库时，你必须将它打包成源代码分发版（sdist，通常是 .tar.gz）和构建分发版（bdist，最主要的就是 .whl）并上传到 PyPI。只有当你的包是纯 Python 且没有任何平台特定的代码时，源码包（.tar.gz）才作为备用选项存在，但即便如此，提供 .whl 文件仍然是更好的选择。是否支持跨平台是。

2025-09-02 14:52:18 895

转载 pyinstaller---Python代码的打包神器，一键将python代码打包成exe可执行文件

获取可执行文件所在目录 BASE_DIR = os.path.dirname(os.path.abspath(sys.argv[0])) print(BASE_DIR) with open(os.path.join(BASE_DIR,'info.txt'),'r',encoding='utf-8') as f1: data = f1.read()打包成一个文件，并不代表只是单独的一个文件，当我们执行程序时，也会临时生成多个文件，只是执行完就删除了，我们无感知。当我们的脚本有依赖的文件时，我们打成一个包。

2025-08-31 19:58:55 37

转载 python如何setuptools

最后，通过运行python setup.py sdist命令，你可以生成一个分发包，这样其他人就可以轻松安装和使用你的项目。使用setuptools，开发者可以定义项目的元数据、依赖项以及其他配置，确保其他用户能够轻松安装和使用他们的代码。在这个例子中，name和version分别定义了项目的名称和版本号，packages指定了要包含的Python包，而install_requires则列出了项目的依赖项。setuptools支持定义和管理项目的依赖项，确保在安装项目时所需的库能够自动安装。

2025-08-31 19:56:11 29

转载 PyQt5 图形界面-用Qt Designer来设计UI界面，并转化为python代码运行

Qt Designer 是 Qt Creater 程序里的一个功能。PyQt5是把 Qt Designer 设计的界面转化为python代码的库。下面来讲Qt Designer的使用。

2025-08-31 19:49:36 67

转载 python做的项目如何打包

在Python中，打包项目通常是将项目的代码、依赖项和必要的元数据打包成一个分发格式，如Wheel或Source Distribution，以便于发布和分发。在实际项目中，选择合适的打包方式可以提高项目的可维护性和分发效率。在这个示例中，我们使用setuptools中的setup函数来定义项目的元数据和配置信息，包括项目名称、版本、描述、作者信息、项目主页、许可证、依赖项等。未来，Python的打包工具和方法可能会继续发展和改进，建议持续关注相关工具和技术的更新，以便采用最新、最优的打包和发布方式。

2025-08-31 19:35:12 27

转载使用Numpy从零实现神经网络前向传播、反向传播、迭代训练等主要过程

到此整个从零实现神经网络前向传播、反向传播、迭代训练过程就结束了。通过上述内容你应该了解了神经网络的基本训练过程，包括前向传播、反向传播以及梯度下降。虽然梯度下降是一种有效的优化算法，但它也存在一些局限性。其中一个主要问题是局部最优解。由于梯度下降算法是沿着损失函数的梯度下降，如果损失函数是非凸的，存在多个山峰和山谷，算法可能会陷入局部最优解，而不是全局最优解。不过不用过于担心，实际我们训练网络模型时使用的Adam优化器，已经结合了动量和自适应学习率，或者RMSprop。

2025-08-10 17:06:25 51

转载 Python与机器学习：Scikit-learn机器学习库简介和总结

简单易用：统一接口设计，快速上手功能全面：支持常用机器学习算法兼容性强：和 NumPy、Pandas、matplotlib 无缝协作文档完善：官方文档清晰全面。

2025-08-10 17:04:55 108

转载传统程序员对机器学习的理解

作为Java程序员出生的我，最近从零手写了一个大模型（如果你对这个感兴趣，可以看文末的介绍），让我对机器学习有了新的认识，今天借这篇文章来聊聊我理解的机器学习。

2025-08-10 17:03:51 67

转载 Python数据分析库 Pandas 十个高频操作

【代码】Python数据分析库 Pandas 十个高频操作。

2025-06-15 10:15:52 51

原创 Pandas中常用函数

如果使用函数，则将该函数应用于每个元素。| **方向** | 垂直（行）或水平（列） | 总是水平合并（增加列） |- **用途**：基于一个或多个键（key）执行数据库风格的合并（类似SQL的JOIN操作）- 当需要**简单堆叠**数据（行或列方向）且**不需要键匹配**时 → 用`concat`- **用途**：主要用于沿轴（行或列）简单堆叠/连接多个DataFrame或Series。- 当需要**基于某些列的值关联**两个数据集时 → 用`merge`

2025-06-08 09:36:36 553

转载 pandas的apply函数介绍及用法详解

apply函数是`pandas`里面所有函数中自由度最高的函数。使用时，通常放入一个lambda函数表达式、或一个函数作为操作运算，官方上给出DataFrame的。是`pandas`里面所有函数中自由度最高的函数。函数的时候要自己传递参数，代码中显示的三种传递方式都行。的数据结构传入给自己实现的函数中，我们在函数中实现对。该函数最有用的是第一个参数，这个参数是函数，相当于。有时候，我们想给自己实现的函数传递参数，就可以用的。这个函数需要自己实现，函数的传入参数根据。不同属性之间的计算，返回一个结果，则。

2025-05-31 16:08:38 166

转载使用Pandas进行数据分析与处理

通过对数据的导入、清洗、转换和分析，我们可以更好地理解和利用数据，从而做出更准确的决策和预测。Pandas是一个功能强大的数据分析工具，它提供了丰富的数据结构和数据处理函数，使我们能够轻松地对数据进行清洗、转换和分析。在开始对数据进行处理之前，我们需要先了解数据的基本信息。在处理缺失值时，我们可以选择删除包含缺失值的行或列，或者用其他值来填充缺失值。数据清洗是数据分析的第一步，它包括处理缺失值、异常值、重复值等。描述性统计是对数据进行基本的统计分析，包括计数、求和、平均值、中位数、最小值、最大值等。

2025-05-25 19:37:49 65

转载 UML时序图详解

本篇介绍了UML时序图的基础知识，并通过visio绘制一个物联网设备WIFI配网的UML时序图实例，来介绍UML时序图的画法与所表达的含义。异步消息的接收者和发送者是并发工作的。消息的发送者把控制传递给消息的接收者，然后停止活动，等待消息的接收者放弃或者返回控制。，代表时序图中对象执行一项操作的时期, 表示该对象被占用以完成某个任务，以一个垂直的窄的矩形表示。步骤一：文件----选项----高级----常规-----勾选“以开发人员模式运行”，可根据不同的条件，执行不同的交互，类似于if-else语句。

2025-05-18 10:42:15 555

转载 Ping/Echo与心跳检测的区别

1.1 什么是Ping/EchoPing是一种基于ICMP（Internet Control Message Protocol，互联网控制消息协议）的网络诊断工具，主要用于测试网络设备之间的连通性和响应时间。它通过向目标设备发送一个ICMP Echo请求（Echo Request），目标设备收到后会返回一个ICMP Echo应答（Echo Reply），从而让发送方得知目标设备的状态和响应速度。Ping的典型用法为：ping 目标IP地址。

2025-05-18 10:37:50 311

转载 Scrum基础：框架、角色、价值观及实践

Scrum的创始人从橄榄球中的“Scrum（密集争球）”场景中汲取灵感，将其应用于软件开发中，强调团队协作及快速推进。Scrum的核心创始人包括Ken Schwaber和Jeff Sutherland，他们共同撰写了《敏捷软件开发：Scrum》一书，奠定了Scrum框架的基础。本文将从Scrum的起源、角色、工件、事件及价值观等方面，深入解析Scrum框架的运作机制。Scrum是迭代式框架，Kanban是拉式系统，Scrum有固定时间盒，Kanban无固定时间盒。Scrum的时间盒概念是什么？

2025-05-17 08:26:32 112

原创 AAA GitOps详解

GitOps = IaC + Git + CI/CD，即基于 IaC 的版本化 CI/CD。它的核心是使用 Git 仓库来管理基础设施和应用的配置，并且，你从其他地方修改配置（比如手动改线上配置）一概不予通过。Git 仓库中的声明式配置描述了目标环境当前所需基础设施的期望状态，借助于 GitOps，如果集群的实际状态与 Git 仓库中定义的期望状态不匹配，Kubernetes reconcilers 会根据期望状态来调整当前的状态，最终使实际状态符合期望状态。

2025-05-03 09:09:52 1313 1

转载 Istio 服务注册与发现

Pilot 组件会从各个 Service Registry，比如 Kubernetes 中的 Service 和 Consul 中注册的服务，采集可用的服务数据到 Istio 中，并将这些服务转换为 Proxy 可理解的标准服务格式，下发到 Proxy，同时下发的还有用户预先配置的路由规则和流量控制策略。在被代理的应用根据服务标识发起 HTTP 通信时，Proxy 将会从拦截的网络请求中根据服务标识获取对应的服务数据，并根据下发的路由规则选择合适的实例转发请求。这种集成方式的业务流程参见图3中的蓝色箭头。

2025-05-02 20:55:55 154

转载 Istio流量管理

为了在网格中导流，Istio 需要知道所有的 endpoint 在哪以及它们属于哪些服务。为了定位到 service registry（服务注册中心）， Istio 会连接到一个服务发现系统。例如，如果您在 Kubernetes 集群上安装了 Istio，那么它将自动检测该集群中的服务和 endpoint。使用此服务注册中心，Envoy 代理可以将流量定向到相关服务。大多数基于微服务的应用程序，每个服务的工作负载都有多个实例来处理流量，称为负载均衡池。

2025-05-02 20:39:35 115

转载 Istio微服务入门---通过istio部署微服务实现灰度发布(15)

官方文档：https://istio.io/docs/concepts/what-is-istio/中文官方文档：https://istio.io/zh/docs/concepts/what-is-istio/Github 地址：https://github.com/istio/istio/releases官当解释： An open platform to connect, secure, control and observe services.

2025-05-02 20:38:23 322

转载什么是数据库触发器？

触发器是一种数据库对象，它与表或视图关联，在特定的事件发生时自动执行预定义的动作。自动化业务规则和逻辑。强制数据完整性。记录审计日志。维持数据一致性。

2025-05-01 10:06:54 347

转载「系统分析师第二版」微服务系统分析与设计

服务是一种开发软件的架构和组织方法，它将大型应用程序拆分成一系列小型、自治的服务，每个服务都有自己的独立部署、运行和维护，并通过轻量级通信机制相互协作，从而形成一个整体的系统。微服务的优势和特征1. 独立性和自治性将大型应用拆分为多个小型服务，每个服务都是独立的，可以对其中的每个组件服务进行开发、部署、运营和扩展，而不影响其它服务的功能。2. 服务单一职责每个服务专注于解决一个特定的业务问题，具有明确的职责范围，保持服务的内举行和可维护性。3. 服务松耦合。

2025-04-28 09:21:02 77

转载测试基础知识

设计原则：先设计一个新的测试用例，使其尽可能多的覆盖尚未被覆盖的有效等价类，重复这一步，直到所有的有效等价类都被覆盖为止；然后设计一个新的测试用例，使其覆盖一个尚未被覆盖的无效等价类，重复这一步，直到所有的无效等价类被覆盖为止。总之，软件测试是软件开发过程中不可或缺的一部分，通过不同的测试阶段、测试策略和测试用例设计方法，可以有效地发现软件中的缺陷，提高软件的质量和可靠性。例如，对于一个输入年龄的程序，有效等价类可以是 0 到 150 之间的整数，无效等价类可以是负数、大于 150 的数、非整数等。

2025-04-28 09:14:22 119

转载【Java DateTime大揭秘】Localdate让你成为日期时间处理的大师

在Java的世界里，时间是一切程序的基石。自从Java 8引入了新的日期和时间API后，LocalDate类就成为了处理日期的必备神器。LocalDate提供了丰富的方法来处理不带时间的日期，它的使用不仅能够让我们的时间处理更加精确，还能让代码更加简洁易懂。本文将带你深入了解LocalDate的20个常用方法，让你成为Java时间处理的大师。

2025-04-05 10:42:45 172

转载别再用jodatime了!全网最权威Java8日期时间类LocalDate、LocalDateTime详解

Java SE 8在java.time中附带一个新的日期和时间API，为开发人员提供了大大改善的安全性和功能。新的API很好地建模了该领域，并提供了用于对各种开发人员用例进行建模的大量类。

2025-04-05 10:37:30 107

转载 Python库学习(十四):ORM框架-SQLAlchemy

SQLAlchemy是一个用于Python的SQL工具和对象关系映射ORM）库。它允许开发者通过Python代码而不是SQL查询语言来操作数据库。SQLAlchemy提供了一种灵活且强大的方式来与关系型数据库交互，支持多种数据库后端，如等。本文使用的SQLAlchemy版本: 1.4.51# 模型父类# 用户模型和表一一对应__table_args__ = {'comment': '用户表'}id = Column(BIGINT, primary_key=True, comment='主键')

2025-03-08 09:29:13 844