python自动化工具-CSDN博客

原创梯度提升树GBDT与XGBoost的Python实践

每个弱分类器都是一棵决策树，且后一个决策树都是在前一个决策树的基础上进行改进，通过拟合残差来逐步提高模型的准确性。然而，由于XGBoost在性能上的优化，它更适合处理大规模数据和复杂的任务。此外，XGBoost还引入了gamma和lambda参数，分别控制叶子节点的个数和权重的L2正则化。其中，( L(y_i, \hat{y}_i) )是损失函数，( \Omega(f_k) )是正则化项，( K )是基学习器的数量。通过交叉验证，可以找到在验证集上表现最好的参数组合，从而提高模型的性能。

2025-07-17 13:57:17 677

原创集成学习BaggingBoosting与Stacking的Python实现

在实际应用中，需要根据具体的问题和数据集特性，选择合适的集成策略和基学习器，并进行充分的策略优化和参数调优。它通过对训练数据集进行有放回的随机抽样，生成多个不同的训练子集，然后为每个子集训练一个基学习器，最后将这些基学习器的预测结果进行汇总，通常采用简单多数投票或平均的方式。Stacking是一种通过结合多种不同类型的基学习器，并将它们的输出作为新的特征输入到第二层模型中的集成学习方法。然而，集成学习也并非万能，其效果在很大程度上取决于基学习器的选择、数据集的特性以及集成策略的设计。

2025-07-17 13:56:34 645

原创最严量化新规落地，普通人还有哪些策略可以选择

最近沪深交易所发布了最严量化新规，从本周实施以来，首日（7月7日）两市成交额大幅缩减至1.22万亿元，较前一日减少约2274亿元，高频策略贡献的交易量从3000亿降至1000亿左右。交易所明确规定了高频交易的标准，单个账户每秒申报或撤单超过300笔，或者一天内超过2万笔，就会被认定为高频交易。对于这些高频交易，监管会更加严格，包括额外报告要求、更严格的异常交易管理，甚至可能收取更高的交易费用。作为普通投资者，我们要做的是理解规则变化，选择适合自己的策略，控制好风险。需要注意的是，任何策略都要防范过拟合。

2025-07-16 20:21:16 603

原创循环神经网络RNN与LSTMPython实战

LSTM的核心是细胞状态（Cell State），它通过三个门控单元（输入门、遗忘门、输出门）来控制信息的流动。与传统的前馈神经网络不同，RNN具有循环连接，能够将前一个时间步的隐藏状态传递给下一个时间步，从而捕捉序列中的时间依赖性。通过对比RNN和LSTM模型的训练过程和性能，可以发现LSTM在处理长序列时表现更稳定，收敛速度更快，且在复杂任务中具有更好的泛化能力。隐藏层的神经元不仅接收当前时间步的输入，还接收上一个时间步的隐藏状态，通过激活函数更新当前隐藏状态，并输出当前时间步的预测结果。

2025-07-16 19:47:13 562

原创卷积神经网络CNN的Python实现

常用的深度学习框架有TensorFlow和PyTorch，本示例将基于Keras（可使用TensorFlow后端）进行实现，因为Keras具有简洁易用的特点，适合快速构建和实验模型。MNIST数据集是一个经典的手写数字识别数据集，包含60,000个训练样本和10,000个测试样本，每个样本为28x28像素的灰度图像。在编译模型时，需要指定损失函数、优化器和评估指标。增加卷积层的数量或滤波器的大小，以提取更复杂的特征。训练完成后，需要评估模型在测试集上的性能，并通过可视化手段分析训练过程。

2025-07-16 19:46:30 335

原创神经网络与深度学习Python入门

MNIST是一个广泛用于手写数字识别的数据集，包含6万张训练图像和1万张测试图像，每张图像为28x28像素的灰度图，对应数字0-9。该数据集简单且具有代表性，适合初学者实践神经网络。

2025-07-14 10:06:38 1124

原创主成分分析PCA与降维技术Python案例

主成分分析（Principal Component Analysis, PCA）是一种常用的数据降维技术，旨在通过线性变换将高维数据投影到低维空间，同时尽可能保留数据的方差信息。通过对人脸图像进行PCA处理，可以将高维的像素空间映射到低维的特征空间，从而实现有效的人脸识别。核PCA通过引入核技巧，将PCA推广到非线性情况。通过PCA降维，可以有效减少特征数量，同时保留数据的主要信息，从而提高模型的泛化能力。通过PCA将数据降维到2D或3D空间，可以直观地观察数据的分布和结构，帮助发现潜在的模式和异常。

2025-07-14 10:05:55 725

原创 [QMT量化交易小白入门]-七十一、十年回测ETF动量策略，超额年化收益率为10.6%

本专栏主要是介绍QMT的基础用法，常见函数，写策略的方法，也会分享一些量化交易的思路，大概会写100篇左右。QMT的相关资料较少，在使用过程中不断的摸索，遇到了一些问题，记录下来和大家一起沟通，共同进步。

2025-07-14 10:04:59 1230

原创聚类分析与K-Means算法的工程实践

在电商用户聚类场景中，空簇可能对应特殊消费模式群体，直接合并可能丢失重要信息。实验表明，在包含离群点的数据集上，K-Means++的SSE指标比随机初始化平均降低18%，且聚类结果更稳定。而在物理测量数据中，不同传感器的量纲差异显著，必须进行标准化处理。以欧式距离为例，未标准化的特征可能使某些维度主导距离计算，导致聚类中心偏移。实际应用中需注意：轮廓系数对凸型簇结构更敏感，在流形结构或密度差异大的数据集上可能失效。值得注意的是，算法对初始中心敏感，不同初始化可能导致不同的聚类结果。

2025-07-11 10:27:21 294

原创支持向量机SVM在Python中的实践应用

支持向量机（Support Vector Machine，SVM）是一种基于统计学习理论的监督学习算法，旨在寻找一个最优的超平面来对数据进行分类。接着，创建了一个使用线性核的SVM模型，并在训练集上进行了训练。然后，创建了一个使用多项式核（度数为3）的SVM模型，并在训练集上进行了训练。然后，创建了一个使用高斯核的SVM模型，并在训练集上进行了训练。然后，在训练集上进行了训练，并在测试集上进行了预测和评估。选择合适的核函数对于SVM的性能至关重要，不同的核函数适用于不同类型的数据和问题。

2025-07-11 10:26:38 336

原创决策树与随机森林Python实践

决策树（Decision Tree）是一种常用的监督学习方法，适用于分类和回归任务。其核心思想是通过递归地选择最优特征进行数据分割，构建一棵决策树模型。每个内部节点表示一个特征或属性，每个分支代表一个特征的取值范围，而每个叶节点则代表最终的类别标签或预测值。随机森林（Random Forest）是一种基于决策树的集成学习方法。它通过构建多个相互独立的决策树，并将它们的预测结果进行组合，以提高模型的准确性和鲁棒性。随机森林的核心思想是“多数投票”原则，即对于分类问题，选择多数决策树预测的类别；

2025-07-10 18:44:53 901

原创逻辑回归的Python实现与优化

逻辑回归是一种广泛应用于分类问题的统计学习方法，尤其在二分类问题中表现突出。其核心思想是利用逻辑函数（也称为Sigmoid函数）将线性回归的输出映射到(0,1)区间，从而将连续值转化为概率形式，适用于预测样本属于某一类别的概率。Py1∣xσwTxb11e−wTxbPy1∣xσwTxb1e−wTxb1其中，w\mathbf{w}w是权重向量，bbb是偏置项，σ\sigmaσ是Sigmoid函数。

2025-07-10 18:44:10 800

原创 [QMT量化交易小白入门]-七十、全天候资产再平衡策略，10年回测，最大回撤只有8%，稳稳的幸福感

2025-07-10 18:43:09 313

原创机器学习模型进阶从线性回归到复杂架构

K折交叉验证通过分割训练集为K个子集，轮流用K-1个子集训练、1个子集测试，有效评估模型泛化性能。线性回归作为统计学与机器学习领域的基础模型，通过拟合特征空间中的超平面来预测连续型目标变量。决策树通过递归特征空间分割实现非线性建模，其核心在于信息增益最大化准则。相较于随机森林，梯度提升在排序任务中表现更优，但超参数敏感性和计算复杂度更高。树模型对特征缩放不敏感，但SVM、神经网络等模型依赖标准化处理。决策树的优势在于可解释性强，但容易对训练数据过拟合。该方法在保持模型性能的同时减少冗余特征，提升解释性。

2025-07-09 09:57:55 761

原创交叉验证与超参数调优Python机器学习中的核心实践

交叉验证（Cross-Validation）是一种常用的技术，用于评估模型在独立数据集上的表现。其基本思想是将数据集分成K个大小相等的子集，每次使用其中一个子集作为验证集，其余K-1个子集作为训练集，重复K次，最终平均所有验证结果。嵌套交叉验证（Nested Cross-Validation）是一种更为严格的评估方法，它将超参数调优与模型评估结合起来，通过多层的交叉验证来减少过拟合的风险。网格搜索（Grid Search）是一种系统的超参数调优方法，它通过遍历所有可能的超参数组合，找到最优的配置。

2025-07-08 10:49:40 989

原创机器学习模型优化过拟合与欠拟合的平衡

以多项式回归为例，当多项式阶数过高时，曲线会穿过所有训练样本点（如图1左），但测试误差显著增大。在计算机视觉等领域，数据增强（Data Augmentation）通过旋转、平移等变换扩充训练集，提升模型鲁棒性。正则化通过在损失函数中添加惩罚项，限制模型复杂度，是防止过拟合的核心方法。特征选择方法（如递归特征消除、基于模型的选择）可降低维度，特征缩放（标准化、归一化）对距离敏感模型至关重要。对于神经网络等复杂模型，早停（Early Stopping）通过监控验证性能提前终止训练，防止过拟合。

2025-07-08 10:48:56 724

原创机器学习模型评估指标与Python实现

准确率是分类问题中最常用的评估指标之一，定义为模型预测正确的样本数占总样本数的比例。AccuracyTPTNTPTNFPFNAccuracyTPTNFPFNTPTN: 真正例，模型正确预测为正类的样本数。: 真负例，模型正确预测为负类的样本数。: 假正例，模型错误预测为正类的样本数。: 假负例，模型错误预测为负类的样本数。

2025-07-08 10:47:58 773

原创 [QMT量化交易小白入门]-六十九、ETF动量评分策略，历史年化收益率107%

C . bar_date } 跳过') returnC . bar_date } 跳过') returnC . bar_date } 跳过') return作用：如果当前不是回测模式且不是最后一根K线，则记录日志并跳过本次任务。这是为了避免在实时交易中对尚未完成的数据进行处理。

2025-07-07 10:06:52 1459

原创监督学习与无监督学习Python视角下的算法实践与对比分析

监督学习是一种基于已知输入和输出（标签）数据进行训练的机器学习方法。其核心目标是学习一个从输入到输出的映射函数，使得模型能够对新的未知数据进行准确预测。监督学习的任务通常分为分类和回归两大类。分类：预测离散标签，如判断邮件是否为垃圾邮件、识别图像中的物体类别等。回归：预测连续值，如房价预测、股票价格预测等。无监督学习是一种不依赖于带标签数据的机器学习方法，其核心目标是发现数据中的内在结构或模式。无监督学习的任务通常包括聚类、降维和密度估计等。

2025-07-07 09:25:45 337

原创机器学习核心概念与Python代码解析

这两种方法都有助于降低数据的维度，提高模型的训练效率。模型部署是将训练好的模型应用到实际生产环境中的过程。交叉验证是一种评估模型性能的技术，通过将数据集分成多个子集，并在这些子集上多次训练和验证模型，从而减少过拟合的风险。数据标准化和归一化是处理数据的重要步骤，它们可以将不同尺度的特征转换为同一尺度，从而提高模型的收敛速度和性能。PCA是一种降维技术，通过保留数据中方差最大的方向，将高维数据投影到低维空间。决策树是一种基于树结构的分类与回归方法，而随机森林则是通过集成多个决策树来提高模型的性能和鲁棒性。

2025-07-07 09:25:02 392

原创高频量化被打压，个人量化春天来了吗

最近量化圈炸锅了！沪深交易所7月7日起实施新规，专门针对高频量化交易"踩刹车"。每秒300笔以上的申报要被重点监管，撤单费直接涨了10倍！这波操作下来，那些靠"手速"吃饭的高频策略怕是要凉凉了。

2025-07-05 22:18:10 648

原创探索Python数据科学工具链NumPyPandas与Scikit-learn

Scikit-learn是一个简单高效的Python机器学习库，它建立在NumPy、Pandas和Matplotlib之上，为数据科学家和机器学习从业者提供了丰富的算法实现和工具。NumPy是Python中用于科学计算的核心库，它提供了一个强大的N维数组对象，以及大量的数学函数库，能够高效地进行向量和矩阵运算。为了更好地理解上述工具链的应用，下面通过一个具体的案例来展示如何从原始数据出发，经过处理、分析，最终构建并评估一个机器学习模型。假设有一个关于员工信息的CSV文件，包含员工的年龄、部门、薪资等信息。

2025-07-04 09:46:31 922

原创机器学习数学基础与Python实现

例如，正态分布（高斯分布）在许多自然现象中都有很好的近似。在机器学习中，拉格朗日乘数法常用于支持向量机（SVM）中的对偶问题求解。梯度下降法是一种优化算法，用于寻找函数的局部最小值。在机器学习中，通常使用梯度下降法来最小化损失函数。最大似然估计是一种参数估计方法，它通过最大化似然函数来找到模型参数的估计值。特征值和特征向量在许多机器学习算法中都有应用，特别是在主成分分析（PCA）和谱聚类中。，其中每一行代表一个样本，每一列代表一个特征。在机器学习中，数据通常以矩阵或向量的形式表示。\theta$的梯度。

2025-07-04 09:45:48 601

原创 Python机器学习基础从零到实战入门

将利用公开的房价数据集，通过数据预处理、特征工程、模型选择与训练、评估与调优等步骤，构建一个能够准确预测房价的模型。交叉验证是一种评估模型泛化能力的技术，通过将数据集分成多个子集，轮流用其中一部分作为测试集，其余作为训练集。根据问题的性质，可以选择多种模型进行尝试，如线性回归、决策树、随机森林等。在这里，以随机森林为例进行训练。接下来，对数据进行特征工程，包括编码分类变量、创建新特征等，并进行探索性数据分析以了解数据特性。通过可视化和统计方法探索数据的基本结构和关系，有助于理解数据特性和选择合适的模型。

2025-07-04 09:38:07 398

原创 Windows环境下文件传输至容器的技术实现

容器文件系统采用分层存储机制，由只读镜像层和可写容器层组成。当从Windows主机向容器传输文件时，实际上是在修改容器的可写层。SCP(Secure Copy Protocol)基于SSH协议栈，提供加密的文件传输通道。需检查容器sshd_config中的。

2025-07-04 09:37:24 401

原创容器端口映射的实现原理与实践方法

当数据包到达宿主机的某个端口时，iptables规则负责将其转发到容器的对应端口。容器技术通过Linux内核的namespace机制实现了网络隔离，每个容器拥有独立的网络命名空间。当在宿主机上启动一个容器时，默认情况下，容器的网络栈与外部是完全隔离的。容器内的进程看到的网络环境与宿主机完全不同，就像运行在一台独立的机器上。在非Linux平台上运行Docker时（如Windows上的Docker Desktop或macOS上的Docker for Mac），由于底层架构差异，端口映射的实现有所不同。

2025-07-04 09:36:29 971

原创散户渡劫指南：从炼气期到化神期的量化之路

经常有人问我普通人怎么学习量化交易，我就在想怎么学了量化就不是普通人了吗，可能他的意思是类比修仙，量化素人如何修炼进阶，今天就将量化学习每个阶段均对标修仙境界的核心能力与心法要诀一一介绍，助你从“交易凡人”蜕变为“量化金仙”。

2025-07-02 22:51:40 943

原创自动化Docker容器化安装与配置工具介绍

Docker 容器化是一种轻量级的虚拟化技术，通过将应用程序及其依赖项打包到一个可移植的容器中，实现了跨环境一致性和高效部署。Docker 容器共享宿主机的内核，相比传统虚拟机技术，具有资源占用更少、启动速度更快、部署更加灵活的优势。Docker Compose 是一个用于定义和运行多个 Docker 容器的工具。通过一个 YAML 文件（docker-compose.yml），可以配置应用程序的各个服务、网络、卷等。

2025-07-02 10:14:48 742

原创企业级Docker容器化集群安装与配置方案

在现代企业IT基础设施中，容器化技术已经成为构建高效、灵活和可扩展的应用部署方案的核心。Docker作为容器化技术的代表，通过将应用程序及其依赖项打包到一个单独的容器中，实现了跨环境一致性和高效的资源利用。然而，单独的Docker容器难以满足企业级应用的复杂需求，尤其是在高可用性、负载均衡和大规模部署方面。因此，企业级Docker容器化集群的安装与配置成为必然选择。

2025-07-01 11:46:57 610

原创 Docker容器化环境下镜像加速器的配置与优化策略

哈喽，大家好，我是左手python！

2025-07-01 11:46:14 898

原创 Windows环境下Docker容器化的安装与设置指南

哈喽，大家好，我是左手python！

2025-06-30 10:46:14 1060

原创 Docker容器化在Linux系统的安装与初始化配置

哈喽，大家好，我是左手python！

2025-06-30 10:45:31 520

原创 [QMT量化交易小白入门]-六十八、ETF日线或分钟数据定时保存为csv

作用：定义日期格式，用于后续日期字段的格式化。

2025-06-30 10:41:33 437

原创 Docker容器化环境搭建全流程从安装到配置

创建网络运行容器并连接到自定义网络通过本文的介绍，读者可以了解 Docker 的安装、配置、应用开发、数据持久化、网络配置、安全与优化、故障排查与日志管理，以及扩展与集群管理的全流程。Docker 作为一种容器化技术，极大地简化了应用的开发、部署和管理过程。通过实践和不断学习，读者可以更好地掌握 Docker 的使用技巧，并将其应用到实际项目中。

2025-06-26 10:25:27 1016

原创 Docker容器化技术解析

哈喽，大家好，我是左手python！

2025-06-26 10:24:34 703

原创 Docker容器化网络原理桥接主机覆盖网络全解析

Docker 的桥接网络是容器化环境中最常用的网络模式。默认情况下，Docker 容器会使用桥接网络（bridge）进行通信。桥接网络通过在宿主机上创建一个虚拟的以太网桥（通常命名为docker0），将所有容器连接到这个桥接设备上，从而实现容器间以及容器与宿主机之间的通信。Docker 允许用户创建自定义的桥接网络，以满足不同的网络需求。

2025-06-26 10:23:51 582

原创 [QMT量化交易小白入门]-六十七、ETF日线或分钟数据增量下载

def _download_etf_data(stock_list , period , data_dir , default_days = 365) : """下载ETF数据核心函数Args:stock_list: ETF代码列表period: 数据周期 ('1d'或'1m')data_dir: 数据保存目录default_days: 默认下载天数Returns:dict: 包含所有下载数据的字典"""

2025-06-26 10:22:11 69

原创 Docker容器化网络中的服务发现机制与工具介绍

Etcd是一个高可用、分布式的键值存储系统，广泛用于服务发现和配置管理。Etcd通过其分布式架构提供高可用性和一致性，支持键值对的存储和查询。服务发现是Docker容器化网络中的关键机制，帮助应用实例动态注册和发现服务实例，实现高效的通信和扩展。在本文中，介绍了Etcd、Consul、Zookeeper、Kubernetes DNS和Docker Swarm等主流服务发现工具及其配置示例。通过合理选择和配置这些工具，开发者可以构建高可用性、可扩展的容器化应用。

2025-06-26 10:20:24 673

原创数据持久化在Docker容器化应用中的解决方案

数据持久化是 Docker 容器化应用中的一个重要环节。通过合理的数据持久化方法和策略，可以确保应用程序的数据在容器生命周期之外持久存在，并在需要时能够快速恢复。无论是使用数据卷、数据卷容器、主机目录挂载，还是网络存储，每种方法都有其特点和适用场景。同时，数据的安全性和备份策略也是确保数据持久化的重要环节。通过合理的规划和实施，可以在 Docker 容器化应用中实现高效、安全、可靠的数据持久化。

2025-06-25 10:22:12 424

原创 Docker容器化存储卷的原理类型与使用方法

哈喽，大家好，我是左手python！Docker 支持多种类型的存储卷，包括本地卷、网络卷和第三方卷。每种类型的存储卷适用于不同的场景，满足不同的存储需求。

2025-06-24 10:28:33 254

Python实现策略模式、观察者模式和责任链模式.md

设计模式 Python实现策略模式、观察者模式和责任链模式.md Python实现策略模式、观察者模式和责任链模式.md Python实现策略模式、观察者模式和责任链模式.md Python实现策略模式、观察者模式和责任链模式.md

2024-03-21

Python实现命令模式、中介者模式和解释器模式.md

Python实现命令模式、中介者模式和解释器模式.md Python实现命令模式、中介者模式和解释器模式.md Python实现命令模式、中介者模式和解释器模式.md Python实现命令模式、中介者模式和解释器模式.md Python实现命令模式、中介者模式和解释器模式.md Python实现命令模式、中介者模式和解释器模式.md

2024-03-21

Python实现外观模式、桥接模式、组合模式和享元模式.md

Python实现外观模式、桥接模式、组合模式和享元模式

2024-03-21

Python实现适配器模式、装饰器模式、代理模式.md

Python实现适配器模式、装饰器模式、代理模式

2024-03-21

成本管理的理论.doc

计算机软件论文范文，相同背景不同主题的论文。计算机软件论文范文，相同背景不同主题的论文。计算机软件论文范文，相同背景不同主题的论文。计算机软件论文范文，相同背景不同主题的论文。计算机软件论文范文，相同背景不同主题的论文。计算机软件论文范文，相同背景不同主题的论文。计算机软件论文范文，相同背景不同主题的论文。

2024-03-21