谭猛勇-CSDN博客

原创 sparksql项目实战

的一种（DDL），内部的执行过程涉及到的流程和 spark.sql 查询的流程是很类似的。所以，很明显，Apache Spark 的官方已经通过源码告诉了我们，Spark SQL 的工作流程就这 4 个阶段，这也是最标准的划分！是一个宽泛概念，通常可以理解为一个容器或数据库对象命名空间中的一个层次，主要用来解决命名冲突等问题。函数，则记录的开始时间将是第一次调用的开始时间，记录的结束时间将是最后一次调用的结束时间。基于既定的规则将逻辑计划转换成具体的物理计划（不涉及执行，只是提前规划），即将。

2025-07-05 00:36:40 972

原创 Vue3 Element-Plus 一站式生成动态表单：简化前端开发流程

Vue3是一款流行的JavaScript框架，专注于构建用户界面。它采用了更加灵活的组合式API、性能优化、更小的体积等特性，使得前端开发更加高效。通过结合Vue3和Element-Plus，我们可以轻松实现一站式生成动态表单，极大地简化了前端开发流程。动态表单的灵活性和可维护性使其成为许多项目中不可或缺的一部分。在未来，随着前端技术的不断演进，动态表单将在更多的业务场景中得到应用，为用户提供更好的交互体验。

2025-06-24 11:56:56 908

原创 Python网络爬虫- Scrapy框架1.Scrapy2.安装和配置3.安装过程常见错误4.代码操作 - 创建一个Scrapy项目

纯python开发实现的一个爬虫框架包含爬取数据、提取结构性数据、应用框架底层通过Twisted异步网络框架处理网络通讯可扩展、高性能、多线程、分布式爬虫框架。

2025-06-24 09:31:57 1112 1

原创 flask pyecharts 数据可视化大屏

Flask 是一个轻量级的 Python web 框架。它可以帮助开发者快速构建 Web 应用程序。Flask 提供了简单的路由系统，用于处理不同的 URL 请求，还能方便地返回 HTML 页面、JSON 数据等多种格式的响应。例如，你可以使用 Flask 创建一个简单的网站，定义不同的页面路径（如 “/home”“/about” 等），并为每个路径编写对应的函数来生成和返回相应的内容。在数据可视化大屏的场景中，Flask 作为后端框架，主要负责数据的处理和传输。

2024-11-27 14:41:50 1502

原创 Linux安装Zookeeper

(6)master、slave1、slave2均将下/opt/apache-zookeeper-3.5.7-bin/confd的zoo_sample.cfg复制、并改名为zoo.cfg，命令：cp /opt/apache-zookeeper-3.5.7-bin/conf/zoo_sample.cfg /opt/apache-zookeeper-3.5.7-bin/conf/zoo.cfg。(1)验证master、slave1、slave2的java是否正常，命令：java -version。

2024-11-12 15:26:28 1011

原创 Python聚类分析可视化

本文将介绍如何使用Python进行聚类分析可视化。聚类分析是一种无监督学习方法，用于将数据样本划分为具有相似特征的多个组。通过可视化聚类结果，我们可以更好地理解数据的分布和结构。下表展示了实现“Python聚类分析可视化”的整个流程和每一步需要做的事情。步骤说明1. 数据准备准备需要进行聚类分析的数据2. 特征选择根据分析目标选择合适的特征3. 数据预处理对数据进行标准化或归一化处理5. 聚类分析对数据进行聚类分析6. 结果可视化将聚类结果可视化展示。

2024-11-05 16:23:07 918 1

原创 jupyter notebook安装部署及实战组合漏斗图绘制

Plotly是一个非常强大的开源数据可视化框架，它通过构建基于 HTML 的交互式图表来显示信息，可创建各种形式的精美图表。本文所说的 Plotly 指的是 Plotly.js 的 Python 封装，plotly本身是个生态非常复杂的绘图工具，它对很多编程语言提供接口，交互式和美观易用应该是 Plotly 最大的优势。

2024-06-21 10:29:14 609

原创 MongoDB简介及基本操作

语法：use：用于切换/创建数据库,若不存在则创建，否则切换到指定数据库。：数据库名称。执行use articledb命令，创建数据库articledb。

2024-04-24 18:34:16 901

原创 MongoDB分片（windows）

分片（Sharding）技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本。所有数据库都可以进行手动分片（Manual Sharding），因此，分片并不是MongoDB特有的。

2024-04-23 23:40:50 1309