- 博客(120)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 什么是Spark
Apache Spark是一个开源的分布式计算系统，专为大规模数据处理而设计。它最初由加州大学伯克利分校的AMPLab开发，并于2010年开源，现已成为大数据领域最受欢迎的处理框架之一。Spark以其卓越的内存计算能力和易用性著称，能够比传统的大数据处理技术（如Hadoop MapReduce）快100倍以上。
2025-06-19 21:37:38
594
原创 【Kubernetes】以LOL的视角打开K8s
LOL和K8s都上手之后，其实我觉得相比较起来，LOL的上手难度要高多了，这么多个英雄，每个英雄有不同的机制和技能，这些可比K8s的内容多多了，所以如果大家LOL都能上手的话，上手K8s肯定不会是问题的！
2025-06-19 08:19:11
1382
原创 什么是MapReduce
MapReduce是一种和，用于大规模数据集（通常大于1TB）的并行处理。它由Google在2004年提出，后来成为Apache Hadoop项目的核心计算引擎。MapReduce通过将计算任务分解为两个主要阶段——Map（映射）和Reduce（归约）——来实现分布式计算。
2025-06-18 13:23:35
456
原创 什么是Flink
Apache Flink是一个开源的，最初由柏林工业大学开发，后成为Apache软件基金会的顶级项目。它能够以的方式处理，实现了真正的流批一体处理范式。
2025-06-18 13:21:03
421
原创 什么是数据仓库的ETL
清洗转换（Transform）**后，**加载（Load）**到目标数据库或数据仓库的过程。它是企业数据治理、商业智能（BI）和大数据分析的基础。掌握SQL和Python（Pandas）是ETL开发的基础，同时需要理解数据建模（如星型模型）和分布式计算原理（Spark）。数据仓库（Snowflake、Redshift）、数据湖（HDFS）、分析数据库（ClickHouse）。将分散的"2023-01-01"、"01/01/2023"统一转换为标准日期格式。，指从不同数据源**抽取（Extract）
2025-06-17 13:21:51
1027
原创 什么是Hadoop Yarn
尽管后续出现更轻量的资源管理工具（如 Kubernetes），YARN 仍是企业级 Hadoop 生态的基石。：掌握 YARN 的架构和调度原理，是深入理解 Hadoop、Spark 等大数据技术的关键一步！（如 MapReduce、Spark、Flink 等）在同一个集群上运行。（Yet Another Resource Negotiator）是。，使 Hadoop 从单一的 MapReduce 计算框架演变为。YARN 是 Hadoop 2.0+ 的。
2025-06-17 13:18:16
1101
原创 什么是SeaTunnel
专为大规模数据同步、ETL（Extract, Transform, Load）和实时数据处理而设计。它支持从多种数据源（如关系型数据库、NoSQL、消息队列、文件系统等）读取数据，并进行高效的数据转换和写入目标存储系统。，SeaTunnel已成为大数据生态中不可或缺的数据集成解决方案。无论是批处理还是流式计算，SeaTunnel都能提供高效、稳定的数据管道管理能力。SeaTunnel（原名Waterdrop）是一个。，现已成为大数据生态系统中重要的数据集成工具之一。SeaTunnel支持。
2025-06-16 14:08:02
1017
原创 什么是Hive
Apache Hive通过将SQL-like查询转换为Hadoop作业，大大降低了大数据分析的门槛。虽然它不适合实时分析场景，但在批处理和数据仓库应用中表现出色。随着Hive的不断发展，它在大数据生态系统中的地位依然稳固，特别是在与Spark、Tez等新执行引擎结合后，性能得到了显著提升。对于需要进行大规模数据分析的组织，Hive仍然是一个不可或缺的工具。
2025-06-16 13:58:47
1049
原创 如何构建自适应架构的镜像
我有一个服务叫xxx，一开始它运行在x86架构的机器上，所以最开始有个xxx:stable-amd64的镜像，后来它又需要运行在arm64架构的机器上，所以又重新打了个xxx:stable-arm64的镜像。但是对于安装脚本来说，我不希望我在拉取镜像时还有根据服务器架构去区分arm64和amd64两个tag，是否可以用一个tag让docker pull命令根据当前执行的机器的架构自动区分不同的tag呢？就成为了一个多架构镜像，Docker 会自动为用户选择正确的架构镜像。自动根据其系统架构拉取对应的镜像（
2025-06-03 13:24:21
547
原创 【gopher的java学习笔记】JAR包与WAR包：区别、选择时机及示例
本文将详细介绍JAR包和WAR包之间的区别，阐述何时会选择使用它们，并给出具体的示例。理解它们之间的区别并根据项目的需求选择合适的打包方式对于高效地构建和部署Java应用至关重要。通过本文的介绍和示例，希望读者能够更好地理解JAR包和WAR包的区别，并在实际开发中做出明智的选择。：假设你开发了一个简单的Java计算器应用程序，并且希望将其打包成一个JAR包以便分发。文件放置到Tomcat的webapps目录中，然后启动Tomcat服务器，即可访问你的Web应用程序。的JAR包，可以直接使用。
2025-03-20 13:22:54
1032
原创 【gopher的java学习笔记】Maven依赖中的scope字段：精准控制依赖生命周期的实战指南
在Maven项目的依赖管理中，<scope>字段是控制依赖作用范围的"隐形开关"。它决定了依赖项在构建生命周期的哪个阶段生效，直接影响项目的编译、测试、打包及运行行为。本文将通过，深入解析六种scope的取值及其典型应用场景，帮助开发者构建更规范、更高效的依赖管理体系。
2025-03-18 21:19:28
1201
原创 【gopher的java学习笔记】本地调试时配置Feign接口URL的实用指南
通过灵活组合硬编码、配置文件和统一路径前缀，开发者可以构建适应不同调试场景的Feign配置方案。建议将生产环境配置与调试配置通过Profile隔离，既保证开发效率，又维持配置的可维护性。在云原生时代，还可结合Service Mesh（如Istio）实现更精细的流量控制，但本地调试的基础配置技巧仍是开发者必备的核心技能。
2025-03-18 14:36:45
639
原创 【gopher的java学习笔记】Java中的extends与implements：继承与实现的关系与区别
在Java面向对象编程中，extends和implements是两个核心关键字，它们分别用于和。尽管两者都涉及代码复用和多态性，但它们的适用场景和设计理念存在本质区别。本文通过对比分析和代码示例，帮助开发者深入理解二者的关系与差异。
2025-03-17 14:06:10
506
原创 【玩转正则表达式】Python、Go、Java正则表达式解释器的差异解析（附示例）
正则表达式的艺术在于平衡功能与性能。Python适合快速开发复杂模式，Go强调安全性与线性性能，Java在Unicode支持上表现突出。开发者应根据场景选择工具，通过单元测试验证跨语言行为，避免正则成为系统中的隐形炸弹。
2025-03-17 13:57:03
709
原创 【gopher的java学习笔记】如何知道java应用启动过程中加载了哪些class
使用Java命令中的参数可以帮助我们查看启动时加载的Class，这对于调试和性能分析非常有帮助。然而，由于其对性能的影响，建议仅在开发或测试环境中使用。结合其他JVM监控和管理工具，我们可以更全面地了解类加载的情况，从而优化应用程序的性能。
2025-03-14 13:43:11
483
原创 【gopher的java学习笔记】如何知道一个jar包对应的maven中的groupId和atrifactId
比如对于org.apache.log4j.Logger这个class name来说，实际上它所在的jar文件就叫log4j-1.2.17.jar，那我们应该排查的是我们的jar包里面有没有log4j-1.2.17.jar这个jar包。首先，你需要解压这个JAR包。要查看一个JAR包的group和artifact信息，通常可以查看该JAR包的元数据文件，其中最常见的方法是查看JAR包中的。此外，如果你正在使用一个Maven项目，你可以通过在你的项目中添加该JAR包作为依赖，然后在。中查看或搜索相关信息。
2025-03-14 13:36:34
684
原创 【gopher的java学习笔记】JAR文件内部目录结构探秘
在计算机编程领域，JAR（Java ARchive）文件是一种用于压缩和分发多个文件（通常是Java类文件、资源文件、元数据等）的归档格式。它基于ZIP压缩格式，因此也具备ZIP文件的一些基本特性。JAR文件不仅方便了Java应用程序的打包和部署，还使得类加载器能够更高效地加载和管理类文件。本文将深入探讨JAR文件内部的目录结构，帮助读者更好地理解其组织方式。
2025-03-13 13:27:13
626
原创 【K8s】使用Kubernetes的resources字段中的requests和limits字段控制Pod资源使用
随着容器化技术的蓬勃发展，Kubernetes（简称K8s）已成为管理容器化应用的核心平台。在K8s集群中，合理控制Pod的资源使用对于确保集群的稳定性和性能至关重要。resources字段作为K8s提供的一种资源限制机制，允许用户为Pod设置资源请求（request）和限制（limit），以实现精细化的资源管理。本文将深入探讨resources字段中的request和limit字段，通过对比它们的作用、影响及应用场景，帮助读者更好地理解和使用这一机制。
2025-03-12 14:08:31
1126
原创 【gopher的java学习笔记】如何通过jar命令解压JAR包
通过jar命令解压JAR包是一个简单而直接的过程。只需确保你的系统上安装了JDK，找到你要解压的JAR文件，然后使用jar -xvf命令即可。如果你需要将内容解压到特定目录，还可以添加-C选项来指定目标目录。希望本文能帮助你轻松解压JAR文件并查看其内容。
2025-03-12 13:47:39
1119
原创 【K8s】 K8s Pod如何通过HostAliases字段配置Host
HostAliases是K8s提供的一种机制，允许在Pod的/etc/hosts文件中添加自定义的IP地址和主机名映射。这对于需要绕过DNS解析或访问特定IP地址的服务来说非常有用。通过HostAliases配置的映射，Pod内的容器可以直接通过主机名访问指定的IP地址，而无需依赖DNS解析。HostAliases是K8s提供的一种非常有用的功能，它允许在Pod的/etc/hosts文件中添加自定义的IP地址和主机名映射。
2025-03-11 14:02:57
1067
原创 【玩转正则表达式】一套万能的针对所有场景都适用的写出正则表达式的步骤
某天有个同事来问我，他们有个场景是每天某项业务都会在电脑上的某个目录产生千万级别的数据量，然后现在需要对这写数据进行一些规整，具体来说就是数据存储的相对路径是固定的，需要从这些固定的路径中提取出一些信息，来关联到这个文件上，举个实例就是某个文件的相对路径是"质量检测/产线1/20240811/NG/xxxxx.jpg"，其中。提取出第三个‘/’到第四个‘/’之间的内容：识别出一个字符串中的第3个'/'和第4个'/'之间的两个字母。第五级是文件名，文件名后缀固定是.jpg，文件名内容有各种可能，无固定模式。
2025-03-11 13:59:50
1401
原创 【玩转正则表达式】将正则表达式中的分组（group）与替换进行结合使用
在文本处理和数据分析领域，正则表达式（Regular Expressions，简称regex）是一种功能强大的工具。它不仅能够帮助我们匹配和搜索字符串中的特定模式，还能通过分组（Grouping）和替换（Substitution）功能实现更复杂的文本处理任务。本文将详细介绍正则表达式中的分组机制，并探讨其如何与替换功能结合使用，以实现高效的文本处理。
2025-03-05 13:28:07
1734
原创 【玩转正则表达式】替换与正则表达式的结合
替换功能是指将字符串中的某一部分替换为另一部分内容。在编程和文本编辑工具中，替换功能通常与正则表达式结合使用，以实现更复杂的替换操作。例如，可以将文档中的所有日期格式从“MM/DD/YYYY”替换为“YYYY-MM-DD”。
2025-03-05 13:18:25
899
原创 【玩转正则表达式】正则表达式介绍：解锁文本处理的强大工具
正则表达式是一种强大而灵活的文本处理工具，能够帮助我们高效地搜索、匹配和替换文本中的特定模式。通过掌握正则表达式的语法和技巧，我们可以更轻松地处理和分析文本数据，提高工作效率。无论是数据科学家、开发人员还是系统管理员，正则表达式都是一项值得掌握的重要技能。
2025-03-04 21:22:07
779
原创 如何将ConfigMap中的内容挂载为容器内的文件
将ConfigMap中的内容挂载为容器内的文件是Kubernetes提供的一种灵活配置管理方式。通过这种方式，可以轻松地将配置与代码分离，实现配置的集中管理和动态更新。希望本文能够帮助你更好地理解和应用这一功能。
2025-03-04 20:55:01
749
原创 通过 envFrom 字段将 ConfigMap 内容批量挂载为容器内的环境变量
使用envFrom字段将 ConfigMap 的内容批量挂载为容器内的环境变量，是一种高效且简洁的配置管理方式。它简化了环境变量的定义过程，提高了配置的灵活性和可维护性。在 Kubernetes 中，这一特性使得应用程序的配置管理变得更加轻松和直观。希望本文能够帮助你更好地理解和应用这一技术。
2025-03-03 17:08:10
360
原创 K8s的Service详解
在Kubernetes中，Service与端口的关系非常紧密。Service定义中包含了多个与端口相关的字段，包括port、nodePort和targetPort。这些端口在Service的工作流程中扮演着不同的角色。Port定义：Port是Service对外暴露的端口，用于集群内部客户端访问Service。作用：当集群内部的客户端（如另一个Pod）想要访问Service时，它们会通过Service的ClusterIP和Port来发送请求。示例。
2025-03-03 16:24:50
1362
原创 Dockerfile 中的 COPY 语句：作用与使用详解
在 Docker 的构建过程中，Dockerfile 是一个核心文件，它定义了镜像的构建步骤和内容。其中，COPY语句是一个非常重要的指令，用于将文件或目录从构建上下文（通常是 Dockerfile 所在的目录及其子目录）复制到容器的文件系统中。本文将详细介绍COPY语句的作用、使用方式以及一些最佳实践。
2025-02-25 13:19:18
1099
原创 docker file中ADD命令的介绍
在 Docker 的世界里，Dockerfile 是一个用于定义镜像内容和行为的脚本文件。其中，ADD指令是 Dockerfile 中一个非常重要的命令，用于将文件或目录从主机文件系统复制到容器的文件系统中。本文将详细介绍ADD指令的作用、使用方式以及一些最佳实践。
2025-02-25 13:16:05
1324
原创 【gopher的java学习笔记】ClassLoader的getResource方法简介
在Java开发中，不仅负责加载类文件，还提供了访问资源文件的能力。其中，方法是类中一个非常实用的方法，它允许我们在运行时动态地获取资源文件。本文将详细介绍方法的使用方法以及我们可以利用它做些什么。方法是类中的一个方法，它用于查找具有给定名称的资源。资源可以是以类路径（classpath）为基准的文件或目录。该方法有两个重载版本：：：使用方法获取资源文件通常遵循以下步骤：确定资源的名称和路径：调用ClassLoader的getResource方法：处理返回的URL或InputStream：方法在许多场景中都非
2025-02-17 13:13:51
398
原创 【gopher的java学习笔记】什么是classLoader
ClassLoader是Java虚拟机（JVM）的一部分，负责在运行时动态加载类。它是一个抽象类，位于java.lang包中。ClassLoader的主要任务是将类的字节码文件从文件系统或网络等资源加载到内存中，并将其转化为JVM可以执行的Class对象。通过ClassLoader，Java实现了代码的动态加载、模块化和安全性。ClassLoader是Java虚拟机的重要组成部分，负责在运行时动态加载类。通过了解ClassLoader的基本概念、分类和工作机制，我们可以更好地理解和应用Java的动态特性。
2025-02-17 13:10:38
904
原创 【后端百科】什么是堆，什么是栈
栈是一种后进先出（LIFO, Last In First Out）的数据结构，用于存储程序执行过程中的临时变量和函数调用信息。栈内存由操作系统自动分配和释放，通常用于存储局部变量、函数参数和返回地址等。应用场景函数调用：每当一个函数被调用时，系统会在栈上为该函数创建一个新的栈帧，用于存储该函数的局部变量和参数。当函数执行完毕后，栈帧会被弹出，释放内存。表达式求值：在编译或解释执行表达式时，栈常用于保存操作数和运算符，以便按照后进先出的原则进行计算。递归算法。
2025-02-14 11:55:31
991
原创 什么是http请求中的Cookie
Cookie，即“小甜饼”的意思，在计算机领域中，特指一种由服务器发送到用户浏览器并保存在用户计算机上的小型文本文件。这个文件可以被服务器用来识别用户身份、跟踪用户活动、保存用户设置等。Cookie作为HTTP请求中的重要组成部分，在Web开发中发挥着举足轻重的作用。它不仅可以用于用户认证、会话管理、个性化设置等功能实现，还可以为网站提供有价值的数据分析服务。然而，在使用Cookie的过程中，我们也需要注意其潜在的安全风险，并采取相应的措施进行防范和保护。
2025-02-13 13:24:13
683
原创 http请求中session和token的对比
Cookie和Session是Web开发中两种重要的会话管理技术，它们各自有着独特的原理、实现方法、优缺点以及适用场景。开发者应根据具体需求选择合适的会话管理技术，以实现最佳的用户体验和性能优化。在实际应用中，Cookie和Session也可以相互结合使用，以发挥各自的优势并弥补不足。
2025-02-13 13:20:25
818
原创 什么是http请求中的token
Token在Web开发中具有广泛的应用场景，如API调用、单点登录、Web应用中的会话管理等。通过合理使用token机制，可以提高应用程序的安全性和用户体验。然而，在使用token时也需要注意安全性问题，如token的存储、过期时间和签名等，以确保应用程序的稳定性和安全性。
2025-02-12 13:20:06
2047
原创 什么是http请求中的session
Session，即会话，是指用户通过浏览器与服务器之间进行的一系列交互过程。在这个过程中，服务器会创建一个唯一的Session ID，并将其与用户的会话信息关联起来。每当用户发送请求时，浏览器会自动将Session ID包含在请求头中发送给服务器，服务器则通过Session ID找到对应的会话信息，从而实现用户状态的跟踪和管理。Session在Web开发中具有广泛的应用场景，如用户登录状态管理、购物车功能、多步表单处理等。通过合理使用Session机制，可以提高用户体验和应用程序的安全性。
2025-02-12 13:17:53
1033
原创 【linux】xargs命令的使用方法详解
xargs命令是Linux系统中一个非常实用的工具，它能够将标准输入的数据转换为命令行参数，并传递给其他命令执行。xargs命令是Linux系统中一个功能强大的工具，它能够将标准输入的数据转换成命令行参数，然后传递给其他命令执行。其中，选项用于修改xargs的行为，命令是xargs将参数传递给的目标命令。这条命令会并行执行最多4个convert命令，将找到的.jpg文件缩放到800x600像素，并生成缩略图。这条命令会并行执行最多4个gzip命令，将找到的.txt文件进行压缩。
2025-02-11 20:01:43
1643
原创 什么是JWT（JSON Web Token）
JWT（JSON Web Token）是一种开放标准（RFC 7519），它定义了一种紧凑且自包含的方式，用于在各方之间以JSON对象的形式安全地传输信息。它简化了身份验证和授权的过程，提高了系统的可扩展性和性能。然而，在使用JWT时，也需要注意密钥管理、敏感信息保护、令牌过期时间等安全问题，以确保系统的整体安全性。JWT的这种机制避免了传统Session机制中的状态管理问题，使得服务器可以无状态地处理请求，提高了系统的可扩展性和性能。这部分内容也经过Base64编码后形成JWT的第二部分。
2025-02-11 19:58:51
884
请教一下各位前辈关于微信订阅号底部菜单开发的问题
2016-01-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人