- 博客(29)
- 收藏
- 关注
RSS订阅原创 实用的Linux高级命令
本文介绍了7个实用的Linux高级命令技巧：1）使用xargs命令将find结果传递给其他命令；2）通过nohup实现命令后台运行；3-4）使用ps命令排序找出高内存/CPU占用的进程；5）用multitail工具同时查看多个日志文件；6）持续ping并将结果记录到日志；7）查看TCP连接状态；8）查找指定端口请求数最高的IP；9）利用SSH实现端口转发。这些技巧能有效提升Linux系统管理和运维效率，适用于服务器监控、日志分析、网络调试等场景。
2025-08-11 11:10:33
679
原创 Clickhouse集群部署
本文介绍了ClickHouse集群的部署过程，主要包括：1）环境准备，配置Zookeeper和3个分片共6个节点的ClickHouse集群；2）使用Ansible自动化工具配置SSH免密登录并分发安装包；3）详细说明了每个节点的安装步骤，包括解压安装包、运行安装脚本和修改配置文件；4）集群启动后，创建分布式数据库birept和bi_event/bi_event_local表，并配置用户权限。整个过程涵盖了从环境准备到集群部署、表结构创建的全流程，为大数据分析平台提供了完整的ClickHouse部署方案。
2025-08-09 10:13:46
1243
原创 脚本统计MongoDB集合结构信息
摘要： 本文介绍使用variety.js工具分析MongoDB集合数据结构的方法。通过bash脚本自动遍历指定数据库的所有集合（过滤系统表），调用variety.js对每个集合进行模式分析。脚本连接MongoDB 27010端口，执行后输出各集合字段类型统计结果，并过滤工具本身的版本信息等无关内容。效果图展示了分析后的数据结构报表，包含字段名称、数据类型及其出现频率，适用于快速掌握未知集合的结构特征。该方法无需预知Schema即可进行数据探查，尤其适合文档结构复杂的MongoDB数据库分析。
2025-08-08 16:39:01
422
原创 MVCC 实现之探析
MySQL的InnoDB引擎通过MVCC(多版本并发控制)机制实现事务隔离。MVCC的核心是Read View快照技术，包含事务ID范围(m_up_limit_id和m_low_limit_id)和活动事务集合(m_ids)。InnoDB通过隐藏字段DB_TRX_ID(事务ID)、DB_ROLL_PTR(回滚指针)实现多版本，最新数据存储在数据页，旧版本存储在回滚段的UNDO日志中。可见性判断基于事务ID与Read View的边界比较，确保事务能读取到一致的版本。从MySQL 5.5到8.0，回滚段参数从i
2025-08-07 09:30:23
1117
原创 MySQL各版本差异对比小工具
MySQL参数对比工具网站https://mysql-params.tmtms.net由MySQL日本用户组负责人Tomita开发，可快速对比不同版本MySQL的参数差异。该工具简洁实用，特别适合升级MySQL时快速查阅版本间参数变化，大幅节省查阅时间。网站支持多版本变量对比，是MySQL用户的实用工具。此外还推荐B+树可视化工具https://www.cs.usfca.edu/~galles/visualization/BPlusTree.html作为彩蛋。
2025-08-06 14:52:07
333
原创 TiDB/MongoDB/Taosdb存储引擎概览
本文对比了TiDB、MongoDB和TDengine三种数据库的存储引擎及数据结构特性。TiDB采用RocksDB引擎，基于LSM树结构，通过MemTable和SST文件实现高效读写；MongoDB的WiredTiger引擎支持B树和LSM树两种结构，B树适合单条查询，LSM树写入性能更优；TDengine使用TSDB引擎和BRIN索引结构。文中详细解析了LSM树的多级存储机制、RocksDB的MemTable内存管理及读写流程，并对比了B树与LSM树在查询和写入性能上的差异，为数据库选型提供技术参考。
2025-08-06 10:52:56
1381
原创 浅谈 NUMA 与 MySQL
NUMA（Non-Uniform Memory Access，非一致性内存访问）【英文发音叫 纽马】 NUMA 服务器的基本特征是 Linux 将系统的硬件资源划分为多个软件抽象，称为节点（Node），每个节点上有单独的 CPU、内存和 I/O 槽口等。比如专用的 MySQL 单实例服务器，物理内存为 40GB，MySQL 进程所在节点的本地内存为 20G，而 MySQL 配置 30GB 内存，超出节点本地内存部分会被 SWAP 到磁盘上，而不是使用其他节点的物理内存，引发性能问题。
2025-08-05 09:19:09
1128
原创 orchestrator部署
摘要：本文介绍了MySQL高可用管理工具Orchestrator的安装配置流程，主要包括：1）安装jq工具包；2）可选域名解析设置；3）创建后端数据库；4）被管理MySQL集群的用户授权和report_host参数配置；5）详细说明orchestrator.conf.json配置文件的关键参数设置，包括监听端口、数据库连接信息、Raft集群配置等，并提供了完整的配置示例。通过该方案可实现MySQL集群的高可用管理。
2025-08-04 14:15:39
1352
原创 ticdc同步集群部署
本文介绍了TiCDC的部署和应用方法。部署方面：1)需先将工具包合并到TiDB-server包中；2)提供两种部署方式（集群初始部署时添加cdc_servers配置或通过scale-out扩容已有集群）。应用方面：演示了使用cli命令创建同步任务到TiDB容灾节点，包括常见时区错误解决方法，以及查看任务状态、暂停/恢复同步等管理操作。关键参数包括gc-ttl、data_dir配置和sink-uri连接信息。
2025-08-03 14:24:51
622
原创 脚本统计MongoDB集合表数据量
本文介绍了一个MongoDB数据统计脚本，用于查询指定数据库中所有集合的数据量并生成统计报告。脚本主要功能包括：连接MongoDB数据库，获取所有集合名称，统计每个集合的记录数，并以"记录数,集合名"格式输出结果。用户可通过管道命令对结果进行排序（按记录数降序）和汇总计算（统计总记录数）。该脚本通过过滤MongoDB输出中的干扰信息，确保结果清晰易读，适用于数据库维护和性能分析场景。
2025-08-01 17:42:43
372
原创 k8s模式部署PolarDB-X
本文档详细介绍了在PolarDB-X V2.4.0版本下的部署环境准备和配置步骤。主要内容包括：1）环境描述，要求部署机可联网并使用Ansible部署两个Kubernetes集群；2）详细的部署步骤，涵盖BIOS设置、Ansible安装配置、服务器免密登录、系统参数优化（时区、hosts文件、内核参数）、关闭防火墙和SELinux、禁用交换分区等；3）K8s部署目录软链接配置；4）常用工具安装；5）Docker私有仓库配置。文档提供了完整的配置命令和参数说明，适用于技术团队进行PolarDB-X集群的部署实
2025-07-31 16:24:28
1039
原创 TiDB集群部署
本文介绍了TiDB集群的部署过程，主要包括环境准备、安装配置和集群部署。集群架构包含3台TiDB节点（8核16G）、3台TiKV节点（8核16G）和3台PD节点（4核8G）。部署步骤包括：1）通过脚本自动配置SSH互信；2）下载并解压TiDB安装包和工具包；3）使用TiUP生成并修改集群配置文件topology_test.yaml，配置各组件参数；4）执行TiUP命令部署集群。文中提供了详细的配置文件模板和自动化脚本，涵盖了节点IP、资源分配、部署目录等关键配置项，适用于v7.5.2版本的TiDB集群部署。
2025-07-31 14:54:00
1070
原创 ElasticSearch之使用elasticdump备份恢复数据
本文介绍了使用Elasticdump工具进行Elasticsearch数据备份与还原的方法。Elasticdump适用于数据量较小、索引不多的场景，支持单个/多个索引的文档数据（data）和索引结构（index）备份，但存在一些局限性，如不能同时备份index和data、通配符还原受限等。文章详细说明了安装步骤（Node.js环境配置+离线包安装）和基本语法，并提供了多种使用示例，包括全量备份、指定索引备份、S3存储操作等场景。实战部分展示了从下载安装包到环境配置的完整部署流程。该工具操作简单但需注意其适用
2025-07-30 16:20:46
920
原创 打造运维内部文件共享站
部署服务很多时候要用到各种服务安装包，但是如果你拉官网的，下载慢，有时候有的服务还不能上外网，所以拥有一个内部文件共享站很有必要的哦。安装nginx:根据你实际情况而定，这里我是用的编译安装的nginx。把安装包或者 文件放到/home/install_package下。1 、查看当前文件服务器有哪些包装包。3.1 上传文件到nginx指定目录。3、利用文件共享打开html页面。1.2 浏览器打开查看。
2025-07-29 11:42:33
761
原创 一键生成MySQL慢查询汇总报告的工具
在分析慢日志时，DBA 常用的一个工具是（Percona Toolkit 中的一个工具）。该工具可对慢日志进行汇总分析，生成一个慢查询汇总报告（报告的具体内容，后面有展示）。虽然这个报告很实用，但这种方式其实也有不少的痛点：工具如何使用和怎么读懂报告有一定的学习成本。DBA 需要时间来分析这个报告，才能告诉开发童鞋哪些 SQL 需要优化。虽然报告的可读性已经非常好了，但离开发童鞋的要求（直接告诉我哪些 SQL 需要优化，当然，最好能同时给出优化建议）还是有一定的差距。如果开发童鞋想进行分析呢？
2025-07-25 15:24:57
817
原创 MySQL8.0.28 物理备份工具Xtrabackup8.0.28使用
MySQL数据库物理备份在数据量大的场景，Xtrabackup能帮助你快速做数据迁移和恢复，可以这么 说是逻辑备份工具的几十甚至于上百倍的效率提升，那肯定香啊。
2025-07-25 14:53:40
318
原创 在没有时间字段索引情况下 go语言处理mongodb 数据_id 时间戳
对于mongodb集合中没有时间字段索引的情况下，如何去删除历史数据呢，咱们此次就来解决这个难题。
2025-07-25 14:18:09
946
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人