微服务架构 | 如何利用日志链路追踪程序执行的慢 SQL？

最新推荐文章于 2024-12-26 15:31:48 发布
最新推荐文章于 2024-12-26 15:31:48 发布
阅读量824 收藏 7
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 微服务架构 # Java 核心编程 # 中间件 文章标签： 微服务 架构 sql
欢迎关注微信公众号: "码农架构" , 专注于系统架构、高可用、高性能、高并发类技术分享
本文链接：https://blog.csdn.net/li1669852599/article/details/122080268

导读：查看 SQL 的执行效率，不难想到使用 explain 分析慢查询，但是前提是你需要非常了解业务背景。否则很难精准定位到。

系统都是逐渐演进的，一个系统在运行中必须是根据场景逐渐地提高优化性能。高并发就是对资源的节约的考验，这种考验除了更换优秀和先进的技术，优化架构，还在于从小处出发，对尽可能节约的资源进行节约。

而在一个系统的数据访问中，系统的瓶颈往往是来自于数据库，因此我们要尽可能减少对数据库的访问！

一、背景

有没有遇到这种情况，领导突然安排一件事情：这几个接口压测指标太低需要针对性优化一下。

当然理想的情况下你对业务场景非常熟悉，可以大概定位问题来分析业务精准评估哪些 SQL 会有性能瓶颈。

然后开始百度：如何提高 SQL 执行效率？

通过 explain、show profile 和 trace 等诊断工具来分析慢查询。

但是大多数情况下业务线过长，不可能一个人完成。涉及到各种策略模式、监听动作。想直接定位到点还是需要输出请求发起后所触发的执行的 SQL 以及执行效率。这里效率单单指代 SQL 执行的时间。

目标明确后开始整活吧。

二、添加 JDBC 追踪

继续前一篇文章的话题：如何利用好日志链路追踪做性能分析？

最低0.47元/天 解锁文章

200万优质内容无限畅学
【系统架构设计师】论文：论微服务架构及其应用（高分论文3篇）
数据知道的博客
09-02 1万+
我公司承接某视频会议云直播项目。该项目主要为了解决视频会议系统对用户终端硬件要求过高、入会用户数量受限的问题，通过增加云直播的方式，将云直播与视频会议对接，以支持更多用户在电脑网页和手机端观看会议实况。我在项目中担任技术负责人，负责项目服务划分、架构设计和技术指导工作。本文结合我的亲身实践，论述了微服务架构在项目中的应用。在服务分层设计阶段，以客户需求为依据，对系统功能进行总体分层架构设计，各层各施其职。
大数据领域数据中台的微服务架构实践
最新发布
AI天才研究院
04-30 840
随着企业数据量从TB级向PB级跨越，传统数据仓库模式暴露出“数据孤岛严重、服务响应慢、复用成本高”等问题。数据中台的核心目标是通过“数据资产化”和“服务化”打破壁垒，但如何支撑日均千万级API调用、毫秒级响应、动态扩缩容等需求？微服务架构通过解耦复杂系统、提升服务弹性，成为数据中台的关键技术选型。本文聚焦大数据场景下数据中台的微服务化改造，覆盖架构设计、技术实现、实战落地全流程。核心概念：解析数据中台与微服务的融合逻辑；架构设计：提出分层微服务架构模型；
微服务架构 | 如何利用好日志链路追踪做性能分析？
weixin_45987961的博客
12-14 2310
导读：做性能分析听到最多的歪理就是，服务做水平、垂直扩容、分表分库、读写分离、XX中间件、资源静态化等等但是归根到底这些方案都是为了尽可能减少对数据库的访问以及堆栈的释放，提高数据库IO的读写速度和程序的运行效率。 系统都是逐渐演进的，一个系统在运行中必须是根据场景逐渐地提高优化性能。高并发就是对资源的节约的考验，这种考验除了更换优秀和先进的技术，优化架构，还在于从小处出发，对尽可能节约的资源进行节约。 而在一个系统的数据访问中，系统的瓶颈往往是来自于数据库，因此我们要尽可能减少对数据库的访问...
微服务轮子项目（14） - 慢查询SQL
阿甘兄
01-07 598
文章目录1. 前言2. 慢查询配置 2.1 MySQL数据库配置 2.2 Logstash配置 2.3 Filebeat配置 1. 前言 在前面一篇博客《微服务轮子项目（13） - 统一日志中心详解（docker安装部署）》，主要讲解了在Docker下部署ELK，以及各个组件的作用（包括filebeat）。 本文基于上一篇博客的环境下，讲解慢查询SQL如何配置。 2. 慢查询配置 2.1 MySQL数据库配置 step1: 修改数据库配置，增加慢sql日志 vim /etc/my.cnf #是否开启慢
mysql链路跟踪工具_EasySwoole利用链路追踪组件制作甩锅工具
weixin_33773670的博客
02-19 285
前言最近前端老是反馈API调用异常，说请求成功但是没有数据返回！我写的代码怎么可能有bug，肯定是前端调用的方式不对！经过一番套鼓，直接把请求参数和响应内容打印到控制台，果然不出我所料，请求缺少重要参数！为了能让前端每次出问题后不用来找我(俗称甩锅)，自己排查问题，我就想着把每次的请求参数和响应内容记录下来，前端查看请求记录详情排查问题。刚好看到EasySwoole有这么一个组件(链路追踪)可以记...
MySQL查询性能优化七种武器之链路追踪
分享Java技术知识，共同成长进步！
09-17 313
MySQL优化器可以生成Explain执行计划，我们可以通过执行计划查看是否使用了索引，使用了哪种索引？ 但是到底为什么会使用这个索引，我们却无从得知。 好在MySQL提供了一个好用的工具 — optimizer trace（优化器追踪），可以帮助我们查看优化器生成执行计划的整个过程，以及做出的各种决策，包括访问表的方法、各种开销计算、各种转换等。 1. 查看optimizer trace配置 show variables like '%optimizer_trace%'; 输出参数详解：
sql --- 慢sql定位及优化
热门推荐
谬也的博客
06-15 1万+
慢sql的定位及优化
微服务架构之链路追踪
u013506018的专栏
12-26 1163
Spring Cloud Sleuth Zip kin，对于Span、Trace、HTTP RequestZip kin Server。Span----基本的工作单元。无论是发送一个RPC或是向RPC发送一个响应都是一个Span。每一个Span通过一个64位ID来进行唯一标识，并通过另一个64位ID对Span所在的Trace进行唯一标识。Span能够启动和停止，他们不断地追踪自身的时间信息，当你创建了一个Span，你必须在未来的某个时刻停止它。
【架构】分布式与微服务架构解析
weixin_52606478的博客
07-10 7501
分布式架构与微服务
SpringCloud Alibaba【微服务分布式组件---Sentinel】
Vinjcent
05-31 1719
5. Alibaba微服务组件Sentinel（SpringCloud中的熔断服务Hystrix） 开源地址 Spring Cloud Alibaba Sentinel 官网地址 https://sentinelguard.io/zh-cn/ 5.1 熔断服务 服务雪崩 概念 服务雪崩效应：因服务提供者的不可用导致服务调用者的不可用，并将不可用逐渐放大的过程 导致服务不可用的原因： 激增流量 激增流量导致系统 CPU / Load 飙高，无法正常处理请求 激增流量打垮冷系统（数据库连接未创建，
递归查询：资金源头追溯（Python+SQL）
数据分析笔记
08-15 1372
步骤索引概述代码 概述 总的来说就是从某一笔交易出发，递归查询资金流出方的资金来源，知道找到源头为止。 代码 # -*- coding: utf-8 -*- """ Created on Sat Aug 15 16:09:34 2020 @author: Songyou Han """ import Tool_Wayki_Database as wkdb #个人工具箱：通过文字指令快速连接特定的数据库 import Tool_Sql_List #个人工具箱：SQL仓库，存放常
追踪MySQL调用链路_全链路追踪简介
weixin_36403838的博客
02-12 814
全链路追踪是 Pandora 推出的链路追踪应用，兼容 zipkin、pinpoint、skywalking 和 jaeger 等开源 Tracing 方案。通过 logkit-pro 采集 zipkin、pinpoint、skywalking 和 jaeger 等开源 Tracing 方案的埋点日志数据，并将数据存储到智能日志平台，通过智能日志平台的全链路追踪应用分析埋点数据，得出同一次请求上各...
常用链路追踪工具
weixin_30872157的博客
05-16 1072
目前主要的一些 APM 工具有: Cat、Zipkin、Pinpoint、SkyWalking。 转载于:https://www.cnblogs.com/anyehome/p/10874896.html
Mybatis Sql 执行全链路, 跟踪返回结果
Long-Tai
09-03 992
01、前言 根据 Mybatis SQL 执行流程图进一步了解 02、Mybatis Sql 的执行过程 大致可以分为以下几步操作: ???? 在前面的内容中, 知道了 Mybatis Mapper 是动态代理的实现, 查看 SQL 执行过程, 就需要紧跟实现了 InvocationHandler 的 MapperProxy 类 03、执行增删改查 @Select(" SELECT * FROM SUBJECT WHERE ID = #{id}") PrimitiveSubject getSubjec
技术分析：搞懂链路追踪
weixin_33913377的博客
06-10 287
　　背景介绍　　在微服务横行的时代，服务化思维逐渐成为了程序员的基本思维模式，但是，由于绝大部分项目只是一味地增加服务，并没有对其妥善管理，当接口出现问题时，很难从错综复杂的服务调用网络中找到问题根源，从而错失了止损的黄金时机。　　　　而链路追踪的出现正是为了解决这种问题，它可以在复杂的服务调用中定位问题，还可以在新人加入后台团队之后，让其清楚地知道自己所负责的服务在哪一环。　　　　除此之外，如果...
SpringCloud教程十一：Sleuth+Mysql服务链路追踪
王树钰的博客
02-10 9841
springcloud中的服务链路追踪，之前我们已经讲过一次了，在实际应用中，我们经常需要将链路服务的记录保存下来，以实现服务的监测和分析，那么这就需要用到数据库了。下面我们来实现一下。数据库表结构：CREATE TABLE `zipkin_annotations` ( `trace_id_high` bigint(20) NOT NULL DEFAULT '0' COMMENT 'If no...
小技术 | Go 基于原生库驱动 Driver 输出 SQL 日志 / 监控 / 链路追踪方案（上）
Avtionの秘密房间
11-16 1943
Go 基于原生库驱动 Driver 输出 SQL 日志 / 监控 / 链路追踪方案，围绕项目使用 GORM V1 或者原生 SQL的情况下，在尽可能少侵入业务代码的情况下做数据库操作的日志输出、错误监控和链路追踪。
链路追踪SkyWalking
weixin_37901058的博客
01-16 1424
1、SkyWalking的核心概念 1.1 概述 2015年由个人吴晟（华为开发者）开源 ， 2017年加入Apache孵化器 分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。 SkyWalking 是观察性分析平台和应用性能管理系统。 提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案. 1.2 架构 ...
链路追踪sleuth
weixin_44892460的博客
08-12 1203
搭建ZipkinServer jar包下载与启动 官网下载。地址：https://zipkin.io/pages/quickstart ， 找到 latest release 进行下载。 我这里是windows 环境，打开cmd，进入jar包位置输入命令 java -jar zipkin-server-xxx.jar 启动。 访问 http://localhost:9411/ ...
微服务bug跟踪
03-19
### 关于微服务中的 Bug 跟踪 在微服务架构下，由于其分布式特性以及多个独立部署的服务协同工作的方式，传统的调试和错误追踪方式可能不再适用。因此，在微服务环境中进行有效的 Bug 跟踪需要借助专门的工具和技术。 #### 1. **分布式链路追踪** 分布式链路追踪是一种用于监控和诊断复杂分布式系统的有效技术。通过引入全局唯一的 `Trace ID` 和局部的 `Span ID` 来记录请求在整个系统中的流转过程[^2]。这种机制可以帮助开发者快速定位问题所在的具体服务节点及其内部逻辑。 - **Zipkin**: Zipkin 是一款开源的分布式追踪系统，支持收集延迟数据并提供可视化界面展示调用关系图谱。 - **Jaeger**: Jaeger 同样是一个强大的分布式追踪平台，它不仅能够捕捉完整的请求路径还具备高级查询能力以便更深入地分析性能瓶颈或异常情况。 #### 2. **日志管理与聚合** 为了更好地处理来自不同服务的日志信息，集中式的日志管理系统显得尤为重要。这些解决方案通常会结合 ELK (Elasticsearch, Logstash, Kibana) 或其他类似的框架实现跨多源的数据检索与呈现功能。 - 当某个特定事件发生时(比如抛出了未捕获的异常)，可以通过关键词搜索迅速找到关联上下文中所有的相关操作记录从而缩小排查范围[^3]。 #### 3. **APM(Application Performance Management) 应用程序性能管理** 这类软件专注于实时监测应用程序运行状态，并主动发现潜在风险点。对于采用微服务体系结构的应用而言更是不可或缺的一部分因为它们能全面覆盖从前端交互到后端数据库访问各个环节的表现指标。 - Prometheus 配合 Grafana 使用可构建起一套高度定制化的度量体系用来持续观察各项资源利用率变化趋势；另外还有 New Relic One、Dynatrace 等商业选项可供选择依据实际需求决定最适合自己的方案。 #### 4. **Pinpoint 特定场景下的全栈透视** 如果目标环境基于 Java 构建，则 Pinpoint 提供了一种非常直观的方式来探索整个生产流程内的依赖关系网状结构。只需按照官方文档指引完成相应组件安装配置之后即可享受到开箱即用的效果——无需修改现有业务代码就能获得详尽的行为洞察力包括但不限于 SQL 执行计划详情等等[^4]。 ```bash # 下载 pinpoint 组件示例命令 wget https://github.com/pinpoint-apm/pinpoint/releases/download/v2.x.y/pinpoint-all.zip unzip pinpoint-all.zip -d /opt/ ``` --- ###
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值