takakawa-CSDN博客

原创疯狂的Pid

目录故障描述处理经过原因分析故障思考最近业务新上了一个功能，使用了chromedp 它是一个无窗口的chrome 非常适合在服务器端做基于浏览器的自动化测试借用官方的demo，几段小小的代码，我们可以实现后台截chrome的图：package mainimport( "context" "github.com/chromedp/chromedp" "io/ioutil" "log")func main()...

2021-08-08 10:47:54 233

原创镜像迁移引发的血案

目录故障描述处理经过原因分析故障思考小D所在业务要从公司独立出去，部分业务和域名需要从公司拆分出去。小D领到了一个任务：迁移源站的多媒体裁切服务（CropSrv）。上图是一个典型的互联网CDN接入和分发流程，以小D公司为例：APP上看到的图片，音频，视频都是就近CDN的接入点(Pop)下载 CDN如果没有相应的资源，会到源站(IDC内)下载源站的资源存储在OSS（对象存储）源站根据资源的格式需求进行裁切（图片一般是下载现场裁切，音视频则是提前裁切好）...

2021-07-30 00:19:09 153

原创 Kafka增加分区导致业务数据异常

目录故障描述处理经过原因分析故障总结中午11:40吃饭完回来故障描述kafka 某topic 增加分区致业务数据掉坑处理经过时间处理同学动作 11:40 小O 群里问小D kafka的topic能不能扩分区 11:41 小D 回复yes，业务不影响 11:50 小O 将某topic分区由4个改为8个 11:51 小O ...

2021-07-25 10:44:33 1599

原创网络割接导致K8S整集群失败

目录故障描述处理经过原因分析故障总结晚上11点了，小O同学刚准备睡觉，突然故障描述机房网络割接导致K8S整集群失败，Pod全部不可用。处理经过时间处理同学动作 23:00 小O 收到告警，起床打开电脑 23:03 小O 确认集群所有Pod全部处理CrashLoopBackOff状态 23:05 小O 业务为多集群部署，入口摘除此集群流量，业务恢复 .

2021-07-19 23:37:45 328

原创 Redis从库失败导致集群概率读不到

目录故障描述处理经过原因分析故障总结新入职的小O同学正在吃饭，突然故障描述Redis无法正常提供数据，研发请求Redis一会能读到数据一会读不到数据处理经过时间处理同学动作 12:00 小OP 收到告警，放下饭碗，奔赴电脑 12:05 小OP 查看日志和状态没有第一时间发现异常 12:10 小DE 见小OP没结论，bypassReids业务降级 ...

2021-07-17 22:16:49 426