Kubernetes Summit 2024 - How GenAI Help you in K8s Ops

How GenAI
Help you in
K8s Ops
Not Talking about AI Theory

I am smalltown
MaiCoin Group Head of SRE
Taipei HashiCorp UG Organizer
AWS UG Taiwan Staff
Hello!

Demo 環境設定與執行指令在此
https://github.com/smalltown/kubernetes-summit/tree/main/2024

採用容器技術後，要
學習與管理的東西更多了

因為 K8s 本身就是
一個很大的坑

更不用提還有什麼
Terraform , ArgoCD,
OPA, …等

不熟的工作任務就跟老闆說：不會做

太多事情做不完就跟老闆說：沒空做

厭倦做重複事情就跟老闆說：不想做

不會做 + 沒空做 + 不想做 = 回家吃自己

利用 GenAI 成為 10X 工程師

GenAI 常見的三個使用場景
知識管理維運流程產品功能

可以在 K8s 知識管理和維運流程中整合 GenAI
知識管理維運流程產品功能

整合 GenAI 能夠達成以下三個目標
加開發工作
協助維運服務
提供進階建議

將 GenAI 整合 Chatbot & Code Editor
加開發工作協助維運服務提供進階建議

給予資淺人員指引
以最多人使用的 ChatGPT 為例
● 基礎概念、錯誤排除、最佳實踐 ...等
● 照單全收？！需要獨立思考 🤔
好奇大家使用付費版本嗎？

加工程人員開發
以 VS Code + GitHub Copilot 為例
● 加程式撰寫度 💪
● 協助測試程式撰寫 💪
● 一直按 Tab就好？！要 Debug 啦 😂
還有人沒用過的嗎？
Before GitHub Copilot After GitHub Copilot

將 GenAI 整合 CLI
加開發工作提供進階建議
協助維運服務

分析問題成原因
● 情境：Kai 剛畢業就職，第一天
上工，看到一個 Nginx K8s
Pod 一直開不起來 😢
● 期望：希望有人可以跟他說要怎
麼辦
● 工具：K8sGPT

操作指令自動生成
加開發工作提供進階建議
● 情境：Luca 想要部署 Nginx
K8s Pod 做一些測試 🤔
● 期望：迅完成，然後不用離開
他最愛的 terminal
● 工具：kubectl-ai
協助維運服務

將 GenAI 整合 Third-Party Solutions
…

系統安全弱點建議
● 情境：Remi 的老闆要他做 K8s
內 Container 的弱點分析 😫
● 期望：整理好的掃描結果，還有
建議要怎麼修復
● 工具：K8sGPT + Trivy
Operator

快解決線上問題
● 情境：James 發現 Slack 收到
告警，好像有服務壞掉了 😱
● 期望：需要快找到原因，並且
將問題排除掉
● 工具：Slack + Prometheus +
Robusta

導入 GenAI 的
注意事項
我都付錢了，你還想要怎麼樣？

服務提供者如何
處理資料？
● 會輸入哪些資料到這個服務 ?
● 在此服務中會儲存哪些資料 ?

服務提供者有無
安全審查？
● 完全沒有提？
● 正在努力中？
● 過好過滿？

服務無法正常使
用怎麼辦？
● 對外提供的主要服務會受影響
嗎？
● 有其他的替代方案嗎？

都不符合的話
就用自架方案吧！
Open LLMs

GenAI 不會取代人類，但不善用它的人會被取代

● Software Engineer in Test
● Blockchain Engineer
● Backend Engineer

Thanks!
Any question?
You can ﬁnd me at 小城慢聊
身為老人，所以用
老人社群

More Related Content