华为云.云日志服务LTS及其基本使用

云计算
云日志服务LTS及其基本使用

- 文章信息 -
Author: 李俊才 (jcLee95)
Visit me at CSDN: https://jclee95.blog.csdn.net
My WebSitehttp://thispage.tech/
Email: 291148484@163.com.
Shenzhen China
Address of this article:https://blog.csdn.net/qq_28550263/article/details/140479964
HuaWei:https://bbs.huaweicloud.com/blogs/431260

【介绍】:本文详细介绍了华为云日志服务(LTS)的基本概念和使用方法,包括创建日志组和日志流、安装ICAgent、配置日志采集规则、查看和分析采集到的实时日志等,为读者提供了一个完整的LTS入门指南,帮助读者快速上手使用LTS进行基本日志管理。

在这里插入图片描述


1. 概述

1.1 华为云DRS简介

华为云日志服务(Log Tank Service,简称LTS)是一项一站式日志数据解决方案。它支持日志采集、搜索分析、日志存储、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务,用户无需关注扩缩容等资源问题,同时降低了日志运维门槛,有助于提高问题定位和指标监控的效率。

LTS的主要特点包括:

  1. 实时日志采集:支持通过ICAgent、云服务、APISDK等多种方式采集日志。

  2. 高效日志查询:采集的日志数据可在云日志控制台以简单有序的方式展示,方便快速查询。

  3. 结构化分析:支持对日志进行结构化处理,提取固定格式或相似度高的内容,便于使用SQL语法进行查询分析。

  4. 可视化报表:提供多样化的可视化展示功能,如表格、折线图、柱状图、饼图等。

  5. 监控告警:支持创建统计规则,对接告警中心,实现日志的实时监控和告警。

  6. 长期存储:支持将日志转储到对象存储服务(OBS)、数据接入服务(DIS)等,实现长期保存。

LTS可广泛应用于日志采集分析、性能优化、安全审计、运营分析等多个场景,是企业进行日志管理和分析的有力工具。

1.2 实验目的

本实验旨在通过实际操作,帮助读者快速上手使用华为云日志服务(LTS)。具体目标如下:

  1. 了解LTS的基本概念,包括日志组、日志流、ICAgent等。

  2. 掌握创建日志组和日志流的方法。

  3. 学习如何在弹性云服务器(ECS)上安装ICAgent

  4. 配置日志采集规则,将ECS的系统日志接入LTS

  5. 在LTS控制台查看和分析采集到的实时日志。

通过完成这些步骤,读者将能够建立起对LTS的基本认识,并具备使用LTS进行日志管理的基本技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定基础。

本实验采用实际操作的方式,让读者亲身体验LTS的功能和使用流程,从而加深对LTS的理解和掌握。实验中使用的是华为云平台,读者需要准备一个华为云账号,并创建一台ECS实例作为日志源。通过这种实践性的学习,读者可以更好地理解LTS在实际应用中的价值和作用。

1.3 关键概念

在使用华为云日志服务(LTS)之前,了解以下关键概念及其关系非常重要:

  1. 日志组(Log Group)

    • 日志组是LTS中日志管理的基本单位。
    • 它用于对日志进行分类管理,通常可以按照业务类型或应用系统来划分。
    • 一个日志组可以包含多个日志流。
  2. 日志流(Log Stream)

    • 日志流是日志数据的载体,用于存储同一类型的日志数据。
    • 每个日志流都从属于一个特定的日志组。
    • 日志流可以对应到具体的日志文件或日志类型,如应用程序日志、系统日志等。
  3. ICAgent

    • ICAgentLTS提供的日志采集代理程序。
    • 它需要安装在需要采集日志的服务器(如ECS)上。
    • ICAgent负责从服务器上收集日志数据,并将其上传到LTS服务。
  4. 日志主题(Log Topic)

    • 日志主题是对日志数据进行分类的一种方式。
    • 它可以用于将同一日志流中的日志按照不同的主题进行归类。
  5. 结构化配置

    • 结构化配置用于定义如何解析原始日志数据。
    • 通过结构化配置,可以将非结构化的日志转换为结构化数据,便于后续的查询和分析。
  6. 索引配置

    • 索引配置定义了如何对日志数据建立索引。
    • 合理的索引配置可以提高日志查询的效率。

其中

  • 一个LTS账户可以创建多个日志组;
  • 每个日志组可以包含多个日志流;
  • ICAgent安装在需要采集日志的服务器上,负责将日志数据采集到指定的日志流中;
  • 日志流中的数据可以通过结构化配置进行解析,并通过索引配置建立索引;
  • 日志主题则可以用于对同一日志流中的日志进行进一步分类。

2. 准备工作

2.1 创建AK/SK

进入华为云·我的凭证页面:https://console.huaweicloud.com/iam/?region=cn-north-4#/mine/accessKey。你想看到如下页面:

在这里插入图片描述
点击左上角的“新增访问密钥”,在模态框弹窗中输入此密钥的描述信息,然后点击确定:

在这里插入图片描述
创建完成后,将弹出“创建成功”弹窗:

在这里插入图片描述
你可以直接点击“立即下载”,这将会下载一个“credentials.csv”文件,你可以使用文本编辑器、Excel等软件打开查看它。
打开后你将看到“User Name”(你的用户名)、“Access Key Id”(AK,访问键ID)、“Secret Access Key”(加密访问密钥)三个字段。你需要妥善保管好他们一面泄露,这可以用于登陆或访问你的华为云的部分资源和相关软件,比如华为云的OBS Browser+ 等。

2.2 创建一个ECS服务器

接下来,我们创建一个ECS服务器用于演示收集其日志。进入华为云·ECS控制台https://console.huaweicloud.com/ecm/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/ecs/manager/vmList。点击左上角的“购买弹性云服务器”:
在这里插入图片描述
为了实验成本最低,选择一台最低配置的ECS实例:

在这里插入图片描述
选择一个你熟悉的镜像,然后点击右下角的“下一步:配置网络”:

在这里插入图片描述
选择一个VPC,然后考虑是否需要包月或按照流量计费宽带,配置后进入下一步:

在这里插入图片描述
配置ECS实例名称以及登录密码等信息,然后确认配置:

在这里插入图片描述
最后确认配置并提交:

在这里插入图片描述
然后返回ECS列表即可:

在这里插入图片描述

在列表中可以看到我们刚刚所购买的ECS实例:

在这里插入图片描述

3. ECS接入LTS

3.1 创建日志组、日志流

登录华为云·云日志服务LTS控制台页面:https://console.huaweicloud.com/lts/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/cts/manager/groups。在“日志管理”子标签页中向下滚动:

在这里插入图片描述
直到你看到“日志组列表”:

在这里插入图片描述

点击“创建日志组”按钮,输入日志组的相关信息后,点击确认:

在这里插入图片描述

创建完成后,可以在日志组列表中看到刚刚新建的日志组:

在这里插入图片描述
旧版的日志组列表中需要点击去对应的日志组才能为该日志组新建日志流。不过如今的版本可以直接在“日志组列表”中对应的日志组下点击“创建日志流”。果断点击“创建日志流”:

在这里插入图片描述

在此右侧面板中,输入相关信息无误后点击确定,可以看到该日志组的展开信息下多了一条刚刚新建的日志流信息:

在这里插入图片描述
完成这一步后,就可以取安装ICAgent了。

3.2 日志采集工具ICAgent安装

在前文我们已经介绍了如何获取AK/SK,(参见2.1 创建AK/SK)。现在我们需要将AK和SK替换到下面的模板中的{input_your_ak}{input_your_sk}部分,以得到安装命令:

set +o history;curl https://icagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/ICAgent_linux/apm_agent_install.sh > apm_agent_install.sh && REGION=cn-north-4 bash apm_agent_install.sh -ak {input_your_ak} -sk {input_your_sk} -region cn-north-4 -projectid 0c34261a0800f2512f53c006f337ef47 -accessip 100.125.12.150 -obsdomain obs.cn-north-4.myhuaweicloud.com -accessdomain lts-access.cn-north-4.myhuaweicloud.com    ;set -o history;

然后,回到ECS实例页面,选择刚刚创建好用于演示日志采集的服务器,点击“远程登录”:

在这里插入图片描述

滚动到最下侧,点击图示的“立即登录”:

在这里插入图片描述

在新页面的模拟终端中,输入你创建ECS时候设置的root用户密码完成登录:

在这里插入图片描述
将准备好的命令粘贴进去,并运行命令,等待安装完成:
在这里插入图片描述

可以看到这里的信息提示安装成功了。

3.3 接入日志

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为了演示,这里笔者配置一些华为云Linux系统运行一阵子必有的日志路径作为采集对象:

在这里插入图片描述
根据你的业务需求取配置“全文索引”、“日志分析”等信息:

在这里插入图片描述

完成后提交或者直接跳过并提交,进行ECS日志接入:

在这里插入图片描述
现在我们可以查看日志流,直接进入被接入的日志流详情,可以看到,创建之初还没有日志信息:

在这里插入图片描述
等待一会,你可可以登录ECS人为搞一些事情,以更快得到更多日志。

在这里插入图片描述

在“实时日志”下方,可以看到不断增加的被LTS(其实是ICAgent)监测到的日志内容:

在这里插入图片描述
可见,我们的ECS日志成功接入了。

在实际项目中,需要接入的往往是各种应用的运行日志,比如Nginx的access.log、error.log,JBoss的server.log等等。

4. 总结

至此,我们已经详细介绍了华为云日志服务(LTS)的基本概念和使用方法。我们首先了解了LTS的功能和特点,然后通过实际操作演示了如何创建日志组和日志流、在ECS上安装ICAgent、配置日志采集规则,最后成功将ECS的系统日志接入LTS并在控制台查看实时日志。这一系列步骤涵盖了LTS使用的基本流程,为读者提供了一个完整的LTS入门指南。

通过本文的学习和实践,期望帮助读者掌握使用LTS进行基本日志管理的技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定了基础。在实际应用中,LTS可以帮助用户更好地监控系统状态、定位故障、分析业务数据,从而提高运维效率和业务洞察能力。希望本文能够帮助读者快速上手LTS,并在实际工作中充分发挥LTS的价值。

<think>嗯,用户正在询问如何将云防火墙日志接入日志服务,我需要根据提供的引用内容和之前的对话来制定解决方案。从引用中可以看到几个关键点:华为云的VPC流日志需要先在云日志服务创建日志组和日志流[^1],负载均衡访问日志同样需要关联云日志组和日志流且仅支持七层负载均衡[^2],另外还有通过GoAccess生成可视化日志报表的方案[^3]。用户明确提到"云防火墙日志",这应该是指安全防护产生的流量日志或策略日志。考虑到引用3中展示了通过重定向将web日志输出为HTML报告的方法,这可能是个备选方案,但更规范的应该是引用1和2中提到的云日志服务集成方式。我注意到引用4和5涉及防火墙本身的技术细节和Graylog日志收集方案。虽然Graylog是个独立方案(引用5展示了交换机推日志到Graylog的配置),但用户指定要用"日志服务",应该优先考虑云厂商的托管服务。重点需要确认:-云防火墙是否具备日志转发功能-日志服务端需要预创建哪些资源-是否需要配置日志解析规则核心步骤应该包括三个层面:日志源(防火墙配置转发)、传输通道(通常自动建立)、日志服务端(创建存储和分析配置)。用户可能需要具体操作指引,比如在华为云控制台的操作路径:防火墙服务→日志配置→关联LTS日志组,这符合引用1提到的VPC流日志配置逻辑。安全方面要提醒开通端口权限,比如引用2提到的日志服务区域限制。特别注意到引用1强调"在创建前确保完成日志组/流配置",这个前置条件必须写在方案第一步。最后考虑用引用5的Graylog方案作为备选,虽然用户指定云日志服务,但多提供个跨平台选项更周全。用户可能是云安全运维人员,提问很专业,说明ta已经看过基础文档但需要具体集成指引。回复需要突出:厂商控制台的具体操作节点名称、关键配置项截图(用文字描述代替)、常见坑点(如公测权限/区域限制)。可以补充日志解析规则的自定义建议,这样日志内容才具有可分析性。</think> 以下是基于主流云平台(华为云、阿里云等)的**云防火墙日志接入日志服务**的标准配置指南,结合最佳实践整理: --- ### **一、前置条件** 1. **开通日志服务(LTS/SLS)** - 在目标区域创建日志组(如`cfw-log-group`)和日志流(如`cfw-traffic-log`),用于存储防火墙日志[^1]。 - 确保云防火墙与日志服务在同一地域(如"华南-广州")[^1][^2]。 2. **网络连通性** - 云防火墙所在VPC需与日志服务网络互通(通过公网/专线/对等连接)。 --- ### **二、配置步骤** #### **步骤1:启用防火墙日志功能** 1. **登录云管理控制台** → **云防火墙服务**。 2. **访问日志管理**: - 选择目标防火墙实例 > 进入 **"日志审计"** 或 **"日志配置"** 选项卡。 3. **开启日志采集**: - 勾选需要采集的日志类型(如:**流量日志**、**攻击日志**、**策略命中日志**)。 - 选择已创建的 **日志组/日志流**(例如:`cfw-log-group/cfw-traffic-log`)[^1][^2]。 #### **步骤2:配置日志解析规则** > *(可选但推荐,避免原始数据不可读)* ```plaintext # 示例:自定义解析模板(华为云LTS) { "log_type": "cfw_traffic", "fields": [ {"name": "src_ip", "type": "text"}, {"name": "dest_ip", "type": "text"}, {"name": "action", "type": "text"}, # 如"allow/deny" {"name": "bytes_sent", "type": "long"} ] } ``` - 在日志流 **"索引配置"** 中加载解析模板[^3]。 #### **步骤3:日志消费与可视化** - **实时查询**: 在日志服务控制台输入查询语句(如:`action:deny | select src_ip, count(*) as attacks group by src_ip`)。 - **对接可视化工具**: 1.日志流接入 **Grafana**:通过日志服务插件加载数据源[^3]。 2. **快速生成仪表盘**: ```bash # 使用GoAccess生成HTML报告(参考方法) goaccess /var/log/cfw_access.log --log-format=COMBINED > firewall_dashboard.html ``` ![GoAccess可视化示例](https://example.com/goaccess-demo.png) [^3] --- ### **三、关键注意事项** 1. **权限控制**: - 防火墙实例需被授予 **写入日志流** 的权限(通过IAM角色/访问密钥)[^1][^2]。 - 子账号需拥有 **CFW ReadOnlyAccess** + **LTS FullAccess** 策略。 2. **成本优化**: - 设置 **日志存储周期**(如30天自动清理)。 - 启用 **日志压缩**(如gzip)降低存储开销[^1]。 3. **故障排查**: ```bash # 检查日志投递状态(Linux) tail -f /var/log/cfw_agent.log | grep "send failed" ``` - 常见错误:地域不匹配、流量超额、权限不足[^1][^2]。 --- ### **替代方案:第三方日志系统** 如需对接 **Graylog/Splunk**: 1. 在防火墙配置 **Syslog转发**: ```plaintext # 华为云防火墙示例 logging enable logging server 10.0.0.100 udp-port 514 # Graylog服务器IP ``` ![Graylog配置界面](https://example.com/graylog-setup.png) [^5] 2. 在Graylog创建 **GELF/UDP输入源** 接收日志[^5]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jcLee95

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值