Azure数据存储与处理监控全解析

# Azure 数据存储与处理监控全解析 ## 1. 复习问题 以下是一些关于数据安全和监控的复习问题，许多问题可能有多个正确答案： |问题|选项| | ---- | ---- | |哪些对数据发现和敏感度级别有用？|A. 数据发现与敏感度标记<br>B. 数据发现与分类<br>C. 微软 Purview<br>D. Azure 蓝图| |在数据保留方面最常用的策略类型是？|A. Azure 保留策略<br>B. 生命周期管理策略<br>C. Azure Synapse Analytics 数据保留池<br>D. 数据清除策略| |什么是静态加密？|A. 数据在未使用时加密<br>B. 数据在写入时加密<br>C. 数据在删除前加密<br>D. 数据在传输时不加密| |以下哪些可用于实现传输中加密？|A. TLS 1.1<br>B. SMTP<br>C. TCP/IP<br>D. TLS 1.2| |关于列级安全的以下哪些陈述是正确的？|A. 如果使用者无权查看列值，列值将被加密并返回<br>B. 如果使用者无权查看列，将返回错误<br>C. 如果使用者有权查看列值，它将被掩码后呈现给客户端<br>D. 如果使用者有权访问，列值将被返回| |权限应应用于以下哪些？|A. Azure Active Directory 组<br>B. Azure Active Directory 用户<br>C. 用户分配的托管标识<br>D. Azure RBAC 角色| |以下哪些网络安全选项对数据安全非常有用？|A. OSI 第 4 层 Azure 防火墙<br>B. 防火墙设置<br>C. 专用终结点<br>D. Azure VPN 网关| |关于系统分配的托管标识的以下哪些陈述是正确的？|A. 只有平台知道凭据<br>B. 它们通常默认预配并绑定到 Azure 产品<br>C. 它们通常默认预配但不绑定到 Azure 产品<br>D. 它们与服务主体相同| |以下哪三个可以存储在 Azure 密钥保管库中？|A. 证书<br>B. 机密<br>C. 文件<br>D. 密钥| |Azure Databricks 个人访问令牌用于什么？|A. 直通身份验证<br>B. REST API 身份验证的承载令牌<br>C. 访问 Azure Databricks 工作区<br>D. 可与 OAuth 提供程序一起使用的身份验证令牌| ## 2. 监控的重要性 在设计数据安全解决方案之前，需要进行审计，以发现数据源并分析其中的数据类型。同样，监控 Azure 平台和运行在其上的应用程序也至关重要。通过监控收集的信息可用于明确平台、应用程序及其依赖项的可靠性。没有监控数据，就无法确认性能或可用性问题，也无法进行根本原因分析，更难以确定改进应用程序的措施。 在过去，监控策略和实施计划并非优先事项，更多关注于开发新功能、解决高影响的错误和维持生产系统运行。但在云环境中，区分平台相关问题和应用程序相关问题变得复杂，且云平台提供商因隐私法规不会记录应用程序信息。因此，必须启用监控并创建端到端的监控解决方案，该方案应包括对监控日志的分析，以主动提高可靠性并避免问题发生。 ## 3. Azure Monitor 概述 Azure Monitor 是 Azure 平台上用于实施监控策略的常用产品，它由众多技术和功能组成，可帮助用户从平台和应用程序产生的遥测数据中获取见解、进行可视化、分析和响应。 ### 3.1 实现 Azure Monitor 日志记录 Azure Monitor 是一个管理工作区，有助于集成和创建监控解决方案。大多数 PaaS Azure 产品内置了许多 Azure Monitor 功能，可在 Azure 门户中配置、存储和分析与产品绑定的监控功能的性能数据。 对于混合云解决方案中的本地资源或 IaaS 产品，若要使用 Azure Monitor 进行监控，需要预配 Azure Monitor 工作区，操作步骤如下： 1. 登录 Azure 门户（https://portal.azure.com）。 2. 在网页顶部中间的搜索框中输入“Azure Monitor 工作区”，从结果中选择它。 3. 点击“+ 创建”菜单按钮。 4. 输入订阅、资源组、名称（例如 brainjammer）和区域。 5. 点击“查看 + 创建”按钮（注意：Azure Monitor 并非在所有区域都可用），然后点击“创建”。 Azure Monitor 工作区的概述刀片上有两个 URL，一个是指标摄入端点，用于接收应用程序生成的指标；另一个是查询端点，用于查询数据。可以使用 Azure Monitor SDK 创建自定义应用程序，将日志发送到 Azure 平台并检索和呈现指标数据进行查看和分析。 对于 Azure PaaS 产品，Azure Monitor 的含义是指产品监控部分包含的监控功能，如警报、指标、诊断设置和日志。这些产品级监控功能中的监控数据保留 45 天，若需要更长时间的数据，需使用上述步骤中的端点迁移和检索数据进行分析。 ### 3.2 常见 Azure Monitor 功能 - **日志（Logs）**：从任何 Azure 产品中选择“日志”导航项时，其用户界面与 Log Analytics 工作区相似，基于 Azure Data Explorer 构建。例如，从 Azure Synapse Analytics 产品中选择“日志”导航链接，可看到特定于该产品的日志。点击“选择范围”链接，可将 Kusto 查询目标设置为订阅中的其他 Azure 产品。 - **指标（Metrics）**：指标对于发现应用程序在给定时间段内消耗的资源量非常有用，如内存、CPU 和连接数。每个 Azure 产品在 Azure 门户中都有一个“指标”刀片，不同产品的指标和聚合方式不同，可根据指标信息确定应用程序的使用情况。 - **诊断设置（Diagnostic settings）**：每个 Azure 产品都有“诊断设置”刀片。例如，在启用审计时，可在“诊断设置”刀片中看到自动生成的 SQLSecurityAuditEvents 设置，以及其他特定于专用 SQL 池的日志类别。对于 Azure Event Hub，可监控传入的 Kafka 消息，还可将存档、操作、自动缩放和运行时日志存储到配置的目标数据存储中，也可存储使用情况和性能指标。 - **警报（Alerts）**：每个 Azure 产品都有“新建警报规则”选项。例如，可基于 Log Analytics 中的 Kusto 查询或配置的指标设置警报。当查询返回错误行或指标超过阈值时，将发送警报。以下是配置 Azure Synapse Analytics 警报的步骤： 1. 登录 Azure 门户（https://portal.azure.com），导航到在练习 3.3 中创建的 Azure Synapse Analytics 工作区。 2. 从导航窗格的“监控”部分选择“警报”，选择“+ 创建”菜单项，从下拉菜单中选择“警报规则”，然后从“选择信号”窗口中选择“管道运行结束”。 3. 在“条件”选项卡中，将阈值设置为“静态”，从“聚合类型”下拉列表框中选择“总计”，从“运算符”下拉列表框中选择“大于或等于”，并在“阈值”文本框中输入 1，从“每检查”下拉列表框中选择 1 小时，从“回溯期”下拉列表框中选择 6 小时。 4. 点击“下一步：操作 >”按钮，点击“+ 创建操作组”按钮，选择适当的订阅资源组，从“区域”下拉列表框中选择推荐的区域，输入操作组名称（例如 brainjammer），点击“下一步：通知 >”按钮，从“通知类型”下拉列表框中选择“电子邮件 Azure 资源管理器角色”，在“电子邮件 Azure 资源管理器角色”弹出窗口中选择“所有者”，将“启用通用警报架构”切换为“是”，点击“确定”，输入名称（例如 brainjammer Owner），点击“查看 + 创建”按钮，然后点击“创建”。 5. 选择“下一步：详细信息 >”按钮，选择适当的订阅和资源组，从“严重性”选项中选择“信息性”，输入警报规则名称（例如 brainjammerSynapsePipelineRun），输入描述，点击“查看 + 创建”按钮，然后点击“创建”。 警报规则用于确定触发警报的情况，阈值可选择静态或动态。静态阈值需要手动配置单位和阈值，动态阈值使用机器学习算法确定正常指标范围，当指标超出正常范围时触发警报。“详细信息”选项卡中的严重性级别选择很重要，不同级别警报的频率和影响不同，如下表所示： |级别|警报类型|频率| | ---- | ---- | ---- | |0|关键|非常罕见| |1|错误|罕见| |2|警告|有时| |3|信息性|经常| |4|详细|始终| 警报组用于配置通知类型和接收者，可选择向 Azure 资源管理器角色成员发送电子邮件，或向电话号码发送电子邮件、短信、移动应用通知或语音消息。警报处理规则可在警报触发时提供更多控制，例如在计划维护期间抑制通知。 ### 3.3 配置监控服务 Azure 产品除了上述警报、指标、诊断设置和日志等内置监控选项外，还有 Azure Monitor 活动日志。活动日志包含对产品执行的操作，但不包括代码实现或作业、查询、管道执行的信息。选择日志中的条目时，会显示摘要和包含操作详细信息的 JSON 文档，其中一个显示操作详细信息的窗口有“+ 新建警报规则”按钮，可创建警报并在特定操作和状态发生时接收通知。 ##