
大数据项目
文章平均质量分 90
大数据项目
大勇任卷舒
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据智能运维平台方案-2
2.1 告警系统 此模块用于在监控过程中针对集群不合理的指标值(全局参数控制)进行预警 2.1.1 告警配置 查看告警阈值 点击参数,可调整告警阈值 2.1.2 告警服务启停 点击“启动”后,告警服务会启动并及时发送告警邮件 每隔15分钟(全局参数控制)会重新检查并发送告警邮件,页面中可以看到告警信息 2.1.3 页面告警 页面提示出现告警 点击右上角邮件图标,查看告警详情 2.1.4 邮件告警 2.2 巡检 此模块实现了集群自动化巡检和生成巡检报告,包括基础巡检和深度巡检两大原创 2021-01-15 13:28:13 · 1126 阅读 · 0 评论 -
大数据智能运维平台方案-1
1.1 功能详细介绍 1.1.1 登录界面 用户首先需要获取license,激活产品后才能正常使用,提示如下: 点击激活,会自动生成机器码,请联系厂商获取激活码 激活后,会提示到期日,产品可以正常进行登录了 1.1.2 首页 首页是向导页,以路线图的方式引导你进行集群配置和集群监控 1.2 配置管理 1.2.1 全局配置 用于配置全局参数和服务,包括数据保留配置、告警服务、告警配置和数据库配置等 修改全局参数 1.2.2 数据库配置 用于配置关系型数据库,支持Mysql和PostgreSQL等原创 2021-01-14 12:00:26 · 2295 阅读 · 0 评论 -
某金融大数据平台数据同步方案
Greenplum数据导入方案 Case2:tsale_staticshares表导数 导数说明: 存储格式:parquet 压缩:snappy 并行度:3 Impala查询 单表统计时间:4.28s 空间开销:约1G 时间开销:约7分钟 Case2:tsale_dividenddetail表导数 导数说明: 存储格式:parquet 压缩:snappy 并行度:5 Impala查询 单表统计时间:3.35s 空间开销:约2.2G 时间开销:约23原创 2020-12-10 14:51:42 · 272 阅读 · 0 评论 -
某金融大数据平台搭建测试
需求分析 背景 现网采用Greenplum作为数据仓库平台,Oracle作为业务核心数据库 目前现网系统存在可扩展性差,性能瓶颈等问题。考虑使用CDH大数据平台来解决现网问题。 整体需求 搭建CDH大数据平台,并进行故障诊断测试 对现网Greenplum数据库进行T+1数据同步 对现网Oracle数据库进行准实时数据同步 在CDH平台进行业务功能测试 项目进度规划 总结:所有任务按计划完成 整体系统架构 CDH安装之集群规划 规划了4台机器 CDH安原创 2020-12-08 10:52:11 · 216 阅读 · 2 评论