bdp-dataplatform：大数据生态解决方案数据平台：基于大数据，数据平台，微服务，机器学习，商城，自动化运维，DevO...

总项目 0，大数据生态解决方案数据平台 数据平台: bdp-dataplatform：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。 数据来源： 商城：使用SpringBoot，Java，Vue，React，Android开发多端商城，包括网站、App、微信小程序； 日志：使用Java开发服务端日志、客户端日志收集系统，使用DataX实现数据的导入导出系统； 爬虫：爬虫平台支持可配置的爬取公网数据的任务开发； 数据存储： 分布式文件系统使用HDFS，分布式数据库使用HBase，Mongodb、Elasticsearch，内存数据库使用redis； 数据计算： 使用Hive、MR、HiveSQL、ETL开发离线计算系统； 使用storm、flink、spark streaming开发实时计算系统； 使用kylin, spark开发多维度分析系统； 数据开发： 任务管理系统：负责调度、分配、提交任务到数据平台； 任务运维系统：查看Task运行