
---------【Storm】
文章平均质量分 68
皮皮的雅客
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Storm的安装与配置
说在前面工作环境:VMware® Workstation 12 Pro 12.5.6 build-5528349linux版本:CentOS-7-x86_64-Minimal-1611.isoJDK版本:jdk-8u65-linux-x64.tar.gzHadoop版本:hadoop-2.7.6.tar.gzZookeeper版本:zookeeper-3.4.12.tar.gzSt...原创 2018-10-03 20:53:54 · 423 阅读 · 0 评论 -
Storm概念解析
Storm 是什么Storm 是一个分布式的,可靠的,容错的流式计算框架Storm 可以实时可靠的处理流数据,在实时分析/性能监测等需要高时效性的领域广泛采用Storm把集群的状态存在Zookeeper或者本地磁盘,所以后台进程都是无状态的(不需要保存自己的状态,都在zookeeper上),可以在不影响系统健康运行的同时失败或重启Storm可应用于–数据流处理、持续计算(...原创 2018-10-08 15:14:34 · 546 阅读 · 0 评论 -
Storm分组策略
以 WordCount 为例代码示例如下://源头Spoutpublic class WordCountSpout implements IRichSpout { private TopologyContext context ; private SpoutOutputCollector collector ; private List<String&g...原创 2018-10-08 15:15:24 · 649 阅读 · 0 评论 -
Storm确保消息被消费
以WordCount为例源头 Spoutpublic class WordCountSpout implements IRichSpout { private TopologyContext context; private SpoutOutputCollector collector; private List<String> states; ...原创 2018-10-08 15:16:27 · 316 阅读 · 0 评论 -
Storm实现单词统计
源头 Spoutpublic class WordCountSpout implements IRichSpout { private TopologyContext context ; private SpoutOutputCollector collector ; private List<String> states ; private R...原创 2018-10-08 15:17:18 · 493 阅读 · 0 评论 -
Storm整合kafka
kafka 作为源头 Spout,Storm进行流计算处理(以WordCount为例)导入依赖<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId>原创 2018-10-08 15:18:14 · 2164 阅读 · 0 评论 -
Storm自定义分组
以 WordCount 为例自定义策略/** * 自定义分组 */public class MyGrouping implements CustomStreamGrouping { //接受目标任务的id集合 private List<Integer> targetTasks ; public void prepare(WorkerTopol...原创 2018-10-08 15:19:14 · 223 阅读 · 0 评论 -
Storm整合Hbase
将Storm流计算的结果存储到Hbase上。以 WordCount 为例准备工作1. 启动集群启动ZooKeeper集群$> zkServer.sh start启动hadoop集群(Hbase集群启动前应该保证Hadoop集群启动,并保证namenode为激活状态)$> start-dfs.sh启动hbase集群start-hbase.sh启...原创 2018-10-08 16:27:17 · 1165 阅读 · 1 评论