大数据技术分享 JStorm介绍 JStorm-分布式实时计算引擎 共40页.pptx

**JStorm介绍** JStorm是由阿里巴巴开发的分布式实时计算引擎，它是基于Apache Storm的一个增强版本。JStorm的设计目标是提供比Storm更高的稳定性、更强的功能和更快的计算性能。这个技术分享主要涵盖了JStorm的背景、特性、优势以及适用场景。 **JStorm的发展背景** JStorm的开发团队是国内最早接触并使用Storm的团队，经历了多个Storm的版本迭代。随着阿里巴巴内部对实时计算需求的增长，开源社区的Storm无法满足其快速发展的需求，因此诞生了JStorm项目。这个项目旨在降低未来的运维成本，提供更好的技术支持，加速内部业务的响应速度。 **JStorm的主要特性** 1. **高稳定性**：JStorm提供了nimbus的HA（High Availability），即当nimbus主节点故障时，可以自动切换到备份nimbus，保证服务不间断。同时，JStorm解决了Storm中存在的一些稳定性问题，如RPC问题和数据流的稳定性。 2. **强大的定制化**：与Storm相比，JStorm允许更深度的定制化，能够应对复杂的调度需求，避免任务分配不平衡和RPC OOM等问题。 3. **优化的RPC**：JStorm使用Netty+Disruptor作为底层RPC，确保发送和接收速度匹配，解决了Storm中Zeromq堆外内存导致的OS内存不足和Netty引发的OOM问题。 4. **数据流稳定性**：JStorm改进了任务重平衡机制，避免了添加或关闭supervisor时触发不必要的rebalance，增强了任务执行的稳定性。 5. **资源隔离**：JStorm在任务调度时考虑了CPU、Memory、Disk和Net四个维度，确保新任务上线不会对已有任务造成冲击。 **流式计算的特点** 流式计算是一种基于消息的流水线处理系统，其主要特点是： 1. **快速开发**：遵循Topology、Spout、Bolt的编程规范，开发者可以快速构建出高度可扩展的应用，而无需关注底层的复杂操作。 2. **高扩展性**：通过调整并发数，流式计算系统能线性提升处理能力。 3. **健壮性**：系统具有容错机制，能自动替换失效的工作节点，保证服务连续。 4. **准确性**：通过Acker机制保证数据不丢失，使用事务机制保证数据准确性。 **适用场景** JStorm适用于无状态计算任务，如日志分析、管道系统、消息转换器和统计分析器等，这些任务的数据处理不依赖额外的存储状态。 **总结** JStorm作为一款分布式实时计算引擎，因其高度的定制化、优秀的稳定性和扩展性，成为阿里巴巴集团内部大规模应用的实时计算平台。它的出现弥补了开源Storm在处理阿里巴巴复杂业务需求时的不足，为实时大数据处理提供了一种高效可靠的解决方案。