Hadoop扩展出现危险的七大信号

大多数企业大数据应用案例还处于实验和测试阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致中途烂尾，令大数据项目无法持之以恒。部署和扩展Hadoop系统是一件高度复杂的事情，如果用户能提前考虑到Hadoop扩展时会遇到的问题和对危险信号有所了解，就能避免很多烂尾情况了。
　　
以下是Altiscale的RaymieStata早前曾总结出来的Hadoop大数据七大危险信号，大家“中”了几多？
　　
危险信号一：永远未进入生产阶段
　　
大数据应用从概念到生产环境是一个巨大的变化，Hadoop系统的可扩展性将面临巨大的挑战。生产环境的数据规模所产生的问题在实验环境是很难遇到的。另外数据本身也存在差异，概念验证阶段使用的测试数据往往是不真实的，或者是类型单一。在进入生产环境前，大数据团队需要对Hadoop系统进行模拟真实数据规模的压力测试，此类测试能够检验大数据应用的可扩展性和相容性能，还能帮你做出更加准确的性能(资源需求)规划模型。
　　
危险信号二：分析任务不断超时
　　
当Hadoop中运行的大数据应用很少或者只有一笔时，一切都会按部就班，但是随着Hadoop Computer cluster增长，数据分析任务的运行时间变得难以预测。一开始，只是有零星的超时现像，问题容易被忽视，但随着时间久了，超时问题会越来越严重，最后导致危机发生。在危机爆发前，你必须提前采取行动，根据任务的程度来调整计算性能的规划模型。
　　
危险信号三：你开始告诉人们不要保留所有数据
　　
危机出现的另一个征兆是数据保留时间不断缩水。一开始你想保留13个月的数据进行年度分析。但是由于空间限制，你开始减少保留数据的月份数。到最后，你的Hadoop系统因为没有足够多的数据而从BIDDATA变成SMALLDATA系统。数据保留导致空间缩水是因为存储的扩展性遇到问题，这与前面的运算性能问题类似。当你的容量Prediction Model出现问题时，需要尽快调整。
　　
危险信号四:Data scientist被“饿死”
　　
任务负荷过重的Hadoop Computer cluster会扼杀创新，因为Data scientist将没有足够的运算资源来开展大型任务，也没有足够的空间来存储中间结果。性能和容量规划通常会忽略或者低估Data scientist的需求，之前提到对生产环境任务的估计不足，会严重限制Data scientist的创新性工作。
　　
危险信号五：Data scientist开始查看Stack Overflow
　　
在Hadoop系统部署的早期，运行和营业团队与科学家紧密协作。运行和营业团队随时为Data scientist提供支持，但是当Hadoop系统成功上线后，系统的运行维护和扩展任务就会让运行和营业的团队疲于奔命，这时候Data scientist遇到Hadoop问题就只好自己解决，例如去StackOverflow查看问题帖子。
　　
危险信号六：Data Center越来越热
　　
Data Center伺服器的电力都不是按伺服器的功率配置的，但是一个Hadoop Computercluster运行任务的时候经常会连续开启数小时，会烧坏不匹配的供电线路，同样的问题也存在于制冷系统中。部署Hadoop系统时请确保Data Center能顶得住长时间全速运行的Hadoop….。
　　
危险信号七：费用超支
　　
基于IaaS的Hadoop部署，例如AWS，在支出上是无法控制的。一个月的费用很有可能是上个月的叁倍，远远超出你的预算。性能规划对于基于IaaS的Hadoop部署来说也是非常重要的，但是好的性能规划只是开始，如果你需要扩展IaaS上的Hadoop系统，在成本监控和优化系统上投入大量资金是必然的，假如你自问资金不足，那就切勿随意尝试大数据Hadoop。

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取