Zenyatta1Q84

目录 备注 1.客户端存入文件机制 2.客户端读取文件机制 3.元数据记录机制 1. 从客户端往HDFS文件系统放文件 client想NM咨询是否可以上传文件： 比如说NM检查上传文件的路径是否存在 比如说是检查本集群是否还有空余空间存储数据 nm返回一个说可以上传 文件的划分是在client完成的，接着，client上传第一个block （大小可以...

hive sparkSQL Storm都会碰见倾斜的问题 （待更新。。）

3.storm周边框架 ZooKeeper LogStash（收集数据的工具，类似Flume） Kafka Logstash整合Kafka

0.简介 a million tuples processed per second per node 单个节点美妙百万数量级的实时计算 scalable 可扩展性 fault-tolerant 容错性 生于Twitter，收购的BackType，并开源到apache 底层语言clojure，java混合体 api:javadoc hadoop VS storm hadoop： map redu...

1

1. Zookeeper 2. Zookeeper的分布式锁 3. Zookeeper && Keepalived

高可用集群搭建：hdfs的HA + yarn的HA 1.HDFS的HA prototype原型 问题：fsiamge很大，每次都需要传输，性能大幅度下降 改进1 【keepAlived】：解决静态路由的单点故障问题 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替...

16G内存 自己搭建的节点： hdfs集群和yarn集群 1-namenode 4-datanode 1-master 4-slave based on Centos 7 JDK1.8 hadoop1.8.0 NAT联网：同一个网段 设置好每个虚拟机的固定IP，和内网域名映射，ssh免密登录，防火墙关闭 需要的配置文件： hadoop-env.sh 指定JAVA_HOME core-sit...

8.DRPC 8.1 RPC(hadoop) remote procedure call 远程过程调用 跨网络（跨越传输和应用两层），跨进程 hadoopRPC 依赖hadoop client的RPC自己包 8.2 storm中本地模式的DRPC编程 DRPC并不是一个storm的特性，可以单独用，也可以放在一起用（将会很棒–form官网） DRPC server进行协调： 拿...

自己的环境及其版本 linux：centos 6.10 final jdk： 1.8.0 hadoop： 2.8.0 scala： 2.12.7 spark官网下载链接 spark-release：选择最新版本即可 package-type：选择和hadoop版本对应的，2.7.0分界线 220M 配置spark环境变量（略） 修改spark配置文件 cd $SPARK_HOME/bin mv ...

对信令信息相应字段的分析，挖掘，结合GIS技术实现自定义区域实时人流量的智能化统计分析 信令： 通过移动用户发生的通信时间记录判断用户所处的位置，根据区域，定义用户的行为轨迹 1）区域内：inside 用户处在目标区域范围内 2）区域外：outside 用户处在目标区域外 3）离开：leave 观察到驻留在某个区域的用户，在该区域外的某一个区域发生了一个通信事件，则认为该用户离开了这个区域 4）...