yshir

【案例】使用hive和sqoop来实现网站基本指标，PV和UV 1、PV统计网页浏览总量 2、UV去重 -》【需求】统计24小时每个时段的PV和UV -》建分区表，按天一级，按小时一级，多级分区 -》第一步分析需求 -》第二步获取时间字段，天，小时 -》对于时间格式进行数据清洗，比如：2015-08-28 18:10:00，从中获取日期和小时 -》获取需要有用的字段：id、url、guid、trackTime -》第三步数据分析 -》使用select sql -》第四步使用sqoop导出 -》预期结果

一、ElasticSearch和Hbase ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。Elasticsearch的性能是solr的50倍。 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩.

Redis分布式锁实现：适用于单机模式，集群模式不可行，失效时间不好控制，一般为业务时间的2-3倍左右。 SET key value [EX seconds] [PX milliseconds] [NX|XX] 将字符串值value关联到key。 如果key已经持有其他值，SET就覆写旧值，无视类型。 对于某个原本带有生存时间（TTL）的键来说， 当SET命令成功在这个键上执行时， 这个键原有的 TTL 将被清除。 可选参数 从 Redis 2.6.12 版...

一、获取全部cookie信息 　　这个比较方便，直接在nginx.conf文件中添加$http_cookie 1 2 3 4 5 6 log_format main '[$time_local] - $remote_addr:$remote_port - $remote_user - $upstream_addr $upstream_status $upstream_response_time - ' ...

zk承受节点故障是（n-1）/2 .安装zookeeper集群 1.在s100上面上传zk压缩包 >cp /mnt/hgfs/BigData/第九天/zookeeper-3.4.10.tar.gz /data/ 解压 >cd /data >tar -xzvf zookeeper-3.4.10.tar.gz 2.发送到其他节点 >xsync /data/zookeeper-3.4.10 3.配置环境 [/etc/environment] ZOOKEEPER_