3.24 58 数据挖掘intern

1,

input= uid1 house: 1

             uid1 car: 1

             uid1 recruit: 2

             uid1 house: 2

             uid2 house: 1

             uid2: car: 3

...

注：日志文件格式为：同一个uid的信息显示完了再显示下一个uid

用python编程实现reduce并按照如下进行输出：

output: uid1 house: 3 car: 1 recruit: 2

              uid2 house: 1 car: 3

....

分析：输入为流式的，每个过程涉及两个uid变量，统计一个uid变量，并暂时存储，如果下一个变量不是这个uid变量，则将统计结果进行输出，释放该内存。开始统计下一个uid变量。

程序：

2, 二叉树的层序遍历

3,Map-Reduce框架的思想

shuffle: http://langyu.iteye.com/blog/992916

http://www.csdn.net/article/2013-01-07/2813477-confused-about-mapreduce

单词词频统计：http://www.tuicool.com/articles/uE7J7j

http://my.oschina.net/sanpeterguo/blog/215922

http://blog.csdn.net/jthink_/article/details/42745699

http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/00141861202544241651579c69d4399a9aa135afef28c44000

为什么讲mapreduce时没有讲shuffle

以下是 ubutu 14.04 LTS X64 + hadoop 2.7.2 安装试用过程，不完全成功

04/13/2016

Ubuntu环境下单机模式安装hadoop，并用自带WordCount示例验证：

http://www.cnblogs.com/kinglau/p/3794433.html  已完成

注意用的例子是： bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output

其中修改的一个脚本的位置：/usr/local/hadoop/etc/hadoop/hadoop-env.sh（和hadoop 2.6.2等其他版本不同，没有conf文件夹）

启用ssh-agent:
$eval `ssh-agent ` 

streaming.jar包在hadoop 2.7.2中的位置：

share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar

参照帖子：http://blog.csdn.net/hitwengqi/article/details/8008203

第六步：6.设定*-site.xml

几个xml文件在hadoop 2.7.2中的位置：

./etc/hadoop/core-site.xml
./etc/hadoop/hdfs-site.xml
./etc/hadoop/mapred-site.xml.template 复制该文件，并命名为mapred-site.xml

参考：http://zhidao.baidu.com/link?url=IfVWGBxAl8uCOPXf5GR5gcQSGzJszWdu9pRBLsUdWnA7R1kJTjyFy4D0L7WoR3kMuNxThjm7_OTMOb2kPLAg1zye9f-OeEPFnnLgXxgwwva

搭建hadoop2.4.1版本中/etc/hadoop/中找不到mapred-site.xml文件

默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。

复制并重命名
cp mapred-site.xml.template mapred-site.xml
编辑器打开此新建文件
sudo gedit mapred-site.xml
然后编辑mapred-site.xml

以后包含了如何编辑文件并另存为的问题。

提示hadoop命令未找到的解决办法：（两点）

1,

2, 输入hadoop文件命令的时候总是提示hadoop命令未找到，发现应该输入bin/hadoop所有的hadoop命令由bin/ hadoop脚本调用。

第八步，8.启动Hadoop中的 hadoop@ubuntu:/usr/local/hadoop/bin$ start-all.sh  首先，在hadoop 2.7.2中，目录应该是sbin/不是bin/；其次，命令应该是 ./start-all.sh或者

sh  start-all.sh

进行到上面这一步的时候会报错：

16/04/14 09:13:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

是本地库兼容的问题，32位和64位

目前还未解决

最终页面： localhost:8088在浏览器能看到运行情况

最终要实现的功能：http://blog.csdn.net/jiedushi/article/details/7390015

hadoopusr@karl-K42Jv:/usr/local/hadoop$ bin/hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar -files /home/karl/ML/codes/MR/map.py -files /home/karl/ML/codes/MR/red.py  -mapper "python /home/karl/ML/codes/MR/map.py" -reducer "python /home/karl/ML/codes/MR/red.py" -input /home/karl/ML/codes/MR/1.log -output /home/karl/ML/codes/MR/test2

能够运行

但是报错：

16/04/14 22:09:37 DEBUG security.UserGroupInformation: PrivilegedActionException as:hadoopusr (auth:SIMPLE) cause:ExitCodeException exitCode=1: chmod: 无法访问"/usr/local/hadoop/tmp/mapred/staging/hadoopusr513177568/.staging/job_local513177568_0001": 没有那个文件或目录

且output底下没有内容

关闭yarn:      hadoopusr@karl-K42Jv:/usr/local/hadoop$ ./sbin/stop-yarn.sh

./sbin/mr-jobhistory-daemon.sh stop historyserver

关闭hadoop：  hadoopusr@karl-K42Jv:/usr/local/hadoop$ sh ./sbin stop-all.sh

退出hadoopusr用户：  hadoopusr@karl-K42Jv:/usr/local/hadoop$ exit

这时就可以完全关闭了，不会提示  ”该终端中仍然有一个进程在运行。。。“