- 博客(91)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 gitlab rpm安装
安装依赖组件sudo yum install openssh-server sudo yum install postfix sudo yum install cronie sudo service postfix start sudo chkconfig postfix on sudo lokkit -s http -s ssh下载安装gitlab rpm包curl -O https://down
2015-04-14 12:21:32
3160
原创 mount.md
linux 挂在命令挂载ISO镜像#mount -o loop ISO文件名 目的目录 #-t 挂载类型 $ mount -o loop -t iso9660 /** /mydisk.iso /mnt/vcdrom 如：#mount -o loop -t iso9660 /usr/local/tooldisk/mydisk3.iso /mnt/vcdrom
2015-04-14 09:35:41
446
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2015-04-13 09:59:05
451
原创 mapreduce性能调优
mapreduce性能调优 mapreduce参数配置优化 map端： map执行输出时首先是保存在缓存中，这个缓存的默认大小是100MB，由参数io.sort.mb来控制。当缓存达到一定比例时，缓存中数据将写入磁盘中，这个比例由io.sort.spill.percent来控制。在缓存写入磁盘之前，可以看到还有一个分割、排序和合并的过程。缓存中的数据在每次输出到磁盘时都会生成一个
2014-05-05 13:20:49
1099
原创 mapreduce任务执行的单步跟踪
本文仅作为b mapreduce程序调试除了在代码中添加日志来判断分析问题外，hadoop还提供了IsolationRunner工具，但是需要eclipse的远程调试功能。 集群下实现mapreduce任务的单步跟踪： 1、保存失败任务的临时数据和目录。 设置keep.failed.task.files为true 设置此参数后hadoop会保留此任务的临时数据和目录。如：运行时的job.
2014-05-05 10:35:03
941
原创 mapreduce任务出错最大尝试次数
一个任务出现失败时，tasktracker会将此任务的失败信息报告给jobtracker，jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败，且失败次数超出失败的最大指定次数，那么作业会在未完成的情况下被终止。 mapred-site.xml: hadoop1.x: mapred.max.map.attempts
2014-05-03 14:25:48
1618
原创 hadoop2.2.0本地库替换--centos6.4-64位
环境：centos6.4 64位；Hadoop2.2.0 用编译好的Hadoop2.2.0中的$hadoop2.2.0/lib/native文件夹 替换现有集群上每个节点的$hadoop2.2.0/lib/native文件夹
2014-05-03 14:25:46
486
原创 hadoop2.2.0编译--centos6.4-64位
环境centos6.4 64位软件下载地址:http://pan.baidu.com/s/1jGFnrJw 参考资料：http://ju.outofmemory.cn/entry/64668 参考资料：http://f.dataguru.cn/thread-189176-1-1.html Hadoop2.2.01、安装jdk 本次使用版本：jdk-6u31-linux-amd64.rp
2014-05-03 14:25:44
485
原创 hadoop2.2.0编译--错误解决办法
环境:centos 6.4 64位 完整编译过程：http://www.cnblogs.com/orangeann/p/3695373.html 1、 [INFO] ------------------------------------------------------------------------ [ERROR] Failed to execute goal org.apa
2014-05-03 14:25:42
826
原创 《java核心技术--卷一》equals方法
java语言规范要求equals的特性： 1）自反性：对于任何非空引用x，x.equals(x）应返还true。 2）对称性：对于任何x,y，x.equals(y)与y.equals(x) 返回值相同。 3）传递性：对于任何引用x,y,z，若x.equals(y)，y.equals(z)则x.equals(z) 4）一致性：如果x和y引用的对象没有发生变化，则反复调用x.equals(y)
2014-05-03 14:25:40
571
原创 Zookeeper 集群搭建
参考资料：http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.html 系统要求：http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.html#sc_systemReq 安装参考：http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.
2014-05-03 14:25:38
471
原创 linux /etc/fstab介绍，配置
参考资料：http://ckc620.blog.51cto.com/631254/394238
2014-05-03 14:25:36
546
原创 linux nfs安装、配置
参考资料：http://blog.chinaunix.net/uid-26284318-id-3111651.html 环境：centos 6.4 nfs服务端：ip=server_ip 1、centos nfs安装 yum -y install nfs-utils rpcbind 2、创建同步文件夹 mkdir /usr/local/nfs_syn_dir 3、配置/et
2014-05-03 14:25:34
454
原创 linux jdk安装
环境：centos 6.4 1、下载jdk http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html#jdk-6u3-oth-JPR 2、给下载的jdk添加执行权限 chmod +x jdkxxx 3、jdk为bin文件，则执行安装 .
2014-05-03 14:25:32
450
原创 hadoop 2.2完全分布式搭建 --准备
环境：centos6.4 64位 1、禁用selinux（所有节点)、关闭防火墙（所有节点必须做） 禁用selinux： $vim /etc/sysconfig/selinux 将其中属性SELINUX修改为：SELINUX=disabled 关闭防火墙： $service iptables stop #暂时关闭防火墙，重启后失效 $chkconfig ipta
2014-05-03 14:25:29
450
原创 本地yum源搭建
环境centos6.4 1、搭建可以匿名访问的ftp 2、将系统镜像提取到ftp ftp://192.168.20.100/CentOS_6.4_Final 3、备份repo mkdir /etc/yum.repos.d/bak mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak/ 4、在/etc/yum.repos.d下创建
2014-05-03 14:25:27
487
原创 简易vsftp搭建
环境：centos6.4 参考资料： http://blog.csdn.net/wildin/article/details/5878186 http://wiki.ubuntu.org.cn/Vsftpd#.2Fetc.2Fvsftpd.conf 1、保证yum源可用，运行命令： yum -y install vsftpd 2、(无需配置)配置，编辑vsftpd的配置文件
2014-05-03 14:25:25
488
原创 mac os下Python模块安装错误
原文地址：http://blog.csdn.net/xanxus46/article/details/22325253 环境：mac os x 10.9.2 python版本：2.7.5 easy_install对于Python相当于apt之于Ubuntu，安装其他库十分方便，但是最近安装PIL(Python Imaging Library)，这个强大的图形库时竟然出错了，十分抓狂。错误信息
2014-05-03 14:25:21
745
原创 hadoop2.2.0 maprd-site.xml--jobhistory properties
property> name>mapreduce.jobhistory.addressname> value>0.0.0.0:10020value> description>MapReduce JobHistory Server IPC host:portdescription> property> 注释：历史作业ipc的ip端口。 property> nam
2014-05-03 14:25:19
456
原创 hadoop2.2.0 mapred-site.xml--Job Notification Configuration
property> name>mapreduce.job.end-notification.urlname> http://localhost:8080/jobstatus.php?jobId=$jobId&jobStatus=$jobStatus--> description>Indicates url which will be called on completion o
2014-05-03 14:25:17
707
原创 hadoop2.2.0 mapred-site.xml--end of node health script variables
property> name>mapreduce.job.counters.limitname> value>120value> description>Limit on the number of user counters allowed per job. description> property> 注释： property> name>mapred
2014-05-03 14:25:15
379
原创 hadoop2.2.0 maprd-site.xml--Node health script variables
property> name>mapreduce.tasktracker.healthchecker.script.pathname> value>value> description>Absolute path to the script which is periodicallyrun by the node health monitoring service to d
2014-05-03 14:25:13
586
原创 hadoop2.2.0 maprd-site.xml--Proxy Configuration
property> name>mapreduce.jobtracker.taskcache.levelsname> value>2value> description> This is the max level of the task cache. For example, if the level is 2, the tasks cached are at the
2014-05-03 14:25:11
622
原创 hadoop2.2.0 mapred-site.xml--i/o properties
property> name>mapreduce.task.io.sort.factorname> value>10value> description>The number of streams to merge at once while sorting files. This determines the number of open file handles.de
2014-05-03 14:25:08
682
原创 hadoop2.2.0 mapred-site.xml
property> name>mapreduce.jobtracker.jobhistory.locationname> value>value> description> If job tracker is static the history files are stored in this single well known place. If No value i
2014-05-03 14:25:06
457
原创 hadoop2.2.0 yarn-site.xml--WebAppProxy Configuration
property> description>The kerberos principal for the proxy, if the proxy is not running as part of the RM.description> name>yarn.web-proxy.principalname> value/> property> 注释
2014-05-03 14:25:04
1398
原创 hadoop2.2.0 yarn-site.xml--Map Reduce configuration
property> name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname> value>org.apache.hadoop.mapred.ShuffleHandlervalue> property> 注释： property> name>mapreduce.job.jarnam
2014-05-03 14:25:02
401
原创 hadoop2.2.0 yarn-site.xml--Node Manager Configs
property> description>address of node manager IPC.description> name>yarn.nodemanager.addressname> value>0.0.0.0:0value> property> 注释： property> description>Environment v
2014-05-03 14:25:00
1778
原创 hadoop2.2.0 yarn-site.xml--Resource Manager Configs
property> description>The address of the applications manager interface in the RM.description> name>yarn.resourcemanager.addressname> value>0.0.0.0:8032value> property> 注释： p
2014-05-03 14:24:58
821
原创 hadoop2.2.0 yarn-site.xml--IPC Configs
property> description>Factory to create client IPC classes.description> name>yarn.ipc.client.factory.classname> property> 注释： property> description>Type of serialization to u
2014-05-03 14:24:56
432
原创 hadoop2.2.0 hdfs-site.xml
property> name>hadoop.hdfs.configuration.versionname> value>1value> description>version of this configuration filedescription> property> 注释： property> name>dfs.namenode.logging.l
2014-05-03 14:24:54
565
原创 hadoop2.2.0 core-site.xml--HTTP web-consoles Authentication
property> name>hadoop.http.authentication.typename> value>simplevalue> description> Defines authentication used for Oozie HTTP endpoint. Supported values are: simple | kerberos | #A
2014-05-03 14:24:51
574
原创 hadoop2.2.0 core-site.xml--Tfile
property> name>tfile.io.chunk.sizename> value>1048576value> description> Value chunk size in bytes. Default to 1MB. Values of the length less than the chunk size is guaranteed
2014-05-03 14:24:49
428
原创 hadoop2.2.0 core-site.xml--FTP file system
property> name>ftp.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page size (
2014-05-03 14:24:47
427
原创 hadoop2.2.0 core-site.xml--Kosmos File System
property> name>kfs.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page size (
2014-05-03 14:24:45
459
原创 hadoop2.2.0 core-site.xml--s3native File System
property> name>s3native.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page s
2014-05-03 14:24:43
560
原创 hadoop2.2.0 core-site.xml--s3 File System
property> name>s3.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page size (4
2014-05-03 14:24:41
458
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人