集群搭建——SGE与PBS

集群搭建——SGE与PBS

作业调度系统这大概卡了一周时间

具体的问题非常多，主要就是版本冲突问题

所以还是决定不使用ubuntu18还是去用centos7系统了

ubuntu最新的系统坑比较多，

比如在使用过程中，SSH服务崩了，发现是在安装与配置过程中系统可能自动删除了一个文件导致SSH服务无法启动，用了好长时间去解决这个问题（手动创建sshd文件）

用apt-get工具进行安装或卸载时提示“dpkg: error processing package openssh-server (--configure)”错误。

cd   /run/

mkdir   sshd

/usr/sbin/sshd

centos7安装torque

1 简介

PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需 要，如集群系统、超级计算机和大规模并行系统。

PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发,PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本.

应用PBS提交任务则会形成任务队列，依次执行，有效分配资源，避免资源竞争。否则CPU时间片会轮流分配给各个人的任务，从而影响所有人的正常作业。

torque主要由三个主要部件组成：

PBS服务守护进程： pbs_server 负责接收作业提交，位于服务节点

PBS调度守护进程： pbs_sched 负责调度作业，位于服务节点

PBS MOM守护进程： pbs_mom 负责监控本机并执行作业，位于所有计算节点

更多请看官网：adaptivecomputing.，源码

2 建立SSH无密码访问

因为节点之间要进行数据传输和任务分发，所以要各个节点之间要建立ssh无密码访问。

3 安装

安装信息