linux pigz 多线程压缩解压

linux下的多线程压缩工具pigz--离线安装使用教程

最近搞项目，资料太大，解压时间太久，于是想办法解决。开贴记录。

1、pigzLinux Pigz是一款高性能，是能并行多核处理的文件压缩工具，，可以打包和解压由 tar -zcvf/-zxvf 打包并压缩的文件（即标准的 .tar.gz 文件），但需要结合 tar 命令一起使用。适用场景：大文件、多核 CPU 环境，需快速压缩/解压。tar -zcvf 生成的 .tar.gz 文件原理是：先用 tar 打包文件（生成 .tar），再用 gzip 压缩（生成 .tar.gz）；

一、参考资料 多线程压缩软件 - pigz Linux并行gzip压缩工具pigz 二、重要说明 tar或者系统默认的压缩工具，默认是单线程的。 pigz，默认使用所有CPU核心进行压缩和解压，可以手动设置线程数量，添加参数 -p 6。 压缩效果加速明显，解压加速效果不太明显。 tar与pigz的区别：tar对文件夹进行打包，pigz对包文件进行压缩 tgz是tar.gz缩写格式，解压没有区别 # 解压tgz压缩包，得到output.tar文件 pigz -d output.tgz

参考多线程压缩工具Pigz使用学习Linux系统时都会学习这么几个压缩工具：gzip、bzip2、zip、xz，以及相关的解压工具。关于这几个工具的使用和相互之间的压缩比以及压缩时间对比可以看：Linux中归档压缩工具学习那么Pigz是什么呢？简单的说，就是支持并行压缩的gzip。Pigz默认用当前逻辑cpu个数来并发压缩，无法检测个数的话，则默认并发8个线程，也可以使用-p指定线程数。需要注意的...

本文介绍一些关于大型文件的压缩|解压|删除|编译的问题

pig是个啥东东？官网：http://zlib.net/pigz一句话简介：复制代码代码如下:A parallel implementation of gzip for modernmulti-processor, multi-core machines。简单的说，就是支持并行的gzip。废话不多说，开始测试。pig默认用当前逻辑cpu个数来并发压缩，无法检测个数的话，则并发8个线程。一、测试压缩...

多线程压缩,根据cpu自动选择线程数(推荐)多线程压缩,指定线程数为8线程。

pigz(parallel implementation of gzip)是一个并行执行的压缩工具，解压缩比gzip快，同时CPU消耗是gzip的好几倍，在对短时间内CPU消耗较高不受影响的场景下，可以使用pigz。 环境 Centos7 RAM:2GB , CPU: 4vcpus 安装 # 安装epel扩展源 [root@localhost ~]# wget -O /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-

学习Linux系统时都会学习这么几个压缩工具：gzip、bzip2、zip、xz，以及相关的解压工具。关于这几个工具的使用和相互之间的压缩比以及压缩时间对比可以看：Linux中归档压缩工具学习那么Pigz是什么呢？简单的说，就是支持并行压缩的gzip。Pigz默认用当前逻辑cpu个数来并发压缩，无法检测个数的话，则默认并发8个线程，也可以使用-p指定线程数。需要注意的是其CPU使用比较高。废话不多...

分包压缩 使用128线程对文件夹进行压缩，并将压缩有的文件分割为10G大小 tar -c /path/to/dir | pigz -p 128 -c | split -a 5 -d -b 10G - file_split.Ggz 解压 将分割的文件还原回来，并用pigz进行解压 cat file_split.gz* > file_split.gz pigz -p 128 -dc...

pigz 是为了并行压缩而开发的 gzip 工具，它是一个多线程压缩工具，在不指定线程个数的情况下，它会采用当前逻辑 CPU 个数来进行多线程并发压缩，如果它检测不到逻辑 CPU 个数，则默认并发 8 个线程做压缩.

通过 pigz 方式加速打包 通过传统 tar 方式进行压缩打包 通过 pigz 方式加速打包 感觉也不是很快，不过我在生产环境实际操作的时候，要快得多，验证的时候可能还有其他因素影响了

压缩多个文件或文件夹可以用。