如何优化 CentOS 虚拟机的 Docker 存储空间管理

在使用 CentOS 虚拟机进行产品开发和运维管理时，随着时间的推移，我们常常会遇到磁盘空间不足的问题。特别是在运行 Docker 容器时，默认的 Docker 配置可能会导致存储空间过快耗尽，尤其是当 Docker 镜像和日志堆积时。为了解决这个问题，本文将探讨几种有效的方式来管理 Docker 存储空间：限制 Docker 日志的大小、将 Docker 数据目录迁移到外部存储，以及使用 Docker 镜像清理工具等。

限制 Docker 日志大小

Docker 在容器运行时会生成日志文件，这些日志通常存储在 /var/lib/docker/containers 目录下。默认情况下，Docker 使用 json-file 日志驱动来记录容器的标准输出和错误输出，随着容器的长时间运行，这些日志文件会越来越大，占用大量的磁盘空间。

为什么需要限制日志文件大小？

日志文件无限增长： 如果没有日志限制，日志文件会持续增长，直至占满整个磁盘。
日志文件的碎片化： 尤其在没有日志轮转的情况下，日志文件可能变得非常庞大，导致性能下降，影响 Docker 容器的运行。

配置日志驱动

通过配置 Docker 的日志驱动，我们可以限制日志文件的大小并设置日志轮转规则。

编辑 Docker 配置文件： 首先，打开或创建 Docker 配置文件 /etc/docker/daemon.json。

sudo vi /etc/docker/daemon.json

设置日志限制： 在文件中加入以下配置，设置单个日志文件的最大大小为 100MB，并保留最多5个日志文件。

{
    "log-driver": "json-file",
    "log-opts": {
      "max-size": "100m",
      "max-file": "5"
    }
}

max-size：限制单个日志文件的最大大小，超过该大小后会生成新日志文件。
max-file：保留的最大日志文件数量。设置为5表示保留最近5个日志文件。

重启 Docker 服务： 修改配置后，重启 Docker 服务，使其生效：

sudo systemctl restart docker

通过这种方式，我们能够有效控制日志文件的大小，防止日志文件占用过多磁盘空间。

进一步的日志管理

除了配置日志驱动，Docker 还支持其他类型的日志管理方法，如：

远程日志收集： 使用 fluentd、syslog 或 gelf 等日志驱动将日志发送到远程服务器，减轻本地存储压力。
日志文件定期清理： 如果希望定期清理旧的日志文件，可以结合 logrotate 工具进行自动清理。

将 Docker 数据目录切换到外部存储

在 CentOS 上，Docker 默认的存储路径是 /var/lib/docker，如果没有对 Docker 数据目录进行管理，它很快就会占满本地磁盘。为了解决这个问题，我们可以将 Docker 的数据目录迁移到外部存储或空间较大的磁盘中。

为什么需要迁移 Docker 数据目录？

空间不足： 默认的 Docker 数据目录通常位于系统盘，随着镜像、容器、卷等不断积累，磁盘空间会迅速被占满。
存储扩展： 外部存储或大容量磁盘可以为 Docker 提供更多的存储空间，减少因空间不足导致的服务中断。

配置新的数据目录

修改 Docker 配置文件： 打开 /etc/docker/daemon.json 配置文件，并添加 data-root 配置项，指定新的数据目录。

{
    "log-driver": "json-file",
    "log-opts": {
      "max-size": "100m",
      "max-file": "5"
    },
    "data-root": "/home/docker"
}

data-root：指定 Docker 数据目录的新位置。在这个例子中，我们将其设置为 /home/docker，可以将这个目录挂载到外部存储或者容量更大的磁盘上。

停止 Docker 服务： 在进行目录迁移前，需要先停止 Docker 服务：

sudo systemctl stop docker

同步数据： 使用 rsync 命令将现有的 Docker 数据目录 /var/lib/docker 内容同步到新的目录 /home/docker。rsync 是一个非常高效的文件同步工具，能够以增量的方式同步文件，避免冗余数据传输。

sudo rsync -aqxP /var/lib/docker/ /home/docker/

备份原始数据： 为了安全起见，可以将原始的 Docker 数据目录重命名为 docker.bak，作为备份：

mv /var/lib/docker /var/lib/docker.bak

这样做的好处是，在迁移过程中如果遇到问题，可以随时恢复到原始状态。

重新启动 Docker： 完成数据迁移后，重新启动 Docker 服务：

sudo systemctl start docker

清理不再使用的 Docker 镜像、容器和卷

即使我们限制了日志大小和迁移了数据目录，Docker 仍然可能因为不再使用的镜像、容器和卷而占用大量磁盘空间。定期清理这些资源是非常重要的。

使用 docker system prune

Docker 提供了一个非常方便的命令来清理无用的资源：

docker system prune

该命令会删除所有停止的容器、未使用的网络、悬空的镜像和未使用的卷。为了更彻底的清理，可以加上 -a 选项，删除所有未被使用的镜像：

docker system prune -a

使用 docker volume prune

为了清理不再使用的 Docker 卷，可以使用 docker volume prune 命令：

docker volume prune

使用 rsync 提升文件同步效率

在数据迁移过程中，我们使用了 rsync 工具来同步文件。与传统的 cp 和 scp 工具不同，rsync 提供了更高效和灵活的文件同步功能。它的优势包括：

增量复制： rsync 只会复制那些发生了变化的部分，而不是重新复制整个文件，提高了复制效率。
远程同步： rsync 支持在本地和远程服务器之间同步文件，而 cp 仅限本地操作，scp 则主要用于远程文件传输。
更多配置选项： rsync 提供了丰富的选项，如压缩传输、跨文件系统同步、恢复中断传输等，使其适用于更复杂的文件同步需求。

rsync常用选项

rsync -avz --progress /source/directory /destination/directory

-a：归档模式，保留文件的权限、时间戳等。
-v：显示详细输出。
-z：启用压缩传输。
--progress：显示进度条。

总结与反思

在系统运维过程中，很多时候我们会依赖自己熟悉的工具和方法，尽管它们能暂时解决问题，但往往效率较低。通过这次对 Docker 日志管理和数据目录迁移的学习，我深刻体会到：

不要止步于熟悉的方法： 当问题出现时，不应满足于“能用”的解决方案，而应该深入探索更高效、可靠的方式。
持续学习与实践： 工作中，很多技能是通过不断解决实际问题逐步掌握的。然而，即使在熟悉的领域，也应继续学习、系统化地掌握更多知识，避免盲点。

如何优化 CentOS 虚拟机的 Docker 存储空间管理

文章目录