docker swarm集群部署爬虫

最新推荐文章于 2022-07-12 18:47:54 发布

原创最新推荐文章于 2022-07-12 18:47:54 发布 · 399 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #docker swarm #scrapyd

博客介绍了通过docker swarm打造爬虫分布式集群的方法，包括在3台阿里云服务器部署服务。具体步骤有docker下载、构建镜像、上传镜像到DockerHub、创建服务以及扩展服务数量等，还给出了相关命令示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过docker swarm 打造爬虫分布式集群

牛刀小试：部署服务到3台阿里云服务器

1、docker下载
2、Dockerfile构建镜像（python3.7、依赖包、scrapyd）
3、登录DockerHub上传镜像阿里云加速器地址
4、创建一个服务docker service create --replicas 1 --name scrapyd whale2falling/scrapyd:1.0（–replicas单台服务、–name 服务名称、whale2falling:scrapyd:1.0 镜像名称和版本号）
5、docker service scale [服务号]=3 （扩展为3个服务）

注：参考参考帖子