Docker 网络配置
创建自己的Docker网络
--subnet 子网 e.g. 172.168.0.0
网络模式 bridge、host、none、container
--gateway 网关ip 172.168.0.1
docker network create --subnet 172.168.0.0/16 --gateway 172.168.0.1 mynet(默认为bridge模式)
网络其他命令
docker network rm mynet
docker network ls
docker容器使用自创的网络
docker run --d -name xxx --net mynet xxx
e.g. docker run -d --net mynet --name zookeeper -p 2181:2181 wurstmeister/zookeeper
查看docker容器
docker images
进入容器
docker exec -it <container_name> bash
查看运行的docker容器
docker ps
去除容器
docker rm <container_name>
去除镜像
docker rmi <image_name>:port
MySQL为例
docker run -d --net mynet --restart=always --name mysql -p 3306:3306 -v D:\docker\mysql_data:/var/lib/mysql -e TZ=Asia/Shanghai -e MYSQL_ROOT_PASSWORD=123456 mysql:8.0.40
Redis
docker run --name redis -d --net mynet --restart unless-stopped -e TZ=Asia/Shanghai -p 6379:6379 -v D:\Docker\redis_data:/data redis:5.0.12 --requirepass 123456 --c yes
数据卷挂载
两种方式,一种是创建数据卷后,用数据卷:容器目录
的方式进行挂载,一种是本地目录:容器目录
的方式进行挂载
为什么需要数据卷挂载
像MySQL这种存储数据的容器,如果一味的将数据往容器中存是肯定不行的,自然而然想到使用宿主机磁盘存储。数据卷就是将容器数据映射到宿主机磁盘上,让宿主机去存储,所以数据卷挂载的作用是存储数据的
挂载带不带/有什么区别?
本地目录必须以"/“或”./"开头,如果直接以名称开头,会被是被为数据卷而非本地目录
- -v mysql:/var/lib/mysql会被识别为一个数据卷叫mysql
- -v ./mysql:/var/lib/mysql会被识别为当前目录下的mysql目录
不知道容器内挂载目录怎么办?
在宿主机上docker inspect mysql(自己起的容器名)
,不需要更改容器内存在具体哪个目录,但需要知道默认的存储目录,这样才能映射
docker常用命令
# 运行已存在容器
docker run 容器id(c456413531) 或 容器名(mysql)
# docker关闭/移除容器
docker stop/rm <container_id_or_name>
# docker自启动
docker update --restart=always <container_id_or_name>
Grafana
docker run -d --rm --name=grafana --net mynet -p 3000:3000 grafana/grafana
Prometheus
docker run -d -p 9090:9090 --net mynet -v /mnt/e/docker/prometheus/etc/prometheus.yml:/etc/prometheus/prometheus.yml --name prometheus prom/prometheus
Kafka-Exporter
docker run -d --net mynet -p 9308:9308 --name kafka-exporter danielqsj/kafka-exporter:v1.6.0 --kafka.server=kafka:9092
VictoriaMetrics
# 单机版
docker run --net mynet -d -v /Users/kunk/Docker/VM/victoria-metrics-data:/victoria-metrics-data -p 8428:8428 --name=vm victoriametrics/victoria-metrics
ES
docker run -d --name es \
--rm \
--net mynet \
-p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e "ES_JAVA_OPTS=-Xms1g -Xmx1g" \
-e "xpack.security.enabled=false" \
elasticsearch:8.4.3
Kibana
# 运行Kibana容器并连接到Elasticsearch
docker run -d --name kibana -p 5601:5601 \
--net mynet \
-e "ELASTICSEARCH_HOSTS=http://es:9200" \
docker.elastic.co/kibana/kibana:8.4.3
Flink
# StandAlone
docker pull flink:1.17.2-scala_2.12-java8
docker run -d --rm --name job --net mynet -p 8081:8081 -v /Users/kunk/Docker/Flink:/opt/flink/conf -e JOB_MANAGER_RPC_ADDRESS=job flink:1.17.2-scala_2.12-java8 jobmanager
docker run -d --rm --name task --net mynet -p 8082:8081 -v /Users/kunk/Docker/Flink:/opt/flink/conf -e JOB_MANAGER_RPC_ADDRESS=job flink:1.17.2-scala_2.12-java8 taskmanager
flink-conf.yaml
jobmanager.rpc.address: job
jobmanager.rpc.port: 6123
taskmanager.numberOfTaskSlots: 1
rest.address: 0.0.0.0
jobmanager.memory.process.size: 1000m
taskmanager.memory.process.size: 1000m
parallelism.default: 1
state.backend: rocksdb
state.checkpoints.dir: file:///tmp/flink/checkpoints
state.backend.rocksdb.ttl.compaction.filter.enabled: true
state.backend.incremental: true
state.backend.rocksdb.localdir: /tmp/rocksdb
blob.server.port: 6124
query.server.port: 6125
blob.server.port: 6124
Tips
Flink会把数据存在taskmanager所在的机器上
ZK
docker run --rm -d --net mynet --name zk -p 2181:2181 -v D:\docker\zk_data:/opt/zookeeper-3.4.13/data wurstmeister/zookeeper
docker run --rm -d --net mynet --name zk -p 2181:2181 -v /Users/kunk/Docker/Zk/data:/bitnami/zookeeper/data -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest
Kafka
(注意,kafka如果设置zk的ip为localhost会连接失败,因为kafka在容器中独占一个ip,zk在容器中独占一个ip,导致kafka连不到zk,需要查看zk的ip并连接才行)
(对kafka来说,它是容器内的组件,所以连不到zk;zk也是容器内的组件,它也连不到kafka,但是本地却可以直接localhost连接kafka,为什么呢?因为kafka虽然运行在容器中,但是它对外暴露了9092端口,映射到了本地的9092,所以我本地访问9092可以访问到;其实本地访问zk也可以访问到,但是zk和kafka是访问不到的,因为它们两个不是同一个网络,但在同一个局域网,当然在添加–net后就是同一个网络了)
docker run -d --name kafka --net mynet -e KAFKA_ZOOKEEPER_CONNECT=zk:2181 -e KAFKA_LISTENERS=PLAINTEXT://:9092 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 -e TZ=Asia/Shanghai -v D:\docker\kafka_data:/kafka/data -p 9092:9092 wurstmeister/kafka:2.11-1.0.2
为什么Windows无法访问Kafka
首先,我创建了192.168.0.0的net,并让所有的容器都使用了这个网络
其次,我可以使用localhost:6379访问Redis,证明不是Docker的问题,而是Kafka的配置问题
那么,重点就放在listeners和advertised.listeners上了
在内网环境的Kafka集群不需要advertised.listeners,advertised.listeners用于Kafka对外暴露服务用的
在容器内部zk或者其他组件都可以访问到Kafka,这是listeners的功劳
Kafka映射了端口9092,这样就可以通过访问宿主机的9092访问Kafka,但由于只配置了Listners,只对内网开放,宿主机和容器的网络不同,虽然映射了9092,但是Kafka不对容器外网络提供服务,外部也无法通过宿主机访问Kafka。添加advertised_listeners后,对外提供了访问通道,这样就可以通过宿主机访问了Kafka了,一般来说ip设置为宿主机的ip(localhost是可以的,因为进行了映射,在开放了advertised.listeners后,外部访问宿主机会走到容器内部)
Nacos
docker run -d --net mynet --name nacos --env-file D:\Docker\nacos-conf.env -p 8848:8848 -p 9848:9848 -p 9849:9849 nacos/nacos-server:v2.1.0-slim
nacos-conf.env
MODE=standalone
SPRING_DATASOURCE_PLATFORM=mysql
MYSQL_SERVICE_HOST=mysql
MYSQL_SERVICE_DB_NAME=nacos
MYSQL_SERVICE_USER=root
MYSQL_SERVICE_PASSWORD=123456
nacos-mysql.sql
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info */
/******************************************/
CREATE TABLE `config_info` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(255) DEFAULT NULL,
`content` longtext NOT NULL COMMENT 'content',
`md5` varchar(32) DEFAULT NULL COMMENT 'md5',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
`src_user` text COMMENT 'source user',
`src_ip` varchar(50) DEFAULT NULL COMMENT 'source ip',
`app_name` varchar(128) DEFAULT NULL,
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
`c_desc` varchar(256) DEFAULT NULL,
`c_use` varchar(64) DEFAULT NULL,
`effect` varchar(64) DEFAULT NULL,
`type` varchar(64) DEFAULT NULL,
`c_schema` text,
`encrypted_data_key` text NOT NULL COMMENT '秘钥',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfo_datagrouptenant` (`data_id`,`group_id`,`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info_aggr */
/******************************************/
CREATE TABLE `config_info_aggr` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(255) NOT NULL COMMENT 'group_id',
`datum_id` varchar(255) NOT NULL COMMENT 'datum_id',
`content` longtext NOT NULL COMMENT '内容',
`gmt_modified` datetime NOT NULL COMMENT '修改时间',
`app_name` varchar(128) DEFAULT NULL,
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfoaggr_datagrouptenantdatum` (`data_id`,`group_id`,`tenant_id`,`datum_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='增加租户字段';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info_beta */
/******************************************/
CREATE TABLE `config_info_beta` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(128) NOT NULL COMMENT 'group_id',
`app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
`content` longtext NOT NULL COMMENT 'content',
`beta_ips` varchar(1024) DEFAULT NULL COMMENT 'betaIps',
`md5` varchar(32) DEFAULT NULL COMMENT 'md5',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
`src_user` text COMMENT 'source user',
`src_ip` varchar(50) DEFAULT NULL COMMENT 'source ip',
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
`encrypted_data_key` text NOT NULL COMMENT '秘钥',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfobeta_datagrouptenant` (`data_id`,`group_id`,`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info_beta';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info_tag */
/******************************************/
CREATE TABLE `config_info_tag` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(128) NOT NULL COMMENT 'group_id',
`tenant_id` varchar(128) DEFAULT '' COMMENT 'tenant_id',
`tag_id` varchar(128) NOT NULL COMMENT 'tag_id',
`app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
`content` longtext NOT NULL COMMENT 'content',
`md5` varchar(32) DEFAULT NULL COMMENT 'md5',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
`src_user` text COMMENT 'source user',
`src_ip` varchar(50) DEFAULT NULL COMMENT 'source ip',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfotag_datagrouptenanttag` (`data_id`,`group_id`,`tenant_id`,`tag_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info_tag';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_tags_relation */
/******************************************/
CREATE TABLE `config_tags_relation` (
`id` bigint(20) NOT NULL COMMENT 'id',
`tag_name` varchar(128) NOT NULL COMMENT 'tag_name',
`tag_type` varchar(64) DEFAULT NULL COMMENT 'tag_type',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(128) NOT NULL COMMENT 'group_id',
`tenant_id` varchar(128) DEFAULT '' COMMENT 'tenant_id',
`nid` bigint(20) NOT NULL AUTO_INCREMENT,
PRIMARY KEY (`nid`),
UNIQUE KEY `uk_configtagrelation_configidtag` (`id`,`tag_name`,`tag_type`),
KEY `idx_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_tag_relation';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = group_capacity */
/******************************************/
CREATE TABLE `group_capacity` (
`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键ID',
`group_id` varchar(128) NOT NULL DEFAULT '' COMMENT 'Group ID,空字符表示整个集群',
`quota` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '配额,0表示使用默认值',
`usage` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '使用量',
`max_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个配置大小上限,单位为字节,0表示使用默认值',
`max_aggr_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '聚合子配置最大个数,,0表示使用默认值',
`max_aggr_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个聚合数据的子配置大小上限,单位为字节,0表示使用默认值',
`max_history_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最大变更历史数量',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_group_id` (`group_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='集群、各Group容量信息表';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = his_config_info */
/******************************************/
CREATE TABLE `his_config_info` (
`id` bigint(64) unsigned NOT NULL,
`nid` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
`data_id` varchar(255) NOT NULL,
`group_id` varchar(128) NOT NULL,
`app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
`content` longtext NOT NULL,
`md5` varchar(32) DEFAULT NULL,
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
`src_user` text,
`src_ip` varchar(50) DEFAULT NULL,
`op_type` char(10) DEFAULT NULL,
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
`encrypted_data_key` text NOT NULL COMMENT '秘钥',
PRIMARY KEY (`nid`),
KEY `idx_gmt_create` (`gmt_create`),
KEY `idx_gmt_modified` (`gmt_modified`),
KEY `idx_did` (`data_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='多租户改造';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = tenant_capacity */
/******************************************/
CREATE TABLE `tenant_capacity` (
`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键ID',
`tenant_id` varchar(128) NOT NULL DEFAULT '' COMMENT 'Tenant ID',
`quota` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '配额,0表示使用默认值',
`usage` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '使用量',
`max_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个配置大小上限,单位为字节,0表示使用默认值',
`max_aggr_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '聚合子配置最大个数',
`max_aggr_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个聚合数据的子配置大小上限,单位为字节,0表示使用默认值',
`max_history_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最大变更历史数量',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='租户容量信息表';
CREATE TABLE `tenant_info` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`kp` varchar(128) NOT NULL COMMENT 'kp',
`tenant_id` varchar(128) default '' COMMENT 'tenant_id',
`tenant_name` varchar(128) default '' COMMENT 'tenant_name',
`tenant_desc` varchar(256) DEFAULT NULL COMMENT 'tenant_desc',
`create_source` varchar(32) DEFAULT NULL COMMENT 'create_source',
`gmt_create` bigint(20) NOT NULL COMMENT '创建时间',
`gmt_modified` bigint(20) NOT NULL COMMENT '修改时间',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_tenant_info_kptenantid` (`kp`,`tenant_id`),
KEY `idx_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='tenant_info';
CREATE TABLE `users` (
`username` varchar(50) NOT NULL PRIMARY KEY,
`password` varchar(500) NOT NULL,
`enabled` boolean NOT NULL
);
CREATE TABLE `roles` (
`username` varchar(50) NOT NULL,
`role` varchar(50) NOT NULL,
UNIQUE INDEX `idx_user_role` (`username` ASC, `role` ASC) USING BTREE
);
CREATE TABLE `permissions` (
`role` varchar(50) NOT NULL,
`resource` varchar(255) NOT NULL,
`action` varchar(8) NOT NULL,
UNIQUE INDEX `uk_role_permission` (`role`,`resource`,`action`) USING BTREE
);
INSERT INTO users (username, password, enabled) VALUES ('nacos', '$2a$10$EuWPZHzz32dJN7jexM34MOeYirDdFAZm2kuWj7VEOJhhZkDrxfvUu', TRUE);
INSERT INTO roles (username, role) VALUES ('nacos', 'ROLE_ADMIN');
Nodejs
docker run --restart=always --name nodejs -i -t node:20.10.0 bash
# 输入node -v查看是否成功
node -v
Docker的网络通信
都通过Docker路由进行和宿主机交互的
Docker-Compose
安装
WSL和Linux才需要,Windows和MAC安装了Docker Desktop自己就有Docker-Compose
# 直接复制粘贴,不要diy
sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version
创建名称为docker-compose.yml
的文件
services:
mysql:
image: mysql:8.0.40
container_name: mysql
ports:
- 3306:3306
volumes:
- /mnt/d/docker/mysql/data:/var/lib/mysql
networks:
- mynet
restart: always
environment:
- MYSQL_ROOT_PASSWORD=123456
- TZ=Asia/Shanghai # 设置时区
redis:
image: redis:5.0.12
container_name: redis
ports:
- 6379:6379
volumes:
- /mnt/d/docker/redis/data:/data
networks:
- mynet
restart: always
command: ["--apPEndonly", "yes", "--requirepass","123456"]
zk:
image: wurstmeister/zookeeper
container_name: zk
ports:
- 2181:2181
volumes:
- /mnt/d/docker/zk/data:/opt/zookeeper-3.4.13/data
networks:
- mynet
#restart: always
kafka:
image: wurstmeister/kafka:2.11-1.0.2
container_name: kafka
ports:
- 9092:9092
volumes:
- /mnt/d/docker/kafka/data:/kafka/data
networks:
- mynet
environment:
- KAFKA_ZOOKEEPER_CONNECT=zk:2181
- KAFKA_LISTENERS=PLAINTEXT://:9092
- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092
- TZ=Asia/Shanghai
networks:
mynet:
driver: bridge
ipam:
driver: default
config:
- subnet: 172.168.0.0/16
gateway: 172.168.0.1
相关命令
docker-compose up -d
docker-compose down
docker-compose ps