使用flink1.17 实时同步数据（mysql到sqlserver 或 sqlserver 到sqlserver）

### Flink 1.17 Standalone Mode 下 StreamPark 部署指南 #### 准备工作 在部署 StreamPark 前，需确保环境满足以下条件： - JDK 版本为 1.8 或更高版本[^4]。 - 节点之间已配置 SSH 免密登录。 - 关闭防火墙和服务端安全机制（如 SELinux）。 - 主机名解析正常，并已在 `hosts` 文件中完成配置。 下载并解压 Apache Flink 的二进制包： ```bash wget https://www.apache.org/dyn/closer.lua/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz tar -zxvf flink-1.17.1-bin-scala_2.12.tgz cd flink-1.17.1 ``` #### StreamPark 安装与集成 StreamPark 是一款基于 Flink 构建的数据开发平台工具。以下是其在 Standalone 模式下的具体部署流程： ##### 1. 获取 StreamPark 并初始化项目 从官方仓库克隆 StreamPark 项目源码： ```bash git clone https://github.com/streamingpro/StreamPark.git cd StreamPark ``` 构建 StreamPark 工程依赖 Maven 和 Java 开发环境。执行如下命令编译工程： ```bash mvn clean install -DskipTests ``` ##### 2. 修改 Flink 配置文件 编辑 Flink 的核心配置文件 `conf/flink-conf.yaml`，添加或调整必要的参数以适配 StreamPark 运行需求： ```yaml jobmanager.rpc.address: localhost jobmanager.memory.process.size: 1600m taskmanager.memory.process.size: 1728m parallelism.default: 4 state.backend: filesystem state.checkpoints.dir: file:///checkpoint_dir high-availability: zookeeper high-availability.zookeeper.quorum: zk1:2181,zk2:2181,zk3:2181 ``` 上述配置中的 ZooKeeper 地址应替换为实际的集群地址。 ##### 3. 启动 Flink 集群 启动本地 Standalone 模式的 Flink 集群： ```bash ./bin/start-cluster.sh ``` 验证集群状态是否正常运行： ```bash ./bin/taskmanageroverview.sh ``` ##### 4. 配置 StreamPark 进入 StreamPark 的 Web 控制台目录，通常位于 `/web/target/web-assembly` 中。复制打包好的 WAR 文件至 Tomcat 或其他支持 Servlet 的容器中。 修改 StreamPark 的默认配置文件 `application.properties`，指定连接到当前 Flink 集群的相关信息： ```properties stream.park.flink.home=/path/to/flink-1.17.1 stream.park.flink.version=1.17 spring.datasource.url=jdbc:mysql://localhost:3306/streampark?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC spring.datasource.username=root spring.datasource.password=password ``` ##### 5. 初始化数据库表结构 根据 StreamPark 提供的 SQL 脚本，在 MySQL 数据库中创建所需的元数据表。脚本路径一般为 `/db/sql/init.sql`。 导入完成后，确认所有表均已成功生成。 ##### 6. 启动 StreamPark 应用服务 通过内置 Jetty 或外部应用服务器加载 StreamPark 的前端页面和后端逻辑。访问 URL 如下所示： ``` http://<your-server-ip>:9090/ ``` #### 故障排查 如果遇到错误提示 “Failed to load web based job submission extension”，可能的原因包括但不限于以下几点： - 缺少必要依赖项或插件未正确加载[^1]。 - 日志级别过高掩盖了潜在异常；建议降低日志等级以便定位问题所在。 --- ###