在DolphinScheduler执行Python问题小记

### 如何使用 Python 脚本在 DolphinScheduler 中实现数据补录 #### 创建环境并安装依赖库 为了能够利用 PyDolphinscheduler 进行开发，需先设置好运行环境。这通常意味着要确保已正确配置 Python 环境，并通过 pip...

### 如何在DolphinScheduler中配置和运行Python脚本 #### 准备工作 为了确保能够在 DolphinScheduler 中顺利执行 Python 脚本，需先确认已正确安装并配置好 DolphinScheduler 环境[^2]。这包括但不限于完成集群部署、设置 MySQL 数据库作为元数据存储以及适当的安全性和资源管理。 #### 创建 Conda 环境 对于特定需求的任务来说，建议通过 `conda` 来创建独立的工作环境来隔离依赖项。可以利用如下命令快速建立一个新的 conda 环境： ```bash conda create --name ds_env python=3.8 conda activate ds_env ``` 此操作有助于避免不同版本间的冲突，并简化后续维护过程[^3]。 #### 编写 PyDolphinScheduler 脚本 借助于 PyDolphinScheduler 库的支持，在编写 Python 工作流定义时变得更加直观便捷。下面是一个简单的例子展示如何构建一个包含单个 PythonTask 的 DAG (有向无环图): ```python from pydolphinscheduler.core.process_definition import ProcessDefinition from pydolphinscheduler.tasks.python import Python with ProcessDefinition(name="example_python_task", tenant="tenant_name") as pd: task_code = """ print('Hello, world!') """ hello_world = Python( name="hello-world", code=task_code, environment='ds_env' # 使用之前创建好的 conda env 名字 ) pd.submit() ``` 这段代码展示了怎样在一个新的流程定义里加入名为 “hello-world”的 Python Task 并提交给 DolphinScheduler 执行引擎处理[^1]。 #### 设置 Worker 启动参数 为了让 worker 正确加载所需的 Python 解释器及其路径，可能还需要调整 `/etc/profile` 文件中的相应变量，比如添加 `export PATH=/path/to/your/python:$PATH` 这样的语句以指向正确的 Python 可执行文件位置。另外需要注意的是，如果是以非 root 用户身份启动服务，则应保证该用户拥有足够的权限去访问这些资源；可以通过修改 sudoers 文件内的条目实现这一点，即允许目标用户无需密码即可调用必要的指令。 #### 提交任务至 DolphinScheduler UI 或 API 最后一步就是把准备完毕后的 Python Script 发送到 DolphinScheduler 上面去了。有两种途径可以选择：一种是在 Web 控制台界面上手动上传 .py 文件并指定其为某个节点下的子任务；另一种则是直接采用 RESTful APIs 接口自动化整个发布流程。无论哪种方式都能达到相同的效果——让系统按照预定计划周期性地触发所关联的 Python script 实例化作业实例。