PS-Lite分布式机器学习框架使用指南

PS-Lite分布式机器学习框架使用指南

ps-lite A lightweight parameter server interface 项目地址: https://gitcode.com/gh_mirrors/ps/ps-lite

调试PS-Lite框架

在分布式机器学习框架PS-Lite的开发和使用过程中，调试是一个重要环节。PS-Lite提供了详细的日志功能来帮助开发者跟踪通信过程。

日志级别设置

通过设置环境变量PS_VERBOSE可以控制日志的详细程度：

• PS_VERBOSE=1：记录基本的连接信息
• PS_VERBOSE=2：记录所有数据通信的详细信息

调试示例

在测试环境中运行以下命令：

export PS_VERBOSE=1; ./local.sh 1 1 ./test_connection

典型输出示例：

[19:57:18] src/van.cc:72: Node Info: role=schedulerid=1, ip=127.0.0.1, port=8000
[19:57:18] src/van.cc:72: Node Info: role=worker, ip=128.2.211.110, port=58442
[19:57:18] src/van.cc:72: Node Info: role=server, ip=128.2.211.110, port=40112
...

日志中的前缀含义：

• H：调度器(Scheduler)
• S：服务器(Server)
• W：工作节点(Worker)

网络接口配置

在具有多个网络接口的环境中，PS-Lite允许用户指定特定的网络接口。

指定网络接口

使用DMLC_INTERFACE环境变量指定网络接口：

export DMLC_INTERFACE=ib0; commands_to_run

本地模式优化

当所有节点运行在同一台机器上时，可以启用本地模式提升性能：

export DMLC_LOCAL=1; commands_to_run

本地模式使用内存拷贝而非网络通信，可以显著减少通信开销。

PS-Lite启动环境变量配置

要将PS-Lite部署到集群环境中，需要正确配置以下环境变量：

核心环境变量

| 变量名 | 描述 | 示例值 | |--------|------|--------| | DMLC_NUM_WORKER | 工作节点数量 | 4 | | DMLC_NUM_SERVER | 服务器节点数量 | 2 | | DMLC_ROLE | 当前节点角色 | worker/server/scheduler | | DMLC_PS_ROOT_URI | 调度器节点的IP或主机名 | 192.168.1.100 | | DMLC_PS_ROOT_PORT | 调度器监听端口 | 8000 |

配置建议

1. 调度器节点需要提前确定并配置正确的IP和端口
2. 所有工作节点和服务器节点需要能够访问调度器
3. 节点数量配置必须与实际启动的节点数量一致

不可靠网络下的消息重传机制

在分布式环境中，网络不可靠可能导致消息丢失。PS-Lite提供了消息重传机制来应对这种情况。

重传配置参数

| 参数 | 描述 | 默认值 | 推荐值 | |------|------|--------|--------| | PS_RESEND | 是否启用重传 | 0(禁用) | 1(启用) | | PS_RESEND_TIMEOUT | 重传超时时间(毫秒) | 1000 | 根据网络状况调整 |

测试配置

可以使用PS_DROP_MSG模拟网络丢包情况：

export PS_DROP_MSG=10  # 10%的丢包概率

最佳实践

1. 在稳定网络环境中可以关闭重传以减少开销
2. 在不可靠网络中建议启用重传并适当调整超时时间
3. 测试阶段可以使用丢包模拟验证系统健壮性

通过合理配置这些参数，可以确保PS-Lite在各种网络环境下都能稳定运行，为分布式机器学习任务提供可靠的基础设施支持。

ps-lite A lightweight parameter server interface 项目地址: https://gitcode.com/gh_mirrors/ps/ps-lite