用python分析excel 在多个机器批量自动执行shell命令 例如ps -ef

<think>我们有一个任务：使用Python分析Excel文件，并在多台机器上批量执行Shell命令（如`ps -ef`）。我们将分步骤进行： 1. 读取Excel文件，获取服务器列表（例如IP地址、用户名、密码或密钥信息）。 2. 使用Python的多进程或多线程并行地在这些服务器上执行Shell命令（如`ps -ef`）。 3. 收集每个服务器的命令执行结果，并进行分析或保存。 注意：在多台机器上执行命令通常需要远程连接，我们可以使用SSH。常用的Python库有`paramiko`（使用SSH协议）和`fabric`。这里我们使用`paramiko`。 步骤： 1. 安装必要的库：`pandas`用于读取Excel，`paramiko`用于SSH连接。 - 如果还没有安装，可以使用以下命令安装： pip install pandas paramiko openpyxl 2. 假设Excel文件中有以下列：`ip`, `username`, `password`（或者使用密钥认证，这里我们使用密码认证，如果使用密钥，需要调整）。 3. 编写脚本： - 读取Excel文件，获取服务器列表。 - 对于每个服务器，使用SSH连接并执行命令`ps -ef`。 - 使用多线程（或进程）来并行执行，因为网络IO可能会比较慢。 4. 注意：如果服务器数量很大，需要控制并发数，避免同时连接过多。 5. 将每个服务器的执行结果保存到文件或进行进一步分析。 示例代码结构： ```python import pandas as pd import paramiko from concurrent.futures import ThreadPoolExecutor, as_completed # 读取Excel文件 def read_servers_from_excel(file_path): df = pd.read_excel(file_path, engine='openpyxl') # 如果xlsx文件，使用openpyxl引擎 servers = [] for index, row in df.iterrows(): servers.append({ 'ip': row['ip'], 'username': row['username'], 'password': row['password'] }) return servers # 在单个服务器上执行命令 def execute_command(server, command): ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) try: ssh.connect(hostname=server['ip'], username=server['username'], password=server['password'], timeout=10) stdin, stdout, stderr = ssh.exec_command(command) output = stdout.read().decode('utf-8') error = stderr.read().decode('utf-8') ssh.close() if error: return f"Error in {server['ip']}: {error}" else: return output except Exception as e: return f"Connection failed to {server['ip']}: {str(e)}" # 主函数 def main(): excel_file = 'servers.xlsx' # Excel文件路径 command = 'ps -ef' # 要执行的命令 servers = read_servers_from_excel(excel_file) # 使用线程池，最大并发数设为10（可根据需要调整） with ThreadPoolExecutor(max_workers=10) as executor: futures = {executor.submit(execute_command, server, command): server for server in servers} for future in as_completed(futures): server = futures[future] result = future.result() print(f"Result from {server['ip']}:\n{result}") # 可以将结果保存到文件，例如按IP命名 with open(f"{server['ip']}_result.txt", 'w') as f: f.write(result) if __name__ == "__main__": main() ``` 注意： 1. 如果服务器使用密钥认证，则需要修改`ssh.connect`，使用`key_filename`参数指定私钥文件。 2. 如果Excel文件中包含端口号（非默认22），则需要在`ssh.connect`中指定`port`。 3. 错误处理：连接失败或命令执行错误，我们返回错误信息。 4. 并发控制：`max_workers`控制同时连接的数量，避免过多连接。 问题：如何分析`ps -ef`的输出？ 我们可以对每个服务器的结果进行分析，例如统计进程数量，查找特定进程等。可以在保存结果后，再编写一个分析脚本。 但是，如果我们需要在脚本中直接分析，可以修改`execute_command`函数，在返回结果的同时进行简单分析，或者收集所有结果后再统一分析。 例如，我们想统计每个服务器上运行的`python`进程数量，可以在每个结果中查找包含`python`的行数： ```python # 在execute_command函数中，返回结果后，我们可以在主函数中分析： # 或者，在execute_command中直接分析，然后返回分析结果。 # 这里我们在主函数中分析 # 修改主函数中的循环部分： # 收集所有结果 results = {} for future in as_completed(futures): server = futures[future] result = future.result() # 统计python进程数量 lines = result.split('\n') python_processes = [line for line in lines if 'python' in line] count = len(python_processes) results[server['ip']] = count # 打印每个服务器的python进程数 for ip, count in results.items(): print(f"{ip}: {count} python processes") ``` 但是注意：如果连接失败，返回的是错误信息字符串，那么上述统计会出错。因此，我们需要先判断是否成功执行。 因此，更健壮的做法是：在`execute_command`中，如果成功执行，则返回输出和错误（或者分析后的数据），如果失败，返回错误信息。然后在主函数中根据情况处理。 另外，如果Excel文件中的密码字段为空，或者使用密钥，我们可以调整连接方式。 以上是一个基本框架，可以根据实际需求进行调整。 最后，请确保Excel文件中的密码等敏感信息的安全，不要将文件暴露在不安全的环境中。 如果需要，可以使用加密的密码或者使用环境变量来存储密码。 相关问题： 1. 如何安全地存储和访问服务器密码？ 2. 如果服务器数量很大，如何优化并发性能？ 3. 如何分析`ps -ef`的输出，例如查找特定进程？ 4. 如果命令执行时间较长，如何设置超时？ 5. 如何将结果保存到数据库而不是文件？</think>### 使用 Python 分析 Excel 并批量执行 Shell 命令 #### 解决方案步骤 1. **读取 Excel 服务器列表** ```python import pandas as pd # 读取 Excel 文件 servers_df = pd.read_excel('servers.xlsx') # 示例列：IP, username, password/key_path print(servers_df.head()) ``` 2. **并行执行 Shell 命令** ```python from concurrent.futures import ThreadPoolExecutor import paramiko def execute_ssh(server): client = paramiko.SSHClient() client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) try: # 使用密码或密钥认证 if 'password' in server: client.connect(server['IP'], username=server['username'], password=server['password']) else: client.connect(server['IP'], username=server['username'], key_filename=server['key_path']) # 执行 ps -ef 命令 _, stdout, stderr = client.exec_command('ps -ef') output = stdout.read().decode() return {'IP': server['IP'], 'status': 'success', 'output': output} except Exception as e: return {'IP': server['IP'], 'status': 'failed', 'error': str(e)} finally: client.close() # 并行执行（最大 10 线程） with ThreadPoolExecutor(max_workers=10) as executor: results = list(executor.map(execute_ssh, servers_df.to_dict('records'))) ``` 3. **分析结果并输出** ```python # 保存原始结果 with open('results.log', 'w') as f: for r in results: f.write(f"Server {r['IP']} ({r['status']}):\n") if r['status'] == 'success': f.write(r['output'] + "\n\n") else: f.write(r['error'] + "\n\n") # 统计进程信息（示例：统计 python 进程） process_counts = {} for r in results: if r['status'] == 'success': count = len([line for line in r['output'].split('\n') if 'python' in line]) process_counts[r['IP']] = count print("各服务器 Python 进程数量:") for ip, count in process_counts.items(): print(f"{ip}: {count} 个") ``` #### 关键技术说明 1. **Excel 处理** 使用 `pandas` 库读取 Excel 文件，支持 `.xlsx` 和 `.xls` 格式。 2. **SSH 连接** 通过 `paramiko` 库实现 SSH 连接，支持密码和密钥认证[^1]。 3. **并行控制** `ThreadPoolExecutor` 实现线程级并行，避免顺序执行的等待时间。 4. **命令执行** `exec_command()` 方法执行远程命令，`ps -ef` 可替换为任何 Shell 命令[^3]。 #### 注意事项 1. **安全建议** - 将密码存储在环境变量中而非代码 - 使用 SSH 密钥替代密码认证 - 限制 Excel 文件的访问权限 2. **错误处理** - 网络超时：添加 `timeout=10` 参数 - 认证失败：捕获 `paramiko.AuthenticationException` - 连接拒绝：检查防火墙和 SSH 服务状态 3. **扩展功能** ```python # 示例：过滤特定进程 (如 sleep) _, stdout, _ = client.exec_command("ps -ef | grep sleep | grep -v grep") ``` #### 环境准备 ```bash # 安装依赖库 pip install pandas paramiko openpyxl ```