人工智能应用的部署与维护

### 人工智能应用的部署与维护 #### 1. 模型训练与保存 在开始部署和维护AI应用之前，我们需要先完成模型的训练和保存。以下是训练和保存模型的代码示例： ```python X_batches = np.array_split(x_train, total_batch) Y_batches = np.array_split(y_train, total_batch) ## Initialize the model saver save_model = os.path.join(job_dir, 'saved_classifier.ckpt') saver = tf.train.Saver() ## Start the training session with tf.Session() as sess: sess.run(init) for epoch in range(self.num_epochs): for i in range(total_batch): batch_x, batch_y = X_batches[i], Y_batches[i] _, c = sess.run([training_operation, loss], feed_dict={self.x: batch_x, self.y: batch_y}) if epoch % self.display == 0: print("Epoch:", '%04d' % (epoch+1), "cost=", "{:.9f}".format(c)) ## Save the model checkpoints saver.save(sess, saver_path) ``` 你可以手动在笔记本中初始化并传入保存目录来运行该模型： ```python c = simple_classifier() c.train_model("./") ``` 也可以将其作为Python脚本运行。 #### 2. 部署架构的选择 部署架构的选择取决于以下几个因素： - 模型是否在一个环境中训练，在另一个环境中投入生产？ - 预计模型被调用进行预测的次数是多少？ - 数据是随时间变化还是静态的？是否需要处理大量数据流入？ 我们可以将模型根据服务位置和训练方式分为两类： | 模型类型 | 定义 | 服务方式 | 特点 | | ---- | ---- | ---- | ---- | | 离线模型 | 在与部署环境不同的环境中，针对特定数据进行训练的模型 | 最简单的服务形式是批量服务，即取静态数据集输入模型并接收预测结果 | 通常在本地机器上运行，如使用Jupyter Notebook或在终端运行脚本 | | 在线模型 | 在部署环境中主动从新数据中学习的模型 | | 管理较为复杂，需处理数据流和可能的不良输入数据，需设置许多保障措施以确保模型输出符合预期 | 此外，自动化机器学习模型也越来越受欢迎，例如Netflix的推荐系统，它会根据用户的浏览和观看活动生成的数据进行主动训练。 #### 3. 使用TensorFlow Serving部署模型 在部署模型时，我们通常希望通过HTTP接口将模型的内部机制与公众隔离开。传统机器学习模型会将序列化模型包装在Flask等部署框架中创建API，但这可能会带来依赖、版本控制和性能等问题。因此，我们可以使用TensorFlow Serving。 TensorFlow Serving实现了一种名为GPRC的远程过程调用，它允许代码在远程计算机上执行，就像在本地运行一样。要在Python中使用GPRC，需要安装： ```bash pip install grpcio grpcio-tools ``` 在使用TensorFlow Serving之前，需要将模型保存为Serving能理解的格式，即使用序列化过程。TensorFlow有自己的模型保存形式SavedModel，它以语言中立的格式保存模型的变量、图和元数据。 TensorFlow可以导出三种形式的模型： - Predict：通用保存格式，可用于任何类型的问题，接受张量作为输入并输出张量。 - Classify：特定于分类问题，输出类别和分数。 - Regress：特定于回归问题。 使用通用的predict方法保存模型用于生产很简单，使用`simple_save`函数，示例代码如下： ```python simple_save(sess, 'path/to/saved/directory', inputs={"x": x, "y": y}, outputs={"z": z}) ``` 以下是将分类网络保存为SavedModel的示例： ```python predicted_indicies = tf.argmax(logits, 1) ## Model Serving Inputs inputs={"x": self.x} ## Model Serving Outputs outputs={ "probs": logit ```