基于OCI的模型运行与超参数优化指南

### 基于OCI的模型运行与优化指南 #### 1. OCI配置与策略创建 - **创建策略**： 1. 打开OCI菜单，点击“Identity & Security” > “Create Policy”。 2. 第一个策略命名为“ai - engineer - staffing”，在“Compartment”中从下拉菜单选择“BTA - staffings”。 3. 切换开关隐藏策略构建器，显示手动编辑器，将以下代码粘贴到“ai - engineer - staffing”的策略构建器框中： ``` Allow group ai - engineer - staffing to read buckets in compartment BTA - staffings Allow group ai - engineer - staffing to manage objects in compartment BTA - staffings where target.bucket.name='ai - engineer - staffing - bucket' ``` 4. 点击“Create”创建策略声明。 5. 对“mlops - engineer - staffing”和“stakeholder - staffing”重复上述步骤，分别使用以下代码： ``` # mlops - engineer - staffing策略 Allow group mlops - engineer - staffing to read buckets in compartment BTA - staffings Allow group mlops - engineer - staffing to manage objects in compartment BTA - staffings where target.bucket.name='mlops - engineer - staffing - bucket' # stakeholder - staffing策略 Allow group stakeholder - staffing to read buckets in compartment BTA - staffings Allow group stakeholder - staffing to manage objects in compartment BTA - staffings where target.bucket.name='stakeholder - staffing - bucket' ``` 完成后，“BTA - staffings” 分区内应包含AI工程师、MLOps工程师和利益相关者的策略。 - **生成密钥**： 1. 登录OCI后，点击屏幕右上角的个人资料图标。 2. 从个人资料菜单中选择“User Settings”打开用户详情页面。 3. 在用户详情页面中，滚动到页面底部。 4. 点击左侧资源菜单中的“Customer Secret Keys”，然后点击“Generate Secret Key”。 5. 为密钥指定一个名称（例如“ocisecretkey”），然后点击“Generate Secret Key”。 6. 复制并将密钥保存到安全的地方，因为它不会再次显示。该OCI密钥将在配置模型的存储桶访问时用作“aws_secret_access_key”变量的值。 同时，还需要为“aws_secret_access_key_id”变量提供值，它是OCI上每个存储桶信息屏幕中的OCID。存储桶的OCID可以随时复制，而OCI密钥仅在生成时显示一次，必须当时保存到安全的文本文件中。如果密钥丢失，需要重新生成。 #### 2. 模型探索与环境搭建 - **模型下载**：从项目目录中克隆Traffic Signs Detection模型的仓库： ```bash $ git clone https://github.com/kilroyblockchain/bta - aimodel.git ``` 克隆完成后，查看“README.md”文件以获取安装步骤的更新信息。模型可以在本地服务器或云端运行，云端存储桶是存储AI训练日志和工件的常用工具。 - **模型文件夹结构**： | 文件夹名称 | 描述 | | ---- | ---- | | data | 包含“MNIST”文件夹，其中“raw”文件夹包含训练和测试用的图像文件，“processed”文件夹包含PyTorch库生成的机器学习模型文件“training.pt”和“test.pt” | | finallogfile | 包含每个模型版本的文件夹，每个文件夹中有JSON格式的日志文件 | | formattedjson | 用于存储JSON格式的日志输出，包含每个模型版本的文件夹，每个版本文件夹下有“train_log”、“test_log”和“metrics”文件夹 | | model | 包含每个模型版本的文件夹，每个文件夹中有pickle文件（扩展名为“pkl”） | | tb_logs | 包含“my_model_tensorboard”文件夹，其中有对应模型版本的文件夹，每个版本文件夹中有“hparams.yaml”文件记录超参数信息，还有检查点文件夹 | | zipdatasets | 包含“train_datasets.zip”和“test_datasets.zip”两个ZIP文件，分别包含训练和测试图像 | 根文件夹中的“MINST_AI_MODEL.ipynb”文件用于打开Jupyter Notebook，在其中修改和测试模型代码；“Readme.md”文件包含代码的最新更新信息，建议在继续操作前查看。 - **安装Python和PyTorch**： 1. 安装Anaconda：根据自己的操作系统，按照Anaconda网站上的说明进行安装。首次启动Anaconda Navigator时，按照提示更新到最新版本。 2. 安装PyTorch：如果已经安装