深入探索AI与机器学习的底层原理

### 深入探索AI与机器学习的底层原理 #### 1. 基础回顾与下一步计划 对图像进行调色板限制不仅能减小查找表的大小，还能减少存储每个像素颜色表索引所需的值的大小。现在，我们对AI和机器学习方法所基于的假设应该有了一定的了解，也希望能对一些系统的工作方式不再感到神秘。复杂的技术往往是由许多简单的步骤快速执行而成的。接下来，我们将深入探究之前实际任务背后的工作原理。 #### 2. CoreML内部机制剖析 CoreML推理的基本步骤如下： 1. 将预训练模型添加到项目中。 2. 在应用中加载模型文件。 3. 为模型提供必要的输入以进行预测。 4. 在应用中使用预测输出。 CoreML的核心是`MLModel`类。通常，我们很少需要直接与`MLModel`类交互，Xcode生成的包装类往往就能满足需求。不过，了解`MLModel`类的一些特性有助于我们理解CoreML的工作原理： - **compileModel(at:)**：该类方法用于读取并编译指定URL处的`MLmodel`文件，将其转换为CoreML可运行的格式。编译后的模型用于初始化`MLModel`对象。因为`MLmodel`文件格式更适合存储和传输，而不是直接运行，所以CoreML运行的是编译和优化后的模型。 - **预测方法**：如`prediction(from:)`，它接受一个`MLFeatureProvider`作为输入，进行预测并返回另一个`MLFeatureProvider`作为结果。`MLFeatureProvider`是一个协议，用于模型请求和返回数据。模型的输入和输出以标准化形式提供，`MLFeatureProvider`将所需的值打包成模型可调用的形式。 - **modelDescription属性**：每个`MLModel`都有一个`modelDescription`属性，包含模型的描述信息，如输入输出、输入输出的属性以及模型中嵌入的元数据。Xcode使用该属性来显示`.mlmodel`文件的视图。 为了更直观地了解这些组件的工作方式，我们可以导入一个模型并查看Xcode生成的包装类及其支持类： 1. 从苹果的模型页面下载MobileNet模型。 2. 在Xcode中创建一个新的iOS单视图应用程序。 3. 将项目命名为“CoreML internals”。 4. 将MobileNet模型拖入项目，并根据需要进行复制。 5. 在Xcode中选择`MobileNet.mlmodel`文件。 6. 在“Model Class”部分，点击`MobileNet`类旁边的小箭头，在Xcode编辑器中打开包装类及其关联的便利类型。 以下是相关代码： ```swift class MobileNetInput : MLFeatureProvider { var image: CVPixelBuffer var featureNames: Set<String> { get { return ["image"] } } func featureValue(for featureName: String) -> MLFeatureValue? { if (featureName == "image") { return MLFeatureValue(pixelBuffer: image) } return nil } init(image: CVPixelBuffer) { self.image = image } } class MobileNetOutput : MLFeatureProvider { private let provider : MLFeatureProvider lazy var classLabelProbs: [String : Double] = { [unowned self] in return self.provider .featureValue(for: "classLabelProbs")! .dictionaryValue as! [String : Double] }() lazy var classLabel: String = { [unowned self] in return self.provider .featureValue(for: "classLabel")!.stringValue }() var featureNames: Set<String> { return self.provider.featureNames } func featureValue(for featureName: String) -> MLFeatureValue? { return self.provider.featureValue(for: featureName) } init(classLabelProbs: [String : Double], classLabel: String) { self.provider = try! MLDictionaryFeatureProvider( dictionary: ["classLabelProbs" : MLFeatureValue(dictionary: classLabelProbs as [AnyHashable : NSNumber]), "classLabel" : MLFeatureValue(string: classLabel)]) } init(features: MLFeatureProvider) { self.provider = features } } class MobileNet { var model: ML ```