6、机器学习数据处理与Vertex AI Workbench全解析

机器学习数据处理与Vertex AI Workbench全解析

1. 数据存储与转换方案

1.1 嵌入技术

在处理机器学习数据集时，独热编码（One-Hot Encoding）是常用的数据转换方法。然而，当数据集中唯一值数量较多时，独热编码会为每个唯一值创建一个新列，导致数据表示变得非常稀疏。例如，若有一个包含20000个唯一邮政编码的列，独热编码将创建20000个新的二进制列。这种稀疏数据不仅占用大量内存，还会增加机器学习训练的复杂度。

为解决这一问题，可以使用密集嵌入（Dense Embeddings）来处理具有大量唯一值的分类数据列。嵌入通常通过神经网络生成，是一种现成的编码技术。它将分类列中的每个值编码为一个小的实数密集向量。训练和生成这些嵌入的一种简单方法是使用Keras内置的嵌入层。

1.2 GCP上的可扩展数据转换工具

1.2.1 Cloud Data Fusion

Cloud Data Fusion是GCP上的一个完全托管服务，用于快速构建和管理可扩展的数据管道。使用Data Fusion的用户界面（UI），无需编写一行代码，通过可视化的点击界面即可构建和部署数据管道。它提供了数百个预构建的转换，可用于批量和实时数据处理，能快速构建ETL/ELT管道。

Cloud Data Fusion的主要特点如下：
- 可移植性 ：基于开源项目CDAP构建，确保数据管道的可移植性。
- 简单集成 ：与Google Cloud的功能（如GCS、Dataproc和BigQuery）轻松集成，使开发更快、更安全。 <