GoogleCloudPlatform存储部署与管理全解析

### Google Cloud Platform 存储部署与管理全解析 #### 1. BigQuery 作业状态查看 可以使用 `bq show` 命令查看 BigQuery 作业的状态。例如，要显示图中成功导出作业的结果，可以使用以下命令： ```bash bq --location=US show -j gcpace-project:US.bquijob_119adae7_167c373d5c3 ``` #### 2. 部署和管理 Cloud Spanner Cloud Spanner 是全球关系型数据库，以下是使用它的步骤： 1. **创建 Cloud Spanner 实例**：导航到控制台中的 Cloud Spanner 表单，选择“创建实例”。 2. **创建数据库**：在实例详细信息页面顶部选择“创建数据库”。创建数据库时，需要使用 SQL 数据定义语言（DDL）来定义表的结构。SQL DDL 是用于创建表、索引和其他数据结构的 SQL 命令集，如下表所示： | 命令 | 描述 | | --- | --- | | CREATE TABLE | 创建具有指定列和数据类型的表 | | CREATE INDEX | 在指定列上创建索引 | | ALTER TABLE | 更改表结构 | | DROP TABLE | 从数据库模式中删除表 | | DROP INDEX | 从数据库模式中删除索引 | 3. **创建表**：执行 `CREATE TABLE` 命令后，将看到表结构的列表。 4. **插入数据**：在表详细信息页面中选择“数据”表，添加行时会看到显示表中列的表单。 5. **执行查询**：从表详细信息页面选择查询。 Cloud Spanner 是托管数据库服务，无需进行打补丁、备份或其他基本数据管理任务，主要任务集中在设计表和查询上。 #### 3. 部署和管理 Cloud Pub/Sub 部署 Pub/Sub 消息队列需要完成两项任务：创建主题和创建订阅。 1. **创建主题**：导航到 Cloud 控制台中的 Pub/Sub 页面，首次使用时，表单类似于图中所示。点击“创建主题”，会提示输入主题名称。创建第一个主题后，会在主题页面中看到主题列表。 2. **创建订阅**：点击主题摘要行末尾的三点图标，在出现的菜单中选择“创建订阅”。创建订阅时，需要指定订阅名称和传递类型。订阅可以是拉取式（应用程序从主题读取消息）或推送式（订阅将消息写入端点）。如果使用推送订阅，需要指定接收消息的端点 URL。消息被读取后，读取消息的应用程序会确认接收消息，Pub/Sub 会等待“确认截止时间”参数中指定的时间段，该时间范围为 10 到 600 秒。还可以指定保留期，即保留无法传递的消息的时间长度，保留期过后，消息将从主题中删除。 除了使用控制台，还可以使用 `gcloud` 命令创建主题和订阅： ```bash gcloud pubsub topics create [TOPIC-NAME] gcloud pubsub subscriptions create [SUBSCRIPTION-NAME] --topic [TOPIC-NAME] ``` #### 4. 部署和管理 Cloud Bigtable 作为云工程师，可能需要创建 Bigtable 集群、表、添加数据并查询数据。 1. **创建 Bigtable 实例**：导航到 Bigtable 控制台，点击“创建实例”。 2. **安装 cbt 命令**：打开 Cloud Shell 浏览器，安装 `cbt` 命令。与关系型数据库不同，Bigtable 是 NoSQL 数据库，不使用 SQL 命令，`cbt` 命令有创建表、插入数据和查询表的子命令，如下表所示： | 命令 | 描述 | | --- | --- | | createtable | 创建表 | | createfamily | 创建列族 | | read | 读取并显示行 | | ls | 列出表和列 | 3. **配置 cbt**：在 Cloud Shell 中输入以下命令： ```bash gcloud components update gcloud components install cbt ``` Bigtable 需要设置一个名为 `instance` 的环境变量，将其包含在主目录中的 `.cbt` 配置文件 `.cbtrc` 中。例如，将实例设置为 `ace-exam-bigtable`，在命令行提示符下输入： ```bash echo instance = ace-exam-bigtable >> ~/.cbtrc ``` 4. **创建表**：使用以下命令创建表： ```bash cbt createtable ace-exam-bt-table ``` 5. **列出表**：使用 `ls` 命令列出表： ```bash cbt ls ``` 6. **创建列族**：使用以下命令创建名为 `colfam1` 的列族： ```bash cbt createfamily ace-exam-bt-table colfam1 ``` 7. **设置单元格值**：使用以下命令设置名为 `row1` 的行中列 `colfam1` 的单元格值： ```bash cbt set ace-exam-bt-table row1 colfam1:col1=ace-exam-value ``` 8. **显示表内容**：使用以下命令显示表的内容： ```bash cbt read ace-exam-bt-table ``` #### 5. 部署和管理 Cloud Dataproc Cloud Dataproc 是 Google 的托管 Apache Spark 和 Apache Hadoop 服务，适用于大数据应用。 1. **创建集群**：导航到 Cloud 控制台的 Dataproc 部分，填写“创建集群”表单。需要指定集群名称、区域和区域，还需要指定集群模式，包括单节点、标准或高可用性。单节点适用于开发，标准模式只有一个主节点，高可用性模式使用三个主节点