DataWorks：BigQuery資料來源

支援的版本及地區

• BigQuery使用的SDK版本是google-cloud-bigquery 2.29.0，SDK能力具體請參見官網文檔。

• 支援建立BigQuery資料來源的地區如下：

  中國香港、日本（東京）、新加坡、澳大利亞（雪梨）、馬來西亞（吉隆坡）、印尼（雅加達）、印度（孟買）、德國（法蘭克福）、英國（倫敦）、美國（矽谷）、美國（維吉尼亞）

支援的欄位類型

BigQuery的欄位類型請參見BigQuery的官方文檔。下面為您列出當前主要欄位的支援情況。

資料同步前準備：配置BigQuery的網路連接

在DataWorks上進行資料同步前，您需要將BigQuery的網路與Data Integration的獨享資源群組打通，使之通過內網地址進行訪問。網路打通的具體方法可參考：網路連通方案。

資料同步任務開發

BigQuery資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

以下對BigQuery資料來源的幾個配置項進行說明：

• BigQuery Project ID：Google BigQuery的專案名。

• BigQuery授權認證資訊：上傳Google Cloud的認證檔案。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

附錄：指令碼Demo與參數說明

離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數的指導詳情。

BigQuery Reader指令碼Demo

{
  "stepType": "bigquery"
  "parameter":
  {
    "datasource":"bq_test1",
    "table": "partition_1107",
    "where": "xxx=3",
    "dataSet": "database_0724",
    "partition": [
      "_PARTITIONTIME='2023-11-07'"
     ],
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ]
  },
  "name": "Reader",
  "category": "reader"
}

BigQuery Reader指令碼參數