全部產品
Search
文件中心

MaxCompute:通過Tunnel遷移日誌資料至MaxCompute

更新時間:Jun 19, 2024

本文為您介紹如何通過Tunnel上傳日誌資料至MaxCompute。

前提條件

背景資訊

Tunnel是MaxCompute的批量上傳資料工具,適用於離線計算情境。Tunnel詳細資料請參見Tunnel使用說明

操作步驟

  1. 在MaxCompute用戶端(odpscmd)執行如下命令建立表loghub,用於儲存上傳的日誌資料。
    --開啟新類型資料開關,此命令需要和SQL語句一起提交。
    set odps.sql.type.system.odps2=true;
    --建立表loghub。
    CREATE TABLE loghub
    (
    client_ip   STRING ,
    receive_time STRING ,
    topic STRING,
    id STRING,
    name VARCHAR(32),
    salenum STRING
    );
  2. 執行如下命令將日誌資料上傳至MaxCompute。
    Tunnel u D:\loghub.csv loghub;
    上述命令中需要指定如下兩個參數:
    • D:\loghub.csv:本地日誌資料檔案儲存路徑。
    • loghub:MaxCompute中儲存日誌資料的表名。
    說明 使用Tunnel資料不支援萬用字元或Regex。
  3. 執行如下命令查詢資料是否成功匯入至表中。
    SELECT * FROM loghub;
    返回結果如下,表示匯入成功。查詢結果