全部產品
Search
文件中心

DataHub:名詞解釋

更新時間:Nov 13, 2025

名詞解釋

名詞

解釋

Project

  • 專案(Project)是DataHub資料的基主要組織單元,下麵包含多個Topic。

  • DataHub的專案空間與MaxCompute的專案空間相互獨立。

Topic

Topic是DataHub訂閱和發布的最小單位,可以用Topic來表示一類或者一種流資料。

Topic Lifecycle

Topic Lifecycle表示在一個Topic中寫入的資料能夠在系統中儲存的最長時間,以天為單位,最小值為1,最大值為7。

Shard

Shard表示在一個Topic資料轉送的並發通道,每個Shard有對應的ID。

Shard啟用以後會佔用一定的服務端資源,建議按需申請Shard數量。

Shard的不同狀態詳情參考Shard狀態說明

Shard Hash Key Range

Shard屬性,表示雜湊索引值範圍,Key範圍是左閉右開。

寫入資料的時候具有相同Key的資料會落到同一個Shard上。

Shard Merge

Shard合并,可以把相鄰的Key 範圍的Shard合并成一個Shard。

更多詳情參考Shard操作

Shard Split

Shard分裂,可以把一個Shard分裂成Shard Key Range相鄰的兩個Shard。

Record

使用者資料和DataHub端互動的基本單位。

RecordType

Topic資料類型,目前支援Tuple與Blob兩種類型。

  • Tuple類型的Topic支援類似資料庫的資料記錄,每條記錄包含多個列。

  • Blob類型的Topic僅支援寫入一塊位元據。

資料類型支援詳情參考資料類型介紹

資料類型介紹

  • Tuple類型支援寫入以下幾種資料類型的資料:

    DataHub 中的 TINYINT、SMALLINT、INTEGER、FLOAT類型從java sdk 2.16.1-public開始支援。

    類型

    含義

    範圍

    BIGINT

    8位元組有符號整型

    -9223372036854775807 ~ 9223372036854775807

    DOUBLE

    8位元組雙精確度浮點數

    -1.0 _10^308 ~ 1.0 _10^308

    BOOLEAN

    布爾類型

    • True/true/1

    • False/false/0

    TIMESTAMP

    時間戳記類型

    表示到微秒的時間戳記類型。

    STRING

    字串,只支援UTF-8編碼

    單個STRING列最長允許2MB。

    TINYINT

    單位元組整型

    -128 ~ 127

    SMALLINT

    雙位元組整型

    -32768 ~ 32767

    INTEGER

    4位元組整型

    -2147483648 ~ 2147483647

    FLOAT

    4位元組單精確度浮點數

    -3.40292347_10^38 ~ 3.40292347_10^38

    DECIMAL

    數字型

    - 10^38 +1 ~ 10^38 - 1

  • Blob模式下支援寫入一塊位元據作為一個Record,資料將會以BASE64編碼傳輸。

Shard狀態說明

狀態

說明

讀寫支援

Opening

Topic剛建立,所有shard會處於Opening狀態直至準備完成。

不可讀寫。

Active

Shard通道開啟後,狀態會置為Active。

正常讀寫。

Closing

Shard進行了Split/Merge操作,後台正在關閉該通道。

不可讀寫。

Closed

Shard在Split/Merge完成後,會變為Closed態。

唯讀。

異常描述

ErrorCode

HttpCode

含義

InvalidUriSpec

400

請求的Uri非法

InvalidParameter

400

參數錯誤,詳細內容請看返回的ErrorMessga

Unauthorized

401

簽名錯誤

NoPermission

403

帳號許可權不足

InvalidSchema

400

Schema格式錯誤

InvalidCursor

400

無效或到期的cursor

NoSuchProject

404

請求的Project不存在

NoSuchTopic

404

請求的Topic不存在

NoSuchShard

404

請求的ShardID不存在

ProjectAlreadyExist

400

Project已存在

TopicAlreadyExist

400

Topic已存在

InvalidShardOperation

405

非法Shard操作,如Shard已經Closed後繼續寫入.

LimitExceeded

400

請求參數超出限制,如Shard總數超過512個.

InternalServerError

500

未知錯誤或內部服務異常或系統處於升級中.