名詞解釋
名詞 | 解釋 |
Project |
|
Topic | Topic是DataHub訂閱和發布的最小單位,可以用Topic來表示一類或者一種流資料。 |
Topic Lifecycle | Topic Lifecycle表示在一個Topic中寫入的資料能夠在系統中儲存的最長時間,以天為單位,最小值為1,最大值為7。 |
Shard | Shard表示在一個Topic資料轉送的並發通道,每個Shard有對應的ID。 Shard啟用以後會佔用一定的服務端資源,建議按需申請Shard數量。 Shard的不同狀態詳情參考Shard狀態說明。 |
Shard Hash Key Range | Shard屬性,表示雜湊索引值範圍,Key範圍是左閉右開。 寫入資料的時候具有相同Key的資料會落到同一個Shard上。 |
Shard Merge | Shard合并,可以把相鄰的Key 範圍的Shard合并成一個Shard。 更多詳情參考Shard操作。 |
Shard Split | Shard分裂,可以把一個Shard分裂成Shard Key Range相鄰的兩個Shard。 |
Record | 使用者資料和DataHub端互動的基本單位。 |
RecordType | Topic資料類型,目前支援Tuple與Blob兩種類型。
資料類型支援詳情參考資料類型介紹。 |
資料類型介紹
Tuple類型支援寫入以下幾種資料類型的資料:
DataHub 中的 TINYINT、SMALLINT、INTEGER、FLOAT類型從java sdk 2.16.1-public開始支援。
類型
含義
範圍
BIGINT
8位元組有符號整型
-9223372036854775807 ~ 9223372036854775807DOUBLE
8位元組雙精確度浮點數
-1.0 _10^308 ~ 1.0 _10^308BOOLEAN
布爾類型
True/true/1
False/false/0
TIMESTAMP
時間戳記類型
表示到微秒的時間戳記類型。
STRING
字串,只支援UTF-8編碼
單個STRING列最長允許2MB。
TINYINT
單位元組整型
-128 ~ 127SMALLINT
雙位元組整型
-32768 ~ 32767INTEGER
4位元組整型
-2147483648 ~ 2147483647FLOAT
4位元組單精確度浮點數
-3.40292347_10^38 ~ 3.40292347_10^38DECIMAL
數字型
- 10^38 +1 ~ 10^38 - 1Blob模式下支援寫入一塊位元據作為一個Record,資料將會以BASE64編碼傳輸。
Shard狀態說明
狀態 | 說明 | 讀寫支援 |
Opening | Topic剛建立,所有shard會處於Opening狀態直至準備完成。 | 不可讀寫。 |
Active | Shard通道開啟後,狀態會置為Active。 | 正常讀寫。 |
Closing | Shard進行了Split/Merge操作,後台正在關閉該通道。 | 不可讀寫。 |
Closed | Shard在Split/Merge完成後,會變為Closed態。 | 唯讀。 |
異常描述
ErrorCode | HttpCode | 含義 |
InvalidUriSpec | 400 | 請求的Uri非法 |
InvalidParameter | 400 | 參數錯誤,詳細內容請看返回的ErrorMessga |
Unauthorized | 401 | 簽名錯誤 |
NoPermission | 403 | 帳號許可權不足 |
InvalidSchema | 400 | Schema格式錯誤 |
InvalidCursor | 400 | 無效或到期的cursor |
NoSuchProject | 404 | 請求的Project不存在 |
NoSuchTopic | 404 | 請求的Topic不存在 |
NoSuchShard | 404 | 請求的ShardID不存在 |
ProjectAlreadyExist | 400 | Project已存在 |
TopicAlreadyExist | 400 | Topic已存在 |
InvalidShardOperation | 405 | 非法Shard操作,如Shard已經Closed後繼續寫入. |
LimitExceeded | 400 | 請求參數超出限制,如Shard總數超過512個. |
InternalServerError | 500 | 未知錯誤或內部服務異常或系統處於升級中. |