Graph Compute：done分區指南

建立done分區

參考MaxCompute分區，分區和列操作。

done分區自動觸發迴流

• iGraph支援通過指定.done分區來標示對應分區可以迴流

  • .done分區為一個無資料的空分區，只用來提供標識

  • 樣本

    • ds=20160528這個分區, 如果您認為這個分區可以迴流了，則需要產出對應的done分區: ds=20160528.done，

    • 此時，存在兩個分區ds=20160528和ds=20160528.done，資料在ds=20160528中

• 只支援數字分區，最好以時間命名如ds＝20171111

  • 不支援類似於ds=abc這種非數字分區

  • 分區欄位長度小於16個位元組

  • 不符合規範者不保證迴流的正確性

• 小時迴流表可以只使用一級分區，直接產出新的done分區即可，比如ds=2017101011.done或ds＝2017101012.done

• 小時迴流表若使用多級分區需要注意分區欄位順序，ds欄位要在hh欄位之前

• 重要

  1）務必保證.done在分區字串的末尾，'hh=12.done/ds=20170909’為錯誤格式：如ds=20110101/hh=11.done

  2）不解析分區內容，不解析具體’ds’,‘dt’,'hh’之類的含義，在探測過程中只對所取分區按照字典序倒序探測

• 進階用法：如果傳遞odps分區的時候，想指定odps分區包含的全量資料的時間戳記(這個主要用於全量+即時情況下全量切換完畢之後，從哪個時間點開始回追增量資料)[可選],可以將done分區格式定為：ds=20150105.base_timestamp#1505147960.done

  • base_timestamp#1505147960為回追增量的起始時間戳記格式，單位秒

  • ds=20190606/hh=14.base_timestamp#1559802331.done為小時分區的寫法；全量+增量表在done分區觸發時未指定時間戳記預設使用觸發時間（檢測到done的時間）