全部產品
Search
文件中心

DataWorks:FTP Check節點

更新時間:Nov 21, 2024

FTP Check節點可用於通過FTP協議周期性檢測指定檔案是否存在。如果檔案存在,則啟動調度下遊任務,不存在,則按照配置的間隔時間重複資料偵測,直到滿足檢測的停止條件時停止檢測。該節點通常作為DataWorks調度系統與其他調度系統之間傳遞訊號使用。本文為您介紹使用FTP Check節點的流程和注意事項。

前提條件

背景資訊

FTP Check節點的典型應用情境:當DataWorks調度系統中的任務需要訪問一個外部資料庫時,但由於該資料庫的相關資料寫入任務不在DataWorks中,DataWorks無法知道該資料庫何時完成寫入任務並可以被訪問。如果DataWorks讀取未寫入完成的資料,則可能導致讀取的資料不全或讀取失敗。為了保證DataWorks成功讀取完整的外部資料庫的資料,此時,可以讓其他調度系統在資料庫中的資料寫入任務完成後,在指定檔案系統中進行檔案標記(例如,產生一個.done檔案),表明該任務已完成。然後在DataWorks中配置一個FTP Check節點,周期性檢測該.done檔案是否存在,當檢測到檔案存在時,表明該資料庫中的資料寫入任務已經完成,可以啟動調度需要訪問該資料庫資料的任務。

說明
  • 其他調度系統可以自行指定產生標記檔案的檔案系統。

  • 本文以產生的標記檔案為.done樣本,在實際使用中,您可以自訂標籤檔案的格式、名稱等資訊。

具體如下:FTP Check

  1. 其他調度系統檢測到外部資料庫的資料已就緒(即資料寫入已完成,可以被訪問),會在指定的檔案系統中產生一個標記檔案,例如,xxxx2021-03-03.done。本文以.done為尾碼的檔案做為標記檔案,您也可以根據業務需求,自訂標籤檔案。

  2. FTP資料來源讀取檔案系統中的標記檔案。

  3. FTP Check節點根據配置的檢測策略,定期檢測FTP資料來源中該標記檔案是否存在。

    • 如果檢測該標記檔案存在,則表示外部資料庫中的資料已準備就緒,可以被訪問,FTP Check節點會將檢測成功的結果反饋至下遊節點。

    • 如果檢測該標記檔案不存在,則表示外部資料庫中的資料未準備就緒,不能被訪問,FTP Check節點會將檢測失敗並且不會調度下遊節點的結果反饋至下遊節點,並根據配置的檢測策略繼續檢測,直到達到預設的檢測上限後停止檢測。

    FTP Check節點的檢測策略,請參見下文《配置檢測對象及檢測策略》

  4. 下遊節點根據FTP Check節點的反饋結果,選擇是否啟動訪問外部資料庫的資料。

    • 如果FTP Check節點反饋檢測成功,則下遊節點啟動訪問外部資料庫的資料。

    • 如果FTP Check節點反饋檢測失敗,則下遊節點不啟動訪問外部資料庫的資料。

  5. 下遊節點訪問外部資料庫的資料。

說明

外部資料庫可以包含但不限於Oracle、MySQL、SQLServer等各類資料庫或儲存服務。

使用限制

  • FTP Check節點支援Serverless資源群組(推薦)或舊版獨享調度資源群組運行任務。如需購買使用Serverless資源群組,詳情請參見新增和使用Serverless資源群組

  • 分鐘和小時周期調度的任務,FTP Check節點的Check停止策略不支援配置為Check停止時間,該類任務您只能選擇使用Check停止次數停止策略。

  • 支援的地區:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)。

建立FTP Check節點

  1. 登入DataWorks控制台。

  2. 資料開發頁面,滑鼠移至上方至建立表徵圖,單擊通用 > FTP Check

    您也可以開啟相應的商務程序,按右鍵通用,選擇建立 > FTP Check

  3. 建立節點對話方塊中,輸入節點名稱,並選擇目標檔案夾

    說明

    節點名稱必須是大小寫字母、中文、數字、底線(_)和英文句號(.),且不能超過128個字元。

  4. 單擊確認

  5. 單擊節點編輯地區右側的調度配置,配置節點的調度屬性。

    調度屬性包括基礎屬性時間屬性資源屬性調度依賴,詳情請參見 配置基礎屬性時間屬性配置說明配置資源屬性配置同周期調度依賴

  6. 配置檢測對象及檢測策略。

    配置FTP Check參數

    1. 選擇FTP資料來源下拉式清單,選擇需要檢測的目標FTP資料來源。

      您可以選擇FTP或SFTP資料來源,如果下拉式清單沒有可用的資料來源,則您需要建立資料來源,詳情請參見配置FTP資料來源

    2. 指定Check的檔案配置需要檢測的檔案路徑。如果您的檔案路徑是動態變化的,則您可以在檔案路徑中使用調度參數來組態變數路徑,詳情請參見調度參數支援的格式

    3. Check間隔(秒)中配置定時檢測的時間間隔。

    4. Check停止策略中配置停止檢測的策略。

      • Check停止時間:檢測任務的到時時間點,格式為hh24:mi:ss,即24小時制時間。每次執行檢測任務時,如果沒有檢測到對應的標記檔案,則該檢測任務失敗,不會觸發啟動調度下遊任務,只有檢測成功時,才會啟動調度下遊任務。檢測失敗後,該任務會按配置的間隔時間繼續檢測,直到達配置的停止檢測時間,才不再繼續檢測。如果檢測失敗,您可以在任務日誌中查看具體的失敗原因。

        說明

        FTP Check節點的調度周期配置結果會影響FTP Check的停止策略:

        • 當調度周期配置為分鐘小時時,停止策略不支援配置為Check停止時間,只能配置為Check停止次數。詳情請參見配置FTP Check的檢測策略

        • 當調度周期開始配置為,並且已經配置好停止策略為Check停止時間,此時如果將調度周期修改為分鐘小時,則停止策略Check停止時間選項無效,您需要重新設定停止策略為Check停止次數,否則FTP Check節點無法提交。

      • Check停止次數:檢測次數限制。每次執行檢測任務時,如果沒有檢測到對應的標記檔案,則該檢測任務失敗,不會觸發啟動調度下遊任務,只有檢測成功時,才會啟動調度下遊任務。檢測失敗後,該任務會按配置的間隔時間繼續檢測,直到達配置的停止檢測次數,才不再繼續檢測。如果檢測失敗,您可以在任務日誌中查看具體的失敗原因。

  7. 儲存並提交節點。

    說明

    您需要設定節點的重跑屬性依賴的上遊節點,才可以提交節點。

    1. 單擊工具列中的儲存表徵圖,儲存節點。

    2. 單擊工具列中的提交表徵圖。

    3. 提交新版本對話方塊中,輸入變更描述

    4. 單擊確認

    如果您使用的是標準模式的工作空間,提交成功後,請單擊右上方的發布。具體操作請參見發布任務

  8. 任務營運,詳情請參見周期任務基本營運操作