全部產品
Search
文件中心

Graph Compute:圖營運

更新時間:Jun 30, 2024

圖計算服務iGraph圖營運功能介紹。

圖營運

圖營運頁面協助使用者查看當前圖的迴流資訊,支援兩種查看視角:

  • 圖schema視角,並支援對圖進行索引構建、資料寫入操作

  • 節點、關係視角,並查看對應的迴流日誌

圖schema視角

image..png以圖schema視角查看全域圖營運資訊,對節點、關係右鍵可進行對應操作:

  • 觸發索引構建:選擇對應分區並觸發索引構建

  • 增量資料寫入:基於資料更新文法

  • 資料匯出

  • 定時匯出

節點、關係視角

迴流日誌查看當前圖對應的迴流日誌:

  • 迴流對象:schema下的節點、關係所對應的表

  • 狀態:當前迴流頁面會讀取最新的迴流資訊,單擊重新整理進行更新。狀態說明參考當前迴流

  • 觸發時間、完成時間

  • 單擊詳情查看當前迴流對象具體資訊

迴流詳情

基礎資訊

image.png

資料表包含的基礎資訊,表名 、狀態、資料來源表等資訊。

當前迴流

當前迴流

  • 目前迴流經過7步驟

    • 未觸發:未迴流

    • 觸發成功:後端接受到觸發迴流訊號,並資訊檢查成功

    • 等待索引構建:表進入構建等待隊列,構建服務會根據表優先順序選擇表進行構建

    • 進行索引構建:通過build service服務構建索引到hdfs

    • 等待索引切換:索引產出後,會進入切換等待隊列,等待切換程式處理,切換程式會根據表優先順序從等待隊列中選擇

    • 索引切換:將索引從hdfs拉取到線上服務物理機,並完成資料切換

    • 迴流完成:可以提供查詢、更新服務

歷史迴流

歷史迴流

欄位結構

圖模型中所配置的節點、關係的欄位結構

索引匯出

總體流程

資料匯出

  1. 對於需要匯出功能的點/邊,在資料配置頁面關閉“索引最佳化”選項後提交

  2. 修改完表配置後,儲存並發布圖配置

  3. 選擇該點/邊,重新觸發一次索引構建,迴流完成後的索引即為可匯出版本

  4. 選擇該點/邊,進入“資料匯出”頁面,填寫如下資訊:指定project、指定table、新分區版本、選擇可匯出版本,單擊“一鍵擷取建表SQL”。

  • 注意:此時先不要單擊“匯出”按鈕

  1. 拿到建表sql後,在max compute裡執行建立table

  2. 建立table成功後,使用alter方法添加對應分區。

  • 注意:分區名要與第四步填寫的保持一致

  • 每次匯出,需要在max compute的對應table添加一個新分區,否則可能存在資料重複寫入的問題

  1. max compute裡的table及分區建立完畢後,進行授權操作,然後在graph compute裡的資料匯出頁面檢查填寫資訊是否正確,無誤後單擊“匯出”按鈕,任務建立完成

  2. 匯出任務相關資訊可進入迴流日誌中對應點/邊的“詳情”頁面查看

定時匯出

  1. 對於需要匯出功能的點/邊,在資料配置頁面關閉“索引最佳化”選項後提交

  2. 修改完表配置後,儲存並發布圖配置

  3. 選擇該點/邊,重新觸發一次索引構建,迴流完成後的索引即為可匯出版本

  4. 選擇該點/邊,進入“定時匯出”頁面,填寫如下資訊:指定project、指定table、選擇新分區版本、定時配置,單擊“一鍵擷取建表SQL”。

  • 注意:此時先不要單擊“匯出”按鈕

  • 若是一天內需要匯出多次,新分區版本需要選擇"yyyyMMddHH"

  1. 拿到建表sql後,在max compute裡執行建立table

  2. 建立table成功後,使用grant方法賦予graph compute賬戶對該table的操作許可權

  3. max compute裡的table建立並授權完畢後,在graph compute裡的定時匯出頁面檢查填寫資訊是否正確,無誤後單擊“匯出”按鈕,任務建立完成。

  • 注意:每個點/邊僅支援一個定時匯出任務,若是重複建立則會刪除該點/邊的前一個定時匯出任務。

  1. 匯出任務相關資訊可進入迴流日誌中對應點/邊的“詳情”頁面查看

操作樣本

準備可匯出的索引版本

  1. 對於需要匯出功能的點/邊,在資料配置頁面關閉“索引最佳化”選項後提交

image.png

  1. 修改完表配置後,儲存並發布圖配置

image.png

image.png

  1. 選擇該點/邊,重新觸發一次索引構建,迴流完成後的索引即為可匯出版本

image.png

擷取建表sql,並建立table

  1. graph compute填寫匯出相關參數,單擊“一鍵擷取建表SQL”。此時先不要單擊“匯出”按鈕

image.png

image.png

  1. 在max compute裡執行sql語句,建立table

  2. “資料匯出”任務中,需要在table下添加對應分區

alter table openrec_new.test_momet add partition (ds='2023032302');

max compute賦予table級許可權

max compute裡,待匯出的table需要給Graph Compute的odps帳號賦權