圖計算服務iGraph圖營運功能介紹。
圖營運
圖營運頁面協助使用者查看當前圖的迴流資訊,支援兩種查看視角:
圖schema視角,並支援對圖進行索引構建、資料寫入操作
節點、關係視角,並查看對應的迴流日誌
圖schema視角
以圖schema視角查看全域圖營運資訊,對節點、關係右鍵可進行對應操作:
觸發索引構建:選擇對應分區並觸發索引構建
增量資料寫入:基於資料更新文法
資料匯出
定時匯出
節點、關係視角
查看當前圖對應的迴流日誌:
迴流對象:schema下的節點、關係所對應的表
狀態:當前迴流頁面會讀取最新的迴流資訊,單擊重新整理進行更新。狀態說明參考當前迴流
觸發時間、完成時間
單擊詳情查看當前迴流對象具體資訊
迴流詳情
基礎資訊
資料表包含的基礎資訊,表名 、狀態、資料來源表等資訊。
當前迴流
目前迴流經過7步驟
未觸發:未迴流
觸發成功:後端接受到觸發迴流訊號,並資訊檢查成功
等待索引構建:表進入構建等待隊列,構建服務會根據表優先順序選擇表進行構建
進行索引構建:通過build service服務構建索引到hdfs
等待索引切換:索引產出後,會進入切換等待隊列,等待切換程式處理,切換程式會根據表優先順序從等待隊列中選擇
索引切換:將索引從hdfs拉取到線上服務物理機,並完成資料切換
迴流完成:可以提供查詢、更新服務
歷史迴流
欄位結構
圖模型中所配置的節點、關係的欄位結構
索引匯出
總體流程
資料匯出
對於需要匯出功能的點/邊,在資料配置頁面關閉“索引最佳化”選項後提交
修改完表配置後,儲存並發布圖配置
選擇該點/邊,重新觸發一次索引構建,迴流完成後的索引即為可匯出版本
選擇該點/邊,進入“資料匯出”頁面,填寫如下資訊:指定project、指定table、新分區版本、選擇可匯出版本,單擊“一鍵擷取建表SQL”。
注意:此時先不要單擊“匯出”按鈕
拿到建表sql後,在max compute裡執行建立table
建立table成功後,使用alter方法添加對應分區。
注意:分區名要與第四步填寫的保持一致
每次匯出,需要在max compute的對應table添加一個新分區,否則可能存在資料重複寫入的問題
max compute裡的table及分區建立完畢後,進行授權操作,然後在graph compute裡的資料匯出頁面檢查填寫資訊是否正確,無誤後單擊“匯出”按鈕,任務建立完成
匯出任務相關資訊可進入迴流日誌中對應點/邊的“詳情”頁面查看
定時匯出
對於需要匯出功能的點/邊,在資料配置頁面關閉“索引最佳化”選項後提交
修改完表配置後,儲存並發布圖配置
選擇該點/邊,重新觸發一次索引構建,迴流完成後的索引即為可匯出版本
選擇該點/邊,進入“定時匯出”頁面,填寫如下資訊:指定project、指定table、選擇新分區版本、定時配置,單擊“一鍵擷取建表SQL”。
注意:此時先不要單擊“匯出”按鈕
若是一天內需要匯出多次,新分區版本需要選擇"yyyyMMddHH"
拿到建表sql後,在max compute裡執行建立table
建立table成功後,使用grant方法賦予graph compute賬戶對該table的操作許可權
max compute裡的table建立並授權完畢後,在graph compute裡的定時匯出頁面檢查填寫資訊是否正確,無誤後單擊“匯出”按鈕,任務建立完成。
注意:每個點/邊僅支援一個定時匯出任務,若是重複建立則會刪除該點/邊的前一個定時匯出任務。
匯出任務相關資訊可進入迴流日誌中對應點/邊的“詳情”頁面查看
操作樣本
準備可匯出的索引版本
對於需要匯出功能的點/邊,在資料配置頁面關閉“索引最佳化”選項後提交
修改完表配置後,儲存並發布圖配置
選擇該點/邊,重新觸發一次索引構建,迴流完成後的索引即為可匯出版本
擷取建表sql,並建立table
graph compute填寫匯出相關參數,單擊“一鍵擷取建表SQL”。此時先不要單擊“匯出”按鈕
在max compute裡執行sql語句,建立table
“資料匯出”任務中,需要在table下添加對應分區
alter table openrec_new.test_momet add partition (ds='2023032302');
max compute賦予table級許可權
max compute裡,待匯出的table需要給Graph Compute的odps帳號賦權
add user ALIYUN$openias;
grant Describe,Alter,Update,Select on table test_momet to USER ALIYUN$openias;
可參考:通過命令系統管理使用者許可權