SQL查詢資料來源 - DataWorks

如果需要快速地對資料進行查詢與分析，您可以使用SQL語句查詢MaxCompute、EMR Hive、Hologres等資料來源。本文為您介紹如何通過SQL語句查詢資料來源。

支援查詢的資料來源

SQL查詢支援的資料來源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL、EMR Impala、EMR Presto、EMR Trino、CDH hive、StarRocks、ClickHouse、AnalyticDB for MySQL3.0、AnalyticDB for PostgreSQL、MySQL。

前提條件

工作空間已建立資料來源，詳情請參見建立並管理資料來源。
已擁有某資料來源在資料分析模組的查詢許可權。
操作帳號已被添加為工作空間的以下角色之一：資料分析師、模型設計師、開發、營運角色、空間管理員或專案所有者，詳情請參見為工作空間增加空間成員。
說明
使用SQL查詢功能時，僅支援查詢有許可權的工作空間內的資料來源資料，因此您需要先聯絡管理員將您添加為工作空間的資料分析師、模型設計師、開發、營運、空間管理員或專案所有者。

注意事項

資料來源許可權
標準模式工作空間僅支援授權使用開發環境的資料來源；簡單模式工作空間的所有資料來源均需管理員授權後才可使用。
說明
- 支援授權的資料來源類型，詳情請參見支援的資料來源類型。
- 申請資料來源存取權限，詳情請參見資訊安全中心。
- 工作空間模式介紹，詳情請參見必讀：簡單模式和標準模式的區別。
資料來源查詢
在資料分析查詢引擎綁定時自動建立的MaxCompute資料來源，預設使用個人帳號執行任務，如果要訪問生產表，您需在SQL命令中指定生產專案名稱，若查詢的表資料無許可權，請前往資訊安全中心進行申請。
資料來源白名單存取控制
當使用資料分析操作MaxCompute表資料時，如果MaxCompute專案空間開啟了白名單存取控制，資料分析的相關服務（例如，費用計算、資料下載、維表使用、資料上傳等）可能會出現報錯。為保證DataWorks資料分析服務能順利訪問MaxCompute的專案空間，則需提前配置好MaxCompute的資料分析白名單許可權。
SQL查詢已推出新版控制台，如果您的控制台與本文展示的不一致，或部分功能找不到，請參見新版SQL查詢常見問題。

功能概覽

功能	說明
添加目錄	支援您將系統推薦目錄及已授權的資料來源下的資料表添加至目錄，添加為目錄後您可快速查看相應目錄下的SQl檔案或者資料表，對於資料表支援您快速查看錶結構並快速產生查詢SQL。
建立SQL查詢	您可建立SQL查詢檔案並手動編輯SQL查詢命令，還支援您將SQL提交到指定資料來源執行。
執行查詢語句	編寫代碼後，您可以運行代碼，提取需要查詢的資料。
查詢結果操作	SQL執行完成後，您可在查詢結果頁面查看作業記錄、查看運行結果、查看查詢結果對應的SQL內容等，還支援您使用折線圖、柱狀圖、橫條圖、餅圖、交叉表等對查詢結果進行可視化展現。
管理SQL查詢目錄	在SQL查詢頁面，您可以統一管理SQL查詢檔案。

進入SQL查詢

您可以通過如下兩種方式進入：

在資料分析首頁的快捷入口地區，單擊SQL查詢，進入SQL查詢頁面。
在資料分析模組，單擊左側功能表列的SQL查詢，進入SQL查詢頁面。

添加目錄

SQL查詢預設僅展示我的檔案和他人檔案，其他檔案目錄需要通過單擊搜尋方塊右側的資料集表徵圖進行添加。支援下面幾類檔案目錄添加至SQL查詢檔案目錄，添加為目錄後您可快速查看相應目錄下的SQl檔案或者資料表，對於資料表支援您快速查看錶結構並快速產生查詢SQL。

目前支援添加的目錄分以下幾種：

推薦目錄：提供我的收藏、我的MaxCompute表、公用資料等。
資料地圖-中繼資料：支援添加工作空間下的引擎專案。相關文檔請參見建立並管理工作空間、建立並管理資料來源。
資料地圖-資料專輯：支援您將我管理的、我建立的、我關注的資料專輯添加為SQL查詢的目錄。詳情請參見業務視角管理：資料專輯。

說明

他人檔案：展示當前租戶下其他使用者公開到工作空間的檔案。
目前最大支援添加8個資料集。

建立SQL查詢

您可基於工作空間及引擎類型建立SQL查詢檔案。

建立SQL查詢檔案。
您可以通過如下三種方式新增SQL查詢檔案。
- 手動建立
  在頁面左側地區，單擊我的檔案右側的表徵圖，選擇建立檔案，根據介面提示建立SQL查詢檔案。
- 首次進入SQL查詢頁面或當前視窗沒有開啟SQL檔案時，單擊右側頁面中的建立SQL查詢視窗。
- 歡迎頁面或已有SQL檔案被開啟時，單擊已開啟檔案名稱右側的建立新的SQL查詢時段。
設定SQL執行資料來源。
在圖示位置選擇當前SQL查詢需要查詢的工作空間、引擎類型或資料來源。
說明
- 僅支援選擇已授權您使用的資料來源，若無目標資料來源，您需要先聯絡管理員授權相關資料來源的使用許可權，同時授予資料分析師、模型設計師、開發、營運、空間管理員。
- 您可以在系統管理中修改任務運行時的資源群組。

執行查詢語句

在SQL編輯框內編輯對應資料來源的查詢代碼，完成後執行對應命令即可擷取查詢結果。

使用過程中，您可以：

①、②運行代碼，運行完成後可查看對應代碼的運行結果。
- 方式一：選中部分代碼後單擊。
- 方式二：單擊SQL語句左側的快捷運行按鈕執行一行代碼。
③代碼版本：您也可以單擊更多 > 代碼版本來查看自動儲存的代碼和手動儲存代碼間差異，並選擇需要的版本儲存。
④成本預估：單句運行時介面會提示您此次調試運行可能需要的費用，運行完整代碼前，您也可以單擊更多 > 成本預估來對全量代碼運行可能需要的費用進行預估。
說明
目前僅MaxCompute可以使用該功能。
⑤格式化：您也可以通過格式化將自行排版的代碼一鍵正常化排版。

查詢結果操作

SQL語句執行成功後，您可以對查詢結果進行如下操作：

功能	圖示	操作說明
查看運行結果中表格式資料		您可單擊匯出，對查詢結果表進行如下操作：本地檔案：將查詢結果下載至本地。當前下載操作無需執行審批次程序。說明僅DataWorks增值版本支援使用匯出至本地檔案。不同增值版本支援匯出到本地的最巨量資料條數不同。分別為：標準版20萬，專業版200萬，企業版500萬。檔案大小最大不超過1G。租用戶系統管理員、租戶安全性系統管理員、授權空間管理員角色的RAM使用者可以進入資料查詢與分析管控對查詢結果的展示條數、下載條數、是否允許下載等進行管控。當前僅MaxCompute、EMR引擎資料支援匯出本地檔案。若MaxCompute專案開啟了專案保護（即禁止下載資料），則通過資料分析下載資料會失敗。MaxCompute專案保護機制，詳情請參見資料保護機制。 MaxCompute表：將查詢結果儲存為一張線上的MaxCompute表。無需將資料下載至本地再傳至線上。您可根據需要設定表的生命週期。試算表：用於同步查詢結果至試算表，對查詢結果進行更大地區的查看等操作。詳情請參見：分析資料。試算表並分享：用於同步查詢結果至試算表，並通過試算表的資料分享功能，分享該表資料至指定使用者。詳情請參見：分享試算表。
查詢結果可視化圖表展示		支援查詢結果通過折線圖、柱狀圖、橫條圖、餅圖等圖表進行可視化展現。還支援您將查詢結果儲存為數據卡片，構建您專屬的可視化知識庫，同時，您還可以從卡片中挑選合適卡片，快速建立資料報告，輕鬆打造個人化作品。
查看查詢結果對應的SQL語句		為您展示當前查詢結果對應的SQL內容，支援對該查詢結果對應的SQL語句進行快速複製和快速插入代碼編輯區的操作。

管理SQL查詢目錄

在SQL查詢頁面，您可以對SQL查詢檔案執行如下管理操作。

功能	描述
SQL查詢分類樹搜尋功能	在地區①，您可以通過搜尋功能定位目標表。
程式碼搜尋	在地區①，單擊，您可以輸入關鍵字進行程式碼搜尋。
運行歷史	在地區①，您可以單擊查看SQL查詢歷史執行記錄，此記錄不包括計劃任務執行日誌。
添加目錄	在地區①，您可以單擊添加目錄，支援您將系統推薦目錄及已授權的資料來源下的資料表添加至目錄，添加為目錄後您可快速查看相應目錄下的SQl檔案或者資料表，對於資料表支援您快速查看錶結構並快速產生查詢SQL。
我的檔案	在地區②，我的檔案為您展示您儲存的SQL查詢檔案，您可以按右鍵指定檔案，分享檔案至指定工作空間。表示該檔案正在分享中，被分享的工作空間下的所有空間成員均可以在他人檔案目錄下看到您分享的檔案。
他人檔案	在地區②，他人檔案為您展示當前租戶下其他使用者公開到工作空間的檔案。
我的MaxCompute表	在地區②，我的MaxCompute表目錄需要通過單擊表徵圖進行添加。我的MaxCompute表為您展示您個人名下的MaxCompute表。包括開發表與生產表。
我的收藏	在地區②，我的收藏目錄需要通過單擊表徵圖進行添加。我的收藏為展示您個人收藏的表，您在資料集下，按右鍵目標表選擇收藏，收藏後檔案將展示在該目錄下。
公用資料	在地區②，公用資料目錄需要通過單擊表徵圖進行添加。公用資料為您展示資料分析預設提供且不需要申請許可權的表，您可使用該錶快速體驗SQL查詢產品功能。

個人化

支援您單擊左下角的表徵圖進入設定頁面，進行一些個人化：

主題設定：您可以設定SQL查詢的主題風格。
編輯器設定：您可以設定SQL查詢編輯器視窗的代碼風格、代碼提示、斷行符號輸入提示建議等。
SQL操作設定：您可以設定每次SQL執行時的預設執行模式。

新版SQL查詢常見問題

新版SQL查詢的資料來源設定在哪裡？

SQL查詢新版升級後，每個SQL檔案均可以單獨設定資料來源。

新版SQL查詢的資料來源可選項為什麼變少了？

SQL查詢新版升級後，可查詢的資料來源，需要經過租用戶系統管理員或者租戶級安全性系統管理員在資訊安全中心進行授權。如有需要使用的資料來源未經授權，可以聯絡管理員在資訊安全中心對需要查詢的資料來源進行授權。
可查詢資料來源的預設授權邏輯：
- 標準模式工作空間下：在資料開發 > 資料來源頁面，綁定MaxCompute和Hologres引擎後，系統將預設授權資料分析師在SQL查詢頁面，可以使用該引擎開發環境的資料來源。
- 簡單模式工作空間所有資料來源及標準模式不符合上述條件的資料來源：均需由租用戶系統管理員或者租戶級安全性系統管理員手動在資訊安全中心進行設定。

分類樹中我的SQL檔案為什麼變多了？

SQL查詢新版升級後，您可以在SQL查詢中統一管控您在DataWorks中建立的歸屬於不同工作空間、不同資料來源的所有SQL檔案。因此，舊版SQL查詢中歸屬於您個人名下不同工作空間、不同資料來源的SQL檔案，會統一在我的檔案中呈現。

分類樹中所有的表沒有了？

SQL查詢新版升級後，您可以在添加目錄中按需添加可查詢資料來源下的資料表，添加對應的資料表目錄後，如果表數量過多，可通過搜尋的方式找到目標表。對於經常使用的表，還可以將其添加收藏，後續可在我的收藏中進行查看。

原系統設定中關於SQL查詢結果查看和下載的開關及最大數量限制沒有了？

SQL查詢新版升級後，原系統設定中針對SQL查詢結果查看、複製、下載等功能的設定，已遷移至資訊安全中心 > 安全性原則 > 資料查詢與分析管控 > 查詢結果管控，策略列表中，管控範圍包含“資料分析”的管控策略對SQL查詢生效。