彙總(Aggregate)函數的輸入與輸出是多對一的關係,即將多條輸入記錄彙總成一條輸出值,可以與MaxCompute SQL中的group by
語句配合使用。本文為您提供MaxCompute SQL支援的彙總函式的命令格式、參數說明及樣本,指導您使用彙總函式完成開發。
MaxCompute SQL支援的彙總函式如下。
函數 | 功能 |
在指定範圍內任選一個值返回。 | |
返回輸入的非重複值的近似數目。 | |
返回指定列的最大值對應行的列值。 | |
返回指定列的最小值對應行的列值。 | |
計算平均值。 | |
計算輸入Value的bit AND彙總值。 | |
計算輸入Value的bit OR彙總值。 | |
將指定的列彙總為一個數組。 | |
將指定的列彙總為一個無重複元素的數組。 | |
計算記錄數。 | |
計算指定運算式為True的記錄數。 | |
計算指定兩個數值列的總體共變數。 | |
計算指定兩個數值列的樣本共變數。 | |
構造輸入Map的Key值出現次數的Map。 | |
構造兩個輸入欄位的Map。 | |
對輸入Map進行Union操作來構造輸出Map。 | |
對輸入Map進行Union操作並對相同Key的Value求和來構造輸出Map。 | |
計算最大值。 | |
返回指定列的最大值對應行的列值。 | |
計算中位元。 | |
計算最小值。 | |
返回指定列的最小值對應行的列值。 | |
構造兩個輸入欄位的Map,第一個欄位作為Map的Key,第二個欄位構造數組作為Map的Value。 | |
統計指定列的近似長條圖。 | |
計算精確百分位元,適用於小資料量。 | |
計算近似百分位元,適用於巨量資料量。 | |
計算總體標準差。 | |
計算樣本標準差。 | |
計算匯總值。 | |
計算指定數值列的樣本方差。 | |
計算指定數值列的方差。 | |
用指定的分隔字元連接字串。 |
注意事項
升級到MaxCompute 2.0後,產品擴充了部分函數。如果您用到的函數涉及新資料類型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY),在使用擴充函數時,需要執行如下語句開啟新資料類型開關:
Session層級:如果使用新資料類型,您需要在SQL語句前加上語句
set odps.sql.type.system.odps2=true;
,並與SQL語句一起提交執行。Project層級:Project Owner可根據需要對Project進行設定,等待10~15分鐘後才會生效。命令如下。
setproject odps.sql.type.system.odps2=true;
對
setproject
的詳細說明請參見專案空間操作。關於開啟Project層級資料類型的注意事項,請參見資料類型版本說明。單個Worker裡的元素數量不能超過兩百萬。
在同一條SQL語句中同時使用多個彙總函式時,如果專案資源不足,會出現記憶體溢出問題,請您根據實際業務情況最佳化SQL或購買計算資源。
彙總函式文法
彙總函式的文法聲明如下。
<aggregate_name>(<expression>[,...]) [within group (order by <col1>[,<col2>…])] [filter (where <where_condition>)]
<aggregate_name>(<expression>[,...])
:內建彙總函式或使用者自訂彙總函式UDAF,具體格式以實際彙總函式文法為準。within group (order by <col1>[,<col2>…])
:當彙總函式中攜帶該運算式時,預設會對<col1>[,<col2>…]
的輸入資料進行升序排列。如果需要降序排列,運算式為within group (order by <col1>[,<col2>…] [desc])
。在使用該運算式時,您需要注意:
僅支援WM_CONCAT、COLLECT_LIST、COLLECT_SET及UDAF使用該運算式。
一個SELECT語句中如果多個彙總函式攜帶
within group (order by <col1>[,<col2>…])
運算式時,order by <col1>[,<col2>…]
必須相同。如果彙總函式的參數中攜帶了DISTINCT關鍵字,
order by <col1>[,<col2>…]
中只允許使用DISTINCT的列。即order by
的列集合應該是DISTINCT列集合的子集,並且<col1>[,<col2>…]
的欄位類型要和彙總函式的入參類型保持一致。說明由於目前支援使用
within group (order by <col1>[,<col2>…])
運算式的彙總函式中,只允許存在一個入參,因此如果彙總函式中攜帶了DISTINCT關鍵字,order by
只能有一列,且必須與彙總函式的入參類型保持一致。例如,WM_CONCAT函數的入參類型要求為STRING,那麼
order by
後的欄位類型也必須為STRING。詳情請參見下述樣本四(樣本表emp的建立請參見樣本資料)。
命令樣本如下:
--樣本一,對輸入資料升序排列後輸出。 select x, wm_concat(',', y) within group (order by y) from values('k', 1),('k', 3),('k', 2) as t(x, y) group by x; --返回結果如下。 +------------+------------+ | x | _c1 | +------------+------------+ | k | 1,2,3 | +------------+------------+ --樣本二,對輸入資料降序排列後輸出。 select x, wm_concat(',', y) within group (order by y desc) from values('k', 1),('k', 3),('k', 2) as t(x, y) group by x; --返回結果如下。 +------------+------------+ | x | _c1 | +------------+------------+ | k | 3,2,1 | +------------+------------+ --樣本三 select id, wm_concat(distinct ',', name) within group (order by name desc) from values('k', '1'),('k', '3'),('k', '2') as t(id, name) group by id; --返回結果如下。 +------------+------------+ | id | _c1 | +------------+------------+ | k | 3,2,1 | +------------+------------+ --樣本四 --由於彙總函式的參數中攜帶了DISTINCT關鍵字,此時wm_concat函數中bigint類型的入參sal會被隱式轉換為string類型, --為了與wm_concat函數的入參類型保持一致,則order by sal中需要使用cast將sal轉換為string類型,否則會導致報錯。 select deptno, wm_concat(distinct ',', sal) within group (order by cast(sal as STRING ) desc) from emp group by deptno order by deptno; --返回結果如下。 +------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 5000,2450,1300 | | 20 | 800,3000,2975,1100 | | 30 | 950,2850,1600,1500,1250 | +------------+------------+
[filter (where <where_condition>)]
:當彙總函式中攜帶該運算式時,彙總函式只會處理滿足<where_condition>
的資料。更多<where_condition>
資訊,請參見WHERE子句(where_condition)。在使用該運算式時,您需要注意:
僅支援內建彙總函式使用該運算式,不支援UDAF使用該運算式。
count(*)
支援[filter (where <where_condition>)]
運算式。COUNT_IF不支援
[filter (where <where_condition>)]
運算式。
命令樣本如下:
--樣本一,過濾並彙總資料。 select sum(x), sum(x) filter (where y > 1), sum(x) filter (where y > 2) from values(null, 1),(1, 2),(2, 3),(3, null) as t(x, y); --返回結果如下。 +------------+------------+------------+ | _c0 | _c1 | _c2 | +------------+------------+------------+ | 6 | 3 | 2 | +------------+------------+------------+ --樣本二,使用多個彙總函式過濾並彙總資料。 select count_if(x > 2), sum(x) filter (where y > 1), sum(x) filter (where y > 2) from values(null, 1),(1, 2),(2, 3),(3, null) as t(x, y); --返回結果如下。 +------------+------------+------------+ | _c0 | _c1 | _c2 | +------------+------------+------------+ | 1 | 3 | 2 | +------------+------------+------------+
樣本資料
為便於理解各函數的使用方法,本文為您提供來源資料,基於來源資料提供函數相關樣本。建立表emp,並添加資料,命令樣本如下:
create table if not exists emp
(empno bigint,
ename string,
job string,
mgr bigint,
hiredate datetime,
sal bigint,
comm bigint,
deptno bigint);
tunnel upload emp.txt emp;
emp.txt中的資料如下:
7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10
過濾條件運算式
使用限制。
僅MaxCompute內建的彙總函式支援添加過濾條件運算式,自訂彙總函式UDAF暫不支援。
count(*)
不能與過濾條件運算式同時使用,請使用COUNT_IF函數。
命令格式。
<aggregate_name>(<expression>[,...]) [filter (where <where_condition>)]
命令說明。
彙總函式都可以增加過濾條件運算式。如果指定了過濾條件,則只有滿足過濾條件的行資料才會傳給對應的彙總函式進行處理。
參數說明。
aggregate_name:必填。彙總函式名稱,請根據實際需求選擇下方的彙總函式。
expression:必填。彙總函式的參數。請根據各個彙總函式的參數說明填寫。
where_condition:可選。過濾條件。更多過濾條件資訊,請參見WHERE子句(where_condition)。
傳回值說明。
請參見各個彙總函式的傳回值說明。
使用樣本。
select sum(sal) filter (where deptno=10), sum(sal) filter (where deptno=20), sum(sal) filter (where deptno=30) from emp;
返回結果如下:
+------------+------------+------------+ | _c0 | _c1 | _c2 | +------------+------------+------------+ | 17500 | 10875 | 9400 | +------------+------------+------------+
ANY_VALUE
命令格式。
any_value(<colname>)
命令說明。
在指定範圍內任選一個值返回。此函數為MaxCompute 2.0擴充函數。
參數說明。
colname:必填。可以為任意類型。
傳回值說明。
傳回值類型同colname對應實值型別。colname值為NULL時,該行不參與計算。
樣本。
樣本1:在所有職工中任選一名。命令樣本如下:
select any_value(ename) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | SMITH | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並在各組中任選一名。命令樣本如下:select deptno, any_value(ename) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | CLARK | | 20 | SMITH | | 30 | ALLEN | +------------+------------+
APPROX_DISTINCT
命令格式。
approx_distinct(<colname>)
命令說明。
計算指定列的非重複值的近似數目。此函數為MaxCompute 2.0擴充函數。
參數說明。
colname:必填。需要統計去重的列。
傳回值說明。
返回BIGINT類型。此函數會產生5%的標準誤差。colname值為NULL時,該行不參與計算。
樣本。
樣本1:統計薪資(sal)列非重複值的近似數目。命令樣本如下:
select approx_distinct(sal) from emp;
返回結果如下:
+-------------------+ | numdistinctvalues | +-------------------+ | 12 | +-------------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,統計薪資(sal)列非重複值的近似數目。命令樣本如下:select deptno, approx_distinct(sal) from emp group by deptno;
返回結果如下:
+------------+-------------------+ | deptno | numdistinctvalues | +------------+-------------------+ | 10 | 3 | | 20 | 4 | | 30 | 5 | +------------+-------------------+
ARG_MAX
命令格式。
arg_max(<valueToMaximize>, <valueToReturn>)
命令說明。
返回valueToMaximize最大值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。
參數說明。
valueToMaximize:必填。可以為任意類型。
valueToReturn:必填。可以為任意類型。
傳回值說明。
傳回值類型和valueToReturn類型相同,如果存在多行最大值時,隨機返回最大值中的一行對應的值。valueToMaximize值為NULL時,該行不參與計算。
樣本。
樣本1:返回薪資最高的員工姓名。命令樣本如下:
select arg_max(sal, ename) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | KING | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最高職工姓名。命令樣本如下:select deptno, arg_max(sal, ename) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | KING | | 20 | SCOTT | | 30 | BLAKE | +------------+------------+
ARG_MIN
命令格式。
arg_min(<valueToMinimize>, <valueToReturn>)
命令說明。
返回valueToMinimize最小值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。
參數說明。
valueToMinimize:必填。可以為任意類型。
valueToReturn:必填。可以為任意類型。
傳回值說明。
傳回值類型和valueToReturn類型相同,如果存在多行最小值時,隨機返回最小值其中的一行對應的值。valueToMinimize值為NULL時,該行不參與計算。
樣本。
樣本1:返回薪資最低的員工姓名。命令樣本如下:
select arg_min(sal, ename) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | SMITH | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最低職工姓名。命令樣本如下:select deptno, arg_min(sal, ename) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | MILLER | | 20 | SMITH | | 30 | JAMES | +------------+------------+
AVG
命令格式。
DECIMAL|DOUBLE avg(<colname>)
命令說明。
計算平均值。
參數說明。
colname:必填。列值支援所有資料類型,可以轉換為DOUBLE類型後參與運算。
傳回值說明。
如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:
輸入類型
傳回型別
TINYINT
DOUBLE
SMALLINT
DOUBLE
INT
DOUBLE
BIGINT
DOUBLE
FLOAT
DOUBLE
DOUBLE
DOUBLE
DECIMAL
DECIMAL
樣本。
樣本1:計算所有職工的平均薪資(sal)。命令樣本如下:
select avg(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 2222.0588235294117 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的平均薪資(sal)。命令樣本如下:select deptno, avg(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 2916.6666666666665 | | 20 | 2175.0 | | 30 | 1566.6666666666667 | +------------+------------+
BITWISE_AND_AGG
函式宣告。
bigint bitwise_and_agg(bigint value)
命令說明。
對於輸入的value,按照bit AND操作計算彙總值。
參數說明。
value:必填。BIGINT類型的值,NULL值不參與計算。
傳回值說明。
返回BIGINT類型。
樣本。
select id, bitwise_and_agg(v) from values (1L, 2L), (1L, 1L), (2L, null), (1L, null) t(id, v) group by id;
返回結果如下。
+------------+------------+ | id | _c1 | +------------+------------+ | 1 | 0 | | 2 | NULL | +------------+------------+
BITWISE_OR_AGG
函式宣告。
bigint bitwise_or_agg(bigint value)
命令說明。
對於輸入的value,按照bit OR操作計算彙總值。
參數說明。
value:必填。BIGINT類型的值,NULL值不參與計算。
傳回值說明。
返回BIGINT類型。
樣本。
select id, bitwise_or_agg(v) from values (1L, 2L), (1L, 1L), (2L, null), (1L, null) t(id, v) group by id;
返回結果如下。
+------------+------------+ | id | _c1 | +------------+------------+ | 1 | 3 | | 2 | NULL | +------------+------------+
COLLECT_LIST
命令格式。
array collect_list(<colname>)
命令說明。
將colname指定的列值彙總為一個數組。此函數為MaxCompute 2.0擴充函數。
參數說明。
colname:必填。表的列名稱,可為任意類型。
傳回值說明。
返回ARRAY類型。colname值為NULL時,該行不參與計算。
樣本。
樣本1:將所有職工薪資(sal)彙總為一個數組。命令樣本如下:
select collect_list(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | [800,1600,1250,2975,1250,2850,2450,3000,5000,1500,1100,950,3000,1300,5000,2450,1300] | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工薪資(sal)彙總為一個數組。命令樣本如下:select deptno, collect_list(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | [2450,5000,1300,5000,2450,1300] | | 20 | [800,2975,3000,1100,3000] | | 30 | [1600,1250,1250,2850,1500,950] | +------------+------------+
樣本3:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工薪資(sal)去重後彙總為一個數組。命令樣本如下:select deptno, collect_list(distinct sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | [1300,2450,5000] | | 20 | [800,1100,2975,3000] | | 30 | [950,1250,1500,1600,2850] | +------------+------------+
COLLECT_SET
命令格式。
array collect_set(<colname>)
命令說明。
將colname指定的列值彙總為一個無重複元素的數組。此函數為MaxCompute 2.0擴充函數。
參數說明。
colname:必填。表的列名稱,可以為任意類型。
傳回值說明。
返回ARRAY類型。colname值為NULL時,該行不參與計算。
樣本。
樣本1:將所有職工薪資(sal)彙總為一個無重複值的數組。命令樣本如下:
select collect_set(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | [800,950,1100,1250,1300,1500,1600,2450,2850,2975,3000,5000] | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工薪資(sal)彙總為一個無重複值的數組。命令樣本如下:select deptno, collect_set(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | [1300,2450,5000] | | 20 | [800,1100,2975,3000] | | 30 | [950,1250,1500,1600,2850] | +------------+------------+
COUNT
命令格式。
bigint count([distinct|all] <colname>)
命令說明。
計算記錄數。
參數說明。
distinct|all:可選。表示在計數時是否去除重複記錄,預設為all,即計算全部記錄。如果指定distinct,則只計算唯一值數量。
colname:必填。列值可以為任意類型。colname可以為
*
,即count(*)
,返回所有行數。
傳回值說明。
返回BIGINT類型。colname值為NULL時,該行不參與計算。
樣本。
樣本1:計算所有部門的總職工人數。命令樣本如下:
select count(*) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 17 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門(deptno)的職工人數。命令樣本如下:select deptno, count(*) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 6 | | 20 | 5 | | 30 | 6 | +------------+------------+
樣本3:通過distinct去重,計算部門數量。命令樣本如下:
select count(distinct deptno) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 3 | +------------+
COUNT_IF
命令格式。
bigint count_if(boolean <expr>)
命令說明。
計算expr值為True的記錄數。
參數說明。
expr:必填。BOOLEAN類型運算式。
傳回值說明。
返回BIGINT類型。expr值為False或expr中指定的列的值為NULL時,該行不參與計算。
樣本。
select count_if(sal > 1000), count_if(sal <=1000) from emp;
返回結果如下:
+------------+------------+ | _c0 | _c1 | +------------+------------+ | 15 | 2 | +------------+------------+
COVAR_POP
命令格式。
double covar_pop(<colname1>, <colname2>)
命令說明。
計算指定兩個數值列的總體共變數。此函數為MaxCompute 2.0擴充函數。
參數說明。
colname1、colname2:必填。資料類型為數實值型別的列。其他類型返回NULL。
樣本。
在樣本表emp中執行如下命令追加資料:
--sal_new為新薪資列。 alter table emp add columns (sal_new bigint); insert overwrite table emp select empno, ename, job, mgr, hiredate, sal, comm, deptno, sal+1000 from emp;
樣本1:計算sal與sal_new的總體共變數。命令樣本如下:
select covar_pop(sal, sal_new) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1594550.1730103805 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工sal與sal_new的總體共變數。命令樣本如下:select deptno, covar_pop(sal, sal_new) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 2390555.5555555555 | | 20 | 1009500.0 | | 30 | 372222.2222222222 | +------------+------------+
COVAR_SAMP
命令格式。
double covar_samp(<colname1>, <colname2>)
命令說明。
計算指定兩個數值列的樣本共變數。此函數為MaxCompute 2.0擴充函數。
參數說明。
colname1、colname2:必填。資料類型為數實值型別的列。其他類型返回NULL。
樣本。
在樣本表emp中執行如下命令追加資料:
--sal_new為新薪資列。 alter table emp add columns (sal_new bigint); insert overwrite table emp select empno, ename, job, mgr, hiredate, sal, comm, deptno, sal+1000 from emp;
樣本1:計算sal與sal_new的樣本共變數。命令樣本如下:
select covar_samp(sal, sal_new) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1694209.5588235292 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工sal與sal_new的樣本共變數。命令樣本如下:select deptno, covar_samp(sal, sal_new) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 2868666.6666666665 | | 20 | 1261875.0 | | 30 | 446666.6666666666 | +------------+------------+
HISTOGRAM
函式宣告。
map<K, bigint> histogram(K input);
命令說明。
返回一個Map,Map的Key是輸入input值,Map的Value是input值出現的次數。NULL值將被忽略。
參數說明。
input:輸入欄位,將作為Map的Key。
傳回值說明。
返回構造的Map,描述每個input值出現的次數。
樣本。
select histogram(a) from values ('hi'), (null), ('apple'), ('pie'), ('apple') t(a);
返回結果如下。
+----------------------------+ | _c0 | +----------------------------+ | {"pie":1,"hi":1,"apple":2} | +----------------------------+
MAP_AGG
函式宣告。
map<K, V> map_agg(K a, V b);
命令說明。
使用輸入的兩個欄位分別作為Key和Value來構造Map,以第一個欄位作為Map的Key,以第二個欄位作為Map的Value。如果key為NULL,則被忽略。如果Key的取值有重複,則會隨機只保留其中的一個。
參數說明。
a:輸入欄位,將作為Map的Key。
b:輸入欄位,將作為Map的value。
傳回值說明。
返回構造的Map。
樣本。
select map_agg(a, b) from values (1L, 'apple'), (2L, 'hi'), (null, 'good'), (1L, 'pie') t(a, b);
返回結果如下。
+------------------------+ | _c0 | +------------------------+ | {"2":"hi","1":"apple"} | +------------------------+
MAP_UNION
函式宣告。
map<K, V> map_union(map<K, V> input);
命令說明。
對輸入Map進行Union操作構造輸出Map,如果某一個Key在多個輸入Map中都存在,則會隨機只保留其中的一個。
參數說明。
input:輸入Map。
傳回值說明。
返回構造的Map。
樣本。
select map_union(a) from values (map(1L, 'hi', 2L, 'apple', 3L, 'pie')), (map(1L, 'good', 4L, 'this')), (null) t(a);
返回結果如下。
+-----------------------------------------------+ | _c0 | +-----------------------------------------------+ | {"4":"this","1":"good","2":"apple","3":"pie"} | +-----------------------------------------------+
MAP_UNION_SUM
函式宣告。
map<K, V> map_union_sum(map<K, V> input);
命令說明。
對輸入Map進行Union並對同一個Key的Value進行求和操作構造輸出Map,如果某一個Key對應的Value為NULL,則將其轉換為0。
說明輸入Map的Value的類型必須是數實值型別,例如BIGINT、INT、SMALLINT、TINYINT、FLOAT、DOUBLE、DECIMAL。
參數說明。
input:輸入Map。
傳回值說明。
返回構造的Map。
說明輸出Map的Value類型是BIGINT、DOUBLE、DECIMAL。
樣本。
select map_union_sum(a) from values (map('hi', 2L, 'apple', 3L, 'pie', 1L)), (map('apple', null, 'hi', 4L)), (null) t(a);
返回結果如下。
+----------------------------+ | _c0 | +----------------------------+ | {"apple":3,"hi":6,"pie":1} | +----------------------------+
MAX
命令格式。
max(<colname>)
命令說明。
計算最大值。
參數說明。
colname:必填。列值可以為除BOOLEAN外的任意類型。
傳回值說明。
傳回值的類型與colname類型相同。返回規則如下:
colname值為NULL時,該行不參與計算。
colname為BOOLEAN類型時,不允許參與運算。
樣本。
樣本1:計算所有職工的最高薪資(sal)。命令樣本如下:
select max(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 5000 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的最高薪資(sal)。命令樣本如下:select deptno, max(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 5000 | | 20 | 3000 | | 30 | 2850 | +------------+------------+
MAX_BY
命令格式。
max_by(<valueToReturn>,<valueToMaximize>)
命令說明。
說明MAX_BY函數與ARG_MAX函數功能相同,只是參數順序不同,為了相容開源文法,新增MAX_BY函數以便您適配開源寫法。
返回valueToMaximize最大值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。
參數說明。
valueToMaximize:必填。可以為任意類型。
valueToReturn:必填。可以為任意類型。
傳回值說明。
傳回值類型和valueToReturn類型相同,如果存在多行最大值時,隨機返回最大值其中的一行對應的值。valueToMaximize值為NULL時,該行不參與計算。
樣本。
樣本1:返回薪資最高的員工姓名。命令樣本如下:
select max_by(ename,sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | KING | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最高職工的姓名。命令樣本如下:select deptno, max_by(ename,sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | KING | | 20 | SCOTT | | 30 | BLAKE | +------------+------------+
MEDIAN
命令格式。
double median(double <colname>) decimal median(decimal <colname>)
命令說明。
計算中位元。
參數說明。
colname:必填。列值可以為DOUBLE或DECIMAL類型。如果輸入為STRING或BIGINT類型,會隱式轉換為DOUBLE類型後參與運算。
傳回值說明。
如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:
輸入類型
傳回型別
TINYINT
DOUBLE
SMALLINT
DOUBLE
INT
DOUBLE
BIGINT
DOUBLE
FLOAT
DOUBLE
DOUBLE
DOUBLE
DECIMAL
DECIMAL
樣本。
樣本1:計算所有職工的薪資(sal)中位元。命令樣本如下:
select median(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1600.0 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)中位元。命令樣本如下:select deptno, median(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 2450.0 | | 20 | 2975.0 | | 30 | 1375.0 | +------------+------------+
MIN
命令格式。
min(<colname>)
命令說明。
計算最小值。
參數說明。
colname:必填。列值可以為除BOOLEAN外的任意類型。
傳回值說明。
傳回值的類型與colname類型相同。返回規則如下:
colname值為NULL時,該行不參與計算。
colname為BOOLEAN類型時,不允許參與運算。
樣本。
樣本1:計算所有職工的最低薪資(sal)。命令樣本如下:
select min(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 800 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的最低薪資(sal)。命令樣本如下:select deptno, min(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 1300 | | 20 | 800 | | 30 | 950 | +------------+------------+
MIN_BY
命令格式。
min_by(<valueToReturn>,<valueToMinimize>)
命令說明。
說明MIN_BY函數與ARG_MIN函數功能相同,只是參數順序不同,為了相容開源文法,新增MIN_BY函數以便您適配開源寫法。
返回valueToMinimize最小值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。
參數說明。
valueToMinimize:必填。可以為任意類型。
valueToReturn:必填。可以為任意類型。
傳回值說明。
傳回值類型和valueToReturn類型相同,如果存在多行最小值時,隨機返回最小值其中的一行對應的值。valueToMinimize值為NULL時,該行不參與計算。
樣本。
樣本1:返回薪資最低的員工姓名。命令樣本如下:
select min_by(ename,sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | SMITH | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最低職工姓名。命令樣本如下:select deptno, min_by(ename,sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | MILLER | | 20 | SMITH | | 30 | JAMES | +------------+------------+
MULTIMAP_AGG
函式宣告。
map<K, array<V>> multimap_agg(K a, V b);
命令說明。
使用輸入的兩個欄位分別作為Key和Value來構造Map,以第一個欄位作為Map的Key,以第二個欄位構造數組來作為Map的Value。如果key為NULL,則被忽略。
參數說明。
a:輸入欄位,將作為Map的Key。
b:輸入欄位,相同Key的欄位被放到同一個數組中作為Map的value。
傳回值說明。
返回構造的Map。
樣本。
select multimap_agg(a, b) from values (1L, 'apple'), (2L, 'hi'), (null, 'good'), (1L, 'pie') t(a, b);
返回結果如下。
+----------------------------------+ | _c0 | +----------------------------------+ | {"2":["hi"],"1":["apple","pie"]} | +----------------------------------+
NUMERIC_HISTOGRAM
命令格式。
map<double key, double value> numeric_histogram(bigint <buckets>, double <colname> [, double <weight>])
命令說明。
統計指定列的近似長條圖。此函數為MaxCompute 2.0擴充函數。
參數說明。
buckets:必填。BIGINT類型,表示返回的近似長條圖列的最大個數。
colname:必填。DOUBLE類型,需要統計近似長條圖的列。
weight:可選。權重值,可以指定每行資料對應的權重,值為DOUBLE類型的列。
傳回值說明。
map<double key, double value>
類型,傳回值中key是近似長條圖的X軸座標點,value是近似長條圖的Y軸的近似高度。返回規則如下:buckets值為NULL時,返回NULL。
colname值為NULL時,該行不參與計算。
樣本。
統計薪資(sal)的近似長條圖。命令樣本如下:
select numeric_histogram(5, sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | {"1328.5714285714287":7.0,"2450.0":2.0,"5000.0":2.0,"875.0":2.0,"2956.25":4.0} | +------------+
統計薪資(sal)的近似長條圖,其中每行資料中的
deptno
代表部門權重。命令樣本如下:select numeric_histogram(5, sal, deptno) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | {"2944.4444444444443":90.0,"2450.0":20.0,"5000.0":20.0,"890.0":50.0,"1350.0":160.0} | +------------+
PERCENTILE
命令格式。
double percentile(bigint <colname>, <p>) --以數組形式返回多個百分位精確計算結果。 array percentile(bigint <colname>, array(<p1> [, <p2>...]))
命令說明。
計算精確百分位元,適用於小資料量。先對指定列升序排列,然後取精確的第p位百分數。p必須在0和1之間。
percentile
是從編號0開始計算,例如某列資料為100、200、300,列資料的編號順序為0、1、2,計算該列的0.3百分位點,percentile
結果是2×0.3=0.6,即值位於編號0和1之間,結果為100+(200-100)×0.6=160
。此函數為MaxCompute 2.0擴充函數。參數說明。
colname:必填。值為BIGINT類型的列。
p:必填。需要精確的百分位元。取值為
[0.0,1.0]
。
傳回值說明。
返回DOUBLE或ARRAY類型。
樣本。
樣本1:計算0.3百分位的薪資(sal)。命令樣本如下:
select percentile(sal, 0.3) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1290.0 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3百分位的薪資(sal)。命令樣本如下:select deptno, percentile(sal, 0.3) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 1875.0 | | 20 | 1475.0 | | 30 | 1250.0 | +------------+------------+
樣本3:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3、0.5、0.8百分位的薪資(sal)。命令樣本如下:set odps.sql.type.system.odps2=true; select deptno, percentile(sal, array(0.3, 0.5, 0.8)) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | [1875.0,2450.0,5000.0] | | 20 | [1475.0,2975.0,3000.0] | | 30 | [1250.0,1375.0,1600.0] | +------------+------------+
PERCENTILE_APPROX
命令格式。
double percentile_approx (double <colname>[, double <weight>], <p> [, <B>])) --以數組形式返回多個百分位近似計算結果。 array<double> percentile_approx (double <colname> [, double <weight>], array(<p1> [, <p2>...]) [, <B>])
命令說明。
此函數為MaxCompute 2.0擴充函數。
percentile_approx
是從編號1開始計算,假設某列有n
條資料,計算該列的p
百分位點,則percentile_approx
會先對該列升序排序,假設排序後該列資料為一個數組arr
,percentile_approx
返回結果為res
,計算該位點對應的index=n * p
。index <= 1
,則res = arr[0]
。index >= n - 1
,則res = arr[n-1]
。1 < index < n - 1
,則繼續計算diff = index + 0.5 - ceil(index)
:○ 若abs(diff) < 0.5,res = arr[ceil(index) - 1];
○ 若abs(diff) = 0.5,res = arr[index - 1] + (arr[index] - arr[index - 1]) * 0.5;
○ abs(diff)不可能大於0.5
例如
col
列資料為100、200、300、400,列資料的編號順序為1、2、3、4,則:percentile_approx(col, 0.25) = 100
(index = 1)。percentile_approx(col, 0.5) = 200 + (300 - 200) * 0.5 = 250
(index = 2)。percentile_approx(col, 0.75) = 400
(index = 3)。
說明percentile_approx
與percentile
的區別如下:percentile_approx
用於計算近似的百分位元,percentile
用於計算精確的百分位元。在資料量較大時,percentile
可能會因記憶體限制而執行失敗,而percentile_approx
無此問題。percentile_approx
的實現與Hive的percentile_approx
函數實現一致,計算的演算法與percentile
不同,因此在資料量非常少的部分情境下的執行結果與percentile
的執行結果會有一定差別。
參數說明。
colname:必填。值為DOUBLE類型的列。
weight:可選。權重值,可以指定每行資料對應的權重,值為DOUBLE類型的列。
p:必填。需要近似的百分位元。取值為
[0.0,1.0]
。B:精度參數。精度越高產生的近似值誤差越小。如果不設定該參數,預設值為10000。
傳回值說明。
返回DOUBLE或ARRAY類型。返回規則如下:
colname值為NULL時,該行不參與計算。
p或B值為NULL時,返回報錯。
樣本。
樣本1:計算0.3百分位的薪資(sal)。命令樣本如下:
select percentile_approx(sal, 0.3) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1252.5 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3百分位的薪資(sal)。命令樣本如下:select deptno, percentile_approx(sal, 0.3) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 1300.0 | | 20 | 950.0 | | 30 | 1070.0 | +------------+------------+
樣本3:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3、0.5、0.8百分位的薪資(sal)。命令樣本如下:set odps.sql.type.system.odps2=true; select deptno, percentile_approx(sal, array(0.3, 0.5, 0.8), 1000) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | [1300.0,1875.0,3470.000000000001] | | 20 | [950.0,2037.5,2987.5] | | 30 | [1070.0,1250.0,1580.0] | +------------+------------+
樣本4:帶權重介面樣本:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3、0.5、0.8百分位的薪資(sal),emp
表中的cnt
代表擁有該薪資的人數。命令樣本如下:select deptno, percentile_approx(sal, deptno, array(0.3, 0.5, 0.8), 1000) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | [1300.0,1875.0,3470.0] | | 20 | [950.0,2037.5,2987.5] | | 30 | [1070.0,1250.0,1580.0] | +------------+------------+
STDDEV
命令格式。
double stddev(double <colname>) decimal stddev(decimal <colname>)
命令說明。
計算總體標準差。
參數說明。
colname:必填。DOUBLE或DECIMAL類型。如果輸入為STRING或BIGINT類型,會隱式轉換為DOUBLE類型後參與運算。
傳回值說明。
如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:
輸入類型
傳回型別
TINYINT
DOUBLE
SMALLINT
DOUBLE
INT
DOUBLE
BIGINT
DOUBLE
FLOAT
DOUBLE
DOUBLE
DOUBLE
DECIMAL
DECIMAL
樣本。
樣本1:計算所有職工的薪資(sal)的總體標準差。命令樣本如下:
select stddev(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1262.7549932628976 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)總體標準差。命令樣本如下:select deptno, stddev(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 1546.1421524412158 | | 20 | 1004.7387720198718 | | 30 | 610.1001739241043 | +------------+------------+
STDDEV_SAMP
命令格式。
double stddev_samp(double <colname>) decimal stddev_samp(decimal <colname>)
命令說明。
計算樣本標準差。
參數說明。
colname:必填。列值可以為DOUBLE或DECIMAL類型。如果輸入為STRING或BIGINT類型,會隱式轉換為DOUBLE類型後參與運算。
傳回值說明。
如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:
輸入類型
傳回型別
TINYINT
DOUBLE
SMALLINT
DOUBLE
INT
DOUBLE
BIGINT
DOUBLE
FLOAT
DOUBLE
DOUBLE
DOUBLE
DECIMAL
DECIMAL
樣本。
樣本1:計算所有職工的薪資(sal)的樣本標準差。命令樣本如下:
select stddev_samp(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1301.6180541247609 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)樣本標準差。命令樣本如下:select deptno, stddev_samp(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 1693.7138680032901 | | 20 | 1123.3320969330487 | | 30 | 668.3312551921141 | +------------+------------+
SUM
命令格式。
DECIMAL|DOUBLE|BIGINT sum(<colname>)
命令說明。
計算匯總值。
參數說明。
colname:必填。列值支援所有資料類型,可以轉換為DOUBLE類型後參與運算。列值可以為DOUBLE、DECIMAL或BIGINT類型。如果輸入為STRING類型,會隱式轉換為DOUBLE類型後參與運算。
傳回值說明。
如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:
輸入類型
傳回型別
TINYINT
BIGINT
SMALLINT
BIGINT
INT
BIGINT
BIGINT
BIGINT
FLOAT
DOUBLE
DOUBLE
DOUBLE
DECIMAL
DECIMAL
樣本。
樣本1:計算所有職工的薪資(sal)總和。命令樣本如下:
select sum(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 37775 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)總和。命令樣本如下:select deptno, sum(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 17500 | | 20 | 10875 | | 30 | 9400 | +------------+------------+
VAR_SAMP
命令格式。
double var_samp(<colname>)
命令說明。
計算指定數值列的樣本方差。此函數為MaxCompute 2.0擴充函數。
參數說明。
colname:必填。資料類型為數值的列。其他類型返回NULL。
傳回值說明。
返回DOUBLE類型。
樣本。
樣本1:計算所有職工薪資(sal)的樣本方差。命令樣本如下:
select var_samp(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1694209.5588235292 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工薪資(sal)的樣本方差。命令樣本如下:select deptno, var_samp(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 2868666.666666667 | | 20 | 1261875.0 | | 30 | 446666.6666666667 | +------------+------------+
VARIANCE/VAR_POP
命令格式。
double variance(<colname>) double var_pop(<colname>)
命令說明。
計算指定數值列的方差。
參數說明。
colname:必填。資料類型為數值的列。參數為其他類型的列返回NULL。此函數為MaxCompute 2.0擴充函數。
傳回值說明。
返回DOUBLE類型。
樣本。
樣本1:計算所有職工薪資(sal)的方差。命令樣本如下:
select variance(sal) from emp; --等效於如下語句。 select var_pop(sal) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | 1594550.1730103805 | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工薪資(sal)的方差。命令樣本如下:select deptno, variance(sal) from emp group by deptno; --等效於如下語句。 select deptno, var_pop(sal) from emp group by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 2390555.5555555555 | | 20 | 1009500.0 | | 30 | 372222.22222222225 | +------------+------------+
WM_CONCAT
命令格式。
string wm_concat(string <separator>, string <colname>)
命令說明。
用指定的separator做分隔字元,串連colname中的值。
參數說明。
separator:必填。STRING類型常量,分隔字元。
colname:必填。STRING類型。如果輸入為BIGINT、DOUBLE或DATETIME類型,會隱式轉換為STRING類型後參與運算。
傳回值說明(使用
group by
分組,組內傳回值不排序)。返回STRING類型。返回規則如下:
separator非STRING類型常量時,返回報錯。
colname非STRING、BIGINT、DOUBLE或DATETIME類型時,返回報錯。
colname值為NULL時,該行不會參與計算。
說明select wm_concat(',', name) from table_name;
語句中,如果table_name
為空白集合,該語句返回NULL值。樣本。
樣本1:對所有職工的姓名(ename)進行合并。命令樣本如下:
select wm_concat(',', ename) from emp;
返回結果如下:
+------------+ | _c0 | +------------+ | SMITH,ALLEN,WARD,JONES,MARTIN,BLAKE,CLARK,SCOTT,KING,TURNER,ADAMS,JAMES,FORD,MILLER,JACCKA,WELAN,TEBAGE | +------------+
樣本2:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工姓名(ename)進行合并。命令樣本如下:select deptno, wm_concat(',', ename) from emp group by deptno order by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | CLARK,KING,MILLER,JACCKA,WELAN,TEBAGE | | 20 | SMITH,JONES,SCOTT,ADAMS,FORD | | 30 | ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES | +------------+------------+
樣本3:與
group by
配合使用,對所有職工按照部門(deptno)進行分組,並將同組的薪資(sal)去重後進行合并。命令樣本如下:select deptno, wm_concat(distinct ',', sal) from emp group by deptno order by deptno;
返回結果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 1300,2450,5000 | | 20 | 1100,2975,3000,800 | | 30 | 1250,1500,1600,2850,950 | +------------+------------+
樣本4:與
group by
、order by
配合使用,對所有職工按照部門(deptno)進行分組,並將同組的薪資(sal)進行合并排序。命令樣本如下:select deptno, wm_concat(',',sal) within group(order by sal) from emp group by deptno order by deptno;
返回結果如下:
+------------+------------+ |deptno|_c1| +------------+------------+ |10|1300,1300,2450,2450,5000,5000| |20|800,1100,2975,3000,3000| |30|950,1250,1250,1500,1600,2850| +------------+------------+