使用PERCENTILE_APPROXFunction Compute近似百分位元 - MaxCompute

當您需要估計大型資料集中的百分位元，尤其是當精確計算百分位元成本過高或不可行時，MaxCompute支援使用PERCENTILE_APPROXFunction Compute近似百分位元，先對指定列升序排列，然後取第p位百分數對應的值。此函數為MaxCompute 2.0擴充函數，本文為您介紹PERCENTILE_APPROX函數的命令及使用樣本。

注意事項

升級到MaxCompute 2.0後，產品擴充了部分函數。如果您用到的函數涉及新資料類型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用擴充函數時，需要執行如下語句開啟新資料類型開關：

Session層級：如果使用新資料類型，您需要在SQL語句前加上語句set odps.sql.type.system.odps2=true;，並與SQL語句一起提交執行。
Project層級：Project Owner可根據需要對Project進行設定，等待10~15分鐘後才會生效。命令如下。
```
setproject odps.sql.type.system.odps2=true;
```
對setproject的詳細說明請參見專案空間操作。關於開啟Project層級資料類型的注意事項，請參見資料類型版本說明。

在同一條SQL語句中同時使用多個彙總函式時，如果專案資源不足，會出現記憶體溢出問題，請您根據實際業務情況最佳化SQL或購買計算資源。

命令格式

double percentile_approx (double <colname>[, double <weight>], <p> [, <B>]))
--以數組形式返回多個百分位近似計算結果。
array<double> percentile_approx (double <colname>
                                 [, double <weight>],
                                 array(<p1> [, <p2>...])
                                 [, <B>])

命令說明

percentile_approx是從編號1開始計算，假設某列有n條資料，計算該列的p百分位點，則percentile_approx會先對該列進行升序排序，假設排序後該列資料為一個數組arr，percentile_approx返回結果為res，計算該位點對應的index=n * p。

index <= 1，則res = arr[0]。
index >= n - 1，則res = arr[n-1]。
1 < index < n - 1，則繼續計算diff = index + 0.5 - ceil(index)：
○ 若abs(diff) < 0.5，res = arr[ceil(index) - 1]；
○ 若abs(diff) = 0.5，res = arr[index - 1] + (arr[index] - arr[index - 1]) * 0.5；
○ abs(diff)不可能大於0.5

例如col列資料為100、200、300、400，列資料的編號順序為1、2、3、4，則：

percentile_approx(col, 0.25) = 100（index = 1）。
percentile_approx(col, 0.5) = 200 + (300 - 200) * 0.5 = 250（index = 2）。
percentile_approx(col, 0.75) = 400（index = 3）。

說明

percentile_approx與percentile的區別如下：

percentile_approx用於計算近似的百分位元，percentile用於計算精確的百分位元。在資料量較大時，percentile可能會因記憶體限制而執行失敗，而percentile_approx無此問題。

參數說明

colname：必填。值為DOUBLE類型的列。
weight：可選。權重值，可以指定每行資料對應的權重，值為DOUBLE類型的列。
p：必填。需要近似的百分位元。取值為[0.0,1.0]。
B：精度參數。精度越高產生的近似值誤差越小。如果不設定該參數，預設值為10000。

傳回值說明

返回DOUBLE或ARRAY類型。返回規則如下：

colname值為NULL時，該行不參與計算。
p或B值為NULL時，返回報錯。

樣本資料

為便於理解各函數的使用方法，本文為您提供來源資料，基於來源資料提供函數相關樣本。建立表emp，並添加資料，命令樣本如下：

create table if not exists emp
   (empno bigint,
    ename string,
    job string,
    mgr bigint,
    hiredate datetime,
    sal bigint,
    comm bigint,
    deptno bigint);
tunnel upload emp.txt emp;   --請根據您上傳資料檔案的實際path(路徑以及名稱)替換emp.txt

emp.txt中的資料如下：

7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10

樣本

樣本1：計算0.3百分位的薪資（sal）。命令樣本如下：

SELECT percentile_approx(sal, 0.3) FROM emp;

返回結果如下：

+------------+
| _c0        |
+------------+
| 1300.0     |
+------------+

樣本2：與group by配合使用，對所有職工按照部門（deptno）進行分組，並計算同組職工0.3百分位的薪資（sal）。命令樣本如下：

SELECT deptno, percentile_approx(sal, 0.3) FROM emp GROUP BY deptno;

返回結果如下：

+------------+------------+
| deptno     | _c1        |
+------------+------------+
| 10         | 1300.0     |
| 20         | 1100.0     |
| 30         | 1250.0     |
+------------+------------+

樣本3：與group by配合使用，對所有職工按照部門（deptno）進行分組，並計算同組職工0.3、0.5、0.8百分位的薪資（sal）。命令樣本如下：

SET odps.sql.type.system.odps2=true;
SELECT deptno, percentile_approx(sal, array(0.3, 0.5, 0.8), 1000) FROM emp GROUP BY deptno;

返回結果如下：

+------------+------+
| deptno     | _c1  |
+------------+------+
| 10         | [1300, 2450, 5000] |
| 20         | [1100, 2975, 3000] |
| 30         | [1250, 1375, 1600] |
+------------+------+

樣本4：帶權重介面樣本：與group by配合使用，對所有職工按照部門（deptno）進行分組，並計算同組職工0.3、0.5、0.8百分位的薪資（sal）。命令樣本如下：

SELECT deptno, percentile_approx(sal, deptno, array(0.3, 0.5, 0.8), 1000)
 FROM emp GROUP BY deptno;

返回結果如下：

+------------+------+
| deptno     | _c1  |
+------------+------+
| 10         | [1645, 2450, 5000] |
| 20         | [1100, 2975, 3000] |
| 30         | [1250, 1375, 1975] |
+------------+------+

MaxCompute：PERCENTILE_APPROX

注意事項

命令格式

命令說明

參數說明

傳回值說明

樣本資料

樣本

相關函數