使用PERCENTILE_APPROX函数计算近似百分位数 - 云原生大数据计算服务 MaxCompute

当您需要估计大型数据集中的百分位数，尤其是当精确计算百分位数成本过高或不可行时，MaxCompute支持使用PERCENTILE_APPROX函数计算近似百分位数，先对指定列升序排列，然后取第p位百分数对应的值。此函数为MaxCompute 2.0扩展函数，本文为您介绍PERCENTILE_APPROX函数的命令及使用示例。

注意事项

升级到MaxCompute 2.0后，产品扩展了部分函数。如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：

Session级别：如果使用新数据类型，您需要在SQL语句前加上语句set odps.sql.type.system.odps2=true;，并与SQL语句一起提交执行。
Project级别：Project Owner可根据需要对Project进行设置，等待10~15分钟后才会生效。命令如下。
```
setproject odps.sql.type.system.odps2=true;
```
对setproject的详细说明请参见项目空间操作。关于开启Project级别数据类型的注意事项，请参见数据类型版本说明。

在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。

命令格式

double percentile_approx (double <colname>[, double <weight>], <p> [, <B>]))
--以数组形式返回多个百分位近似计算结果。
array<double> percentile_approx (double <colname>
                                 [, double <weight>],
                                 array(<p1> [, <p2>...])
                                 [, <B>])

命令说明

percentile_approx是从编号1开始计算，假设某列有n条数据，计算该列的p百分位点，则percentile_approx会先对该列进行升序排序，假设排序后该列数据为一个数组arr，percentile_approx返回结果为res，计算该位点对应的index=n * p。

index <= 1，则res = arr[0]。
index >= n - 1，则res = arr[n-1]。
1 < index < n - 1，则继续计算diff = index + 0.5 - ceil(index)：
○ 若abs(diff) < 0.5，res = arr[ceil(index) - 1]；
○ 若abs(diff) = 0.5，res = arr[index - 1] + (arr[index] - arr[index - 1]) * 0.5；
○ abs(diff)不可能大于0.5

例如col列数据为100、200、300、400，列数据的编号顺序为1、2、3、4，则：

percentile_approx(col, 0.25) = 100（index = 1）。
percentile_approx(col, 0.5) = 200 + (300 - 200) * 0.5 = 250（index = 2）。
percentile_approx(col, 0.75) = 400（index = 3）。

说明

percentile_approx与percentile的区别如下：

percentile_approx用于计算近似的百分位数，percentile用于计算精确的百分位数。在数据量较大时，percentile可能会因内存限制而执行失败，而percentile_approx无此问题。

参数说明

colname：必填。值为DOUBLE类型的列。
weight：可选。权重值，可以指定每行数据对应的权重，值为DOUBLE类型的列。
p：必填。需要近似的百分位数。取值为[0.0,1.0]。
B：精度参数。精度越高产生的近似值误差越小。如果不设置该参数，默认值为10000。

返回值说明

返回DOUBLE或ARRAY类型。返回规则如下：

colname值为NULL时，该行不参与计算。
p或B值为NULL时，返回报错。

示例数据

为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：

create table if not exists emp
   (empno bigint,
    ename string,
    job string,
    mgr bigint,
    hiredate datetime,
    sal bigint,
    comm bigint,
    deptno bigint);
tunnel upload emp.txt emp;   --请根据您上传数据文件的实际path(路径以及名称)替换emp.txt

emp.txt中的数据如下：

7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10

示例

示例1：计算0.3百分位的薪资（sal）。命令示例如下：

SELECT percentile_approx(sal, 0.3) FROM emp;

返回结果如下：

+------------+
| _c0        |
+------------+
| 1300.0     |
+------------+

示例2：与group by配合使用，对所有职工按照部门（deptno）进行分组，并计算同组职工0.3百分位的薪资（sal）。命令示例如下：

SELECT deptno, percentile_approx(sal, 0.3) FROM emp GROUP BY deptno;

返回结果如下：

+------------+------------+
| deptno     | _c1        |
+------------+------------+
| 10         | 1300.0     |
| 20         | 1100.0     |
| 30         | 1250.0     |
+------------+------------+

示例3：与group by配合使用，对所有职工按照部门（deptno）进行分组，并计算同组职工0.3、0.5、0.8百分位的薪资（sal）。命令示例如下：

SET odps.sql.type.system.odps2=true;
SELECT deptno, percentile_approx(sal, array(0.3, 0.5, 0.8), 1000) FROM emp GROUP BY deptno;

返回结果如下：

+------------+------+
| deptno     | _c1  |
+------------+------+
| 10         | [1300, 2450, 5000] |
| 20         | [1100, 2975, 3000] |
| 30         | [1250, 1375, 1600] |
+------------+------+

示例4：带权重接口示例：与group by配合使用，对所有职工按照部门（deptno）进行分组，并计算同组职工0.3、0.5、0.8百分位的薪资（sal）。命令示例如下：

SELECT deptno, percentile_approx(sal, deptno, array(0.3, 0.5, 0.8), 1000)
 FROM emp GROUP BY deptno;

返回结果如下：

+------------+------+
| deptno     | _c1  |
+------------+------+
| 10         | [1645, 2450, 5000] |
| 20         | [1100, 2975, 3000] |
| 30         | [1250, 1375, 1975] |
+------------+------+

云原生大数据计算服务 MaxCompute：PERCENTILE_APPROX

注意事项

命令格式

命令说明

参数说明

返回值说明

示例数据

示例

相关函数