计算精确百分位数,适用于小数据量。先对指定列升序排列,然后取精确的第p位百分数。p必须在0和1之间。此函数为MaxCompute 2.0扩展函数。
注意事项
升级到MaxCompute 2.0后,产品扩展了部分函数。如果您用到的函数涉及新数据类型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY),在使用扩展函数时,需要执行如下语句开启新数据类型开关:
在同一条SQL语句中同时使用多个聚合函数时,如果项目资源不足,会出现内存溢出问题,请您根据实际业务情况优化SQL或购买计算资源。
命令格式
double percentile(bigint <colname>, <p>)
--以数组形式返回多个百分位精确计算结果。
array percentile(bigint <colname>, array(<p1> [, <p2>...]))
命令说明
percentile
是从编号0开始计算,例如某列数据为100、200、300,列数据的编号顺序为0、1、2,计算该列的0.3百分位点,percentile
结果是2×0.3=0.6,即值位于编号0和1之间,结果为100+(200-100)×0.6=160
。
参数说明
colname:必填。值为BIGINT类型的列。
p:必填。需要精确的百分位数。取值为
[0.0,1.0]
。
返回值说明
返回DOUBLE或ARRAY类型。
示例数据
为便于理解各函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表emp,并添加数据,命令示例如下:
create table if not exists emp
(empno bigint,
ename string,
job string,
mgr bigint,
hiredate datetime,
sal bigint,
comm bigint,
deptno bigint);
tunnel upload emp.txt emp; --请根据您上传数据文件的实际path(路径以及名称)替换emp.txt
emp.txt中的数据如下:
7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10
示例
示例1:计算0.3百分位的薪资(sal)。命令示例如下:
select percentile(sal, 0.3) from emp;
返回结果如下:
+------------+ | _c0 | +------------+ | 1290.0 | +------------+
示例2:与
group by
配合使用,对所有职工按照部门(deptno)进行分组,并计算同组职工0.3百分位的薪资(sal)。命令示例如下:select deptno, percentile(sal, 0.3) from emp group by deptno;
返回结果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | 1875.0 | | 20 | 1475.0 | | 30 | 1250.0 | +------------+------------+
示例3:与
group by
配合使用,对所有职工按照部门(deptno)进行分组,并计算同组职工0.3、0.5、0.8百分位的薪资(sal)。命令示例如下:set odps.sql.type.system.odps2=true; select deptno, percentile(sal, array(0.3, 0.5, 0.8)) from emp group by deptno;
返回结果如下:
+------------+------------+ | deptno | _c1 | +------------+------------+ | 10 | [1875.0,2450.0,5000.0] | | 20 | [1475.0,2975.0,3000.0] | | 30 | [1250.0,1375.0,1600.0] | +------------+------------+
实现逻辑
PERCENTILE
函数的实现类似于插值计算,即经过排序、位置映射、将百分数计算成目标位置、再将目标位置反推成一个数值的过程。
示例
select percentile(x, 0.6) from values(200), (50), (100), (300) as t(x);
实现步骤
将列值按升序排序。
50, 100, 200, 300
映射成从0开始的序号。
50(0), 100(1), 200(2), 300(3)
用传入的百分位值,计算出答案对应的排序位置。
(3-0)*0.6=1.8 --此处1.8可以理解为:排名在第1.8位的数字。
通过平均数插值计算出最终结果。
--与1.8最近的是第1位,即100。 100+(1.8-1)*(200-100)=180
相关函数
PERCENTILE函数属于聚合函数,更多将多条输入记录进行求平均值、参数聚合的相关函数请参见聚合函数。