说明
目前OpenSearch对A/B Test进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，五个维度：
核心指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
搜索PV | PageView：发送搜索请求且成功的次数（翻页也属于搜索请求） | 每发送一个搜索请求返回成功记1 | 当日进行搜索（且搜索成功）的次数 | |
搜索UV | UserView：访问过搜索结果页的用户数 | 同一个用户无论访问多少次都只记1 | 依赖通过SDK/API搜索时，搜索请求设置user_id参数 | 当日进行搜索的用户数 |
翻页率 | 翻页请求占搜索PV的比例 | 翻页请求PV/搜索PV | 翻页请求占总搜索PV的比例，衡量搜索召回、排序的效果 | |
无结果率 | 返回的Item数为0的比例 | 返回的item数为0的搜索PV/搜索PV | 搜索无结果的比例，衡量搜索召回效果/内容丰富度 | |
PV-CTR | 每次搜索的点击率 | IPV/搜索PV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 搜索结果的点击情况，衡量搜索召回、排序的效果 |
UV-CTR | 点击用户率 | IPV_UV/搜索UV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 用户对搜索结果的点击情况，衡量搜索召回、排序的效果 |
TOP5 PV-CTR | 前五位Item的点击率（不计翻页后的点击） | 前五位Item的IPV/搜索PV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 前五个Item的点击情况，衡量搜索排序效果 |
人均搜索PV | 访问搜索的用户平均搜索成功的次数 | 搜索PV/搜索UV | 依赖通过SDK/API搜索时，搜索请求设置user_id参数 | 用户平均搜索次数，搜索次数多一方面体现用户对搜索感兴趣，另一方面体现用户无法通过较少的搜索满足需求 |
次日留存率 | 搜索用户第二天仍进行搜索的用户占比 | UV(t-1)∩UV(t)/UV(t-1) | 依赖通过SDK/API搜索时，搜索请求设置user_id参数 | 反映用户搜索粘性 |
流量指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
搜索PV | PageView：发送搜索请求且成功的次数（翻页也属于搜索请求） | 每发送一个搜索请求返回成功记1 | 当日进行搜索（且搜索成功）的次数 | |
搜索UV | UserView：访问过搜索结果页的用户数 | 同一个用户无论访问多少次都只记1 | 依赖通过SDK/API搜索时，搜索请求设置user_id参数 | 当日进行搜索的用户数 |
人均搜索PV | 访问搜索的用户平均搜索成功的次数 | 搜索PV/搜索UV | 依赖通过SDK/API搜索时，搜索请求设置user_id参数 | 用户平均搜索次数，搜索次数多一方面体现用户对搜索感兴趣，另一方面体现用户无法通过较少的搜索满足需求 |
Item曝光次数 | Item（搜索结果页面上的商品/内容）的展现次数。在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 | 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 | 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但数据准确度降低 | 当日搜索结果的曝光次数 |
Query数 | 所有用户搜索的Query按用户去重后的结果 | 用户搜索的去重Query数总和两个用户搜索了同一Query记2 | 依赖通过SDK/API搜索时，搜索请求设置user_id参数如果搜索请求中设置了raw_query，则使用raw_query；否则采用名字是default索引上的value作为query，如果没有default索引，则query全是空 | 用户搜索的Query总数（减小翻页、重复搜索的影响） |
人均Query数 | 人均搜索的去重Query数 | Query数/搜索UV | 依赖通过SDK/API搜索时，搜索请求设置user_id参数 | 人均搜索的Query数（减小翻页、重复搜索的影响） |
独立Query数 | 所有用户搜索的独立Query数量 | 用户搜索的所有Query去重后的数量，多个用户搜索同一Query记1 | 依赖通过SDK/API搜索时，搜索请求设置raw_query参数/或无需设置如果搜索请求中设置了raw_query，则使用raw_query；否则采用名字是default索引上的value作为query，如果没有default索引，则query全是空 | 反映Query的丰富度 |
翻页率 | 翻页请求占搜索PV的比例 | 翻页请求PV/搜索PV | 翻页请求占总搜索PV的比例，衡量搜索召回、排序的效果 | |
无结果率 | 返回的Item数为0的比例 | 返回的item数为0的搜索PV/搜索PV | 搜索无结果的比例，衡量搜索召回效果/内容丰富度 | |
少结果率 | 返回的Item数小于等于5的比例 | 返回的item数小于等于5的搜索PV/搜索PV | 搜索少结果的比例，衡量搜索召回效果/内容丰富度 | |
请求报错次数 | 发送搜索请求但因为被限流等原因请求报错的次数 | 每请求报错一次记1 | 反映应用是否需要扩容或进行其他调整 | |
请求报错率 | 发送搜索请求但因为被限流等原因请求报错的比例 | 请求报错次数/（搜索PV+请求报错次数） | 反映应用是否需要扩容或进行其他调整 |
行为指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
IPV | ItemPageView。Item点击次数 | 每点击一次记1 | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 搜索结果的点击次数 |
IPV_UV | 在搜索结果页中点击了Item的用户数 | 同一个用户无论点击多少次都只记1 | 依赖开通数据采集功能，并且上传了用户点击行为数据（注：上传数据时需要指定user_id参数） | 搜索结果的点击用户数 |
人均IPV | 搜索用户平均从搜索页面中点击商品的次数。 | IPV/搜索UV | 依赖开通数据采集功能，并且上传了用户点击行为数据（注：上传数据时需要指定user_id参数） | 搜索结果的人均点击次数 |
PV-CTR | 每次搜索的点击率 | IPV/搜索PV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 搜索结果的点击情况，衡量搜索召回、排序的效果 |
UV-CTR | 点击用户率 | IPV_UV/搜索UV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 用户对搜索结果的点击情况，衡量搜索召回、排序的效果 |
Item-CTR | Item（搜索结果页面上的商品/内容）点击率 | IPV/Item曝光次数 | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 搜索结果的点击情况，衡量搜索召回、排序的效果 |
有点击PV占比 | 有点击的PV占比 | 有点击的搜索PV/搜索PV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 搜索结果的点击情况，衡量搜索召回、排序的效果 |
TOP3 PV-CTR | 前三位Item的点击率（不计翻页后的点击） | 前三位Item的IPV/搜索PV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 前三个Item的点击情况，衡量搜索排序效果 |
TOP5 PV-CTR | 前五位Item的点击率（不计翻页后的点击） | 前五位Item的IPV/搜索PV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 前五个Item的点击情况，衡量搜索排序效果 |
TOP10 PV-CTR | 前十位Item的点击率（不计翻页后的点击） | 前十位Item的IPV/搜索PV | 依赖开通数据采集功能，并且上传了用户点击行为数据 | 前十个Item的点击情况，衡量搜索排序效果 |
收藏数 | 由搜索直接引导的对商品进行收藏的次数 | 每收藏一次记1 | 依赖开通数据采集功能，并且上传了用户收藏(bhv_type=”collect”)行为数据 | 衡量搜索召回、排序效果和引导收藏效果 |
收藏转化率 | 收藏行为的转化率 | 收藏数/搜索PV | 依赖开通数据采集功能，并且上传了用户收藏(bhv_type=”collect”)行为数据 | 衡量搜索召回、排序效果和引导收藏效果 |
加购数 | 由搜索直接引导的把商品加入购物车的次数 | 每加购一次记1 | 依赖开通数据采集功能，并且上传了用户加入购物车，加入书架，加入歌单(bhv_type=”cart”)行为数据 | 衡量搜索召回、排序效果和引导加购效果 |
加购转化率 | 加入购物车行为的转化率 | 加购数/搜索PV | 依赖开通数据采集功能，并且上传了用户加入购物车，加入书架，加入歌单(bhv_type=”cart”)行为数据 | 衡量搜索召回、排序效果和引导加购效果 |
点赞数 | 由搜索直接引导的对商品进行点赞的次数 | 每点赞一次记1 | 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 | 衡量搜索召回、排序效果和引导点赞效果 |
点赞转化率 | 点赞行为的转化率 | 点赞数/搜索PV | 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 | 衡量搜索召回、排序效果和引导点赞效果 |
评论数 | 由搜索直接引导的对商品进行评论的次数 | 每评论一次记1 | 依赖开通数据采集功能，并且上传了用户评论(bhv_type=”comment”)行为数据 | 衡量搜索召回、排序效果和引导评论效果 |
评论转化率 | 评论行为的转化率 | 评论数/搜索PV | 依赖开通数据采集功能，并且上传了用户评论(bhv_type=”comment”)行为数据 | 衡量搜索召回、排序效果和引导评论效果 |
成交指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
搜索引导GMV | 由搜索直接引导的成交金额 | 成交金额的总和 | 依赖开通数据采集功能，并且上传了用户购买(bhv_type=”buy”)行为数据 | 衡量搜索召回、排序效果和引导购买效果 |
搜索引导成交UV | 由搜索直接引导的有购买行为的用户数 | 同一个用户无论成交多少次都只记1 | 依赖开通数据采集功能，并且上传了用户购买(bhv_type=”buy”)行为数据（注：上传数据时需要指定user_id参数） | 衡量搜索召回、排序效果和引导购买效果 |
搜索引导客单价 | 通过搜索直接引导成交的每个用户的平均成交额 | 搜索引导GMV/搜索引导成交UV | 依赖开通数据采集功能，并且上传了用户购买(bhv_type=”buy”)行为数据 | 衡量搜索召回、排序效果和引导购买效果 |
下单转化率 | 搜索用户中有购买行为的用户占比 | 搜索引导成交UV/搜索UV | 依赖开通数据采集功能，并且上传了用户购买(bhv_type=”buy”)行为数据 | 衡量搜索召回、排序效果和引导购买效果 |
点击成交率 | 有点击行为的用户中有购买行为的用户占比 | 搜索引导成交UV/IPV_UV | 依赖开通数据采集功能，并且上传了用户购买(bhv_type=”buy”)行为数据 | 衡量搜索召回、排序效果和引导购买效果 |
用户分析指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
次日留存率 | 搜索用户第二天仍进行搜索的用户占比 | UV(t-1)∩UV(t)/UV(t-1) | 依赖通过SDK/API搜索时，搜索请求设置user_id参数 | 反映用户搜索粘性 |
跳失用户率 | 指使用搜索的用户中没有点击的比例 | (UV-IPV_UV)/搜索UV | 依赖开通数据采集功能，并且上传了用户点击行为数据（注：上传数据时需要指定user_id参数） | 衡量搜索召回、排序效果 |
使用介绍
单日数据默认展现最近一天各个数据指标的情况。可通过日期控件选择展示指标的日期。目前数据采集数据产出暂时为T+1天，上传行为数据后第二天才能查看报表。
数据对比以折线图的方式默认展现最近7天各个数据指标的变化。可通过日期控件选择展示指标的时间跨度。可通过点击图表中指标的icon勾选在图表中展示的指标项。
查看方法：点击导航栏“统计报表—->A/B测试报表”，选择应用、实验组、实验、指标类型及时间，查看统计图表。
