实验参数配置

智能推荐标准版算法配置+实验平台新功能介绍：

一、实验目的

为优化某个指标如点击率、停留时长等，需要制定至少两个方案，在同一时间维度将客户端用户流量对应分成几组，在保证每组客户端用户特征相同的前提下，您可以分别看到不同的方案设计，根据几组客户端用户的真实数据反馈，决策出最优的实验方案后，推送全部流量至线上。

注：用户指客户端用户。

二、实验相关概念

缺省实验

• 承接场景中未分配流量的实验，即场景未分配的流量为缺省实验流量，推荐效果符合预期的实验配置会被合并回缺省实验。

推全实验或实验推全

• 实验上线后，经过一段时间的观察，如果实验效果满足预期，您需要将当前实验的配置合并回缺省实验，成为缺省实验配置，这个过程叫推全实验。

场景-业务策略

• 当前场景可开放给您根据业务需求调整的策略集合。

运营策略

• 面向运营同学开放的业务定制策略集合，一般是为了影响产品体验，支持适配运营需求的配置。

算法策略

• 面向算法同学开放的业务策略集合，直接影响推荐算法的效果，需要通过实验经过一段时间对效果的验证后，才允许在场景内推全实验。

配置

• 算法策略的一个配置项。

配置key

配置项的标识。

召回表

用于召回的数据表，可描述物品与物品之间的相似度（i2i）或者物品特征（item向量表）、用户特征（用户向量表）。

排序服务

即在线预测服务，目前暂时只支持PAI-EAS的在线预测服务，即对召回结果，进行在线打分排序。

trace_info

在使用实验管理功能时，您需要确保数据规范中的trace_info字段埋点正常、以及回传准确。

I trace_id=selfhold时，trace_info填1即可。

II trace_id=Alibaba时，在获取推荐结果时，会返回此item的trace_info。

trace_id=Alibaba说明这条行为数据，是通过“智能推荐”而推荐出来的这条item产生的行为。

回传行为数据时把这个item对应的trace_info原样回传即可。

III trace_info数据示例：ST_EDF470CB-D084-4E2C-812E-3F13B9AEA528_4、1007.5911.12351.1002000:::::

三、实验创建步骤

I启用实验

实验从提交启动到实验启动成功，需要1分钟左右。

当实验功能启用完成后，需选择切流方式。

如果在您的业务下，大部分客户端用户都处于登录状态，建议选择按照用户ID分流；

如果在您的业务下，大部分客户端用户都处于游客状态，建议选择按照设备ID（UTDID）分流。

一分钟左右后实验启动完成，默认会有一个缺省实验。若您第一次启动实验，当前的缺省实验绑定的就是当前场景下的默认推荐方案。

您可以点击“详情”查看当前缺省实验的配置，以及查看当前实验的业务效果报表。

II 创建实验

点击创建实验

1、填写基本信息

2、实验配置

您可以在本页面对召回及排序算法进行修改。

注意：其中每个算法的介绍及参数相关，详见：行业算法模型介绍

这里拿i2i召回链路进行说明：

i2i召回链路

i2i召回链路默认开启，如需要做实验把链路关闭，点击按钮开关即可开关链路。

点击i2i链路一栏中的“展开”，可以自行设置i2i的截断数量、以及各类i2i算法的优先级顺序。

i2i最大召回数量：召回池中最大容纳的item数量。

i2i算法：不同的i2i召回链路的优先级顺序。

自定义召回链路

如果您购买的是高级版实例，可以自定义召回链路加入算法模型中。

​ 注意：配置使用自定义召回链路需要提前进行召回表创建及注册。

详情见：召回模型部署（已下线）-排序服务部署部分。

设置大类别的召回链路优先级

自定义排序模型

如果您购买的是高级版实例，可以自定义召回链路加入算法模型中。

​ 注意：配置使用自定义召回链路需要提前进行召回表创建及注册。

详情见：排序服务调试与应用。

3、实验调试

在实验正式上线前，请您先通过本功能将测试用户加入实验白名单，以验证您的实验效果。

参数说明：

1、调试实验的id；

2、用于调试的用户（userid）；

3、推荐商品数，最大数量为10。

4、实验上线、实验流量分配

注：建议分配流量于10%-20%，具体流量分配需参考您的实际流量，正式上线前需要完成实验调试。

点击“上线实验”。

5、实验上线后的操作

查看实例详情以及对某个实验组进行某种操作（详情、业务效果报表、更多）。

当前创建完实验后，可以在控制台-场景管理-实验管理处查看实验列表。

详情

点击详情可以查看实验详情；

业务效果报表

可以在实验效果分析处查看实验效果报表

四、实验决策

注意：实验决策（推全、下线、删除实验）操作不可逆，请谨慎操作。

I 推全实验

当某个实验效果较好（观察效果的时间周期建议是一周左右），您可以执行推全实验的操作，把当前实验的流量释放给缺省实验。

推全操作完成后，当前场景下的缺省实验将自动改为推全实验中的配置，缺省实验的流量也在原来的基础上增加推全实验的流量。

例如：原缺省实验配置为A1、B1、C1，具有1号、2号、3号的三个流量桶。通过实验效果报表发现配置为A2、B2、C3的实验X（具有4号、5号、6号）效果最佳，现对实验X执行推全操作，则缺省实验配置同步为A2、B2、C3，具有1号、2号、3号、4号、5号、6号的六个流量桶。

操作步骤：

点击某个实验的实验决策

选择“推全实验”后，会显示出修改过的配置的实验配置，点击“同步缺省实验”，点击确定。

II 下线实验

如果您的某个实验不满足预期，您可以选择下线这个实验去结束您当前的实验。