A/B SageMaker 中的测试功能:变体分配是随机的?

A/B Test feature in SageMaker: variant assignment is random?

A/B SageMaker 中的测试功能听起来很有趣,但我研究得越多,我就越困惑这是否是一个有用的功能。为了使它有用,您需要取回变体分配数据并与一些内部数据结合以找出性能最佳的变体。

这个作业是怎么完成的?是纯随机的吗?或者我是否应该传递某种可以指示人或浏览器的 ID(或散列 ID),以便为同一个人选择相同的模型。

For this to be useful, you need to get the variant assignment data back and join with some internal data to figure out the best performing variant.

InvokeEndpoint 响应包括 "InvokedProductionVariant",以支持您描述的那种分析。详细信息可以在 API 文档中找到:https://docs.aws.amazon.com/sagemaker/latest/dg/API_runtime_InvokeEndpoint.html#API_runtime_InvokeEndpoint_ResponseSyntax

How is this assignment done? Is it purely random?

流量随机分配,同时保持与生产变体的权重成比例。

so that the same model is picked up for the same person

Amazon SageMaker 目前不支持此类功能,这是在某些 A/B 测试中使用它的主要障碍。

我在 AWS SageMaker 论坛中创建了一个线程,要求添加此功能:https://forums.aws.amazon.com/thread.jspa?threadID=290644&tstart=0