Statistics 产品特性的ab测试

Statistics 产品特性的ab测试,statistics,metrics,ab-testing,abtest,product-management,Statistics,Metrics,Ab Testing,Abtest,Product Management,如果Yelp想了解评级是否有助于用户选择一个列表,并且我们使用CTR作为ab测试的成功指标,那么我们如何知道CTR的重大变化仅仅是因为评级,而不是因为列表的其他部分,比如评论 在进行ab测试之前,我们是否必须进行某种用户细分,而不是随机分配用户?随机化会考虑除治疗外的所有其他变量。统计显著性检验考虑治疗和机会之间的选择。只有当你不能进行随机试验时,你才需要控制其他差异因素

如果Yelp想了解评级是否有助于用户选择一个列表,并且我们使用CTR作为ab测试的成功指标,那么我们如何知道CTR的重大变化仅仅是因为评级,而不是因为列表的其他部分,比如评论


在进行ab测试之前,我们是否必须进行某种用户细分,而不是随机分配用户?

随机化会考虑除治疗外的所有其他变量。统计显著性检验考虑治疗和机会之间的选择。只有当你不能进行随机试验时,你才需要控制其他差异因素