为什么电商都在用AB测试？

最近帮朋友优化电商登录页，原版本转化率只有2.3%。通过简单调整按钮颜色和文案的AB测试，新版本转化率提升到3.1%，单月增收超20万。这种用数据代替主观猜测的方法，正是AB测试的核心价值。

传统方案 vs 科学实验

很多新手容易犯两个错误：

• 拍脑袋决策：根据个人喜好直接改版
• 无对照组实验：全量上线新功能后对比历史数据

科学AB测试需要三个关键要素：

1. 随机分组的实验组和对照组
2. 足够大的样本量
3. 统计显著性验证

核心实现四步走

1. 流量分配：哈希取模法

用用户ID做哈希后取模，确保相同用户始终进入同一分组：

import hashlib

def bucket_user(user_id, total_buckets=100):
    # 用MD5哈希保证均匀分布
    hash_val = int(hashlib.md5(user_id.encode()).hexdigest()[:8], 16)
    return hash_val % total_buckets  # 按百分位分桶

# 示例：用户进入实验组(桶号<50)还是对照组
user_bucket = bucket_user('user123')
is_experiment = user_bucket < 50

2. 样本量计算

使用统计功效公式（这里用简化版）：

from math import ceil

def calc_sample_size(base_rate, mde, power=0.8):
    """
    base_rate: 基线转化率(如0.02)
    mde: 最小可检测变化(如0.01表示1%绝对变化)
    power: 统计功效(默认80%)
    """
    # 简化版样本量公式
    return ceil(16 * base_rate * (1-base_rate) / (mde**2))

# 计算检测2%->3%变化需要的样本量
print(calc_sample_size(0.02, 0.01))  # 输出每组约3100人

3. 双样本T检验

用scipy做均值差异检验：

from scipy import stats
import numpy as np

# 模拟实验组(5000次访问，300转化)和对照组数据
control = np.zeros(5000)
control[:100] = 1  # 原转化率2%

experiment = np.zeros(5000)
experiment[:150] = 1  # 新转化率3%

# 执行双样本T检验
t_stat, p_val = stats.ttest_ind(control, experiment)
print(f"P值: {p_val:.4f}")  # 通常p<0.05认为显著

4. 结果可视化

三大避坑指南

1. p值陷阱：
2. 不要反复检查数据直到p<0.05

3. 提前确定样本量和检查频率

4. 新奇效应：

5. 新版本初期用户可能因好奇产生临时性高转化

6. 建议观察至少完整业务周期(如7天)

7. 流量污染：

8. 确保实验期间没有运营活动干扰
9. 排除爬虫流量和内部测试流量

上线检查清单

• [ ] 配置5-10%流量灰度发布
• [ ] 验证埋点数据一致性
• [ ] 设置实验自动终止条件
• [ ] 准备回滚方案

思考题延伸

如果要同时测试按钮颜色+文案+布局三个变量，如何设计MVT测试框架？可以从以下方向考虑：

1. 正交实验设计法
2. 多因素方差分析(ANOVA)
3. 分层流量分配策略

希望这篇指南能帮你少走弯路。记住：好的AB测试就像科学实验，控制变量、数据说话才是王道！