最近在推进产品迭代时，发现AB测试的结果经常出现反直觉现象。排查后发现是多个实验流量交叉污染导致，这才意识到正交交叉设计的重要性。经过一番学习和实践，总结出这套避坑指南。

为什么需要正交设计？

刚开始做AB测试时，我习惯用完全随机分组。直到发现这些问题：

• 用户同时命中多个实验时，效果相互干扰
• 新功能实验组意外包含大量高活跃用户
• 季节性活动影响了实验组的基线数据

正交设计的核心思想就像实验室里的对照实验——让不同实验的流量彼此独立，就像化学实验里控制变量。

正交性的数学本质

正交性用矩阵表示就是：设计矩阵X满足XᵀX是对角矩阵。这意味着：

1. 各实验流量分布均匀
2. 实验间没有相关性
3. 方差分析时不会互相干扰

对比完全随机设计：

• 样本量小时容易导致组间差异
• 多实验叠加时p值可能虚高
• 需要更大样本量才能达到相同功效

Python实现三件套

1. 生成正交表

import numpy as np
from itertools import product

def generate_orthogonal_matrix(factors, levels):
    """
    生成L9(3^4)型正交表
    :param factors: 因子数 
    :param levels: 每个因子的水平数
    :return: 正交表矩阵
    """
    # 这里简化实现，实际生产建议用DOE库
    return np.array(list(product(*[range(levels) for _ in range(factors)])))

2. 方差分析

import statsmodels.api as sm
from statsmodels.formula.api import ols

model = ols('转化率 ~ C(实验组)', data=df).fit()
anova_table = sm.stats.anova_lm(model, typ=2)
print(anova_table)

3. 功效分析

from statsmodels.stats.power import FTestAnovaPower

# 计算达到80%功效所需样本量
power = FTestAnovaPower()
sample_size = power.solve_power(
    effect_size=0.2, 
    power=0.8,
    nobs=None,
    alpha=0.05
)

工业级实施要点

流量分割算法选择

• MurmurHash3：速度快但可能碰撞
• SHA-256：安全但计算开销大
• 折中方案：城市哈希（CityHash）

Cookie设计规范

1. 必须包含：
2. 用户ID哈希值
3. 分桶版本号
4. 实验开始时间戳
5. 禁止包含：
6. 原始用户ID
7. 业务敏感信息

多实验冲突策略

• 优先级位图：为每个实验分配优先级
• 互斥组配置：建立实验依赖关系图
• 动态流量调整：实时监控实验叠加率

新手避坑指南

P值操纵陷阱

1. 多次peek结果
2. 中途调整指标
3. 选择性报告
4. 异常值剔除不当
5. 多重比较不校正

长期实验的特殊性

• 每周用户行为模式差异
• 新老用户比例漂移
• 外部事件干扰（如节假日）

移动端冷启动

1. 设备ID初始化问题
2. 首次启动归因困难
3. 预装用户行为异常

实践心得

经过三个月的实战，我们团队的AB测试质量显著提升：

• 实验结论可靠性从62%提升到89%
• 样本量需求减少约30%
• 异常实验排查时间缩短70%

核心经验就两点：

1. 严格遵循正交性原则
2. 建立完善的监控体系

最后推荐两本参考书：《实验设计基础》和《Trustworthy Online Controlled Experiments》。