A/B测试自动设计

核心原则

1. 假设先于实验：没有结构化假设的实验是盲目的探索，If-Then-Because-For缺一不可
2. 护栏与主指标同等重要：主指标衡量"是否有效"，护栏指标衡量"是否安全"，两者缺一不可
3. 样本量决定可信度：统计功效不足的实验不如不做，MDE和样本量必须在设计阶段确定

交互模式

🤖→👤 AI建议人类审批

输入

执行步骤

Step 1：假设结构化

将原始假设转化为结构化的Hypothesis：

原始假设 → 结构化Hypothesis

结构化模板：

If [we do this change]
Then [this metric] will [increase/decrease]
Because [our hypothesis about why]
For [these users]

示例：

原始：简化注册流程能提升转化率

结构化后：
If we simplify the registration flow from 5 steps to 3 steps
Then the registration completion rate will increase by 10%
Because users face less friction
For all new users on iOS and Android

Step 2：指标自动选择

#### 主指标（Primary Metric）

#### 护栏指标（Guardrail Metrics）

防止实验对产品造成负面影响：

#### 辅助指标（Secondary Metrics）

提供额外洞察：

• 细分维度指标（下钻用）
• 相关联指标（归因用）
• 探索性指标（发现用）

Step 3：样本量自动计算

样本量计算公式：
n = 2 * (Zα + Zβ)² * p̄(1-p̄) / MDE²

其中：
- Zα: 显著性水平（通常1.96 for α=0.05）
- Zβ: 统计功效（通常0.84 for power=80%）
- p̄: 基线转化率
- MDE: 最小可检测效应

计算器配置：

sample_size_calculation:
  significance_level: 0.05
  statistical_power: 0.80
  
  # 主指标参数
  primary_metric:
    baseline_rate: 0.15  # 基线转化率 15%
    minimum_detectable_effect: 0.10  # 最小可检测提升 10%
    relative_mde: 0.015  # 绝对提升 1.5% (15% * 10%)
    
  result:
    sample_size_per_group: 12400
    total_sample_size: 24800
    expected_duration_days: 7

Step 4：分流方案设计

#### 分流原则

#### 分流层级

Traffic
├── Layer 1: 体验一致性实验
├── Layer 2: 核心功能实验
├── Layer 3: 个性化实验
└── Layer 4: 营销实验

#### 分流比例

Step 5：实验配置生成

生成完整的实验配置：

ab_test_design:
  created_at: "2024-01-15T10:00:00Z"
  
  # 实验基本信息
  experiment:
    id: "exp_20240115_simplified_register"
    name: "简化注册流程实验"
    owner: "product_team"
    priority: "high"
  
  # 结构化假设
  hypothesis:
    original: "简化注册流程能提升转化率"
    structured: |
      If we simplify the registration flow from 5 steps to 3 steps,
      then the registration completion rate will increase by 10%,
      because users face less friction,
      for all new users on iOS and Android.
    
    components:
      change: "Simplify registration from 5 steps to 3 steps"
      expected_outcome: "Registration rate +10%"
      mechanism: "Reduced user friction"
      target_users: "New users on iOS and Android"
  
  # 指标选择
  metrics:
    primary_metric:
      name: "registration_completion_rate"
      definition: "完成注册的用户数 / 开始注册的用户数"
      baseline_value: 0.35
      minimum_detectable_effect: 0.10  # 10%相对提升
      
    guardrail_metrics:
      - name: "d7_retention_rate"
        definition: "注册后7日留存率"
        baseline_value: 0.42
        acceptable_change: -0.02  # 允许下降2%
        
      - name: "daily_active_users"
        definition: "DAU"
        baseline_value: 1000000
        acceptable_change: -0.05  # 允许下降5%
        
      - name: "app_crash_rate"
        definition: "崩溃率"
        baseline_value: 0.002
        acceptable_change: +0.001  # 允许增加0.1%
        
    secondary_metrics:
      - name: "registration_abandon_rate"
        definition: "注册中断率"
        
      - name: "time_to_complete_registration"
        definition: "完成注册耗时"
        
      - name: "register_via_social_count"
        definition: "社交账号注册数"
  
  # 样本量计算
  sample_size:
    per_group: 12400
    total: 24800
    daily_eligible_users: 4000
    expected_duration_days: 7
    minimum_duration_days: 5
    
    assumptions:
      baseline_rate: 0.35
      mde: 0.10
      significance_level: 0.05
      statistical_power: 0.80
  
  # 分流方案
  traffic_split:
    strategy: "random"
    allocation:
      control: 50
      treatment: 50
    
    targeting:
      platform: ["ios", "android"]
      user_type: "new_user"
      exclusion:
        - registered_users
        - test_accounts
        
    hash_salt: "exp_reg_2024_v1"
    
  # 终止条件
  termination_conditions:
    automatic:
      - condition: "达到目标样本量"
        action: "触发结果分析"
      - condition: "p值持续显著超过0.99"
        action: "提前终止"
        
    manual:
      - condition: "护栏指标显著下降"
        action: "告警+人工决策"
      - condition: "外部重大事件影响"
        action: "暂停实验"
        
    minimum_runtime_days: 5
    maximum_runtime_days: 30
  
  # 实验变体
  variants:
    control:
      name: "当前注册流程"
      description: "5步注册流程，包含邮箱、手机号验证"
      config: {}
      
    treatment:
      name: "简化注册流程"
      description: "3步注册流程，仅手机号验证"
      config:
        steps: 3
        required_fields: ["phone"]
        optional_fields: ["email", "nickname"]
        skip_verification: false
  
  # 技术配置
  technical:
    platform: "internal_ab_platform"
    layer: 2
    mutex_group: "registration_flow"
    traffic_allocation: 100  # 100%可用流量
  
  # 风险评估
  risk_assessment:
    overall_risk: "low"
    reasons:
      - "仅影响新用户注册流程"
      - "保留核心功能"
      - "可快速回滚"
    mitigation:
      - "配置实时监控"
      - "设置自动告警"
      - "准备回滚方案"

输出

存储路径：output/pm-metrics-ops/experiment-design/

输出文件：experiment_design.json

输出Schema：

{
  "type": "object",
  "required": ["hypothesis", "primary_metric", "sample_size", "traffic_allocation"],
  "properties": {
    "hypothesis": {"type": "object", "description": "结构化假设，包含If-Then-Because-For"},
    "primary_metric": {"type": "object", "description": "主指标定义，包含名称和计算方式"},
    "guardrail_metrics": {"type": "array", "description": "护栏指标列表，覆盖留存/收入/技术维度"},
    "sample_size": {"type": "object", "description": "样本量估算，包含计算参数和结果"},
    "traffic_allocation": {"type": "object", "description": "分流方案，包含比例和分层策略"},
    "termination_conditions": {"type": "object", "description": "终止条件，包含提前终止和最大周期"},
    "risk_assessment": {"type": "object", "description": "风险评估和缓解措施"}
  }
}

必填输出

1. 实验设计方案：完整的实验配置
2. 样本量估算：基于统计计算的样本需求
3. 风险评估：实验风险和缓解措施

辅助输出

1. 历史参考：类似实验的结果参考
2. 建议清单：上线前检查项
3. 监控配置：实验监控面板配置

执行检查清单

□ 假设结构化完成
□ 主指标明确定义
□ 护栏指标设置
□ 样本量计算完成
□ 分流方案设计完成
□ 终止条件设置
□ 技术配置完成
□ 风险评估完成
□ 实验配置审核通过

输出校验规则

上游变更响应

当上游输入发生变更时，本Skill的响应策略：

当实验设计自身变更时，对下游的通知机制：

决策规则

质量检查

• [ ] 假设已结构化（If-Then-Because-For）
• [ ] 主指标与假设直接对应
• [ ] 护栏指标覆盖留存、收入、技术三个维度
• [ ] 样本量计算参数有据可依

降级策略

上游文件缺失降级方案

数据获取说明

当上游文件缺失时，需用户提供以下信息以支撑降级生成：

• 假设描述：想要验证的改进想法和预期效果
• 可用流量（可选）：可参与实验的用户量或流量比例
• 关键指标（可选）：实验关注的主要指标和护栏指标

设计原则