brainstorm-experiments-existing

产品实验设计助手 - 为现有产品验证假设

技能概述

帮助产品团队为现有产品设计低投入实验，通过原型测试、A/B测试、假门测试等方法快速验证假设，避免不必要的开发成本。

适用场景

验证新功能假设

在投入开发之前，通过低成本实验测试用户是否真的需要某个功能。比如先用假门测试（Fake Door）验证需求真实性，再做完整的开发决策。

测试产品想法

当团队有多个功能想法但资源有限时，通过原型测试、Wizard of Oz 等方法快速筛选最有价值的功能方向，避免开发无人使用的功能。

规划产品实验

为现有的产品制定完整的实验方案，包括选择合适的验证方法、设定成功指标、规避风险，确保实验能产生可行动的洞察。

核心功能

多方法实验设计

根据不同的假设类型和产品阶段，推荐最合适的验证方法：
- 原型测试：用可点击的原型进行任务完成测试，测量用户能否顺利完成核心流程
- 假门测试：在产品中放置功能入口但未实现功能，通过点击率验证需求真实性
- Wizard of Oz：后台人工模拟自动化功能，测试用户对功能的反应
- 技术探索（Spike）：用最小的技术投入验证技术可行性
- A/B测试：在生产环境对比不同方案，附带风险缓解策略
- 行为调查：设计基于真实行为的问卷，而非意见调研

行为导向的指标设计

强调测量实际用户行为而非口头意见，为每个实验设计：
- 明确的假设陈述（"我们相信..."）
- 具体的实验方案（"我们将要..."）
- 可量化的成功指标（"测量什么..."）
- 清晰的成功阈值（"如果假设成立，应该看到..."）

责任测试与风险规避

在设计实验时考虑：
- 不对用户造成困扰或误导
- 不对业务造成不可逆的损害
- 为生产环境测试（如A/B测试）制定明确的风险缓解措施
- 确保实验以最小投入获得最大学习价值

常见问题

产品实验设计应该从哪里开始？

先明确要验证的假设是什么。这个技能会引导你先澄清产品想法和需要验证的核心假设，然后针对每个假设推荐合适的实验方法。关键是从"我们相信什么"开始，而不是从"用什么方法"开始。

不开发完整功能怎么测试？

有很多方法可以在不写代码或写很少代码的情况下验证想法：用可点击的原型测试用户流程；在产品里加一个按钮但跳转到"功能开发中"页面来测试需求强度；甚至手动处理用户请求来模拟功能（Wizard of Oz）。这个技能会根据你的具体情况推荐最合适的低投入方法。

A/B测试在现有产品上怎么安全执行？

A/B测试需要特别谨慎，尤其是在已经上线的产品上。这个技能在设计A/B测试时会包含风险缓解策略：比如从小流量开始、设置明确的止损条件、确保不影响核心用户体验、预先定义数据分析方案。建议先用原型或假门测试验证基本假设，再考虑A/B测试。

如何设计能真正验证用户行为的实验？

避免依赖用户说的，看用户做的。这个技能强调设计能测量真实行为的实验：原型测试看用户能否完成任务（而不是问他们"觉得好不好用"），假门测试看用户是否会点击功能入口（而不是问"你会用吗"），A/B测试看真实的转化率变化。每个实验都会明确指定要测量的行为指标和成功阈值。

什么情况下应该用原型测试而不是A/B测试？

原型测试适合早期验证：交互方案是否合理、用户能否理解功能、流程是否顺畅。A/B测试适合后期优化：两个方案哪个效果更好、改动对指标的实际影响。一般先用原型和假门测试验证基本假设和方向，再考虑用A/B测试优化细节。这个技能会根据你的产品阶段和验证目标给出建议。