绿野仙踪测试
用户与看似全自动的产品交互,但幕后由人工完成工作。
为什么
绿野仙踪测试让你在造好自动化之前交付完整产品体验。用户看到真 UI、提交真请求、得到真结果——但你(巫师)在幕后手动满足每个请求。这测试端到端价值主张(输出是否真解决问题)而无需数月工程去建真系统。它对 AI 产品特别有力,因为输出质量比生成速度重要,而建真模型是最贵的部分。
何时使用
当产品价值在输出质量而非自动化,且建真后端很贵时。手动运营 1-2 周。适合 AI/ML 产品、市场、个性化功能。
如何做
1. 设计完整的面向用户流程 - UI 必须 100% 真实——无"演示"徽章或占位符 - 用户应相信在用成品 2. 搭建你的"幕" - 用户提交请求 → 你收到通知(Slack/邮件) - 你用已有工具手动满足 - 你通过真 UI 把结果发回 3. 加真实延迟 - 如果真产品要 30 秒,别 1 秒返回 - 匹配预期延迟,让用户评判真实体验 4. 运营 1-2 周,10-30 用户 - 尽力满足每个请求 - 跟踪:完成率、满意度、付费意愿、留存 5. 学到该造什么 - 手动流程哪些可自动化? - 哪些需要人判断(应保持手动)? - 需要达到什么输出质量门槛? 6. 决策 - 用户爱输出 → 为可重复部分建自动化 - 用户不看重输出 → 毙掉,问题在主张不在技术
示例
想法:"从潜在客户 LinkedIn 资料写个性化冷销售邮件的 AI。" 绿野仙踪(2 周): - 做了真 UI:贴 LinkedIn URL → "生成邮件中"转圈 → 邮 件输出 - 幕后:我收到 Slack 提示,研究资料,手写邮件 - 加 45 秒延迟以像 AI 处理 结果(22 用户,生成 140 封邮件): - 18/22 说邮件"比我自己写的好" - 12 要求连接 CRM(显示工作流集成意向) - 6 当场愿付 $30/月 - 关键学习:用户要语气定制,不只是个性化 决策:价值已验证 → 建真 AI,优先语气控制。
常见问题
- ⚠手动输出质量高于自动化能达到的——真(自动化)产品上线时质量下降,用户失望。
- ⚠手动满足导致倦怠——如果撑不住 2 周手动,缩减用户数而非让质量下滑。
- ⚠用户发现幕后有人——如果返回结果有错别字或个人附言,幻象破裂,测试被污染。
- ⚠不跟踪手动流程哪些可重复——没有这个,建真东西时不知道先自动化什么。
最佳实践
- ✓对每次手动满足做结构化日志:做了什么、多久、用了什么判断——这成为你的自动化规格。
- ✓设质量下限,低于则不发——宁可告诉用户"量大,稍后再试"也不发坏输出使测试失效。
- ✓测后对每个用户做 15 分钟通话——问会改什么、是否付费、想象什么工作流。
- ✓规划过渡:开始前决定哪些手动步骤变 AI、哪些留人工、哪些变混合(AI 草稿 + 人工审)。