问题:看到成功之后,我们实际知道什么
一次成功只能证明确实发生了某个结果,不能单独证明采用的方法在多数情形下更好。尤其当案例经过挑选或剪辑时,未出现的失败更值得警惕。
工作原理:把结果拆成可检验条件
先描述目标,再记录起始条件、可选行动、已知信息与结束状态。只有在可比条件下收集多个样本,才可能对某种规律形成初步判断。
局限:观察不是受控实验
真实比赛的对手水平、临场状态与规则版本可能不断变化。界面截图还缺少交互过程与后台机制,所以即使观察多张图片,也未必能推断系统内部的计算方式。
结论:解释应与证据强度相称
可以说“在这个例子中发生了某种变化”,却不能据此宣称未来必然成功。将事实、推断与未知分别标记,有助于避免夸大。
| 核对项目 | 合适的提问 |
|---|---|
| 观察条件 | 不同案例可以相互比较吗? |
| 样本选择 | 有没有只展示成功案例? |
| 可见信息 | 这是参与者视角还是观众视角? |
| 论断边界 | 结论是否超过证据? |
