自动评分只适合替代“可枚举、可复核”的判断,比如标签是否存在、字段是否为空、状态码是否异常。一旦项目涉及意图匹配、内容质量、页面体验取舍,就必须把自动评分降级为线索,而不是结论。防止替代的关键动作是:在工具之外维护一张“人工判断清单”,并规定评分只能触发复核,不能直接触发修改。
把待处理项按“是否存在唯一正确答案”分成两类,是决定要不要保留人工判断的第一步。
实际操作中,先给每个待办项打上“可枚举”或“需权衡”的标记。标记为需权衡的项,不进入自动修改流程,只进入人工复核队列。这一步的结果会直接改变后续动作:原本一键批量修复的清单,会被拆成“可自动执行”和“必须人工确认”两条路径。
当自动评分和人工判断经常一致,团队容易滑向“既然结果一样,何必再看”。这时要区分一致的原因。
如果一致是因为项目本身可枚举,那人工退出是合理的,把精力移到别处。如果一致只是因为人工长期照抄评分结论,那人工判断其实已经名存实亡。区分方法是:定期抽出一小批项目,让复核者在看不到评分的情况下先给结论,再和评分对照。若两者高度重合且理由充分,说明评分确实覆盖了该类判断;若复核者给不出独立理由,只复述评分,就说明人工环节需要重新设计。
可执行动作:在复核记录里增加一栏“独立理由”,要求写清判断依据,比如“首屏未出现价格,移动端用户需下滑两次才能看到”。这个动作的结果是,评分不再能单独决定修改,理由栏为空的项目会被退回,而不是直接通过。
冲突才是自动评分最危险也最有价值的地方。危险在于团队可能默认评分更“客观”而压过人工;有价值在于冲突暴露了评分模型的盲区。
处理冲突时按以下顺序判断:
假设某工具给一个移动端分类页的内容评分偏低,理由是正文文字量少。人工复核发现该页面主要靠筛选和列表满足意图,文字量本就不是核心。此时应把“列表型页面不套用文字量阈值”记为适用条件,而不是为了提分硬加一段说明文字。这个动作的结果是,后续同类页面不再被同一评分误伤,人工判断从一次性否决变成了可复用的规则。
人工判断被自动评分替代,往往不是因为评分太强,而是因为人工判断没有被记录下来,无法证明自己的必要性。把需权衡项写成清单,包含三部分:判断对象、判断依据、不适用条件。
例如一条清单可以写成:判断对象是移动端首屏信息优先级;依据是核心卖点或价格是否在首屏可见;不适用条件是纯导航页或登录页。清单越具体,越能在评分触发修改前拦住它。
同时规定触发规则:评分只负责把项目送入复核队列,修改动作必须由清单结论放行。这样即使评分覆盖了大量项目,人工判断仍然掌握最终修改权。
保留人工判断不等于所有项目都要人工过一遍。以下情况应主动交给自动评分,避免人工成为瓶颈:
反过来,只要项目涉及内容取舍、意图匹配或用户体验权衡,就应保留人工结论。判断标准不是项目重不重要,而是它是否存在唯一正确答案。没有唯一答案的地方,自动评分只能是线索,不能是裁决。