审核说明
内容安全审核的效率瓶颈不在“看”,在“判断”。一条内容是否违规,往往取决于语境、意图和平台规则的交集,而不是某个单一特征。鉴黄师平台在流程设计上把识别和判断分开:机器负责识别风险信号,人负责在模糊地带做判断。
智能审核的能力边界
明确违规的识别已经相对成熟,露点、暴力画面、违禁品等有清晰标准的类别,模型可以做到高召回。难点在于软色情、擦边球、隐喻引流这类主观尺度较大的内容。同一张图片,在运动场景和社交场景下的判定标准可能不同;同一句话,在不同语调下的含义可能相反。这些场景需要人工介入。行业公开讨论中,AI审核的定位是“人+机”,Meta披露其大型语言模型在违规内容处理上错误率比人工低约13%,但仍保留人工抽查环节。
人工复核的流程设计
模型推来的疑似内容按风险等级排序进入复核队列。复核界面展示判定依据、上下文和原始素材,操作人做最终处置。违规素材默认模糊化展示,需要主动点击才展开原图或原视频。连续审核时长设上限,到点强制轮换。这些设计针对的是长期接触违规内容带来的心理负荷,行业调研中声音审核员普遍反映存在恶心、失眠等反应,流程上的减害是必要的。
记录、申诉和迭代
每条审核记录包含判定结果、依据、时间和操作人,处置动作的完整链路保留。用户对结果有异议时进入申诉队列,由人工做二次判定。复核和申诉的结论回流给模型做迭代样本。平台按内容类型和违规类别分别统计准确率,不合并成一个笼统的数字,因为不同类别的难度差异很大。登录后审核记录和配置保存在账号下,换设备也能继续查看。