PPeerSoft/生成评估
PeerSoft · 方法方案 · 尚无模型实测结果

AI 生成的内容，
怎样算好？

先看它有没有按要求做，再看能不能直接用，最后看真实用户是否喜欢。聊天、图片和视频都按这三个问题检查。

跟着例子看 直接看执行步骤

一句话：画面再漂亮，人物、场景或动作做错了，也不能算完成任务。

01 / 结论先行

用四道关，判断一个模型能否上线

像检查一份按要求完成的作业：先确认题答对，再看表达好不好。

01
◎

做对

关键要求逐条通过。角色、地点、动作、安全规则都不能漏。

结果：严格通过率
02
✦

好用

人看完后，愿不愿意直接拿来聊天、保存或使用？

结果：可直接使用率
03
⇄

公平比较

把模型名字藏起来，让人比较同一道题的两个结果。

结果：盲评胜率
04
↗

真实验证

上线后观察重做、保存、等待时间和失败退款。

结果：用户与系统指标
状态本页是一套评估方法，尚未给模型打分。
触发模型、提示词、配置或供应商有变化时，重跑同一批题。
证据保留原始结果、逐项判断、盲评记录和线上事件。

02 / 跟着一个故事看

从一句聊天，到一张图，再到一段视频

这个例子是演示题，不是真实用户内容，也不是线上质量结果。

演示设定

角色“艾琳”在病房里，穿蓝色护士服，坐在病床旁。用户让她先说一句话，再生成图片，最后做一个挥手动作。

文字结果 · 示意
你现在在哪里？
我坐在病床旁，病房里很安静。你想先聊什么？
文本

先确认她没有忘记故事

  • 她还是同一个角色吗？
  • 地点仍是病房吗？姿势仍是坐着吗？
  • 回复符合语言设置、前文和用户要求吗？
状态通过：角色和场景都对。证据

对照角色设定与最近几轮聊天，逐项标记。

点击后看清：哪一项错误会让结果失败。

03 / 把分数讲简单

100 次尝试，究竟有多少次真的好用？

拖动数字，看看“生成成功”和“可以直接用”为何是两件事。

教学演示 · 数字为虚构

每次结果至少经过三问：有没有产出？关键要求全对吗？人愿意直接用吗？

有结果90%
严格通过72%
可直接使用58%

100 次里，58 次可以直接用。

分母固定为 100 次合规尝试。失败、超时和错误拒绝都留在分母里。
盲评胜率

同一道题给两个模型。藏起名字，由人选 A、B 或平局。平局各算半票。

P95 等待时间

排好 100 次等待时间，第 95 次的时间。它让我们看到慢的一端。

安全两侧

分别检查“该拦住的有没有放行”和“可以做的有没有误拦”。

04 / 各自查什么

三种内容，用同一规则、不同检查点

核心要求逐项判断；主观质量交给经过校准的人评。

01文本

记得住，也接得上

一段聊天按多轮看。检查角色、记忆、当前剧情、语言和重复。知识问答另外核对事实。

机器先查格式、语言、设定冲突
人再查自然、连贯、愿意继续聊
02图片

每个细节都落在画里

检查人物、人数、衣服、姿势、地点和文字。编辑图片时，还要看未要求修改的地方是否保留。

机器先查数人、识字、视觉问答
人再查角色像不像、画面能否用
03视频

动作真的发生，前后不穿帮

检查动作、源图保留、镜头、闪烁和变形。有台词时另查声音与口型。

机器先查播放、时序、同步指标
人再查完整观看并标出错误秒数

图片的 FID、视频的 FVD 看的是一批作品的整体分布。它们不能告诉我们某一张图是不是病房、某段视频有没有挥手。视频“很稳定”也可能只是因为它几乎没动。

05 / 执行流程

五步做完，结果能查回原文件

同一批题，给新旧模型相同的机会。失败结果也要保存。

  1. 1

    定题

    真实请求脱敏后抽样，加上公开题和历史失败题。文本、图片、视频各自分组。

  2. 2

    冻结条件

    保存题目、角色、参考图、参数、模型版本和“必须做对”的清单。

  3. 3

    同题生成

    两版用相同输入与次数。每次产出、失败、拒绝和等待时间都记录。

  4. 4

    隐藏名字评分

    规则先查硬条件；人再独立判断质量与偏好。有争议时复核。

  5. 5

    出报告并回收新问题

    按场景展示通过率、可用率、盲评和等待时间；线上差评进入下轮题库。

样本从多少开始？

先用约 100 条／赛道校准题目和评分。正式比较按想识别的差距确定数量，并给出结果可能浮动的范围。Seedance 1.0 的文生视频、图生视频评测各用 300 条，是一个参考实例。

数据怎样连起来？

用同一个请求或任务编号，把输入、作品、评分、用户看到结果的时间和积分记录串起来。PeerSoft 与 Mixpanel 的同一指标必须使用同一算法。

06 / 发布决定

先看红灯，再决定要不要发布

阈值由团队在测试前写定，不能等看到分数后再改。

红灯 · 先修

发现关键安全错误、人物或场景跑偏、动作未执行，或积分扣退与结果不一致。

黄灯 · 补证据

样本太少、评审分歧大、重要场景下降，或没有原文件可复查。

绿灯 · 小范围验证

关键条件过关，主要场景不退步，盲评和真实反馈支持改动。

状态每个场景都有红、黄、绿判断。
触发完成一轮新旧版本的同题测试。
证据查看逐条结果、评审分歧和线上指标。

07 / 方法从哪里来

公开实践与原始论文

“论文”“技术报告”“系统卡”分开标注。点开可看它能说明什么。

三家公司的公开方法

OpenAI文本人工偏好、图片盲评与安全测试论文 / 报告 / 系统卡

借鉴：同题比较文本；图片分别看按要求、画面连贯和风格；安全问题单独测。

范围：Sora 系统卡的审核结果是安全证据，不是视频画质总分。

Anthropic真人 A/B、帮助与安全分开看预印本 / 实践文

借鉴：让人实际与两个模型对话，再判断哪个好用、哪个符合安全规则；模型评分要与人工校准。

范围：开放式对话有主观性，评分人不同可能给出不同答案。

字节跳动 Seed图片拆问题、视频分维度、人评与自动评结合技术预印本

借鉴：把长提示拆成可核查的小问题；视频单独检查运动、指令、审美和参考图保留。有声音时再查音画同步。

范围：这些是其模型的公开评测设计；公布的分数不能当 PeerSoft 的成绩。

常用工具的原论文

图片：检查人数、颜色、位置和提示细节NeurIPS / ICCV 论文

视觉问答和偏好模型可能看错，关键题需要人工复核。

视频：检查运动、前后一致和指令CVPR / TPAMI 论文

“画面稳定”必须与“要求的动作发生”一起报告。

批量分布、模型裁判和统计误差论文 / 预印本

FID、FVD 看一批作品的分布，不能判单个作品是否按题目完成。