老师最想问清的往往不是「AI 能不能批作文」，而是更具体的一句：它给的分数，和我自己判的，到底差多少？ 网上既有「相关到 0.8+」的乐观报告，也有「看起来差不多、落到分上却经常差一档」的翻车感。本文把公开研究里的人机差距说清楚，并给出一套语文/英语老师本周就能复现的「三人小实测」流程——重点不是替你背锅，而是帮你看清：相关高不等于同分，终审仍在人。《教师生成式人工智能应用指引（第一版）》也写明：不得把 AI 对作文等开放性作业的自动批改结果，直接当作学生最终评价。
一、先分清：相关高，不等于「分一样」
讨论「差多少」时，至少有三层含义，混在一起就会误判：
| 指标 | 它在说什么 | 课堂里你会感受到 |
| --- | --- | --- |
| 相关系数 / 排序一致性 | 谁高谁低大体同向 | 「尖子与后进」排序差不多 |
| 邻近一致（差 1 档也算近） | 分数靠近 | 「差一档常见，但很少离谱」 |
| 完全一致（同分） | 数字一模一样 | 往往最难，老师之间也未必总同分 |
综合 2022–2025 年间多篇 LLM 作文评分研究的综述：Pearson 相关常见落在约 0.30～0.80，QWK（二次加权 Kappa）也多在 0.30～0.80——总体是中等到良好一致，不是「永远贴着老师」。国内有英语专业写作对照研究显示：大模型总分与教师总分可达强相关（报道约 r≈0.89），而偏表层特征的传统批改工具相关可明显更低（约 0.4 量级）。结论要小心读：强相关说明排序能力强，不保证每篇都同分。
二、公开对照里，差在哪儿更常见
把「总分相关」拆开看，差距往往不是均匀的：
| 维度 | AI 通常更稳的地方 | 更容易和老师拉开的地方 |
| --- | --- | --- |
| 语言表层 | 拼写、标点、部分语法提示 | 句式「通顺但空」时仍给偏高分 |
| 内容/观点 | 是否扣题、论据是否齐全 | 思维深度、创意、学科价值判断 |
| 结构 | 段落是否完整、过渡是否存在 | 「像模像样的模板文」虚高 |
| 尺度松紧 | 同一提示词下更一致 | 对某一类作文系统性偏松/偏严 |
一线可感知的规律常常是：
- 排序大致可信，绝对分常漂 0.5～1.5 档（取决于量表是 5 分制还是百分制换算）；
- 给了详细量规 + 示例文，一致性通常上升；只说「打个分」最容易漂；
- 二语写作、标准化题干上的研究更多，班级自由命题、语文创意写作的漂移往往更大。
这不是否定工具，而是告诉你：AI 更像「稳定但有偏的副阅卷人」，不是第二位班主任。
三、本周可复现：三人小实测（语文/英语通用）
不必等大样本论文。找 2～3 位同学科老师（或你自己 + 一位备课组同事），用下面流程，两个晚自习就能跑完。
材料准备（30 分钟）
- 抽 10～15 篇脱敏作文（学号替换代号；删姓名班级）；
- 统一量规：内容 / 语言 / 结构（或学校现用量规），每维 1～5 分或总分 100；
- 同一提示词给 AI（见下），禁止中途改提示词。
提示词骨架（可直接改学段与量规）
角色：中学语文/英语作文初评助手（只出候选分，非最终成绩）。
任务：按下列量规给分，并各写一句理由（禁止编造原文没有的内容）。
量规：
- 内容（1-5）：……
- 语言（1-5）：……
- 结构（1-5）：……
输出：每维分数 + 总分；不确定处标注【待教师复核】。
禁止：把分数当作最终评价；对学生人格下诊断式标签。对照怎么记
| 篇号 | 教师A | 教师B | AI | \|AI−教师均分\| | 备注（偏松/偏严/哪一维） |
| --- | --- | --- | --- | --- | --- |
| 01 | | | | | |
| … | | | | | |
看三个数就够用：
- 平均绝对差（分差绝对值的平均）；
- 邻近率（差 ≤1 档的比例）；
- 系统性偏移（AI 是否整体偏高/偏低）。
若老师之间自己就差一档以上，先对齐人与人，再谈人与 AI——否则你会把「人际差异」错当成「AI 不行」。
四、怎么用分差：校准，而不是直接入库
| 场景 | 建议用法 | 不建议 |
| --- | --- | --- |
| 日常练笔、初稿反馈 | AI 给候选分 + 理由，你改关键句 | 直接写进成绩册 |
| 单元作文入档 | AI 初筛分层，你终评 | 分数原样上传教务 |
| 备课组教研 | 用分差表讨论量规是否清楚 | 拿 AI 压「谁批得严」 |
| 高利害考试 | 一般不作为正式分源 | 替代双评/仲裁 |
实用校准三步：
- 先锚 3 篇标杆文（高/中/低），人机都打完再铺开；
- 发现系统性偏高就整体下移半档，或在提示词里加「对空话模板从严」；
- 只信任「排序 + 问题定位」，不信任「精确到 1 分的绝对分」——除非你的小实测邻近率已经稳定很高。
五、红线（和「差多少」同样重要）
| 红线 | 原因 |
| --- | --- |
| 把 AI 作文分直接当最终评价 | 《指引》明确禁止 |
| 上传可识别姓名/班级原文到公网模型 | 隐私与数据安全 |
| 不给量规就让 AI「凭感觉打分」 | 漂移最大、最难解释 |
| 用 AI 分压家长质疑而不展示过程 | 信任风险（与责任话术是另一篇） |
| 发现分差大却不复核，仍批量入库 | 评价失真 |
六、小结
- 公开证据：LLM 与人工在作文评分上多为中等到良好一致；强相关常见，完全同分不常见。
- 课堂体感：排序往往可用，绝对分常漂半档到一档；语言表层更近，思维与创意更远。
- 本周动作：10～15 篇脱敏文 + 统一量规 + 2～3 位老师对照，算出平均绝对差与邻近率。
- 用法：让 AI 当副阅卷人做初评与分层；高阶点评与最终分数在人。
- 边界：《指引》要求——自动批改结果不得直接作为最终评价。
通用大模型如 DeepSeek 可用于脱敏后的候选评分；若学校有白名单作文系统，优先合规通道。分数解释与育人判断，请以校规、量规与你的专业判断为准。