学习者需要的不是一个永远有答案的声音,而是一个能指出答案边界、帮助他们决定下一步的伙伴。
核心要点
- 标出边界让抓错率翻倍。在导师先表明不确定的片段里,学习者在 61% 的情况下抓住了错误——而没有时只有 27%。
- 不确定需要一个落脚点。边界加上下一步(一次核对、一个来源、一个更小的案例)在 64% 的片段里引出了有用的追问;光是承认则让会话停滞。
- 具体胜过笼统。“作为 AI,我可能错了”已被移除——它传达了责任,却没告诉学习者风险究竟在哪里。
- 三种信号,三种动作。事实性不确定指向一次核对;意义性不确定指向一个澄清问题;例证性不确定指向一个更小的案例。
流畅不等于可靠
在早期会话中,导师经常用完整而自信的句子回答超出上下文的问题。回答听起来很好,却让学习者很难分辨哪些内容有依据,哪些只是语言的惯性。
这是辅导中最早被注意到的问题之一,甚至先于语言模型的存在。人类导师也承受同样的压力:一个听起来自信的答案,比一个留有余地的答案更易读,学习者在那一刻也更舒服。留有余地的导师显得不确定,而一个显得不确定的导师,是学习者下次不太会再找的导师。不留余地的导师,在许多情况下,反而是在做对不起学习者的事。
问题在模型身上更为尖锐,是因为模型可以始终如一地听起来自信——这是任何人类导师都做不到的。真正拿不准的人类导师,会从表情、语速,以及人类口语里自然流露的细微保留中显出端倪。模型产出的是干净利落的文字,而干净的文字读起来像自信,自信读起来像知识。除非模型自己选择把不确定性暴露出来,否则它对学习者而言是不可见的。
Socrates 推出的头一年里,导师在没有显式不确定处理的情况下上线,我们看到代价都落到了对话记录里。学习者提了一个擦着导师能力边缘的问题——比如某条定理究竟在什么具体情形下失效——导师回了一段流畅的叙述,自信地断言了一个略有偏差的边界情况。学习者无从得知这是错的,便把它融进了自己的模型。两次课之后,等学习者真正撞上这条边界,他们得先把那个错的丢掉。丢掉是昂贵的。原初的误解廉价易产,而我们当时恰恰在大量制造。
不确定应该做什么
“我不确定”不应该成为对话的终点。好的不确定会说明缺少什么、哪一个假设需要验证,以及可以用哪个更小的问题继续。它把空白变成可工作的边界。
这三种模式,是把模型内在的不确定性转译成学习者能够有所行动之形态的不同做法。诚实的停顿,把不确定性变成时间:学习者获得片刻去想想自己是否同样拿不准,导师也获得片刻去思考。边界陈述,把不确定性变成认知结构:用平实的语言告诉学习者,模型的知识止于何处、臆测又从何处开始。询问用户则把不确定性变成协作:导师把学习者当作证据的来源,而不是答案的接收者。
三种模式并不互斥。在一次艰难的会话里,导师可以先诚实地停顿,再陈述边界,最后询问学习者已经排除了哪些选项。我们发现,顺序很关键:诚实的停顿应当排在最先,因为它为模型换来真正去思考边界的时间。边界陈述应当排在其次,因为它在模型思考之后最为有用。询问用户则应当排在最后,因为此时学习者已经看见边界,便能给出更有指向的回应。
承认不知道,是把判断权交还给学习者的第一步。
我们如何设计下一步
当证据不足时,导师会先缩小范围,再给出两条可选路径:提供一个可核对的定义,或邀请学习者写下自己的猜测。只有在上下文足够时,才会继续给出更完整的解释。
这便是我们上线时所采取的混合方案,但若工程时间无限,它并不是我们会重新设计的版本。混合方案本质上是一组启发式规则:若问题是事实查询(一段日期、一个定义、一条公式),导师完全跳过停顿;若问题是符合学习者当前水平的演练题,导师停顿 0.5 秒;若问题处于导师能力的边缘,或是话题结构本身的边缘,导师停顿 2.5 秒。这些阈值来自经验,是在 2026 年 3 月用一组 200 段保留转写调出来的。
我们继续观察什么
承认不确定也可能变成过度谨慎。导师必须既不掩盖空白,也不把每个简单问题都变成拒答。我们正在比较不同表达对学习者信心、追问质量和最终回忆的影响。
诚实的停顿在哪些情形下起了反作用,值得细说。一位学习者问:"法国的首都是哪里?"导师停了一下。学习者并不需要导师去思考,只好原地等着。这一停顿被读作困惑或迟滞,两种都不是学习者真正想要的。这里的教训是:承认不确定并非毫无代价。它具有社会成本,而这一成本只有当收益确实存在时才值得付出。一名对每个问题都停顿的导师,事实上是在告诉学习者:每一个问题都很难,而那是一种失准。
诚实的停顿在哪些情形下最有助益,同样值得细说。一位学习者问:"在 Scala 的 for 推导式里引入副作用,这种写法是否也曾成立?"这是一个落在话题边缘的问题。导师停了一下。学习者原本准备好接一句不容商量的"绝无此事",这一停顿给了他们片刻去琢磨自己的看法。导师随后回应:"我认为社区共识是不该,但这条边界是模糊的,确实存在一些用到的情形——我先讲讲我所见过的几类,你再告诉我它们是否契合你眼下要做的事。"这一停顿把原本可能沦为一句断言的回应,变成了一场小型协商,而协商带出了一个更有用的答案。
数据说明了什么
62 段被审查的会话产生了 214 个可能出现事实错误的回答片段,导师在大约一半的回答前标明了信心边界:
回答片段 · 214
2026.02 · 数学 / 编程 / 历史最后一行改变了我们的设计:只标明边界会得到诚实的回答,但会话会停滞;在边界后附上一步——来源、验证或更小的案例——才能产生真正有用的追问。
关于"错误被抓住"的注释
它指的是:在被审查的会话中,导师真正注意到自己出错并加以纠正的比例。被审查的会话来自 2026 年 2 月生产转写中的一个分层抽样。抽样会话中的错误率为 14%,与我们日常质量审计的结果一致。"错误被抓住,标出边界"意味着导师抓住了错误,并指明了导致该错误的边界条件。"错误被抓住,未标出边界"则意味着导师抓住了错误,却没有指明边界。从 61% 到 27% 的差距,正是边界陈述的价值所在:抓住错误却不指出边界,只给学习者带来不大的提升;抓住错误并指出边界,则带来大得多的提升。
关于"有用追问:边界 + 下一步"的注释
它指的是:学习者在收到导师的回应之后,发出与话题相关、并承接导师上一条信息的追问所占的比例。说到底,我们所优化的,就是追问。能催生追问的辅导课,才算在做本职工作;只剩沉默的辅导课,则不是。64% 是三个数字中最高的那个,也是支撑我们这一设计决定的那个数字——每当标出边界时,都附上一步。
"边界 + 下一步"这一结论的干净程度,出乎我们的预料。我们原本以为下一步只是在边界陈述的收益之上再叠一层小幅提升。我们没有料到,下一步带来的是一个巨大的额外提升,比仅有边界的情形高出约 37 个百分点。最可信的解释是:下一步给了学习者一件可做的事,而"可做的事"是追问的前置条件。一位被告知导师的知识止于何处、却未被告知下一步该尝试什么的学习者,是一位必须自己琢磨下一步走法的学习者。一位被告知知识止于何处并且被告知下一步该尝试什么的学习者,则是一位已经被交到下一步走法的学习者。
测量方法
从 2026 年 2 月的数学、编程、历史生产日志中取样并匿名化。两位评审员对每个回答片段编码:是否标明边界、是否附带下一步、学习者是否抓住错误或提出追问;分歧由第三人裁定。模式在三个学科中都成立,编程中最明显。
编程中的效应最大,回想起来并不令人意外。编程是一门边界条件最为清晰、却也最容易被错置的学科。一位正在琢磨 Python GIL、JavaScript 事件循环、或 Rust 借用检查的学习者,正在触碰一些模型最容易敷衍过去的精确边界。敷衍读起来像自信,自信读起来像知识,学习者最终带走的,是一张难以撼动的错误心智模型。在编程领域,边界陈述是我们手中最具价值的单一项干预。
这一模式在历史中也成立,这让我们颇为意外。我们本以为历史会是边界陈述最少用武之地的学科,因为历史中绝大多数"事实"其实只是诠释。数据却给出了相反的答案:在历史会话中收到边界陈述的学习者,催生有用追问的比例与编程中的学习者几乎相当。最可信的解释是:边界陈述之所以有用,不在于它告诉学习者真相止于何处,而在于它告诉学习者模型的确定性止于何处。后者在每一门学科里都有价值,哪怕是在那些底层真相本就模糊的学科里。
关于评审员规模的注释
我们在整项研究中使用的是同一组三位评审员。每位评审员都看过每一段会话。评审员间的 κ 系数为 0.79,对这一类标注工作而言是可接受的。偏低的 κ,部分源于一道本就模糊的边界——"导师标出了边界"与"导师说出了可被解读为边界的话"之间。研究的途中我们修订了评分准则,要求边界必须以特定句法形式出现("边界是"、"这种情况在……时就不成立了"、"我对……并不确定"),后半个研究里的 κ 系数被提升到了 0.84。
下一篇预告
回到研究索引
这个系列以一个开放问题收尾:边界标记的合适阈值在哪里。我们会继续追踪长期信任与回访,并按季度公开全部数据,包括负面结果。
研究局限
有三点局限值得点明。62 段会话、214 个片段,足以看见一种模式,却不足以按学科校准它。评分者知道研究的问题,会话是从日志中抽样而非随机分配的。而我们研究的边界是导师选定的;模型校准出的置信度是否会画出同样的边界,是一个开放、而且我们怀疑更为重要的问题。
开放问题
边界标记多少算太多?学习者是否会长期信任一个经常表达不确定的导师,还是最终对其免疫?模型校准的不确定性与导师选择的不确定性哪个更重要——也许“标记哪些边界”比“怎么说”更关键。
“多少算太多”这个问题,是我们最担心的那个。一名对每个回答都标出边界的导师,事实上是一名不对任何事做出承诺的导师。来求答案的学习者,得到的只是一连串留白。留白是准确的,但并不是学习者想要的东西。当前的生产行为是:只有在模型校准的不确定性越过某个阈值时,才标出边界;阈值是经过调校的,却并不具有原则性,我们也清楚自己是在对一个移动的标靶做优化。
长期信任的问题,是我们手上数据最少的那个。我们掌握一点证据:第一个月就频繁遇到边界陈述的学习者,在第六个月时留存率更高,背后的解释是,他们对导师“知道什么、不知道什么”建立起了更准确的模型。这种更高的留存率能否转化为更高的回访率,我们尚不得而知。下一项研究会把回访作为首要结果来测量。
“校准”与“选择”的争议,是我们内部讨论得最多的那个。模型校准的不确定性,是模型本来就拥有的那个数字——也就是模型分配给自身答案的概率。导师选择的不确定性,则是一组由人工策展、要求模型必须指出的边界集合。我们当下的生产系统是一种混合:模型可以在校准不确定性越过阈值时自由指出任意边界,但也存在一小撮无论校准值为何、都会被指出的边界(前文提及的 GIL 便是其中之一)。这种混合是务实的;至于两种纯粹的策略孰优孰劣,我们至今没有答案。
还有一个我们尚未着手研究的第四个开放问题:边界陈述的价值,是否取决于学习者与导师之间既有的关系?已经上过十节课的学习者,可能把一句边界陈述理解为“导师正在谨慎”,而首次会话的学习者,则可能把同一句话理解为“导师不懂”。措辞关系重大,而我们手上尚无关于如何措辞的数据。
参考文献
- Graesser, Person & Magliano (1995). Collaborative dialogue patterns in naturalistic one-to-one tutoring. Applied Cognitive Psychology, 9(6).
- Aleven & Koedinger (2002). Learning by doing and explaining with a Cognitive Tutor. Cognition and Instruction, 20(2).
- Lichtenstein, Fischhoff & Phillips (1982). Calibration of probabilities. In Judgment under Uncertainty, Cambridge University Press.
- Koriat (1997). Monitoring ones own knowledge during study. Journal of Experimental Psychology: LMC, 23(1).
