Volckano 与汇讯智联开展战略合作
火翼人工智能VOLCKANO
联系我们

AI同意你,算不算真正的第二意见?

一项新研究让人们先自己答选择题,再在AI助手的帮助下答一次。用较强的AI(GPT-4o)时,人和AI一起答对了85.1%,AI单独答对了88.4%,人自己答只有60%。AI帮了大忙,团队却还是比不上AI单干。作者的解释里有一部分讲的是共同证据:你和AI看同一份材料时,它的同意像是第二个意见,但可能只是同一个意见被算了两次。

研究做了什么,发现了什么

论文是《AI辅助分类中的相关性忽视与信任》,作者Kong、Lyu、Amin、Bennouna、Huttenlocher、Ozdaglar,是来自麻省理工学院和西北大学的六位研究者(arXiv 2611.05870,2026年11月4日发布)。这是预印本,我们还没核实它的同行评审状态。第一部分是一个数学模型:人和AI各自掌握一些证据,其中一部分是共同的。第二部分重新分析了另一个团队早先的答题研究ChatBench:网上的众包答题者回答数学、物理和道德推理选择题,先自己答,再配一个AI(GPT-4o或较小的Llama)答。作者没有收集新数据,分析用了315人、389道题、2199组配对答案。这是答题测验,不是真实工作场景。

理论部分说,如果一个人把共同证据算了两次(研究里叫“相关性忽视”),“更强的AI可能让团队更不准确”;而清楚哪些是共同证据的细心人,至少和任何一方单干一样好。数据部分:两种AI合起来看,人自己答对61.2%,有AI帮忙后是82.4%,提高约21个百分点。用较小的AI时,团队79.5%,AI 78.7%,基本持平。AI单干的分数是多次作答的平均,不完全是每个人看到的答案。数据里最清楚的问题,方向正好相反:按作者估计,人给AI的分量只有细心的人应给的四分之一左右。一个更多听从较强AI的规则,在旧答案上能把团队从85.1%提高到87.7%,但这只是对过去答案的模拟。作者还提醒,这些数字未必适用于医学或用人决策。

证据有多扎实

结论:理论扎实,数据偏弱。可以引用它的想法,别引用它的数字。

我们的小实验

我们做了一个模拟,案例都是虚构的,测什么在运行前就写好了。人答对的概率是70%,AI是85%,AI也读过的人方证据比例从零调到全部。比较三种合并方法:只算一次共同证据的细心人、重复计算的人、重复计算再多问一个单独答对70%的新来源。每种重叠程度跑十轮,每轮二十万个案例。

没有重叠时,两种方法都答对87.7%,高于AI单干的85%。重叠到70%起,重复计算就不如直接听AI;完全重叠时只有83.6%,差1.4个百分点。它还变得过度自信:完全重叠时平均自称有将近88%的把握,多自信了约4个百分点,人和AI意见一致时多了5.5个百分点。加一个新来源后升到86.5%,但仍多自信约3个百分点。在这个设置里,只要AI比人强,重复计算就没有比人单干更差。这是对想法的检查,不是重做论文。

可以怎么用

当读同一份材料的AI同意你时,先问:它看到了什么、想到了什么我没想到的?如果没有新东西,就去找另一份来源:贷款申请之外的还款记录,简历之外的工作样本或背景调查电话,理赔照片之外的现场查看或维修发票。然后把每个来源写在决定旁边。这在核保、人才筛选、理赔、审计和质检这类以复核为主的工作里最要紧。办法不是简单地多信或少信AI,而是弄清每个来源到底看到了什么。

观看完整讲解

本文由广州火翼人工智能科技有限公司发布。转载或引用请注明来源并链接本页。 https://volckano.com.cn/media/ai-second-opinion-shared-evidence

从一个小试点开始。

告诉我们要解决的事,我们先判断值不值得做。

联系我们