刚开始用 AI 的那阵子,你战战兢兢,每份产出逐字核。用了一个月,没出过错,开始抽着核。三个月,觉得它挺靠谱,扫一眼。半年之后,你不核了。
我自己用 AI 一年多,这个过程完整走过一遍。没有哪一天我郑重决定“从今天起不检查了”。它就是慢慢发生的,等你察觉,复核已经没了。
如果你的经历也差不多,先别急着自责。这件事在学术上有名字,有三十多年的研究积累,而且结论有点反直觉:越是可靠的系统,越容易把你的复核偷走。
一、这件事有名字
人因学领域被引最高的文献之一,是 Lee 和 See 2004 年发表在《Human Factors》上的信任校准研究。核心命题一句话:人对自动化系统的信任,目标不是越高越好,而是校准——信任水平应当与系统的真实能力相匹配。信任过高,会误用;信任过低,会弃用。
他们没有提出“信任漂移”这个词,我先把这个学术归属讲清楚。校准失准、过度信任,是它的学名;“信任漂移”是我自己起的名字,方便记忆。名字是我的,机制是学界三十年的共识。
这个机制里最扎人的部分是:信任上移的依据,恰恰是“它一直没出过错”。
1993 年,Parasuraman 和同事发表过一项航空自动化研究,发现一个反直觉的现象:恒定高可靠性的自动化系统,比可靠性波动的系统更容易导致漏检。也就是说,让人放松的不是风险消失了,是安全记录本身。风平浪静的日子,正是警惕松动的时候。
2010 年那篇被引两千多次的权威综述,把这一类现象统一命名为“自动化自满”。注意它的含义:这不是懒惰,不是态度问题,是人对自动化监控任务的注意力分配在系统性下降,自动化越可靠,下降越快。
Hoff 和 Bashir 2015 年整合信任研究时补了一个重要的分寸:习得性信任随使用经验上升,本身不是错。错在信任越过了系统能力的边界,而你不知道边界在哪。
二、证据和卖家
落到 AI 上,近两年的证据在往同一个方向指。
微软研究院和卡内基梅隆的团队去年在 CHI 会议上发表了一项调查:三百多名知识工作者,九百多个真实的生成式 AI 使用案例。结论读起来有点扎心:对 AI 越有信心的人,投入的批判性思考越少。要说准一句:这是自我报告的调查,测的是“感知到的投入变化”,不是行为实验;但它的方向和三十年的自动化研究完全一致。
比研究更有画面感的是厂商自己。xAI 去年八月发布 Grok Bot,官方页面上引用了一条用户评价,原话翻译过来是:我感觉效率翻了两三倍,因为它干活不需要我核实和审查。
把“不复核”当卖点,写进官方文案。这句话放在自动化研究的语境里读,等于厂商在替你完成那个漂移过程。
而律师这行,还有一个自己的放大器。
AI 的产出,格式越来越漂亮,术语越来越地道,结构越来越像那么回事。形式上的专业感,会被大脑当成质量信号。可“像一份好文书”和“是一份好文书”之间,可能差着一个要件、一个时效、一个管辖。你扫的是格式,漏的是内容——形式不会骗你,但形式会骗过你的复核。
三、防线不能建在自觉上
怎么破?我的答案可能让人泄气:不要指望自己“永远保持警惕”。
研究自动驾驶法律的学者郑志峰提过一个概念,警戒递减:人无法长期保持注意集中,“全程监督”式的义务设定,本身违反人类生理本能。民航业几十年前就承认了这一点,所以飞行员的复核从来不靠自觉,靠检查单。
律所层面同理。把复核从“我提醒自己要核”,变成“流程要求我必须核”,至少两件事现在就能做。
第一,把信任校准变成显性动作。《法学家》2025 年第二期上,杨宁研究自动驾驶安全员责任时提出“信赖相当性”的三要素——人的因素、系统的可靠性、人机交互的信任修正。要声明:这是刑法教义学概念在自动驾驶语境的讨论,我把它类比移植过来,改成了三个自查问题:这个任务的难度,匹配我的能力吗?这个系统的可靠性,可预测、可解释吗?它一旦出错,后果我承担得起吗?三个问题过一遍,信任就校准了一次。成本一分钟,值得。
第二,复核固定成流程节点。凡对外提交的文书,AI 初稿和终稿之间,必须有一个留痕的人工核改环节。不是心里核一遍,是做了没有、做在哪,看得见。经手人、核改内容、时间,三样落在记录里。
顺带说一个行业底线。汤森路透今年二月的报告调研了一千五百多名专业人士:百分之九十六认为 AI 替律师出庭是“过分的”,百分之八十三认为 AI 直接向客户提供法律意见不合适。这个行业给自己划的边界很清楚——AI 可以当助手,被信任的位置上必须是人。
而守住那个位置的办法,说穿了很笨:别让人工智能替你养成“不看”的习惯。
作者简介: 陈石律师(主页 chenshi.ai),浙江海泰律师事务所副主任、高级合伙人、房地产与建设工程部主任,宁波市律师协会副秘书长、第七届宁波仲裁委员会仲裁员,聚焦建筑房地产、投融资、并购重组及商事争议解决。曾获多家法律媒体与专业机构认可,荣登 LegalOne 2025 中国区建工及房地产实务先锋 45 强、律新社 2025 年度管理合伙人 20 佳(华东),入选《商法》The A-List 法律精英,获评 ALB China 区域市场十五佳长三角地区律师新星,并获律新社 2024 年度并购领域品牌之星。长期为万科、华润置地、信达地产、保利置业、招商蛇口、中海地产等企业提供法律服务,承办“首宗百亿地王”“长春第一高楼”“台州第一高楼”等代表性项目,累计服务项目投资额超千亿。近年来持续推动 AI 与法律实务融合,强调以结构化方法打通技术逻辑、法律判断与商业场景;著有《赋能法律人:AI 底层思维与应用范式》,并在多地开展相关主题讲座与分享。