要防止此类险些引发军事冲突的“AI失控”事件再次发生，各国在将AI引入国防与安全决策系统时，必须建立更加严苛的校验体系，明确人对武器与战术决定的终极责任，确保人类理性和外交红线始终高于算法的预测与推演。–Google Gemini
北京和华盛顿在过去47年波澜壮阔的关系里，美国有几次行动极大地伤害了中国政府的尊严和中国人民的感情。这些行动包括1993年美国海军强行搜查中国货轮“银河号”、同年美国国会通过决议反对北京在2000年举办夏季奥运会、1999年轰炸中国驻南斯拉夫使馆和2001年海军EP-3侦察机在海南上空与中国的战机相撞。其中后两次事件造成的危机让当时双方双边关系的管控团队感到十分后怕。
最近，因为美国情报部门工作人员使用的AI助手出错，美国五角大楼险些在公海强行搜查中国一艘驶往中东的货轮。如果不是美军高层在行动之前对情报来源进行再次人工审核，中美之间肯定会爆发一次新的危机。
这个由CNN最早报道的AI事故的来龙去脉如下：
美军驻中东情报部门一名情报分析人员为了快速梳理中国商船的航运信息，将电讯情报（SIGINT）与公开的海事数据输入到一个AI助手模型中，要求其分析、总结这些信息并生成报告。该AI助手在处理海量且复杂的非结构化数据时发生了严重的“AI幻觉”（Hallucination），将正常的商业货物清单错判并虚构为“高度敏感的核武器组件”。
这名分析人员未能遵循严格的人工复核流程，而是再次使用AI助手将这一虚假结论格式化为符合美军军用标准的正式情报产品，并迅速呈报至战术指挥链。由于正式呈报的情报被标记为高风险违禁品运输，美军前线指挥官高度重视，并立即启动了战术应对预案。在短时间内，美军战机（包括F/A-18超级大黄蜂等）被派往目标海域上空，海空联合武装登船小组（VBSS）也进入临战状态，准备在目标船只驶入指定水域时实施强制拦截和登船搜查。
就在美军即将执行武装登船的前刻，五角大楼高级官员与专家对该报告的原始底层数据进行了突击人工审计。专家们迅速发现该评估毫无事实依据，结论完全来自AI模型的逻辑跳跃和虚构。军方随即下达紧急指令叫停了拦截任务，避免了一起可能导致中美两国发生直接武装对峙的严重事件。
凤凰网发文报道了9月20日中美先遣队在纽约举行长达近9个小时的会谈，并特别引用美国财政部长贝森特对媒体说的话—中美在会谈中谈到在两国建立针对人工智能的安全通报机制，旨在对可能上升至国家安全层面的AI潜在“突发事件”建立透明的沟通管道，也就是建立“AI热线”。贝森特还说，作为全球前两大人工智能强国，中美两国从“不透明”转向“增加透明度”，对于规避共同风险至关重要。
凤凰网的报道随后说，“美国既然提到了AI，就很容易让人想起，前不久美国军方与情报系统曾一度被AI生成的虚假情报与虚构报告严重误导，险些在敏感海域强行登上并检查中国船只。尽管这一行动在最后关头被紧急叫停，未引发严重后果，但很难不让五角大楼那边惊出一身冷汗。也不知道这是否符合美国定义的‘AI突发事件’。”
把相关信息输入谷歌的Gemini，它得出的教训是：“美军AI误判事件为生成式人工智能进入军事和情报应用领域敲响了警钟。它揭示了军事智能化过程中的核心矛盾：在追求情报处理速度与效率的同时，若缺乏严密的人工复核机制（Human-in-the-Loop）与技术验证门槛，高精尖的AI工具极易变成制造重大危机的“放大器”。要防止此类险些引发军事冲突的“AI失控”事件再次发生，各国在将AI引入国防与安全决策系统时，必须建立更加严苛的校验体系，明确人对武器与战术决定的终极责任，确保人类理性和外交红线始终高于算法的预测与推演。”
这个人工智能得出的结论凸显中美两国首脑在2024年11月的峰会中达成的不允许AI进入是否使用核武器的决策过程的重要意义。难怪有很多人将今天中美的AI竞赛比作当年美苏的核武器竞赛；更有很多美国专家说，如果本周四举行的峰会美中仅在AI模型测试、安全管控和事件通报方面达成共识，那就可以说这次峰会是一次极为重要和成功的峰会。
