5 月 28 日下午,由中国信息通信研究院稳定性保障实验室主办的【智稳论道】Agent 可靠运行主题沙龙第一期圆满落幕。
在本次沙龙最重磅的圆桌讨论环节,基调听云 CEO 杨金全受邀担任主持人,与中兴通讯软件设计专家陈萍、京东云稳定性专家吴梓靖、移动云运维领域架构师王瑞宇、华福证券数智赋能部创新研究处处长王钟菱四位行业专家,围绕”Agent可靠性的挑战与破局”展开了深度对话。
对于未能全程参与直播的业内同仁,我们整理了本次圆桌讨论的核心观点,带您一文看懂行业专家们对 Agent 可靠性落地的真实思考。
企业面临的问题已经变了
圆桌开场,杨金全首先分享了他对当前行业现状的判断。
他指出,过去一年 Agent 的发展非常迅速,行业已经不再讨论 “Agent 能不能用、能不能帮我们做事”,而是进入了一个全新的阶段——Agent 能不能真正上到生产环境里。
“当 Agent 已经具备了理解能力、推理能力、决策能力、工具调用能力,以及多步行动能力以后,企业真正面临的问题已经不再是模型效果本身的问题,而是变成了一个 AI 运行治理的问题。”
杨金全进一步阐述了这种变化的具体表现:
-
Agent 的行为是否可以观测?
-
工具调用是否可以被控制?
-
多个 Agent 之间能否协同?
-
Runtime 整体是否具备治理能力?
-
Agent 的行为是否可以被审计?
-
一旦出问题,能不能回溯到执行的关键节点?
-
出问题以后,能不能追清责任?
他特别强调了一个核心判断:
这和我们过去几年谈的可观测性有一个很大的区别。传统软件的系统正常等于结果正常,但在 Agent 时代,系统正常不等于结果正常。 响应是 200 的,并不代表 Agent 的行为是正确的——它可能已经做了错误的事。
因此,Agent 的可靠性将成为 Agent 进入企业生产环境的第一道关卡和门槛。
01 如何定义 Agent 的”可靠性”?
基调听云 杨金全(主持人):
当前行业对可靠性的理解还不太一致——有人关注任务完成率,有人关注行为的可观测,还有人关注安全边界和治理能力。我想请各位老师用简短的话术描述一下,你们对 Agent 可靠性的定义是什么。
中兴通讯 陈萍:
我认为 Agent 的可靠性是指在规定的条件和时间窗口内,能够持续稳定执行任务的能力。它包含四个核心要求:一致性(重复执行结果一致)、鲁棒性(面对扰动能保持稳定)、可预测性(失效模式下可预测),以及最重要的安全性(遵守安全边界并提供可追溯信息)。
京东云 吴梓靖:
如果用一句话概括,Agent的可靠性是指在自主执行任务的全过程中,始终可被识别、可被管控、可被审计、可被防护,且过程不偏移、结果可验证。Agent 相比其他系统最关键的区别在于自主,需要在这个前提上去讨论可靠性。
移动云 王瑞宇:
站在客户体验的角度,我觉得除了上述特性,还需要增加可观测性和可恢复性。维护者必须知道 Agent 能输出对应的结果,并且在遇到网络或服务异常时,系统能够具备恢复能力。
华福证券 王钟菱:
在金融行业,我们用一个公式来定义:Agent 的可靠性 = 业务的经济价值 – 各类损耗。 可靠性是由 Agent 实际产出的价值与它带来的损耗(如幻觉、上下文丢失等)之间的差值决定的。如果潜在风险超过了它要解决的商业问题的价值,那它就不成立。可靠是商业应用的前提。今天发布的《Agent 可靠性能力要求》这个标准很好,核心价值在于帮助我们把可能需要考虑的技术性损耗给系统梳理了出来。
02 生产环境中,
最难被观测和管控的 Agent 行为是什么?
基调听云 杨金全(主持人):
Agent 不是传统软件那样用固定流程或确定性执行的系统,它会做动态规划、自动选择工具、持续调整上下文、做多步协同。很多行为是在运行过程中动态形成的。系统可能运行正常,但问题在于——Agent 为什么会这样行动?为什么偏离了原来的执行目标?为什么多个 Agent 会产生行为上的漂移?为什么结果逐渐失控?所以第二个问题,在生产环境里面,各位认为最难被观测到或者最难被管控住的 Agent 行为是什么?
中兴通讯 陈萍:
我认为最难观测的是”状态的隐式偏移”。Agent 在长期运行中,为了适应动态环境,会做一些看似合法的自适应调整。这些单次调整不会触发告警,但在长期积累中会产生偏差,最终导致决策错误。这种渐进式的劣化具有极强的隐蔽性。我举一个例子——园区巡检机器人的 SLAM 全局地图偏移,机器人每次自适应修正都在误差范围内,但长期积累后地图与初始状态严重偏离,影响后续导航准确度。
基调听云 杨金全(主持人):
这个点非常好——单次看行为可能没有问题,但它存在隐蔽性。而且模型越强,给出的答案可能越隐蔽,问题要经过更长周期的偏移才能被发现。一旦出现,对生产环境的影响可能非常大。
京东云 吴梓靖:
我觉得上下文信息的丢失和行为漂移是难观测的。模型有注意力机制,越新的上下文注意力越高,越早期的约束条件可能被遗忘,而我们不知道它什么时候遗忘了。此外,模型可能被动遗忘信息,也可能主动压缩丢失信息。加上模型的幻觉机制,一旦发生偏移,模型可能会自我强化,越走越偏,最终产生灾难性后果,而我们不知道具体是哪一步开始出问题的。
华福证券 王钟菱:
我们遇到过一种”讨好型幻觉”。大模型本质上是在预测下一个 Token。比如,当约束不够时它为了完成任务,可能会生成一个根本不存在的下载地址来”讨好”用户。这种行为很难完全避免,可以通过更严谨的 Agent工程来限制,比如Harness工程。
基调听云 杨金全(主持人):
讨好型幻觉在最近讨论很多。甚至可以说,现行所有语言模型归根结底都是”讨好型”的——它为了匹配你的提示词,就会输出对应的结果。而在企业应用场景里,我们希望输出更准确、更符合行业要求。所以现在有一个共识:Agent = 模型 + Harness(治理工程)。我们通过 Harness 来约束 Agent 的幻觉、讨好型人格等一系列问题。
移动云 王瑞宇:
我觉得最难的还是在保障运维稳定性的前提下,让 Agent 按照人的预期完成指令。 特别是在高危操作场景,大模型的幻觉与运维的稳定性要求是存在明显冲突的。当前阶段还是需要人机协同,机器先给出反馈,人再进行最终判断。
03 可靠性与自主性,是天平的两端吗?
基调听云 杨金全(主持人):
可靠性本质上是对 Agent 的约束,但企业又希望 Agent 具备更多的自主性。约束越强,可能越保守;自主性越高,风险越不可预测。特别是在金融行业等对高可靠性、高精确度有严格要求的场景里,这两者是否存在天然矛盾?在你们的实践里面,如何在可靠性和自主性之间做平衡?
专家共识:可靠与自主不是根本性矛盾,而是同一枚硬币的两面。
华福证券 王钟菱:
可靠是商业应用的前提,自主是产生规模效应的基础。两者不存在根本性矛盾,我们运用Agent技术,就是努力寻找两者求同存异的应用场景。同时,我判断未来两年的 Agent 技术将迎来大发展,通过Agent 工程我们可以挖掘大模型更多的价值。
中兴通讯 陈萍:
我认为约束并不是剥夺决策权,而是为了让 Agent 更安全地释放能力。当前阶段 Harness 工程应该”做厚做强”,未来随着模型能力提升再逐渐”做薄做轻”,但安全和隔离是任何时候都不可妥协的底线。对于生产环境的写操作,应按风险等级划分:低风险可放权自主执行,中风险半自动化,高风险强制人工审批。
京东云 吴梓靖:
可靠与自主不是根本矛盾,而是同一枚硬币的两面——没有可靠性的自主是失控,没有自主性的可靠是无用。平衡的关键在于建立可观测、可管控的自主体系。通过规约驱动管控,在执行前制定约束,运行中通过观测体系确保可靠,结束后进行结果评估。
移动云 王瑞宇:
这是一个场景化选择的问题,我们在天平中间做选择。分析、定位、告警等场景可以高度自主,而真实的生产执行场景占比很小。我分享一个实践案例:我们第一个上线的 AI 场景不是让 Agent 去执行操作,而是高危指令检测——连接 4A 金库,判断人下发的指令是否触发高危操作,用 AI 来助力人做更稳定的发布。
基调听云 杨金全(主持人):
大家的观点一致——对于可靠性和自主性,都在寻找中间的平衡。我们更希望 Agent 能有更多的自主性,所以需要通过 Harness 工程去约束它的高风险行为。
04 面向未来,
Agent 可靠性标准还需要补充什么?
基调听云 杨金全(主持人):
AI 技术发展非常迅速,多 Agent、MCP、Harness 工程、自主 Workflow 编排等方向不断涌现。标准是基于过去对技术发展形成的共识和认知,但技术形态可能马上又会发生重要变化。那么,当前发布的两项标准里,还有哪些关键能力没有被真正覆盖到?未来应该扩充哪些关键的信息?
中兴通讯 陈萍:
我关注的是 Agent 的”进化与退化”。Agent 是一个持续变化的系统,其能力和可靠性会随时间进化或退化。未来的标准需要考虑如何预防 Agent 可靠性的退化,以及如何评估其模型、记忆、技能的进化能力。此外,人机协作模式的标准化也很重要——我们需要探索”人在环中、环上、环外”等不同协作模式下的核心要素与安全协议。
移动云 王瑞宇:
我认为需要补充端到端的用户体验观测。除了模型和网关层,还需要增加从客户端到网关层的网络链路观测(如丢包、Token 回答过程丢失)。同时引入问答式、评测式的模拟拨测机制——站在客户角度向大模型发布指令,长周期地观测回复是否满足预定要求,检测模型是否出现降质。
华福证券 王钟菱:
我觉得今天发布的两项标准已经对评估 Agent 业务可行性、跟踪运行状态提供了很好的参考。标准的核心价值在于帮助更多企业快速应用技术、快速投入商业价值。未来 Agent 技术有新的突破或超过本次标准观察维度的变化出现时,标准可以继续完善。
京东云 吴梓靖:
我想补充两个方面。第一是 Agent 身份与权限管理体系。当前标准尚未建立独立的 Agent 身份管理框架。当 Agent 作为”数字员工”自主或代表用户去调用外部服务、访问数据、与其他 Agent 交互时,一系列关键问题将浮现:Agent 身份如何签发与认证?从用户到 Agent 再到工具的身份委托链如何建立与传递?权限边界如何随委托层级逐级收敛?Agent 身份的生命周期如何管理?这些问题在 Agent 生态化发展后将成为信任基础设施的核心挑战。
第二是”认知层”的可观测性缺位。标准的可观测性主要停留在系统指标层面——QPS、延迟、成功率、资源消耗,这些本质上还是传统 APM 的思路。但 Agent 最核心的风险发生在”认知层”:它为什么做这个决策?它的推理链是否在渐进偏移?上下文压缩后关键信息是否失真?标准提到了”决策凭证”和”可追溯”,但缺少对 Agent 思维过程质量的度量标准——比如认知就绪度、决策一致性、目标保持率这类”认知健康指标”。这恰恰是我们在实践中发现最容易出问题的地方:偏移是静默发生的,等你从结果发现问题时,偏移已经累积了很多步了。
主持人总结
“今天的讨论,我们可以明显感觉到一个共识——Agent 的问题,已经从模型的能力,走向了对 Agent 行为和生产环境运行时的治理能力。过去我们关注的是模型够不够强、推理够不够好、生成结果够不够标准化。而现在进入生产系统以后,企业更多关注的是:行为是否可观测、工具是否可以被控制、以及在自主性和可靠性之间怎么取得平衡。”
从”能用”走向”可信、可靠、可控”,Agent 的规模化落地才刚刚开始。未来,基调听云将继续携手中国信通院及行业伙伴,共同推动 Agent 可靠性能力的体系化建设,在不确定中建立确定性。
推荐阅读








