技术
摩根大通和高盛在人工智能计划中优先考虑安全性
在Evident AI研讨会上,摩根大通首席信息官Lori Beer强调,安全与风险管理是该行加速应用人工智能的核心,包括其支持1,000个业务应用、被20万名员工使用的LLM Suite平台。高盛首席信息官Marco Argenti则指出了让AI智能体符合企业标准的挑战,并指出智能体具有随机性,可能会出现不当行为。两位领导者都强调需要强有力的控制措施、动态防护机制,并在风险与创新之间取得平衡。摩根大通已从统计用例数量转向以50项战略举措来衡量切实的业务价值。高盛与Anthropic合作引入前置部署工程师,谷歌、微软和AWS也采用了这一模式。

纽约 – 摩根大通加快了人工智能的应用,构建了其 LLM Suite 平台以支持 1,000 个业务应用。但对于该银行的首席信息官 Lori Beer 来说,安全始终是第一位的。
“我们必须确保安全,确保我们管理风险的方式,是我们所做一切的核心,”Beer 周四在 Evident AI 研讨会上表示。
Beer 的此番言论是在 首席执行官 Jamie Dimon 表达担忧 之后发表的,他担忧的是失控的智能体以及该银行禁止外部智能体在其环境中运行的举措。
在整个金融服务行业,领导者们正在努力应对人工智能的安全影响,尤其是随着技术的演进和智能体的激增。高盛首席信息官 Marco Argenti 表示,使智能体与企业标准和政策保持一致仍然是首席信息官们面临的一项关键挑战。
“你必须接受任何智能体都可能行为不当这一事实,”他说。“它们不是确定性机器,而是随机性机器。”
Beer 表示,技术领导者需要了解智能体在业务环境中运行的风险。她说,身份和访问管理、特权访问以及环境隔离等基础技术控制措施需要达到“一流水平”。技术领导者还需要考虑安全控制措施,“当你将软件从确定性世界转移到非确定性世界时,它会开辟新的风险路径。”
“我们将从一个核心的智能体构建平台开始,”Beer 说,将开发集中化以管理风险,并允许以自主方式大规模实施控制措施。她表示,实时动态实施防护措施和评估存在复杂性,而这正是该银行正在努力实现的目标。
“这是确保你适当平衡风险与创新取舍的最重要时刻之一,”她说。“我们希望快速推进,但有时我们必须退后一步以落实控制措施。技术发展已经超越了管理它的能力。”
这并非摩根大通首次为了落实控制措施而实施技术暂停。
Beer 表示,摩根大通在 2022 年 ChatGPT 首次问世时便封禁了它,因为人们“不了解”潜在数据丢失的“风险”。这家银行业巨头在 Microsoft Azure 之上的私有云中建立了自己的生态系统,为数据科学家提供访问权限。这促成了 其 LLM Suite 平台的创建,Beer 表示,该平台有 200,000 名员工积极使用。
Beer 表示,LLM Suite 现在可以在“高度安全的摩根大通生态系统内完成编排的多任务步骤,我们对该生态系统中的数据以及数据的使用方式充满信心”。
尽管高度重视安全,但 AI 成本管理 和创造业务价值也是 Beer 最关注的事项。她表示,编码助手占该银行 token 支出的大部分。
Beer 表示,摩根大通已从统计用例数量转向由业务部门负责的 50 项战略举措,以此作为衡量切实价值的方式。
“我们有责任确保我们所做的投资最终转化为——不是纸面上的商业案例——而是真正的业务增长、真正的业务成果,这就是我们正在走的旅程,”她说。
引入前置部署工程师
随着智能体快速演进并推动各行业的重大变革,高盛 今年与 LLM 提供商 Anthropic 合作 ,成立了一家 AI 服务公司,将工程师嵌入中型企业以实施和扩展 Claude。
“显然,那些公司走在了你们前面,”Argenti 在周四的活动上表示。“为了学习和压缩学习时间,让实验室的人直接与你的团队合作是最好的培训方式。”
Argenti 表示,一旦员工从前置部署工程师那里学习完毕,该项目就会继续推进。
“这不是传统的顾问,”他说。“这是一种特定类型的合作,其职责是在尽可能短的时间内变得不再必要,然后转向下一个难题。你进来,确保团队练就能力,然后你就可以自行推进了。”
Anthropic 和高盛并非唯一押注 FDE 项目的公司。 谷歌, 微软 和 亚马逊云科技 正投入数十亿美元启动各自的项目,将专业工程师嵌入企业环境,帮助 IT 领导者扩展技术并突破瓶颈。
Argenti 表示,如果 IT 领导者坚持认为 AI 智能体可能导致意外结果,那么重点应该放在建立遏制措施和为智能体制定规则上,以及在智能体进行交易之前对用户工具设置关卡。