纽约——在各大企业为采用人工智能技术投入巨资之际，模型路由正逐渐成为企业控制人工智能成本的关键工具。

美国银行计划将其人工智能预算 翻倍 ，重点是对其人工智能金融助手Erica进行更高级对话的分流处理，该行首席技术和信息官Hari Gopalkrishnan表示。美国银行还在努力提升该人工智能工具的机构记忆能力和执行更复杂交易的能力。

Gopalkrishnan在上周举行的Evident AI研讨会上表示，更高级的能力需要由更先进的人工智能模型来支撑，但并非每一次交互都需要如此。他说，该行的人工智能路由层Orchestra使用一个小型分类器模型，将查询路由到最具财务效益的模型。

他表示，管理token支出并通过Orchestra路由到低成本模型，对该行而言是一项重要且 有效的成本管理策略 。

“我们不想受制于任何特定的模型，”他说。“我们希望保持灵活性，利用现有的小型语言模型和现有的微调模型。我们完全预期到——事实也证明——存在一些更简单的分类器模型，能够完成非常简单的决策任务，你不需要为此使用大型语言模型。”

该行首席企业人工智能官兼首席科学家Prem Natarajan表示，更小的微调模型也让Capital One受益匪浅。

该行将其开放权重模型蒸馏为更小的模型， 用于支持Chat Concierge，这是一个帮助购车者完成购车流程的多智能体应用。Natarajan在活动上表示，更小的模型帮助Capital One将延迟降低了五倍，并将经销商的客户参与度提高了50%。

供应商也在添加自己的 模型路由工具和功能 ，以帮助企业管控输出质量和成本。例如，Snowflake在其Cortex AI Gateway中加入了动态模型路由功能，可自动选择合适的AI模型来处理特定查询。

智能体护栏与数据

加强AI智能体护栏 并保持数据就绪也是银行高管们最为关注的事项。

Gopalkrishnan表示，美国银行面向2027年的人工智能战略的一个关键部分，是高度受控的护栏机制，确保智能体在其分配的运行时间内工作，且不被允许自主完成多项任务。

“可观测性、遥测、能够形成反馈闭环，这些是我们正在发展完善的一些方面，”他说。

Natarajan表示，对Capital One而言，保持强大的数据基础将继续在支持该行的人工智能进程中发挥关键作用。他补充说，该行早年就迁移到云端现代技术栈并多年来运用机器学习，这让Capital One认识到数据对于挖掘洞察的关键性。

“我们拥有大量管理良好、精心整理的数据，”他说。

他表示，生成式人工智能和智能体提高了人们对数据生态系统需要达到何等就绪程度的期望。他说，虽然Capital One已在其基础数据层进行了大量投资，但该行将继续提升数据能力以支持人工智能。

“你在技术栈底层所做的工程和架构决策，要么会极大赋能、要么会极大限制你在上层所能做的事情，”他说。他补充说，如果部分架构需要重做，Capital One会毫不犹豫。

“我们会回过头去，从底层开始重建，”他说。