信用合作社
Navy Federal 的合成数据试点:会员研究的前景与局限
Navy Federal Credit Union 与 Qualtrics 合作开展试点,将会员研究中的合成数据与传统人工小组进行对比。测试发现,合成回答在功能性问题上与人工回答高度吻合,平均得分差异在 0.25% 以内,但在效率和财务收益方面权重过高,同时低估了同理心。合成数据还减少了默许偏差和社会赞许性偏差。然而,合成回答在情感细腻度方面表现不佳,在跨行业信任度上的辨别力也较弱。专家建议将合成数据用于补充而非替代人工研究,尤其适用于难以触达的受众和快速反馈场景,而情感色彩浓厚的话题仍应保留人工小组。

现役军人事务繁忙。他们很少有闲暇时间,更难得的是愿意把空闲时间用来回答问卷调查。
这对海军联邦信用合作社研究战略助理副总裁凯瑟琳·迈尔斯来说是个难题。这家金融机构专门服务于军人、退伍军人及其家属,需要会员反馈来了解如何最好地满足他们的需求。
对于分析难以触达群体的研究团队而言,合成数据——即人工智能生成的、旨在模拟真实世界的数据——是一个颇具吸引力的替代方案。
研究团队已经在使用合成数据,而且兴趣只增不减。Qualtrics 发现,41% 的市场研究人员正在 使用合成数据 来补充或替代人类受访者,62% 的受访者表示他们打算使用合成数据。
“现役人员真的非常非常难找到,”迈尔斯说。“一旦你确信背后的模型已经过适当调校,能够利用它来获取快速反馈或更大规模的反馈,我认为这对我们来说是一个巨大的机会。”
这家信用合作社与 Qualtrics 合作开展了一个试点项目,以了解合成数据与第三方人类样本库相比表现如何。
“我们的初衷就是真正去测试和学习,而不是带着一些用于决策的可靠[关键绩效指标]离开,”迈尔斯说。“这确实是关于创新的。”
合成数据有诸多好处——它能节省时间、减少偏见,成本也更低。但这项技术是否已准备好投入实际应用,在专家中仍存在争议。
对迈尔斯来说,这取决于合成数据被用于什么目的。
“关键是要明智地判断在哪里使用它,”迈尔斯说。“我们发现合成数据非常擅长做出理性判断,回答非常功能导向的问题。但当涉及情感时,就会变得稍微棘手一些。”
海军联邦和 Qualtrics 的发现
海军联邦和 Qualtrics 使用合成数据来测试普通人群对信任和金融服务的态度,以评估一个潜在的信用卡套餐。虽然这家金融服务提供商看到了为其军人群体使用合成数据的潜在好处,但它希望在初始测试中采取更广泛的方法。
该试点旨在确定传统回复与合成回复之间的相似程度、差异领域、时间和成本节省情况,以及是否会——以及多久会——得出相同的决策。
海军联邦提供了一份调查问卷,并与 Qualtrics 一起进行了审查和修订。随后,Qualtrics 将问卷投放给 501 名传统第三方样本库成员,并利用该问卷模拟了 498 份合成回复。
在所有问题上,人类回复与合成回复表现出一致性。两组之间的平均分差异在 0.25% 以内。
但也存在差异:合成回复更倾向于在效率或财务利益方面给出过高权重,但低估了对同理心的需求。
另一方面,Qualtrics 发现,合成数据可以减少人类偏见。李克特量表问题——即要求你在一定量表上表示同意程度的问题——往往存在默许偏差,即无论人们是否真正同意,都更可能表示赞同。
人们也容易受到社会期望偏差的影响,这使他们更可能避免承认有风险的行为。合成回复则提供了更具区分度的回答。
人们表示他们不愿申请信用卡,因为担心被拒绝
在试点中,合成数据和人类受访者被问及他们在多大程度上同意以下陈述:“我不愿申请信用卡,因为我可能会被拒绝。”这样的问题很可能同时受到默许偏差和社会期望偏差的影响。海军联邦发现答案存在 20 个百分点的差距,41% 的人类受访者表示同意,而只有 21% 的合成回复表示同意。
迈尔斯说,使用合成数据,“在社会期望方面的偏差更少。他们在回答时可能更诚实,没有羞耻或尴尬的感觉,所以如果涉及敏感话题,你可能会得到一些非常坦率的回答。”
合成数据的挑战
人类并不总是理性的。他们受情感和冲动驱动。而这正是合成回复有时跟不上的地方。
虽然合成数据可能擅长减少偏见,但它们在反映人类情感以及这些情感如何影响行动方面并不那么准确。
以试点调查中对各行业信任度的回复为例。合成回复更倾向于信任所有行业,而人类受访者则在行业之间更具辨别力。
另一个存在较大差异的地方是消费者担忧。合成回复更倾向于将网络犯罪选为首要消费者担忧,24% 的合成回复选择了这一项,而人类受访者中只有 6%。然而,合成回复更接近 皮尤研究中心的研究 该研究显示,大约五分之一的成年人因网络诈骗或攻击而损失钱财。
合成数据提供逻辑性回复,但低估了情感
迈尔斯说,合成回复偏向效率或财务利益,但低估了情感。
“我们观察到,合成数据会对我们提出的问题提供更理性的回复,逻辑且有效地处理功能性权衡,”迈尔斯说。
贝恩公司客户战略与营销业务成员安迪·皮尔斯也看到了同样的情况。
“我们发现[大语言模型]的一个特点是它们高度理性,所以如果你训练了一个大语言模型,并要求它在价格与功能之间做出某种权衡,你会得到价格与质量、或价格与销量之间非常线性的关系,”同时担任贝恩全球价值主张创新与设计负责人的皮尔斯说。
大语言模型遵循越多越好或越便宜越好的原则。但大语言模型是可以学习的。
“通过真正聪明的提示工程,以及引入其他类型的数据,我们实际上已经学会了如何训练大语言模型,坦率地说,让它们变得更具同理心,并且越来越理解像品牌这样高度情感化、在人类行为中有些非理性的东西,也可以在合成世界的大语言模型中体现出来,”皮尔斯说。
在没有适当防护措施的情况下依据合成数据采取行动也存在风险。
例如,Forrester 预计今年至少会发生两起重大丑闻,原因是企业依据 人工智能主导的客户研究采取行动,因为不堪重负的客户体验团队依赖合成受众和人工智能主持的访谈等应用。该分析公司敦促领导者借助专业研究来对人工智能生成的洞察进行压力测试。
决定何时使用合成数据
随着对合成数据的兴趣日益增长,品牌需要决定如何以及何时使用它。专家指出了合成回复可以克服的障碍:难以触达的受众、调查疲劳、昂贵且耗时的调查。
“我认为如果存在低发生率受众,即某个群体非常难以找到,就像大海捞针一样,那么合成数据非常有用,”迈尔斯说。
它还有助于减少调查疲劳——合成数据不会因回答冗长的调查而感到疲倦。
迈尔斯说,就速度和规模而言,合成回复是一种优势,但在该过程的某个阶段,有必要纳入“人类以获得深度和细微差别”。
简而言之,迈尔斯说,要从合成数据获得“广度,但从人类获得深度”。
对于涉及人类情感的问题,人类样本库也更可取。
“目前,如果我们知道某个研究领域会涉及情感和自我认同,也许是品牌相关的,涉及忠诚度或审美偏好,那么人类受访者可能更可取,”迈尔斯说。
合成研究的速度是其最大的吸引力之一。据 Qualtrics 称,合成数据的收集和清理只用了四个小时,而不是传统样本库所需的五天。
“你这样做可能是因为你试图追求快速上市,所以在某些情况下,通过更传统的调查方法可能需要数月才能收集到的数据,如果使用合成来源或合成焦点小组,可能在几天或几小时内就能获得,”Gartner 分析师莉兹·福·库内说。
Gartner 与一家制药公司的研究发现,一项传统调查可能花费约 90,000 美元。库内说,合成版本仅花费约 20,000 美元,且“结果类型相同”。
尽管用合成数据替代人类调查可能很诱人,但库内和其他分析师不赞成这种想法。
“我们告诉客户,现阶段合成数据应当补充而非取代真实世界数据,因为它仍处于早期阶段,”Kune 说。
展望未来,Myers 已经看到了潜在的应用场景。当营销团队最近找到 Navy Federal 研究团队,希望就 20 条价值主张获取消费者反馈时,她认为合成研究是一种可能。
“我们能否先通过合成方式测试这 20 条信息陈述?”Myers 说。“对于优先级排序工作,这正是我最兴奋的地方——快速梳理大量列表,获得第一层级的反馈。”
Myers 表示,Navy Federal 确定的另一个应用场景是用于设计前阶段,即“预预发布”阶段。
“所以当你在设计那份问卷时,我问的问题对吗?它们的意思是我以为的意思吗?有没有令人困惑的部分?”她说。“你可以在向真人投放之前,先借助合成数据获得这类反馈。”