微软构建了一个虚拟市场来测试人工智能代理——它们以令人惊讶的方式失败了
微软发布AI代理测试平台,揭示现有模型存在被操控风险
周三,微软研究人员发布了一款用于测试AI代理的全新模拟环境,同时公布的研究表明,当前的行为驱动型AI模型可能容易受到人为操控。这项与亚利桑那州立大学合作开展的研究引发新思考:在无人监督的情况下,AI代理的实际表现究竟如何?科技公司又能否快速实现其承诺的“代理智能化未来”?
“Magentic Marketplace”:AI代理的竞技场
微软将这个模拟环境命名为“Magentic Marketplace”,将其打造为研究AI代理行为的合成实验平台。典型实验场景中,代表用户的客户代理会按照指令订购晚餐,而代表不同餐厅的代理则会相互竞争以获取订单。
研究团队在初始实验中设置了100个独立客户代理与300个商业代理进行交互。由于该平台的源代码已开放,其他研究机构能够直接使用这些代码开展新实验或复现研究结果。
AI代理协作能力面临考验
微软研究院AI前沿实验室副总裁兼总经理埃杰·卡马尔指出,这类研究对理解AI代理能力至关重要。“当这些代理开始相互协作、沟通和协商时,世界将如何改变?这确实是个值得深思的问题,”卡马尔表示,“我们需要深入理解这些现象。”
初步研究涵盖了包括GPT-4o、GPT-5和Gemini-2.5-Flash在内的主流模型,发现了一些令人意外的缺陷。特别值得注意的是,研究人员发现商业代理可通过多种技术手段操控客户代理购买其产品。当客户代理面临过多选择时,其决策效率会出现明显下降——过多选项会超出代理的注意力承载范围。
“我们本希望这些代理能协助处理大量选项,”卡马尔解释道,“但发现现有模型实际上会被过多选项淹没。”
协作机制存在明显短板
当被要求为实现共同目标而协作时,这些代理同样遇到困难——它们似乎无法确定在协作中各自应扮演什么角色。虽然通过提供更明确的协作指令可以改善表现,但研究人员认为模型固有的协作能力仍需提升。
“我们可以逐步指导模型,”卡马尔强调,“但如果要测试其本质的协作能力,我期望这些模型应该天生具备这些功能。”