Irregular筹集8000万美元用于保护前沿AI模型安全

Ai新闻19小时前发布 Russell_Brandom
3 0

周三,人工智能安全公司Irregular宣布获得8000万美元新一轮融资。此轮融资由红杉资本和Redpoint Ventures领投,云安全公司Wiz的首席执行官Assaf Rappaport参与跟投。据接近交易的消息人士透露,本轮融资使Irregular的估值达到4.5亿美元。

联合创始人Dan Lahav向TechCrunch表示:“我们认为,很快将有大量经济活动来自人类与AI的互动以及AI与AI之间的互动——而这将在多个节点上突破现有安全体系的防护能力。”

Irregular前身为Pattern Labs,已是AI评估领域的重要参与者。该公司的研究成果被引用在Claude 3.7 Sonnet以及OpenAI的o3和o4-mini模型的安全评估中。更广泛地说,该公司开发的模型漏洞检测能力评分框架(名为SOLVE)已在行业内得到广泛应用。

虽然Irregular在模型现有风险方面做了大量工作,但此次融资旨在追求更宏伟的目标:在未知风险和行为实际出现之前就发现它们。该公司构建了一套精细的模拟环境系统,能够在模型发布前对其进行深度测试。

联合创始人Omer Nevo解释道:“我们建立了复杂的网络模拟环境,让AI同时扮演攻击者和防御者的角色。因此当新模型发布时,我们可以直观看到防御体系哪些环节稳固,哪些环节存在漏洞。”

随着前沿模型带来的潜在风险日益显现,安全问题已成为AI行业关注的焦点。今年夏天,OpenAI全面改革了内部安全措施,重点关注潜在的企业间谍活动风险。

与此同时,AI模型在发现软件漏洞方面越来越熟练——这种能力对攻击者和防御者都具有重大影响。

对Irregular的创始人而言,这仅仅是大型语言模型能力不断提升所带来的众多安全挑战中的第一重考验。

Lahav强调:“如果说前沿实验室的目标是创造越来越复杂强大的模型,那么我们的使命就是守护这些模型的安全。但这本质上是一个移动靶标,未来显然还有更多更多的工作需要完成。”

© 版权声明

相关文章

暂无评论

none
暂无评论...