Clarifai新型推理引擎让AI模型运行更快速、成本更经济
周四,人工智能平台 Clarifai 发布了一款新型推理引擎。该公司宣称,该引擎能使人工智能模型的运行速度提升一倍,同时成本降低40%。该系统采用多种优化技术,旨在适配各类模型与云主机,从而在相同硬件条件下实现更强的推理能力。
技术优化与性能验证
Clarifai 首席执行官 Matthew Zeiler 表示:“我们实施了多层级优化方案,从最底层的 CUDA 内核到先进的推测解码技术。本质上,这能让相同显卡发挥更大效能。”第三方机构 Artificial Analysis 的基准测试证实了这一成效,该引擎在吞吐量和延迟方面均创下行业最佳纪录。
专注推理计算的关键突破
该技术专门针对推理过程进行优化——即已训练完成的人工智能模型在运行时的计算需求。随着具备自主行动能力和多步推理功能的模型兴起,单条指令需触发多重计算步骤,使得计算负荷显著加剧。
从视觉服务到计算 orchestration 的战略转型
Clarifai 最初以计算机视觉服务起家,随着人工智能热潮急剧推高对GPU及数据中心的需求,公司逐渐将重心转向计算资源协调领域。去年12月,Clarifai 在AWS re:Invent大会上首次推出其计算平台,而新款推理引擎则是首款专为多步骤智能体模型定制化的产品。
AI基础设施的挑战与创新机遇
当前人工智能基础设施领域正面临巨大压力,这催生了一系列巨额投资。OpenAI已规划未来投入高达7万亿美元建设新数据中心,预示对计算资源的未来需求近乎无限。但Zeiler指出,在硬件大规模扩建的同时,对现有基础设施的优化仍有巨大空间:“通过软件技巧(如Clarifai推理引擎)可深度挖掘优质模型潜力,算法改进也有助于缓解对吉瓦级数据中心的需求。我认为算法创新远未到达终点。”
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...