Tensormesh融资450万美元优化AI服务器负载提升推理效率

随着人工智能基础设施投入达到惊人规模，如何在现有GPU上实现最大化的推理性能已成为行业焦点。对于掌握专项技术的研究者而言，此刻正是争取资金的绝佳时机。

TensorMesh的技术突围

这正是TensorMesh背后的驱动力——这家企业本周结束隐身模式，宣布获得450万美元种子轮融资。本轮融资由Laude Ventures领投，数据库先驱Michael Franklin参与天使投资。

TensorMesh将利用这笔资金打造开源工具LMCache的商业版本。该工具由联合创始人郑义华开发维护，若能有效运用，可将推理成本降低高达十倍。其卓越性能使其成为开源部署的核心组件，并吸引了谷歌、英伟达等巨头的技术集成。如今，TensorMesh正试图将学术声誉转化为可持续的商业模式。

KV缓存的技术革新

关键技术在于键值缓存（KV缓存）——一种通过将复杂输入压缩为关键值来提升处理效率的存储系统。传统架构会在每次查询后丢弃这些缓存，但TensorMesh首席执行官姜居辰指出，这造成了巨大的资源浪费。

“好比一位聪慧的分析师阅尽数据，却在每个问题结束后遗忘所学。”联合创始人姜俊辰如此比喻。

TensorMesh的系统会保留这些缓存，当模型在执行其他类似查询时即可重新调用。鉴于GPU内存极其珍贵，这意味着需要将数据分布到多个存储层，但回报是同等工作负载下显著的推理效能提升。

应用场景与市场机遇

这项技术对聊天界面尤为关键——模型需要持续回溯不断增长的对话记录。智能体系统同样面临此类挑战，其行动与目标日志会持续累积。

理论上AI公司可自主实现这些优化，但技术复杂性使其望而却步。基于团队在该领域的研究积累及技术本身的精密度，TensorMesh确信市场对开箱即用的解决方案存在强烈需求。

“在保持系统性能的前提下，将KV缓存存入二级存储系统并实现高效复用是个艰巨挑战。”姜居辰表示，“我们见证过企业雇佣20名工程师耗时三四个月构建类似系统。而使用我们的产品，他们能轻松实现同等效能。”