当整个行业都在为云端AI算力疯狂扩容时，一场旨在将智能重新拉回手机和笔记本电脑的“边缘革命”正在悄然进行。最新行业动态指出，一家由连续创业者创立的新锐公司Mirai，正致力于通过一个轻量级推理引擎和即将发布的SDK，让开发者仅用几行代码就能在终端设备上高效运行AI模型，将模型生成速度提升最高达37%，并显著优化每次推理的成本与能耗。
从消费级应用到底层基建：创始人的技术视野转变
市场消息显示，Mirai的两位联合创始人Dima Shvets和Alexey Moiseenkov均拥有打造现象级消费应用的成功经验。Shvets曾联合创立了风靡一时的AI换脸应用Reface，而Moiseenkov则是上一代爆款AI滤镜应用Prisma的CEO兼联合创始人。作为深度参与过AI消费化浪潮的开发者，他们早在生成式AI（Generative AI）成为主流之前，就开始思考如何在终端设备上实现更高效的机器学习。
据熟悉内情的人士透露，两位创始人在伦敦会面时，敏锐地发现了一个行业盲点：在所有人都在谈论云端、服务器和通用人工智能（AGI）的喧嚣中，针对消费级硬件的终端侧AI（On-Device AI）却成了被忽视的关键拼图。他们意识到，要真正实现AI的普惠和实时响应，必须解决模型在手机等资源受限设备上运行的效率瓶颈。
技术核心：Rust语言打造的“推理加速器”
Mirai目前的核心产品是一个专为苹果芯片（Apple Silicon）优化的终端侧推理引擎。该公司在一份最新文件中披露，该引擎完全采用Rust语言构建，其优势在于：
- 性能提升：通过底层优化，可将特定模型的推理速度提升高达37%。
- 无损优化：在针对特定平台调优时，不修改模型权重（Model Weights），从而确保输出质量没有任何损失。
- 简易集成：即将推出的SDK旨在提供类似Stripe的极简集成体验，开发者只需添加少量代码即可在应用中启用摘要、分类等多种AI功能。
目前，Mirai的技术栈主要专注于优化文本和语音模态的处理，并计划在未来支持视觉模型。团队已开始与前沿的模型提供商合作，为其模型进行终端侧使用的专门调优，并与多家芯片制造商展开洽谈。后续，该引擎也有计划拓展至Android平台。
行业痛点与混合架构解决方案
终端侧AI并非要完全取代云端。Shvets清醒地认识到，并非所有AI任务都能在设备上完成。因此，Mirai团队正在构建一个编排层（Orchestration Layer），以实现混合运行模式。该层能够智能地将设备无法处理的请求无缝转发至云端，从而在性能、成本、隐私和延迟之间取得最佳平衡。
“考虑到云端推理的成本，现状必须改变……风投目前乐于继续资助那些在云端推理上挥霍无度的‘火箭公司’，但这不会持久。终有一天，人们会关注这些业务的底层经济性，并意识到必须做出改变。”一位参与了本轮投资的资深风险投资人如此评论道。
此外，Mirai还计划发布一套终端侧基准测试工具，让模型开发者能够客观评估其模型在真实设备上的性能表现。其技术有望赋能设备端助手、转录器、翻译工具和聊天应用等多种场景。
深度分析：边缘AI为何成为下一个必争之地？
Mirai的崛起并非偶然，它精准地踩中了AI发展的下一个关键节点。随着大模型应用走向普及，云端推理的巨额成本、数据传输的隐私风险以及网络延迟带来的体验瓶颈日益凸显。苹果、高通等巨头近期在终端侧AI上的频频发力，也印证了这一趋势。
从行业角度看，一个专注于提供高效、易用的终端侧AI推理中间件的公司，具有重要的战略价值。它降低了应用开发者拥抱设备端AI的门槛，也为模型公司开辟了新的落地渠道。如果Mirai能成功建立起跨平台、跨芯片的通用优化层，它很可能成为连接AI算法与亿万终端设备的“关键管道”，在即将到来的边缘计算浪潮中占据有利位置。这场始于云端算力的AI竞赛，其下半场的决胜点，或许正在我们每个人的口袋之中。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...