当算力成本高企、利用率走低，Agent时代需要怎样的AI计算架构？

“为什么在大模型已然习得全世界所有知识，且变得越来越聪明的当下，AI仍旧没有真正走进企业的生产中，也没有让企业业务、运营变得更智能？”

在星流科技举办的“企业级全栈AI基础设施品牌暨新品发布会”上，联合发起人代表李志抛出了这样一个疑问。

这个问题的答案，丰富多元。例如AI产品的功能设计是否符合企业实际需要，交互设计是否贴合业务逻辑等。而星流科技所举办的这场发布会，将问题的答案聚焦在了算力与运行协作体系上。

随着近几年大模型能力的不断提升，应用边界的不断突破，多个行业正在从“软件/SaaS即服务”走向“智能体即服务”。

在此背景之下，智能体不可避免地成为了行业焦点。然而，以往的算力架构不仅难以支撑AI智能体的高并发、超高并发、长时间驻留、长时间运行，还存在成本高昂、难以规模化普及的难题。

此外，当多个AI智能体的应用成为常态，一个关键问题也接踵而至——如何构建一套面向多AI智能体的高效运行、协作和治理体系？

在此背景之下，星流科技举办了本次发布会，发布两款重磅新品的同时也邀请了中国电子（CEC）、上海市计算机学会、上海交通大学、飞腾公司、川北医学院、华润医药、华润（武汉）智能科技服务有限公司及星之湖医疗等产、学、研各界代表，共同探讨智能体时代AI基础设施的发展趋势与时代机遇。

“企业真正缺少的，从来不是更多的模型，也不是更多的GPU和CPU，而是面向AGI时代的新一代AI计算架构。”发布会现场，李志说出了这句话，语气笃定。

为此，星流科技推出了玄矩Agent Native Server A1计算平台，可实现计算、存储与运行资源的高效协同，进而可提高GPU与HBM的利用效率，降低企业AI基础设施的总体拥有成本（TCO）。

而“玄矩”能实现这些目标的原因，主要与星流科技的专利技术——“基于Agent语义的三层KV缓存智能调度方法及系统”有关。

在多Agent的运行环境中，并非所有Agent都处于同一活跃状态——有的处于"热"状态需要实时响应，有的处于"温"状态保持上下文但不频繁调用，还有的处于"冷"状态可暂时休眠。相同的情况也发生在单个Agent的运行中——并非所有语义/数据都处于相同活跃状态。

然而，以往的存储和计算架构无法进行合理且智能的管理与调度。这一方面会导致资源的浪费与协同的（相对）低效；另一方面则会带来成本的高企。

而“玄矩”采用的“基于Agent语义的三层KV缓存智能调度系统” ，首先通过构建一个从HBM、DDR到NVMe的基于Agent的语义三级内存架构，实现了Agent语义从L0热层、L1温层和L1.5扩展层的智能分级存储。

尔后，通过Agent Runtime和vLLM Runtime实现了基于Agent语义的智能KV调度和KV生命周期管理与调度的效率优化，可在感知Agent运行状态的基础上，对计算资源进行动态调度，从而避免所有语义同时占用高价值算力资源。

这一架构设计的实际效果显著。据星流科技陈一骄博士透露，作为Agent原生服务器，“玄矩”可将HBM有效利用率从30%—40%提升至75%以上，GPU利用率提升至65%—80%，长期在线Agent数量可达150个以上。并且，相比传统AI推理服务器，在保持长记忆与高并发能力的同时，“玄矩”的性价比可提升45%—55%。

如果说玄矩解决了Agent运行的算力问题，那么，星流科技发布的另一个新品——SerpMind Enterprise Agent OS则剑指多Agent的治理与管理问题。

星流科技首席科学家、上海交通大学教授戚正伟博士表示，当企业Agent数量从个位数增长到数百个时，仅依赖单个Agent已无法满足组织级生产需求。企业面临的挑战不仅仅是单个Agent的运行，更是如何安全、有序、可审计地运行和管理大量Agent。并且，随着个人AI助手日益深入人心，企业级AI平台的需求也在同步增长，而企业级场景对安全、审计和并发能力的要求远高于个人应用。

基于此，SerpMind面向企业多Agent协同场景，采用Runtime、Governance与Security三层分层架构设计。在Runtime层，SerpMind提供统一的Agent运行时环境，支持高并发运行和MCP工具集成；在Governance层，提供多用户、多角色、多Agent的权限管理体系和Workspace隔离能力；在Security层，实现审计追踪和安全控制，确保每一个Agent的行为可追溯。

“通过SerpMind，企业能够像管理‘数字员工’一样管理 Agent——分配权限、分配任务、审计行为、管理资源，推动企业Agent从试点探索走向规模化运行。”戚正伟博士如是说道。

技术只有落地应用，才能真正具备价值。

对此，作为一家定位于企业级全栈AI基础设施提供商的星流科技，也致力于携手合作伙伴，将自身一体化AI基础设施能力，落地于各行各业中。而医疗健康，正是其中之一。

发布会现场，星之湖医疗与华润（武汉）智能科技服务有限公司，这两家星流科技在医疗健康领域的合作伙伴代表，也分别从各自角度出发，分享了其与星流科技的联合实践。

其中，星之湖医疗是AI一体化医疗云产品及服务供应商，主要依托AI、SaaS、大数据等一系列前沿技术，为医疗行业（尤其是智慧医院建设）提供端到端的一站式解决方案。

在星流科技玄矩服务器和SerpMind的支持下，星之湖医疗的一体化医疗云架构正在从此前1.0的SaaS版本升级至AaaS(智能体即服务)的2.0版本，既能实现医疗AI能力的集约化建设与标准化输出，也能实现数据的有效隔离。

星之湖医疗总经理宋建康特别强调医疗AI推进的审慎原则。“综合考虑安全性、数据敏感性以及建设成本等因素，医院的智能化建设不应是对现有系统的完全重构，而应采用相对平滑的手段，从医院真实痛点出发，逐步探索AI与现有系统融合。”宋建康表示。

而华润智科则分享了其携手星流科技打造的智慧病房建设案例。据悉，在星流科技玄矩服务器和SerpMind的支持下，华润智科推出了软硬件一体化的智慧病房解决方案。通过床旁智能交互系统，医生在查房时可随时查看患者数据并给予临时医嘱；护士则可进行患者常规数据（例如体温）的数字化录入和传输；患者则可通过嵌入其中的智能应用查询费用、检查检验数据等。

“床旁智能体是智慧病房的发展新趋势。”这是华润智科对行业未来发展方向的明确判断。

“医疗健康行业对国产AI算力的需求正在激增。”这是发布会现场，与会嘉宾形成的共识。

飞腾公司副总裁王瑞彬向动脉网透露了背后原因：一方面，受相关限制性政策影响，越来越多的企业开始寻找国产替代方案；另一方面，且更为重要的是，“尽管在高端领域，国产算力与国外最顶尖算力相比，仍存在一定差距，但在医疗健康，国产算力已能满足行业需求，并能提供更具性价比的解决方案。”

而站在更宏观的产业层面，王瑞彬则谈到了国产算力的使命与发展路径。他强调了三个要点：其一是政策层面需持续提供引导和支持以培育良好的产业发展沃土；其二是必须坚持安全可靠和自主可控的发展路线；其三则是要以市场为导向，用产品说话，满足客户需求，并加速从“可用”迈向“好用”。

而在这一过程中，产业各方的深化协同至关重要。正如中国电子（CEC）首席科学家、科技委副主任，飞腾公司首席科学家窦强博士所说的那样——“国产算力的发展，并非一家企业能够独立推动。它需要芯片企业、基础软件企业、AI基础设施企业以及行业应用伙伴携手，共建未来。我们始终坚信，开放合作不意味着放弃自主创新，自主创新更意味着开放生态。”

星流科技联合发起人代表李志也表示：“我们相信，在未来10年，每家企业都将拥有自己的AI。这些AI能够理解企业并逐步形成企业自身的智能知识和智能资产。而在这其中，包含算力在内的未来AI基础设施的建设至关重要，也必将成为国内外技术攻坚的高地。在此背景之下，星流科技希望携手更多的行业伙伴，共同推动国内AI基础设施的发展。”

一个属于中国的AI基础设施时代，正在到来。