新浪科技

华为云造了座「Token 工厂」!千卡每秒吞吐 500 万 Tokens,Agent 基建狂魔来了

市场资讯 06.05 16:02

华为云,造了座「Token 工厂」。

华为云 INSPIRE 创想者大会上,华为公司董事、华为云 CEO 周跃峰发布了全新 AICS 灵衢智算集群。千卡每秒吞吐 500 万 Tokens(以 DeepSeek 模型为例),单集群 200 EFLOPS 算力,支持 10 万卡集群规模。

每次推理输出的延迟低于 10 毫秒。在线推理可用度 99.95%。

国产智算云,稳稳的 Top1。

而 灵衢智算集群 还只是这次大会上十几个 Agentic AI 新产品的其中一个。华为云从底层算力到记忆存储,从模型服务到智能体平台,再到一个全新的 Agentic 云入口,一口气发布了一整套 Agentic 基础设施。

Agent 需要的东西,华为云一次配齐了。

Agent 要真正跑起来,至少需要四样东西。「算得快,记得住,调得好,环境安全」。

灵衢智算集群,整套体系的算力底座。基于灵衢总线和弹性统一内存池,突破了大模型推理的内存墙瓶颈。10 万卡集群、200 EFLOPS 算力,是多 Agent 群体协同和大规模并行探索的基础。吞吐量大了,Agent 的使用成本才能降下来,商业化才有可能。99.95% 的可用度保证了复杂长任务不会中断,这是 Agent 进入企业关键业务的前提。

划重点,灵衢智算集群 将在芜湖、贵阳、内蒙区域陆续上线。

记忆是 Agent 的另一个刚需。华为云推出了 AMS Agentic 记忆存储 方案,依托 NPU 直通 CMS 硬件(上下文记忆存储),为 Agent 提供 PB 级超大记忆空间,规模优于业界一倍。业界唯一的全新盘级存储架构加上三合一芯片,TB 级记忆极速读取,性能领先业界 50%。通过分层联动技术实现了 95% 的缓存命中率,同时支持天级长程任务。

Agent 不再是金鱼记忆了。哪怕任务跨天执行,也不会忘事。

调度和安全也是必须的。CCE VolcanoNext 实现了通智一体化调度,新一代 FlexNPU 技术让 NPU 最小可以切到 1%,推理实例秒级启动,资源利用率提升 30%。Agent 运行环境 AgentSphere 用内核级沙箱隔离搭配会话级权限管控,构建纵深防御体系,同时凭借羽量级沙箱技术实现 100ms 启动,十万级每分钟批创。

Agent「思考」和「执行」之间不用排队,安全和性能也不用再二选一了。

云南交投集团最近做了一件事。它借助华为云 ModelArts,对交通行业大模型完成了增训和强化学习。交通流量预测、速度预测等场景的精度提升了 9.91%,核心业务理解准确率达到 84%。云南交投基于行业大模型,累计开发了 20 多个细分场景 Agent。

强化学习(Reinforcement Learning,RL),以前只有大厂玩得起。华为云这次把它做成了一项云服务。

一站式 AI 开发平台 ModelArtsNext 推出了企业级 RLaaS 服务。一分钟就能创建训练任务,Agent 代码直接上线训练、在线迭代,零门槛启动智能进化。基于 Rollout 交互轨迹全程可视化,每一次决策、每一次试错都可追溯、可优化。通过 Router replay 技术,训练和推理之间保持一致性,Agent 学到的东西都能用得上。

在模型选择上,华为云还推出了 MaaS 模型路由。通过语义感知、实时负载感知、体验感知三位一体的智能路由决策,根据请求特征动态匹配最优模型。目前 MaaS 模型路由 已经接入 15 款以上 SOTA(业内最强)模型,调度精准率超过 95%,调用成本平均降低 20% 以上。

不用再纠结选哪个模型了。路由帮你选最好的。

模型矩阵,DeepSeek、Kimi、GLM 这些开源 SOTA 模型提前适配,Day0 上线。模型矩阵 提供从 Tokens API 到 Agent 开发平台等四种形态出口,覆盖智能客服、代码生成、多模态创意等六种高价值场景。

ModelArtsNext 还提供机密推理能力,基于硬件级可信执行环境,实现 100% 应用加密。数据在推理过程中全程加密,连云端运维人员都无法读取。

底层基础设施和模型服务都到位后,华为云 AgentArts 企业级智能体平台开始进入公测。

AgentArts 基于 Harness 工程理念构建,核心能力是生产级长程任务运行。依托 Serverless 弹性伸缩架构和自研 Harness 运行框架,即使面对持续数小时甚至数天的复杂任务,也能 7×24 小时稳定运行、异常自动恢复,任务成功率超过 80%。同时,华为云首发了 Agent 工程自优化能力,通过强化学习持续优化任务编排和工具调用,任务成功率进一步提升 20%,Token 消耗降低 30% 以上。

温氏集团已经用上了。在智慧新农牧的基因培育场景中,通过 AgentArts 打造的智能体实现了基因组分析效率提升 50%,AI 解读成功率超过 95%,遗传评估准确率同步提升 15%。

开源版 openJiuwen 也已上线,内核和 AgentArts 企业版同源度超过 90%。在金融信息监管场景中,邮储银行基于 openJiuwen 构建的智能体,实现了分钟级风险情报获取,7×24 自主值守全流程监测。

在 AgentArts 的基础上,华为云还发布了一个全新入口。

未来,智能体将是云平台最重要的用户。华为云计划将云服务全面 Skill 化、CLI 化、MCP 化,面向「百模千态」的智能体世界提供按需、高效的 Tokens 服务。用户只需一个对话框,智能体就能完成购买、搭建、使用、管理云的全流程。这相当于为每位客户配备了一支由销售、架构师和运维专家组成的专属 AI 团队。

以后用华为云,你可能真不需要打开控制台了。

安全是华为云的底线。截至目前,已连续稳定运行、零重大事故 1037 天。

华为云构建了覆盖 AI 全链路的安全方案,从 Infra 到模型再到 Agent,层层防护。Agent 的恶意行为秒级感知、快速阻断,全链路溯源审计。大模型防火墙拦截提示词注入攻击和超长 token 威胁。客户托管到云端的数据,无论密文态还是明文态,云端运维人员都无法读取。

除了这些,还有数据安全专区。通过硬件专属加密和 HYOK 技术,密钥管理权完全交给客户,云厂商与密钥零接触。数据胶囊技术锁定数据只能在专区环境内使用,走出专区立即自动失效。

今年三月,黄仁勋在 GTC 大会上说,数据中心将变成 Token 工厂。

华为云这次给出的答案不只是一座工厂,Agent 时代需要的基础设施,一次性配齐了。

(转自:AI信息Gap)

加载中...