6 月 20 日消息,在华为开发者大会 2025(HDC 2025) 上,华为常务董事、华为云计算 CEO 张平安宣布基于 CloudMatrix 384 超节点的新一代昇腾 AI 云服务全面上线,同时宣布盘古大模型 5.5 正式发布,自然语言处理 (NLP)、计算机视觉 (CV)、多模态、预测、科学计算五大基础模型全面升级。
CloudMatrix 384 超节点,新一代昇腾 AI 云服务
随着大模型训练和推理对算力需求的爆炸式增长,传统计算架构已难以支撑 AI 技术的代际跃迁。华为云相关专家表示,传统的分布式系统本质上是一个松耦合系统,服务器之间一般用 25Gbps 或 100Gbps 以太网带宽就可以满足绝大多数应用的需求。而 AI 时代的应用负载与传统业务有很大不同,当前服务器集群的以太网互联带宽已经越来越难满足前面提到的 AI 时代的训练、推理等场景的需求。
云平台必须通过新型的超高性能网络把大量 GPU、CPU 等多元算力连接在一起,并且用 「对等架构」 替换掉传统的 「主从架构」,让多元算力可以直接通信,不需要通过 CPU,这样才能满足需求,这个能力是 AI 原生云基础设施最重要的能力。
华为云新一代昇腾 AI 云服务基于 CloudMatrix 384 超节点,首创将 384 颗昇腾 NPU 和 192 颗鲲鹏 CPU 通过全新高速网络 MatrixLink 全对等互联,形成一台超级 「AI 服务器」,单卡推理吞吐量跃升到 2300 Tokens/s,与非超节点相比提升近 4 倍。
据悉,超节点架构能更好地支持混合多专家 MoE 大模型的推理,可以实现 「一卡一专家」,一个超节点可以支持 384 个专家并行推理,极大提升效率;同时,超节点还可以支持 「一卡一算子任务」,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率 (MFU) 提升 50% 以上。
对于万亿、十万亿参数的大模型训练任务,在云数据中心,还能将 432 个超节点级联成最高 16 万卡的超大集群;同时,超节点还可以支持训推算力一体部署,如 「日推夜训」,训推算力可灵活分配,帮助客户资源使用最优。
昇腾 AI 云服务已为科大讯飞、新浪、硅基流动、面壁智能、中科院、360 等超过 1300 家客户提供澎湃的 AI 算力。
基于国产算力,盘古大模型 5.5 全面升级
与其他大模型厂商,华为在大模型领域的战略是聚焦行业,通用大模型也是为了更好深入行业 AI,盘古大模型的使命是让各个行业不必重复 「造轮子」,不必从零打造自己的企业大模型。基于此,华为云本次发布盘古大模型 5.5,五大基础模型全面升级。
首先是盘古自然语言处理 NLP 大模型,全新的 718B 深度思考模型是一个由 256 个专家组成的 MoE 大模型,在知识推理、工具调用、数学等领域大幅增强,处于业界第一梯队。盘古大模型基于昇腾云的全栈软硬件训练,标志着基于昇腾可以打造出世界一流大模型。
同时,盘古大模型 5.5 在高效长序列、低幻觉、快慢思考融合、Agent 等特性上进行升级,例如,盘古提出了自适应快慢思考合一的技术,通过构建难度感知的快慢思考数据和两阶段渐进训练,实现模型根据问题难易程度自适应地切换快慢思考,简单问题敏捷回复,复杂问题深度思考,整体模型推理效率提升 8 倍。
盘古深度研究 DeepDiver 通过长链难题合成、渐进式奖励等关键技术,可以在网页搜索、常识性问答等应用上获得很高的执行效率,如可以在 5 分钟内完成超过 10 跳的复杂问答、生成万字以上的专业调研报告等,大幅提升工作效率。
面向行业企业客户,华为云提供了盘古基础及行业大模型、预训练和后训练语料、数据工程工具集、模型训练工具集、行业裁判模型、行业评测平台六大核心能力,通过华为云 ModelArts 完备的工具链和工程化的方法,将企业自己沉淀的数据资产,进行高质量的增训、微调和强化学习,让行业客户能够快速打造自己的专业大模型。
中国农业科学院在盘古大模型基础上,增训海量专业文献与跨物种多组学数据,构建了面向育种领域的农业科学发现大模型,实现精准农业专业知识问答、高效基因分析和定向位点设计,缩短了早期研发周期,提升了目标性状改良精准性。当前,农科院团队已基于该农业科研智能系统成功地对一种水稻材料进行了株型改良,株高较常规品种降低约 25%,抗倒伏能力显著提升,同时产量不受影响。
会上,张平安还发布盘古医学、金融、政务、工业、汽车五个具备深度思考能力的行业自然语言大模型,加速行业智能化,并将在 6 月底正式上线。
基于盘古多模态大模型的世界模型,可以为智能驾驶、具身智能机器人的训练,构建所需要的数字物理空间,实现持续优化迭代;基于盘古大模型的多模态能力及思维能力,华为云正式发布 CloudRobo 具身智能平台;盘古预测大模型采用业界首创的 triplet transformer 统一预训练架构,极大地提升预测大模型的精度,并大幅提升跨行业、跨场景的泛化性。盘古科学计算大模型和盘古计算机视觉 CV 大模型也同步更新。
过去一年,盘古大模型已在 30 多个行业、500 多个场景中落地,在政务、金融、制造、医疗、煤矿、钢铁、铁路、自动驾驶、气象等领域发挥价值。
加码 AI 云,发布企业级 Agent 平台
除了帮助客户更好地拥抱 AI,华为云也在不断通过 AI 技术重塑云服务,打造 AI Native 的云。华为云 CTO 张宇昕发布企业 Agent 平台 ModelArts Versatile,内置了各类业务场景的经验模板,支持自助式的智能体开发,Versatile 还提供了智能化工具链,实现 Agent 分钟级工作输出,达成传统人工天级工作成果,有效降低 Agent 开发的复杂度与专业性。
CodeArts Doer 构建了业界最全的 6 大开发领域专业 Agent,覆盖项目经理、产品管理、开发、构建、测试和部署全流程,将软件研发端到端提效 40% 以上;GaussDB Doer 在精准查询方面,基于盘古大模型,利用全球上万个 GaussDB 运维案例的百亿 Tokens 数据微调,构建专业运维基模型;MetaStudio 通过个性化 TTS 语音合成,数字人的音色相似度、读音准确率都达到业界领先。
此外,华为云提供包含语料数据安全、模型安全、推理安全、应用安全在内的端到端大模型安全方案。大模型防火墙通过提示词攻击防范和敏感内容实时检测,保障大模型推理安全。一方面识别越狱、角色扮演、恶意指令等主流提示词攻击手段;另一方面预置了百万级规则库,针对提示词攻击的检出率大于 95%,整体能够帮助模型综合安全评测得分提升 20% 以上。
华为云是华为公司面向开发者的统一底座,目标打造昇腾、鸿蒙、鲲鹏、GaussDB、欧拉等各项根技术的生态,目前华为云开发者已超过 800 万,支持鲲鹏、昇腾、鸿蒙等生态的开发者总计达到 1300 万。(本文首发于钛媒体 APP,作者 | 张帅,编辑 | 盖虹达)