文 | 智能相对论，作者 | 陈泊丞
今年以来，MoE 模型成了 AI 行业的新宠儿。
一方面，越来越多的厂商在自家的闭源模型上采用了 MoE 架构。在海外，OpenAI 的 GPT-4、谷歌的 Gemini、Mistral AI 的 Mistral、xAI 的 Grok-1 等主流大模型都采用了 MoE 架构。
而在国内，昆仑万维推出的天工 3.0、浪潮信息发布的源 2.0-M32、通义千问团队发布的 Qwen1.5-MoE-A2.7B、MiniMax 全量发布的 abab6、幻方量化旗下的 DeepSeek 发布的 DeepSeek-MoE 16B 等等也都属于 MoE 模型。
另一方面，在 MoE 模型被广泛应用的同时，也有部分厂商争先开源了自家的 MoE 模型。前不久，昆仑万维宣布开源 2 千亿参数的 Skywork-MoE。而在此之前，浪潮信息的源 2.0-M32、DeepSeek 的 DeepSeek-MoE 16B 等，也都纷纷开源。
为什么 MoE 模型如此火爆，备受各大厂商的青睐？在开源的背后，MoE 模型又是以什么样的优势使各大主流厂商成为其拥趸，试图作为改变 AI 行业的利器？
MoE 模型火爆的背后：全新的 AI 解题思路
客观来说，MoE 模型的具体工作原理更接近中国的一句古语 「术业有专攻」，通过把任务分门别类，然后分给多个特定的 「专家」 进行解决。
它的工作流程大致如此，首先数据会被分割为多个区块 （token），然后通过门控网络技术 （Gating Network） 再把每组数据分配到特定的专家模型 （Experts） 进行处理，也就是让专业的人处理专业的事，最终汇总所有专家的处理结果，根据关联性加权输出答案。
当然，这只是一个大致的思路，关于门控网络的位置、模型、专家数量、以及 MoE 与 Transformer 架构的具体结合方案，各家方案都不尽相同，也逐渐成为各家竞争的方向——谁的算法更优，便能在这个流程上拉开 MoE 模型之间的差距。
像浪潮信息就提出了基于注意力机制的门控网络 （Attention Router），这种算法结构的亮点在于可以通过局部过滤增强的注意力机制 （LFA, Localized Filtering-based Attention），率先学习相邻词之间的关联性，然后再计算全局关联性的方法，能够更好地学习到自然语言的局部和全局的语言特征，对于自然语言的关联语义理解更准确，从而更好地匹配专家模型，保证了专家之间协同处理数据的水平，促使模型精度得以提升。
基于注意力机制的门控网络 （Attention Router）
抛开目前各家厂商在算法结构上的创新与优化不谈，MoE 模型这种工作思路本身所带来的性能提升就非常显著——通过细粒度的数据分割和专家匹配，从而实现了更高的专家专业化和知识覆盖。
这使得 MoE 模型在处理处理复杂任务时能够更准确地捕捉和利用相关知识，提高了模型的性能和适用范围。因此，「智能相对论」 尝试了去体验天工 3.0 加持的 AI 搜索，就发现对于用户较为笼统的问题，AI 居然可以快速的完成拆解，并给出多个项目参数的详细对比，属实是强大。
天工 AI 搜索提问 「对比一下小米 su7 和特斯拉 model3」 所得出的结果
由此我们可以看到，AI 在对比两款车型的过程中，巧妙地将这一问题拆解成了续航里程、动力性能、外观设计、内饰设计、智能化与自动驾驶、市场表现与用户口碑、价格等多个项目，分别处理得出较为完整且专业的答案。
这便是 「术业有专攻」 的优势——MoE 模型之所以受到越来越多厂商的关注，首要的关键就在于其所带来的全新解决问题的思路促使模型的性能得到了较为显著的提高。特别是伴随着行业复杂问题的涌现，这一优势将使得 MoE 模型得到更广泛的应用。
各大厂商争先开源 MoE 模型：解决 AI 算力荒的另一条路径
抛开性能来说，MoE 模型更突出的一点优势则在于算力效率的提升。
DeepSeek-MoE 16B 在保持与 7B 参数规模模型相当的性能的同时，只需要大约 40% 的计算量。而 37 亿参数的源 2.0-M32 在取得与 700 亿参数 LLaMA3 相当性能水平的同时，所消耗的算力也仅为 LLaMA3 的 1/19。
也就意味着，同样的智能水平，MoE 模型可以用更少的计算量和内存需求来实现。这得益于 MoE 模型在应用中并非要完全激活所有专家网络，而只需要激活部分专家网络就可以解决相关问题，很好避免了过去 「杀鸡用牛刀」 的尴尬局面。
举个例子，尽管 DeepSeek-MoE 16B 的总参数量为 16.4B，但每次推理只激活约 2.8B 的参数。与此同时，它的部署成本较低，可以在单卡 40G GPU 上进行部署，这使得它在实际应用中更加轻量化、灵活且经济。
在当前算力资源越来越紧张的 「算力荒」 局面下，MoE 模型的出现和应用可以说为行业提供了一个较为现实且理想的解决方案。
更值得一提的是，MoE 模型还可以轻松扩展到成百上千个专家，使得模型容量极大增加，同时也允许在大型分布式系统上进行并行计算。由于各个专家只负责一部分数据处理，因此在保持模型性能的同时，又能显著降低了单个节点的内存和计算需求。
如此一来，AI 能力的普惠便有了非常可行的路径。这样的特性再加上厂商开源，将促使更多中小企业不需要重复投入大模型研发以及花费过多算力资源的情况下便能接入 AI 大模型，获取相关的 AI 能力，促进技术普及和行业创新。
当然，在这个过程中，MoE 模型厂商们在为市场提供开源技术的同时，也有机会吸引更多企业转化成为付费用户，进而走通商业化路径。毕竟，MoE 模型的优势摆在眼前，接下来或许将有更多的企业斗都会尝试新的架构来拓展 AI 能力，越早开源越能吸引更多市场主体接触并参与其中。
但是，开源最关键的优势还是在于 MoE 模型对当前算力问题的解决。或许，随着 MoE 模型被越来越多的企业所接受并应用，行业在获得相应 AI 能力的同时也不必困顿于算力资源紧张的问题了。
写在最后
MoE 大模型作为当前人工智能领域的技术热点，其独特的架构和卓越的性能为人工智能的发展带来了新的机遇。不管是应用还是开源，随着技术的不断进步和应用场景的不断拓展，MoE 大模型有望在更多领域发挥巨大的潜力。
MoE 模型的本质在于为 AI 行业的发展提供了两条思路，一是解决应用上的性能问题，让 AI 有了更强大的解题思路。二是解决算力上的欠缺问题，让 AI 有了更全面的发展空间。由此来看 MoE 模型能成为行业各大厂商的宠儿，也是水到渠成的事情。
