微软AI披露MAI-Base-2预训练：2.8T参数MoE，FLOPs效率最高达DeepSeek-V4-Pro-Base的12.3倍

微软AI官方博客披露MAI-Base-2预训练细节：该MoE基础模型总参数2.8万亿、激活参数800亿，在held-out评测中BPB低于所测全部开源权重模型，预训练FLOPs效率为DeepSeek-V4-Pro-Base的4.2至12.3倍。博客还介绍了scaling ladder、超参数缩放律、MoE与Muon实现