品玩2月24日讯，Kimi 上周末发布技术报告，宣布开源 MoE 模型 Moonlight-16B-A3B。 报告表示，Kimi通过深度改造 Muon 优化器，并将其运用于实际训练，证明了 Muon 在更大规模训练中的有效性，是 AdamW 训练效率的 2 倍，且模型性能相当。 据悉，本次论文所使用的模型为 Moonlight-16B-A3B，总参数量为 15.29B，激活参数为 2.24B，其使 ...