21 天
品玩 on MSN月之暗面 Kimi 开源 MoE 模型品玩2月24日讯,Kimi 上周末发布技术报告,宣布开源 MoE 模型 Moonlight-16B-A3B。 报告表示,Kimi通过深度改造 Muon 优化器,并将其运用于实际训练,证明了 Muon 在更大规模训练中的有效性,是 AdamW 训练效率的 2 倍,且模型性能相当。 据悉,本次论文所使用的模型为 Moonlight-16B-A3B,总参数量为 15.29B,激活参数为 2.24B,其使 ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果