2.7万亿参数模型曝光,MiniMax在解禁日释放新信号
大模型竞赛进入万亿参数时代,MiniMax在近期释放出强烈技术信号。7月9日,记者获悉,其下一代大模型预训练已启动大半个月,参数规模预计在2.5万亿至3万亿之间,市场可将其视为2.7T级别的大版本迭代。该模型此前已完成约两个月的数据准备和结构验证,目前早期训练结果显示,模型收敛表现好于内部阶段目标,相关指标优于此前预期。这意味着MiniMax在进一步放大参数规模的过程中,暂未出现明显训练不稳定问题。支撑这一超大模型训练的关键,是MiniMax自主研发的MSA架构的升级。据悉,公司正在推进MSA2.0升级,重点包括提升长序列任务处理能力、降低Attention计算开销,并改善大规模训练中的硬件…