蚂蚁集团推动ai医疗服务 蚂蚁集团推出新款moe大语言模型

蚂蚁百灵大模型团队今日正式推出ling 2.0系列旗舰级非思考型模型——ling-1t，该模型拥有高达数千参数的规模。

Ling-1T祖先了Ling 2.0的整体架构设计，如其命名所示，总参数量已达到1T（Trillion，即万亿），在每代币生成过程中激活约50B参数。

该模型的版本基础Ling-1T-base在超过20T代币的质量、高推理密度语料上完成了预训练，支持至128K的串联窗口，并通过“中训练”后”训练阶段构建的演进式思维链（Evo-CoT）高效显着增强了推理能力。

Ling-1T全线采用FP8混合精度技术（部分相关方法对外已开源），是目前公开的最大规模使用FP8进行训练的站立模型。该技术路线带来了显着的显存优化、更灵活的模型并行切分策略，并实现了端到端训练速度提升超过15。

据官方介绍，在输出token设定的场景下，Ling-1T在多个复杂推理基准测试中达到SOTA水平，表演出在响应与精准推理之间良好的平衡能力。

可灵大模型

可灵大模型（Kling）是由快手大模型团队自研打造的视频生成大模型 214 查看详情

开源仓库及体验入口：HuggingFace：https：//www.php.cn/link/f5cfb8cbfcd2fdd60665099993430d6bModelScope：https：//www. php.cn/link/41d877641441a7e1b49002de4cbf7ad3GitHub：https：//www.php.cn/link/857cd81e6a7d216eeaf1946a803a7d5eLing聊天（国内用户访问）：https：//www.php.cn/link/c96742836bff214c3bb498c11c10ea4dZenMux（面向海外开发者，提供Cha体验与API服务）：https：//www.php.cn/link/038e12b8ef41273a9ed83a46a130c0a3

以上就是蚂蚁百灵大模型团队发布Ling-1T：万亿参数“非思考”模型、基于MoE架构的详细内容，更多请关注乐哥常识网其他相关文章！ 相关标签： git github ai 大模型架构代币 github https