腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大
11月5日消息,腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。
11月5日消息,腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。