腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大
11月5日消息，腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。
首页 > 总参
-
-
仅总参数量0.1%、单GPU15分钟完成微调，人类基因组基础模型NT登Nature子刊
从 DNA 序列预测分子表型仍然是基因组学中的一个长期挑战，通常是由于注释数据有限以及无法在任务之间转移学习所致。在这里，英国伦敦InstaDeep的研究人员提出了在 DNA 序列上进行预训练的基础模型，称为 Nucleotide Transformer；其参数范围从 5000 万到
