Tele-FLM发布|中国电信人工智能研究院携手智源研究院推动开源社区发展
4月27日上午,2024中关村论坛年会“人工智能主题日”主论坛——未来人工智能先锋论坛成功举办。会上,中国电信人工智能研究院(TeleAI)和北京智源研究院联合发布Tele-FLM——52B高性能开源多语言大模型。
据悉,Tele-FLM能力比肩甚至超过GPT-3.5。通过损失预测等技术,提高了基础模型的能力,BPB loss 指标在英文上优于Llama2-70B和 Llama3-8B,在中文上优于Qwen1.5-72。经过微调的对话模型进行了客观、自动化的能力评测,评测结果显示,总分上Tele-FLM完成了对GPT-3.5-Turbo的超越。在分项得分中,Tele-FLM在总共的11个分项中有十项达到或超过GPT-3.5-Turbo水平。
仅今年,TeleAI便相继开源7B、12B参数规模大模型,吸引国内外开源社区开发者广泛讨论和使用。此次与智源联合发布的52B参数规模Tele-FLM也已全面开源,基础模型已发布在Hugging Face上;核心技术如超参搜索、稳定训练等全面公开在GitHub上,超参搜索曲线、Loss曲线、GradNorm、过程评测等多维度训练细节也已在技术报告中详细阐述。
据悉,TeleAI将在年内开源千亿级参数大模型,构建全尺寸开源格局,通过更丰富的应用场景、更广泛的落地应用、更繁荣的行业生态,助力中国大模型技术进步与落地应用。
相关推荐
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。