类GPT模型训练提速26.5%,清华朱军等用INT4算法加速神经网络训练
机器之心报道编辑:杜伟、马梓文我们知道,将激活、权重和梯度量化为 4-bit 对于加速神经网络训练非常有价值。但现有的 4-bit 训练方法需要自定义数字格式,而当代硬件不支持这些格式。在本文中,清华朱军等人提出了一种使用 INT4 算法实现所有矩阵乘法的 Transformer 训练方法。模型训练
机器之心报道编辑:杜伟、马梓文我们知道,将激活、权重和梯度量化为 4-bit 对于加速神经网络训练非常有价值。但现有的 4-bit 训练方法需要自定义数字格式,而当代硬件不支持这些格式。在本文中,清华朱军等人提出了一种使用 INT4 算法实现所有矩阵乘法的 Transformer 训练方法。模型训练
对大模型进行量化、剪枝等压缩操作,是部署时最常见不过的一环了。不过,这个极限究竟有多大?清华大学和哈工大的一项联合研究给出的答案是:90%。
看看这个 AI 生成的女团 MV 效果如何。如果你手机里有一些修图软件,你可能用过里面的「AI 绘画」功能,它通常会提供一些把照片转换为不同风格的选项,比如动漫风格、写真风格。但如今,视频也可以这么做了:这些动图来自 X 平台(原推特)网友 @CoffeeVectors 生成的一段视频。
近期,清华系AI大模型企业彩智科技完成数千万元天使轮融资,由Z基金(智谱生态基金)领投、盛景嘉成跟投。彩智科技长期专注于可信AGI(通用人工智能)研究的AI老兵玩家,致力于可解释、可溯源的大模型应用落地。2021年便与北京智源人工智能研究院共同承接科技部国家“2030新一代人工智能”重大专项,在大模
作者|王玥编辑|陈彩娴ACL 2022官方发布消息称,清华大学自然语言处理与社会人文计算实验室获得ACL 2022最佳演示论文奖(Best Demo Paper Award)。该奖项是ACL系列会议对System Demonstration论文授予的最佳论文奖项,每届会议基于评审人员评估的系统贡献度
生命科学领域的基础大模型来了!来自清华、百图生科的团队提出的单细胞基础大模型scFoundation,登上Nature Methods。该模型基于5000万人类单细胞测序的数据进行训练,拥有1亿参数,能够同时处理约20000个基因。团队在模型架构上进行了创新,相同参数量下计算时间是传统Transformer架构的3%左右
自动驾驶在走过低谷之后,正开始重新攀登高峰。从去年开始,国内自动驾驶市场的整体表现并不算好,大额融资变得寥寥,而技术上的突破也并不明显,整个行业走向了低谷。但今年,这一趋势发生了很大的变化。从政策角度来讲,工信部等四部委联合发布《关于开展智能网联汽车准入和上路通行试
编辑:编辑部【新智元导读】狂卷4个月,智谱AI开源第三代ChatGLM3!作为国内首个全线对标OpenAI产品线的公司,这波秀肌肉让人印象深刻。全自研第三代基座大模型ChatGLM3,今日推出!这是继6月份二代模型推出以来,智谱AI团队又一次对ChatGLM基座模型的优化。此外,在10月27日的20
清华大学智能产业研究院(AIR)-字节跳动 “可扩展大模型智能技术联合研究中心 (SIA Lab) ” 在清华大学举行成立仪式。SIA Lab聚焦预训练大语言模型技术,致力于发展更为通用与可扩展的智能系统,提升智能技术在互联网以及更多场景、更复杂任务中表现能力。清华AIR院长张亚勤院士,清华大学科研
清华最新官宣:脑机接口临床试验,成功!两枚硬币大小的处理器植入患者颅骨中,成功采集感觉运动脑区神经信号。并且经过三个月的康复训练,患者成功实现脑控喝水等操作!至此,由清华医学院洪波教授团队领衔、在宣武医院进行的首例无线微创脑机接口临床试验,成功取得突破性进展。