Softmax注意力与线性注意力的优雅融合，AgentAttention推动注意力新升级
来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。近年来，视觉 Transformer 模型得到了极大的发展，相关工作在分类、分割、检测等视觉任务上都取得了很好的效果。然而，将 Transformer 模型应用于视觉领域并不是一件简单的事情。
首页 > 线性
-
-
LIama3+Mamba强强联手！蒸馏到线性RNN，推理速度提升1.6倍
克雷西 发自 凹非寺新火种 | 公众号 QbitAI把Llama 3蒸馏到Mamba，推理速度最高可提升1.6倍！而且性能不减，甚至表现比原始模型还要优异。这是来自Together AI的新作，通过蒸馏将Transformer和Mamba模型结合到了一起，同时还为混合模型涉及了推理加速算法提出Mam
-
放弃Softmax，首个线性注意力Transformer大模型：1750亿参数，速度、精度更优
近日，上海人工智能实验室和 OpenNLPLab 的一个研究团队提出了一种新的大型语言模型 TransNormerLLM，其中完全抛弃了基于 Softmax 的注意力机制，而是使用了新提出的线性注意力。据介绍，TransNormerLLM 是首个基于线性注意力的大型语言模型（LLM），其在准确度和效
-
国产千卡千亿模型训练平台落地：70B到130B大模型训练，线性加速比达91%
国内首个以国产全功能GPU为底座的大规模算力集群，正式落地了！这便是来自摩尔线程的KUAE智算中心，全国产千卡千亿模型训练平台。摩尔线程CEO张建中在主题演讲中带来重磅发布，包括大模型智算加速卡MTT S4000，以及专为千亿参数大模型训练和推理提供强大支持的摩尔线程KUAE平台，
