首页 > 注意力

注意力

  • Sigmoid注意力一样强，苹果开始重新审视注意力机制

    注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。尽管 SoftmaxAttn 中的 softmax 具有广泛的用途和有效性，但它并非没有局限性。例如，softmax 函数

  • Meta提出全新注意力机制S2A大模型准确率提升至80.3%

    要点:1. Meta提出的注意力机制S2A能有效提升LLM回答问题的事实性和客观性，降低模型对无关信息的敏感度，使其更准确。2. S2A通过深思熟虑的注意力机制（System2Attention）解决了LLM在回答问题时容易受上下文中虚假相关性影响的问题，提高了模型的推理能力。3. S2A的实现方式

  • 丢掉注意力的扩散模型：Mamba带火的SSM被苹果、康奈尔盯上了

    替代注意力机制，SSM 真的大有可为？为了用更少的算力让扩散模型生成高分辨率图像，注意力机制可以不要，这是康奈尔大学和苹果的一项最新研究所给出的结论。众所周知，注意力机制是 Transformer 架构的核心组件，对于高质量的文本、图像生成都至关重要。

  • ICLR2022cosFormer：重新思考注意力机制中的Softmax

    导读：Transformer在自然语言处理、计算机视觉和音频处理方面取得了巨大成功。作为其核心组成部分之一，Softmax Attention模块能够捕捉长距离的依赖关系，但由于Softmax算子关于序列长度的二次空间和时间复杂性，使其很难扩展。针对这点，研究者提出利用核方法以及稀疏注意力机制的方法

  • Softmax注意力与线性注意力的优雅融合，AgentAttention推动注意力新升级

    来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。近年来，视觉 Transformer 模型得到了极大的发展，相关工作在分类、分割、检测等视觉任务上都取得了很好的效果。然而，将 Transformer 模型应用于视觉领域并不是一件简单的事情。

  • EPSANet：计算机视觉注意力论文解读

    转载：Bestsong简介（1）Pyramid Split Attention Block用于增强特征提取（2）即插即用，可将Pyramid Split Attention Block取代ResNet的3×3卷积，提出基准网络ESPANet（3）目标分类与目标检测任务达到state-of-the-a

  • 把注意力计算丢给CPU，大模型解码吞吐量提高1.76~4.99倍

    CPU+GPU，模型KV缓存压力被缓解了。来自CMU、华盛顿大学、Meta AI的研究人员提出MagicPIG，通过在CPU上使用LSH（局部敏感哈希）采样技术，有效克服了GPU内存容量限制的问题。与仅使用GPU的注意力机制相比，MagicPIG在各种情况下提高了1.76~4.99倍的解码吞吐量，并

热门文章