首页 > 新作

新作

  • 陈丹琦团队新作：微调8B模型超越Claude3Opus，背后是RLHF新平替

    比斯坦福DPO（直接偏好优化）更简单的RLHF平替来了，来自陈丹琦团队。该方式在多项测试中性能都远超DPO，还能让8B模型战胜Claude 3的超大杯Opus。而且与DPO相比，训练时间和GPU消耗也都大幅减少。这种方法叫做SimPO，Sim是Simple的简写，意在突出其简便性。

  • 陈丹琦团队新作：数据量砍95%，大模型性能更强了！LessisMore

    造大模型的成本，又被打下来了！这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS， 只筛选出与任务最相关5%数据来进行指令微调，效果比用整个数据集还要好。指令微调正是让基础模型成为类ChatGPT助手模型的关键一步。

  • 马毅团队新作！微调多模态大模型会灾难性遗忘，让性能大减

    编辑：桃子 好困【新智元导读】马毅教授团队最新研究表明，微调多模态大语言模型（MLLM）将会导致灾难性遗忘。模型灾难性遗忘，成为当前一个关键热门话题，甚至连GPT-4也无法避免。近日，来自UC伯克利、NYU等机构研究人员发现，微调后的多模态大模型，会产生灾难性遗忘。论文地址：https://arxi

  • 何恺明刘壮新作：消除数据集偏差的十年之战

    MIT新晋副教授何恺明，新作新鲜出炉：瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。该研究为何恺明在Meta期间与刘壮合作完成，他们在论文中指出：这不禁让人怀疑：我们在消除数据集偏差的战斗中，真的取得了胜利吗？

  • GAN的反击：朱俊彦CVPR新作GigaGAN，出图速度秒杀StableDiffusion

    图像生成是当前 AIGC 领域最热门的方向之一。近期发布的图像生成模型如 DALL・E 2、Imagen、Stable Diffusion 等等，开创了图像生成的新时代，实现了前所未有的图像质量和模型灵活性水平。扩散模型也成为目前占据主导地位的范式。然而，扩散模型依赖于迭代推理，这是一把双刃剑，因为

热门文章