陈丹琦团队新作:数据量砍95%,大模型性能更强了!LessisMore
造大模型的成本,又被打下来了!这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS, 只筛选出与任务最相关5%数据来进行指令微调,效果比用整个数据集还要好。指令微调正是让基础模型成为类ChatGPT助手模型的关键一步。
造大模型的成本,又被打下来了!这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS, 只筛选出与任务最相关5%数据来进行指令微调,效果比用整个数据集还要好。指令微调正是让基础模型成为类ChatGPT助手模型的关键一步。
现实世界版的 Genie-2?最近,世界模型(World Models)似乎成为了 AI 领域最热门的研究方向。继World Labs(李飞飞)、谷歌 DeepMind 接连发布自己的世界模型研究之后,
斯坦福吴佳俊团队与MIT携手打造的最新研究成果,让我们离实时生成开放世界游戏又近了一大步。从单一图像出发,在用户的实时交互下生成无限延展的3D场景:只需上传一张图片,就能踏入一个由AI创造的虚拟世界。
“绝不是简单的抠图。”ControlNet作者最新推出的一项研究受到了一波高度关注——给一句prompt,用Stable Diffusion可以直接生成单个或多个透明图层(PNG)!
编辑:桃子 好困【新智元导读】马毅教授团队最新研究表明,微调多模态大语言模型(MLLM)将会导致灾难性遗忘。模型灾难性遗忘,成为当前一个关键热门话题,甚至连GPT-4也无法避免。近日,来自UC伯克利、NYU等机构研究人员发现,微调后的多模态大模型,会产生灾难性遗忘。论文地址:https://arxi
ControlNet作者“敏神”(张吕敏),刚刚上新了一个新项目——名叫IC-Light V2,可以说是把AI打光这事儿玩得溜溜的。IC-Light是此前张吕敏开发的图像处理工具,可以通过AI技术精确控制图像中的光照效果。
MIT新晋副教授何恺明,新作新鲜出炉:瞄准一个横亘在AI发展之路上十年之久的问题:数据集偏差。该研究为何恺明在Meta期间与刘壮合作完成,他们在论文中指出:这不禁让人怀疑:我们在消除数据集偏差的战斗中,真的取得了胜利吗?
图像生成是当前 AIGC 领域最热门的方向之一。近期发布的图像生成模型如 DALL・E 2、Imagen、Stable Diffusion 等等,开创了图像生成的新时代,实现了前所未有的图像质量和模型灵活性水平。扩散模型也成为目前占据主导地位的范式。然而,扩散模型依赖于迭代推理,这是一把双刃剑,因为
自从 Transformer 模型问世以来,试图挑战其在自然语言处理地位的挑战者层出不穷。这次登场的选手,不仅要挑战 Transformer 的地位,还致敬了经典论文的名字。再看这篇论文的作者列表,图灵奖得主、深度学习三巨头之一的 Yoshua Bengio 赫然在列。论文标题:Were RNNs
近年来,人工智能发展迅速,尤其是像ChatGPT这样的基础大模型,在对话、上下文理解和代码生成等方面表现出色,能够为多种任务提供解决方案。