一句话解锁100k+上下文大模型真实力,27分涨到98,GPT-4、Claude2.1适用
各家大模型纷纷卷起上下文窗口,Llama-1时标配还是2k,现在不超过100k的已经不好意思出门了。然鹅一项极限测试却发现,大部分人用法都不对,没发挥出AI应有的实力。AI真的能从几十万字中找到特定关键事实吗?颜色越红代表AI犯的错越多。
各家大模型纷纷卷起上下文窗口,Llama-1时标配还是2k,现在不超过100k的已经不好意思出门了。然鹅一项极限测试却发现,大部分人用法都不对,没发挥出AI应有的实力。AI真的能从几十万字中找到特定关键事实吗?颜色越红代表AI犯的错越多。
谷歌最强大模型Gemini 1.5 Pro今天起,“全面”对外开放。目前完全免费,开发者可以通过API调用的方式使用,普通玩家也可以在谷歌AI Studio中直接体验。
搜狗创始人、百川智能创始人兼CEO 王小川国内大模型技术竞争加速,继讯飞星火、智谱推出最新产品之后,百川也迎来了新的大模型成果。钛媒体获悉,10月30日上午,王小川创立的 AI 大模型公司“百川智能”宣布,推出Baichuan2-192K大模型,其上下文窗口长度高达192K,能够处理约35万个汉字。
今日GitHub热榜榜首,是最新的开源世界模型。上下文窗口长度达到了100万token,持平了谷歌同时推出的王炸Gemini 1.5,伯克利出品。强大的模型,命名也是简单粗暴——没有任何额外点缀,直接就叫LargeWorldModel(LWM)。
22倍加速还不够,再来提升46%,而且方法直接开源!这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。StreamingLLM可以在不牺牲生成效果、推理速度的前提下,实现多轮对话共400万个token,22.2倍推理速度提升。
开源之王Llama 3原版上下文窗口居然只有……8k,在32k起步,100k寻常的今天,这是故意要给开源社区留做贡献的空间
10 月 30 日消息,OpenAI 目前正在为 ChatGPT Plus 会员推出新的测试版功能,有用户反馈,这次更新包括了上传文件和处理文件的能力,以及多模态支持。这意味着用户不需要从 GPT-4 的下拉菜单中选择像 Browse with Bing 这样的模式,而是根据上下文自动猜测用户想要
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法:它仅用8k大小的token文档进行训练,就能将Llama-2窗口扩展至128k。
Llama2系列又上新,这回是Meta官方出品的开源编程大模型Code Llama。模型一发布,官方直接给贴了个“最强”标签,还强调了一把“免费可商用”。
无需微调,只要四行代码就能让大模型窗口长度暴增,最高可增加3倍!而且是“即插即用”,理论上可以适配任意大模型,目前已在Mistral和Llama2上试验成功。有了这项技术,大模型(LargeLM)就能摇身一变,成为LongLM。