蚂蚁集团发布DevOps领域大模型评测基准DevOps-Eval
站长之家 11月2日 消息:蚂蚁集团联合北京大学发布了面向 DevOps 领域的大语言模型评测基准 ——DevOps-Eval。该评测基准包含了计划、编码、构建、测试、发布、部署、运维和监控等8个类别的选择题，共计4850道题目。此外，还针对 AIOps 任务做了细分，并添加了日志解析、时序异常检测
首页 > 基准
-
-
新测试基准发布，最强开源Llama3分数骤降，差距拉开了
随着Claude 3、Llama 3甚至之后GPT-5等更强模型发布，业界急需一款更难、更有区分度的基准测试。大模型竞技场背后组织LMSYS推出下一代基准测试Arena-Hard，引起广泛关注。
-
TPU、GPU、CPU深度学习平台哪家强？有人做了一个基准测试研究
GPU、TPU、CPU 都可以用于深度学习模型的训练，那么这几个平台各适用于哪种模型，又各有哪些瓶颈？
-
最强的GPT-4V都考不过？基于大学考试的测试基准MMMU诞生了
目前最好的大型多模态模型 GPT-4V 与大学生谁更强？我们还不知道，但近日一个新的基准数据集 MMMU 以及基于其的基准测试或许能给我们提供一点线索，如下排行榜所示。看起来，GPT-4V 在一些科目上已经强过挂科的大学生了。
-
微软联手北大，发布PPTC大模型测试基准
DoNews11月7日消息，据品玩引述 HuggingFace 页面报道，微软研究院联手北京大学，共同发布了一款名为 PPTC 的大模型测试基准，可以用于测试大模型在PPT 生成方面的能力。研究团队表示，PPTC包含 279 个涵盖不同主题的多回合会话和数百条涉及多模式操作的说明。研究团队还提出了P
-
百川新模型冲顶中文测试基准！首款AI助手“百小应”同时发布，“最懂搜索”
王小川在搜索时期种下的种子，在大模型时代又开花了。他创业的百川智能，刚刚发布了自家首款AI应用，to C的“百小应”。乍一看，这就是个当下大热门的AI助手，但官方强调，这个AI助手啊，它懂搜索，还会引导式提问。你别说，当“搜索”和“王小川”这两个词放到一起的时候，就格外让人想仔细一探究竟。
-
上海交大发布大模型双语编程评估基准，机器开始挑战人类写代码了？
上海交通大学 APEX 实验室“Write the code. Change the world.”If computers can write code, then it is a new world.打造能自己写代码的机器，这是计算机科学和人工智能先锋者一直在追寻的目标。
-
2023中文大模型基准测评报告发布；微软Copilot将升级至GPT-4Turbo；AI奥林匹克数学奖设立丨AIGC大事日报
1、SuperCLUE发布2023中文大模型基准测评报告2、谷歌推出AI Core应用，管控手机本地AI模型3、微软Copilot将升级至GPT-4 Turbo4、HF CEO分享2024年AI行业六大预测5、Salesforce将在AWS上销售AI软件等6、中英加强AI等领域合作交流7、百度资本等
-
清华大学教授孙茂松等建立机器中文语言能力评测基准“智源指数”
12月30日，清华大学教授孙茂松带领的团队在北京发布了机器中文语言能力评测基准“智源指数”CUGE，在北京智源人工智能研究院自然语言处理(简称NLP)重大研究方向前沿技术开放日活动上，由清华大学教授孙茂松带领的团队发布了机器中文语言能力评测基准“智源指数”(CUGE)。
-
全华人团队推出多模态大模型新基准，GPT-4o准确率仅为65.5%
GPT-4o再次掀起多模态大模型的浪潮。如果他们能以近似人类的熟练程度，在不同领域执行广泛的任务，这对许多领域带来革命性进展。因而，构建一个全面的评估基准测试就显得格外重要。然而评估大型视觉语言模型能力的进程显著落后于它们自身的发展。
