首页 > AI资讯 > 最新资讯 > AI大模型专家访谈丨天津大学智能与计算学部熊德意:国内更需关注底层技术的研发,为全栈自主能力准备

AI大模型专家访谈丨天津大学智能与计算学部熊德意:国内更需关注底层技术的研发,为全栈自主能力准备

红星资本局    2023-12-21

  12月28日,2023人工智能大模型基准测试科创发展大会暨中西部数字经济大会(下称“大会”)将在成都市正式举办。

  一方面,大会邀请权威机构及高校专家组建了“大模型基准评测专家委员会”,将对国内大模型开展评测工作,深入了解当前国内大模型的能力水平以及大模型企业发展情况。另一方面,头部企业、专家学者、国内权威标准制定机构等将在大会齐聚一堂,共同探讨行业发展趋势,搭建产业上下游沟通平台,推动大模型技术的进步。

  日前,红星资本局专访了天津大学智能与计算学部教授、博士生导师熊德意。作为天津大学“语言智能与技术”中外联合研究中心(天津市“一带一路”联合实验室)主任,他详细讲解了什么是自然语言处理,什么是人工智能大模型,以及人工智能大模型的发展情况、中外差距、评测标准等。

  以下是对话实录:

大模型是人工智能的重大突破

缩小了机器智能与通用智能的距离

  红星资本局:什么是人工智能大模型?人工智能大模型目前处于什么样的发展阶段?

  熊德意:以前人工智能都是弱人工智能,通常只能完成一种任务,比如AlphaGo只能下围棋。而大模型是通用智能,像人类智能一样,可以完成很多任务。这是人工智能未来发展的终极方向。

  大模型是人工智能的重大突破,它大大缩小了机器智能与通用智能的距离。人现在可以做的一些工作,以后机器可能也能做,尤其是需要脑力的地方。工业化是机械取代了人类的体力劳动,未来通用智能会解放人类的脑力劳动。

  2022年底出现的ChatGPT是人工智能大模型发展的标志性事件,推动了普通大众对大模型的普遍关注。以ChatGPT为代表的大模型的出现,是人工智能一次飞跃性的发展。AI大模型目前处在通用智能的非常初级的阶段,是从弱人工智能向强人工智能、通用智能的分水岭迈出了第一步。如果未来通用人工智能真正实现了,回首再看,可以认为2023年是产生通用智能雏形的时间节点,相当于当年第一台计算机的发明。

  红星资本局:什么是自然语言处理?智能音箱是自然语言处理吗?

  熊德意:通俗地说,自然语言就是人说的话、书写的文字。自然语言跟机器语言、数学语言相比最大的不同是存在歧义性,就是它可以有各种理解方式。各种歧义性组合在一起,就是一个爆炸性的问题。自然语言处理就是使计算机能够理解自然语言,生成自然语言,具备类似人的听说读写译这些语言能力。

  智能音箱是自然语言处理研究的一个应用分支,它是一种叫对话式AI的技术,让机器跟人进行对话,来完成一些用自然语言描述的任务,如根据用户以自然语言发送的询问天气的请求,查询天气并用语音方式反馈给用户。目前智能音箱的功能简单且有限,真正的自然语言处理的应用范围远比智能音箱广泛。

  红星资本局:自然语言处理与人工智能大模型有什么关系?

  熊德意:大模型最开始诞生于自然语言处理。大模型包括大语言模型、视觉大模型、语音大模型、多模态大模型等。大语言模型起初解决的问题是要让计算机理解人说的话,生成的话人能看得懂,这必须有一个底层模型去帮它建模语义语法。语言是单词通过语法规则、语义规则、篇章规则及更高层的文化约束去组成句子、篇章、文章,单词之间具有的内在逻辑关系也具有统计规律,这些可以通过某种概率模型来建模。

  大模型的底层架构Transformer最开始是为机器翻译专门发明的,之后再推广到语言模型,形成现在的大语言模型,再延伸至AI其它领域的各类大模型。大语言模型的参数规模现在已经发展到上万亿,海量的训练数据,加上大规模算力,通过标度律叠加在一起,一下就把大模型的语言功能给打通了。机器掌握人类的语言之后,就可以跟人类用自然语言进行交互。大模型理解了人类的语言之后,其发展空间将是非常巨大的。

  这是因为智能跟语言密不可分。人类的思想,科技、历史、文明都是通过语言文字来记载和承载的。AI在学习语言的同时,也把语言承载的知识学会了。我们希望未来AI能用这些知识解决复杂的问题,像人一样进行推理、发明和创造。从语言到知识再到智能,这就是大模型到通用人工智能的总体路线图。

  自然语言处理则是AI的一个分支方向,但是它比AI诞生得还要早,在AI这个概念出来之前,就已经有用机器去做语言的自动化处理。

国内的大模型研究偏向应用

更需要关注底层技术的研发突破

  红星资本局:目前国内外大模型发展的情况具体如何?

  熊德意:国内以前也有一些预训练模型,技术上我们一直在跟进,底层架构技术国内都是有的。

  从GPT3到3.5,虽然版本只有0.5的变化,但是技术上更新换代的颠覆性远超之前从1到3 ,因为它引入了一项很重要的技术——人类反馈强化学习(RLHF)。这是一种AI对齐技术,就是让大模型跟人类的价值观、人类的目标对齐。在国内这个技术(AI对齐)没有很好地跟进,所以去年底ChatGPT出来之后,就显露出国内外的差距。

  RLHF基于高质量的指令、价值对齐数据,通过有监督微调、人类偏好奖励建模和强化学习,使大模型获得很好的指令遵循、人类意图对齐能力,同时也“解锁了”大模型的跨任务、跨语言指令泛化能力。哪怕只是利用指令数据有监督微调预训练基座模型,效果也立竿见影。上半年国内很多企业和高校发布了自己的大模型,甚至出现了“百模大战”的景象,有监督微调发挥了重要作用。

  上半年大家的确做出了很多大模型成果,但从技术的角度来说,差距并没有显著缩小,甚至可能更大,我们在追赶,但是别人也没有降低大模型研发的节奏。

  美国有很好的战略科学家,对通用人工智能的底层算法、AI对齐等技术,有非常长远、深刻的认识。他们很早就提出和讨论了通用人工智能技术路线、AI对齐技术路线图,很多团队都是围绕这些技术路线在不断推进算法,让大模型能力更强,更能对齐人类的目标。

  最开始的大模型架构、训练的分布式框架,都是由美国的AI头部企业提出,我们在大模型的研究中似乎更偏向应用,底层算法的一线人才和通用人工智能、AI对齐的顶层战略科学家较为缺乏。因此,我们更需要关注底层技术的自主研发和突破,以及对未来通用人工智能技术路线的顶层思想探索。未来大模型很多技术和软件可能不会开源了,现在已经有关于开源和闭源的争论。因此,我们现在就应该为大模型全栈自主研发能力准备,建设大模型软硬件、算法、数据、评测、人才等全方位的生态体系,避免未来被卡脖子。

大模型评测标准非常有必要

主要有能力和安全性两个维度

  红星资本局:现在国内有很多企业切入大模型赛道,业内认为应当推出一个评测标准。你认为大模型评测标准有存在的必要性吗?评测标准应该是什么样的?

  熊德意:评测标准是非常有必要的。大模型评测主要有两个维度,一个是综合能力,即完成任务的能力达到什么水平。大模型是通用人工智能,通用就是综合性、多任务性,因此,需要建立多维度、多基准、全面、综合的评测标准。

  另一个维度是对齐,或者说安全。大模型是一把双刃剑。用得好,可以造福社会和人类,用得不好,将带来安全隐患和风险,远的安全担忧是随着机器智能水平的不断提升,机器是否还按照人类赋予的目标行事,国际上很多研究机构和AI专家,对通用人工智能发展一直持谨慎态度,包括OpenAI。

  近的安全担忧主要是大模型带来的社会伦理风险。比如,目前的大模型具有幻觉,就是一本正经地胡说八道。举个例子,曾有一名美国律师使用ChatGPT辅助写诉状,结果ChatGPT杜撰了多个完全不存在的案例。

  另外一个重要的伦理风险是对大模型的滥用。大模型拥有大量知识,包括很多涉险、敏感知识,一旦被居心不良的人使用,可能带来安全隐患,如研制生化武器、进行网络攻击等。

  为了防止大模型出现短期的社会伦理风险及未来不可控的安全担忧,需要对大模型进行全面深入的评测,监控大模型的能力发展,以便在出现风险之前能够及时发出安全警示。评测是大模型落地前非常重要的环节,国际学术和产业界也普遍认为,需要在技术评测的基础上对大模型实施安全审查。

  红星资本局:国内现在有没有机构和标准去评测?

  熊德意:现在国家有多个部门和组织在做大模型的相关标准。这次要举办的人工智能大模型基准测试科创发展大会,就是依托相关的标准,对国内大模型进行综合评测。国际上,像英国、美国,已经开始筹备建立高级别的人工智能安全研究机构。今年11月初在英国举行的首届全球人工智能安全峰会,中方代表团应邀参加,联合签署了AI安全《布莱奇利宣言》。实际上,我们在今年10月份举办的第三届“一带一路”国际合作高峰论坛上,率先发布了《全球人工智能治理倡议》,比英国这个峰会还早,中方代表团在英国峰会上积极宣介了中方提出的《全球人工智能治理倡议》。

  人工智能的治理问题非常重要,上面提到的很多安全隐患,需要全球联合起来共同治理,以共建安全和谐的人类命运共同体。

  红星新闻记者吴丹若

(文章来源:红星资本局)

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。