雷递网 乐天 10月17日

百度今日在百度世界2023上正式发布百度智能云千帆AI原生应用开发工作台，旨在满足企业敏捷、高效地进行AI原生应用开发的需求，降低AI原生应用开发门槛。

千帆AI原生应用工作台将开发大模型应用的常见模式、工具、流程，沉淀成一个工作台，帮助开发者聚焦在自身业务，而无需为开发过程牵扯多余精力。具体来讲，千帆AI原生应用开发工作台主要由应用组件和应用框架两层服务构成。

“应用组件”服务由AI和基础云两大类组件构成，是对底层服务能力的组件化封装，让每个组件完成一段固定的功能性任务，“AI组件”中既包含诸如问答、思维链（CoT，Chain of Thought）等大语言模型组件，还包括文生图、语音识别等多模态组件，而“基础云组件”则包含向量数据库、对象存储等传统云服务能力。

应用框架则是通过将上述这些组件有选择地串联、组合起来，让它们能够比较完整地完成一个特定场景的任务。目前，千帆平台上提供的检索增强生成（RAG）、智能体（Agent）就是常用的AI原生应用框架。在每个框架下，百度智能云还提供丰富的样板间，支撑开发者敏捷、高效地进行AI原生应用开发。

百度集团执行副总裁、百度智能云事业群总裁沈抖宣布，“云智一体”的战略内涵全面升级为：云智一体，深入产业，生态繁荣，AI普惠。同时，面向企业落地大模型的五类需求，百度智能云基于千帆大模型平台打造的“大模型超级工厂”分别给出了最佳服务方案。

首先，针对只有算力需求的客户，千帆平台可以提供极致高效与性价比的异构算力服务。在大模型训练环节，千帆平台可以实现万卡规模集群训练的加速比达到95%，有效训练时间占比达到96%。此外，千帆平台还兼容昆仑芯、昇腾、海光DCU、英伟达、英特尔等国内外主流AI芯片，支持客户以最小的切换成本完成算力适配。

第二，在模型层面，对于希望直接调用已有大模型的客户，千帆平台纳管了42个国内外主流大模型，企业可以快速调用包括文心大模型在内的各种大模型的API，获取大模型能力。对于第三方大模型，千帆平台还针对性地进行了中文增强、性能增强、上下文增强等优化。目前千帆平台已经服务了超过17000家客户，大模型API调用量持续高速攀升。

第三，对于希望基于现有大模型进行二次开发的客户，千帆平台为大模型的再训练、微调、评估和部署提供全生命周期工具链、业界最多的41个高质量行业数据集，帮助客户针对自身业务场景快速优化模型效果。目前，包括邮储银行、度小满、金山办公、河北高速集团在内的诸多行业头部企业，都正在通过千帆平台提供的工具链服务开发出了贴合业务需求的专属大模型。

第四，在应用层面，一部分企业需要基于大模型服务去开发AI原生应用，此次百度智能云发布了“千帆AI原生应用开发工作台”，能够帮助企业敏捷、高效地进行AI原生应用开发的需求，降低AI原生应用开发门槛。

最后，对于希望直接、方便地选购成熟的AI原生应用的客户，百度智能云发布了国内首个AI原生应用商店，帮助AI原生应用的供需双方建立起便捷、可靠的联接通路，大幅提升客户应用选型与采购的效率，为伙伴商家创造更多商机。

沈抖还说，“过去10年，百度内部每年都会搞黑客松大赛，今年9月的这届黑客松，94支参赛团队中有13支队伍，他们的成员只有产品经理，没有工程师，而且取得了不错的成绩。这个现象意义深远，只有在大模型时代才会出现这种不依赖于研发（RD-independent）的新模式，它让应用开发不再受编程能力的局限，而完全是创意驱动。”

以下是百度集团执行副总裁、百度智能云事业群总裁沈抖演讲实录：

沈抖：人类当今取得的成就往往都源于先知的启发和智慧的传承，在过去一年，生成式AI席卷全球，我们总算是找到了通往通用人工智能的门路，有时候我也不禁思考，科技的尽头在哪里？让我们向孔子请教一下这个问题。先生您好，请问科技的尽头在哪里？

数字人孔子：科技进步，诚乃永无止境。夫科技进步之边界，亦即人类求知欲之边界。吾人当学而时习之，奋发向前，不断求知，以拓展科技进步之边界，造福于天下。

沈抖：谢谢先生。这是孔子数字人生成的答案，源于孔子“默而知之，学而不厌”的哲学理念。

9⽉5⽇的百度云智大会上，我们发布了甘肃临洮的文旅数字人貂蝉，刚才大家看到的数字人孔子是我们打造的又一个数字人案例，它学习了孔子的哲学思想，有了人设，形神兼备，真实自然。

数字人是⼀个典型的AI原生应⽤，要想快速开发出这样的应用，需要人工智能和云计算的深度结合，这也正是百度智能云⼀直在倡导和践行的“云智⼀体”的理念。

今天，百度集团所有的应⽤和服务都运行在百度智能云上，包括大家刚刚听到的文心一言和刚才Robin展示的诸多正在快速迭代的百度AI原生应用。

不仅是百度自己的应⽤，其实从整个行业掀起用大模型重构、重建各种应用以来，我们每个月都在支持上万家客户在开发他们的应用。从目前我们跟客户沟通和服务的情况来看，跟大模型相关的需求无非这五种类型。

具体来讲：

有些客户只需要高效的算力，剩下的事他们自己解决，他们最关心的就是把大模型训练和推理的成本降下来。

有些企业希望基于这个大模型开展⼯作，分成两类：第一类，直接调用API，直接用已经生成的大模型。第二类，需要基于这些大模型进行二次开发，包括再训练、微调、评估和部署。

模型之上是应⽤，相信将来不少企业会选择直接用这些已经开发好的AI应用。

当然也会有更多企业希望基于这个大模型去开发属于它自己的AI应用。

总之，为了服务好这五类需求，百度智能云千帆平台为⼤家提供了“大模型超级工厂”。从今年3月份我们发布千帆以来，这个大模型工厂已经服务了超过17000家客户，每一位客户和开发者无论有哪些需求，都可以来到大模型的超级工厂快速找到需要的工具和资源。

下面，我们就走进这座超级工厂，看看它都能提供哪些服务。

在AI时代，尤其是在大模型时代，GPU已经代替了CPU成为了最主要的算力，在算力上，企业最关心的就是可用性和性价比，尤其是对于大模型的训练来讲，任何⼀块芯片、⼀台机器的故障，都会拖慢整个训练任务，浪费的不只是钱，更重要的是时间。经历了多年的AI技术打磨，尤其是文心一言的快速迭代，百度智能云搭建起了以GPU为核⼼的更适合大模型训练的AI集群，能够保障模型训练的稳定性和效率。

只要是认真训练大模型的，需要的都不是⼀台、两台机器，而是多台机器组成的一个大集群，这时候面临的第⼀个问题就是组成集群带来的折损，比如有1000机器组成一个集群，到底能发挥出多少台机器的效能，这就是所谓加速比的概念。我们通过分布式并行训练策略和微秒级互联能力，能够使得我们现在万卡训练集群的加速比达到95%。

另外，大模型训练过程中最怕的就是出错、出故障，只要这时候出问题，整个训练就必须停下来，相当于稍具规模的集群都有可能出现这个问题，这就需要我们事先做好防范，事中及时发现、定位、解决，才能最大限度保证这个集群一直在有效的运转，提高有效训练时间的占比。目前在我们万卡集群上，这个比例达到了96%。

这些数字可能对在座很多人来讲很枯燥，觉得很陌生，没关系，我说这些就是为了让大家感受到这个GPU集群很牛。

而且，在座和线上的朋友们，如果你们现在能找到同等规模上，加速比和有效训练时间占比比这个高的情况，我愿意免费给大家提供算力！

讨论到AI算⼒，还有⼀个维度，那就是AI芯片的种类繁多，既有不同品类、也有不同版本，兼容难度非常大，在国内，基于不同的芯片开展工作又是个刚需，所以我们的算力平台已经兼容了像英特尔、英伟达、昆仑芯、昇腾、海光DCU等国内外知名芯片，也包括一些还没有成名的专用芯片。在这里，⼤家只需要最低的切换成本，就可以用上最合适的芯片。

举个例子，⾯壁智能，是国内最早开始训练⼤模型的公司之⼀，就是在百度智能云的AI集群上做模型训练和优化。⾯壁与知乎合作训练的 “知海图 AI”⼤模型和最近发布的多模态⼤模型 Luca，在百度智能云的千卡集群上的有效训练时间占比甚至达到99%，保障了整个模型训练的连续性，取得了很好的收敛效果。

除了⾯壁，我们还有很多典型的客户，包括知乎、好未来、地平线等等。

这是对于算力的需求，对于刚刚提到的第⼆种需求，也就直接调用大模型的API，我们也看到了非常强劲的增⻓趋势。目前，百度智能云千帆上已经入驻了42个业界常⻅的⼤模型，就像刚刚Robin跟大家分享的，这些客户可以在千帆上直接调⽤这些⼤模型的 API，⽬前⽉活企业数已经近万家，包括教育、电商、短视频、游戏等等行业。

屏幕上展示的就是在过去一段时间整个调用量指数级的增长趋势，在国庆期间有一个短暂的回落，节后就开始强势反弹，其实在企业级的服务中，能够看到这么稳定、高速的增长，是让人非常振奋的，因为我们最最希望的就是我们的客户真的把大模型用起来了，这就是实证。

刚刚Robin和海峰老师都提到了文心大模型4.0，这个大模型能力之强，大家可以通过扫码体验，我也欢迎大家通过百度智能云千帆大模型平台，来申请测试文心4.0的API，我相信基于这个更强大的API，大家可以用更高的效率、更高的质量解决更多的问题。

除了API的调⽤，还有很多客户希望在基础⼤模型上做⼆次开发，注⼊⾃⼰特⾊的数据，或者微调模型适合⾃⼰的需求，这在健康、法律、政务这些领域非常常见，这样⽆论在效果上还是成本上，都有可能得到非常好的优化。我们的“大模型超级工厂”就提供了支持大模型微调和持续预训练的完整工具链。

我举两个例子，一个是邮储银行，我们知道金融企业对垂直领域的解决方案要求非常高，因此在做大模型选择的时候也非常慎重。邮储银行用千帆的工具链，1天就可以跑通1个模型，快速测试模型效果。选定模型后，通过千帆的工具链高效地实现模型微调与效果评估，他们将在跨业务部门合规审核、业务知识问答、货币交易机器人等30余个复杂场景中，快速构建起基于大模型的AI应用。

第⼆个案例是度⼩满，度小满基于⻓期⾦融服务的knowhow，以及⾃身沉淀的大量的⾦融数据，正在通过千帆平台，在⽂⼼⼤模型的基础上为⾦融机构定制专业的解决⽅案，微调更贴合实际业务场景的⾦融⼤模型。

不光是金融客户，像金山办公，河北高速集团这些来自不同行业的客户，也都在基于工具链做模型训练。

当然，只有大模型是不够的，更重要的是把模型用起来。就像刚才Robin说的，“没有构建于基础模型之上的丰富的AI原生应用，基础模型就没有任何价值”。

但真的要做出一个企业级应用产品其实非常复杂，要做工程设计、策略设计、要定义接口方案、还要把它集成在已有的复杂业务系统中……对于广大的企业来说，在大模型时代，怎样才能高效地开发出好的应用呢？

今天，我们正式推出全新的AI原生应用开发工作台。我们的目的是总结基于大模型开发各种应用的常见模式、工具、流程，沉淀成一个工作台，让每一个开发者聚焦在自己的业务诉求上，不再为研发过程发愁。

我们主要提供两个层面的服务，一个是应用组件，一个是应用框架。

应用组件就是对一些云和AI的能力进行组件化封装，让每个组件完成一个特定的功能，这些组件可以分成两类，一类是AI组件，包括像问答、CoT这样的基于大语言模型的组件；也包括一些像文生图、语音识别这样的多模态组件。另一类是基础云组件，包含向量数据库、对象存储等等……这里不少组件的能力是百度在过去10年逐步沉淀下来的，一定会帮助大模型应用开发更便捷。

当然直接去用这些组件还是有一些门槛的。所以我们又把这些组件串联、组合起来、让它们可以比较完整地完成一个特定场景的任务，这就是应用框架。现在千帆上提供的RAG和Agent就是两个比较常用的应用框架。每个框架下，我们都会提供不同的样板间，大家可以作为参考，更轻松的开发自己的AI原生应用。

我们先来看RAG这个应用框架。

我们知道，在实际业务中，用户往往会问一些非常专业的或者针对性很强的问题，而答案不一定在互联网上，而是在企业自己的文档数据里。这种情况下，通用大语言模型没法给出确切的回答。这就是RAG典型的应用场景，它可以让大模型去学习并理解这些特定的专业知识，给用户返回准确的答案。

我们通过一个具体的案例来演示一下，有请我的同事，孙珂博士。

这是我们一个很重要的客户三一重工的官方网页，可以看到三一重工生产了包括挖掘机在内的多种工程机械设备，当一个用户来到首页以后，希望咨询这些设备的性能参数、操作保养等问题的时候，我们就得找一个非常精通这些设备的工作人员，才能很好的服务这个用户。

接下来我们想用几分钟的时间给大家演示一下，如何配置一个可以7×24小时在线服务的智能客服，让它来回答关于设备的任何问题。

首先看一篇三一重工提供的文档，这是一款挖掘机叫SY305H的操作保养手册，一个文档有48页，2万多字，里面包括了非常多的参数和细节，如果让一个员工去灵活掌握这些内容，并回答用户的这些问题，还是非常有难度的。

接下来看看怎么基于RAG的应用框架，在几分钟之内做一个大模型，让它快速掌握，并且回答用户的问题。

我们已经到了千帆平台的控制台，建一个知识库，演示期间名字可以简单点，有了知识库以后，我们把刚才那个长长的文档加载进来。

我简单说一下RAG的原理是什么，其实就是把一个大文件切成一片一片的小文件，这时候用向量引擎来索引这些片段，构建出一个向量数据库。

当客户后续问题来了之后，就可以在片段里找一个相关的，再让大模型根据这个内容去提炼、生成，最后形成一个一统的答案。

大家看到的就是它切成了一段一段小片段，进入开发应用，到插件编排，到一个配置里去，我们就要关联一下刚才创建的知识库，现在关联好以后我们确定上线，其实这个知识库存已经可以线上服务了，这里自动生成了代码，我们可以复制它，把它贴到三一重工官网首页脚本里，回到首页刷新一下，在右下角出现了三一产品的小助手，这时候就可以问它关于这款挖掘机的具体问题了。

比如问SY305H应该用什么冷却液？因为这是一个特定型号的挖掘机，这个问题很具体，去网上找是找不到恰当合适结果的，我们可以问这个小助手。

看起来回答很简洁，应该用什么，不应该用什么，否则会带来什么样的问题。记一个关键词“GECL35”，再回到文档里去看一下它是不是在一本正经的胡说八道，我们搜一下冷却液，看到这里面有18个冷却液相关的结果，至少前几个不是我们想要的。

可以看到在2万字、48页的文档里，确实有关于这个问题的答案，这是我们所预期的，这就是关于它的操作保养的手册。看一下这个结果和刚才小助手的结果对比，小助手不但简洁，而且逻辑性非常强，正是因为这个大模型这么强大的语言理解能力和生成能力，所以这时候我们随便再问它几个其他的问法，照样能把这些内容给整理出来，时间关系，不一一给大家分享了。

刚才这样一个过程，一个2万字的文章，48页的内容，我们通过几分钟的时间，做成了一个线上小助手，如果在您的业务里有这个需求，别说是一篇这样的文档，就是有几千篇这样的文档，我们也是用十来分钟的时间就可以生成，大概需要花几百块钱，这几百块钱把这个助手建设起来以后，后续每一次提问只需要几分钱，这就是大模型给我们带来的魅力。

除了RAG以外，还有⼀些比较流行的应用框架，比如Agent（智能体），特点是能自动拆解任务，并做好规划，调⽤各种组件完成任务，而且能根据完成的效果去反思改进自己的能力，这个应⽤框架已经在工业、交通等领域得到了非常广泛的使⽤。

我们的一个客户，制造业标杆型企业“中天钢铁”，他们就是通过Agent应用框架，正在实现任务指令的感知、基于工具集的任务分解、以及多任务的自动执行应用，完美执行了一个当钢产量不足的情况下应该怎么去调动各种各样的应用，生成一个解决方案，调整排产计划，最后把整个方案用邮件的方式再发给调度员。

这些就是技术组件的一个更高级的应用方式。刚才通过两个案例给大家绍了一下怎么通过AI原生应用的开发工作台来搭建应用，这就是一个大模型平台应该做的事情，目的就是要把开发成本降到最低。

举个例子，过去10年，百度搞了很多场黑客松大赛，每年搞一次，就是几个产品经理和几个工程师在一起组队，一两天内去落地一个新的创意，在刚刚过去的9月份的这届黑客松大赛，我们94支参赛队伍里有13支团队是没有研发工程师的，而且取得了不错的成绩。

虽然是一个内部的很小的一件事，但我觉得这个现象的意义非常深远，因为只有在大模型时代，才能出现这种不依赖于研发的新模式，可以让我们的应用开发不再受编程能力限制，完全靠创意驱动。

并且，我相信在这种趋势下，AI原生应用一定会更加繁荣，更加贴近业务，我们一定会很快迎来AI原生应用的大爆发。

应用爆发之后，为了更好的连接AI原生应用的供给方和需求方，今天我们隆重推出“千帆AI原生应用商店”。

这个应⽤商店不只是做应⽤的展示，还是⼀个便捷⾼效的应⽤交易平台。我们希望它不仅可以提高我们企业客户选型和采购方面的效率，也希望帮助这些商家能够快速的把他们开发的应用推向市场，成为⼀个大模型商业机会的汇集地。

目前，首批精选应用已经正式上线，这里更多的应用来自我们广大的伙伴和开发者，其中一个是金蝶。金蝶作为首批入驻应用商店的伙伴，基于千帆打造了国内首个财务管理领域的大模型，正在推进大模型与全业务场景的融合落地。

这是一个大家常见的问题，而且财务人员几乎每一天都在和这类问题打交道，我们相信金蝶用千帆的工具链打造的财务专业场景的助手，会显著的提高业务效率。

每一次伟大的创新都离不开可信赖的合作伙伴，我们为合作伙伴打造了国内首个全链路的大模型生态体系，致力于帮助不同领域的伙伴都在大模型时代取得成功，我们会为10家综合伙伴、100家应用伙伴，10000家以上的初创企业以及代理伙伴提供包括刚刚讲的千帆社区、百度AI应用孵化、销售商机、市场营销、赋能培训等等各方面的支持，也包括刚刚讲的千帆的AI原生应用商店。

最后，我想说大模型时代来了，风起云涌，有人争着弄潮，有人忙着逐浪，而我们致力于造一艘坚实的大船，我们要用更高效的智力基础设施、更好用的一站式大模型平台、更丰富的行业解决方案和百花齐放的AI原生应用，与在座的各位客户、合作伙伴一起在大模型商业化征途中乘风破浪，迎未来。

———————————————

雷递由媒体人雷建平创办，若转载请写明来源。