招行信息技术部副总经理俞吴杰:为大模型应用开“绿色通道”
在“科技立行”的战略引领下,招商银行是信息科技投入规模最高的股份行,也是数字化基础设施建设较快的银行之一。
2019年,招行提出加快向“金融科技银行”转型,并在公司章程里规定“每年金融科技整体预算原则上不得少于本行上一年度营收的3.5%,其中‘招行金融科技创新项目基金’预算额度原则上不低于上一年营收的1.5%”。目前从人员分配来看,信息技术部是招行一级部门中人数最多的部门,截至2024年6月末,公司研发人员数量达到10653人,占集团员工总数的比重达到9.23%。
2022年底,招行实现科技底盘从传统架构升级换代到云架构,并将所有应用系统全部迁移至云上。
在今年的中期业绩发布会上,招行行长王良提到将用三年时间实现从“线上招行”向“智慧招行”的跨越。在智能化变革深刻影响的当下,招行在基础设施建设、AI等新兴技术应用层面有哪些新的思考与应用?
近日,招行信息技术部副总经理俞吴杰接受了21世纪经济报道记者采访。他提到,今年年初招行开始建立智算平台,并通过FinTech基金对大语言模型方面的基础设施建设与应用开设“绿色通道”,推动AI在钱多、人多、耗时多的场景里发挥更大的价值。
谈投入:为大模型应用开“绿色通道”
一直以来,聚集资金与数据优势的商业银行都是数智化转型的领头羊。从2023年全年科技投入数据来看,12家银行科技投入超50亿元,其中8家银行投入超百亿。
就招行自身来看,其信息科技投入经历了从2018年到2021年的迅猛增长,从2022年开始已趋于平稳,截至2023年末科技投入金额约141亿元。
俞吴杰告诉记者,招行信息技术投入分为两大方向,一是传统的软硬件投入,二是在探索大语言模型落地时,搭建智算平台、挖掘应用场景的投入。
传统的软硬件投入主要是围绕招行的云基础设施。2023年3月,招行宣布完成全面上云,目前招行的“两朵云”分别为“金融交易云”与“原生云平台”,前者重“稳态”,后者重“敏态”。俞吴杰表示,这是招行面向未来的数字化新基建,投入非常大,就从硬件来说,“两朵云加起来需要数万台服务器。”他提到,此外还有软件投入、维保费、人力等。
面对生成式AI带来的大模型浪潮,招行第二大科技投入的方向是智算平台,该平台从今年年初开始建立。“以前我们的服务器集群叫做通算平台,现在和大模型相关的我们称为智算平台。”据俞吴杰介绍,智算平台包括招行的大语言模型训练平台与推理平台两个方面。他提到,招行探索大模型的目标不是建立通用模型,而是在金融行业建设垂直领域的大模型。
“无论是训练还是推理,集群投入都是以亿为单位的。”俞吴杰提到,每台GPU的价格上百万,仅算力配置的成本就相当高昂,同时还需要引进相关人才,这意味着持续的投入。
俞吴杰坦言,应用场景需要业务部门和技术部门一起创新,存在一定试错成本,招行的解法是用FinTech基金来提供容错成本,每年招行FinTech基金的预算额度原则上不低于上一年营收的1.5%。“总行对于大语言模型的基础设施建设和应用,都是全力支持,基本上都能通过FinTech基金走绿色通道。”俞吴杰表示。
招行对智算平台的全力投入,是因为大语言模型正在银行各个业务板块全方位地释放价值。在俞吴杰看来,虽然大模型在银行的落地应用还处于探索阶段,但已经为业务带来了非常显著的变化。
俞吴杰指出,在从“线上招行”向“智慧招行”转变的过程中,线上化、数据化、智能化、平台化、生态化的“五化”建设至关重要,目前招行已基本完成线上化和数据化阶段。
在智能化阶段,俞吴杰提到,AI已经融入到银行日常的营销、服务、风控、经营等各个方面。例如在服务质检方面,过去人工客服接听电话、记录内容、整理归类的流程可能需要五分钟,但现在可以借助语音识别转换成文本后交给大模型处理,可以把流程缩短到“秒”级,大幅提升工作效率。
谈落地:到“钱多人多耗时多”的场景中去
在探索大模型落地应用的过程中,数据、算力、算法的“三驾马车”是金融机构和科技厂商的必答题,对招行来说也是如此。
俞吴杰告诉记者,基于传统AI技术,招行已在语音语言、计算机视觉等方面有广泛落地应用,但对大语言模型与智算平台建设的探索还是近两年才开始的,接下来将聚焦两个方面。
第一是持续建设推理集群。“未来的大模型应用,对算力提出刚性要求,如果没有算力服务就很难扩展场景、提升用户体验。”俞吴杰提到。
第二是扩大训练的集群。俞吴杰明确指出,招行不会将精力放在通用大模型训练上,而是聚焦专业领域。招行选择了两条路径,一是基于效果较好的通用大模型,结合专业领域知识以及招行在日常经营中积累的专业语料,“做深”领域大模型;二是将领域大模型投入到更多场景中,基于场景实现应用创新。
“我们认为银行有三个重要的‘密集型’特征,分别是数据密集、知识密集、人力密集。”俞吴杰表示,在“钱投入多”、“人投入多”、“耗时多”的场景下,AI将产生更大的价值。
据俞吴杰介绍,招行的创新应用一般是自上而下、自下而上“两条腿走路”。
自上而下方面,招行会基于对大模型应用的整体规划来投入资源。俞吴杰提到,目前该行的规划是按照业务条线、业务形态的“两维矩阵”来挖掘前述的“三多”场景,前者对应零售、批发、中后台等条线,后者对应营销、服务、运营、风控、合规、办公等场景。
自下而上方面,招行通过FinTech基金、创新竞赛等形式,激励一线业务人员在实际工作中应用大模型。“在上层做规划的时候,可以从全局出发,但往往一线听得到炮火的员工,对业务的真实需求理解最深。”俞吴杰表示,招行将加大在培训、机制、资金等各方面投入,引导一线员工在日常工作中挖掘大模型的实践场景。
据介绍,截至今年10月末,招行全行已有超过100个场景在应用大语言模型。俞吴杰表示,未来招行还将加大在智算平台投入,扩大规模、提升性能,并与高校、厂商等共同攻关技术难点。
谈未来:加强协同应对AI风险
尽管以大模型为代表的AI技术已经开始释放应用价值,但不可否认的是,新兴技术也带来了新的风险与挑战。
俞吴杰指出,大语言模型在银行的落地应用还存在幻觉问题、资源消耗巨大、数据隐私保护、答案生成可解释性等方面问题。例如在客服场景中,如果大模型的思考时间过长,可能影响客户体验,但性能调优需要更大规模的算力,与更多的资源消耗;又如在贷款审批等涉及决策的场景下,多层神经网络模型是“黑盒”,可能使得业务“不敢用”。
对此,招行的解法是“协同”,既包括人机协同,也有大模型与小模型的协同。
客户服务是大模型最先落地应用的场景之一。俞吴杰提到,随着银行客户数量、账户数量的增加,对客户服务的需求快速增长,客服业务的发展也经历了人工客服、机器客服和人机协同的三个阶段。他指出,在第二个阶段主要是通过自然语言处理的小模型,来实现客户交互,但由于机器理解可能的偏差,影响客户体验。目前,招行的智能客服来到人机协同的第三阶段,机器人可以解决简单、相似性较高的问题,当出现复杂问题,或AI判断用户情绪需要人工干预时,可以无缝衔接到后台坐席人员处理,最终在实现规模效应的同时提供“有温度”的服务。
为进一步解决大模型因幻觉导致的准确度不高、可解释性不强、响应时间过长等问题,招行采用大模型与小模型协同的方式。
俞吴杰表示,小模型的“小”只是相对于大语言模型的量级而言,基于传统方法建立的模型,一般是针对某一场景开发的专有模型。“大的趋势是大模型的覆盖范围会越来越广泛,如果它的准确度和效果能达到使用标准,它的可复用性可以大幅降低银行的边际成本。”俞吴杰指出,虽然小模型需要专门的开发、部署、维护,但它有很好的可解释性,对场景有针对性,特别是在精准的数值处理方面,小模型的表现较好,因此未来大模型和小模型仍将长期并存。
“大部分银行只要有能力,基本都会布局大语言模型,但这是一项持续的大规模投资,不是所有银行都适合这种大规模投入的。”俞吴杰表示,不建议大量中小银行盲目跟风。在产生价值、可复用的场景上,中小银行机构可以基于大行经验进行大模型的应用探索。
(文章来源:21世纪经济报道)
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。