近日，科技部会同教育部、工业和信息化部、国家卫健委等十部门联合印发《科技伦理审查办法(试行)》(以下简称《审查办法》)。《审查办法》体现了科技向善的总体愿景，特别强调“遵循增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明”，反映出了科技促进人类繁荣的理念。

  人工智能赋能人类繁荣与社会发展，涉及到人的科技活动是人工智能伦理审查的重点。《审查办法》指出，涉及以人为研究参与者的科技活动，包括以人为测试、调查、观察等研究活动的对象，以及利用人类生物样本、个人信息数据等的科技活动，都需要按照《审查办法》给出的指引进行科技伦理审查，以确保人的基本权利，个人信息得到充分保护，在必要情况下以知情同意为基础合法合规地收集、分析与使用。《审查办法》指出，在生命健康、生态环境、公共秩序、可持续发展等方面，可能带来伦理风险挑战的科技活动也需要进行科技伦理审查，这些领域正是人工智能赋能社会发展的核心及关键领域，需要秉承促进人类、社会、生态可持续发展的理念避免风险，促进创新。

  科技伦理审查由一般程序、简易程序、专家复核构成相对完善的科技伦理审查体系。在一般程序、简易程序的基础上，专家复核相关领域可能存在科技伦理风险，因此需重点关注。

  针对需要开展专家复核的科技活动，《审查办法》拉出清单，对人类主观行为、心理情绪和生命健康等具有较强影响的人机融合系统的研发需要进行专家复核。人机融合系统是人类智能与人工智能融合的复合智能体。其构建目的一般是为了辅助和增强人类智能。人机融合系统虽然有辅助或增强人类执行认知任务的能力，但是也可能影响人类的自主性，从而影响到人类主观行为，伦理审查中要特别关注人机融合系统对人类能动性、主观行为产生的负面影响。人机融合系统还有可能对人类心理造成负面影响，例如影响人类情绪，使人产生对系统的依赖等。针对脑机接口等融合智能系统，伦理审查特别要注意其对人的心理或身体造成严重不良影响的可能性，如侵入式脑机接口技术的物理安全风险，对脑组织的潜在负面影响等。此外，受限于目前人工智能模型的能力，侵入式、非侵入式脑机接口难以完全避免编解码错误;模型涉及的个人数据安全、可解释性、可靠性;对人类能动性与自由意志的负面影响;应用层面是否会对社会公平带来挑战等伦理风险均需在专家复核阶段开展进一步审查。

  该清单同时指出，具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发需进行专家复核。原因在于具有舆论社会动员能力和社会意识引导能力的算法模型与服务可能会被用于歪曲或形成负面价值导向，扰乱社会安全与社会秩序，带来不良社会影响。这类研发任务需要按照国家互联网信息办公室等四部门联合发布的《互联网信息服务算法推荐管理规定》等相关要求实施分级分类安全管理，特别是需要防止相关算法、应用程序与系统在没有合理安全监管情况下的扩散和潜在滥用与恶意使用。

  针对人工智能领域，该清单同时指出，面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发需要进行专家复核。具有高度自主能力的自动化决策系统指基本或完全不需要人类干预的自动化智能决策系统。由于目前的人工智能系统仍然是看似智能的信息处理系统，并不具备人类水平的理解能力，因此在关键和高风险等领域不能代替人类决策，且必须确保充分、有效的人类控制，人类是最终的责任主体，这是国际共识。如联合国教科文组织发布的《人工智能伦理建议书》中规定，在某些情况下，出于效率性的考虑，人类有时选择依赖人工智能系统，但是否在有限情形下出让控制权依然要由人类来决定，这是由于人类在决策和行动上可以借助人工智能系统，但人工智能系统无法取代人类承担最终责任。总体而言，涉及生死抉择的情况，不应任由人工智能系统决定。脱离充分和有效人类控制的高度自主、自动化决策系统既导致人类失去决策自主性，又剥夺了人机协同系统中人类应当承担的责任与义务，最终极有可能对人类身心健康乃至生命造成重大伤害，此类风险都是要在专家复核阶段进行严格审查与研判的。对于可能给身心健康、生命带来安全隐患的高度自主人工智能系统应不予通过并明令禁止。

  人工智能科技伦理审查，相关法律是底线，《审查办法》是指导原则和依据。然而，随着人工智能技术的发展，有可能在科技伦理方面出现新情况、新挑战。相关管理、审查部门、执行部门应与科研工作者等相关方深度协同，与时俱进，适时完善《审查办法》，真正实现人工智能科学与技术的可持续、向善发展，打造以人为本，负责任的、对人类和生态有益的人工智能。

  (作者曾毅 系中国科学院自动化研究所人工智能伦理与治理中心主任、中国科学院科技伦理委员会信息技术与人工智能分委会主任)