根据大英百科全书的定义,算法是在有限的步骤中生成问题答案或者解决方案的系统程序。算法在大数据时代之前就已经被广泛应用,理论上包括机械原理、逻辑思维和社会规则等都能纳入算法的范畴。但随着大数据时代和智能时代的交叠,AI算法得到普遍应用。

人类使用AI算法的初衷在于辅助或部分代替人类决策,使生活变得更加便捷和智能。AI算法作为人工智能、区块链、大数据分析等技术的核心要素,确实地推动人类生产生活的变革。但同时,AI算法作用过程和决策机制较为隐蔽甚至不便于人类思维理解,有时类似密不透风的“黑匣子”——这导致其被滥用的风险骤然提升,最终可能与使用初衷背道而驰。信息茧房、大数据杀熟、算法歧视等事件的层出不穷也让人们对看似理性、中立的算法进行反思。在此背景下,各国政府开始尝试对算法进行监管。包括但不限于在整体层面上,设立AI的伦理原则,将算法的发展方向框定在“对人类有益”的范围之内,而在各类应用场景中,提出算法透明、公正、保证算法的“可信度”等细致要求。

本文将从作为底层逻辑的AI算法开始,从技术特征和适用场景两个维度探讨国际社会所监管的AI算法类型,对各国算法规制的重点进行介绍。之后,本文将从各国采用的AI算法监管方式入手,以事前、事中、事后三个角度进行剖析,分析各类方法的优劣。

一、AI算法的治理范围

虽然AI算法治理已经逐渐成为各国监管探索的焦点问题,但从国际社会目前的实践来看,并非所有的算法都被列为监管对象或重点。各国对“应被监管的算法类型”进行范围界定时主要有两个考查维度,其一是AI算法本身的技术性质,其二是AI算法的应用场景。

1. AI算法本身的技术性质

根据欧盟今年四月发布的《制定关于人工智能的统一规则(人工智能法案)并修订某些欧盟立法》(以下简称“《人工智能提案》”)第三条第1款中的定义,人工智能系统是指“使用附件I中所列的一种或多种技术和方法开发的软件”[1],具体而言包括:

  • 机器学习算法,包括使用深度学习等各种方法的监督学习、无监督学习和强化学习算法;
  • 基于逻辑和经验的算法,包括知识表示、归纳(逻辑)编程、知识图谱、推理和演绎、(符号)推理和专家系统;
  • 统计方法,贝叶斯估计以及搜索和优化方法。[2]

由此可知,《人工智能提案》中对算法的监管并非仅限于近期的热点黑箱AI算法,也包括一些传统的逻辑推理以及统计方法。与此类似,英国信息专员办公室(Information Commission’s Office)发布的《解释AI决策的指南》(Explaining decisions made with AI)中也针对多种算法进行规制,其中既包括神经网络等人工智能时代的热点算法,也包括逻辑推理、线性回归、逻辑回归等传统算法。这一方面是由于传统算法的“可理解性”不代表其在实践过程中可以确实的“被理解”,简单算法的叠加和复杂逻辑也可以使得其不易被公众理解。另一方面算法最终的输出结果也在很大程度上与算法所处理的数据相关,因此传统算法在大数据的作用下也可能输出难以预料的结果。

虽然国际社会对算法的监管较为广泛,不仅限于人工智能时代的热点算法,但针对不同类型算法的监管思路与程度大相径庭。例如《解释AI决策的指南》中以算法本身是否为黑箱算法而对其进行分类,并且鉴于黑箱算法的不可解释和隐匿性,规定在有其他非黑箱算法可以实现类似目的并且不需要带来巨大或难以承受的额外成本时,优先选择非黑箱算法。[3]

2. AI算法的适用场景

AI算法适用场景的敏感程度是国际社会对AI算法进行监管时重点考虑的因素之一。即使使用的AI算法本身并不复杂和敏感,但若被应用于敏感程度较高的场景中,依然可能会因为处理数据的敏感程度、处理数据本身的偏差、可能影响的公众范围之广以及应用场景本身所处领域的法律规定等因素而被重点监管。

(1)执法机构使用的算法

2019年2月5日,加拿大出台的《自动化决策指令》(Directive on Automated Decision-making)对政府部门使用算法决策进行规制,指出若政府部门在作出行政行为过程中使用自动化决策系统,则应当进行算法影响评估,通过事前通知、事后解释、公布源代码等方式提高决策的透明度,通过监测结果、保障数据质量、为员工提供培训、提供人工干预等方式保证算法决策质量等。

而在美国,时任总统特朗普于2020年12月3日签署行政命令,为联邦机构使用人工智能制定指导方针,旨在促进对人工智能的创新和使用,以促进公众信任,建立对人工智能的信心。该行政命令提出,联邦机构在使用AI技术时应当合法并尊重国家价值观、目的明确、准确可靠且有效、安全且灵活、可理解、可问责且可追溯、透明等原则。[4]

与上述规定不同的是,欧盟委员会发布《人工智能提案》中则是针对不同场景下公共机构使用的具体人工智能技术提出监管规定。例如对于公共机构或代表公共机构对自然人的可信赖性进行评估或分类的社会评分人工智能系统[5]和以执法为目的在公共场所使用的远程生物特征识别系统均进行重点规制,要求原则上不得投放和使用,明文规定的特殊情形除外。

(2)搜索排名算法

在交易场景之下,作为网络服务提供方的交易平台要承担保护平台上商家的竞争公平性及保护消费者权益等义务,改善交易场景下的透明性和公平性。因此平台对商家或商品的搜索排名算法自然成为各国监管的重点,例如美国参议员于2019年10月31日提出的《过滤泡沫透明度法案》(Filter Bubble Transparency Act)中要求,大型互联网平台在使用内容筛选或排名的算法时,原则上不得运营使用不透明算法。

此外,日本《改善特定数字平台上的交易透明度和公平性法》法案从今年春季开始实施,该法案规定了特定数据平台供应商的信息披露义务,披露重点就在于平台使用的排序、分类的方法,从而避免出现优惠或歧视性待遇的情况,例如平台使用优先自身的排序系统等;但要求商家披露的内容不包括排序的具体算法,以免侵犯其商业秘密。

类似的还有韩国于2020年颁布的《在线平台公平交易法》,为了提高平台与在线商店之间交易的透明度和公平性,其要求通过透明公开的合同条款和条件来防止事前纠纷,平台运营商必须草拟书面合同并将其交付到在线商店,并在合同中指定重要项目,其中包括用于确定诸如商品等信息的展示方式以及在线平台上顺序的标准,包括费用对信息呈现方法和顺序产生的影响等。

(3)动雇佣算法

鉴于劳动雇佣场景直接关系到个人的劳动就业权与平等就业权,对个人利益和公共利益具有较高影响,同时AI算法越来越多的被应用在招聘、晋升场景之中,由AI来分析面试者是否具有某种特质、是否符合工作岗位的要求,从而辅助人力资源部门来进行决策。因此,各国对劳动雇佣场景下的AI算法提出了一系列监管要求。

目前美国平等就业机会委员会(EEOC)也对招聘算法中可能存在的歧视和偏见展开了调查。具体到美国的立法层面,2019年5月,伊利诺伊州通过了《人工智能视频面试法》(Artificial Intelligence Video Interview Act),对AI参与招聘流程进行了限制。该法案要求雇主在使用AI进行招聘的时候需要向面试者解释AI的工作方式及技术检测的特征,并需要获得面试者的同意,并且雇主还需要在30天内删除所有的视频内容。[6]

欧盟则将应用于公民就业场景的AI认定为八个高风险级别的场景之一,概括地对高风险级别的AI工具作出了几点强制性规定,包括训练数据、数据和记录、须披露的信息、稳健性和准确性、人工监管等要求,力图控制风险,使其对公民权利的影响在可控范围之内。

二、AI算法的治理方式

虽然算法治理已逐渐成为国际社会共同关注的焦点之一,并且以美国、欧盟为代表的多个国家已经开始积极探索算法可能的监管思路与治理框架,但目前各国算法规制的方式较为多样化,大致可以分为事前、事中与事后三个阶段的监管模式。

1. 事前

目前国际社会对AI算法在投放市场或使用之前的治理方式较为多样,主要可以分为以下两种:

(1)事前禁止、备案、影响评估等要求

2021年4月欧盟委员会发布的《人工智能提案》中对AI算法采用基于风险等级区分规制方法的监管路径。具体而言,AI算法系统在投入使用或投放市场之前应当确定其所属的风险等级。对于四类导致或者可能导致自然人身体或心理伤害的AI算法系统,《人工智能提案》认为其风险不可接受(Unacceptable risk)因而禁止该等系统的使用和投放。此外,对于使用或投放于关键基础设施、公民教育、公民就业、公共服务、执法等领域可能存在危害健康和安全或对基本权利造成不利影响风险的AI算法系统,《人工智能提案》将其归类为高风险系统并规定了注册义务,即在将高风险AI系统投入市场或投入使用之前,其供应商或授权代理人(如适用)应将该系统注册到欧盟针对独立高风险AI系统建立的欧盟数据库中。供应商注册时应提供以下信息,且欧盟数据库中包含的信息应向公众开放:

  • 供应商的名称,地址和联系方式;
  • 由他人代表提供者提交信息的,该人的姓名,地址和联系方式;
  • 授权代表的姓名,地址和联系方式(如适用);
  • AI系统的商品名称和任何其他可以识别和追溯AI系统的参考,;
  • 描述AI系统的预期目的;
  • AI系统的状态(在市场或服务中;不再放置在市场/服务中,已召回) ;
  • 指定机构签发的证书的类型,编号和有效期,以及该指定机构的名称或标识号,以及证书扫描件(如适用) ;
  • AI系统已经或已经投放市场,已投入服务或已在联盟中提供的成员国;
  • 欧盟合规声明的副本;
  • 电子版使用说明;
  • 其他信息的网址(可选)。

由上述列举信息可知,注册时需要提供的信息基本限于AI系统及其供应商的基本信息,而不涉及AI系统的逻辑与算法、体系与结构等更加深入和详细的信息。根据《人工智能提案》第11条以及50条,该等更详细的信息应在AI系统使用或投入市场之前被记录在技术文档之中,用于进行事前影响评估,同时该技术文档应在AI系统被投入市场或投入使用后的十年内,保持国家主管部门对该技术文档的处置(keep at the disposal of the national competent authorities,但根据该法案目前的表述,无法判断该技术文档是否需要交由国家主管部门保存或备案。

类似地,2019年4月美国两位民主党参议员Cory Booker和Ron Wyden联合提出的《算法问责法案》(Algorithmic Accountability Act)中也指出美国联邦贸易委员会应颁布法规要求拥有或控制高风险自动化决策系统的实体在部署或实施该系统之前进行自动化决策影响评估和数据保护影响评估。

(2)AI算法(系统)设计相关要求

鉴于增强AI算法的透明度在一定程度上有助于降低AI系统可能导致的风险并增强公众对AI算法的信任感,许多国家对AI算法(系统)的设计提出要求,以提高其在投放市场或投入使用时的透明度。例如美国《过滤泡沫透明度法案》要求,大型互联网平台在使用根据特定用户的数据对互联网平台上的内容进行筛选或排名的算法时,原则上不得运营使用不透明算法,除非其在用户第一次与不透明算法进行交互时以清晰、明显的方式向用户发送可以拒绝的一次性通知,以告知用户平台使用不透明算法,并且向用户同时提供使用透明算法的平台版本,使用户可以轻松地在使用不透明算法的平台版本和透明算法的平台版本之间切换选择,以此提高大型互联网平台面向消费者的透明度。

韩国最大的搜索引擎公司Naver被韩国公平贸易委员会(Korea Fair Trade Commission, “KFTC”)指控其将自己的服务放在搜索结果顶部,同时降低竞争对手出售的产品的排名,以操纵有利于其的搜索算法的设计方式违反《垄断法规和公平贸易法》,因此对其下达了纠正令(corrective orders)。欧盟《人工智能提案》中则是更明确地规定供应商应确保以与自然人互动的方式设计和开发AI系统,以使自然人被告知他们正在与AI系统互动,除非从情况和使用语境中显而易见。[7]

2. 事中监管式

事前审查、备案等方式并不能排除AI算法系统在投放于市场后或在市场中使用时所可能产生的多方面风险,例如市场环境中的真实数据可能使得AI算法的输出结果超出预期并给个人甚至公共利益带来危害。鉴于此,一些国家在AI算法系统的整个运行过程中对其进行监管,以动态检测AI算法的实际运行情况。

日本《改善特定数字平台上的交易的透明度和公平性法》规定了对特定数字交易平台供应商在AI算法系统使用过程中的持续上报义务,即特定数字平台供应商向日本经济产业省部(METI minister)提交年度报告,说明其合规状况,并就其在该法案下的义务的履行情况进行自我评估。METI将对该报告进行审查,以确保交易的透明度和公平性,并将审查结果与每个供应商的报告大纲一并公布。

除供应商主动上报外,一些国家还规定了主管机构对AI算法系统进行检查和监视的权力。例如欧盟《数字服务法》规定,在现场检查过程中,欧盟委员会及其指定的审计人员或专家可要求有关的超大型在线平台就其组织、运行、信息技术系统、算法、数据处理和业务行为作出解释。《数字市场法》同样规定,欧盟委员会可以通过简单请求或通过决定要求企业和企业协会提供信息,要求提供所有为了持续监测、实施和执行本法规所规定的规则所必要的信息。委员会可以要求访问企业的数据库和算法,并可以简单的请求或决定要求提供解释。此外,欧盟《人工智能提案》在第63条中规定了主管机构对欧盟市场中AI系统的市场监视和控制,例如国家监管机构应定期向委员会报告有关市场监督活动的结果。同时其第64条要求AI算法系统应当对“向监管机构透明”,其赋予市场监督机构在其活动范围内通过API、远程访问工具等方式访问供应商AI算法系统的数据(包括训练集、验证集和测试集)的权力,以及为评估高风险AI系统是否符合《人工智能提案》相关规定而访问源代码的权力,并且公共机构可以要求市场监督机构通过技术手段对高风险的AI系统进行分析测试。

3. 事后救济式

除事前审查、事中监督之外,若AI算法的使用给利益相关方带来威胁或损害,有些国家规定了相应的救济措施,但在不涉及既有法律领域规则所规定的私人诉权的情况下,目前基于AI算法监管而产生的救济措施大多由国家权力机构行使或代为行使,而并非由利益受损相关方直接行使。例如美国《算法问责法案》中规定,若一州的司法部部长(attorney general of State)有理由相信该州的居民因为违反该法案规定的实践而受到威胁或者不利影响,则该州的总检察长可以代表该州的居民向美国地区法院提起民事诉讼以获得适当的救济。

类似地,日本《改善特定数字平台上的交易的透明度和公平性法》中规定,如果数字交易平台的用户(包括第三方卖方和消费者)认为特定数字平台供应商未采取必要的措施,则可以向METI报告,并可以要求实施适当的措施。平台用户可能会利用此报告系统帮助METI收集有关违规的信息。该法案还禁止特定数字平台供应商拒绝交易或以其他方式对平台用户进行报复,以掩盖向METI的此类报告和请求。

三、算法治理方式的利弊分析

前述事前、事中、事后的算法监管方式可以在算法设计、运行与实施的各个阶段对算法进行监管并为利益相关者提供保障,但同时该等算法治理方式也可能根据算法本身的性质、应用场景、监管权力分配等因素存在一定的局限性。

1. 事前禁止、备案、影响评估以及介入算法设计等监管方式

根据算法本身的性质对算法进行事前规制可以在一定程度上为算法设立市场准入的门槛,事先对一些以损害他人、公共甚至国家利益为目的的AI算法或者AI算法设计进行禁止,防止部分个人、团体甚至国家公权力机关将非法目的或行为包装成AI算法并实施。这种防止技术“本身违法”(“的事前监管方式在其他法律领域也有所涉及,但在算法领域可能存在部分局限性。

对于事前禁止AI算法的规制方式而言,一方面,如何在事前定义AI算法“本身违法”是一个丞待解决的难题。欧盟《人工智能提案》第5条中采用了“导致或可能导致该人或他人的身体或心理伤害”、“以导致或可能造成该人或他人的身体或心理伤害的方式”、“导致对某些自然人或整个群体的有害或不利待遇”等结果导向的定义形式,但在事前预估其可能造成的后果在事实上可能具有一定的实践难度,并且伤害程度如何衡量也需要进一步的探讨。尤其在算法决策过程存在不透明以及不可解释性时,排除或确定可能的危害和危害程度更是难上加难。另一方面,这种监管方式的有效性可能受限于AI算法结果的不可预测性。AI算法输出的结果不仅依赖于算法本身的性质和设计思路,也在很大程度上依赖于输入算法的数据(包括训练集、验证集和测试集等),AI算法在被投放于市场或投入使用之后,其所处理的数据可能较为庞杂并且本身存在一定的偏差,因而造成输出结果不符合预期的情况。

对于事前备案的方式而言,需要解决的核心问题之一是对AI算法的哪些信息进行备案。尽管目前采取这种监管方式的国家较少,并且欧盟《人工智能提案》中仅要求供应商将AI系统在欧盟数据库中进行注册时提供AI算法的基本信息,这种备案的优势在于可以对现有的AI算法进行梳理和分析,并且在AI算法系统发生损害或不利影响时快速追溯到具体系统以及供应商并采取相应措施。此外还能归纳总结历史上发生损害的具有共性的应用场景或者算法技术,在事前备案中予以设定预防纠正措施等。但目前在实践中其并未对算法准入门槛和标准进行更加详细和细致的规定,例如在确定哪些AI算法需要履行备案手续时是否需要考虑其本身的技术性质(如是否为黑箱算法)、应用场景、处理数据的敏感程度以及体量等。

就目前国际社会的实践情况而言,事前对算法进行影响评估的监管方式正逐渐成为各国探索的方向之一。影响评估可以提高AI算法供应商以及使用者的注意义务,同时对该等影响评估的公开也可以敦促AI算法供应商或使用者接受社会审查,并提高公众对算法的信任度。但目前而言,国际社会更倾向于由AI算法供应商或使用者自己而非监管机构完成影响评估。考虑到影响评估的客观性,主管机构可能需要出台配套措施以保证对该影响评估结果进行严格的审查和验证,以及细致具体的影响评估细则或指南要求AI算法供应商、使用者或者第三方机构在进行算法影响评估时必须客观考量和评估的指标和方面,从而保证算法影响评估的真实有效。

此外,AI算法的设计方式提出要求从而保障算法透明度的方式是大多国家采用的监管方式。透明度不仅可以提高AI算法供应商或使用者在设计、开发、使用算法时的注意义务,还有助于保障和落实消费者的知情权,减少信息不对称,从而增强公众对AI算法的信任度。但是具体的设计要求与AI算法的适用场景息息相关,例如对于在线购物系统,提供退出选项可能是较为有效的方式,而对于视频监控系统而言,提供退出选项可能在事实操作层面存在一定困难,需要采取其他更为有效的方式。因此对透明度的监管规定需要根据场景进行具体划分并细化落实。

2. 事中监管式

在AI算法进行测试、运行以及投放市场后对其进行持续监测的事中监管机制有助于及时发现算法存在的问题和风险,从而采取措施加以应对和解决,避免威胁的发生或损害的扩大,同时可以提高相关AI算法供应商或使用者对其开发、使用AI算法的持续注意义务,在一定程度上降低AI算法出现预期之外结果的风险。

根据目前各国的探索和实践,事中监管机制可以分为AI算法供应商持续主动上报以及主管机关持续监测和调查这两种方式。对于前者而言,需进一步明确具体上报的信息类型以保证风险可以被主管部门有效监测,同时,如何保障AI算法供应商上报信息的准确性、真实性、有效性也需要配套措施加以完善;而对于后者,核心问题是如何界定主管机构的权力范围。一方面,若允许主管机构在AI算法暂未出现较大或不利影响时查阅所有的数据、源代码以及文件,可能有违行政领域的比例原则,过度扩张主管机构的权力边界,并给企业带来不必要的负担;另一方面,监管机关行使权力的条件存在较大不确定性,例如“为了持续监测、实施和执行本法规所规定的规则所必要的信息”范围如何界定,何为“在其活动范围内”等,并可能因此导致权力寻租。

3. 事后救济式

与其他法律领域事后救济的规定类似,算法领域的事后救济规则可以防止危害的进一步扩大并弥补利益相关方一定的损失。但是根据目前国际社会的规定来看,其倾向于采取在不涉及既有法律领域规则所规定的私人诉权的情况下,由国家权力机构行使或代为行使基于AI算法监管而产生的诉权而并非由利益受损相关方直接行使的救济方式,这可能由算法领域本身的性质所决定,如私人主体在行使请求权时需要面对严重信息不对称的现状等。

但是公权力机构行使或代为行使的方式也需要配套措施的完善以保障救济方式的有效性,例如公共机构代为请求赔偿是否意味着该等算法的损害要达到一定的额度或造成公共利益损害时才可以起诉?如何分配举证责任?此外,这种事后救济机制能在多大的程度上对利益相关方起到有效救济的功能也需要进一步论证。

尽管目前的治理方式有利有弊,我们发现国际社会对AI算法进行事前、事中、事后的治理依然沿用了物质社会传统法律领域的监管模式,尚未创设在智能时代虚拟现实社会中新的监管方式。我们仍需要进一步思考,当面对如智能合约等新技术的出现,这种传统的法律监管模式是否可能存在一定的局限性,或者未来对算法的监管是否可能跳出现有思维,针对AI算法本身的性质和特点设计新型治理模式,例如是否可能采用算法监管算法的治理模式等。此外,针对上述事前、事中、事后每个具体阶段中的监管方式是否依然有必要采取传统法律模式,例如对算法的事后监管是否仍需局限于现行有关事后救济的法律法规等,都是在算法长期治理过程中丞待解决的问题,有待法律与技术等各界人员进一步探讨。

四、算法治理初衷与企业的应对措施

虽然AI算法治理已经成为国际社会研究和探索的焦点问题,但治理AI算法的根本原因和初衷仍然并不明确。AI算法已被应用于社会生产生活的各个领域,而因其导致的损害很大程度上可以通过法律在各个领域既有的规定解决如AI算法在劳动雇佣领域的应用应当受制于劳动法的相关规定,因此若雇主通过AI算法对雇员进行歧视性待遇,同样构成对劳动法相关条款的违反并应对此承担责任。因此,对算法进行单独规制的原因以及必要性基础仍需要进一步论证。

但有一点是可以明确的,那就是政府对算法的监管已经成为不可逆的潮流,中国也必须顺应趋势,对算法在社会生活中引发的种种问题作出回应。而面对目前实践中的AI算法在设计和实施时可能面临的输出结果不确定等诸多问题,目前考虑的监管思路是对现有算法类型以及基础信息等进行初步了解,因此,采取算法备案的监管方式可能有助于达到这一目的。

而对于被规制方企业而言,一方面要认识到算法监管的大趋势,及时自治;另一方面也要向监管部门自证算法合规。具体而言,可以采取如下措施,以降低算法被监管的风险:

  1. 梳理现有的算法,尤其是可能被规制的算法;
  2. 就核心算法等起草、准备算法可解释性说明;
  3. 建立算法内部管理机构;
  4. 就AI道德伦理测试等建立制度;

针对可能存在的算法歧视、大数据杀熟等现象核查并提供影响报告等。

接下来,我们将会通过一系列文章从算法的定义、算法监管的根本原因、作为监管对象的算法监管范围等系列问题出发,与大家共同探讨人工智能学科领域中可能的法律监管思路与实现路径。