ICS35.030bzxz.net
ccsL80
中华人民共和国国家标准國
GB/T42888—2023
信息安全技术
机器学习算法安全评估规范
Information securitytechnology-Assessmentspecification forsecurityofmachinelearningalgorithms2023-08-06发布
国家市场监督管理总局
国家标准化管理委员会
2024-03-01实施
1范围
2规范性引用文件
3术语和定义
4概述
4.1安全原则
4.2安全要求分级
5机器学习算法技术安全要求和评估方法5.1安全要求
5.2评估方法
6机器学习算法服务安全要求和评估方法6.1安全要求
6.2评估方法
7机器学习算法安全评估流程
7.1流程要求
7.2评估准备
7.3评估方案
7.4评估执行
7.5评估结论
7.6评估报告
附录A(规范性)
附录 B(规范性)
参考文献
算法推荐服务安全要求
算法推荐服务评估方法
GB/T42888—2023
GB/T42888—2023
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国信息安全标准化技术委员会（SAC/TC260)提出并归口。本文件起草单位：北京赛西科技发展有限责任公司、中国科学院计算技术研究所、清华大学、国家计算机网络应急技术处理协调中心、上海商汤智能科技有限公司、北京瑞莱智慧科技有限公司、阿里巴巴(中国)有限公司、中国科学院信息工程研究所、中国信息通信研究院、中国电子科技集团公司第十五研究所、国家信息技术安全研究中心、广州大学、北京大学、华东师范大学、北京航空航关大学、华为技术有限公司、北京旷视科技有限公司、北京百度网讯科技有限公司、深圳市腾讯计算机系统有限公司、浙江大学、北京奇虎科技有限公司、北京小桔科技有限公司、安徽工程大学、北京智者天下科技有限公司、北京交通大学、浙江工业大学、上海工业控制安全创新科技有限公司、中国人民公安大学、深圳市大数据研究院、北京计算机技术及应用研究所、中国科学院自动化研究所、上海隧原科技有限公司、烽台科技(北京）有限公司、中国电子技术标准化研究院。本文件主要起草人上官晓丽、郝春亮、许晓耕、胡影、陈钟、沈华伟、蒋慧、梅敬青、张宇光、彭骏涛、郭岩、李鹏霄、艾政阳、赵芸伟、韩晗、刘明、尹芷仪、庞亮、王晓诗、刘总真、周熙、孟国柱、景慧昀、张琳琳、朱纯超、霍珊珊、刘健、刘赫、苏航、金涛、刘吉强、任奎、张旭东、成瑾、朱红儒、杨韬、李钦、刘祥龙、王义飞、吴庚、赫然、顾钊铨、李实、曹晓琦、严敏瑞、付英波、郭颖、孙空军、唐家渝、刘曦泽、王哲麟、任璐、徐永太、张屹、秦湛、安泽亮、徐雨晴、李雪、李大海、徐光侠、包沉浮、郭建领、宣琦、张世天、赵涌鑫、王姣、王秉政、芦天亮、吴保元、韩磊、张雨桐、彭泉。m
1范围
信息安全技术
机器学习算法安全评估规范
GB/T42888—2023
本文件规定了机器学习算法技术和服务的安全要求和评估方法，以及机器学习算法安全评估流程。本文件适用于指导机器学习算法提供者保障机器学习算法生存周期安全以及开展机器学习算法安全评估，也可为监管评估提供参考。2规范性引用文件
本文件没有规范性引用文件。
3术语和定义
下列术语和定义适用于本文件。3.1
机器学习算法machinelearningalgorithm功能单元通过学习新知识技能或整理已有知识技能以改进其性能的算法。3.2
机器学习算法提供者machinelearningalgorithmprovide利用机器学习算法实现特定功能的组织。注：本文件中简称算法提供者，包括算法技术提供者和算法服务提供者。算法技术提供者是指算法技术的开发和提供方，算法服务提供者是指使用应用算法技术的服务提供方。3.3
算法推荐服务algorithmicrecommendationservice互联网信息服务算法推荐internetinformationserviceofalgorithmicrecommendation应用算法推荐技术提供信息的服务。注1：应用算法推荐技术是指利用机器学习算法实现生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术，向用户提供信息的活动。注2：本文件将生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法统称为五类算法。3.4
算法生存周期algorithmlifecycle机器学习算法从设计到退役的演进过程。注1：算法生存周期包括设计开发、验证确认、部署运行、维护升级、退役下线。注2：一般算法服务处于部署运行阶段。1
GB/T42888—2023
健壮性robustness
机器学习算法在受到干扰或攻击等情况下维持其性能等水平的能力。[来源：GB/T28457—2012,3.8,有修改]3.6
准确率accuracy
对于给定的数据集，得到正确结果的样本数占总样本数的比率。3.7
生成合成信息
generativesyntheticinformation利用虚拟现实、深度学习等技术对文本、图像、音频、视频、场景模型等进行生成或者编辑所得到的信息。
4概述
4.1安全原则
机器学习算法安全原则：
a）公平合理：符合社会伦理道德，遵循社会公序良俗，维护我国社会群体间权利公平、机会公平、过程公平和结果公平的状态；
公开可解释：工作原理具备一定的可解释性且向用户充分公开；诚实可信：严格遵照设计、遵守承诺，不欺骗、不误导、不隐满，充分尊重服务对象和社会利益。c）i
4.2安全要求分级
机器学习算法安全要求分为基本级与增强级：a）基本级：对机器学习算法的基本安全要求；b）增强级：当机器学习算法可能涉及影响国家安全、社会安定、公民生命财产安全等关键事项决策时符合的增强安全要求，对应条款用粗体表示。机器学习算法技术安全要求和评估方法5.1安全要求
5.1.1通用条款
对机器学习算法提供者的安全要求包括以下内容。应对使用的软件及第三方组件、硬件固件及时进行安全更新、漏洞修补，保障算法环境安全。a）
b）应针对训练数据、测试数据、算法代码、算法模型等方面的安全需求差异分别设置数据访问控制策略，防止非授权访问。
应采取密码技术对训练数据、测试数据、算法代码、算法模型等进行保护，应对算法代码、算法模型进行完整性保护，应对训练数据、测试数据的存储、传输进行加密保护。d）不应将个人信息用于算法生存周期各项活动，以下情况除外：2
1）已按法律法规要求取得个人信息主体同意；2）法律法规规定无需取得个人信息主体同意。GB/T428882023
e）确需处理含个人信息的数据时，应采取必要的匿名化、去标识化措施保护个人信息；处理个人信息时应遵循最小必要原则，应在存储、传输含个人信息的数据时进行加密保护，防止数据泄露。
f）应保留算法生存周期各阶段算法关键决策的相关日志记录，至少达到可复现关键决策场景的细化程度，实现算法关键决策可审计、可追溯。注：关键决策包括但不限于技术路线选择、数据集构建、个人信息处理相关决策。5.1.2设计开发
对机器学习算法提供者的安全要求包括以下内容。a）应根据算法模型设计开发的技术路线特点，以及算法相关服务的安全需求，分析确定以下训练数据指标，并采用符合指标的训练数据：1）训练数据规模阈值；
2）训练数据均衡性指标；
3）训练数据标注准确率阈值。
b）应对训练数据进行安全检测，修复或过滤被投毒数据，包括但不限于以下情况：1）攻击者以降低算法模型整体表现为目的，置入大量标注错误或与设计开发目的无关的投毒数据；
2）攻击者以使算法模型对特定数据给出错误输出为目的，置入部分具备特定特征的投毒数据。
数据标注应采取多途径标注，通过交叉验证标注结果推断标注准确率、预防数据投毒。宜设置数据标注质量责任人，负责制定质检方案，监督标注过程，管控标注风险，确保标注的结果质量。
注1：多途径标注是指不同标注团队进行标注的情况，包括借助外部标注团队（外部受托方)进行标注，d）数据标注应在提供者可控的环境进行。借助外部受托团队进行标注的，不应将数据传输给外部标注团队之外的其他组织或个人。应设置标注人员权限控制策略，防止非法授权访问。e）应根据算法设计开发的技术路线特点，以及算法相关服务的安全需求，分析确定以下算法指标，并按指标进行设计开发：
1）算法可用性相关指标，是指算法安全服务时间占总时间比例指标，或算法有效响应次数占总调用次数比例指标等；
2）算法可靠性相关指标，是指算法连续安全服务时长指标，或算法连续安全响应次数指标等。
f）应采取对抗训练、恶意样本过滤等措施提升算法模型健壮性，评估算法模型健壮性提升效果，形成评估报告，包括提升目标、技术方案、投入时间、重要操作、提升效果、评估结论等。9）应设计算法安全应急处置机制，使算法在各类情况，包括算法出现安全意外时，可被提供者人工中断运行。
注2：安全意外包括但不限于被攻击或算法故障。3
GB/T42888—2023
5.1.3验证确认
对机器学习算法提供者的安全要求包括以下内容。应对训练数据与测试数据的重复性进行检测，从测试数据中排除已经被用于训练的数据，并应a）
根据测试需要，分析确定以下测试数据指标，并采用符合指标的测试数据：测试数据规模阈值；
测试数据均衡性指标；
测试数据标注准确率阈值；
测试数据与测试任务相关性阈值。4）
b）应开展算法的数字世界抗攻击测试，测试算法对黑盒攻击、白盒攻击和灰盒攻击的抵抗能力；有条件的宜开展物理世界抗攻击测试。注1：物理世界攻击是指通过对物理世界中物体的自身、环境、视角等因素进行修改、遮盖等方式，对机器学习算法进行对抗性攻击。数字世界攻击是指通过对输入数据进行修改、增加噪声等方式，对机器学习算法进行对抗性攻击。
注2：黑盒攻击是指攻击者只能获得算法的输入输出，但不掌握代码、模型等其他信息时发起的攻击。白盒攻击是指攻击者在完全掌握算法输入输出、代码、模型等信息后发起的攻击。灰盒攻击是指攻击者部分掌握算法但非全部信息，例如只掌握模型结构但不掌握参数时发起的攻击。c）委托验证测试时，应采取以下措施中的一种以保障模型和数据的保密性，并宜对同一算法使用两个或多个受托方对不同数据类型分别验证测试：1）只在提供者可控的环境开展验证测试，不将模型、数据向受托方提供；2）将验证测试所需的模型、数据进行加密封装后再向受托方提供。应根据设计开发阶段确定的可用性、可靠性、可恢复性指标对算法开展验证确认。d)
应开展模型健壮性验证确认，包括但不限于使用包含对抗噪声、自然噪声、系统噪声、假造、仿e）
造、随机、无意义或与算法应用场景无关等类型的数据对算法进行测试。f)
应验证确认算法是否可人工中断运行，重点验证算法在被攻击或出现意外时可被人工中断运行的安全机制是否有效。
5.1.4部署运行
对机器学习算法提供者的安全要求包括以下内容。a)
应采取措施降低算法代码、算法模型参数、特征数据的逆向风险，措施包括但不限于对算法代码进行混淆、加密存储算法模型参数等。应设置针对运行时所使用数据的安全机制，包括但不限于对所使用的数据进行完整性校验，以b)
及基于密码技术对输入输出数据进行必要的加密保护等。应对输入数据格式、大小等属性加以限制，防止特殊数据输入使模型出错；在干扰性输入较多c）
时，应采用输入筛选过滤机制确保算法稳定运行。注1：干扰性输入例如与其余输入数据的差异较大的极端值等。d）应分析算法安全性，识别安全风险，形成算法安全说明文档，文档应准确说明算法局限、安全风险和可能的影响。
应具备算法模型备份还原能力，以支持在必要情况下对算法模型进行恢复还原。e）
GB/T42888—2023
注2：必要情况是指出现模型文件损坏丢失、模型遭受攻击、在线学习出错等导致模型不能正常运行的情况。5.1.5维护升级
对机器学习算法提供者的安全要求包括以下内容。应设置算法升级安全校验机制，在升级前对升级包文件进行安全校验，特别是对模型进行单独a
校验，并应记录校验过程，包括但不限于校验的时间、版本以及关键校验操作等。b）在对算法进行修改、升级等变更时，应及时对模型参数和配置文件进行必要更新;过期的模型参数、配置文件和相关运行数据，可能影响算法安全运行的，应及时删除；同时，应记录算法变更情况，记录内容包括但不限于算法变更的时间、目的、范围，以及前述更新与删除情况。c
应设置备份还原机制，在升级前进行备份，升级过程中出现文件损坏丢失的情况可立刻退回备份点。确认更新完成后，可选择保留或删除备份。5.1.6退役下线
对机器学习算法提供者的安全要求包括以下内容。a
应设置算法退役下线的规则，并按照规则开展算法退役下线。注1：退役下线的规则样例：算法无法满足现实场景要求时进行退役下线、算法需要被其他算法替代时进行退役下线等。
b）按照算法退役下线后，应及时销毁安全域外的数据，数据包括训练数据、测试数据、实例数据、派生数据、特征数据、模型参数、算法输出等。对于部署在用户的终端设备上，无法通过远程控制方式由算法提供者实施数据销毁的，应采取技术手段保护数据和模型安全。注2：安全域指由提供者专门指定的、物理或逻辑上相对隔离的非生产环境中的数据存储位置，专门用于集中存储提供者所拥有的算法相关数据。数据销毁后，应采取措施确保数据无法恢复，措施包括但不限于物理粉碎存储媒体、对存储媒c）
体进行多次低级格式化、重复覆写文件等。d）算法退役下线后，应对该算法涉及的个人信息进行删除或匿名化处理，个人信息主体授权同意用于其他用途的除外。
5.2评估方法
5.2.1通用条款
5.1.1各项要求的评估方法如下。a）查看算法生存周期中使用的所有软件以及硬件固件维护日志，检查是否定期进行安全更新和漏洞修补，检查安全更新版本是否为最新。查看系统配置文件，检查是否对训练数据、测试数据、算法代码、算法模型等设置了访问权b)1
限，研判权限设置是否能够避免非相关人员访问；通过模拟非授权访问等方式验证访问控制策略有效性。
查看系统配置文件和保护方案，检查是否采取密码技术对训练数据、测试数据、算法代码、算法c）
模型等数据设置了保护机制。
d）查看算法生存周期各项活动日志，检查所处理的个人信息是否已取得个人信息主体同意，法律法规规定无需取得个人信息主体同意的除外：5
GB/T42888—2023
查看隐私政策相关文档，研判个人信息授权记录与个人信息处理情况是否一致；1）
检查个人信息授权记录，研判其与算法应用所涉及的授权人数规模、授权个人信息类型规2）
模是否一致；
3）测试算法接口，解析个人信息，研判解析出的个人信息是否具备完备的授权记录。检查是否进行了处理个人信息最小必要原则的论证，评估论证是否合理，检查个人信息在存e）
储、传输时是否进行了加密保护。f）开展下列工作以评估算法的安全审计能力1）查看算法生存周期各阶段文档材料和系统日志，检查是否记录了技术路线选择、数据集构建与选择、敏感个人信息处理等关键决策日志；2）查看算法评估报告或审计报告，研判关键决策环节是否具备可审计、可追溯能力。5.2.2设计开发
5.1.2各项要求的评估方法如下。a）查看设计开发文档，检查是否记录以下训练数据指标的选择根据和论证过程：1）训练数据规模阈值；
训练数据均衡性指标；
训练数据标注准确率阈值。
b）检查是否设计了安全检测机制，查看训练数据的安全检测日志，检查是否对标注错误、与设计开发目的无关、具备某些特定特征的投毒数据进行识别，并对检测出的投毒数据进行了修复或过滤。
开展下列工作以评估数据标注安全情况：1）查看数据标注系统或记录，检查是否采用了多途径标注并对标注结果采取交叉验证，统计数据标注准确率检测结果是否符合设计需求。2）
借助外部受托标注团队进行标注的，查看委托协议，检查是否通过协议条款明确要求了受托标注团队在提供者的可控环境中开展数据标注工作；查看提供者的数据标注系统，检查是否禁止了受托标注团队复制、传输待标注数据。3）查看数据质量标准制度，检查是否设置数据标准质量责任人，检查是否制定质检方案，查看标注过程日志、标注风险管控日志，检查标注结果质量。d）检查数据标注环境是否可控，查看人员权限，检查是否具备与数据应用场景绑定的标注人员权限控制策略，是否通过协议、技术手段防止非法授权访问。e）查看算法设计开发文档，检查是否对算法可用性和可靠性指标进行分析论证，研判指标设置的合理性；查看算法开发过程中的指标评估记录，检查算法是否按指标进行了设计开发。检查是否对所采取的提升模型健壮性的措施进行了详细记录，包括但不限于提升目标、技术方f）
案、投入时间、重要操作、提升效果、评估结论等内容；研判提升后的模型健壮性是否达到设置的提升目标。
9）查看算法设计开发文档,检查是否设置了算法安全应急处置机制,并开发了相应的功能。5.2.3验证确认
5.1.3各项要求的评估方法如下。6
GB/T42888—2023
a）查看验证确认文档，检查是否记录以下测试数据指标的选择根据和论证过程：1）测试数据规模阈值；
2）测试数据均衡性指标；
3）测试数据标注准确率阈值；
4）测试数据与测试任务相关性阈值。b）检查是否设置了算法的数字世界抗攻击测试机制;查看测试文档，检查是否开展了面向黑盒攻击、白盒攻击和灰盒攻击的算法抗攻击测试。查看委托测试协议，确认委托测试是在提供者可控的环境开展，还是将算法提供给受托方c）
开展：
在提供者可控的环境开展测试的，检查是否通过协议、技术手段阻止向受托方传输代码、模型、数据；
在将算法提供给受托方进行测试的，检查是否在提供前将测试所需的代码、模型、数据进2）
行了加密封装。
d）查看验证确认文档，检查是否根据设计开发阶段确定的可用性、可靠性、可恢复性指标对算法开展验证确认，研判验证确认结果是否符合设计开发文档的要求。e）查看模型健壮性验证确认报告，检查是否使用包含对抗噪声、自然噪声、系统噪声、假造、仿造、随机、无意义或与算法应用场景无关等类型的数据对算法进行测试；与设计开发文档中所提模型健壮性指标进行比对，研判是否符合模型健壮性指标要求。根据算法设计开发文档中设置的算法安全应急处置机制，测试所开发功能的有效性；进行模拟f）
测试，验证确认算法在被攻击或出现意外时是否可被人工中断运行。5.2.4部署运行
5.1.4各项要求的评估方法如下。查看部署运行日志，检查是否对存储的算法模型参数进行了加密，并在对算法代码进行混淆后a）
再进行部署。
b）查看服务系统及其运行日志，检查是否对所使用数据进行完整性校验，查看采用数据完整性校验的方式；查看输入输出数据分析文档，检查是否分析输入输出数据的安全需求，并基于密码技术对重点保护的数据实施加密保护。c）开展下列工作以评估算法运行时抗干扰性输入的能力：1）查看服务系统，检查是否设置了数据输入合法性校验功能，包括但不限于数据格式、大小等；服务场景干扰性输入较多的服务系统，检查是否设置了输入筛选过滤机制；2）查看服务系统运行日志，检查合法性校验功能是否对非法数据输入进行识别和有效阻止。d）查看算法安全说明文档，检查是否记录了算法安全分析相关工作的开展情况，以及是否记录了算法安全性的分析结论，包括但不限于算法局限、安全风险和可能的影响等内容。e）开展下列工作以评估运行时算法模型备份还原能力：1）查看部署运行相关制度，检查是否要求定期对算法模型进行备份；2）进行模拟测试，验证在必要情况下算法模型是否可恢复还原。5.2.5维护升级
5.1.5各项要求的评估方法如下。7
GB/T42888—2023
a）开展下列工作以评估算法升级时的校验安全情况：1）查看算法升级相关制度，检查是否设置了算法升级安全校验机制，是否要求升级前对升级包文件进行安全校验，特别是对模型进行单独校验，并对校验的时间、版本以及关键校验操作进行记录；
查看算法升级日志，检查是否按照相关制度对升级包进行安全校验后才实施升级，并详细2）
记录了算法升级前进行校验的时间、版本以及关键校验操作等。b）开展下列工作以评估算法升级时的变更安全情况：1）查看算法变更相关制度，检查是否要求在对算法进行变更时，及时对模型参数和配置文件进行必要的同步更新；
查看当前部署的算法与其模型参数和配置文件是否匹配；2）
查看部署环境，检查当前算法部署路径下是否残留历史版本的模型参数、配置文件和相关3）
运行数据；
4）查看算法变更日志，检查是否对算法变更的时间、目的、范围，以及前述更新与删除情况进行了详细准确记录。
c）开展下列工作以评估算法升级时的备份还原情况：1）查看算法变更相关制度，检查是否要求在升级前对原算法进行备份，以及更新完成后是否要求删除备份；
2）查看算法变更日志，检查是否根据算法变更相关制度执行算法变更。5.2.6退役下线
5.1.6各项要求的评估方法如下。a）开展下列工作以评估算法触发退役下线的规则：1）查看算法退役下线相关制度，检查是否制定明确的算法退役下线触发规则和流程；2）查看算法退役下线日志，研判是否根据制度要求完成算法退役下线。b）在算法退役下线后：
1）查看算法相关数据的梳理日志，检查是否记录了每个算法相关的数据类型和安全域外的全部存储位置，数据类型包括训练数据、测试数据、实例数据、派生数据、特征数据、模型参数、算法输出等；
2）查看算法退役下线日志，检查是否根据算法相关数据的梳理结果，在实施数据销毁时将安全域外的数据全部销毁；
3）对于部署在用户的终端设备上，无法通过远程控制方式由算法提供者实施数据销毁的，查看退役下线制度，检查是否采取技术手段保护数据和模型安全。c）开展下列工作以评估算法彻底销毁数据的情况：1）查看数据销毁制度，检查是否规定数据销毁采用物理粉碎存储媒体、对存储媒体进行多次低级格式化、重复覆写文件等方式，以防销毁后的数据被恢复；2）
检查提供者是否向开展数据销毁的人员提供可实现上述功能的工具或途径，并查看数据销毁日志，检查是否使用上述工具或途径开展数据销毁工作。d）开展下列工作以评估算法中个人信息的删除情况：1）查看算法设计开发和部署运行文档，检查是否明确记录了算法涉及的个人信息范围、个人9