MindSpore Armour
MindSpore Armour是一款安全与隐私保护工具,提供AI模型安全测评、模型混淆、隐私数据保护能力,目前主要包含3个模块:对抗样本鲁棒性模块、Fuzz Testing模块、隐私保护与评估模块。
对抗样本鲁棒性模块
如果有人攻击AI模型,在原始样本处加入人类不易察觉的微小扰动,就会导致深度学习误判。MindSpore Armour模型安全提供对抗样本生成、对抗样本检测、模型防御、攻防效果评估等功能,为AI模型安全研究和AI应用安全提供重要支撑。
1.对抗样本生成:支持安全工程师快速高效生成对抗样本,用于攻击AI模型;
2.对抗样本检测、防御模块:支持用户检测过滤对抗样本,增强AI模块对于对抗样本的鲁棒性;
3.评估模块:提供多种指标全面评估对抗样本攻防性能;
应用案例:
1.调用MindSpore Armour提供的FGSM接口(FastGradientSignMethod)对图像分类模型进行无目标攻击,成功生成了对抗样本,模型精度由98.9%降到5.2%,误分类率高达95%;
2.调用MindSpore Armour提供的NAD防御接口(NaturalAdversarialDefense)进行对抗样本防御后,模型对于对抗样本的误分类率从95%降至14%,模块有效防御了对抗样本。
案例地址:https://www.mindspore.cn/mindarmour/docs/zh-CN/r2.0/improve_model_security_nad.html
Fuzz Testing模块
传统软件的决策逻辑由代码逻辑决定,通过行代码覆盖率来判断当前测试是否充分,理想情况下覆盖率越高,代码测试越充分,但是对于神经网络而言,程序的决策逻辑由训练数据、网络模型结构和参数通过某种黑盒机制决定,需要根据深度网络的特点选择更为适合的测试评价准则,发现更多边缘错误用例。
Fuzz Testing模块是针对AI模型的安全测试,根据神经网络的特点,引入神经元覆盖率,作为Fuzz测试的指导,引导Fuzzer朝着神经元覆盖率增加的方向生成样本,让输入能够激活更多神经元,神经元值的分布范围更广,以充分测试神经网络,探索不同类型的模型输出结果和错误行为。
Fuzzer需要设置数据变异方法及参数,目前支持的数据编译方法包含:
自然扰动样本生成方法:
1.仿射变换类方法:Translate、Scale、Shear、Rotate、Perspective、Curve;
2.模糊类方法:GaussianBlur、MotionBlur、GradientBlur;
3.亮度调整类方法:Contrast、GradientLuminance;
4.加噪类方法:UniformNoise、GaussianNoise、SaltAndPepperNoise、NaturalNoise。
基于对抗攻击的白盒、黑盒对抗样本生成方法:
1.FGSM(FastGradientSignMethod)
2.PGD(ProjectedGradientDescent)
3.MDIIM(MomentumDiverseInputIterativeMethod)
应用案例:
1.设置自然扰动样本生成方法,对原始图片进行变异,Fuzz测试前种子的KMNC神经元覆盖率为31.5%,Fuzz后,KMNC神经元覆盖率为43.8%,神经远覆盖率提升,样本的多样性提升。
案例地址:https://www.mindspore.cn/mindarmour/docs/zh-CN/r2.0/test_model_security_fuzzing.html
昇腾计算产业是基于昇腾系列(HUAWEI Ascend)处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务,https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链
更多推荐

所有评论(0)