清华联合阿里安全、RealAI 发布首个公平、全面的AI攻防

6 月 3 日，清华协同云安全、RealAI 公布了第一个公平公正、全方位的 AI 攻防抵抗基准平台，该测评基准根据清华在 2020 年 GitHub 开源系统的 ARES 算法库，平台专注于对 AI 防御力和攻击算法开展自动化技术、科学研究评定。AI 模型到底是不是安全性，攻击和防御力几何图形？只要递交至该平台，就由此可见工作能力排名。

▲ 图 | 中科院院士张钹（左二）、清华专家教授周涛（左三）、阿里安全部门技术主管薛晖（右一）、RealAICEO 田天（左一）

想像一下，假如街道社区上无人驾驶的车辆因 AI 视觉识别系统遭受 AI 算法诱发攻击，而引起行车运动轨迹发生改变；或是有些人根据 AI 技术性效仿出跟你了解的亲戚朋友一模一样的响声，约你借款；亦或是家中的 AI 智能产品遭受黑客攻击；乃至物联网技术更为智能化的将来社会发展，有些人嵌入 AI 智能化心血管輔助机器设备也遭受攻击，引起服务器宕机，这种不良影响可能如何？

清华计算机专业专家教授、RealAI 首席科学家周涛就强调，虽然人工智能技术技术性获得巨大进步，人工智能技术算法的安全系数仍存有匮乏，对智能技术的运用产生很大的安全风险。

从根源确保 AI 模型安全性

“如同战斗一样，攻击者很有可能自来水攻，也很有可能火计，还很有可能悄悄挖条正宗来进攻一座城，攻城的人不可以只考虑到一种概率，务必设防解决很多的攻击概率。”参加该测评基准平台设计方案的云安全高級算法权威专家越丰那样形容。

特别是在要关心故意攻击者对数据信息或样版开展“下毒”，有意危害 AI 模型的攻击个人行为。

UIUC（伊利诺伊大学）电子信息科学系专家教授李博觉得，深度学习在逻辑推理和管理决策的迅速发展趋势已使其普遍布署于无人驾驶、新型智慧城市、智慧医疗等运用中，但传统式的深度学习系统软件一般假设训炼和数据测试遵照同样或类似的遍布，仍未充分考虑潜在性攻击者故意改动二种样本分布。

这等同于在一个人成长的过程中，有意对他开展错误的行为正确引导。故意攻击者能够在检测时设计方案一些较小幅度振荡，欺诈深度学习模型的预测分析，或将精心策划的故意案例引入训炼数据信息中，根据攻击训炼引起 AI 系统软件造成错误行为。如同是以 AI“遗传基因”上就干了更改，让 AI 在训炼全过程中按不正确的样版开展训炼，最后变为被操纵的“傀偶”，仅仅应用的人视若无睹。

“深入分析潜在性对于深度学习模型的攻击算法，对提升深度学习安全系数与值得信赖性有关键实际意义。”李博强调。

以前的学者在考量模型的防御性能时，基本上只在一种攻击算法下开展检测，不足全方位。攻击算法是常常转变的，必须考虑到模型在多种多样攻击算法下和更强的攻击下的防御力，那样才可以较为系统化评定 AI 模型的防御力。

再再加上业内先前明确提出的各种各样“攻击算法排名榜”只包括一些零散的算法，精确测量攻击算法的自然环境只包括单一的防御力算法，用以测评的数据也很少，并沒有适合的统计分析、衡量规范。

阿里安全部门技术主管薛晖表明，参加推动此项科学研究工作中，除开协助 AI 模型开展安全系数的科学研究评定，也是为了更好地推动 AI 领域进一步打造出“健壮”的 AI。

搭建 AI 抵抗攻防行业规范检测平台

为处理以上难题，近日，清华、云安全、RealAI 三方协同明确提出深度神经网络攻击防御力算法及测评的基准平台。

有别于以前只包括零散攻防模型的抵抗攻防基准，本次发布 AI 抵抗安全性基准大部分包含了现阶段流行的人工智能技术抵抗攻防模型，包含了数十种典型性的攻防算法。不一样算法比测的全过程中尽可能选用了同样的试验设置和一致的衡量规范，进而在最大限度上确保了较为的公平公正。

此外，此次公布的 AI 安全性排名榜也包含了刚完毕的 CVPR2021 人工智能技术攻防比赛中问世的排名前 5 参赛队的攻击算法。本次比赛吸引住到全世界 2000 一干参赛队递交的全新算法，进一步提高了该安全性基准的合理性和可行性分析。

“根据对 AI 算法的攻击結果和防御力結果开展排行、较为不一样算法的特性，创建 AI 安全性基准具备关键学术研究实际意义，能够更为公平公正、全方位地考量不一样算法的实际效果。”周涛详细介绍道。

▲ 图话：AI 算法的攻击結果和防御力結果开展排行，完成不一样算法特性的较为

“该基准测评平台运用典型性的攻防算法和 CVPR 2021 赛事累积的好几个使用性能的算法开展相互之间评定，意味着当今安全性与可靠性精确测量的国家标准。”RealAI 高级副总裁周家渝说。

越丰觉得，该平台的公布对工业领域和学术界都能产生正脸的危害，例如工业领域能够应用该平台评定现阶段 AI 服务项目的安全系数，发觉模型的网络安全问题。另外，也能为学术界给予一个全方位、客观性、公平公正、科学研究的国家标准，促进全部学术界在 AI 抵抗攻防行业的迅速发展趋势。

清华大学层面详细介绍，此次公布的 AI 安全性基准也是借助清华人工智能技术研究所产品研发的人工智能技术抵抗安全性算法平台 ARES（Adversarial Robustness Evaluation for Safety）创建。ARES 做为希腊神话中的战将，两手持矛和盾是攻防合一的化身为，充分体现了 AI 安全性算法攻防博奕的特性。该平台对流行的攻防算法完成了模块化设计的设计方案，适用数十种流行攻防算法的完成，能够便捷学者和开发者开展应用，有利于促进 AI 抵抗攻防行业的发展趋势。

清华、云安全、RealAI 三方注重，该基准测评平台并不是专归属于某一家组织或是企业构建的平台，必须工业领域和学术界的一同参加才可以把它打造出为真真正正受认同的全方位、权威性的 AI 安全风险评估平台。因而，三方将协同持续在排名榜中引入新的攻击和防御力算法，而且热烈欢迎学术界和工业界的精英团队能给予新的攻防模型。

“数据信息针对 AI 发展趋势十分关键，根据针对不一样攻击和防御力算法统一全方位的比照，坚信此次的平台能够为深度学习模型的安全性与可靠性认证给予更全方位的适用，并为进一步设计方案开发的安全性、健壮的学习培训算法给予强有力的技术性背诵。”李博讲到。