AI安全开启全新商业赛道，清华团队RealAI推出平台级产品抢得先发“身位”

本篇文章2376字，读完约6分钟

近年来，机器学习作为人工智能行业的“关键事件”取得了前所未有的发展，基于计算机视觉的人脸识别技术已经渗透到社会生活的各个方面。然而，这些看似“智能”的人工智能系统往往显示出“脆弱”的一面。

例如，在一些无法被训练数据覆盖的极端场景中，自主车辆的识别系统可能会做出奇怪的决定，这可能会导致导致死亡的严重事故。

此外，这种极端情况也可能被恶意制造和利用，并发起“反样本攻击”，即通过对输入数据进行细微和不可察觉的修改，识别系统可能被误导而做出错误的判断。例如，百度、腾讯等研究机构人为制造“障碍”，误导自动驾驶汽车，让汽车驶入反车道，甚至面临碰撞的风险。

事实上，这些安全风险都是由于现有人工智能的技术缺陷，即算法漏洞造成的。随着人工智能的应用逐渐从语音识别和人脸识别等有限场景扩展到金融决策、医疗诊断和自动驾驶等关键核心场景，算法漏洞的威胁将日益突出。

为了解决上述问题，一些技术公司已经开始了相关的研究和应用开发，包括由百度开发的对抗样本的工具包advbox，由ibm引入的检测模型，以及对抗攻击的开源工具包Art(对抗性鲁棒性工具箱)。

近日，清华大学人工智能研究所孵化的名为“安全可控的第三代人工智能”的创业公司Realai(瑞来智慧)正式发布了行业首款用于极端和对抗环境下人工智能算法安全检测和增强的工具平台——RealSafe人工智能安全平台。与百度和微软推出的工具不同，realsafe是算法安全领域的第一款平台级产品。

据Realai首席执行官田甜称，与网络安全和人工智能技术支持的安全等传统安全领域不同，算法安全侧重于人工智能本身的安全。这种安全风险本质上是由人工智能的“技术缺陷”造成的，这将是制约人工智能发展的最明显的“弱点”。

目前，学术界和工业界都开始意识到算法安全性的重要性。在中国信息与通信研究院2018年编写的《人工智能安全白皮书》中，“算法安全”被列为人工智能的六大安全风险之一，但在具体对策上仍存在诸多挑战。

首先，作为一个新领域，如何评估算法模型的安全性还没有明确的定义。随着攻防的相互发展，反样本等新的攻击方法层出不穷，变得越来越复杂。特别是在开源社区和工具包的支持下，先进复杂的攻击方法迅速发展，但相关防御方法的升级却难以跟上。

其次，在检测反样本等算法的漏洞方面存在很高的技术壁垒。目前，市场上没有自动检测和评估工具，大多数企业和组织都不具备该领域的专业技能，无法正确应对日益增长的恶意攻击。因此，在潜在层面上，随着人工智能的大规模应用，算法漏洞带来的安全威胁将继续升级。

因此，田甜表示，就像在网络安全时代一样，网络攻击的大规模渗透催生了杀毒软件，realai团队希望通过realsafe平台打造人工智能时代的第一款“杀毒软件”，帮助企业高效应对人工智能时代算法漏洞滋生的“新病毒”。

据报道，realsafe平台提供了从算法安全评估到防御加固的整体解决方案，主要支持两个功能模块:模型安全评估和防御解决方案。

其中，模型安全评估主要为用户提供ai模型安全评估服务。用户只需访问所需评估模型的sdk或api接口，选择平台内置或自己上传的数据集。该平台将基于各种算法生成反样本模拟攻击，综合不同算法、迭代次数和扰动量攻击下模型效果的变化，给出模型安全评分和详细评估报告。目前，黑盒查询攻击方法和黑盒迁移攻击方法已经得到支持。

防御解决方案是为用户提供模型安全升级服务。目前，realsafe平台支持五种去除抗噪声的通用防御方法，能够自动对输入数据进行去噪，并破坏攻击者恶意添加的抗噪声。在外部防御效果方面，根据实际测量，一些第三方人脸比较API的安全性在通过realsafe平台的防御方案得到加强后，可以提高40%以上。

此外，为了帮助更广泛的企业有效应对算法威胁，realsafe平台还具有以下两个优势:

基于组件化和零编码的在线评估:realsafe平台采用组件化和零编码的功能设置，与art和蛮箱等需要自行部署和编写代码的开源工具相比，避免了重复车轮制造的能耗和时间消耗。用户只需要提供相应的数据就可以在线完成评估，学习成本低，无需专业算法能力的动手操作。

可视化和可量化的评估结果:为了帮助用户改进模型安全性的概念，realsafe平台以可量化的形式显示安全性评估结果，并根据模型抵抗样本攻击的性能对模型进行评分。分数越高，模型安全性越高。此外，realsafe平台提供安全变化显示，防御处理后安全分值和模型效果的变化一目了然。

随着模型攻击手段的复杂扩展，realsafe平台将继续提供广泛深入的ai防御手段，帮助用户获得实时自动的漏洞检测和修复能力。

随着机器学习模式的不断升级和演变，“对抗样本”已经演变成一种新的攻击手段，并逐渐从数字世界传播到物理世界。

因此，除了推出数字世界算法模型的安全评估平台外，realai团队和清华大学ai研究院也围绕领先世界多年积累的研究成果，推出了一系列ai攻防安全产品，旨在为更多场景保驾护航。

例如，通过佩戴带有反样本图案的“眼镜”，黑客可以轻松解锁商用手机的面部，通过在胸部张贴特殊图案在人工智能监控下实现“隐形”，并通过在车辆上绘制特殊图案来避免人工智能检测到车辆。realai在发现类似的新漏洞的同时，还引入了相应的防御技术来支持对主流ai算法中安全漏洞的检测，并提供ai安全防火墙来有效拦截对ai模型的攻击。

人工智能的浪潮正在滚滚而来，安全风险将越来越多样化，尤其是近年来，不成熟的人工智能技术引发的侵权风险也频频发生。可以说，算法漏洞已经逐渐成为继网络安全和数据安全之后的又一大安全问题。realsafe人工智能安全平台的出现不仅降低了垂直行业应对安全风险的门槛和成本，而且其标准化的平台级产品是人工智能安全这一新领域走向健康和可控的重要标志。