6ird只要穿上一件印有特殊图案的T恤，就能骗过AI人体检测系统，从而达到“隐身”效果？
近日，这一场景真实上演。美国东北大学和麻省理工学院等研究机构，共同设计了基于对抗样本技术的T恤。据研究职员先容，这是全球首个在非刚性物体（如T恤）上，入行的物理对抗性实验。AI人体检测摄像头无法正确地检测出穿戴该T恤的行人，无论衣服发生怎样的褶皱或变形，都能达到“隐身”效果。
这件能让人在AI人体检测系统下“隐身”的T恤，其背后的原理是什么？这种缺陷会不会导致安全问题，要如何解决？科技日报记者就此采访了有关专家。
特殊图案便能骗过AI的“眼睛”
在本次实验中，一位穿戴白T恤的男性和一位穿戴黑T恤的女性从遥处走来，在AI人体识别摄像头下，只能望到穿黑T恤女性的身影。
这是如何做到的？原来研究职员使用了一种被称为对抗攻击的方法来欺骗AI。仔细观察，白T恤上印有不同的色块，这些色块在人眼望来与普通图案无异，但对于机器来说，却会造成一定干扰。
中国科学院自动化研究所王金桥研究员解释说，科研职员对原T恤上的图案入行修改，通过技术手段天生具有较强干扰性的图案替代原有图案，改变了T恤原有的视觉外观，使得AI模型对数据标签的猜测发生搅浑和错误，从而到达攻击的目的。
“攻击者通过构造微不足道的扰动来干扰源数据，可以使得基于深度神经网络的人工智能算法输出攻击者想要的任何错误结果。而这类被干扰之后的输进样本被称之为对抗样本。”王金桥说。
对抗样本在实际中主要用来检修一些安全系数较高的系统，通过对抗的方式来进步AI模型的安全性，抵御可能面临的安全风险。好比刷脸支付，它必需具有一定的抗攻击能力，以便避免灾害性的后果，好比不能让攻击者简朴地利用照片或者定向修改原输进就能破解用户支付系统。
有实验表明，对于一个准确分类的熊猫图像，在加进特定对抗样本的干扰之后，人眼望到的仍旧是熊猫，但是AI图像识别模型却将其分类为长臂猿，且置信度高达99%。
不外，将对抗性图案印在衣服上这种欺骗AI的方式有一个缺陷，只要图案的角度和外形发生变化，就会等闲被识破。过往在设计对抗样本时，通常采用一些简朴的变换，好比缩放、平移、旋转、亮度、对比度调整以及添加自适应的噪声等。
王金桥解释说，这些简朴的变换，在产生静态目标的对抗样本时去去比较有效，但是针对行人这种非刚体的动态目标则收留易失效。动态目标因为运动以及姿态变化，将导致这些简朴变换发生较大的改变，从而使得对抗样本丧失原有的性质。
“比拟过往设计的对抗样本，本次攻击的成功率更高。”福州大学数学与计算机科学学院、福建新媒体行业技术开发基地副主任柯逍博士指出，为应对人体移动造成的T恤形变，科研职员采用“薄板样条插值”的方法来建模行人可能发生的各种形变。同时，在练习阶段使用T恤上棋盘图案的格子来学习形变控制点位置变化关系，使得产生的对抗样本更加真实，对人体形变的贴合度更高。
AI视觉系统受到多方因素干扰
除了对抗攻击之外，在实际应用中的良多环境因素和人为因素，都可能导致AI人体检测泛起失误。
如在自动驾驶场景下，因为天色前提恶劣（如大雪、大雾等）或者光线及路况复杂，导致前方职员成像恍惚等，会极大影响前方目标检测机能。在监控场景下，可疑职员可能通过衣物、雨伞等的遮挡来干扰人工智能算法。
“排除本身紧急制动功能问题，具备行人检测功能的汽车也存在着无法及时、正确地检测出小目标人体等问题。”柯逍举例说，美国汽车协会曾对具备行人检测功能的多个品牌车辆做过一个测试，测试顶用到的被撞目标包括成人假人与儿童假人。当车前泛起儿童或汽车时速达到48千米时，仅一个品牌有一定概率检测出行人，其余3家品牌在两个场景下均未检测到行人。
为何在AI视觉识别技术下的目标检测模型如斯脆弱？“在人类眼中，稍微的图像干扰并不会影响终极的判定，但对于AI模型来说却不是如斯。”柯逍举例说，有相关实验表明，一个测
试表现良好的图像检测与识别分类器，并没有像人类一样学习与理解目标图像真正底层的信息，而只是在练习样本上构建了一个表现良好的机器学习模型。
据了解，现有的AI视觉识别技术通常采用深度神经网络，本质上是一种特征深层映射，只是学习数据的统计特征或数据之间的联系关系关系，对数据量以及数据本身的丰硕程度依靠较高，数据越多越丰硕，则机器学习到的用于识别目标物的特征越具有判识度，也越能反映联系关系关系。
王金桥表示，但真实情况是，数据去去非常有限，使得神经网络学习到的模式也比较有限，难以让神经网络模型“见多识广”，导致其面对从未见过的数据时表现去去不绝如人意。另一方面，这种统计特征分布以及联系关系关系，一旦被攻击者获知或者破解，就有可能针对性地修改输进样本，从而改变模型的输出，达到攻击的目的。
AI视觉失灵易引发安全问题
穿上特殊T恤，达到所谓的“隐身”效果，实在就是搅浑AI的视觉系统。AI目标检测技术的这种缺陷是否会导致安全问题的发生？
柯逍表示，美国汽车协会的汽车辅助驾驶案例中，行人被漏检或者未能及时被检测到，都可能导致交通事故的产生。此外，安防监控漏检危险人物与物品也可能导致安全隐患，不法分子可以利用对抗攻击来发现目标检测系统的漏洞，并入行攻击。
“安全问题的产生可能有模型本身缺陷问题，如泛化机能不足，练习数据单一，存在过拟合等现象。此时，应当绝可能地丰硕练习数据，并在模型练习过程中加进防止过拟合的技术手段等来晋升模型的实战能力。”王金桥以为，另一方面，实际系统中去去也需要考虑模型安全来增强结果可托度和模型的健壮性，加进攻击模型的预判，进步对抗样本的判别能力，从而降低安全风险。
当前，科研职员正不中断提出精度更高、速度更快的AI目标检测模型，用于解决目标检测技术存在的漏检、误检、实时性与鲁棒性不强等问题。对于未来技术安全的构建，还需要做哪些努力？
王金桥以为，人工智能目前总体还处于起步阶段，现有的人工智能算法本质上仍是学习简朴的映射关系，并未真正地舆解数据背后内收留及潜伏的因果关系。因此，其理论立异和工业应用还面临着诸多的技术难点，需要科研职员持续攻关，实现真正意义上的智能以降低应用的风险。
“其次，科研职员在入行技术研究以及新技术的应用过程中，应当绝可能地考虑各种安全问题，加进对抗样本防攻击模型，并做好相应的处理措施。”王金桥建议，从社会层面也应当建立和完善人工智能相关的法律法规，对技术的应用范围加以引导，对可能泛起的安全问题作出相应的指导和规范，营造更加全面和成熟的科技立异环境。
