《 新华三人工智能发展报告白皮书 》全文

▲人工智能系统自身面临的安全风险目前人工智能在智能手机、办公设备、智能家居上的应用越来越多，很多人家里都有了智能音箱，另外不少电视、冰箱、电饭煲、空调、窗帘等都具备了人工智能的功能，人们使用语音或者手势就可以指挥它们帮人们完成查询天气预报、查找信息，甚至烧饭做菜，调节室内环境等。由于这些智能设备为了随时响应主人的召唤，需要实时在线，加上其日益强大和不断升级的语音、图像和视频的感知、认知能力，有可能对主人家里每个人的一举一动了如指掌，用户在享受了人工智能带来的便捷服务的同时也带来了自己和家庭隐私泄露的隐患。

　　人工智能平台和模型泄密风险主要有：模型窃取攻击和用户数据窃取攻击。指的是攻击者基于反复查询并分析人工智能系统的输入、输出参数和其它外部信息，从而推测和猜测出系统的模型参数、训练参数和训练数据等信息。

　　目前很多云服务商提供了AI即服务(AIaaS)，由AI服务商负责模型训练、识别等服务，对公众开放，用户可使用开放接口进行各种人工智能识别等操作。但通过反复调用AIaaS的识别接口，有经验的攻击者就可能通过多次返回的信息从而还原出AI模型的各种参数等关键特性，从而把AI模型窃取到。或者即使不能完全窃取到原模型，也可以通过窃取到的信息构建机器学习的对抗样本或模型，从而对人工智能系统进行下一步更深层次的攻击。

　　在用户提供训练数据的情况下，攻击者可能通过反复查询训练好的机器学习模型，获取到用户的隐私数据。

　　当前的人工智能模型和算法非常依赖于输入数据的真实性、完整性和全面性。从攻击者视角，恶意的数据注入是进行对抗样本攻击的重要手段。数据真实性风险主要体现在训练数据真实性和判断数据真实性两个方面。

　　攻击者在训练数据中掺入的恶意数据，可能会大大影响机器学习模型训练的有效性，降低人工智能模型的推理能力。例如，研究者发现，只需要在训练样本中掺杂少量的恶意样本(药饵攻击)，就能很大程度感染AI模型的准确率。通过加入药饵数据，在人工智能健康数据库应用中，攻击者可以使模型对超过一半的患者的用药量建议阐述超过四分之三的变化量。

　　在机器模型的判断阶段，对被判断数据样本加入少量噪音，即可能大幅改变判断结果的准确性，甚至出现风马牛不相及的结果。比如著名人工智能科学家Ian Goodfellow曾发布论文，通过图像生动阐述了基于判读数据投毒的对抗样本攻击概念，一张原本是熊猫的图片，在加入了少量干扰白噪声后，人眼看还是熊猫，但机器学习模型直接将其识别为长臂猿，且可信度高达99.3%。

　　包括TPU等AI专用芯片，GPU，CPU，FPGA，还有大到AI计算服务器集群，小到我们的智能手机、终端，都可能存在软硬件设计缺陷、安全漏洞、后门。例如处理器硬件的安全风险，可能很多人并不陌生，如2018年全球最大处理器生产商英特尔爆出的Meltdown漏洞，该漏洞被认为是史上最严重的处理器漏洞之一，本质上是英特尔处理器的预测执行技术设计缺陷，但由于预测执行读取的数据防护不当，破坏了位于用户和操作系统之间的基本隔离，从而可能允许恶意代码访问主机任意内存，进而窃取其他应用程序以及操作系统内核的敏感信息。这个漏洞“熔化”了由硬件来实现的安全边界。允许低权限用户级别的应用程序“越界”访问系统级的内存，从而造成数据泄露。

（编辑：衢州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!