黑掉神经网络，腾讯朱雀实验室首亮相：操纵神经元构造AI后门

我们推崇的神经网络，虽然性能强大，但或许并不安全。8 月 19 日，在国内著名信息安全会议，第 19 届 XCon 安全焦点信息安全技术峰会上，腾讯朱雀实验室首度亮相公众视野。作为科恩、玄武、湛泸、云顶之后，腾讯设立的又一个安全实验室，朱雀这个有点神秘色彩的实验室专注于实战攻击技术研究和 AI 安全技术研究，以攻促防，专注于研究腾讯业务及用户的安全。这是国内首个利用 AI 模型文件直接产生后门效果的攻击研究。该方法更贴近 AI 攻击的实战场景，同时也引起了人们对 AI 模型安全问题的注意。自深度学习引发的这一波人工智能浪潮兴起，AI 相关研究不断深入，并与诸多技术领域广泛交叉。已有大量研究者通过数据投毒的方式，实现了对 AI 的攻击模拟。如果将 AI 模型比喻为一座城，安全工作人员就是守卫城池的士兵，对流入城池的水源、食物等都有严密监控。