前言

人工智能是二十一世纪最令人兴奋的科学技术之一，它允许机器从大量的数据中学习蕴涵的规律，并将这种规律用在现实生活中解决实际问题。从日常生活到工业制造再到科学研究，我们训练机器学习模型来代替部分重复性劳动，在大幅提升生产力的同时解放人类的创造力，加速推进产业结构升级变革。近年来，随着大数据、大模型、大规模训练的兴起，人工智能模型在很多极具挑战的任务上表现出了类人甚至超越人类的能力，让人们看到了人工智能无限的潜力和实现通用智能的希望。

人工智能的发展并不是一帆风顺，从1956年达特茅斯会议提出“人工智能”概念至今，经历了起起伏伏，但人们追求“通用智能”的强烈愿望却从未停止。近十年来，随着深度神经网络的提出、大规模数据集的构建和计算硬件的升级，人工智能进入飞速发展阶段。我们第一次可以将数百万、千万甚至十亿级的数据收集起来训练一个强大的人工智能模型，相信这种规模的知识学习发生在任何领域都是颠覆性的。所以，当前人工智能模型正在以前所未有的速度在交通、医疗、教育、金融、安防等领域广泛部署应用。大胆推测，在未来很长一段时间内，我们会看到人工智能技术以更快的速度向更多更有挑战性的领域和应用场景扩展。

我们在拥抱人工智能技术的同时，需要充分认识到其所存在的安全性问题。而想要了解人工智能模型的安全缺陷又要充分掌握其工作原理。然而，当今主流的人工智能模型，即深度神经网络，极度缺乏可解释性，我们只能从大量的手工摸索实验中了解其部分规律。实际上，人们对深度神经网络的原理和脆弱性研究长期存在，每发现它的一个脆弱性时都会引发一系列新型的攻击。比如，2013年发现的“对抗脆弱性”引发了大量对抗攻击以及人们对深度神经网络安全性的担忧。在比如，2017年发现的“后门脆弱性”引发了大量针对深度神经网络的后门投毒攻击。而深度神经网络的“记忆特性”则引发了对其隐私的攻击，比如数据窃取和隐私推理，其对个别样本的“高敏感性”则引发了窃取其参数的模型窃取攻击。

攻击是为了更好的防御。我们通过不同的攻击算法对人工智能模型进行安全性评测，从不同维度发现其脆弱性边界，了解其在实际应用中可能存在的安全风险。基于这些了解，我们可以设计更高效的防御方法，确保模型在实际部署过程中的鲁棒性和安全性。这对当今广受关注的人工智能大模型尤为重要，因为模型的运转失常可能会影响大量的用户，比如一个自动驾驶系统存在安全隐患则可能会威胁数万驾驶员、乘客和行人的生命安全。当前人工智能技术发展迅速，新算法、新模型层出不穷，新安全问题也是如此，更新变化速度极快。在这样一个背景下，我们将近年来在研究过程中所掌握的人工智能数据和模型安全相关知识归纳整理成此书，系统的呈现给大家。希望此书能够在一定程度上弥补在此方向上国内外教材的空白，为大模型、通用人工智等新一阶段人工智能的到来做好充分准备。

数据和模型是人工智能的两个核心组成部分，也是人工智能两类最宝贵的资源。数据承载了知识的原始形式，大规模数据集的采集、清洗和标注过程极其繁琐，需要大量的人力物力。人工智能模型承载着从数据中学习出来的知识，其可以在实际场景中部署应用，执行推理任务，解决实际问题。人工智能模型尤其是深度神经网络的训练耗资巨大，有时甚至高达上百万人民币，这使它们成为人工智能产业最具有价值的资产。高昂的价值和其背后的经济利益使数据和模型成为攻击者最关注的攻击目标。正因如此，领域内大量的攻击和防御研究都是围绕数据和模型展开的。因此，数据和模型安全是人工智能安全最为关注的研究内容之一，所以本书聚焦人工智能数据和模型的安全。人工智能安全的概念是广泛的，包括内生安全、衍生安全和助力安全等，本书的内容属于内生安全。但本书并未能将所有内生安全相关内容包含在内，除了数据和模型安全，内生安全还包括程序安全、系统安全和框架安全等。

本书的章节组织如下。第 1节 简单回顾了人工智能的发展历程，第 2节 章介绍了机器学习基础知识，第 3节 章介绍了人工智能安全方面的基本概念、威胁模型和攻击与防御类型，第 4节 章聚焦数据安全方面的攻击，第 5节 章聚焦数据安全方面的防御，从第 6节 章开始到第 10节 章介绍模型安全方面的对抗攻击、对抗防御、后门攻击、后门防御、以及窃取攻防，第 11节 章展望了未来攻击和防御的发展趋势以及构建系统性防御的紧迫性。

本书适合计算机、软件工程、网络安全等相关专业的高年级本科生、研究生以及人工智能从业者和研究人员阅读。本书中的部分细节比较晦涩难懂，需要具备一定的机器学习和深度学习基础。此外，本书大部分的算法介绍都围绕计算机视觉方向的图像分类任务进行，对相关背景知识不太了解的读者也可能会遇到一定的阅读困难。本书中所使用的图片在尊重原工作的前提下进行了必要的化简和标注，如有发现不恰当之处，请联系我们进行修改或删除。

感谢复旦大学视觉与学习实验室的同学在本书的编写和校稿过程中提供的帮助，他们包括陈绍祥、宋雪、王铮、傅宇倩、魏志鹏、陈凯、赵世豪、吕熠强、訾柏嘉、钱天文、张星、常明昊、翁泽佳、王君可、翟坤、王欣、阮子禅、张超、林朝坤等。感谢澳大利亚墨尔本大学黄瀚勋博士、西安电子科技大学李一戈博士等在此书写作过程中的讨论。衷心感谢“新一代人工智能系列教材”编委会潘云鹤院士、吴澄院士、郑南宁院士、高文院士、陈纯院士等专家学者和高等教育出版社在本书出版过程中予以的热情指导和帮助。

由于作者水平有限，书中内容难免会存在不足，欢迎各位老师和同学提出宝贵的意见。E-mail：ygj@fudan.edu.cn

姜育刚

2023年2月28日于复旦大学