摘 要

随着深度学习技术日益成熟，利用其解决之前难以解决的问题在各个行业逐渐变得流行起来，这给社会的向前发展起到了促进作用，深度学习技术需要有大量的数据资源作为支撑，这些用于训练神经网络的数据常常包含了一些个人隐私信息，这些隐私信息可能会在训练神经网络的过程中被泄露出去，因此需要对这些用于训练神经网络的数据进行处理，避免数据中的隐私信息遭到泄露。作为一种新型的隐私保护方法，差分隐私保护机制在避免隐私泄露方面有着其独特的优势，能够很好地保护数据中包含的隐私信息。

本文主要研究如何将深度学习与差分隐私保护相结合，通过差分隐私保护机制对用于训练神经网络的数据进行处理，在适当降低模型的精度的同时，保护训练数据不被泄露。通过实际训练模型，验证模型的有效性。

本文的特色：实现基于差分隐私的随机梯度下降算法，利用该算法训练模型，并对模型准确度进行测试，分析影响模型准确度的因素。

关键词：差分隐私；深度学习；随机梯度下降；

Abstract

With deep learning becoming more and more mature, it is popular that making use of deep learning to solve problems that are difficult to deal with in usual. Deep learning usually is based on massive data that may contain some personal privacy. However these personal privacy is likely revealed when it is used into training neutral networks. To prevent those privacy from being revealed, we need to find a way to protect it. Compared to other methods to protect privacy, differential privacy has its unique advantage. In many cases, it can help us to achieve this purpose.

This paper studies how to combine differential privacy and deep learing. With differential privacy protecting data, the accuracy of models may decrease partly which we can accept. By this way, we can protect privacy in data which is used for training neutral networks. In the experiment, we train networks and analyse its accuracy to study effectiveness of this new method.

The features of this paper: we have implemented the differentially private SGD algorithms and trained models with it. After that, we test the accuracy of those models and analyse the factors that influence the accuracy of models.

Key Words: differential privacy; deep learning; stochastic gradient descent;

目录

目录

第1章 绪论 1

1.1 研究背景和意义 1

1.2 研究现状 1

1.2.1 基于同态加密的隐私保护技术 1

1.2.2 基于差分隐私的隐私保护技术 2

1.2.3 基于安全多方计算的隐私保护技术 3

1.2.4 传统随机梯度下降法 3

1.2.5 对前人工作的概括 4

1.3 研究内容 4

1.4 预期目标 5

1.5 本章小结 5

第2章 差分隐私随机梯度下降 6

2.1 差分隐私保护机制 6

2.2 基于差分隐私的深度学习方法 6

2.3 研究思路 8

2.4 本章小结 8

第3章 实验 9

3.1 实验环境 9

3.2 实验方案 9

3.2.1 数据集MNIST 9

3.2.2 搭建神经网络 10

3.2.3 自定义优化器 10

3.2.4 对比实验 11

3.3 本章小结 11

第4章 实验结果及分析 13

4.1 不加入噪声与加入噪声对比 13

4.2 不同噪声值之间对比 13

4.3 固定学习速率与逐渐减小学习速率对比 14

4.4 本章小结 15

第5章 结论 16

致谢 17

中外文参考文献 18

绪论

• 1. 研究背景和意义

随着硬件性能的显著提高和人工智能理论的不断成熟，深度学习在各行各业中都得到了广泛的应用，例如：人脸的自动识别、不同语言之间的相互翻译、手机语音助手、针对用户自动推送广告等等。可以说，机器学习给我们的生活方式带来了极大的改变，有力地促进了社会的发展。但是深度学习依赖大量的训练数据^[1]，只有在充足的数据的支撑下，深度学习才能够达到人们满意的效果。然而这些用于训练深度神经网络的数据中可能会包含着一些隐私数据，比如个人电话号码、住址信息等，在训练神经网络的过程中这些隐私数据就有可能被泄露出去，给个人隐私带来威胁。一旦这些隐私数据被泄露，这些数据将被用于何种目的就没有办法控制，如果有人故意收集这些个人隐私数据，利用收集的数据威胁他人，以此方式谋取暴利，将会给社会带来巨大损失。比如，2018年攻击者对万豪酒店数据库发起攻击，致使数据库中超过5亿名旅客信息泄露，事件一经公布，其美股股价跌幅超过5%。这只是近些年来个人隐私信息泄露事件中的一起典型案例，几乎每年都会有类似案例发生。随着技术的发展，不法分子作案的手段越来越多，造成的影响越来越大，因此保护个人隐私数据十分重要。随着深度学习这一技术的广泛应用，在保护个人隐私的前提下训练神经网络具有重要意义。

本文设计和实现一种基于差分隐私的深度学习模型，在训练过程中使用差分隐私保护训练数据，同时使训练出来的模型仍然具有令人满意的精度，通过这种方式，我们可以既保护了数据，又能训练出令人满意的模型。

• 1. 研究现状
     1. 基于同态加密的隐私保护技术

同态加密^[2](homomorphic encryption)其实属于加密技术，与普通加密算法不同的是，同态加密不仅能够满足基本的加密需求，而且经过加密之后的密文之间还可以进行运算，比如说常见的函数，它对于乘法是同态的，

利用同态加密方法，我们可以在密文上直接进行操作，避免直接使用原始数据，进而达到保护数据得目的。将同态加密应用在机器学习上，比如使用密文进行预测，得到的结果仍然是密文，再将预测得到的密文返回给用户，用户对其进行解密，得到想要的数据，整个过程能极大地保护隐私数据。2016年，Dowlin等^[3]提出使用密文作为神经网络模型输入来预测，先使用明文训练出神经网络模型，通过一定的变换使这个模型也能够使用密文进行预测。Orlandi^[4]等人提出使用同态加密技术解决训练神经网络过程中数据保护问题，除了保护用于训练的数据外，还强调要保护训练出的神经网络模型。

• • 1. 基于差分隐私的隐私保护技术

差分隐私^[5]在2006年提出之后，便引起了隐私保护研究人员的高度关注，它是针对数据库数据泄露问题提出的，在差分隐私保护机制下，某一个记录是否在数据集合中对输出结果的影响不大。在这种机制下，攻击者很难通过输出结果得到个体的准确信息，以此方式达到保护隐私的效果。假设有两个结构相同的数据集D₁和D₂，这两个数据集之间只相差一条记录，除此之外没有任何区别，我们称数据集D₁和D₂为相邻数据集。假设有某个查询M，如果对于任何查询子集SRange(M),都有