1.1 研究目的及意义

随着现代科学技术的快速进步，人工智能日益发展壮大，神经网络已经被广泛应用于分布式物联网中。然而也还是存在着许许多多的问题。一方面，神经网络本身的参数数量和计算量对计算能力以及能量需求都非常高。另一方面，物联网分布式系统中的每一个物联网设备都是资源和能量极度受限的。如何对神经网络的计算任务进行分配使得整个物联网中的若干设备能保持最大的工作期限成为一个亟待解决的问题。

针对上述问题，本课题提出了一个分布式的神经网络计算策略。将计算的任务分配给分布式系统的每一个设备，充分利用了资源。而且，我们将神经网络任务智能的分配到各个物联网设备上，使得整个分布式物联网中的设备的有效工作期限最长。

1.2 国内外研究现状

在大规模深度学习的分布式平台的研究上，国内外的工业界和学术界都有很多先进的研究成果。2012年，Google为了训练大规模深度学习模型，搭建出深度学习训练平台DistBelief，在分布式环境中采用异步的算法，由很多相互独立的计算单元共同维护同一个参数服务器上的模型参数。这是一个采用普通CPU资源服务器，而没有GPU资源参与的并行计算平台，实现了随机梯度下降算法的并行化处理，可以有效地加速深度学习模型的训练速度。2015年，Yahoo开源一个分布式深度学习的平台项目，让Caffe运行在分布式环境Spark上，名为：Caffe on Spark。2015年，TensorFlow框架的官方组织也公开了分布式版本，它没有采用Google第一代大规模深度学习系统的DistBelief，而是把任务组织形式分解成图的结构，然后依次将图再分解成不同的子图，并将不同的子图分到不同的节点上执行。微软的CNTK框架平台支持分布式环境下的数据并行，并利用1-BkQuantized SGD参数服务器模型来节约宽带W。另外一些开源的深度学习项目在分布式深度学习系统上也有非常重要的贡献，如Mxnet，Torch。Mxnet提供分布式环境中数据并行的训练方式，在分布式环境上的训练依赖于PS-Ltie。PS-Lite也就是李沐和DMLC团队实现的分布式参数服务器架构。2015年，Twitter在Torch框架上提供AutoGrad的训练方法，该算法是Yan LeCun团队的研究成果，它仍然运行在参数服务器的基础之上，通过更快的收敛来达到节省宽带传输的目的。国内一些关注深度学习的企业在这一方面也有很多突破性的研究。2016年，百度开源分布式深度学习平台PaddlePaddle，对于序列输入，大规模数据的模型训练，稀疏输入等实际应用产品应用的分布式训练都有着良好的支持。其训练的过程中通过优化通信，获得高吞吐量和高性能。腾讯的深度学习平台Mariana也逐渐成型，在分布式提供一种Vertex＋Message的API，实现BulkSynchronousParallel（BSP）的模式。但这个平台目前只支持CPU集群，能达到与单个GPU相当的训练效果W。

2. 研究的基本内容与方案

本文以分布式物联网的神经网络为背景，利用java，python等编程语言，利用了分布式系统部署，android网络通信和神经网络深度学习等算法，设计并构造了分布式物联网的神经网络任务分配系统。该系统以多台android设备为系统的核心硬件，以神经网络深度学习的任务分配为核心的算法，辅之以android网络通信的算法。该系统最终的实现目标是：以一台android作为主节点，另外的android设备作为工作节点，由主节点来调配，收发数据，由工作节点实际来计算，并最后将计算结果交与主节点来处理，并统计运行的时间。并测试一台android设备与分布式系统之间在计算时间上面的差别。

图1 结构框图

对于系统的方案，对于网络通信方面，目前拟采用的android通信机制是socket，它是一个非常重要的API，对于java中，该机制可以通过调用Accept方法用于产生"阻塞"，通过其中的getInputStream方法获得网络连接输入，通过其中的getOutputStream方法连接的另一端将得到输出。对于神经网络深度学习的计算方面，拟采用tensorflow深度学习框架，具体的应用可以在MNIST手写数字识别，多次函数拟合或者稍微复杂一点的图像处理中选择。而对于任务分配的算法，拟采用比较新颖的MapReduce算法，或者引用百度开源分布式深度学习平台PaddlePaddle以及腾讯的深度学习平台Mariana来进行任务调配。