1. 研究目的与意义（文献综述）

云计算作为一种新型的计算模式，彻底改变了传统 it 商业模式，越来越多的企业、事业单位和个人用户将其业务逻辑转移到云平台中，学术界也对云计算相关技术进行了广泛研究，当前研究工作重点关注云计算基础设施、资源分配、安全等方面。在互联网环境中，云平台一般由自利的 it 公司运营，这些公司向使用云资源的用户收费来获得利润。云平台收到用户请求之后需要向用户分配资源，由于云平台的资源是有限的，所以在用户的需求数量很大的情况下，云平台不能将资源分配给每一个用户。本研究基于此背景使用强化学习方法需要设计一种云资源分配的算法来保证云平台的收益最大化。

由于云服务的广泛使用，对适当和动态分布的需求将使资源加倍。云环境中最复杂的问题之一是资源分配，一方面资源提供者应该获得最大的利用率，另一方面，用户希望基于他的时间和预算约束来租赁最好的资源。目前的云计算平台通过固定价格分配机制将虚拟机实例分配给用户。由于虚拟机实例被分配给拥有最高估值的用户，组合拍卖的分配机制在固定价格机制上特别有效。将虚拟机分配问题作为一个组合拍卖问题，提出了两种解决方案。而经过实验表明，基于组合拍卖的机制可以显著提高分配效率，同时为云提供商带来更高的收入。

资源分配是当今互联网的一个重要挑战，尤其是在像电网，云等大型分布式系统中。资源分配是电网研究中一个非常活跃的领域。这些资源由公司所有，主要分布在地理上。 资源分配算法可以是集中式的，也可以是分散式的。 集中式算法需要全局知识和实时信息，这对于大多数大型分布式系统来说是不切实际的。集中式算法的成本模型根据资源的使用情况获得成本。

2. 研究的基本内容与方案

在亚马逊、ebay或淘宝等电子商务网站中给卖家分配印象的问题上，其目的是最大化平台产生的总收益。当买家搜索关键字时，网站会向买家提供该商品的不同卖家列表，以及相应的价格。这可以被看作是资源分配问题的一个实例，在这个问题中，卖方选择每一步的价格，而平台根据所选择的价格和每个卖家的历史交易来决定如何分配印象。由于系统的复杂性，大多数电子商务平台采用的启发式分配算法主要依赖于卖家的交易记录，而不考虑卖家的合理性，这使得他们容易受到价格操纵的影响。

这个设置可以被建模为一个资源分配问题，在每个回合中，买家到达，算法输入卖家的历史记录和他们的价格，并输出这样的印象分配。卖家和买家进行交易，并更新历史记录。在现实中，大多数电子商务网站都采用了一类启发式算法，比如协同过滤或基于内容的过滤，其中很多都是根据卖家的交易历史计算出的“历史得分”。然而，这种方法通常不会考虑到卖方在选择价格时制定策略，因为某一轮的某些次优价格可能会影响随后几轮卖方的历史记录，从而在长期内为他们带来更多的收益。更糟糕的是，由于卖家通常不知道使用的算法，他们可能会“探索”他们的定价方案，使得系统有时无法控制。一种更复杂的方法将所有这些因素考虑进去，这似乎很自然。

而研究的主要内容是模型确定。首先需要确定云用户的模型和云平台（供应商）的模型。主要从云供应商的角度来考虑：首先云用户提交资源请求给云供应商，云供应商在自身资源有限的情况下，怎样来对资源进行定价以及用什么方法分配资源给云用户，能够使得云供应商自身的收益最大化。然后使用强化学习机制设计研究云资源分配算法。

3. 研究计划与安排

(1)2018/1/14—2018/3/5：确定选题，查阅文献，外文翻译和撰写开题报告；

(2)2018/3/6—2018/4/30：设计算法和系统，并测试；

(3)2018/5/1—2018/5/25：撰写及修改毕业论文；

4. 参考文献（12篇以上）

[1] tang p. reinforcement mechanism design[c]//twenty-sixth international joint conference on artificial intelligence.2017:5146-5150.

[2] qingpeng cai, aris filos-ratsikas, pingzhong tang,yiwei zhang: reinforcement mechanism design for e-commerce. www-2018

[3] zaman s, grosu d. combinatorial auction-based dynamicvm provisioning and allocation in clouds[c]// ieee third internationalconference on cloud computing technology and science. ieee computer society,2011:107-114.