基于TensorFlow的社交网络文本向量表示方法研究开题报告
2022-01-08 22:26:05
全文总字数:3251字
1. 研究目的与意义及国内外研究现状
tensorflow是谷歌基于distbelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。tensor(张量)意味着n维数组,flow(流)意味着基于数据流图的计算,tensorflow为张量从流图的一端流动到另一端计算过程。tensorflow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。tensorflow可被用于语音识别或图像识别等多项机器学习和深度学习领域,对2011年开发的深度学习基础架构distbelief进行了各方面的改进,它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。tensorflow 表达了高层次的机器学习计算,大幅简化了第一代系统,并且具备更好的灵活性和可延展性。tensorflow一大亮点是支持异构设备分布式计算,它能够在各个平台上自动运行模型,从手机、单个cpu / gpu到成百上千gpu卡组成的分布式系统。从目前的文档看,tensorflow支持cnn、rnn和lstm算法,这都是目前在image,speech和nlp最流行的深度神经网络模型。
与网页、新闻等常规文本相比,社交网络中的短文本长度很短,导致依据短文本数据集自身计算得到的特征空间往往高度稀疏,不利于分类器的训练;除此之外,由于社交网络中的短文本往往由用户撰写和发布,其用词相对随意,存在着大量的新词,这些新词对分类的影响在短文本长度偏短的情况下被进一步放大,如果处理不当也会导致分类效果的下降。针对微博、twitter等社交网络中出现的短文本信息,本文借助tensorflow计算框架,将文本从符号型数据转为数值型的向量数据,形成一套完整的文本转化流程。
国内外研究现状
google第一代分布式机器学习框架distbelief不再满足google内部的需求,google在distbelief基础上做了重新设计,引入各种计算设备的支持包括cpu/gpu/tpu,以及能够很好地运行在移动端,如安卓设备、ios、树莓派等等,支持多种不同的语言(因为各种高性能的api,训练仅支持python,inference支持包括c ,go,java等等),另外包括像tensorboard这类很棒的工具,能够有效地提高深度学习研究工作者的效率。tensorflow在google内部项目应用的增长也十分迅速:在google多个产品都有应用如:gmail,google play recommendation, search, translate, map等等;在医疗方面,tensorflow被科学家用来搭建根据视网膜来预防糖尿病致盲;通过在音乐、绘画这块的领域使用tensorflow构建深度学习模型来帮助人类更好地理解艺术;使用tensorflow框架和高科技设备,构建自动化的海洋生物检测系统,用来帮助科学家了解海洋生物的情况;tensorflow在移动客户端发力,有多款在移动设备上使用tensorflow做翻译、风格化等工作;tensorflow在移动设备cpu(高通820)上,能够达到更高的性能和更低的功耗。
2. 研究的基本内容
在认真分析了前人有关文本表示特别是基于深度学习的文本表示的基础上,本文工作旨在研究将tensorflow计算框架,应用到微博、twitter等社交网络中出现的短文本信息表示中,提高其精确度和效率。主要工作有:
首先,对文本表示的相关技术进行了介绍分析,并在后续试验中测试这些技术将文本数据转换成计算机可处理的数据结果,进行优劣势分析。
其次,本文讲述了tensorflow的产生发展过程及其在文本挖掘中的应用。
3. 实施方案、进度安排及预期效果
实施方案:
1、 对现有文本表示方法进行收集并进行比对;
2、 学习tensorflow框架的基本应用技术;
4. 参考文献
[1]林志宏,池宏,许保光.基于卷积神经网络的公安案件文本语义特征提取方法研究[j].数学的实践与认识,2017,47(17):127-140.
[2]章敏敏,徐和平,王晓洁,周梦昀,洪淑月.谷歌tensorflow机器学习框架及应用[j].微型机与应用,2017,36(10):58-60.
[3]张小川,于旭庭,张宜浩.一种改进的向量空间模型的文本表示算法[j].重庆理工大学学报(自然科学),2017,31(01):87-92.