基于深度学习的银杏花穗识别与采摘时机判别

摘要: 十四五规划将农业机械装备的核心竞争力提升列为2035远景规划的8个重点领域之一，预计未来人工智能将对农业赋能，农业的数字化发展将是重点之一。深度学习已广泛应用于绿色植物和水果病变识别、病虫害和水果检测、杂草检测与分类等研究中，改善了农作物的生长环境，提高了生产与采摘效率，增加了产量。本综述简要介绍采摘适时银杏花穗的必要性，深度学习的基本定义和发展；简述了深度学习在国内外农业中的研究方向，总结了农业中常用的深度学习目标检测模型。对深度学习的优缺点进行了分析，并指明了其在植物研究中的发展趋势。

关键词：深度学习；农作物；银杏花穗；研究方向；目标检测模型

1. 前言

银杏为雌雄异株，花粉主要靠风力传布^[1]，多种自然因素制约了银杏果产量的提高。直到1980年前后，我国推广了人工授粉法将银杏产量提高了近五倍^[2]。适时采集花粉是保证人工授粉成功的关键。过早采集,大多花粉尚未成熟,花粉发育不充分; 采集过晚, ,则花粉脱落,会导致采不到足量且质量高的花粉,效果同样不好^[1]。所以采集适时的花粉既可以减轻工作强度，也可以提高银杏果的品质。

近年来，智慧农业技术正在我国兴起，深度学习被大量采用，特别是在绿色植物和水果识别、病虫害检测、作物及杂草检测与分类等研究中。深度学习是一种更复杂的表示学习，具有多个级别的表示，它通过组合简单但非线性的模块获得，每个模块将一个级别的表示（从原始输入开始）转换为更高、稍微抽象的级别的表示；有了足够多的这种变换的组合，就可以学习非常复杂的模式；对于分类任务，较高的表示层会放大输入中对识别重要的特征，并抑制无关变化^[3]。

深度学习最早由Hinton及其团队于2006年提出，Hinton等^[4]通过逐层初始化人工神经网络解决了大规模多层神经网络在训练速度上的难题，奠定了深度学习的基础。2012年，Hinton 及其学生通过 Rectified Linear Neurons（RLN）和 Dropout正则化改进了卷积神经网络，并在 ImageNet分类竞赛上，将错误率降低至 16%^[5]。在接下来的几年中，研究者对其深度学习神经网络进行了不断改进，并将ImageNet分类错误率降低至零点几个百分点。2012年的突破标志着基于深度学习的人工智能繁荣的开始。

1. 国内外研究概况

2.1 深度学习在农业中的研究方向

深度学习在广义的种植农业中主要集中于研究对象的检测、识别、分类。

检测主要包括植物病害、水果检测等方面。魏杨等^[6]有效地提升了农业害虫类别判断的准确度，得到农业害虫的精准定位，优于以往的自动化农业害虫检测方法；张建华等；龙满生等^[7]利用深度卷积神经网络可以较好地自动提取油茶病害特征，具有较高的分类性能，平均识别准确率达到 96.53%以上；黄双萍等^[8]很好地实现水稻穗瘟病害的精准检测，克服室外自然光条件下利用光谱图像进行病害预测面临的困难，将该类研究往实际生产应用推进一大步。Piyush Singh等^[9]通过应用图像处理和深度学习技术开发端到端框架，以检测椰子树中红棕榈象鼻虫的茎出血病，叶枯病和害虫感染。

利用深度学习可以识别植物、苹果病变等特征。吴佳等^[10]有效的解决了传统雄穗检测方法因玉米品种不同以及田间环境不同导致的检测误差较大、鲁棒性较差的问题，并提高了雄穗检测的速度和准确率；鲁梦瑶等^[11]基于近红外光谱分析技术结合卷积神经网络的模式识别原理准确、可靠地鉴别了烟叶产区; 卷积神经网络可从光谱上直接提取特征信息。同时可以筛选出不符合产区风格特征的烟叶，对品牌特色卷烟产品的烟叶原料科学合理利用可提供指导，对维护卷烟产品的质量稳定有重要意义；尼加提·卡斯木等^[12]为利用无人机数据进行区域内植物群落目标区域提取提供了一种有效的方法，为植被覆盖度估算方法研究、水土保持和土壤理化性质研究以及森林火灾和生态环境研究提供了有力支持；王细萍等^[13]以苹果为例开展了果体感知病变图像识别预诊实验研究，能有效地识别图像模式，配合果园农情监控传感网，可开发图像感知辅助性病害智能预警系统。

深度学习也可以对杂草、茶叶、青梅等农作物进行产品分级。刘庆飞等^[14]提出的基于深度可分离卷积的逐像素分类方法，能对农业图像中的土壤、杂草、作物实施有效逐像素分类，同时能对单一类别逐像素分类进行实时处理，满足实际系统的应用需求；Guy Coleman，胡坤等^[15]提出了一种新颖的基于图的深度学习架构，即Graph Weeds Net（GWN）对杂草物种进行准确分类以在作物情况下进行有针对性的选择，该架构在最近发布的基准数据集上进行了评估，以18.1％的最高准确性实现了最先进的性能。高震宇等^[16]设计了一套鲜茶叶智能分选系统，该分选系统可以实现鲜茶叶的自动识别和分选， 识别正确率不低于 90% ， 可对鲜茶叶中的单芽、一芽一叶、一芽二叶、一芽三叶、单片叶、叶梗进行有效的类别分选；李帷韬等^[17]提出了基于深度集成学习的智能反馈认知算法，并且能够有效的对青梅品级进行划分，具有较高的实用价值，该方法在其他农业产品中的应用将是下一步的工作重点。YutaroOsako等^[18]开发了具有高精度的品种判别模型。这是关于深度学习可以有效地应用于荔枝果实图像识别和品种识别的首次报道。他们的模型可以完美识别从不同季节和位置收集的YHP水果图像。Nazrul Ismail等^[19]提出了一种基于最新深度学习技术和堆叠集成方法的高效有效的机器视觉系统，以提供无损且经济高效的解决方案，以自动化视觉检查水果的新鲜度和外观。