摘 要

进入新世纪以来，海洋有很大的研究价值。人类对于海洋的探索日趋深入，仿生机器鱼的研究应运而生。由于探索任务和环境复杂程度的增加，仿生机器鱼的避障、路径规划已成为了当前的一个重点研究方向。强化学习是机器学习领域的分支，它的特点使它能在仿生机器鱼的自主局部路径规划方面有所应用。

本文以蓝圆鰺鱼为原型，设计了一个以尾鳍为动力的仿生机器鱼，并利用强化学习对它的局部路径规划进行了研究。所做的工作内容如下：

首先通过阅读论文，对于仿生机器鱼等领域的研究进行了了解。然后进行仿生机器鱼的二维轮廓设计，本文选取蓝圆鰺为原型，通过Photoshop提取出图片中的鱼体轮廓，再通过OriginPro对鱼体轮廓进行取点、拟合生成新的体廓曲线。

然后利用体廓曲线进行鱼体的三维设计，并对鱼的尾鳍进行设计，通过查阅相关资料，对尾鳍的舵机进行了选型，设计尾鳍为单关节。通过借鉴实际鱼体的尺寸，使用 SolidWorks进行三维建模，完成鱼体的具体结构设计。

最后，本文利用python实现了强化学习的相关算法，本文使用Q-learning和sarsa算法进行了局部路径规划的仿真研究，通过参数的设置和算法的改进对于局部路径规划进行了优化的探索，并得出了相关的结论。

关键词：仿生机器鱼；强化学习；局部路径规划；Q-learning

Abstract

Since the new century, the ocean has great research value. With the deepening of human exploration of the ocean, the research on bionic robotic fish emerges at the right moment. Due to the increasing complexity of exploration tasks and environment, obstacle avoidance and path planning of the bionic robot fish have become the current key research direction. Reinforcement learning is a branch of machine learning. Its characteristics enable it to be applied in the autonomous local path planning of bionic robot fish.

In this dissertation, a tail fin-powered bionic robotic fish was designed with brown-striped mackerel scad as the prototype, and the local path planning of the bionic robotic fish based on reinforcement learning method was studied. The work content is as follows:

First of all, through reading the dissertation, the research in the field of bionic robotic fish is understood. Then the two-dimensional contour design of the bionic robotic fish was carried out. In this dissertation, brown-striped mackerel scad was selected as the prototype to extract the body contour of the fish in the image through Photoshop, and the body contour of the fish was selected and fitted into a new body contour curve by OriginPro.

Then the three-dimensional design of the fish body is carried out by using the body profile curve, and the design of the tail fin of the fish is carried out. By consulting relevant data, the selection of the steering gear of the tail fin is carried out, and the design of the tail fin is single-joint. By referring to the actual size of the fish body, SolidWorks is used for 3d modeling to complete the specific structural design of the fish body.

Finally, this dissertation uses python programming language to achieve relevant algorithms of reinforcement learning. In this dissertation, Q-learning and Sarsa algorithm are used for the simulation study of local path planning, Through parameter setting and algorithm improvement, the optimization of local path planning is explored and relevant conclusions are drawn.

Keywords: bionic robot fish; Reinforcement learning; Local path planning; Q - learning

目录

摘要 I

Abstract II

第1章 绪论 1

1.1目的及意义 1

1.2国内外研究现状 1

1.2.1国外研究现状 1

1.2.2国内研究现状 3

1.3研究的基本内容、目标、拟采取的技术方案及措施 5

1.3.1研究内容 5

1.3.2研究目标 6

1.3.3拟解决的关键问题 6

1.3.4研究方案及措施 6

第2章 仿生机器鱼结构设计 7

2.1鱼体二维轮廓设计 7

2.2仿生机器鱼运动机理 9

2.3仿生机器鱼尾鳍结构设计 11

2.4仿生机器鱼鱼身结构设计 14

2.5密封性设计 15

2.6本章小结 16

第3章 仿生机器鱼路径规划及强化学习算法 17

3.1仿生机器鱼路径规划研究 17

3.1.1路径规划定义 17

3.1.2路径规划发展及现状 17

3.1.3路径规划目前存在问题 17

3.2 仿生机器鱼路径规划方法 18

3.2.1全局路径规划算法 18

3.2.2局部路径规划算法 18

3.3强化学习理论 20

3.3.1强化学习定义 20

3.3.2强化学习系统结构 20

3.3.3马尔科夫决策过程 22

3.3.4 研究现状与发展趋势 23

3.4 强化学习相关算法 24

3.4.1 Q-learning算法简介 24

3.4.2 Sarsa算法简介 25

3.4.3 Q(λ)算法简介 26

3.4.4 Sarsa(λ)算法简介 27

3.5本章小结 28

第4章 仿生机器鱼局部路径规划探究实验 29

4.1路径规划系统框架 29

4.1.1 环境模型 29

4.1.2 机器鱼模型及其动作表示 30

4.1.3 奖赏函数定义 30

4.1.4 Q值表的建立和参数初始化 30

4.2参数仿真实验 31

4.2.1 Q-learning参数实验 31

4.2.2 Sarsa参数实验 39

4.3算法改进仿真实验 39

4.3.1 Q(λ)参数实验 43

4.3.2 Sarsa(λ)参数实验 48

4.4 20x20探究仿真实验 53

4.5本章小结 54

第5章 环境影响与经济性分析 55

5.1环境影响分析 55

5.2经济性分析 55

第6章 总结与展望 56

6.1总结 56

6.2展望 56

参考文献 57

致谢 60

第1章 绪论

1.1目的及意义

海洋是目前地球上人类还未完全探索的最大区域^[1]，海洋对于一个临海国家的重要性是不言而喻的，它在维护国家的主权、核心利益及军事科技竞争中的战略地位愈发重要^[2]。在对海洋进行探索和发现时，由于海洋环境的复杂多样和未知性，作为海洋探测重要工具的仿生机器鱼受到了世界各国科学家们广泛的关注和重视^[3]，仿生机器鱼的研究和发展对于海洋的探测开发起着至关重要的作用。

经过了长期进化的鱼类在水中拥有了得天独厚的优势，它的身体结构和游动推进方式及其游动的形态都是自然选择的结果^[4]，因此它在水中的运动性能以及对能量的利用等都是进化到最优的。正因如此，科学家们纷纷开展了对鱼类的研究工作，希望能够制造出仿生机器鱼来进行海洋探测。

仿生机器鱼在很多领域都有所应用，例如有教育、军事、水文、船舶设计、生物观察、水下考古和地质勘探等^[5]。在科普教育方面，仿生机器鱼可以用于展示教学，并且在一定程度上可以还原已灭绝的水下生物，展现它们的身体结构和推进特性等。在水文方面，仿生机器鱼可以通过相关传感器进行水质检测。在民用领域，科学家和相关从业人员可以利用仿生机器鱼进行海洋生物的近距离观察、水下文物的考察发现以及海底资源的勘探发掘等。

由于仿生机器鱼的应用前景十分美好，所以对仿生鱼技术和功能的要求也大大提高，最早的水下机器人的遥控等方式已不能满足需求，人们希望的是仿生机器鱼能够自主工作，因此，路径规划成为了机器人领域研究的一个重要瓶颈 ^[6]，从而出现了各种各样的路径规划方法。

1.2国内外研究现状

1.2.1国外研究现状

上个世纪国外就开始对仿生机器鱼进行研究，之后经过了很长的理论研究时期，主要方向是鱼类的运动机理，到了90年代，仿生机器鱼开始实际的研发制造，1994年世界上第一条仿生鱼RoboTuna出现在MIT，如图1.1所示，它的推进效率较高，该仿生鱼体体型大小和一般的金枪鱼相似,组成的零部件约为2800个^[1]，整体的材料是铝合金，体内装有多部直流伺服电机以及轴承等，“RoboTuna”的问世标志着仿生机器鱼的研究进入了一个新时期^[4]。

图1.1 机器鱼RoboTuna^[7]

“RoboTuna”问世之后，MIT在1995年研制出了RoboTuna的改进版RoboPike。该机器鱼长约为81厘米长，如图1.2所示，是仿生机器梭鱼。

与 “RoboTuna”有所区别，它不是依靠滑轮系统被固定在水族馆中，它可以自由的游动，而且它具有更加优秀的加速性能和转弯能力，但是它并不是自动的：它的导航需要人来操控，是通过计算机来解释指令，并返回信号。RoboPike的整体结构由头部、胸鳍、背鳍、尾鳍、伺服系统和电池等组成^[4]，但它还没有安装传感器来防止自己撞上障碍物。

图1.2 RoboPike^[8]

之后第三代的仿生机器鱼VCUUV如图1.3所示。该机器鱼长约2.4m,它通过液压驱动，速度相比于前两代机器鱼更高，转向性能更好^[9]。

图1.3 VCUUC^[10]

日本的国家海洋研究所对机器鱼研究也很多，希望在未来能够将鱼的游动能力应用到船只和潜艇中去。它开发出的机器鱼主要有PF和PPF系列，PPF-04是一种19厘米重量为400克的遥控小型机器鱼，如图1.4所示。它的大小使得它可以在一个小水槽（比如浴缸）中测试，该项目对尾鳍摆动的速度和幅度之间的关系进行了研究。

图1.4 PPF-04^[11]

进入21世纪以来，世界各国纷纷在仿生机器鱼方面的研究都有了实践性的突破，例如日本的PPF和PF系列机器鱼，英国的MT和G系列的机器鱼，德国的MantaRay机器鱼，韩国的MIRO机器鱼，法国的Jessiko机器鱼等等。

1.2.2国内研究现状

相比国外，我国对仿生机器鱼的研究是比较迟的，但是经过学者们的努力，也拥有了不错的结果，起初中科大的童秉纲提出了三维波动板理论，该理论后来引起了国际上较大的反响^[12]，因为国家对于仿生鱼领域研究的大力支持，而且随着仿生鱼技术的进步，国家对仿生鱼的研发于90年代全面开展，后来在某些方面的研究有了惊人的突破。1994年，华中科技大学学者向忠祥等人研究了柔性尾鳍推进装置，通过调节尾鳍参数来对实际的运动推进效率进行观察，从而得出了二者关系的结论^[13]。后来哈尔滨工程大学也开始了仿生章鱼的研制工作，1999年北航通过研究了仿生鳗鱼，后来制造出了国内第一条仿生机器鱼Robotfish，Robotfish模仿了鲨鱼外形的壳体。该机器鱼如下图1.5所示：

图1.5 Robotfish^[14]

在2003年，自动化所在仿生鱼领域有了实践性的突破，研制出了“游龙”系列仿生鱼^[15]。游龙机器鱼如图1.6所示：

图1.6 游龙系列机器鱼^[16]

2002年北航研制出了SPC-I仿生机器鱼，该鱼长为1.9m，重量为156kg，它的转弯半径与体长一致^[17]，后来北航使用这种机器鱼对太湖的水质进行了检测。SPC-I机器鱼的外形如图1.7所示：

图1.7 SPC-I^[17]

北航在SPC-I机器鱼之后继续向前推进研究，于是又有了SPC-II。相比较于第一款，它的摆动更小，稳性性更高，速度也更快。

此外，北京航空航天大学还研制出了SPC-03机器鱼，它的体长为1.23m,它的性能非常稳定，可以在水下工作2-3小时，最高时速为4km/h,它的工作方式是人工遥控。这条机器鱼是为了水下考古探索而设计，但是有多种实际用途。SPC-03机器鱼如图1.8所示：

图1.8 SPC-03^[18]

1.3研究的基本内容、目标、拟采取的技术方案及措施

1.3.1研究内容

本文主要的研究内容为仿生鱼的设计和利用强化学习算法完成局部路径规划的探索，及其相关算法的改进与研究等，每章的内容具体如下：

第一章介绍了仿生鱼研究的相关背景以及国内外发展现状，对仿生鱼研究的目的意义进行了综述。

第二章首先根据鱼类进行二维的鱼体外形轮廓设计，包括轮廓线的获取，点的离散、曲线的拟合，最终得到优化的鱼体轮廓曲线。然后介绍了鱼的运动机理，使用SolidWorks进行鱼体的三维模型设计，包括尾鳍、外壳、鱼体的内部构造，并且合理设计密封方式和机构。

第三章介绍了强化学习的相关背景、基本原理、相关的算法及改善实现，然后对路径规划的定义分类、相关方法等进行相关的阐述。

第四章利用python等相关工具、强化学习算法以及路径规划方法，对局部路径规划进行仿真实验，探究不同的参数及不同的算法对于最优路径收敛速率和结果的作用。

第五章根据机器鱼所使用的材料以及所耗费的成本分析了仿生机器鱼对环境的影响和经济性。

第六章总结全文研究的内容，阐释本文研究的不足之处，提出了未来深入研究的目标和方向。

1.3.2研究目标

本项目拟研制出单个机器鱼的原型，首先对其进行二维的轮廓设计，得出鱼体的轮廓曲线，然后根据已得的轮廓曲线进行鱼体的三维实体建模，并通过3D打印技术进行原型制备，此外，还要通过python实现出强化学习的算法，以完成仿生鱼的局部路径规划等工作。

1.3.3拟解决的关键问题

对于本文研究有以下几个关键的问题需要注意：

1. 必须要设计好良好的鱼体二维轮廓曲线，因为仿生鱼鱼体的外壳轮廓关系着它在水中所受阻力的大小以及游动的速度快慢，所以最终得出的轮廓曲线愈接近于实际鱼体轮廓曲线就愈好。
2. 必须要设计好适合的三维实体模型和鱼体内部构造，三维实体模型经3D打印确定了机器鱼的外型，它的整体外型决定了机器鱼的游动阻力等，很大程度上影响着它的游动速度，它的内部构造则决定它的具体功能和重量分布以及鱼体平衡性的保持。
3. 必要要设计好效果良好的健壮的Python程序在基于强化学习算法的基础上实现仿生机器鱼的路径规划，并且对现有的算法进行改进实现，并探究它的学习效率和相关性能。

1.3.4研究方案及措施

首先进行二维的鱼体轮廓设计，使用Photoshop对已选择的鱼类图片进行轮廓提取，得出鱼体的初步轮廓曲线，然后用OriginPro进行点的离散，得出点的具体坐标，然后进行曲线的拟合，以得出最终的鱼体轮廓曲线。

然后，使用已得出的鱼体轮廓曲线进行Solidworks实物建模，包括机器鱼的鱼体外壳、内部构造、尾鳍等，并要进行合理的布局以保证鱼体在水中的稳定性，并且通过查阅相关资料确定适合的密封方式和密封结构，保证仿生机器人在水中运动时不会漏水，然后通过3D打印技术制备出鱼体原型。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：