摘 要

为了对采集的局部藏文古籍文档图片进行拼接，形成完整的文档图片，本文提出了一种基于CNN的图像拼接算法。基于卷积神经网络的算法几乎在以图像作为输入的所有领域表现出相比于人类特征工程更加优秀的表达能力。然而目前的基于特征的图像拼接算法普遍采用尺度不变特征变换（SIFT）来进行特征提取，并没有采用基于卷积神经网络的特征提取算法。针对这一现状，本文采用了一种基于卷积神经网络的特征提取算法（SuperPoint）并将其在藏文数据集上进行训练，得到一个对藏文字更具鲁棒性的模型，使用该模型提取图片特征后，对所得特征点进行特征点匹配得到待匹配图像的部分点对应关系，然后使用RANSAC算法计算出单应性矩阵。在这基础上，通过确定缝合图像之间的配准关系并选择适当的参考图像，可以获得稳定的单应性矩阵并实现文档图像的全局配准。然后使用加权平均的融合方法对图像之间的重叠部分进行融合。对局部古籍文档图片的实际实验结果表明，本研究使用的算法能够有效生成完整的古籍文档图片，为后续版面分析和文字识别过程奠定了基础。

关键词：文档图像拼接；SuperPoint；图像融合

Abstract

In order to stitch the collected local Tibetan ancient book document pictures to form a complete document picture, this paper proposes a CNN-based image stitching algorithm. Algorithms based on Convolutional Neural Networks have shown better expression capabilities than human feature engineering in almost all fields that take images as input. However, the current feature-based image stitching algorithm generally uses scale-invariant feature transform (SIFT) for feature extraction, and does not use a feature extraction algorithm based on convolutional neural networks. In response to this situation, this paper adopts a feature extraction algorithm (SuperPoint) based on convolutional neural network and trains it on the Tibetan data set to obtain a more robust model for Tibetan text. Use this model After extracting the image features, perform feature point matching on the obtained feature points to obtain the partial point correspondence of the image to be matched, and then use the RANSAC algorithm to calculate the homography matrix. On this basis, by determining the registration relationship between stitched images and selecting appropriate reference images, a stable homography matrix can be obtained and global registration of document images can be achieved. Then use the weighted average fusion method to fuse the overlapping parts between the images. The actual experimental results of local ancient book document pictures show that the algorithm used in this study can effectively generate complete ancient book document pictures, which lays the foundation for the subsequent layout analysis and text recognition process.

Key Words：Document image stitching；SuperPoint；Image fusion

目 录

第1章 绪论 1

1.1研究的背景和意义 1

1.2 国内外研究现状 1

1.3 本文研究内容 2

1.4 论文组织结构 3

第2章 古籍文档拼接关键技术 4

2.1 图像配准方法 4

2.1.1 特征点提取与特征点描述 4

2.1.2 特征点匹配 5

2.1.3 消除错配 5

2.2 图像融合方法 6

2.2.1 形变处理 7

2.2.2 接缝的处理 8

2.3 SuperPoint模型 9

2.4 本章小结 9

第3章 古籍文档拼接算法实现 11

3.1 SuperPoint训练 11

3.1.1 特征点预训练 11

3.1.2 特征点自标注 12

3.1.3联合训练 13

3.1.4 训练结果 13

3.2 文档图像拼接的总框架 16

3.3 算法实现以及实验结果 17

第4章 工作总结与展望 20

4.1 工作总结 20

4.2 工作展望 20

参考文献 21

致 谢 24

第1章 绪论

1.1研究的背景和意义

藏文古籍是记录藏族不同发展阶段的很多宝贵的信息的载体，是藏族人民运用藏文翻译著作、创作经典、著书立说逐渐积累起来的丰富文化知识，记录了藏族经济社会文化中的重大发展变迁，在中华文化史上留下了其光辉的印记^[1]。其间的政治事件、经济发展、文化演变、宗教信仰 和天灾人祸之类的大事，乃至历史沿革、官场变换、民风民情、自然风光皆在其中^[2]。对藏文古籍的保护是保护我国古籍文献的一个重要方面，由于藏文古籍文献年代很远还有不合理的保存方法以及其他原因，导致纸质版古籍破损甚至不能翻阅、字体变得模糊，因此找到合适的方法进行保存是有必要的。藏文数字化保护也因此成为一个值得研究的课题。藏文古籍数字化建设既可以很好地保护藏文古籍，也可以促进藏族文化的发展^[3]。要对藏文古籍进行数字化建设首先就要对其进行采集、拍摄，藏文古籍大部分是长条活页的形式，具有长而窄的特点，并且篇幅较大，无法通过一次拍摄完成整幅文档内容的采集，需要进行多次多方位的拍摄获得局部图像，然后使用图像拼接技术使之形成完整的文档图像。藏文古籍文档存在的破损、污渍、模糊等因素，使得传统的处理方法结果都不太理想。

本文采用基于卷积神经网络的古籍文档图像拼接技术实现多张图片拼接算法，对古籍采集设备上采集的局部藏文古籍文档图片进行拼接，形成完整的文档图片，便于后续版面分析和文字识别过程。

1.2 国内外研究现状

随着计算机图像处理技术的发展，图像拼接已成为计算机视觉以及相关的热点，并广泛应用于无人机摄影，全景地图中和其他领域^[4]。图像拼接的对象是两张或多张图片，这些图片需要有一定的重叠区域，拼接之后可以得到一张视野更大、尺寸更大的图片。目前，国内外已有许多学者在图像拼接领域取得较好的研究成果。要对图像进行拼接，首先要进行图像配准，然后要进行图像融合，图像配准是关键，它会对最终融合结果有很大程度的影响，图像配准的方法有很多，整体上看，可以分为基于区域的方法、基于相位的方法^[5][6]以及应用最为广泛的方法：基于特征的方法。