摘 要

随着计算机技术的不断发展，数据挖掘技术在商业领域得到了广泛的应用。通过使用数据挖掘技术，可以从大量的商业数据中挖掘出有用的商业信息，从而为商业公司作出合理决策提供参考。本论文主要针对国债交易数据进行数据挖掘，通过数据采集、曲线拟合以及主成分分析等技术，发现交易数据中潜在的信息。通过这些信息，我们可以预测收益率未来走势，从而进行债券定价；也可以探究市场利率期限结构是否正常。针对业务需求，本论文主要做了以下几个方面的研究工作：

1. 利用Python爬虫技术对市场上的国债交易数据和收益率数据进行采集，编写脚本每日定时执行爬虫程序，将数据存入MySQL数据库中。

（2）使用Python编程实现B样条算法和主成分分析算法，利用B样条函数拟合收益率曲线；对得到的收益率曲线选取关键期限离散化，得到收益率时间序列，利用主成分分析对收益率时间序列进行处理，得出时间序列的主要影响因子及贡献度。

（3）编程实现前端页面，显示爬取的数据，并提供数据查询功能；提供利率曲线显示功能；上传收益率数据文件，调用后台主成分分析代码对数据进行分析，向前端返回分析结果。

（4）利用Flask网络开发框架，实现前后台数据交互，并进行调试，检测服务端响应请求功能的稳定性。

关键词：收益率曲线；数据采集；B样条算法；主成分分析；Flask

Abstract

With the continuous development of computer technology, data mining technology has been widely used in the commercial field. By the use of data mining technology, you can from a large number of commercial data mining useful business information, so as to make reasonable decisions for commercial companies to provide a reference. This paper mainly focuses on the data mining of national debt transaction data. Through the data acquisition, curve fitting and principal component analysis, we find the potential information in the transaction data. We can forecast the future trend of the yield and make the bond pricing. The You can also explore whether the market interest rate structure is normal for business needs, this paper has done a number of aspects of research work:

(1) Use Python crawler technology to collect the market bond transaction data and yield data.Code the script to run the crawler program daily, store the data in the MySQL database.

(2) Use Python programming language to achieve B-spline algorithm and principal component analysis algorithm.Use B-spline algorithm to fit the yield curve;Discretize the yield curve obtained by selecting several term, then we can get the yield time series, Principal component analysis algorithm is used to analyse the time series of the yield.After that,the main influencing factors and contribution of the time series are obtained.

(3) Code to achieve the front page, display the crawl data, and provide data query function; provide interest rate curve display function; upload the yield data file, call the background principal component analysis code to analyze the data, return to the front analysis results.

(4) Use Web development framework of Flask to achieve the data exchange between the front and back end.Test the stability of server response to request.

Key Words：Yield curve；Data collection；B-spline algorithm；Principal component analysis algorithm；Flask

目 录

第1章 绪论 1

1.1 论文研究背景 1

1.2 国内外研究现状 1

1.2.1 国内研究现状 1

1.2.2 国外研究现状 2

1.3 研究目的及意义 3

1.4 研究内容 3

1.5 论文的组织结构 4

第2章 系统方案设计 5

2.1 总体方案设计 5

2.2 后台系统设计 5

2.3 前台系统设计 6

2.4 前后台系统间的数据交互 6

第3章 后台系统设计 7

3.1 数据采集 7

3.1.1 网络爬虫 7

3.1.2 Scrapy框架 8

3.1.3 程序设计 9

3.2 曲线拟合 11

3.2.1 B样条算法 11

3.2.2 理论分析 12

3.2.1 实证研究 13

3.3 主成分分析 15

3.3.1 模型介绍 15

3.3.2 算法设计 16

3.3.3 实证分析 17

第4章 前台系统设计 23

4.1 功能概述 23

4.2 系统实现 23

第5章 前后台系统间的数据交互 25

5.1 Flask网络开发框架 25

5.2 前后台数据接口设计 26

第6章 结论与展望 27

6.1 全文总结 27

6.2 研究展望 27

参考文献 29

附录A 程序清单 30

致 谢 40

第1章 绪论

本文来源于高登世德金融科技公司的实际业务需求：对国债的利率期限结构研究并根据国债利率进行债券定价。该项目涉及到了大量国债历史交易数据的采集，从这些历史交易数据中得出国债的利率期限结构模型，对未来的收益率进行预测，从而进行债券定价。本文利用数据挖掘技术对市场上的国债交易数据进行采集，构建国债的利率期限结构，绘制出国债收益率曲线，分析得出收益率曲线变动的影响因子及其贡献度。

1.1 论文研究背景

1981年我国开始公开发行国债。随着我国金融市场逐步开放，实施了积极的财政政策，我国国债市场得到了长足发展。国债市场已成为投资者进行国债投资活动、国家调控金融及货币政策的重要场所^[1]。与此同时，随着国债市场规模的不断扩大以及利率市场化进程的不断推进，对国债利率期限结构的研究再次成为金融领域的研究热点。

与此同时，我国各证券交易所及证券发行机构则积累了大量的国债交易数据，这些数据真实反映了我国债券市场的利率期限结构，它们是各个金融公司共同的财富。因此有些金融公司希望对这些数据进行深入分析，从而挖掘出更有价值的商业信息。当前正处于研究热点的数据挖掘技术为我们指明了研究方向^[2]。数据挖掘技术是一个跨学科的计算机分支，利用人工智能、机器学习、统计学和数据库的方法在相对较大型的数据集中发现模式的计算过程，数据挖掘的首要目标是从一个数据集中发现数据中隐藏的模式，并将其转换为有用的信息，以进一步使用^[3]。因此将数据挖掘应用于金融领域，对采集的国债交易数据进行分析研究得出收益率变化趋势，构建利率期限结构模型，预测未来的收益率，为债券定价提供理论支持。

1.2 国内外研究现状

1.2.1 国内研究现状

我国的国债市场发展相对较晚，对利率期限结构的研究也相对于国外来说也较为滞后。随着我国金融市场逐步开放，目前有越来越多的学者把精力投入到了国债利率期限结构的研究中。对国债利率期限结构的研究主要分为两个方面：（1）从静态方面进行分析，利用曲线拟合技术来拟合利率期限结构；（2）从动态方面进行分析，基于均衡模型、无套利模型对利率期限结构进行研究，同时采用动态的主成分分析算法，分析利率期限结构的影响因素。