英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

Credit Risk Assessment Model Based Using Principal component
Analysis And Artificial Neural Network

Abeer Hamdy , Walid B. Hussein

摘要.近些年来，对银行客户的信用风险评估越来越受重视，因此，文献中提出了信用打分的多个模型。模型的准确度对金融机构的盈利能力来说是至关重要的。本文提出了一种高精度的可应用于小数据集和大数据集的信用评分模型，该模型采用基于主成成分分析法细分信用评分模型中常用属性的重要性。本文提出的信用评分模型应用PCA获取信用评分数据的主要属性然后使用人工神经网络分类器决定个人申请的信用价值。将本文提出的模型的性能与其他模型在准确性和训练时间上进行对比。基于德国的数据集结果表明，提出的模型优于其他模型，并且计算量较小。因此，它可以是未来信用评分系统的有潜力的候选者。

关键字.信用评分,人工神经网络,主成成分分析,信用风险,德国数据

1 简介

最近几年，信用风险评估越来越受到重视。银行和金融机构已经广泛开始考虑客户的信用风险，以便为新客户做出决定，在一定条件下为现有客户提供信贷或增加信用额度。如何客户还款开始逾期，金融机构应该采取什么行动？帮助这些决策的技术称为信用和行为模型。可用于进行信用评分决定的信息包括申请人的申请表单和申请人信用参考机构持有的信息。信用评分模型分析申请人的信息并将其分类为信用良好的申请人或信用不良的申请人。信用良好的申请人很有可能偿还债务责任，而信用不良的申请人违约可能性很大。信用评分模型的准确性对于金融机构的盈利能力至关重要。申请人信用评分准确率提高1个百分点可以保护金融机构免受巨大损失。参数统计方法特别是线性判别分析（LDA）和逻辑回归（LR）已被用于开发信用评分模型。LDA和LR的弱点是由于反应和预测变量之间的线性关系的假设，这通常是非线性的，并且对偏离多变量正态性假设敏感。最近，人工智能（AI）和数据挖掘的方法已被用于开发信用评分模型，许多研究表明基于AI的模型优于传统统计模型。神经网络是由于其对线性和非线性函数建模的能力而被应用于信用评分的AI技术之一。然而，ANN经常被批评为“黑盒子”，计算量大并且可能遭受过拟合问题。首先由Cortes和Vapnik开发的支持向量机（SVM）是应用于信用评分的另一种现代分类技术。SVM不会向ANN有过拟合问题，因此可以很好的泛化。然而，他们的计算量仍然很大。在信用评分领域也尝试了遗传算法。根据文献综述，几乎所有的分类方法都可以应用于信用风险评估，并且表现出相当的性能。然而，集成两种或多种单一分类方法或集群和分类方法的一些混合AI技术已经表现出比单独方法更高的可预测性。最近的例子是神经辨别技术、神经模糊、神经网络集合、进化神经网络、模糊SVM，将模糊理论和SVM和使用LSSVM分类器来增加对异常值和泛化能力的敏感度。Harris利用集群SVM（CSVM）以减少使用大型训练集训练非线性SVM所需的计算复杂度。

由于AI技术相对于传统的统计方法（如LDA和LR）而言在计算上是昂贵的，特别是在开发信用评分系统中使用的大量数据集时，众所周知，许多金融机构和银行都有数百万客户， 掌握其信用记录和申请表的信息。本文的贡献是提出一种混合模型，在客户信用评估中区分好客户与坏客户。 该模型由通过称为主成分分析PCA的特征提取技术确定的属性馈送给ANN分类器组成。 混合技术完成了以下工作：

1. 在准确性方面优于先前系统的信用评分系统。
2. 通过使用PCA减少特征空间的维数来减少ANN的计算复杂度。
3. 参数研究主要成分（PC）数量对模型精度和训练时间的影响
4. 对建立信用评分模型中常用的每个信用评分属性的意义进行分析。

我们将我们的成就与Harris进行了比较，原因如下：1.他利用本文中使用的开源数据集2.他的动机与我们相同（提高预测准确性，减少训练时间）3.他训练了其他几个分类器并概述了它们的性能。

本文的其余部分组织如下：第2节介绍了模型，数据集和绩效标准。 第3节讨论我们的发现。 第4节总结了本文，并概述了未来研究的可能方向。

2 背景

2.1 人工神经网络

人工神经网络（ANN）是一种受人脑神经细胞通信和处理信息技术启发的一种信息处理模式。ANN由大量高度互联的处理元素（神经元）组成，共同解决具体问题。像人一样，ANN通过例子学习，他们根据以前的经验得出新的结论，作出决定。最常见的ANN类型由三层单元组成：输入层，隐藏层和输出层，称为多层感知器（MLP）。输入层连接到隐藏层，隐藏层连接到输出层。输入节点表示馈送到网络中的原始信息。每个隐藏层节点的输入由输入单元的输出和输入层和隐藏层之间的连接的权重确定。输出层由表示系统分类决定的节点组成。输出节点的输出根据隐藏层的输出和隐藏层和输出层之间的权重来确定。图1示出了包括输入层，输出层和一个隐藏层的三层神经网络的示例。 ANN的权重调整过程称为训练ANN。训练过程包括通过网络运行预定义分类输出节点的输入值。计算每个训练样本的预测输出，并与相应的目标输出进行比较。然后调整权重，使得训练样本被呈现给网络时下一次的错误率将被减小。因此，训练算法找出与学习分类模型最相关的ANN的属性。测试样本用于验证受过训练的网络的性能。

图1. 3层，2输出人工神经网络

2.2 主成成分分析（PCA）

由于样本的多变量性质，设计和操作分类器的计算时间具有挑战性。 因此，PCA应用于数据集，以找到传达最大有用信息的最佳低维空间，并定义影响样本的基础属性。PCA是使用正交分解和变换来将可能相关属性（即，高维数据）的一组观察值投影成称为主要分量PC的线性不相关属性（即，低维数据）的值的数学过程。 PC是原始属性的线性组合，其中分配给那些原始属性的线性组合的权重被称为特征向量。 PC的数量小于原始属性的数量。投影以最小二乘的方式进行，其中捕获数据中的大（即主）变异性，而忽略小变化。 结果，第一主成分（PC1）将在输入空间的最大方差方向上。 第二主成分（PC2）与（PC1）正交，并与第二最大方差一致。 随后的主要组件根据剩余的最大方差被找到，到最后一个PC（即PC24），其中一个表示数据的最低方差。 PCA证明了其在各种应用中的有效性。

3 方法

3.1 数据集

来自UCI机器学习库的德国信用评分数据集。 该数据集包括信誉良好的申请人的700个例子和不应该被授予信用的300个客户的例子。此外，它为每个信用申请人提供二十（20）个分类属性，它们是：

• 客户现有支票账户的状态
• 信用期限为月
• 客户的信用记录
• 信用的目的
• 要求的信用额度
• 客户的储蓄账户/债券余额
• 客户现有就业状况
• 客户的个人（婚姻）状况和性别
• 客户是否是另一机构授予的债务人或担保人
• 现在居住的年数
• 客户拥有的财产类型
• 客户年龄
• 客户是否有其他分期付款计划
• 客户的住房安排（即拥有自己的房屋，租赁或免费住宿）
• 客户在银行的现有信用额
• 客户的工作
• 客户负责维修的人数
• 客户是否有电话
• 客户是外国人吗

3.2 实验方法

两种类型的模型被训练用于信用评分。 其中第一个是一个ANN，提供了德国数据的24个属性。 第二种是由PCA和ANN分类器组成的混合模型。 在ANN馈送一组PC的情况下，PCA被馈送了24个属性德语数据集，如图2所示。

图2. PCA-ANN信用评分模型

对于德国数据集中的每个属性，封闭的值在[-1,1]范围内进行归一化，以防止ANN被具有较大值的输入属性（仅在使用ANN的情况下）支配。 如果属性将被馈送到PCA，则归一化将保证PC将是独立的，因为PCA对原始属性的相对缩放很敏感。 通过使用等式1除去特征的平均值，然后除以其标准偏差来进行归一化。

其中x和xrsquo;分别是数据集中每个特征的旧值和新值。 之后，将该数据分为65％用于培训模型，15％用于验证，20％用于测试训练模型的性能。

3.3 性能指标

许多绩效指标可用于报告信用评分分类器的性能，包括预测准确性，混淆矩阵和AUC度量。

3.3.1 预测精度

预测精度指标衡量模型如何准确地对信用申请人在数据集上进行分类，并由等式2定义。

TP：真正的正样本（客户的正确预测数量）

TN：真正的负样本（顾客的正确预测数量）

P，N：分别为正，负样本数

预测精度对于分类器的实际性能来说不是一个可靠的指标，特别是在数据不平衡的情况下（这是信用评分数据的情况）

3.3.2 混淆矩阵

混淆矩阵是提供比分类器结果的精度指标更详细的分析的方法之一。 混淆矩阵如图3所示。其中，FP：假阳性（预测为好客户的坏客户数）; 和FN：假阴性（预测为不良客户的好客户数）

图3. 混淆矩阵

3.3.3 AUC

AUC， ROC曲线下的面积，度量已经成为二进制分类器在一般和信用评分领域最有希望和广泛接受的评估指标之一。美军在“珍珠港”袭击后首次使用AUC，从雷达信号中检测出日本飞机。它的主要优点是超过其他指标是不平衡的数据集不平衡。 ROC曲线是分类性能的二维测量，其中如方程式3中的灵敏度（实际阳性预测为阳性的分数）和方程式4中的特异性（实际阴性预测为阴性的分数）绘制在Y和X轴。 AUC度量如式5所示计算，其中，S1表示信用客户的排名之和。在这里，100％的分数表示分类器能够完全区分类别，而50分的分数表示微不足道的歧视性质量的分类器

4 结果与讨论

4.1 ANN模型

神经网络设计为3层，输入层，隐藏层和输出层，输入层为24个神经元，用于24个输入信用评分属性。 隐藏层中的15个神经元与Tansig激活函数（方程6）和输出层中的一个神经元具有线性传递函数，以将输出值线性缩放到间隔[0,1]。

其中，n和a分别是隐藏层中每个神经元的输入和输出。

训练算法是反向传播算法。 对网络中每个神经元的权重和偏倚进行迭代，直到验证样本的均方误差降至可能的最小值。 图4显示，在迭代2次时，最小均方误差为0.14。在其他时期，均方误差高（迭代1和2）。 在迭代4次以上，训练数据上的模型的均方误差减小，而验证数据增加，这意味着生成的模型遭受过拟合问题。 根据测试数据集评估最佳模型（在迭代2）的性能。 图5和表6显示了所得分类器及其混淆矩阵的ROC曲线。 可以观察到训练分类器的ROC曲线高于对角线（不分辨线或随机分类器的线），这意味着ANN分类器可以产生良好的分类结果

图4. MSE

图5. ROC曲线

表1. 混淆矩阵

4.2 PCA-ANN模型

PCA应用于归一化数据集。 图6显示了所得PC相对于数据变化的重要性。 Y轴表示每PC的标准化重量。 发现最高重量等于861.75，最低重量等于0.015。 可以看出，前三个PCS占数据的多少变化; 其累积权重等于1073.512。

图6.

对五个PCA-ANN模型进行了培训。 这些模型在馈送到三层ANN的PC的数量上彼此不同。 五个经过训练的PCA-ANN模型的结构如表2所示。图7显示了每个ANN模型和五个PCA-ANN模型的AUC度量值。 清楚地观察到，基于AUC度量的最佳模型是ANN模型（AUC = .856）。 虽然最差的性能模型是PCA-ANN＃5，它仅使用3PC，并导致AUC值等于.625。 使用6 PCS的PCA-ANN＃4显着提高了性能（AUC = 0.779），PC越多，性能越接近ANN模型。 图8显示了模型PCA-ANN＃4和PCA-ANN＃5的ROC曲线，并且显而易见的是，PC的数量越少，ROC曲线越接近对角线，表明客户之间的差异化能力较差。

表2

图7

图8

图9.显示每个模型的训练时间（以秒为单位），因为观察到的PCA-ANN＃5模型是计算上最昂贵的模型，因为ANN不能用少数输入特征快速推广。 然而，所有的PCA-ANN模型只能比ANN更广泛，而且PC数量越多，训练时间就越长。

图9

图10显示了基于AUC的比较，我们的6个训练模型的表现和8个模型的哈里斯。 哈里斯的模型是：逻辑回归（LR），K均值加逻辑回归（K-means LR），具有RBF内核（CSVM-RBF）的群集支持向量机，具有RBF的K均值加支持向量机 内核（Kmeans SVM-RBF），具有RBF内核（SVM-RBF）的支持向量机，线性聚类支持向量机（CSVM-linear），带有线性内核的K-means加支持向量机（K-means SVM 线性）和线性支持向量机（SVMlinear）。 观察我们所有的型号，除了型号PCA-AN＃5，跑赢了哈里斯型。 由于我们的平台和他的平台之间的区别，我们无法将我们的模型的训练时间与哈里斯中的模型进行比较。

图10

4.3 信用评分属性分析

虽然数据挖掘技术在分析信用价值方面是有用的，但是将模型建

全文共13303字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[142847]，资料为PDF文档或Word文档，PDF文档可免费转换为Word