You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
62 lines
7.2 KiB
62 lines
7.2 KiB
= 模型验证概述
|
|
上述提到的常见的三种验证方法（模型区分能力验证、模型稳定性验证、估值准确性验证），
|
|
均是对模型的整体情况进行验证，也就是从三个方面（维度）来检验模型的总体情况如何。
|
|
|
|
== 模型验证阶段、验证内容及方法、验证主体约束
|
|
image::chapter-summary/001.png[]
|
|
|
|
以上是根据银监会的监管框架要求总结了关于模型验证阶段、验证内容及方法、验证主体相关约束，具体说明如下：
|
|
|
|
. 返回检验: 是指模型定量验证的方法，简单来说是通过实际表现和预测结果进行比较进行验证的一种方法。
|
|
. 按模型验证阶段主要分为：投产前、投产后两个主要阶段，所谓投产前是指咨询建模完成后，模型还没有应用到实际的业务系统中（即系统还未落地实施）；而投产后是指模型已经应用到实际业务系统中（即咨询建模的成果已经通过系统实施完成，并在实际业务中使用模型）
|
|
. 按模型验证内容主要分为：定量验证和定性验证，请注意，这里所说的定量、定性与指标类型中的定量、定性不是一个概念。模型定量验证部分主要是通过标准的数理统计验证算法（区分能力验证、稳定性验证、估值准确性验证等）对模型进行验证（通常可以获得定量的验证结果），而模型定性验证部分则是从治理结构、政策、流程、文档等方面进行验证。
|
|
. 按模型验证内容还可以分为：全面验证和持续监控，全面验证同时包含定量和定性验证，而持续监控只包含定量验证。
|
|
. 模型开发主体:指咨询建模的公司或组织（国际著名的四大会计公司:普华永道、毕马威、德勤、安永,其他咨询公司:SAS、FICO等）
|
|
. 模型应用主体:指实际使用模型的公司或组织（通常指银行）
|
|
. 主体保持独立:指主体间不能相同或相关，例如投产前全面验证需要满足：“与模型开发主体和模型应用主体保持独立”，表示进行验证的单位或组织不能是模型的开发主体，也不能是模型的应用主体，即进行验证的单位或组织是第三方（不能是开发时的咨询公司，也不能是银行应用、开发模型的团队）
|
|
|
|
== 定量模型验证的三个维度
|
|
image::chapter-summary/002.png[]
|
|
|
|
具体说明如下:
|
|
|
|
. 定量模型验证的三个维度（即三个主要验证方面）：模型区分能力、模型稳定性、模型估值准确性
|
|
. 模型区分能力: 对于模型整体定量验证而言，模型区分能力验证是验证模型对坏客户的鉴别能力（模型总得分越低，客户变为坏客户的可能性越大），对于单指标的区分能力验证，模型区分能力验证是验证单个指标对鉴别坏客户的能力（通常表现为单指标的单调性，即单指标的得分越低，客户变坏（违约）的可能性越大）
|
|
. 模型稳定性: 主要用于分析客户群体是否发生较大变化，通常在咨询建模期间，建模者会对客户群体进行划分，分别计算出各个群体在整个群体中的占比，在实际应用模型过程中，如果这种占比发生了较大变化，说明模型变得不够稳定了。
|
|
. 估值准确性: 估值准确性的验证，通常包含卡方检验和二项检验，卡方检验主要检验的是模型标尺的整体划分是否符合要求，而二项检验主要检验的是模型标尺单级别的违约概率设置是否符合要求。
|
|
|
|
== 定量模型验证三个维度的验证顺序
|
|
通常在对模型进行定量验证时采用的方法（即验证维度）分为三种：模型区分能力、模型稳定性、模型估值准确性，
|
|
那这三种验证方法的顺序和重要性又是怎样的呢？以下给出在实际模型定量验证采用的通用工作流程。
|
|
|
|
image::chapter-summary/003.png[]
|
|
|
|
具体说明如下:
|
|
|
|
. 首先进行模型整体区分能力验证，如果没有通过，则表明模型在整体预测方面已经出现问题（即当前实际情况与建模时的情况发生了较大变化），通常需要考虑重新建模，即对组成模型的各个指标以及权重进行重新调整，如果条件允许，可以对单指标进行区分能力检验，分析具体是哪些指标对模型区分好坏客户能力失去了作用，为模型调整提供依据。
|
|
. 如果通过了模型的区分能力验证，再进行模型稳定性验证，如果没有通过模型稳定性验证，通常也需要考虑对模型进行调整，通过分析单个特征变量客户群的变化，能够为模型调整提供依据。
|
|
. 如果通过了区分能力和稳定性验证，再进行模型估值准确性验证，在进行模型估值准确性验证时，通常采用两种检验方法：卡方检验和二项检验。在实际操作时，一般先进行卡方检验，该检验验证的是模型的标尺划分是否合理，如果没有通过，需要考虑对标尺进行重新划分，在通过卡方检验之后，再进行二项检验，该检验验证的是标尺中单个级别的违约概率设置是否合适，如果没有通过二项检验，需要考虑重新调整单级别的违约概率。
|
|
|
|
== 模型验证总体功能
|
|
image::chapter-summary/functions.png[]
|
|
|
|
具体说明如下:
|
|
|
|
. 在进行模型验证之前需要准备必须的数据，这些数据主要包含两方面:评级及违约相关的数据;咨询建模数据。
|
|
.. 评级及违约相关的数据是最重要的，也是必须的。
|
|
.. 咨询建模数据，仅用于模型稳定性验证中计算 PSI 时使用(如果无法获取，可采用评级系统上线后一段时间内的数据代替)。
|
|
. 模型验证系统所需的数据可通过数据抽取模块将其加载到模型验证系统中。此模块的具体实现可根据情况而定（可以通过 SQL 语句直接从源系统中抽取，也可以通过 ETL 方式加载到系统中，甚至也可以通过 xls 导入到系统中），目的是将这些需要的数据导入到模型验证系统中固定的数据表和字段中
|
|
. 在所需的数据导入到模型验证系统后，首先需要进行的就是对这些数据（我们称之为验证样本）进行一些过滤，生成合格的验证样本用于后续的验证操作。
|
|
. 在有了合格的验证样本后，通过验证算法对模型进行实际的验证处理，并将验证处理的结果保存到模型验系统的数据库中，以便后续展示给使用者。
|
|
. 模型验证实际处理逻辑执行完毕后，就可以查看验证结果了。
|
|
.. “模型区分能力验证结果”，“模型稳定性验证结果”，“模型估值准确性验证结果”分别对应的是模型验证的三个维度的详细结果信息;
|
|
.. “模型验证结果摘要”是展示对一个模型的总体验证结果摘要信息，包含上述三个维度验证结果：AUC,AR,KS,PSI,是否通过卡方检验，是否通过二项检验;查看参与本次模型验证验证样本相关数据信息
|
|
|
|
== 模型验证系统数据架构
|
|
image::chapter-summary/structure.png[]
|
|
|
|
具体说明如下:
|
|
|
|
. 模型验证数据来源于“源系统”，主要分为评级相关、违约相关和咨询建模相关三部分
|
|
. 数据表分为计算相关和历史相关两大类
|
|
. 验证结果分为单项和总体两个层面
|