睿智科技举办《13号文模型监管解读》培训

时间:2022-11-03 11:37 来源:互联网

你想了解监管对于目前模型合规的要求吗?你想了解国内外相关法规在细节上的不同体现吗?你想了解监管眼中模型的可解释性、可验证性、透明性、公平性原则吗?

2022年7月7日,中国银保监会、中国人民银行发布《关于进一步促进信用卡业务规范健康发展的通知》(简称“13号文”),对强化信用卡业务经营管理、严格规范发卡营销行为、严格授信管理和风险管控、严格管控资金流向、全面加强信用卡分期业务规范管理、严格合作机构管理、加强消费者合法权益保护、加强信用卡业务监督管理等进行了深入和全面的规范要求。其中,在信用卡风险和授信管理核心的模型管理环节,监管机构明确提出了可解释性、可验证性、透明性、公平性的四大原则。

近日,睿智科技在公司北京总部为全公司同事带来了《13号文模型监管解读》培训课程,对上述四大原则进行了从点到面、从浅入深地解读,受到了大家的热烈欢迎。

睿智科技已将先进的建模技术和丰富的模型管理经验输出至自研软件产品睿鼎模型管理平台,从模型开发管理到模型监控管理,再到模型生命周期管理,可以全方位助力客户,服务于市场,受到了客户的广泛认可。

鱼和熊掌如何得兼——可解释性的取舍

2021年3月26日,中国人民银行发布金融行业标准《人工智能算法金融应用评价规范》,其中指出AI算法可解释性是判断算法是否适用的重要依据。可解释性越高,算法内在逻辑、技术实现路径、决策过程、预期目标越清晰,算法更易于被理解、匹配、应用和管理。

AI算法可解释性评价应从算法建模准备、建模过程、建模应用三个阶段提出基本要求、评价方法与判定准则等。

云图片

图片来源:睿智科技《13号文模型监管解读》培训课件

如果我们对比各类模型的可解释性,会发现传统线性模型可解释性强,但受制于线性结构,性能相对较低;机器学习等黑盒模型对于非线性问题表现较好,但可解释性弱。

传统的个人信用评分主要运用统计学上的线性回归方法如逻辑回归、LDA等。以逻辑回归举例,这是信用评分模型中经典的算法,具有假设条件少、结果稳定、可解释性强等特点,是国内外金融机构最常用的方法之一。

云图片

图片来源:睿智科技《13号文模型监管解读》培训课件

近年来,随着金融科技和大数据技术的飞速发展,神经网络、梯度提升决策树、随机森林、支持向量机等方法也被广泛应用到信用评分中,特别是用于对非结构化数据的处理,使这类数据成为信用评分模型中的重要参考因素。这类模型善于解决非线性问题,模型复杂度高、可解释性差,但是性能和准确度往往较好。

关于机器学习的可解释性的工作已经存在了很多年。模型可解释性方面的研究,在近两年的科研会议上成为关注热点,因为大家不仅仅满足于模型的效果,更对模型效果的原因产生更多的思考,目前有六个被广泛使用的可解释机器学习框架。

云图片

图片来源:睿智科技《13号文模型监管解读》培训课件

睿智科技评分模型专家表示,“当我们说模型可解释性时,除了政策角度,我们通常直观的理解是指这个模型具有可学习的结构和参数,然后结构和参数越透明,我们越可以给其分配一些符合直觉的解释。从这个角度来说,我们现在主流应用的一些线性回归模型,甚至决策树模型,其实都是可解释的,因此我们只需要分析模型各个部分的组件。在现有的技术阶段,我们可以比较直观看到,越复杂的模型,可解释性越弱,但其性能越强。一个模型的可解释性和其性能之间的关系,其实就像鱼和熊掌一样,需要取舍和权衡。

睿智科技评分模型专家给出的操作建议是:

严禁采用法律禁止的变量入模;

建模要和业务紧密联系,选用的变量要能在业务、监管要求的逻辑框架下对客户解释清楚;

对于无法从可解释性逻辑上给出拒绝理由的变量,可以通过在子群体上建立子模型来解决这个问题;

要关注将模型的结果转为人容易理解的形式。

公平性的法规及操作建议

关于公平性,我们首先可以通过法律法规找到一些相关的解读。我国《征信业务管理条例》第十四条规定:禁止征信机构采集个人的宗教信仰、基因、指纹、血型、疾病和病史信息以及法律、行政法规规定禁止采集的其他个人信息。征信机构不得采集个人的收入、存款、有价证券、商业保险、不动产的信息和纳税数额信息。但是,征信机构明确告知信息主体提供该信息可能产生的不利后果,并取得其书面同意的除外。《人工智能算法金融应用评价规范》则要求:目标函数设计上不存在肤色、性别、国籍、年龄、健康等偏见歧视。

有的人会认为,个人的收入、存款其实可以通过个人的努力或其他方式去改善,为何也会和公平性扯上关系呢?因为对于银行等金融机构来说,对资产良好的客群会有天然的放贷倾向,如果客群收入与存款较高,银行相对愿意借钱给这类客群。但这容易导致有一些收入较低,但是信誉一直都很好,也确实需要用钱的客群一直借不到钱,或者只能借到利率较高的钱,这是有失公允的。所以人工智能算法中金融应用评价规范里面对目标函数的设计上,不允许存在肤色、性别、国籍、年龄、健康等偏见歧视性变量。

对此,睿智科技评分模型专家给出的操作建议是:

尽量不使用个人的宗教信仰、基因、指纹、血型、疾病和病史信息、个人的收入、存款、有价证券、商业保险、不动产信息和纳税数额信息,以及法律、行政法规规定禁止使用的变量入模;

确保信息准确性,建立信息披露机制以及异议、投诉渠道。

对于《征信业务管理办法》第二十一条的规定:征信机构对外提供征信产品和服务,应当遵循公平性原则,不得设置不合理的商业条件限制不同的信息使用者使用,不得利用优势地位提供歧视性或者排他性的产品和服务。

对此,睿智科技评分模型专家给出的操作建议是:

歧视性层面,征信机构不能利用优势地位区别对待信息使用者,提供差异化条款和服务;

排他性层面上,应该防止垄断现象和利益同盟现象。如不能将评分产品只供给利益合作伙伴。

从可验证性看模型评价标准

《征信业务管理办法》的第二十九条规定:征信机构提供画像、评分、评级等信用评价类产品和服务的,应当建立评价标准,不得将与信息主体信用无关的要素作为评价标准。征信机构正式对外提供信用评价类产品和服务前,应当履行必要的内部测试和评估验证程序,使评价规则可解释、信息来源可追溯。

对此,睿智科技评分模型专家给出的操作建议是:

不将与信息主体信用无关的要素作为评价标准,对外提供信用评价类产品和服务前,严格履行必要的内部测试和评估验证程序,使评价规则可解释、信息来源可追溯;

模型流程清晰可追溯,结果在允许误差范围内可复现,回测效果满足内部制定标准;

按照《信用评级业管理暂行办法》等相关规定开展业务。

与此同时,建立一个完善的、可验证性的模型评估过程,是有一定章法可遵循的,首先要评估概念的合理性,还需要进行结果分析与持续监控。

云图片

图片来源:睿智科技《13号文模型监管解读》培训课件

如今,模型的复现是模型验证最基本的要求,保证了模型的可用性。现阶段很多机构对于“验证”的理解,是在上线前做一些样本外验证和时间外验证,将同一种建模逻辑应用于跨时间或者跨机构的样本,主要是针对模型开发过程中以及开发完成后对模型效果本身的验证,是一种逻辑的复现,重点关注模型的效果和泛化性能,着重验证其可用,并不是从模型风险管理的角度对模型进行独立验证,可以说上述的验证并非真正的“验证”,而是模型测试,只对模型性能进行的一些评价。而真正的验证,是对模型本质合理性的考量。

睿智科技的评分模型专家建议:除了复现的要求,强调独立验证职能,构筑模型风险管理的第二道防线,验证人员区别于第一道防线内的模型相关人员,可以更好地反映监管要求的“模型评审和模型开发独立”,真正地识别出模型潜在的局限性和缺陷。

透明性与个人信息保护

相信很多人都去查过自己的征信报告。征信报告对每一项结果指标都有详细的说明,如还款情况、逾期记录等。如果逾期状态该栏所示为大写字母“N”,就代表被查询者没有还款异常行为;如果标明“1”,就代表是1至30天的逾期。

按照《征信业务管理办法》的相关规定,如第二十八条:征信机构提供信用报告等信用信息查询产品和服务的,应当客观展示查询的信用信息内容,并对查询的信用信息内容及专业名词进行解释说明。信息主体有权要求征信机构在信用报告中添加异议标注和声明。第十五条:信息提供者向征信机构提供个人不良信息,应当事先告知信息主体本人。但是,依照法律、政法规规定公开的不良信息除外。

睿智科技的评分模型专家建议:个人信用评分的业务规则,须与相关法律法规的立法目的相符,即保护当事人合法权益;在保护商业机密的前提下最大限度客观展示信用报告的内容,并对专业名词设置书面或者人工解释服务;要提高个人信用评分的透明度,尊重信息主体,在保护商业秘密的限度范围内最大程度展示信用评分采用了哪些维度的信息,这类信息是否侵犯了个人隐私、是否同意市场机构使用这些信息、信息是否准确完整。“

当然,提高评分的透明度,并非要求市场机构将评分的模型开发过程、模型使用的每一个信息都公开,评分模型的开发和应用涉及市场机构的商业秘密和市场竞争力,也应予以保护。”睿智科技评分模型专家表示,因此评分方法和评分模型公开的范围以反映评分的可靠性和合规性为限,这可有效规避市场机构借助个人信用评分滥采滥用个人信息的问题,促使评分机构更合理地使用个人信息、提高自身的数据分析挖掘能力。

在实际的业务操作中,以模型验证为主的金融机构的要求怎样整合在现有业务开发中?模型的可验证性怎样以一套标准化的流程用于咨询业务中去?是广大金融机构非常关注的现实问题。

基于大数据建模技术和国际级评分卡经验,睿智科技在国内率先提出适用于全信贷客群的信用评分模型体系。同时,睿智科技通过聚焦于研发、评估、监控和灾备等四大环节,首创四大维度模型开发生命周期体系,形成超过200多项模型评价标准,累计排查并解决超过千余模型研发及生产风险。

睿智科技通过积累同业最领先的技术能力,利用最前沿的模型算法持续提升模型产品性能;通过叠加睿智科技在业界多年的行业经验,力求模型产品的场景适配性上更贴合业务需求;通过多维度监控和评分原因码等专利技术手段,保证模型产品输出的稳定性和可解释性。

睿智科技旨在建立一个融合不同风险、利率差别偏好、不同机构类别来源、不同金融产品属性申请的全信贷人群风险评估体系。针对全信贷人群的基于替代性大数据的信用评分,利用数据不落地、不留痕、可用不可见的专利技术,实现各类人群(如有征信、无征信等)打分率近100%、标准评分精准度的KS指标达到惊艳行业的效果,有效加强差异人群间的信贷风险评估并进行公允定价,完善和强化了征信服务,对建立健全金融信用评价机制、推动社会及金融市场更加“普”和“惠”、更好服务民生具有重大意义。

睿智科技的评分模型专家可以为金融机构客户量身定制专业的模型分析要求,从而满足金融机构的业务需求。

如对上述培训内容感兴趣,或者想了解更多睿智科技产品或服务信息,请随时联系贵司专属的睿智科技销售,或请致电010-87982888以及来函business@wisecotech.com与我们联系,敬请注明公司及职位信息。

编辑:yezi
图片新闻