基于大數(shù)據(jù)技術(shù)信用風(fēng)險評價系統(tǒng)設(shè)計（一）

1、國內(nèi)外技術(shù)發(fā)展現(xiàn)狀
（1）云數(shù)據(jù)挖掘技術(shù)
隨著云時代的到來和移動互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)規(guī)模從MB、級發(fā)展到TB、PB 級甚至EB、ZB 級，并且面臨著TB 級的增長速度，數(shù)據(jù)挖掘的要求和環(huán)境也變得越來越復(fù)雜，從而形成“數(shù)據(jù)量的急劇膨脹”和“ 數(shù)據(jù)深度分析需求的增長”這兩大趨勢，使得40 年來一直適用的數(shù)據(jù)庫系統(tǒng)架構(gòu)在海量數(shù)據(jù)挖掘方面顯得力不從心。
目前業(yè)界開源的云計算平臺，包含HDFS 和MapReduce，為海量數(shù)據(jù)挖掘平臺提供完備的云計算平臺支撐平臺。云數(shù)據(jù)挖掘技術(shù)在技術(shù)上是完全可行的，現(xiàn)在也有部分公司也在做基于云的數(shù)據(jù)挖掘系統(tǒng)，但還是在嘗試性的階段，應(yīng)用到信用領(lǐng)域就更少了，暫時還沒有類似的成熟的商業(yè)產(chǎn)品。
（2）云風(fēng)險計算技術(shù)
風(fēng)險計算技術(shù)是基于數(shù)學(xué)模型建立的，在很多行業(yè)上都能找到相應(yīng)的應(yīng)用，比如銷售預(yù)測，控制第二年的銷售分析；比如產(chǎn)品預(yù)測，控制新產(chǎn)品發(fā)布的風(fēng)險?，F(xiàn)在數(shù)學(xué)模型已經(jīng)應(yīng)用到各個領(lǐng)域，金融行業(yè)的風(fēng)險控制當(dāng)然也不例外。在很多金融行業(yè)系統(tǒng)中對于算法模型都是靜態(tài)的，必須要人工進(jìn)行更新、維護(hù)和優(yōu)化，隨著業(yè)務(wù)的更新一直處于一種被動的狀態(tài)，對于風(fēng)險控制的粒度自然就不會很小。對于現(xiàn)在的金融行業(yè)，風(fēng)險控制幾乎等于0，不僅僅是靜態(tài)算法的原因，同時也缺少監(jiān)管的，甚至很多的風(fēng)險控制是人為的主管判斷的。在大數(shù)據(jù)時代，使用靜態(tài)數(shù)學(xué)模型沒法處理日益增長的風(fēng)險控制業(yè)務(wù)需求，需要找到一種適應(yīng)于大數(shù)據(jù)時代的風(fēng)險控制技術(shù)。
云風(fēng)險計算技術(shù)應(yīng)運而生，它利用云的優(yōu)勢，能滿足大數(shù)據(jù)時代的數(shù)據(jù)處理需求，同時該技術(shù)中設(shè)計的數(shù)學(xué)模型具有自學(xué)習(xí)能，對于處理過的數(shù)據(jù)自主學(xué)習(xí)處理方式和處理結(jié)果，自動選擇匹配的數(shù)據(jù)進(jìn)行計算，進(jìn)一步提高算法的智能性和可用性，同時提高風(fēng)險控制的能力，發(fā)現(xiàn)更多的未知風(fēng)險。
（3）信用評價技術(shù)
信用評級的核心是要充分揭示受評對象的信用風(fēng)險，從受評對象目前現(xiàn)金流量和其它現(xiàn)金來源對債務(wù)的保障程度入手，充分考慮宏觀經(jīng)濟(jì)環(huán)境、行業(yè)發(fā)展趨勢、政策和監(jiān)管措施等企業(yè)外部因素和基本經(jīng)營、管理素質(zhì)、財務(wù)狀況等企業(yè)內(nèi)部因素的影響，從而對受評對象未來償付能力做出判斷。
不斷發(fā)展評級技術(shù)既是市場的需要，更是評級機(jī)構(gòu)活力的源泉。信息的附加值來源于評級機(jī)構(gòu)對信息的加工和整理過程，即評級技術(shù)。評級技術(shù)就是在掌握公開信息和收集私人信息的基礎(chǔ)上，對信息進(jìn)行加工、整理和挖掘的過程，以及將他們抽象成決定信用質(zhì)量的關(guān)鍵性變量或因素，并對這些變量的影響程度進(jìn)行分析，最后得出表征風(fēng)險高低的信用等級的過程。信息的加工過程需要高度的專業(yè)知識與技術(shù)，具有很高的知識含量，這就是為什么同樣是面對公開信息，投資者不能有效“復(fù)制”出評級機(jī)構(gòu)的評級結(jié)果，而必須依賴于評級機(jī)構(gòu)的專業(yè)技術(shù)。
作為金融市場的參與者和以盈利為目的的組織，充分、有效揭示風(fēng)險，并在這個過程中保持獨立、公正和客觀是評級機(jī)構(gòu)賴以生存的基礎(chǔ)，也是市場對評級機(jī)構(gòu)的基本要求。
信用評級沒有固定的公式，是一種開放的、不斷發(fā)展的技術(shù)體系，能夠兼容各種定量分析技術(shù)。
20世紀(jì)70年代以前，度量信用風(fēng)險的方法和模型主要是借助于各種報表提供的靜態(tài)財務(wù)數(shù)據(jù)，進(jìn)而通過分析經(jīng)濟(jì)體的各種信息來相對主觀地評價其信用質(zhì)量。80年代以來，信用市場的發(fā)展和信用風(fēng)險的變化使得風(fēng)險度量研究領(lǐng)域開始出現(xiàn)了許多新的量化分析方法和度量模型。目前，西方發(fā)達(dá)國家(特別是美國)較為流行的模型和方法大體上可以分為兩類：一是古典的(或稱之為傳統(tǒng)的)信用風(fēng)險度量模型，包括專家制度模型、Z-評分模型和ZETA模型等；二是現(xiàn)代信用風(fēng)險度量模型，目前比較流行的如：J.P.摩根的信用度量制模型(Credit Metrics Model)、KMV公司的信用監(jiān)測模型（Credit Monitor Model）、瑞士信貸銀行的Credit Risk+模型以及麥肯錫公司的Credit Portfolio View模型等。
對于上述種種流行的模型，需要注意的是：
1）每種模型各有優(yōu)缺點，具有各自的特點，不能相互替代，國外學(xué)者對這些模型所做的有效性檢驗證實了這一點。有鑒于此，人們在使用某種模型時可將另外一種可配套使用的模型結(jié)合起來，做到優(yōu)勢互補，以取得較好的效果。
2）沒有一個模型已經(jīng)達(dá)到成熟完美的程度，它們均存在著這樣或那樣的弱點，尚須進(jìn)一步改進(jìn)和完善。同時，再完美的信用風(fēng)險模型也僅僅是信用風(fēng)險分析的工具，任何復(fù)雜的數(shù)量分析都不能代替信用評級中的經(jīng)驗判斷，況且現(xiàn)有的信用風(fēng)險模型還未達(dá)到完美的程度，人們還將面臨著模型風(fēng)險。
3）現(xiàn)代信用風(fēng)險模型的建立需要大量的參數(shù)估計，例如違約概率、違約損失率、信用等級轉(zhuǎn)換概率等等，這些參數(shù)的估計是以歷史經(jīng)驗數(shù)據(jù)為基礎(chǔ)的。所以，上述模型的建立基礎(chǔ)是發(fā)達(dá)國家?guī)资?、甚至上百年有關(guān)信用資產(chǎn)和信用評級的歷史數(shù)據(jù)庫。即使古典（傳統(tǒng)）的Z-評分模型和ZETA評分模型也是建立在發(fā)達(dá)國家（美國）的企業(yè)的歷史統(tǒng)計數(shù)據(jù)基礎(chǔ)之上的。由于信用分析的本質(zhì)在于揭示信用風(fēng)險，一國經(jīng)濟(jì)發(fā)展所處的階段、工業(yè)化程度以及社會和文化背景等不同，信用風(fēng)險的影響因素和表現(xiàn)形式也不一樣，信用分析的具體內(nèi)容和側(cè)重點必然也有所不同。因此，上述信用風(fēng)險模型具有特定的適用范圍和對象，不具有普遍適用性。
因此，信用評級還不能算是一門科學(xué)，至少目前還不是。上述種種信用風(fēng)險度量模型只是信用評級的手段，這是因為：從理論上看，①信用風(fēng)險是一個本身無法很好定義的問題；②統(tǒng)計模型并沒有完全揭示相關(guān)變量與信用質(zhì)量下降之間的因果關(guān)系；③數(shù)學(xué)模型為了處理上的方便所作的假設(shè)可能不正確；④模型并沒有得到有效的驗證。從實務(wù)上看，沒有人僅依據(jù)模型的結(jié)果來發(fā)放貸款或進(jìn)行投資。
從國內(nèi)研究現(xiàn)狀來看，對于信用風(fēng)險度量的研究尚處于起步階段，大多還主要停留在定性分析上，仍然是以對經(jīng)濟(jì)體報表中反映出的各種財務(wù)比率分析為主。從國內(nèi)已出版的或已經(jīng)發(fā)表的有關(guān)信用風(fēng)險度量的著作和論文來看，涉及的定量分析還較少，迄今為止還沒有見到度量信用風(fēng)險的最新的兩種方法——期權(quán)推理分析法和VaR方法的有效應(yīng)用。
2、國內(nèi)外技術(shù)發(fā)展趨勢
（1）云數(shù)據(jù)挖掘技術(shù)
分布式計算是解決海量數(shù)據(jù)挖掘任務(wù)，提高海量數(shù)據(jù)挖掘的有效手段之一，在理論和實踐上已經(jīng)獲得證實。分布式計算包含了分布式存儲和并行計算兩個層面的內(nèi)容，而云計算平臺提供了分布式文件存儲和并行的計算能力，因此很好地解決了這兩個層面的內(nèi)容。下面主要分析幾個主流的分布式文件系統(tǒng)和分布式并行計算框架，以更好地構(gòu)建云計算數(shù)據(jù)挖掘平臺的核心支撐能力。
分布式文件系統(tǒng)有效地解決了海量數(shù)據(jù)存儲問題，并實現(xiàn)了位置透明、移動透明、性能透明、擴(kuò)展透明、高容錯、高安全、高性能等關(guān)鍵功能。目前業(yè)界比較流行分布式文件系統(tǒng)有Google 文件系統(tǒng)(GFS)、分布式文件系統(tǒng)(HDFS)、文件系統(tǒng)(KFS)，這3 種分布式文件系統(tǒng)都是基于Google 提出的分布式文件系統(tǒng)理論進(jìn)行研發(fā)的。Google提出的GFS 就是解決其海量數(shù)據(jù)存儲和搜索、分析等問題，而和KFS 是基于GFS 理論基礎(chǔ)上實現(xiàn)的開源系統(tǒng)，并且在商業(yè)和學(xué)術(shù)領(lǐng)域得到了廣泛的應(yīng)用。
分布式并行計算框架對于高效完成數(shù)據(jù)挖掘計算任務(wù)極其重要，并且它對分布式計算的一些技術(shù)細(xì)節(jié)進(jìn)行了封裝，例如數(shù)據(jù)分布、任務(wù)并行、任務(wù)調(diào)度、負(fù)載平衡、任務(wù)容錯、系統(tǒng)容錯等，使用戶不需要考慮這些細(xì)節(jié)，而只要考慮任務(wù)間的邏輯關(guān)系。這樣不僅可以提高研發(fā)的效率，還可以降低系統(tǒng)維護(hù)的成本。目前典型的分布式計算框架有：
MapReduce是提出的一個并行計算框架，它可以在大量PC 機(jī)上并行執(zhí)行海量數(shù)據(jù)的收集和分析任務(wù)。它把如何進(jìn)行任務(wù)并行執(zhí)行、如何進(jìn)行數(shù)據(jù)分布、如何容錯、網(wǎng)絡(luò)帶寬時延等問題的解決方案編碼，并封裝在了一個庫里面，使用戶只需要執(zhí)行數(shù)據(jù)運算即可，而不必關(guān)心并行計算、容錯、數(shù)據(jù)分布、負(fù)載均衡等復(fù)雜的細(xì)節(jié)。同時它又對上層應(yīng)用提供良好簡單的抽象接口MapReduce 主要應(yīng)用在搜索、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘領(lǐng)域。
Pregel 是Google 提出的迭代處理計算框架，它具有高效、可擴(kuò)展和容錯的特性，并隱藏了分布式相關(guān)的細(xì)節(jié)，展現(xiàn)給人們的僅僅是一個表現(xiàn)力很強(qiáng)、很容易編程的大型圖算法處理的計算框架。Pregel 的主要應(yīng)用場景是大型的圖計算，例如交通線路、疾病爆發(fā)路徑、WEB 搜索等相關(guān)領(lǐng)域。
Dryad 是微軟硅谷研究院創(chuàng)建的研究項目，主要用來提供一個基于windows 操作系統(tǒng)的分布式計算平臺，總體用來支持有向無環(huán)圖類型數(shù)據(jù)流的并行程序。微軟于年宣布，停止對Dryad 進(jìn)行版本升級，轉(zhuǎn)投Hadoop 即MapReduce 計算框架。
云數(shù)據(jù)挖掘技術(shù)不僅僅是使用云技術(shù)，還使用了自主研發(fā)的云端機(jī)器人技術(shù)，隨著硬件的升級換代，通訊芯片、加密芯片和存儲芯片將進(jìn)行相應(yīng)的升級，軟件也會逐步進(jìn)行更新，提高云端機(jī)器人的性能和穩(wěn)定性。
（2）云風(fēng)險計算技術(shù)
云計算分為以下幾種類型：
? 云計算基礎(chǔ)架構(gòu)
這類云計算提供底層的技術(shù)平臺以及核心的云服務(wù)，是最為全面的云計算服務(wù)。Amazon、Google等推出的云計算服務(wù)可以歸于這類。這種云計算服務(wù)形態(tài)將支撐起整個互聯(lián)網(wǎng)的虛擬中心，使其能夠?qū)?nèi)存、1.0設(shè)備、存儲和計算能力集中起來成為一個虛擬的資源池為整個網(wǎng)絡(luò)提供服務(wù)。
? 云計算平臺服務(wù)
這種形式的云計算也被稱為平臺即服務(wù)PaaS(P1atfbrm as a Service)，它將開發(fā)環(huán)境作為服務(wù)來提供。這種形式的云計算可以使用供應(yīng)商的基礎(chǔ)架構(gòu)來開發(fā)自己的程序，然后通過網(wǎng)絡(luò)從供應(yīng)商的服務(wù)器上傳遞給用戶。典型的實例比如Salesforce.com 的Force tom開發(fā)平臺。
? 云計算軟件服務(wù)
這種類型的云計算稱之為軟件即服務(wù)SaaS，它通過瀏覽器把程序傳給用戶。從用戶的角度，這樣會省去在服務(wù)器和軟件上的開支；從供應(yīng)商的角度看，這樣只需要維持一個程序就夠了，減少了維護(hù)成本。Salesforce.com是迄今為止這類服務(wù)最為有名的公司。SaaS在CRM、ERP中比較常用，Google Apps和Zoho Office也提供類似的服務(wù)。
? 云計算API
這類服務(wù)供應(yīng)商提供API (Application Programming Interface)讓開發(fā)者能夠開發(fā)更多基于互聯(lián)網(wǎng)的應(yīng)用，幫助開發(fā)商拓展功能和服務(wù)，而不是只提供成熟的應(yīng)用軟件他們的服務(wù)范圍從提供分散的商業(yè)服務(wù)到Google Maps等的全套API服務(wù)。這與軟件即服務(wù)有著密切的關(guān)系。
? 云計算互動平臺
該類云計算為用戶和提供商之問的互動提供了一個平臺。例如，RightScale利用Amazon EC2網(wǎng)絡(luò)計算服務(wù)和s3網(wǎng)絡(luò)存儲服務(wù)的API提供一個操作面板和AWS (Amazon s WebServices)前端托管服務(wù)。
云風(fēng)險計算技術(shù)不屬于以上任意一種云計算，它是一種處理特定業(yè)務(wù)功能的基于云的計算技術(shù)，利用云計算的優(yōu)勢進(jìn)行風(fēng)險數(shù)據(jù)計算。
（3）信用評價技術(shù)
從傳統(tǒng)的信用風(fēng)險評估技術(shù)（專家制度模型，傳統(tǒng)的信用評級）到基于統(tǒng)計的數(shù)學(xué)模型（信用評分（Z和ZETA 評分模型）人工智能技術(shù)）再到信用風(fēng)險的高級模型（J.P.摩根的Credit Metrics Model，KMV公司的Credit Monitor Model，瑞士信貸的Credit Risk System ，麥肯錫的 Credit Portfolio View System ）復(fù)雜程度逐漸提高。
從過去的定性分析轉(zhuǎn)化為定量分析；
從指標(biāo)化形式向模型化形式的轉(zhuǎn)化，或二者的結(jié)合；
從對單個資產(chǎn)(或貸款)的分析轉(zhuǎn)化為從組合角度進(jìn)行的分析；
從盯住賬面價值的方法轉(zhuǎn)向盯住市場的方法；
對描述風(fēng)險的變量從離散形式向連續(xù)形式的轉(zhuǎn)化；
既考慮單個借款人、單個貸款人的微觀特征，也考慮整個宏觀經(jīng)濟(jì)環(huán)境的影響；
從單一的風(fēng)險度量模式向多樣化的、定制的風(fēng)險度量模式的轉(zhuǎn)化，比如在新巴塞爾協(xié)議中對每種風(fēng)險類型都給出了可供選擇的多種度量方法；
運用了現(xiàn)代金融理論的最新研究成果，比如期權(quán)定價理論，資本資產(chǎn)定價理論，資產(chǎn)組合理論等；
VAR技術(shù)是現(xiàn)代主流信貸資產(chǎn)風(fēng)險管理模型的一個主要組成部分；
汲取了相關(guān)領(lǐng)域的最新研究成果，比如經(jīng)濟(jì)計量學(xué)方法、保險精算方法、最優(yōu)化理論、仿真技術(shù)等等；
運用了現(xiàn)代計算機(jī)大容量處理信息和網(wǎng)絡(luò)化技術(shù)。
大數(shù)據(jù)信用是大數(shù)據(jù)理論與云技術(shù)在信用領(lǐng)域的一種創(chuàng)新性應(yīng)用，是一種融征信與評級業(yè)務(wù)一體的服務(wù)模式。從信息采集、數(shù)據(jù)運用、過程分析、作業(yè)規(guī)模與效率等多方面，它都與傳統(tǒng)征信或信用評級不同。主要不同如下：
1）數(shù)據(jù)來源的不同
傳統(tǒng)評級主要以被評級企業(yè)提供的數(shù)據(jù)為主；客觀信用評級是從政務(wù)平臺、產(chǎn)業(yè)鏈挖掘數(shù)據(jù)，數(shù)據(jù)更客觀真實。
2）使用的主要數(shù)據(jù)不同
傳統(tǒng)評級以財務(wù)數(shù)據(jù)為主；客觀信用評級以企業(yè)的社會、商務(wù)活動產(chǎn)生的自然數(shù)據(jù)為主，數(shù)據(jù)總量一般會達(dá)到數(shù)萬甚至數(shù)十萬個，數(shù)據(jù)范圍更廣，數(shù)量更大，變化性更強(qiáng)。
3）數(shù)據(jù)功能不同
傳統(tǒng)評級數(shù)據(jù)一般僅用于評級分析；客觀信用評級由于采用大數(shù)據(jù)分析原理，數(shù)據(jù)之間具有交互的驗證功能，能夠糾正數(shù)據(jù)偏差，識別財務(wù)數(shù)據(jù)等主觀填報的數(shù)據(jù)的真?zhèn)巍?br /> 4）評級方法不同
傳統(tǒng)評級以定性為主、定量為輔；客觀信用評級是基于大數(shù)據(jù)數(shù)學(xué)模型的，數(shù)量化評級，所有結(jié)果均由計算產(chǎn)生。
5）量化標(biāo)準(zhǔn)不同
傳統(tǒng)評級方法的量化指標(biāo)的標(biāo)準(zhǔn)通常是固定的，即使有變化也是根據(jù)數(shù)據(jù)分析師的經(jīng)驗進(jìn)行調(diào)整；客觀信用評級所有量化指標(biāo)標(biāo)準(zhǔn)都是隨著數(shù)據(jù)的變化而自我調(diào)整變化的。
6）預(yù)測方法不同
傳統(tǒng)評級的預(yù)測更多靠人的主觀判斷來預(yù)測，并且預(yù)測以群體為主；客觀信用評級是依靠大數(shù)據(jù)基礎(chǔ)進(jìn)行數(shù)據(jù)預(yù)測，即包括預(yù)測群體也包括預(yù)測個體。
7）操作風(fēng)險不同
傳統(tǒng)評級的數(shù)據(jù)采集、風(fēng)險分析、等級評定等都依靠人來進(jìn)行；客觀信用評級的主要數(shù)據(jù)采集依靠云端數(shù)據(jù)挖掘機(jī)器人，分析定級通過計算機(jī)實現(xiàn)，全過程沒有人為干擾，減少了道德風(fēng)險。
8）作業(yè)規(guī)模不同
傳統(tǒng)評級每個項目通常由1-3個分析師完成，同時開評項目的數(shù)量由分析師的數(shù)量決定；客觀信用評級同時作業(yè)規(guī)模由計算機(jī)軟硬件的配置所決定，在條件具備的情況下，只需少數(shù)人管理便可同時對上萬個，甚至數(shù)十萬個項目同時進(jìn)行評級。
9）作業(yè)效率不同
傳統(tǒng)評級完成每個項目通常需要一周左右的時間；客觀信用評級在數(shù)據(jù)到位的情況下，一個到數(shù)萬個項目的評級時間只有幾小時。
10）跟蹤評級的頻度不同
傳統(tǒng)評級的信用跟蹤通常按照半年、一年來進(jìn)行；客觀信用評級是實時跟蹤，24小時進(jìn)行風(fēng)險分析、預(yù)警、預(yù)測。
11）信貸項目性質(zhì)不同
傳統(tǒng)評級所評的信貸項目通常是需要有抵押、質(zhì)押或擔(dān)保、聯(lián)保的；客觀信用評級所評級的項目全部是無抵質(zhì)押、無擔(dān)保和聯(lián)保的純信用貸款。
 

（作者：趙成光）