Building the ensembles of credit scoring models
-
DOIhttp://dx.doi.org/10.21511/nfmte.7.2018.02
-
Article InfoVolume 7 2018, Issue #1, pp. 21-43
- 591 Views
-
212 Downloads
This work is licensed under a
Creative Commons Attribution-NonCommercial 4.0 International License
The article is devoted to solving the actual problem of increasing the efficiency of assessing the credit risks of individual borrowers by finding the optimal combination of the results of calculations of specific scoring models. The principles of the formation of an ensemble of models are given and the existing approaches to the construction of ensemble structures are analyzed. In the process of experimental research has been applied one of the modifications of the boosting algorithm and implemented the author's algorithm for constructing an ensemble of models based on the specialization of experts. The radial-basis function neural networks were used as specific expert models. As a result of a comparative analysis of the efficiency of the used ensemble technologies it was confirmed that the algorithm for constructing an ensemble based on the specialization of experts proposed by the authors is the most adapted for the task of assessing credit risk.
- Keywords
-
JEL Classification (Paper profile tab)С45, D81, G21
-
References15
-
Tables11
-
Figures6
-
- Figure 1. Вигляд поверхні Pk при 0 ≤ p1, p2 ≤ 0.3; p3 = 0.3
- Figure 2. Вигляд поверхні Pk при 0 ≤ p1, p2 ≤ 0.5; p3 = 0.5
- Figure 3. Вигляд поверхні Pk при 0.5 ≤ p1, p2 ≤ 1; p3 = 0.7
- Figure 4. Вигляд залежності ймовірності точної класифікації комітетом моделей Pk від точної класифікації окремим експертом p
- Figure 5. Схема алгоритму бустінгу для навчальної вибірки з N значень
- Figure 6. Схематичне зображення процесу побудови ансамблю моделей на основі спеціалізації експертів
-
- Tables 1. Значення ймовірності коректної класифікації комітетом моделей для випадку фіксованої ймовірності коректної класифікації одного з експертів p3 = 0.3
- Tables 2. Значення ймовірності коректної класифікації комітетом моделей для випадку ймовірності коректної класифікації третього експерта p3 = 0.5
- Tables 3. Алгоритми формування ансамблів моделей та їх основні характеристики
- Tables 4. Межі зміни точності класифікації ансамблем та його окремими моделями залежно від умов навчання
- Tables 5. Розрахунки ефективності нейромереж при виборі параметрів базової моделі для навчальної вибірки 500 спостережень
- Tables 6. Параметри нейромереж та показники ефективності базових моделей першого експерта для трьох варіантів навчальної вибірки
- Tables 7. Зміни ефективності базових моделей для другого та третього експертів при трьох варіантах навчальної вибірки
- Tables 8. Порівняння ефективності першого, другого, третього експертів та комітету моделей при трьох варіантах навчальної та тестової вибірок
- Tables 9. Показники ефективності нейромереж різної архітектури для вибору окремих моделей-експертів при формуванні ансамблю
- Tables 10. Показники точності logit-регресій
- Tables 11. Показники точності класифікації ансамблями моделей, сформованими за різними алгоритмами
-
- Breiman, L. (2001). Random forests (33 p.). Berkeley: University of California.
- Flach, P. A. (2012). Machine learning: the art and science of algorithms that make sense of data (409 p.). UK: Cambridge University Press.
- Freund, Y., & Schapire, R. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences, 55(1), 119-139.
- Haykin, S. (1998). Neural networks - a comprehensive foundation (842 p.) (2nd ed.). New Jersey: Prentice Hall.
- Kuznetsov I. A., & Kirieiev, V. S. (2016). Разработка ансамбля алгоритмов классификации с использованием энтропийного показателя качества для решения задачи поведенческого скоринга [Razrabotka ansamblya algoritmov klassifikacii s ispolzovaniem entropijnogo pokazatelya kachestva dlya resheniya zadachi povedencheskogo skoringa]. In Proceedings of XVIII International conference «Analytics and data management in data-intensive areas» (pp. 11-42).
- Lavrenkov, Y. N. (2014). Исследование и разработка комбинированых нейросетевых технологий для повышения еффективности безопасной маршрутизации информации в сетях связи [Issledovanie i razrabotka kombinirovanyh nejrosetevyh tekhnologij dlya povysheniya effektivnosti bezopasnoj marshrutizacii informacii v setyah svyazi] (Ph.D. Thesis). Kaluga: MSTU named after N. E. Baumana.
- Matviichuk, A. V. (2011). Штучний інтелект в економіці: нейронні мережі, нечітка логіка [Shtuchnyi intelekt v ekonomitsi: neironni merezhi, nechitka lohika] (439 p.). Kyiv: KNEU.
- Miller, G. A. (1956). The magical number seven plus or minus two: some limits on our capacity for processing information. Psychological review, 63(2), 81-97.
- Paklin, N. B., & Oreshkov, V. I. (2013). Бизнес-аналитика: от данных к знаниям [Biznes-analitika: ot dannykh k znaniyam] (704 p.). Saint Petersburg: Piter.
- Savina, S. S., & Ben, V. P. (2015). Об’єднання моделей logit-регресій як комітету експертів для оцінки кредитоспроможності позичальника [Obiednannia modelei logit-rehresii yak komitetu ekspertiv dlia otsinky kredytospromozhnosti pozychalnyka]. Neuro-fuzzy modeling technigues in economics, 4, 154-188.
- Savina, S. S., & Ben, V. P. (2016). Вибір архітектури нейромережі для розв’язання задачі класифікації надійності позичальників-фізичних осіб [Vybir arkhitektury neiromerezhi dlia rozviazannia zadachi klasyfikatsii nadiinosti pozychalnykiv-fizychnykh osib]. Neuro-fuzzy modeling technigues in economics, 5, 123-151.
- Schapire, R. E. (1999). Theoretical views of boosting and applications. In Proceedings of 10th International conference «Algorithmic learning theory» (Tokyo, Japan).
- Schapirе, R. E. (1990). The strength of weak learnability. Machine learning, 5(2), 197-227.
- Terekhov, S. A. (2007). Гениальные комитеты умных машин [Genialniye komitety umnykh mashyn]. In IX All-Russian scientific and technical conference «Neuroinformatics-2007»: lectures on neuroinformatics (pp. 11-42).
- Tsarehorodtsev, V. G. (2004). Оптимизация экспертов boosting-коллектива по их кривым обучения [Optimizacija ekspertov boosting-kollektiva po ih krivym obuchenija]. In Proceedings of XIII All-Russian Seminar «Neuroinformatics and its applications» (pp. 152-157).