Auditálható, a megfelelést támogató gépi tanulási rendszert fejlesztettünk egy banknál, az adatvezérelt működés és pontosabb, gyorsabb üzleti döntések érdekében.
Szektor
Szolgáltatás & technológia
A kihívás
Ügyfelünk, egy vezető, magyarországi székhelyű bank, úgy döntött, hogy gépi tanulási rendszert épít ki hitelminősítési döntéseinek támogatására.
A pénzügyi szektorban a szabályoknak való megfelelés kulcsfontosságú – azonban annak biztosítása, hogy a rendszer ellenőrizhető, és így a szabályoknak megfelelő legyen, összetett feladat: Egy bank döntéstámogató rendszerének esetében nem elég tudni, hogy a modell milyen eredményt hozott; azt is tudni kell, hogy milyen adatok, modellverzió, paraméterezés és futási környezet alapján jutottak el ehhez az eredményhez.
Egy ellenőrizhető gépi tanulási rendszernek ezért nemcsak a kódot, hanem a modell teljes életciklusát is kezelnie kell. A cél annak biztosítása, hogy egy korábbi döntés később megbízhatóan visszakereshető legyen.
A megoldás
A visszakövethetőség biztosítása érdekében úgy döntöttünk, hogy olyan MLOps-architektúrát építünk ki ügyfelünk számára, amely magában foglalja a hozzáférés-vezérlést, a naplózási szabályokat, a telepítési folyamatokat, a hibakezelési és jóváhagyási munkafolyamatokat.
A rendszer központi elemeként az MLFlow-t használtuk. Az MLFlow egy olyan MLOps-platform, amely képes az összes futtatás teljes naplózására:
- Az MLflow Tracking-et a gépi tanulási folyamatok paramétereinek, kódverzióinak, mutatóinak és kimeneti fájljainak/termékeinek naplózására és vizualizálására használjuk;
- A Model Registry e célra biztosítja a modell életciklus-kezelést, verziókezelést, származási nyomon követést és ellenőrzött telepítési munkafolyamatokat.
Technológia
MLFlow, Python
Az eredmény
Ennek eredményeként ebben az architektúrában minden modellfutás nyomon követhető. Látható, hogy milyen beállítások mellett futott, milyen mutatókat eredményezett, milyen kimeneti elemeket generált, és melyik modellverzióhoz kapcsolódik. Ez nemcsak a fejlesztők munkáját segíti, hanem javítja a nyomonkövethetőséget is:
- a modellek verziószámmal rendelkeznek,
- a döntések nyomon követhetők,
- a hozzáférés szabályozott.
A rendszer fejlesztése folytatódik, a tervek szerint kiegészítjük majd ügynökalapú mesterséges intelligenciával is: olyan ügynökalapú rendszerekkel, amelyek képesek folyamatok figyelemmel kísérésére, rendellenességek jelzésére, dokumentáció generálására, vagy akár specifikációk levezetésére a régi forráskódból.
