Wir haben ein überprüfbares System für maschinelles Lernen entwickelt, das die Compliance einer Bank unterstützen soll, um datengestützte Abläufe sowie präzisere und schnellere Geschäftsentscheidungen zu ermöglichen.
Sektor
Dienstleistung & Technologie
Die Herausforderung
Unser Kunde ist eine führende Bank mit Sitz in Ungarn, die beschlossen hat, ein Machine-Learning-System zur Unterstützung ihrer Kreditbewertungsentscheidungen zu entwickeln.
Im Finanzsektor ist Compliance von entscheidender Bedeutung – allerdings ist es komplex, sicherzustellen, dass das System überprüfbar und somit konform ist: Bei einem Entscheidungsunterstützungssystem für eine Bank reicht es nicht aus, zu wissen, welches Ergebnis ein Modell geliefert hat; man muss auch wissen, welche Daten, welche Modellversion, welche Parametrisierung und welche Laufzeitumgebung verwendet wurden, um zu diesem Ergebnis zu gelangen.
Ein überprüfbares ML-System muss daher nicht nur den Code, sondern den gesamten Modelllebenszyklus verwalten. Das Ziel ist es, sicherzustellen, dass eine frühere Entscheidung später zuverlässig zurückverfolgt werden kann.
Die Lösung
Um die Rückverfolgbarkeit zu gewährleisten, haben wir uns entschlossen, eine MLOps-Architektur aufzubauen, die Zugriffskontrolle, Protokollierungsregeln, Bereitstellungsprozesse, Fehlerbehandlung und Genehmigungsworkflows umfasst.
Als zentrale Komponente des Systems haben wir MLFlow eingesetzt. MLFlow ist eine MLOps-Plattform, die in der Lage ist, alle Durchläufe vollständig zu protokollieren:
- MLflow Tracking dient dazu, Parameter, Code-Versionen, Metriken und Ausgabedateien/Artefakte in Machine-Learning-Prozessen zu protokollieren und zu visualisieren;
- Model Registry bietet hierfür Modelllebenszyklusmanagement, Versionierung, Herkunftsnachweis und kontrollierte Bereitstellungsworkflows.
Technologie
MLFlow, Python
Die Ergebnisse
Dadurch kann in dieser Architektur jeder Modelllauf nachverfolgt werden. Sie können sehen, unter welchen Einstellungen er ausgeführt wurde, welche Metriken er erzeugt hat, welche Artefakte er generiert hat und welche Modellversion damit verknüpft ist. Dies unterstützt nicht nur die Arbeit der Entwickler, sondern verbessert auch die Nachvollziehbarkeit:
- die Modelle sind versioniert,
- Entscheidungen sind nachvollziehbar,
- der Zugriff wird kontrolliert.
Wir arbeiten weiter an dem System. Wir planen, es durch agentenbasierte KI zu ergänzen: agentenbasierte Systeme, die in der Lage sind, Prozesse zu überwachen, Anomalien zu melden, Dokumentation zu erstellen oder sogar Spezifikationen aus altem Quellcode abzuleiten.
