Wir haben die Einsatzgrenzen unseres selbst entwickelten KI-Chatbots zu den Themen EU AI Act und DSGVO durch gezielte manuelle Tests und einen gemeinsamen Fachworkshop überprüft. Ziel der Tests war es, festzustellen, ob das System die für seinen Einsatz festgelegten Grenzen konsequent einhält.
Sektor
Dientleistung & Technologie
Die Herausforderung
Unser selbst entwickelter KI-Chatbot soll verständliche Informationen zu natürlichsprachlichen Fragen rund um den EU AI Act und die DSGVO bereitstellen. Das System ist ausschließlich für die Beantwortung von Fragen zu diesen regulatorischen Themen vorgesehen und muss Anfragen außerhalb seines definierten Aufgabenbereichs ablehnen.
Die Flexibilität generativer KI-Systeme ermöglicht es Nutzern jedoch, Anweisungen auf unterschiedlichste Weise zu formulieren. Bei einem Chatbot, der für einen klar abgegrenzten Zweck entwickelt wurde, ist es daher wichtig zu überprüfen, ob sich das System zu Aufgaben außerhalb seines vorgesehenen Einsatzbereichs verleiten lässt, beispielsweise zur Generierung von Programmcode oder zur Beantwortung allgemeiner Fragen.
Eine zweckfremde Nutzung kann sowohl die Vorhersehbarkeit des Systemverhaltens als auch die Betriebskosten des Dienstes beeinflussen. Die zentrale Herausforderung beim Testen bestand darin, zu überprüfen, ob der Chatbot seine Einsatzgrenzen auch bei vielfältigen und potenziell irreführenden Nutzeranfragen konsequent einhält.
Die Lösung
Wir überprüften die Einsatzgrenzen des Chatbots mithilfe eines systematisch aufgebauten manuellen Testverfahrens. Die Tester versuchten mit unterschiedlich formulierten und verschieden komplexen Anfragen, das System zur Ausführung von Aufgaben außerhalb seines definierten Einsatzbereichs zu bewegen.
Die Entwicklung des Testansatzes erforderte besondere Aufmerksamkeit, da die Antworten generativer KI-Systeme nicht immer vorhersehbar sind und sich dieselbe Nutzerabsicht auf zahlreiche Arten ausdrücken lässt. Grundlage der Überprüfung war daher das erwartete Systemverhalten: Der Chatbot musste Anfragen außerhalb seiner vorgesehenen Themenbereiche konsequent ablehnen.
Im Anschluss an die individuellen Tests organisierten wir einen internen Workshop, bei dem mehrere Kollegen mit unterschiedlichen Ansätzen versuchten, die Beschränkungen des Chatbots zu umgehen. Die gemeinsame Arbeit bot die Möglichkeit, die Testszenarien zu erweitern und fachliche Erfahrungen bei der Prüfung generativer KI-Systeme auszutauschen.
Technologie
ChatGPT (GPT4.1-mini), Angular, Python
Die Ergebnisse
Aus den manuellen Tests und dem gemeinsamen Fachworkshop ergaben sich folgende Erkenntnisse:
- In den während des Workshops untersuchten Testszenarien gelang es nicht, den Chatbot von seinem definierten Aufgabenbereich abzubringen.
- Die klare Definition der Einsatzgrenzen und der erwarteten Antworten lieferte konkrete Kriterien zur Überprüfung des Systemverhaltens.
- Die Untersuchung vielfältiger Nutzeranfragen unterstützte die Identifizierung von Risiken, die mit einer zweckfremden Nutzung verbunden sind.
- Die Zusammenarbeit mehrerer Tester trug zur Weiterentwicklung der KI-Testmethodik und zur Stärkung der fachlichen Kompetenz des Teams bei.
Die Projekterfahrungen bestätigten, dass sich die Qualitätssicherung generativer KI-Systeme nicht allein auf die Überprüfung korrekter Antworten beschränken darf, sondern auch die konsequente Überprüfung der festgelegten Einsatzgrenzen umfassen muss.
