Egy belső projektünk során saját fejlesztésű EU AI Act és GDPR chatbotunk működését vizsgáltuk célzott manuális teszteléssel és közös szakmai workshoppal. A tesztelés célja annak ellenőrzése volt, hogy a rendszer következetesen betartja-e a számára meghatározott működési korlátokat.
Szektor
Szolgáltatás & technológia
A kihívás
Saját fejlesztésű AI-chatbotunk célja az, hogy az EU AI Act és a GDPR témakörében természetes nyelven feltett kérdésekre közérthető tájékoztatást nyújtson. A rendszernek kizárólag ezekben a szabályozási kérdésekben kell segítséget adnia, az illetékességi körén kívül eső kéréseket pedig vissza kell utasítania.
A generatív AI-rendszerek rugalmassága ugyanakkor lehetővé teszi, hogy a felhasználók rendkívül sokféle módon fogalmazzanak meg utasításokat. Egy meghatározott célra fejlesztett chatbot esetében ezért fontos ellenőrizni, hogy a rendszer nem vehető-e rá az eredeti rendeltetésétől eltérő feladatokra, például programkód generálására vagy általános kérdések megválaszolására.
A nem rendeltetésszerű használat a működés kiszámíthatóságát és a szolgáltatás üzemeltetési költségeit is érintheti. A tesztelés fő kihívását az jelentette, hogy a chatbot működési korlátainak betartását változatos, akár félrevezető felhasználói kérések esetén is ellenőrizzük.
A megoldás
A chatbot működési korlátait tudatosan felépített manuális teszteléssel vizsgáltuk. A tesztelők különböző megfogalmazású és összetettségű kérésekkel próbálták elérni, hogy a rendszer a meghatározott feladatkörén kívüli tevékenységet végezzen.
A tesztelési megközelítés kialakítása külön figyelmet igényelt, mivel a generatív AI-rendszerek válaszai nem minden esetben előre meghatározhatók, és ugyanaz a felhasználói szándék számtalan módon kifejezhető. Az ellenőrzés alapját ezért az elvárt rendszerviselkedés jelentette: a chatbotnak a témán kívüli kéréseket következetesen vissza kellett utasítania.
Az egyéni tesztelést követően belső szakmai workshopot szerveztünk, amelyen több kolléga különböző megközelítésekkel próbálta kijátszani a chatbot korlátait. A közös munka lehetőséget adott a tesztelési szempontok bővítésére és a generatív AI-rendszerek vizsgálatával kapcsolatos szakmai tapasztalatok megosztására.
Technológia
ChatGPT (GPT4.1-mini), Angular, Python
Az eredmény
A manuális tesztelés és a közös szakmai workshop tapasztalatai alapján:
- a workshop során alkalmazott tesztelési helyzetekben nem sikerült eltéríteni a chatbotot a meghatározott feladatkörétől;
- a működési korlátok és az elvárt válaszok egyértelmű meghatározása konkrét ellenőrzési szempontokat biztosított;
- a változatos felhasználói kérések vizsgálata segítette a nem rendeltetésszerű használatból eredő kockázatok feltérképezését;
- a több tesztelő bevonásával végzett közös munka hozzájárult az AI-tesztelési módszertan és a csapat szakmai felkészültségének fejlesztéséhez.
A projekt tapasztalatai megerősítették, hogy a generatív AI-rendszerek minőségbiztosításának a megfelelő válaszadás mellett a működési korlátok következetes ellenőrzésére is ki kell terjednie.
