AI-támogatott szoftvertesztelés: bevetjük az AI-ügynököket!
A szoftvertesztelés mindig is monoton feladatokkal járt. Teszteseteket írni, átnézni, automatizálni… Ráadásul, a projektek egyre bonyolultabbak lesznek, egyre több kód születik, egyre rövidebb idő áll rendelkezésre ahhoz, hogy a teszteseteink elkészüljenek és lefussanak. Az időszűke gyakran a tesztesetek minőségének rovására megy, így azok nem lesznek könnyen automatizálhatóak.
AI-támogatott szoftvertesztelés – működik?
Nem csoda, hogy amikor megjelent az AI, sokan kíváncsiak lettünk: vajon tud-e segíteni a tesztelők mindennapi munkájában. (Spoiler: tud.)
Kezdetben a generatív AI-t használtuk. Jó volt ötletekhez és teszteset-vázlatokhoz, de hamar kiderültek a korlátai:
- nem működik önállóan,
- reaktívan (és nem proaktívan) dolgozik,
- csak részfeladatokra fókuszál,
- hiányzik belőle a módszeresség,
- ráadásul nem integrálható nagyvállalati rendszerekbe sem.
Kénytelenek voltunk továbblépni: elkészítettük az első, AI-ügynökökből álló tesztelő csapatunkat.
Kik ezek az AI-ügynökök és mit tudnak?
AI-tesztelőcsapatunk a következő tagokból áll:
- Tesztdesigner – általános teszteseteket ír
- Teszteset-író – ő írja meg a konkrét teszteseteket
- Teszteset-reviewer – neki a tesztesetek ellenőrzése a feladata
AI-ügynökeink már nem csak kérdés-válasz alapon dolgoznak. Eseményekre reagálnak, beilleszkednek a munkafolyamatokba, és önállóan oldanak meg feladatokat. Célorientáltan képesek dolgozni.
Integráltan használják a megszokott eszközöket – az Excelt, a Jirát, a Confluence-t, a Figmát, a Seleniumot, a Playwrightot stb.
Az agentek nem csak önmagukban, hanem egy workflow-n keresztül is képesek együttműködni. A folyamat főbb lépései a következők:
A folyamatot egy JavaScript-alapú agent orchestratorral koordináljuk. A munkafolyamat során
- az agentek beolvassák az adatokat egy összetett leírásból,
- strukturálják azokat,
- megírják a teszteseteket szabványos formátumban – amelyek így alkalmassá válnak arra, hogy automatizáltan le is futtassák őket.
Mik az eredmények és mit tanultunk?
A specifikáció alapján egységes, standardizált formátumú, automatizáláshoz kellő részletességű, a követelményeket teljesen lefedő tesztesetek születtek.
Olyan tesztesetek is elkészültek a folyamat során, amelyeket manuális tesztelésben könnyen kihagynánk – ilyenek például az API-hívások és a tokenkezelés.
Azt láttuk, hogy bár az AI rengeteg munkát átvállal, a szakértői felügyelet továbbra is elengedhetetlen. Emellett a (humán) tesztelők szerepe is átalakul: a tesztesetek írásáról a hangsúly a promptolásra és a folyamat felügyeletére kerül át.
És ami talán a legfontosabb: csak a tesztesetek előállítása során 20-30%-os időmegtakarítást tapasztaltunk. Bár minden cég, minden fejlesztési projekt és minden tesztelési folyamat más és más, az AI-támogatott tesztelés bevezetése a teljes folyamatra vetítve akár még nagyobb időmegtakarítást is hozhat. Ez komoly költségmegtakarítással is járhat.
Mit hoz a jövő?
Nem egy „dobozos” termék építése a célunk. Olyan kompetenciát és módszertant fejlesztünk, amellyel rugalmas, az adott környezet igényeihez igazodó megoldást tudunk kínálni, amely így bármilyen nagyvállalati folyamathoz alkalmazkodni tud.
Ez a mi utunk – és ez teszi igazán értékessé az AI-t a szoftvertesztelésben.
Az Önök cégénél is előfordul, hogy alig tudnak határidőre megbirkózni a tesztelési feladatokkal? Érdemes lenne beszélgetnünk erről egy kávé mellett.
