Agenttipohjainen testiautomaation kehitys ja testidatan generointi LLM-arvioinnin avulla lainahakemusten tekoälylle
Lyhyesti
Toimiala: Rahoitus
Tuote: Tekoälypohjainen dokumenttiprosessori saapuvien lainaehdotusten esikarsintaan, sekä käyttöliittymä lainahakemusten käsittelijöille.
Toteutus: Regressiotestien automaatio, jossa tekoälyä hyödynnetään spesifikaatioiden ja koodikannan analysointiin, tekoälyavusteinen anonymisoidun testidatan generointi, LLM-arviointi tekoälyagentin tuotoksille, sekä tekoälyagentit, jotka analysoivat käyttöliittymän spesifikaatioita ja koodikantaa kattavien testiskenaarioiden ja -tapausten luomiseksi.
Avainsanat: Playwright, LLM-arviointi, Testiautomaatio, GitHub Copilot, Playwright Agents

Käytännön toteutus
VALAn ensisijaisena tavoitteena oli luoda testiautomaation perusta tulevaa regressiotestausta varten, keskittyen sekä tekoälyagenttiin että käyttöliittymäkomponentteihin.
Tekoälykohtainen testaus sisälsi tekoälyagentin, joka analysoi määrittelyjä ja koodia testisuunnitelman luomiseksi. Asiantuntija katselmoi tämän suunnitelman, ja PyTest-automaatioskriptit kehitettiin käyttämällä suunnitelmaa lähdedokumenttina. Tekoälyä käytettiin myös testidatan luomiseen analysoimalla olemassa olevia tietojoukkoja ja satunnaistamalla tai anonymisoimalla niitä testaustarkoituksiin.
Käyttöliittymän osalta Playwright-suunnitteluagentti analysoi määrittelyt ja koodin testisuunnitelman luomiseksi. Asiantuntijan katselmoinnin jälkeen TypeScript-automaatioskriptit luotiin käyttämällä Playwright-generaattoriagenttia. Tämä oli iteratiivinen prosessi, sillä muutokset olivat yleisiä koko projektin ajan. Playwright-korjaaja-agenttia (healer agent) käytettiin asiantuntijan valvonnassa myös rikkinäisten testien automaattiseen tunnistamiseen ja korjaamiseen.
Lopuksi tuotettiin dokumentaatiota, mukaan lukien johdon tiivistelmiä (executive summaries), käyttämällä tekoälyagenttia analysoimaan syntynyttä koodia ja testejä. Suomenkieliset käännökset laadittiin tekoälyagentilla, joka oli optimoitu suomen kielen oikean muodon ja kieliopin mukaisesti.
VALAn vastuulla oli myös kehittää kattava testaus asiakkaan henkilöstön suoritettavaksi. Myyjille ja pääkäyttäjille valmisteltiin hyväksymistestit, joiden suorittamista ohjeistettiin ja valvottiin. Prosessi päättyi yhteenvetoraporttiin, virheraportointiin ja niiden käsittelyyn. Projektin loppuretrospektiivissä tunnustettiin testausmenettelyjen tuoma merkittävä lisäarvo.
Tulokset
Tekoälypohjaisen lainahakemusjärjestelmän loppukäyttäjille koituva ajansäästö on arviolta 20 minuuttia: täysin manuaalinen prosessi kesti noin 30 minuuttia, kun taas tekoälyavusteinen prosessi vie noin 10 minuuttia, mikä tarkoittaa 3-kertaista suorituskyvyn parannusta.
Tekoäly- ja käyttöliittymätestit suunniteltiin, toteutettiin ja ajettiin onnistuneesti kehitysympäristöä vastaan testiputkessa, ja sekä toteutus että testaus valmistuivat aikataulun mukaisesti.
10 minuuttia säästöä lainahakemusta kohden → 400 tuntia lisää myynnin käyttöön vuodessa.
33%
Suorituskyvyn parannus
97%
Testikattavuus tekoälytestauksessa
81%
Testikattavuus käyttöliittymätestauksessa
100%
Toiminnallisen testauksen kattavuus
62%
Ei-toiminnallisen testauksen kattavuus



