Hyppää sisältöön

Agenttipohjainen testiautomaation kehitys ja testidatan generointi LLM-arvioinnin avulla lainahakemusten tekoälylle

Lyhyesti

Toimiala: Rahoitus

Tuote: Tekoälypohjainen dokumenttiprosessori saapuvien lainaehdotusten esikarsintaan, sekä käyttöliittymä lainahakemusten käsittelijöille.

Toteutus: Regressiotestien automaatio, jossa tekoälyä hyödynnetään spesifikaatioiden ja koodikannan analysointiin, tekoälyavusteinen anonymisoidun testidatan generointi, LLM-arviointi tekoälyagentin tuotoksille, sekä tekoälyagentit, jotka analysoivat käyttöliittymän spesifikaatioita ja koodikantaa kattavien testiskenaarioiden ja -tapausten luomiseksi.

Avainsanat: Playwright, LLM-arviointi, Testiautomaatio, GitHub Copilot, Playwright Agents

Käytännön toteutus

VALAn ensisijaisena tavoitteena oli luoda testiautomaation perusta tulevaa regressiotestausta varten, keskittyen sekä tekoälyagenttiin että käyttöliittymäkomponentteihin.

Tekoälykohtainen testaus sisälsi tekoälyagentin, joka analysoi määrittelyjä ja koodia testisuunnitelman luomiseksi. Asiantuntija katselmoi tämän suunnitelman, ja PyTest-automaatioskriptit kehitettiin käyttämällä suunnitelmaa lähdedokumenttina. Tekoälyä käytettiin myös testidatan luomiseen analysoimalla olemassa olevia tietojoukkoja ja satunnaistamalla tai anonymisoimalla niitä testaustarkoituksiin.

Käyttöliittymän osalta Playwright-suunnitteluagentti analysoi määrittelyt ja koodin testisuunnitelman luomiseksi. Asiantuntijan katselmoinnin jälkeen TypeScript-automaatioskriptit luotiin käyttämällä Playwright-generaattoriagenttia. Tämä oli iteratiivinen prosessi, sillä muutokset olivat yleisiä koko projektin ajan. Playwright-korjaaja-agenttia (healer agent) käytettiin asiantuntijan valvonnassa myös rikkinäisten testien automaattiseen tunnistamiseen ja korjaamiseen.

Lopuksi tuotettiin dokumentaatiota, mukaan lukien johdon tiivistelmiä (executive summaries), käyttämällä tekoälyagenttia analysoimaan syntynyttä koodia ja testejä. Suomenkieliset käännökset laadittiin tekoälyagentilla, joka oli optimoitu suomen kielen oikean muodon ja kieliopin mukaisesti.

VALAn vastuulla oli myös kehittää kattava testaus asiakkaan henkilöstön suoritettavaksi. Myyjille ja pääkäyttäjille valmisteltiin hyväksymistestit, joiden suorittamista ohjeistettiin ja valvottiin. Prosessi päättyi yhteenvetoraporttiin, virheraportointiin ja niiden käsittelyyn. Projektin loppuretrospektiivissä tunnustettiin testausmenettelyjen tuoma merkittävä lisäarvo.

Tulokset

Tekoälypohjaisen lainahakemusjärjestelmän loppukäyttäjille koituva ajansäästö on arviolta 20 minuuttia: täysin manuaalinen prosessi kesti noin 30 minuuttia, kun taas tekoälyavusteinen prosessi vie noin 10 minuuttia, mikä tarkoittaa 3-kertaista suorituskyvyn parannusta.

Tekoäly- ja käyttöliittymätestit suunniteltiin, toteutettiin ja ajettiin onnistuneesti kehitysympäristöä vastaan testiputkessa, ja sekä toteutus että testaus valmistuivat aikataulun mukaisesti.

33%

Suorituskyvyn parannus

97%

Testikattavuus tekoälytestauksessa

81%

Testikattavuus käyttöliittymätestauksessa

100%

Toiminnallisen testauksen kattavuus

62%

Ei-toiminnallisen testauksen kattavuus

Etsi