Agentic testing. Wieloagentowa pętla doskonalenia testów

Agentic testing. Wieloagentowa pętla doskonalenia testów
Generowane przez LLM testy mają niewielką przydatność przy pierwszym uruchomieniu. Rozwiązaniem mogą być testy oparte na agentach, którym zlecamy nie tylko generację i uruchomienie testów, ale również ich poprawki.

Jednorazowe generowanie testów przez model językowy brzmi atrakcyjnie, dopóki nie spróbujemy uruchomić wygenerowanego pakietu na prawdziwym repozytorium. W badaniach przywołanych w artykule „The Rise of Agentic Testing” ponad 40% testów wygenerowanych przez LLM nie uruchamia się poprawnie przy pierwszym podejściu. Błędy importów, niezgodność z konfiguracją projektu, mylne założenia co do zależności są codziennością. Problem nie leży w samej jakości modelu, ale w braku sprzężenia zwrotnego. Model generuje, lecz nie widzi skutków swojej pracy. 

W agentic testing, zamiast pojedynczego modelu, mamy współpracujący zespół agentów, którzy generują, uruchamiają, analizują i poprawiają testy aż do osiągnięcia zdefiniowanego poziomu jakości. Jest to przesunięcie z jednorazowego sprawdzenia w stronę iteracyjnego procesu przypominającego pracę zespołu testerskiego. 

Załóż darmowe konto i uzyskaj dostęp do artykułu 30 dni po publikacji lub subskrybuj i czytaj od razu. Zarejestruj się