James Bach opublikował niedawno tekst, w którym porządkuje swoje przemyślenia na temat testowania systemów opartych na dużych modelach językowych (LLM). W przeciwieństwie do dominującego w branży entuzjazmu, Bach proponuje podejście ostrożnie, krytyczne i wymagające, ale przede wszystkim merytoryczne.
GenAI to nie aplikacja
Zasadniczy punkt wyjścia Bacha jest prosty: nie da się testować GenAI tak, jak testuje się klasyczne aplikacje. Nie mamy tu do czynienia z zamkniętym zakresem funkcjonalności, ale z probabilistycznym systemem o zmiennym zachowaniu. Działanie LLM-ów jest częściowo nieprzewidywalne, zależne od parametrów generacji i trudne do powtórzenia. Nie istnieje „jedno prawidłowe zachowanie”, a każda interakcja z modelem jest potencjalnie nowym przypadkiem testowym.
Pełna treść artykułu tylko dla subskrybentów. Kup plan
