Un agente peggiora senza modifiche al codice: modello sostituito, prompt riscritto, tool che cambia. Come costruire il harness che lo rileva, e i limiti.
Il giorno in cui un agente peggiora non succede niente. Nessuna eccezione, nessun alert, nessun deploy. I ticket salgono di poco la settimana dopo, e prima o poi qualcuno dice che l'assistente sembra meno bravo di prima. A quel punto il cambiamento che l'ha causato risale a tre settimane fa, è distribuito su sistemi che appartengono a tre team diversi, e nessuno sa dargli un nome. È il caso normale, non quello patologico. Quasi tutto ciò che si scrive sugli agenti riguarda come costruirli. Quasi niente riguarda la parte che decide se sopravvivono a un anno di produzione: sapere in un martedì qualunque, con prove alla mano, che l'agente di oggi è peggiore di quello del mese scorso. Questo è il pezzo di ingegneria su quel punto. Costruisco e gestisco questi sistemi come consulente indipendente, e segnalo i punti in cui do un giudizio professionale invece di citare uno standard…