
Valutazione strumenti
Parte di Affidabilità degli strumenti IA
Provare documenti più lunghi senza cambiare il compito
Come preparare documenti più lunghi con la stessa domanda e verificare acquisizione, posizione del dato e correttezza della risposta.
Per capire se uno strumento mantiene lo stesso compito con documenti più lunghi, tenete fermi domanda, dato decisivo e criteri di approvazione. Cambiate una variabile per volta: prima la lunghezza, poi, in una prova separata, la posizione del dato.
Costruire una serie confrontabile
Partite da un documento breve con un'informazione verificabile e una domanda precisa. Create versioni più lunghe aggiungendo sezioni dello stesso genere, senza modificare l'informazione richiesta né introdurre regole che la contraddicano. Conservate formato, istruzione e struttura quanto più possibile. Annotate lunghezza, numero di pagine e posizione del passaggio da trovare.
Esempio ipotetico: una procedura fittizia stabilisce che una richiesta incompleta resti in sospeso. Aggiungete altre sezioni nelle versioni successive, ma lasciate invariata quella regola. Chiedete sempre quale stato assegnare alla richiesta incompleta. Le sezioni aggiunte devono restare realistiche, ma una nuova eccezione cambierebbe la risposta attesa e quindi il compito.
Per misurare la posizione, preparate versioni di lunghezza comparabile con la regola all'inizio, nel mezzo e alla fine. Riportate questi esiti separatamente da quelli della serie sulla lunghezza.
Controllare il percorso del file
Un caricamento riuscito non dimostra che ogni pagina sia stata usata nella risposta. Controllate formato, limiti e modalità di aggiunta del file nell'account scelto.
Annotate se l'informazione decisiva è testo digitale, tabella, immagine o scansione. Se convertite il formato per renderla accessibile, registrate la conversione come una condizione diversa della prova.
Verificare la risposta
Confrontate ogni risposta con il passaggio originale. Cercate condizioni omesse, informazioni confuse con sezioni simili e conclusioni senza sostegno. Un riferimento indicato dal sistema può aiutare a trovare il punto, ma va controllato nel file.
| Esito | Che cosa conclude |
|---|---|
| File rifiutato | Il percorso scelto non accetta quell'input nelle condizioni provate. |
| File accettato, risposta errata | Il compito non è riuscito; la causa richiede un controllo ulteriore. |
| Risposta corretta dopo chiarimento | La prima richiesta non ha prodotto la consegna prevista. |
| Risposta corretta subito | Quel caso è riuscito; non dimostra l'esito delle altre versioni. |
Ripetete le versioni decisive se una singola esecuzione peserebbe troppo sulla conclusione. Riportate insieme lunghezza, posizione, formato e risultati.
Definite la classe di documenti per cui il percorso è utilizzabile e quella che richiede revisione o un metodo diverso. Suddividere un file può aiutare, ma cambia il flusso: occorre conservare i riferimenti fra parti e controllare le conclusioni che dipendono da più sezioni.



