La domanda viene prima del modello
Manuali, procedure e relazioni possono essere distribuiti fra cartelle, portali e archivi con versioni diverse. Prima di introdurre un assistente AI è utile capire quali domande le persone fanno davvero e perché oggi è difficile trovare una risposta. Potrebbero mancare un indice, nomi coerenti, documenti aggiornati o un accesso semplice alla fonte.
Un assistente ha senso quando il lavoro beneficia di domande in linguaggio naturale e di una sintesi di informazioni presenti nei documenti. Una ricerca tradizionale può essere sufficiente quando l’utente cerca un codice, un file preciso o una procedura breve già ben organizzata.
Con fonte o senza informazione: due risposte diverse
Il seguente esempio usa una procedura inventata per mostrare il comportamento atteso. Non è una procedura operativa né il risultato di un progetto cliente.
Caso | Risposta dimostrativa | Cosa verificare |
|---|---|---|
Domanda: quando registrare la richiesta? | La procedura di esempio richiede la registrazione prima dell’assegnazione. Fonte: Procedura dimostrativa, § 2. | La fonte contiene davvero questa indicazione ed è accessibile all’utente? |
Domanda: qual è il tempo massimo di intervento? | Nei documenti disponibili non trovo un tempo massimo. Occorre una fonte aggiornata o un confronto con il responsabile. | Il sistema riconosce l’assenza dell’informazione senza inventare un termine? |
Domanda: quando registrare la richiesta?
- Risposta dimostrativa
La procedura di esempio richiede la registrazione prima dell’assegnazione. Fonte: Procedura dimostrativa, § 2.
- Cosa verificare
La fonte contiene davvero questa indicazione ed è accessibile all’utente?
Domanda: qual è il tempo massimo di intervento?
- Risposta dimostrativa
Nei documenti disponibili non trovo un tempo massimo. Occorre una fonte aggiornata o un confronto con il responsabile.
- Cosa verificare
Il sistema riconosce l’assenza dell’informazione senza inventare un termine?
La citazione da sola non basta: deve sostenere la risposta. Le prove devono includere anche documenti contraddittori, versioni superate e fonti che l’utente non può consultare.
Come si collega una risposta alle fonti
In un possibile sistema di ricerca con generazione, la domanda viene usata per recuperare passaggi pertinenti da un archivio. Il modello riceve questi passaggi e prepara una risposta. Il lettore deve poter aprire i riferimenti, riconoscere la versione del documento e verificare che il testo citato sostenga effettivamente l’affermazione.
Il recupero di documenti non elimina gli errori del modello. Una risposta può interpretare male un passaggio, usare una fonte superata o unire informazioni incompatibili. Il profilo NIST dedicato all’AI generativa considera la produzione di contenuti non fondati fra i rischi da valutare e richiama il monitoraggio durante l’uso.
Preparare documenti e autorizzazioni
Selezionare fonti affidabili e identificare chi ne cura l’aggiornamento.
Distinguere versioni valide, documenti ritirati e bozze.
Verificare l’estrazione del testo, soprattutto in tabelle, scansioni e schemi.
Applicare i permessi al recupero delle fonti: una risposta non deve rivelare contenuti che l’utente non può consultare.
Definire quali dati possono essere inviati ai servizi utilizzati e come vengono gestiti.
Rendere visibili riferimenti e limiti del sistema in modo comprensibile.
Costruire una prova che possa anche fallire
Una dimostrazione con poche domande favorevoli non basta per valutare il servizio. Conviene costruire un insieme di domande rappresentative e annotare quali fonti contengono la risposta attesa. Il gruppo di prova dovrebbe includere persone che conoscono i documenti e persone che li usano nelle attività quotidiane.
Tipo di domanda | Comportamento da verificare |
|---|---|
Risposta presente e chiara | Contenuto corretto e riferimento al passaggio pertinente. |
Informazioni in più documenti | Sintesi coerente, con fonti distinguibili. |
Documenti in conflitto | Segnalazione del conflitto o della versione applicabile, senza inventare una soluzione. |
Risposta assente | Indicazione che le fonti disponibili non consentono di rispondere. |
Fonte non autorizzata | Nessuna esposizione del documento né delle sue informazioni. |
Risposta presente e chiara
- Comportamento da verificare
Contenuto corretto e riferimento al passaggio pertinente.
Informazioni in più documenti
- Comportamento da verificare
Sintesi coerente, con fonti distinguibili.
Documenti in conflitto
- Comportamento da verificare
Segnalazione del conflitto o della versione applicabile, senza inventare una soluzione.
Risposta assente
- Comportamento da verificare
Indicazione che le fonti disponibili non consentono di rispondere.
Fonte non autorizzata
- Comportamento da verificare
Nessuna esposizione del documento né delle sue informazioni.
Per ogni risposta si possono registrare correttezza, pertinenza delle fonti, informazioni mancanti e utilità per completare l’attività. Tempi e costi vanno osservati nello stesso contesto di prova. Non esiste una soglia valida per ogni uso: un supporto alla consultazione e un’attività con conseguenze operative richiedono valutazioni differenti.
Uno scenario illustrativo
Un team di assistenza consulta manuali di più versioni di un dispositivo. Il prototipo viene limitato inizialmente a una famiglia di prodotti e a documenti approvati. Le domande di prova comprendono la stessa operazione su versioni diverse, riferimenti incompleti e richieste fuori dall’archivio. Chi valuta deve controllare sia la risposta sia la fonte, registrando gli errori da correggere.
Scenario illustrativo. L’assistente è un supporto alla consultazione: le decisioni operative richiedono i controlli adeguati al contesto.
Dal prototipo all’uso quotidiano
Prima di estendere il sistema occorre assegnare la responsabilità delle fonti, gestire modifiche e revoche degli accessi e predisporre un modo per segnalare risposte problematiche. Ogni aggiornamento rilevante dovrebbe essere seguito da prove confrontabili. SoftGen può aiutare a progettare il prototipo e documentare risultati e limiti, per decidere se e come proseguire.