← Tutti gli articoli

Come dovrebbe una banca misurare gli errori dell’AI nel lavoro dei consulenti?

Decidendo prima dell’avvio cosa conta come interazione e cosa come errore, contando anche gli errori degli utenti e dichiarando periodo e popolazione. In un deployment in produzione dell’AI Suite for Advisors di Streetbeat presso una banca europea con 3.000 consulenti, il 99,64% delle interazioni non ha avuto errori in tre mesi, e lo 0,36% con errori comprende gli errori degli utenti. Un tasso di successo si può confrontare con un altro solo se ne è dichiarato il metodo.

Cosa è stato misurato in produzione?

Streetbeat ha misurato il deployment per tre mesi presso una banca europea con 3.000 consulenti finanziari. Gli stessi dati compaiono nella nostra panoramica sui vantaggi dell’AI per chi gestisce patrimoni.

MisuraRisultatoDefinizione
Interazioni senza errori99,64%Quota di interazioni completate senza errori
Interazioni con errori0,36%Circa 1 interazione su 280, errori degli utenti compresi
Consulenti attivi85%Oltre 2.500 consulenti su 3.000
Periodo3 mesiGli ultimi mesi del deployment in produzione

Sono i risultati di un solo istituto in un solo periodo. Non dicono quali saranno i risultati di un’altra banca.

Perché anche gli errori degli utenti vanno contati?

Perché per il consulente e per il cliente l’effetto è lo stesso. Una richiesta formulata male, un valore inserito nel campo sbagliato o una domanda fuori ambito producono una risposta da rifare, chiunque l’abbia causata. Escludere gli errori degli utenti alza il tasso di successo; includerli misura il sistema come lo usano le persone ogni giorno, come fa lo 0,36% riportato sopra. Indica inoltre dove intervenire: il prompt, l’interfaccia, la formazione o il processo.

Quali domande deve porsi una banca davanti a un tasso di successo dell’AI?

Sempre le stesse cinque, perché ogni esclusione non dichiarata può alzare il numero.

DomandaPerché conta
Cos’è un’interazione?Un messaggio, una conversazione o un’attività completata possono dare tassi diversi sulla stessa piattaforma.
Cos’è un errore?Una definizione restrittiva alza il tasso; una più ampia lo abbassa.
Chi rientra nel conteggio?Escludere utenti, integrazioni o dati migliora il tasso senza migliorare il sistema.
Quale periodo e quale popolazione?Poche settimane di pilota con volontari non equivalgono a mesi di uso su tutta la rete.
Chi ha classificato gli errori, e come?Una regola automatica, una revisione manuale o un campione: il metodo fa parte del risultato.

Il dato del deployment dichiara il periodo, 3 mesi, la popolazione di 3.000 consulenti e l’inclusione degli errori degli utenti. Le definizioni di interazione e di errore, e il metodo per classificare gli errori, sono domande da fare a ogni fornitore, Streetbeat compresa.

Cosa si aspettano le autorità di vigilanza statunitensi?

Che sia la banca a definire i propri controlli. Il 17 aprile 2026 la Federal Reserve, l’OCC e la FDIC hanno pubblicato nuove linee guida sulla gestione del rischio dei modelli, che sostituiscono quelle del 2011. Le linee guida descrivono l’analisi dei risultati, cioè il confronto tra ciò che il modello produce e ciò che accade davvero, ma lasciano fuori l’AI generativa e agentica: per questi strumenti i controlli li devono stabilire la gestione dei rischi e la governance della banca. Per i broker-dealer, la Regulatory Notice 24-09 di FINRA, del 27 giugno 2024, ricorda alle società associate che le loro regole, compresa la supervisione, valgono anche quando usano l’AI generativa. Una funzione di controllo non può approvare un tasso di errore che non è in grado di ricostruire.

ControlloCosa verificare
TracciabilitàSi può ricostruire ogni interazione: richiesta, risposta, dati usati?
Definizione scritta di erroreÈ stata concordata prima dell’avvio, non ricavata dopo aver visto i numeri?
Misurazione continuaIl tasso si misura di nuovo dopo ogni cambio di modello, dati o processo?
Revisione umanaSi può richiedere una revisione prima che un risultato arrivi al cliente?

Come verifica una banca il tasso di errore nel proprio pilota?

Misurando ogni causa, non solo il modello, e seguendo l’andamento per un periodo lungo almeno quanto i 3 mesi indicati sopra.

MisuraCosa mostra
Quota di interazioni con errori, tutte le causeIl tasso di errore come lo vivono i consulenti
Quota di errori per causa: modello, dati, integrazione, utenteDove intervenire per primo
Errori intercettati dal consulente prima che arrivino al clienteSe la revisione umana funziona
Tasso di errore prima e dopo ogni cambiamentoSe la qualità regge nel tempo

Cosa decide ancora il consulente?

Tutto ciò che arriva al cliente, e nella banca citata sopra vale per ciascuno degli oltre 2.500 consulenti attivi. Raccomandazioni e messaggi sono bozze che il consulente rivede, e Streetbeat prevede una revisione umana configurabile per le decisioni critiche indicate dall’istituto. L’istituto resta responsabile della configurazione, della supervisione e delle decisioni finali.

Chi è Streetbeat

Streetbeat aiuta le aziende a usare l’AI per far crescere i ricavi, non i costi. Streetbeat OS, il sistema operativo AI per le aziende, è la base di Streetbeat for Finance, Streetbeat for Impact e Brain50 by Streetbeat.

Streetbeat for Finance

Streetbeat for Finance porta l’AI in banche, società di wealth e asset management, compagnie assicurative e società di investimento immobiliare. Comprende AI Suite for Advisors, Portfolio Engine, AI Suite for Retail e AI Suite for Operations, messi in produzione on-premise o nel cloud del cliente e configurati su misura per i processi, i dati e i controlli dell’istituto finanziario. Scopri Streetbeat for Finance.