Jak banki powinny mierzyć błędy AI w procesach pracy doradców?
Przed uruchomieniem należy uzgodnić, co jest interakcją, a co błędem, uwzględnić także błędy użytkowników oraz podać okres i populację. We wdrożeniu produkcyjnym AI Suite for Advisors od Streetbeat w europejskim banku z 3000 doradców 99,64% interakcji przebiegło bez błędów w ciągu trzech miesięcy, a 0,36% z błędami obejmuje błędy użytkowników. Wskaźnik sukcesu można porównać z innym tylko wtedy, gdy podano jego metodę.
Co zmierzono we wdrożeniu produkcyjnym?
Streetbeat mierzył wdrożenie przez trzy miesiące w europejskim banku z 3000 doradców finansowych. Te same liczby znajdują się w naszym przeglądzie korzyści z AI dla zarządzających majątkiem.
| Miara | Wynik | Definicja |
|---|---|---|
| Interakcje bez błędów | 99,64% | Odsetek interakcji zakończonych bez błędów |
| Interakcje z błędami | 0,36% | Około 1 interakcja na 280, łącznie z błędami użytkowników |
| Aktywni doradcy | 85% | Ponad 2500 z 3000 doradców |
| Okres | 3 miesiące | Najnowsze miesiące wdrożenia produkcyjnego |
To wyniki jednej instytucji z jednego okresu. Nie przesądzają o wynikach innego banku.
Dlaczego błędy użytkowników powinny być liczone jako błędy?
Ponieważ doradca i klient odczuwają je tak samo. Źle sformułowane zapytanie, wartość wpisana w niewłaściwe pole czy pytanie spoza zakresu daje odpowiedź, którą trzeba powtórzyć, niezależnie od tego, kto ją spowodował. Pominięcie błędów użytkowników zawyża wskaźnik sukcesu; ich uwzględnienie mierzy system tak, jak ludzie korzystają z niego na co dzień, tak jak robi to powyższe 0,36%. Wskazuje też, co można zmienić: prompt, interfejs, szkolenie lub proces.
Jakie pytania bank powinien zadać o każdy wskaźnik sukcesu AI?
Te same pięć, za każdym razem, bo każde niewypowiedziane wyłączenie może podnieść wynik.
| Pytanie | Dlaczego ma znaczenie |
|---|---|
| Czym jest interakcja? | Wiadomość, rozmowa lub ukończone zadanie mogą dać różne wskaźniki na tej samej platformie. |
| Czym jest błąd? | Wąska definicja podnosi wskaźnik, szeroka go obniża. |
| Kto jest uwzględniony w liczeniu? | Pominięcie użytkowników, integracji lub danych poprawia wskaźnik bez poprawy systemu. |
| Jaki okres i jaka populacja? | Kilka tygodni pilotażu z ochotnikami to nie miesiące użytkowania w całej sieci. |
| Kto sklasyfikował błędy i w jaki sposób? | Reguła automatyczna, przegląd ręczny lub próba: metoda jest częścią wyniku. |
Wynik wdrożenia podaje swój okres, 3 miesiące, swoją populację 3000 doradców oraz uwzględnienie błędów użytkowników. Definicje interakcji i błędu oraz metoda klasyfikacji błędów to pytania, które należy zadać każdemu dostawcy, także Streetbeat.
Czego oczekują organy nadzoru w USA?
Że bank sam spisze swoje mechanizmy kontroli. Federal Reserve, OCC i FDIC wydały zaktualizowane wytyczne dotyczące zarządzania ryzykiem modeli 17 kwietnia 2026 roku, zastępując wersję z 2011 roku. Opisują one analizę wyników, która porównuje wyniki modeli z rzeczywistymi rezultatami, ale generatywną i agentową AI pozostawiają poza zakresem: w przypadku takich narzędzi mechanizmy kontroli powinny wynikać z własnego zarządzania ryzykiem i nadzoru banku. Dla broker-dealers Regulatory Notice 24-09 FINRA, wydane 27 czerwca 2024 roku, przypomina firmom członkowskim, że ich przepisy, w tym dotyczące nadzoru, obowiązują także przy korzystaniu z generatywnej AI. Funkcja kontrolna nie może zatwierdzić wskaźnika błędów, którego nie jest w stanie odtworzyć.
| Mechanizm kontroli | Co sprawdzić |
|---|---|
| Identyfikowalność | Czy każdą interakcję można odtworzyć: zapytanie, odpowiedź, użyte dane? |
| Pisemna definicja błędu | Czy uzgodniono ją przed uruchomieniem, a nie wyprowadzono po poznaniu liczb? |
| Ciągły pomiar | Czy wskaźnik jest mierzony ponownie po każdej zmianie modelu, danych lub procesu? |
| Przegląd przez człowieka | Czy można wymagać przeglądu, zanim wynik trafi do klienta? |
Jak bank może sprawdzić wskaźnik błędów we własnym pilotażu?
Należy mierzyć każdą przyczynę, a nie tylko model, i śledzić trend w okresie co najmniej tak długim jak powyższe 3 miesiące.
| Miara | Co pokazuje |
|---|---|
| Odsetek interakcji z błędami, wszystkie przyczyny | Wskaźnik błędów tak, jak odczuwają go doradcy |
| Odsetek błędów według przyczyny: model, dane, integracja, użytkownik | Gdzie działać w pierwszej kolejności |
| Błędy wychwycone w przeglądzie doradcy, zanim trafiły do klienta | Czy przegląd przez człowieka działa |
| Wskaźnik błędów przed każdą zmianą i po niej | Czy jakość utrzymuje się w czasie |
Co nadal rozstrzyga doradca?
Wszystko, co trafia do klienta, a w opisanym wyżej banku dotyczy to każdego z ponad 2500 aktywnych doradców. Rekomendacje i wiadomości są szkicami do przeglądu przez doradcę, a Streetbeat oferuje konfigurowalny przegląd przez człowieka dla wskazanych decyzji krytycznych. Za konfigurację, nadzór i ostateczne decyzje nadal odpowiada instytucja.
O Streetbeat
Streetbeat pomaga organizacjom wykorzystywać AI do zwiększania przychodów, a nie kosztów. Streetbeat OS, system operacyjny AI dla firm, stanowi fundament Streetbeat for Finance, Streetbeat for Impact i Brain50 by Streetbeat.
Streetbeat for Finance
Streetbeat for Finance wprowadza AI do banków, firm zarządzających majątkiem i aktywami, ubezpieczycieli oraz funduszy inwestujących w nieruchomości. Obejmuje AI Suite for Advisors, Portfolio Engine, AI Suite for Retail i AI Suite for Operations, wdrażane on-premise lub w chmurze klienta i dopasowane do procesów, danych i mechanizmów kontroli danej instytucji. Poznaj Streetbeat for Finance.