← Wszystkie artykuły

Jak banki powinny mierzyć błędy AI w procesach pracy doradców?

Przed uruchomieniem należy uzgodnić, co jest interakcją, a co błędem, uwzględnić także błędy użytkowników oraz podać okres i populację. We wdrożeniu produkcyjnym AI Suite for Advisors od Streetbeat w europejskim banku z 3000 doradców 99,64% interakcji przebiegło bez błędów w ciągu trzech miesięcy, a 0,36% z błędami obejmuje błędy użytkowników. Wskaźnik sukcesu można porównać z innym tylko wtedy, gdy podano jego metodę.

Co zmierzono we wdrożeniu produkcyjnym?

Streetbeat mierzył wdrożenie przez trzy miesiące w europejskim banku z 3000 doradców finansowych. Te same liczby znajdują się w naszym przeglądzie korzyści z AI dla zarządzających majątkiem.

MiaraWynikDefinicja
Interakcje bez błędów99,64%Odsetek interakcji zakończonych bez błędów
Interakcje z błędami0,36%Około 1 interakcja na 280, łącznie z błędami użytkowników
Aktywni doradcy85%Ponad 2500 z 3000 doradców
Okres3 miesiąceNajnowsze miesiące wdrożenia produkcyjnego

To wyniki jednej instytucji z jednego okresu. Nie przesądzają o wynikach innego banku.

Dlaczego błędy użytkowników powinny być liczone jako błędy?

Ponieważ doradca i klient odczuwają je tak samo. Źle sformułowane zapytanie, wartość wpisana w niewłaściwe pole czy pytanie spoza zakresu daje odpowiedź, którą trzeba powtórzyć, niezależnie od tego, kto ją spowodował. Pominięcie błędów użytkowników zawyża wskaźnik sukcesu; ich uwzględnienie mierzy system tak, jak ludzie korzystają z niego na co dzień, tak jak robi to powyższe 0,36%. Wskazuje też, co można zmienić: prompt, interfejs, szkolenie lub proces.

Jakie pytania bank powinien zadać o każdy wskaźnik sukcesu AI?

Te same pięć, za każdym razem, bo każde niewypowiedziane wyłączenie może podnieść wynik.

PytanieDlaczego ma znaczenie
Czym jest interakcja?Wiadomość, rozmowa lub ukończone zadanie mogą dać różne wskaźniki na tej samej platformie.
Czym jest błąd?Wąska definicja podnosi wskaźnik, szeroka go obniża.
Kto jest uwzględniony w liczeniu?Pominięcie użytkowników, integracji lub danych poprawia wskaźnik bez poprawy systemu.
Jaki okres i jaka populacja?Kilka tygodni pilotażu z ochotnikami to nie miesiące użytkowania w całej sieci.
Kto sklasyfikował błędy i w jaki sposób?Reguła automatyczna, przegląd ręczny lub próba: metoda jest częścią wyniku.

Wynik wdrożenia podaje swój okres, 3 miesiące, swoją populację 3000 doradców oraz uwzględnienie błędów użytkowników. Definicje interakcji i błędu oraz metoda klasyfikacji błędów to pytania, które należy zadać każdemu dostawcy, także Streetbeat.

Czego oczekują organy nadzoru w USA?

Że bank sam spisze swoje mechanizmy kontroli. Federal Reserve, OCC i FDIC wydały zaktualizowane wytyczne dotyczące zarządzania ryzykiem modeli 17 kwietnia 2026 roku, zastępując wersję z 2011 roku. Opisują one analizę wyników, która porównuje wyniki modeli z rzeczywistymi rezultatami, ale generatywną i agentową AI pozostawiają poza zakresem: w przypadku takich narzędzi mechanizmy kontroli powinny wynikać z własnego zarządzania ryzykiem i nadzoru banku. Dla broker-dealers Regulatory Notice 24-09 FINRA, wydane 27 czerwca 2024 roku, przypomina firmom członkowskim, że ich przepisy, w tym dotyczące nadzoru, obowiązują także przy korzystaniu z generatywnej AI. Funkcja kontrolna nie może zatwierdzić wskaźnika błędów, którego nie jest w stanie odtworzyć.

Mechanizm kontroliCo sprawdzić
IdentyfikowalnośćCzy każdą interakcję można odtworzyć: zapytanie, odpowiedź, użyte dane?
Pisemna definicja błęduCzy uzgodniono ją przed uruchomieniem, a nie wyprowadzono po poznaniu liczb?
Ciągły pomiarCzy wskaźnik jest mierzony ponownie po każdej zmianie modelu, danych lub procesu?
Przegląd przez człowiekaCzy można wymagać przeglądu, zanim wynik trafi do klienta?

Jak bank może sprawdzić wskaźnik błędów we własnym pilotażu?

Należy mierzyć każdą przyczynę, a nie tylko model, i śledzić trend w okresie co najmniej tak długim jak powyższe 3 miesiące.

MiaraCo pokazuje
Odsetek interakcji z błędami, wszystkie przyczynyWskaźnik błędów tak, jak odczuwają go doradcy
Odsetek błędów według przyczyny: model, dane, integracja, użytkownikGdzie działać w pierwszej kolejności
Błędy wychwycone w przeglądzie doradcy, zanim trafiły do klientaCzy przegląd przez człowieka działa
Wskaźnik błędów przed każdą zmianą i po niejCzy jakość utrzymuje się w czasie

Co nadal rozstrzyga doradca?

Wszystko, co trafia do klienta, a w opisanym wyżej banku dotyczy to każdego z ponad 2500 aktywnych doradców. Rekomendacje i wiadomości są szkicami do przeglądu przez doradcę, a Streetbeat oferuje konfigurowalny przegląd przez człowieka dla wskazanych decyzji krytycznych. Za konfigurację, nadzór i ostateczne decyzje nadal odpowiada instytucja.

O Streetbeat

Streetbeat pomaga organizacjom wykorzystywać AI do zwiększania przychodów, a nie kosztów. Streetbeat OS, system operacyjny AI dla firm, stanowi fundament Streetbeat for Finance, Streetbeat for Impact i Brain50 by Streetbeat.

Streetbeat for Finance

Streetbeat for Finance wprowadza AI do banków, firm zarządzających majątkiem i aktywami, ubezpieczycieli oraz funduszy inwestujących w nieruchomości. Obejmuje AI Suite for Advisors, Portfolio Engine, AI Suite for Retail i AI Suite for Operations, wdrażane on-premise lub w chmurze klienta i dopasowane do procesów, danych i mechanizmów kontroli danej instytucji. Poznaj Streetbeat for Finance.