¿Cómo deben medir los bancos los errores de la IA en los flujos de trabajo de los asesores?
Acuerde antes de la puesta en producción qué cuenta como interacción y como error, incluya también los errores de los usuarios e indique el periodo y la población. En un despliegue real del AI Suite for Advisors de Streetbeat en un banco europeo con 3.000 asesores, el 99,64 % de las interacciones no tuvo errores a lo largo de tres meses, y el 0,36 % con errores incluye errores de los usuarios. Una tasa de éxito solo puede compararse con otra cuando se declara su método.
¿Qué se midió en el despliegue real?
Streetbeat midió el despliegue durante tres meses en un banco europeo con 3.000 asesores financieros. Las mismas cifras aparecen en nuestro resumen sobre los beneficios de la IA para los gestores de patrimonios.
| Medida | Resultado | Definición |
|---|---|---|
| Interacciones sin errores | 99,64 % | Proporción de interacciones completadas sin errores |
| Interacciones con errores | 0,36 % | Aproximadamente 1 interacción de cada 280, incluidos los errores de los usuarios |
| Asesores activos | 85 % | Más de 2.500 de 3.000 asesores |
| Periodo | 3 meses | Los meses más recientes del despliegue real |
Son los resultados de una sola institución durante un solo periodo. No permiten predecir los resultados de otro banco.
¿Por qué deben contar como errores los errores de los usuarios?
Porque el asesor y el cliente los viven de la misma manera. Una petición mal formulada, un valor escrito en el campo equivocado o una pregunta fuera de alcance producen una respuesta que hay que rehacer, sea quien sea el causante. Dejar fuera los errores de los usuarios eleva la tasa de éxito; incluirlos mide el sistema tal como lo usan las personas cada día, como hace el 0,36 % anterior. También señala qué se puede cambiar: la instrucción, la interfaz, la formación o el proceso.
¿Qué preguntas debe hacer un banco ante cualquier tasa de éxito de una IA?
Siempre las mismas cinco, porque cada exclusión que no se declara puede inflar la cifra.
| Pregunta | Por qué importa |
|---|---|
| ¿Qué es una interacción? | Un mensaje, una conversación o una tarea completada pueden dar tasas distintas en la misma plataforma. |
| ¿Qué es un error? | Una definición estrecha eleva la tasa; una amplia la reduce. |
| ¿Quién entra en el recuento? | Dejar fuera usuarios, integraciones o datos mejora la tasa sin mejorar el sistema. |
| ¿Qué periodo y qué población? | Unas pocas semanas de piloto con voluntarios no equivalen a meses de uso en toda una red. |
| ¿Quién clasificó los errores y cómo? | Una regla automática, una revisión manual o una muestra: el método forma parte del resultado. |
La cifra del despliegue declara su periodo, 3 meses, su población de 3.000 asesores y la inclusión de los errores de los usuarios. Las definiciones de interacción y de error, y el método usado para clasificar los errores, son preguntas que hay que plantear a todos los proveedores, Streetbeat incluido.
¿Qué esperan los supervisores de Estados Unidos?
Que el banco escriba sus propios controles. La Federal Reserve, la OCC y la FDIC publicaron el 17 de abril de 2026 una guía revisada sobre la gestión del riesgo de modelos, que sustituye a la versión de 2011. Describe el análisis de resultados, que compara las salidas de un modelo con los resultados reales, pero deja fuera de su alcance la IA generativa y agéntica: para esas herramientas, la gestión de riesgos y la gobernanza del propio banco deben fijar los controles. Para los broker-dealers, la Regulatory Notice 24-09 de FINRA, publicada el 27 de junio de 2024, recuerda a las firmas miembro que sus normas, incluida la supervisión, se aplican cuando usan IA generativa. Una función de control no puede dar el visto bueno a una tasa de errores que no puede reconstruir.
| Control | Qué comprobar |
|---|---|
| Trazabilidad | ¿Puede reconstruirse cada interacción: petición, respuesta y datos utilizados? |
| Definición de error por escrito | ¿Se acordó antes de la puesta en producción, y no se derivó después de conocer las cifras? |
| Medición continua | ¿Se vuelve a medir la tasa tras cada cambio de modelo, de datos o de proceso? |
| Revisión humana | ¿Puede exigirse una revisión antes de que un resultado llegue a un cliente? |
¿Cómo puede un banco comprobar la tasa de errores en su propio piloto?
Mida todas las causas, no solo el modelo, y siga la tendencia durante un periodo al menos tan largo como los 3 meses anteriores.
| Medida | Qué muestra |
|---|---|
| Proporción de interacciones con errores, todas las causas | La tasa de errores tal como la viven los asesores |
| Proporción de errores por causa: modelo, datos, integración, usuario | Dónde actuar primero |
| Errores detectados en la revisión del asesor antes de llegar a un cliente | Si la revisión humana funciona |
| Tasa de errores antes y después de cada cambio | Si la calidad se mantiene con el tiempo |
¿Qué sigue decidiendo el asesor?
Todo lo que llega a un cliente, y en el banco citado arriba eso vale para cada uno de sus más de 2.500 asesores activos. Las recomendaciones y los mensajes son borradores para la revisión del asesor, y Streetbeat ofrece revisión humana configurable para las decisiones críticas que se designen. La institución sigue siendo responsable de la configuración, la supervisión y las decisiones finales.
Acerca de Streetbeat
Streetbeat ayuda a las organizaciones a usar la IA para hacer crecer los ingresos, no los costes. Streetbeat OS, el sistema operativo de IA para empresas, es la base de Streetbeat for Finance, Streetbeat for Impact y Brain50 by Streetbeat.
Streetbeat for Finance
Streetbeat for Finance lleva la IA a bancos, gestoras de patrimonios y de activos, aseguradoras y firmas de inversión inmobiliaria. Incluye el AI Suite for Advisors, el Portfolio Engine, el AI Suite for Retail y el AI Suite for Operations, con puesta en producción en los servidores del cliente o en su nube y configurados a la medida de los procesos, los datos y los controles de cada entidad. Descubre Streetbeat for Finance.