Métricas de evaluación de modelos de IA

01

Qué falla si solo miras la exactitud

Una empresa de tarjetas crea un modelo para detectar transacciones fraudulentas. Lo prueban y obtienen una exactitud (accuracy) del 95%. Es decir, acertó 95 de 100, lo que suena bastante bien. Pero ¿y si de esas 100 transacciones solo 5 eran fraude?

En la escena de abajo, cada celda es una transacción y las rojas son los fraudes reales. Las celdas que el modelo marca como "fraude" se elevan. Cambia entre los dos modelos.

El modelo que siempre responde "normal" no ha aprendido nada y aun así tiene un 95% de exactitud. No detectó ni un solo fraude. El modelo entrenado de verdad tiene menos exactitud, un 93%, pero detectó 4 de los 5 fraudes. El que necesita esta empresa es el segundo.

La exactitud es el porcentaje de predicciones correctas sobre el total. Cuando un resultado es muchísimo más frecuente que el otro, lo que se llama datos desbalanceados, puedes lograr una exactitud alta con solo responder siempre lo más común. La mayoría de los problemas en los que lo que buscas es raro funcionan así: detección de fraude, diagnóstico de enfermedades, inspección de defectos.

Entonces, ¿qué hay que mirar? Todo empieza por repartir los aciertos y errores del modelo en cuatro grupos.

02

Matriz de confusión, precisión, exhaustividad y F1

Cuando un modelo elige entre dos respuestas, como "spam o no spam", cada resultado cae en una de cuatro casillas. La clase que quieres encontrar (spam) se llama positiva, y la otra (correo normal), negativa. Luego se añade verdadero si el modelo acertó y falso si se equivocó.

Esta es la parte que confunde. Imagina que el modelo dice que un correo normal es spam. Dijo "positivo" y se equivocó: es un falso positivo (FP). Si deja pasar un spam como normal, es un falso negativo (FN). "Positivo" o "negativo" es lo que dijo el modelo; "verdadero" o "falso" te dice si acertó. Las siglas TP, FP, FN y TN vienen del inglés y son las que verás en la mayoría de las herramientas.

Esta tabla se llama matriz de confusión. De ella salen dos proporciones clave.

Un modelo de clasificación suele dar una puntuación entre 0 y 1, y considera positivo todo lo que supere un umbral que tú eliges. La escena de abajo ordena 20 correos por puntuación. Prueba a mover el umbral.

Si subes el umbral, el modelo solo marca lo que tiene muy claro y la precisión sube, pero se cuela más spam y la exhaustividad baja. Si lo bajas, pasa lo contrario. Normalmente, cuando una sube, la otra baja. Por eso el umbral se fija según qué error cuesta más. En un cribado de cáncer, donde no se puede dejar escapar ningún caso, priorizas la exhaustividad. En un filtro de spam que nunca debe esconder un correo importante, priorizas la precisión.

La puntuación F1 te deja ver las dos a la vez. Es la media armónica de precisión y exhaustividad, así que si una es alta y la otra baja, la F1 también sale baja. Es una forma habitual de comparar modelos con un solo número cuando los datos están desbalanceados.

Pero si la precisión y la exhaustividad cambian con cada umbral, ¿cómo comparas dos modelos antes de haber elegido el umbral?

03

Curva ROC y AUC

Baja el umbral poco a poco de 1 a 0 y, en cada paso, mide dos cosas. La tasa de verdaderos positivos (TPR) es la parte del spam real que detectaste. La tasa de falsos positivos (FPR) es la parte de los correos normales que filtraste por error. La TPR es lo mismo que la exhaustividad del capítulo 2. Pon la FPR en el eje horizontal y la TPR en el vertical, une los puntos y obtienes la curva ROC.

Un buen modelo atrapa el spam enseguida filtrando muy pocos correos normales por error, así que su curva sube rápido hacia la esquina superior izquierda. Un modelo que adivina al azar sigue la diagonal. El área bajo la curva se llama AUC (area under the curve). En la escena de abajo, el área que llenan las columnas es el AUC.

El AUC va de 0.5 (azar) a 1 (perfecto). Resume en un solo número qué tan bien separa el modelo los positivos de los negativos sin comprometerse con un umbral concreto. Por eso es práctico para comparar varios modelos antes de elegir el umbral. Eso sí, cuando pones un modelo en producción tienes que fijar un umbral, y entonces vuelves a la precisión y la exhaustividad del capítulo 2.

Hasta ahora los modelos adivinaban una categoría, como "spam o no". Un modelo que predice un número, como ventas o el precio de una vivienda, no acierta o falla sin más. Hay que medir cuánto se desvió.