Accuracy, precisión, recall y F1

Las cuatro comparten casi el mismo numerador. Lo que las separa es por qué dividen.

Datito · concepto 12 del currículum · prerrequisito: matriz de confusión

Estructura tomada de 07_DATITO/curriculum.yaml (campo prerrequisitos). La matriz de confusión se construye paso a paso en matriz_confusion.html: aquí se usa. Lo que viene después —recorrer todos los umbrales— está en roc_auc.html.

Notación: VP / FP / FN / VN, como en las láminas (en inglés y en scikit-learn: TP / FP / FN / TN). [FUENTE · Repo: 05_CLASES/11_PRESENTACIÓN/_markdown/FCD-2026-2_07_Clasificacion.md · lámina 17]

1 · La situación, antes de cualquier fórmula

Una planta tiene una máquina cara. Un modelo de detección de anomalías avisa cuándo va a fallar. Tú frenas la máquina cuando avisa.

Hay dos formas distintas de que el modelo te arruine el día, y no cuestan lo mismo:

• No avisó y falló. La máquina se rompe. Paras tres días y pagas el repuesto.
• Avisó y no iba a fallar. Frenaste la línea, revisaste, no había nada. Perdiste dos horas de producción.

Si alguien te dice «el modelo acierta el 99 % de las veces», todavía no sabes nada de lo que te importa. Necesitas saber cuál de los dos errores está cometiendo. Ese es el trabajo completo de estas cuatro métricas: no dan una nota al modelo, reparten la culpa.

2 · Cuatro casillas, cuatro denominadores

Las cuatro casillas se construyen paso a paso en matriz_confusion.html#casillas; aquí nos enfocamos en denominadores, umbral y F1.

Convención, y hay que escribirla siempre antes de calcular: positivo = círculo (en la historia de la máquina: círculo = iba a fallar). Los conteos son los de la matriz oficial de la lámina 19, la que el profesor armó en clase con 16 objetos.

Aprieta una métrica y mira qué casillas se encienden. Esas casillas sumadas son su denominador.

[FUENTE · Repo: 05_CLASES/11_PRESENTACIÓN/_markdown/FCD-2026-2_07_Clasificacion.md · lámina 19] Matriz oficial: VP 6, FP 2, FN 1, VN 7 (16 objetos; 7 círculos reales, 9 triángulos reales). Los mismos conteos los dicta el profesor en la Clase del 7-ago [FUENTE · Repo: 05_CLASES/transcripciones/2026-08-07T22_14_16Z_Fundamentos_en_Ciencia_de_Datos.md · 0:46:58–0:47:52].

3 · Las fórmulas, desarmadas

Las fórmulas símbolo por símbolo están en matriz_confusion.html#formulas; aquí nos enfocamos en denominadores, umbral y F1. Definiciones oficiales: [FUENTE · Repo: 05_CLASES/11_PRESENTACIÓN/_markdown/FCD-2026-2_07_Clasificacion.md · lámina 18].

Cada fila responde a una pregunta distinta en castellano. Si sabes decir la pregunta, la fórmula se reconstruye sola.

Qué es dato, qué aprende el modelo, qué decides tú

4 · El umbral: el control que mueve todo

Abajo hay 200 revisiones. El modelo le puso a cada una una probabilidad de falla, de izquierda (baja) a derecha (alta).

Usamos la misma notación que el profesor dibujó en la pizarra: círculos = positivos reales (iban a fallar), triángulos = negativos reales (estaban bien). Todo lo que quede a la derecha del umbral lo declaras «va a fallar».

Llévalo a los dos extremos y mira lo que pasa:

• Umbral en 0. Declaras que todo va a fallar. Recall 100 %: no se te escapa ninguna. Pero frenas la línea todo el día y la precisión se desploma hasta la proporción de fallas que hay en los datos.
• Umbral en 1. No avisas nunca. Cero falsas alarmas — precisión indefinida, porque no hay nada en el denominador— y recall 0. No detectas nada.

Ninguno de los dos extremos es un modelo malo: es el mismo modelo. Solo cambió dónde pusiste la raya. Por eso decir «mi modelo tiene 92 % de recall» sin decir a qué umbral es una frase incompleta.

5 · El caso del profesor: la falla que pasa 1 de cada 1.000

El efecto de la prevalencia también se ve con mamografías en matriz_confusion.html#problema; aquí nos enfocamos en el denominador de la precisión.

Este es el ejemplo que puso en clase, con una máquina que tiene un modelo de detección de anomalías:

Tu turno, antes de seguir: ¿qué quiere decir recall 100 % con precisión 70 %? Dilo con alarmas y fallas, no con siglas.

Ahora el paso siguiente [DATITO]: el modelo se queda fijo —tú fijas su TPR y su FPR, que son sus dos características propias— y lo único que cambia es cuán rara es la falla en la realidad.

Deja el TPR en 100 % y el FPR en 1 %, y baja la prevalencia a 1 de cada 1.000. Vas a leer algo como exactitud 99 %, precisión 9 %. El mismo modelo, sin tocar una sola línea de código, pasa de razonable a inservible solo porque el mundo cambió de proporción.

Lectura extendida [DATITO] (esto no lo dijo el profesor; es una consecuencia que se puede calcular): un recall de 100 % con precisión de 70 % en un problema de 1 en 1.000 no es «un modelo con un defectito»: es un modelo extraordinariamente bueno, porque para conseguir 70 % de precisión con esa prevalencia su FPR tiene que ser menor a 0,05 % (por cada falla real, 3/7 ≈ 0,43 falsas alarmas repartidas entre 999 revisiones sanas: 0,43/999 ≈ 0,043 %). Prueba a lograrlo con el slider.

6 · FPR no es 1 − precisión

El recorrido «te dan la fórmula, reconstruye el universo» está en matriz_confusion.html#camino-inverso; aquí nos enfocamos en los denominadores.

Este es el error que el expediente del Certamen 2 marca por escrito para la pregunta de cálculo desde la matriz (ficha P8 de 07_DATITO/06_AUDITORIAS/patron_evaluacion.md). Y es tentador, porque las dos suenan a «la proporción de veces que me equivoqué al decir que sí».

Mismo numerador. Denominadores de universos distintos. El FPR se pregunta por la fila de abajo de la matriz —lo que era negativo—. El «1 − precisión» se pregunta por la columna de la izquierda —lo que dijiste que era positivo—. Son dos poblaciones que no tienen por qué parecerse en nada. (En la orientación de la lámina 19, con filas = predicho, se invierte: el FPR es una columna y el 1 − precisión una fila. Por eso se razona con rótulos, no con posiciones.)

Con la matriz oficial de la lámina 19: FPR = 2/9 ≈ 22,2 %, mientras que 1 − precisión = 2/8 = 25,0 %. Se parecen, y justamente por eso la trampa es peligrosa: con números cercanos el error pasa inadvertido. Pero no son lo mismo. Y en el panel de arriba puedes dejar el FPR clavado en 1 % mientras el «1 − precisión» se pasea entre 10 % y 99 %: si fueran lo mismo, eso sería imposible.

¿Cuándo sí coinciden FPR y 1 − precisión?

7 · F1: por qué media armónica y no el promedio

F1 existe porque precisión y recall se pueden hacer trampa una a la otra. Puedes tener precisión casi perfecta si avisas una sola vez al año, cuando estás segurísimo. Y recall perfecto si avisas siempre.

Mira qué hace la media armónica con un modelo tramposo, comparada con el promedio de toda la vida (las tres primeras filas son cifras ilustrativas [DATITO]; la última es la matriz oficial):

El promedio simple le regala un 50 % al modelo que avisa una sola vez. F1 le da 2 %. La media armónica se va con el más chico: para que F1 sea alto, las dos tienen que serlo. Cuando precisión y recall se parecen, F1 y el promedio dan casi lo mismo —fíjate en las dos últimas filas—; la diferencia solo aparece cuando hay desequilibrio, que es exactamente cuando la quieres.

8 · Camino inverso: te entregan la fórmula

En la prueba la fórmula te la dan escrita. El trabajo es desarmarla. Toma esta forma equivalente de F1 y contesta antes de abrir la solución:

a) ¿Qué casilla de la matriz de confusión no aparece por ninguna parte? ¿Y qué consecuencia tiene?

b) ¿De dónde sale el 2 del numerador?

c) Reconstruye el fenómeno: ¿qué historia cuenta un F1 bajo con exactitud alta?

9 · Tus propios datos: por qué Galaxy Zoo se evalúa con F1-macro

La matriz 3×3 real y las métricas por clase se construyen paso a paso en matriz_confusion.html#galaxias; aquí nos enfocamos en cómo se promedian.

El desafío tiene tres clases y la métrica oficial es F1-macro, no exactitud. Esa elección tiene motivo, y el motivo está en el reparto:

[FUENTE · Repo: 07_DATITO/02_REFERENCIA/material.md · 02_DATOS/GZ_mini_challenge_train.csv, 1.000 filas, cero nulos. Desbalance 7,1×]

Construye el modelo más tonto posible: responde «elíptica» siempre. No mira ni un pixel.

Exactitud 67,7 % contra F1-macro 26,9 %. El mismo modelo, los mismos datos. La exactitud premia haber adivinado la clase mayoritaria; el F1-macro promedia las tres clases con el mismo peso y por eso delata que dos de las tres quedaron sin atender.

Y hay una segunda razón, específica de estos datos: la clase 0 no es otro tipo de galaxia. Es «no hubo consenso entre los humanos». Reconocer una ausencia de acuerdo es una señal mucho más débil que reconocer una forma, así que la clase 0 es la difícil y la chica a la vez — es la que hunde el F1-macro, y por eso es la que hay que mirar primero.

Macro contra weighted: dos formas de promediar

El classification_report de scikit-learn trae dos promedios al final. Esto lo explicó la ayudantía del 7-ago, resolviendo el P5 (no la clase del profesor: sirve para los proyectos, no se presenta aquí como materia de certamen):

Con tus números de Galaxy Zoo se ve qué significa eso en la práctica:

F1 por clase y F1-macro: [FUENTE · Repo: 08_PROYECTO_FCD/Desafio/REPORT.md · §«OOF CatBoost, argmax normal»]. F1-weighted: [INFERENCIA] calculado aquí con los support 96 / 227 / 677 — no aparece en el REPORT.

Ejemplo crítico en salud: dos clases desbalanceadas

En diagnóstico médico, el desbalance es la regla. Un modelo que ve 50 casos de enfermedad y 350 de ausencia de enfermedad es típico. Mira qué pasa:

De acuerdo a las métricas derivadas de la matriz de confusión. [DATITO].

La frase que alguien podría soltar: «El modelo tiene F1-score global del 80 %, lo cual puede considerarse apenas aceptable, especialmente en aplicaciones críticas como la salud.»

Pero eso oculta un problema grave. El 80 % es el weighted average: cada clase se pesa por su cantidad de muestras. Como hay 350 muestras de clase 2, ese promedio se la regala casi todo el peso. Miremos qué pasa con la clase rara:

• Clase 1 (enfermedad): precision 0,34, recall 0,96, F1 0,50
• Macro F1: (0,50 + 0,84) / 2 = 0,67

El macro promedia sin peso: da un tercio de importancia a clase 1 y un tercio a clase 2 (aquí vemos solo dos, pero el procedimiento es igual para N). El macro te dice: «Oye, en la clase rara el F1 es 0,50. En la común es 0,84. En promedio, 0,67.» Y eso es mucho más honesto.

Contraste con Galaxy Zoo: allá los support eran 96, 227 y 677 — el desbalance es fuerte pero no tan extremo. Aquí son 50 y 350, un 7:1, y el weighted sube a 0,80 sin que la clase rara haya mejorado nada. Por eso Galaxy Zoo dice «usa F1-macro»: en salud, en detección de fraudes, en detección de anomalías, la clase rara es la que importa, y el macro la mira sin dejarla ser silenciada por el peso de la mayoritaria.

10 · Transferencia: explicárselo a quien paga

Esta es la parte que el profesor pregunta en las presentaciones del Hito 2. A un grupo le dijo:

Y el principio detrás de la pregunta, en sus palabras, al cerrar el ejercicio de los pacientes:

Y dio su propia respuesta modelo, con pescado: detección de comida en mal estado, recall 70 %, precisión 80 %.

Ejercicio de producción: escribe, sin mirar lo de arriba, el párrafo que le leerías a un productor de pescado que no sabe qué es recall ni precisión (recall 70 %, precisión 80 %). Tiene que caber en cinco líneas.

Fíjate en la estructura de las dos frases, porque es reutilizable y es la evidencia de que entendiste:

El mismo molde sirve para el caso clínico que presentó un grupo de compañeros (no el profesor) el 4 de septiembre: tumores mamarios, 42 malignos en el conjunto de prueba. Con umbral 0,5, cada uno de sus tres modelos cometía exactamente un falso negativo [FUENTE · Repo: 05_CLASES/transcripciones/2026-09-04T22_05_05Z_Fundamentos_en_Ciencia_de_Datos.md · 0:43:53–0:44:19]. Decirle «benigno» a alguien con un tumor maligno les pareció inaceptable, así que bajaron el umbral hasta dejar el recall en 100 % [FUENTE · Repo: 05_CLASES/transcripciones/2026-09-04T22_05_05Z_Fundamentos_en_Ciencia_de_Datos.md · 0:46:23–0:46:49]. ¿El costo? En la regresión logística, 37 personas sin cáncer quedaron marcadas como enfermas [FUENTE · Repo: 05_CLASES/transcripciones/2026-09-04T22_05_05Z_Fundamentos_en_Ciencia_de_Datos.md · 0:48:02–0:48:07]. No hay almuerzo gratis: el recall se compra con precisión.

Interpretación: un modelo de deserción escolar tiene recall 0,91 y precisión 0,45 (cifras ilustrativas [DATITO]). Escríbelo en dos frases para el director del colegio.

Transferencia (agricultura): un sensor de plaga revisa 200 huertos del Maule; 20 tienen plaga de verdad. El modelo marca 30 huertos, y 15 de esos tienen plaga (cifras ilustrativas [DATITO]). Arma la matriz, calcula recall, precisión, FPR y 1 − precisión, y dile al agricultor qué significa cada uno.

11 · Procedimiento para el papel

Todo el Certamen 2 se resolvió a mano, sin ejecutar código. Este es el orden que no falla:

1. Declara la clase positiva por escrito. «Tomo círculo = positivo; lado izquierdo de la línea = predicción positiva.» Una línea. Sin esto, cualquier número que escribas es irreproducible.
2. Mira los rótulos de la matriz antes de sumar. ¿Las filas son lo real o lo predicho? La lámina 19 pone filas = predicho; scikit-learn, filas = real.
3. Llena las cuatro casillas VP / FN / FP / VN contando de la figura.
4. Suma los márgenes y anótalos al lado. Positivos reales (VP + FN), negativos reales (FP + VN), predichos positivos (VP + FP) y el total. Estos cuatro números son los denominadores; tenerlos escritos es la mitad del trabajo.
5. Para cada métrica escribe primero el denominador, después el numerador. Al revés es cuando se cuela el error.
6. Verifica que cierre. Las dos filas suman el total, las dos columnas también. Si no cierra, contaste mal.

Ejercicio de cálculo con la matriz oficial, en su orientación original. Así viene en la lámina 19 (círculo = positivo):

[FUENTE · Repo: 05_CLASES/11_PRESENTACIÓN/_markdown/FCD-2026-2_07_Clasificacion.md · lámina 19]

Identifica VP, FP, FN y VN, y calcula exactitud, precisión, TPR, FPR, F1 y 1 − precisión. Escribe la fórmula antes de cada número.

Pregunta de seguimiento probable [INFERENCIA]: si mueves la línea a la derecha, ¿qué le pasa a TPR y FPR?

12 · Errores que este formato castiga

• Usar el denominador equivocado. Es el error más caro y el más fácil de cometer, porque todas las divisiones «dan un número que se ve razonable».
• Sumar una fila sin mirar los rótulos. La lámina 19 pone filas = predicho; si la lees como scikit-learn, FP y FN se te cruzan y todo lo demás sale mal.
• Sustituir antes de escribir la fórmula. Así le salió «1 sobre 1 más 6» al profesor antes de corregirse (§5).
• Creer que FPR = 1 − precisión. Es la distinción de la ficha P8 de 07_DATITO/06_AUDITORIAS/patron_evaluacion.md. Numerador igual, universos distintos. Y en conversación se disfraza: «boto un 20 % de pescado bueno» (§10).
• Calcular sin declarar cuál es la clase positiva. Aunque los números te queden bien, la respuesta no es defendible.
• Reportar exactitud en un problema desbalanceado y presentarla como si dijera algo. Con 67,7 % de una clase, la exactitud es el piso, no el resultado.
• Decir «el recall del modelo es X» sin decir a qué umbral. El recall es del modelo a un punto de operación.
• Comparar dos clasificadores en un solo umbral y concluir cuál es mejor. Elegir el de mayor TPR sin mirar su FPR lleva a preferir un modelo que declara todo positivo: TPR = 1, FPR = 1, inútil.
• Confundir precisión con exactitud porque en castellano suenan parecido. Precision divide por los predichos; accuracy por el total.

Lo que sigue

Ya moviste el umbral y viste que TPR y FPR se mueven juntos. Si en vez de mirar un umbral a la vez dibujas todos los puntos (FPR, TPR) que ese slider puede generar, tienes la curva ROC. Y el área bajo ella —el AUC— resume al modelo sin comprometerse con ningún umbral. Sigue en roc_auc.html.

Eso resuelve una pregunta que aquí quedó abierta: cómo comparar dos modelos cuando cada uno se puede operar a cualquier umbral. La distinción de ese concepto es comparar un punto de operación ≠ comparar un modelo, y es la pregunta 9 del Certamen 2 — la que el expediente marca como no evidenciada: certamen_2.html#p9. La que separa «métrica de un clasificador» de «estadístico de una variable» es la P4: certamen_2.html#p4.