Objetivo. Resolver el Certamen 2 nombrando en cada pregunta la distinción que la decide.
- Evidencia de aprendizaje: Resuelve las once fichas y acierta la distinción de cada una.
- Actividad final: La P8 completa con la matriz oficial de la lámina 19, en papel.
- Criterio de dominio: Nombra las once distinciones sin mirar la tabla y resuelve la P8 y la P9 a mano.
Certamen 2 · pregunta por pregunta
Modelamiento, evaluación y panorama de IA · Fundamentos de Ciencia de Datos · UdeC · 28 de agosto de 2026
| # | Tema | Formato | Puntos |
|---|---|---|---|
| 1 | Ensambles y diversidad | Verdadero o falso | 0,5 |
| 2 | Definición de sobreajuste | Verdadero o falso | 0,5 |
| 3 | Afirmaciones sobre sobreajuste | Varias correctas | 0,5 |
| 4 | Métricas de clasificación | Varias correctas | 0,5 |
| 5 | LLMs y agentes | Varias correctas | 0,5 |
| 6 | Revoluciones de la IA | Varias correctas | 0,5 |
| 7 | Regresión polinomial | Desarrollo | 1,0 |
| 8 | Matriz de confusión desde una figura | Cálculo | se respondió en la 11 |
| 9 | TPR, FPR y curva ROC | Desarrollo | 1,0 |
| 10 | «Punto base» | Sin contenido | — |
| 11 | Comentarios y supuestos | Texto libre | 0 |
Las dos preguntas de 1,0 punto (polinomial y ROC) valen el doble que cualquier cerrada, y una de ellas es de evaluación de clasificadores.
Las preguntas
«Utilizar un modelo compuesto por varios modelos (por ejemplo, árboles de decisión) exactamente iguales y que predicen exactamente lo mismo, suele predecir mejor que cada modelo por separado.»
Respuesta y análisis
- Modelos idénticos → predicciones idénticas → errores idénticos.
- Promediar n valores iguales da ese mismo valor: no hay nada que compensar.
- La reducción de varianza del promedio, Var(x̄) = σ² / n, exige errores independientes. Con errores idénticos la varianza se queda en σ², por muchos modelos que se sumen.
- Por eso Random Forest fuerza la diversidad: cada árbol ve una muestra distinta de filas (bagging) y un subconjunto distinto de columnas.
Error típico: responder «verdadero, más modelos siempre ayudan». La cantidad no aporta nada sin diversidad.
Respuesta correcta y cómo se resuelve
Respuesta: no gana nada si los dos fallan en las mismas filas; puede superar el 80 % si fallan en filas distintas y la combinación se queda con el que acierta.
- Sin ganancia: A y B fallan las filas 1 a 20. El ensamble también: 80 %.
- Con ganancia: A falla las filas 1 a 20 y B las 21 a 40. En cada fila donde discrepan hay un modelo correcto; si la combinación lo elige, el ensamble llega hasta 100 %.
- Con tres modelos de 80 % y errores independientes, la mayoría acierta con probabilidad 0,8³ + 3 · 0,8² · 0,2 = 0,512 + 0,384 = 0,896.
Error típico: «siempre mejora porque son dos opiniones». Sin errores distintos y una buena regla de combinación, no mejora. Las filas del ejemplo son ilustrativas [DATITO].
«El sobreajuste de un modelo ocurre cuando el modelo predice correctamente sobre el conjunto de entrenamiento, pero no es capaz de generalizar para datos que no ha visto antes.»
Respuesta y análisis
- Sobreajuste = error bajo en entrenamiento y alto en datos no vistos: el modelo aprendió ruido del entrenamiento como si fuera señal.
- La mitad que hace precisa la definición es «predice correctamente sobre el entrenamiento». Si el error fuera alto en ambos conjuntos, sería subajuste.
- Ejemplo del proyecto Melbourne: HistGradientBoosting tiene R² 0,927 en entrenamiento (2016) y 0,757 en test (2017). La brecha es lo que se vigila.
Error típico: agregar una justificación que no se pide y cometer una imprecisión en ella.
Respuesta correcta y cómo se resuelve
Respuesta: no; está subajustado (demasiado simple). Hay que darle más capacidad (más grado, un modelo más flexible, mejores atributos) y elegir cuánta con validación.
Frente a un sobreajuste se hace lo contrario: bajar la complejidad o conseguir más filas.
Error típico: llamar «sobreajuste» a cualquier error alto. [FUENTE · Repo: 05_CLASES/11_PRESENTACIÓN/_markdown/Resumen_Clase6_Regresion.md · §6.6.3]
- Se puede evitar aumentando el número de atributos de cada objeto.
- Un modelo más complejo tiende a sobreajustarse más que uno más simple.
- Se puede medir el nivel de sobreajuste utilizando validación cruzada.
- Puede generar un problema al poner el modelo en producción.
- Puede ocurrir tanto en problemas de clasificación como de regresión.
Respuesta y análisis
| # | Veredicto | Por qué |
|---|---|---|
| 1 | Falsa | Más atributos es más complejidad: aumenta el sobreajuste. Lo que lo reduce es tener más filas, no más columnas |
| 2 | Correcta | Lámina 20, «Modelos más complejos»; subir el grado del polinomio «conduce al sobreajuste» |
| 3 | Correcta | Lámina 8: «¿Cómo evaluar si estoy sobreajustado? · VALIDACIÓN CRUZADA!» |
| 4 | Correcta | Un modelo que no generaliza falla con datos nuevos, que es justo lo que recibe en producción |
| 5 | Correcta | La lámina 8 se usa en el bloque de regresión y se repite en el de clasificación (lámina 21) |
Error típico: marcar la 1 porque «más datos» suena bien, sin mirar en qué dirección crecen los datos.
Respuesta correcta y cómo se resuelve
Respuesta: el de entrenamiento baja (o no sube); el de validación tiende a subir. Solo medirlo en validación lo confirma.
- El modelo de 55 columnas contiene al de 5 (basta anular los coeficientes nuevos), así que en entrenamiento nunca queda peor.
- Las columnas derivadas no traen información nueva: traen libertad para acomodar el ruido de esas 100 filas. Eso sube el error en datos no vistos.
- Excepción: si una derivada captura una forma real (x² cuando la relación es curva), la validación puede mejorar. Por eso se decide con validación.
Error típico: dar una sola respuesta para los dos errores.
- Área bajo la curva ROC
- Varianza
- Ganancia de pureza
- Tasa de falsos positivos
- Exactitud
Respuesta y análisis
| # | Veredicto | Por qué |
|---|---|---|
| 1 | Correcta | Láminas 22–24: curva ROC y su área |
| 2 | Falsa | La varianza describe la dispersión de una variable, no el desempeño de un clasificador |
| 3 | Falsa | Lámina 31: la ganancia de pureza compara la impureza del nodo padre con la de sus hijos. Sirve para construir el árbol (decidir dónde dividir), no para evaluarlo |
| 4 | Correcta | Lámina 18: TFP = FP / (FP + VN) |
| 5 | Correcta | Lámina 18: exactitud = (VP + VN) / (P + N) |
| Exactitud | (VP + VN) / (P + N) — sobre el total |
| Error | (FP + FN) / (P + N) = 1 − exactitud |
| TVP (recall) | VP / (VP + FN) = VP / P — sobre los positivos reales |
| Precisión | VP / (VP + FP) — sobre los predichos positivos |
| TFP | FP / (FP + VN) = FP / N — sobre los negativos reales |
Error típico: marcar la ganancia de pureza porque aparece en la unidad de clasificación.
Respuesta correcta y cómo se resuelve
Respuesta: no. Comparten el numerador (FP) pero dividen entre universos distintos.
Ejemplo [DATITO]: 100 positivos y 25 negativos reales; VP = 90, FN = 10, FP = 10, VN = 15.
- Precisión = 90 / (90 + 10) = 0,9.
- TFP = 10 / (10 + 15) = 0,4.
- Los mismos 10 FP pesan 10 de 100 en un caso y 10 de 25 en el otro.
Error típico: suponer TFP = 1 − precisión. Solo se restan de 1 métricas con el mismo denominador.
- Los LLMs son excelentes para obtener respuestas basadas en hechos recientes y planificar a largo plazo.
- Un agente puede usar herramientas, almacenar conocimiento y actuar de forma autónoma, mientras que un LLM se limita principalmente al procesamiento de información y generación de texto.
- Los agentes no pueden colaborar con otros agentes ni con humanos.
- Los LLMs no requieren grandes cantidades de datos ni poder de cómputo para entrenarse.
Respuesta y análisis
| # | Veredicto | Lo que dice la lámina |
|---|---|---|
| 1 | Falsa | Lámina 45: los LLMs son «muy malos para» respuestas basadas en hechos (alucinan), información posterior a su entrenamiento y razonar y planificar |
| 2 | Correcta | Lámina 46: los agentes realizan acciones autónomas, tienen memoria y almacenan conocimiento, y usan herramientas (internet, intérpretes de código, llamadas API) |
| 3 | Falsa | Lámina 46: «Los agentes también pueden colaborar con otros agentes o con humanos» |
| 4 | Falsa | Lámina 45: con miles de millones de parámetros (GPT-3: 175B), «necesitan muchos datos y poder de cómputo» |
Error típico: responder desde lo que uno sabe de LLMs y no desde lo visto en clase. El enunciado dice «según la descripción».
Respuesta correcta y cómo se resuelve
Respuesta: todavía no. Tiene uso de herramientas (internet es el ejemplo de la lámina 46), pero le faltan la acción autónoma, la memoria para almacenar conocimiento y la colaboración con otros agentes o humanos.
Cómo se resuelve: revisa los atributos de la lámina 46 uno por uno y marca cuáles cumple.
Error típico: tomar un solo atributo como definición («usa internet, entonces es agente»).
- Procesamiento del lenguaje natural.
- Computación en la nube.
- Bases de datos relacionales.
- Detección de objetos en imágenes.
Respuesta y análisis
| # | Veredicto | Por qué |
|---|---|---|
| 1 | Correcta | Láminas 33–34: transformers en NLP y el benchmark GLUE |
| 2 | Falsa | La nube hizo posible entrenar modelos grandes, pero no es una tecnología que avance «mediante redes neuronales» |
| 3 | Falsa | Tecnología de los años 70, anterior al periodo y ajena a las redes neuronales |
| 4 | Correcta | Láminas 6–7: ImageNet, 1,2 millones de imágenes de entrenamiento y 1.000 categorías de objetos |
Error típico: marcar la nube porque es históricamente importante. Es verdadera como historia y falsa como respuesta a esta pregunta.
Respuesta correcta y cómo se resuelve
Respuesta: con muchos datos; con pocos, los algoritmos clásicos rinden igual o mejor. Melbourne tiene 6.336 filas de entrenamiento y 12 columnas: corresponde un algoritmo clásico, y el mejor medido fue HistGradientBoosting (R² 0,757 en 2017).
Error típico: elegir deep learning por ser más moderno. Con miles de filas de tabla, la lámina 8 indica un algoritmo clásico. Cifras: [FUENTE · Repo: 09_RESULTADOS/resultados_temporal.json · «HistGradientBoosting | log»]
a) ¿Considera Ud. que el ajuste de su compañero fue realizado correctamente? ¿Por qué?
b) En caso de responder «no», ¿qué haría para mejorar el ajuste?
La figura: cinco puntos aproximadamente en (15; 0,38) · (20; 0,51) · (25; 0,53) · (30; 0,99) · (35; 1,41), con DAP en cm y volumen en m³. La curva naranja pasa exactamente por los cinco, alcanza un máximo cerca de DAP 34 y cruza a volumen negativo cerca de DAP 36,5.
Respuesta y análisis
- Estadístico: con 5 puntos, un polinomio de grado 4 pasa exactamente por todos y el error cuadrático medio de entrenamiento es cero. Un error cero con tantos parámetros como datos no demuestra nada: el modelo memorizó los 5 árboles.
- Físico: la curva predice menos volumen para árboles más gruesos después de DAP 34 y volumen negativo desde DAP 36,5. El volumen no puede ser negativo y crece con el diámetro.
- Bajar el grado del polinomio: con 5 puntos y una relación creciente, grado 1 o 2.
- Elegir el grado con un conjunto de validación. Es el ejemplo exacto de la lámina 8: «conjunto de validación: se utiliza para ajustar hiperparámetros (por ej., el orden del polinomio)».
- Conseguir más árboles: 5 puntos no sostienen un modelo flexible.
- Exigir lo que se sabe del dominio: volumen no negativo y creciente con el DAP.
El algoritmo hizo exactamente lo que se le pidió: minimizar el error sobre los 5 árboles. El error está en el diseño, en elegir un grado que permite interpolar. La regresión polinomial sigue siendo regresión lineal (es lineal en los parámetros θ, no en x), así que la decisión que importa es el grado.
Error típico: elegir el grado mirando el conjunto de test, o proponer «un modelo lineal en vez de uno polinomial» sin decir cuál grado ni cómo se elige.
Respuesta correcta y cómo se resuelve
Respuesta: un modelo se juzga por su error en datos que no vio. Para elegir entre la recta y el polinomio se mira el error en validación; el test se reserva para la evaluación final.
- Se ajusta cada candidato (grado 1, 2, …) con entrenamiento.
- Se mide cada uno en validación y gana el de menor error.
- Una recta que falla un poco en los 5 árboles pero predice bien el sexto le gana a un polinomio que da volumen negativo en DAP 37.
Error típico: elegir el grado con el test; deja de ser independiente (lámina 8).
a) la matriz de confusión · b) exactitud · c) precisión · d) tasa de verdaderos positivos · e) tasa de falsos positivos
«Explicite cada supuesto que haga. Por ejemplo, a qué lado del modelo están los círculos, qué considera como positivo, etc.»
Durante el certamen el profesor indicó escribir esta respuesta en la pregunta 11 [FUENTE · Repo: 05_CLASES/transcripciones/2026-08-28T22_09_14Z_Fundamentos_en_Ciencia_de_Datos.md · 0:12:32–0:14:47]. Abajo está el procedimiento completo, resuelto con la matriz oficial de la lámina 19.
Respuesta y análisis
- Declarar la convención antes de contar: qué clase es positiva y qué lado de la línea predice positivo. Sin eso, «falso positivo» no significa nada.
- Contar VP, FN, FP y VN, asignando cada punto a una casilla.
- Verificar los marginales: VP + FN = P y FP + VN = N. Si no cuadran, hay un error de conteo.
- Aplicar las fórmulas de la lámina 18, con el denominador de cada métrica.
- Interpretar cada número en palabras del problema.
Filas = etiqueta predicha, columnas = etiqueta real; positivo = círculo.
- a) Matriz: VP = 6, FP = 2, FN = 1, VN = 7. Marginales: P = 7, N = 9, total 16.
- b) Exactitud = (6 + 7) / 16 = 0,8125
- c) Precisión = 6 / (6 + 2) = 0,75
- d) TVP = 6 / 7 = 0,857
- e) TFP = 2 / 9 = 0,222
Error típico: leer la matriz con la orientación de scikit-learn (filas = real) y cambiar el 2 por el 1: da precisión 6/7 y TVP 6/8, invertidas.
Respuesta correcta y cómo se resuelve
Respuesta: no cambia la exactitud (0,872). Cambian precisión, TVP y TFP.
- Positivo = clase 0: VP = 25, FN = 71, FP = 57, VN = 847 (P = 96, N = 904).
- Exactitud = 872 / 1.000 = 0,872; precisión = 25 / 82 = 0,305; TVP = 25 / 96 = 0,260; TFP = 57 / 904 = 0,063.
- Invertida: VP = 847, FN = 57, FP = 71, VN = 25. Exactitud = 0,872; precisión = 847 / 918 = 0,923; TVP = 847 / 904 = 0,937; TFP = 71 / 96 = 0,740.
Error típico: tomar esta exactitud binaria (0,872) como la del modelo de tres clases (0,774). [FUENTE · Repo: 08_PROYECTO_FCD/Desafio/REPORT.md · matriz de confusión]
La figura: 10 círculos y 5 triángulos. El Modelo 1 usa fronteras diagonales y el Modelo 2 fronteras horizontales, cada uno en cuatro umbrales.
Respuesta y análisis
Convención: círculo = positivo (P = 10), triángulo = negativo (N = 5); el lado inferior izquierdo de la línea predice positivo.
| Umbral | Círculos del lado positivo | Triángulos del lado positivo | TVP = VP/P | TFP = FP/N |
|---|---|---|---|---|
| 1 | 3 | 0 | 0,3 | 0,0 |
| 2 | 6 | 0 | 0,6 | 0,0 |
| 3 | 8 | 1 | 0,8 | 0,2 |
| 4 | 10 | 3 | 1,0 | 0,6 |
En el primer umbral, el Modelo 2 da TVP 0,2 con TFP 0,0: a igual TFP, recupera menos positivos que el Modelo 1 (0,3).
Los datos se separan en diagonal: círculos abajo a la izquierda, triángulos arriba a la derecha. Las fronteras diagonales del Modelo 1 siguen esa separación; las horizontales del Modelo 2 solo cortan por x₂ y siempre arrastran errores. Si una curva ROC queda por encima de la otra, la conclusión no depende del umbral que se elija.
Si se quiere el área: con los cuatro puntos más (0,0) y (1,1), el AUC del Modelo 1 por trapecios es 0,2 · 0,70 + 0,4 · 0,90 + 0,4 · 1,00 = 0,900.
Error típico: elegir por un solo umbral, comparar el umbral de un modelo con otro umbral del otro, o citar un AUC sin mostrar de dónde sale.
Respuesta correcta y cómo se resuelve
Respuesta: «círculo» a todo → (1,0; 1,0); «triángulo» a todo → (0,0; 0,0). Son las dos esquinas donde empieza y termina toda curva ROC.
- «Círculo» a todo: VP = 10 y FP = 5 → TVP = 10/10 = 1, TFP = 5/5 = 1.
- «Triángulo» a todo: VP = 0 y FP = 0 → TVP = 0, TFP = 0.
- Un clasificador al azar cae sobre la diagonal (TVP = TFP); uno útil queda por encima.
Error típico: creer que «círculo a todo» es bueno porque su TVP es 1: su TFP también es 1.
Respuesta y análisis
Respuesta y análisis
- La convención de clase positiva usada en la matriz y en la ROC.
- Las lecturas aproximadas de las figuras (por ejemplo, los puntos de la pregunta 7).
- Lo que no se pudo determinar, y por qué.
- En este certamen, además, la respuesta de la pregunta 8, porque el profesor pidió escribirla aquí.
Error típico: dejar el campo vacío o escribir «no hice supuestos»: la matriz no tiene sentido sin declarar cuál clase es positiva.
Cómo armar esta respuesta en cualquier certamen
Recorre cada respuesta y pregúntate «¿qué usé que el enunciado no me dio?». Salen tres tipos: convenciones (qué es positivo), lecturas aproximadas (valores tomados de una figura) e interpretaciones del enunciado (qué representa cada panel). [DATITO]
Las trampas de este certamen
| Trampa | Dónde | Pregunta que la desarma |
|---|---|---|
| Cantidad presentada como calidad | 1 | ¿Aporta algo distinto o es más de lo mismo? |
| Dirección invertida en una afirmación plausible | 3, opción 1 | ¿Más filas o más columnas? |
| Criterio de entrenamiento ofrecido como métrica | 4, ganancia de pureza | ¿Sirve para construir o para evaluar? |
| Afirmación contraria a la lámina | 5, opción 1 | ¿Qué dice la lista de «para qué son malos»? |
| Verdad histórica que no responde la pregunta | 6, la nube | ¿Qué acota el enunciado? «Mediante redes neuronales» |
| Ajuste perfecto presentado como buen ajuste | 7 | ¿Cuántos parámetros contra cuántos datos? ¿Qué dice la física? |
| Comparar modelos en un solo punto | 9 | Un modelo es una curva, no un umbral |
Cierre de la Clase 21 · Distinciones del Certamen 2
Qué aprendiste
- Sobreajuste, validación y ensambles pesan 36 %; métricas de clasificación, 27 %.
- Todo es resoluble a mano, en papel.
Qué no debes confundir
- Comparar un punto ≠ comparar un modelo (P9).
- FPR ≠ 1 − precisión (P8).
- Número de modelos ≠ diversidad (P1).
Procedimiento para el papel
- Identifica el formato: verdadero/falso, «cuál es incorrecta», varias correctas, figura o cálculo.
- Nombra la distinción.
- Resuelve por el mecanismo y ancla con la cifra.
Viene de: Clase 20 · Distinciones del Certamen 1 · Sigue: Clase 22 · Transferencia: ¿qué problema tengo delante?
Vuelve a tu activación: Antes de abrir cada ficha: escribe la distinción que crees que decide la pregunta. ¿Cambiarías tu respuesta?
Respuesta correcta y cómo se resuelve
Comparar un punto de operación ≠ comparar un modelo: un modelo es una curva ROC completa. [FUENTE · Repo: 07_DATITO/06_AUDITORIAS/patron_evaluacion.md §1]
El cierre es una síntesis de la clase [DATITO]: cada afirmación tiene su fuente en el cuerpo de este visual. Fuente del cierre: 07_DATITO/clases.yaml.