← Índice del curso

ZorzALL: un modelo pequeño que escucha antes de resolver

Caso de Agents Learning Loops en la competencia Gemma 4 Developer Agent de Kaggle · estado al 2026-10-05, 02:25 UTC

1 · El caso en seis preguntas

1 · ¿Qué plantea Google como desafío?

Los mejores agentes de programación dependen de modelos enormes en la nube. Google pide lo contrario: tomar un modelo abierto y pequeño, Gemma 4, y convertirlo en un agente fiable que navegue un repositorio y proponga la corrección de un problema real.

Google nombra el camino que espera: post-entrenar el modelo (adaptadores, aprendizaje por refuerzo) y aprovechar los grafos de código que entrega. También acepta trabajos sobre tareas y formas de evaluar.

2 · ¿Qué pregunta buscamos resolver?

Tenemos dos, y la segunda es condición de la primera.

Sin la segunda, cualquier «mejora» de la primera puede ser azar. Por eso el caso empezó midiendo el instrumento y no al agente.

3 · ¿Qué datos usamos?

4 · ¿Qué ofrecemos?

Hoy no ofrecemos una nota alta. Ofrecemos tres cosas que le sirven a cualquier participante:

1. Una medición del instrumento. En el entorno del notebook oficial, solo 71 de las 129 tareas públicas permiten comprobar una solución. En 34 de las que fallan, la causa es que falta un paquete que solo usan las pruebas.
2. Un método. Medir el ruido antes de comparar, escribir la predicción antes de correr y conservar solo lo que supera el ruido.
3. Herramientas abiertas. Un simulacro que valida un envío sin GPU, un chequeo previo de notebooks y un rescate de todo lo que Kaggle entrega. Están en el repositorio público de ALL.

5 · ¿Qué hemos enviado?

El segundo envío es el mismo archivo a propósito. Dio una tarea menos que el primero: ese es el ruido de la tabla.

6 · ¿Cuál es nuestro artículo y cuál la hipótesis?

La propuesta se llama ZorzALL; su idea está en la sección 7.

Título del borrador: «Agents Learning Loops con Gemma 4: cuánto se puede creer una diferencia antes de convertir una lección en instrucción del agente». Aún no se ha enviado a la pista de artículo.

2 · Cómo funciona la competencia

Lo que entregas no es un modelo ni un programa. Es la configuración de un agente. La evaluación ocurre en dos etapas separadas, y confundirlas lleva a conclusiones equivocadas.

El presupuesto: qué es oficial y qué no

Qué pasa con cada tarea

3 · El arnés por dentro: ayudas, trampas y diferencias

El arnés es el programa del organizador que pone a trabajar al agente: levanta el modelo, le da herramientas, cuenta el presupuesto y recoge el parche. Es lo único que podemos configurar, así que conviene conocerlo mejor que al modelo.

Ayudas del arnés: lo que juega a tu favor

Trampas del arnés: lo que nadie avisa

Las encontró un revisor leyendo el código y ejecutándolo con un modelo simulado.

Dos entornos distintos

4 · Dónde estamos en la tabla

La tabla trunca la nota a dos decimales. Conviene leerla en tareas: 0,06 son 4 de 58.

5 · ¿Una diferencia es real o es ruido?

Es la pregunta de todo el caso. Mueve los controles y mira si los dos intervalos se separan.

Cuántas tareas hacen falta para ver una mejora

Calculado por simulación en la revisión de método. Diferencia mínima que se detecta ocho de cada diez veces, con una tasa base del 20 %:

6 · El proceso: diecisiete pruebas

Cada prueba responde una sola pregunta. Las que no necesitan el modelo se hacen sin GPU, porque una corrida con GPU espera entre 3 y 8 horas en cola.

6b · Lo que mostró la primera medición completa

Dos corridas con GPU, sobre tareas válidas de un mismo repositorio. Cada una repite la configuración enviada dos veces, para medir el ruido.

El hallazgo: el agente edita cuando el arnés le avisa

El arnés avisa cuando quedan 10 llamadas o menos. Cada punto es una tarea, puesto en la llamada donde hizo su primera edición.

Las tareas resueltas editan pronto, casi todas antes de la llamada 15. Entre las que editan tarde, muchas lo hacen justo después del aviso:

Dos datos que moderan la lectura

• 11 de las 15 tareas no se resolvieron en ninguna de las cuatro pasadas. Solo 4 se resolvieron alguna vez, y 2 en las cuatro.
• Quedarse sin editar es en parte cosa de la tarea. De las sesiones sin llamada de edición, 5 tareas se repiten en las dos pasadas iguales y 3 aparecen solo en una. No es solo azar del agente: hay tareas donde no logra ubicar el fallo.

Tres maneras de romper el bucle

Cada una cambia una sola cosa. Están ensayadas en local con el arnés real y un modelo simulado. Ninguna se ha medido todavía con el modelo.

6c · Lo que de verdad separa lo resuelto de lo no resuelto

Después de comparar configuraciones del agente sin ver diferencias, cruzamos los resultados con las tareas. La separación no estaba en el agente.

Qué es un enunciado corto

Un título y una o dos líneas. En 32 de los 47 que hay entre las tareas públicas, lo que sigue al título es una referencia a un issue o una dirección web que el agente no puede abrir, porque trabaja sin Internet. Le quedan 3 o 4 palabras útiles. Son el 36 % de las tareas públicas.

¿Puede encontrar el archivo con tan poco?

Sí, y eso fue lo inesperado. Ordenamos los 124 archivos de código de cada repositorio por cuántas palabras del enunciado contienen, y miramos en qué puesto queda el que había que corregir:

7 · ZorzALL: la idea

Gemma 4 es un modelo pequeño con un fondo de tiempo fijo. No puede ganar por fuerza. ZorzALL es una forma de armar su arnés para que primero escuche la señal real del fallo y, cuando la ubica, trabaje sobre ese punto hasta resolverlo. El nombre lleva dentro ALL, de Agents Learning Loops.

Los rasgos

Hay dos versiones. La primera está registrada con sus umbrales; la segunda es la definición corregida tras la revisión y espera aprobación.

Decirlo o construirlo

Canta: pedir ayuda a pares

Cuando un zorzal canta, llegan otros. En el arnés eso es llamar a un ayudante del mismo modelo, con contexto limpio, y pasarle la señal de la ejecución. No es gratis: lo que el ayudante haga gasta del mismo contador. Por eso el canto necesita un disparador. Es una idea sin medir.

El oído: donde nadie está corrigiendo

Casi todos los equipos corrigen al agente: instrucciones, presupuesto, número de agentes. Pocos miran el suelo donde el agente trabaja. En cinco copias de un repositorio, entre el 13 % y el 61 % de los archivos de prueba existentes no se pueden cargar, porque faltan paquetes que solo usan las pruebas.

El envío puede llevar una skill con esos paquetes y dejarlos disponibles. Lo probamos en local, con el arnés real y un modelo simulado:

8 · Qué dice la literatura

Revisión hecha el 2026-10-04 por un revisor independiente con búsqueda web. Las referencias de la lista son las que el revisor abrió; hay que volver a abrir cada una antes de citarla en un artículo.

9 · El concilio: lo que se cayó y lo que queda

Antes de gastar la cuota, tres revisores independientes intentaron refutar la idea: uno con la literatura, uno con estadística y simulaciones, y uno leyendo y ejecutando el arnés.

10 · Cómo se valida: historias, criterios y pruebas

Cada afirmación se escribe como una historia; su criterio de aceptación es una prueba que corre sola. Si alguien cambia la regla, la prueba falla.

39 pruebas en el repositorio público de Agents Learning Loops. La revisión de método pidió cambios que aún no se aplican.

11 · Qué sabemos y qué no

12 · Para resolver en papel

P1. Mides en 15 tareas. A resuelve 3 y B resuelve 5. ¿Puedes afirmar que B es mejor?

P2. Medimos en un repositorio público y la nota se pone sobre repositorios privados. ¿Qué tipo de error de validación es ese?

P3. ¿Por qué cada corrida incluye la misma configuración dos veces?