Evaluar, analizar y mejorar

Ya has entrenado tu primer modelo. ¿Y ahora qué? Entrenar es solo la mitad del trabajo: la otra mitad es medir cómo conduce y decidir qué cambiar. Piensa en un equipo de fórmula 1: después de cada sesión de pruebas, los ingenieros miran datos, comparan vueltas y ajustan el coche. Tú vas a hacer exactamente lo mismo, pero con tu modelo.

La gráfica de recompensa

Cuando abres un modelo en Your models (tus modelos), la pestaña Training (entrenamiento) muestra una gráfica que se va dibujando mientras el coche aprende. En el eje horizontal aparece Iteration (iteración: cada ciclo de "recoger episodios y actualizar la red") y en el vertical Reward/Percentage (recompensa o porcentaje).

La gráfica tiene cinco series:

Las series de evaluación salen de las Minimum evaluation trials que configuraste en el paso 1 del asistente (5 por defecto): son vueltas que el simulador corre tras cada iteración para tomar una medida más limpia.

En esa misma pestaña tienes el vídeo en directo (solo mientras entrena) y el botón Download logs (descargar registros).

Cómo interpretarla de forma práctica

La guía oficial no explica la gráfica línea a línea, pero sí da un criterio muy claro: un modelo ha convergido cuando completa vueltas con regularidad. Hacia el final del entrenamiento tienes que ver un progreso del 100 %.

Por eso, la serie que más te interesa es Average completion (Evaluation). Algunos patrones típicos:

1. La completion sube y se queda cerca del 100 %. Buena señal: el coche termina vueltas. Ahora toca buscar velocidad.
2. La completion sube y baja como una montaña rusa. El coche aún no es regular. Puede necesitar más tiempo o una función de recompensa más clara.
3. La recompensa sube, pero la completion no. Cuidado: tu función está premiando algo que no lleva a terminar la vuelta (por ejemplo, ir por el centro muy despacio sin avanzar). Revisa la función antes de entrenar más.
4. Todo plano desde el principio. El coche no está aprendiendo. Revisa que la función devuelva valores distintos según cómo conduzca.

La evaluación paso a paso

La evaluación ejecuta varias vueltas sin aprender. Sirve para medir cuántas vueltas completa, en qué tiempo y con qué regularidad. Es tu simulacro de examen.

Para lanzarla:

1. Entra en tu modelo y abre la pestaña Evaluation (evaluación).
2. Pulsa Start evaluation (o Start new evaluation si ya hiciste alguna).
3. Escribe un nombre (hasta 64 caracteres), elige el tipo de carrera, la pista, el sentido y el número de vueltas.
4. Espera: durante unos minutos el estado será "initializing" (preparando).
5. Lee los resultados vuelta a vuelta en Evaluation results.

Las evaluaciones anteriores no se pierden: puedes recuperarlas en Evaluations selector → Load evaluation. Y al terminar puedes usar Download logs; el archivo viene en formato .tar.gz, así que en Windows necesitarás 7-Zip o un programa similar para abrirlo.

Las columnas de resultados

Ejemplo resuelto. Imagina estos resultados de 5 vueltas: cuatro con Lap complete entre 14 y 15 segundos, y una con Off track al 62 %. ¿Qué conclusión sacas? El modelo es rápido, pero no del todo fiable: hay una curva donde a veces se sale. Si el campeonato suma tiempos de varias carreras, esa salida puede costarte caro. Tu siguiente experimento debería buscar regularidad antes que más velocidad.

Evaluar en otra pista

Evaluar en una pista distinta a la de entrenamiento te dice si tu modelo generaliza, es decir, si ha aprendido a conducir o solo se ha aprendido de memoria un circuito. Es la diferencia entre un estudiante que entiende el tema y uno que memoriza las respuestas del examen del año pasado.

Además, esta prueba ayuda a estimar cómo se portará el modelo en un coche físico, donde nada es idéntico a la simulación. Si tu equipo aspira a la final presencial, es un hábito que conviene coger pronto.

Clonar, importar y exportar

Clonar

Un modelo entrenado es inmutable: no se puede modificar ni sobrescribir. Para seguir mejorándolo hay que clonarlo (menú Actions → Clone). El clon abre el mismo asistente con toda la configuración precargada y aprovecha lo que el original ya aprendió.

Reglas que debes conocer:

• Puedes clonar cualquier modelo tuyo o importado que no esté en error ni entrenándose o evaluándose.
• No puedes cambiar el algoritmo (PPO o SAC): la opción aparece desactivada.
• En un espacio de acciones discreto puedes cambiar los valores de ángulo y velocidad, pero no añadir ni quitar acciones.
• No se pueden clonar los modelos físicos.

Importar, exportar y borrar

• Exportar: Actions → Download virtual model (para guardarlo como copia de seguridad o llevarlo a otro despliegue) o Download physical car model (para el coche real).
• Importar: Your models → Import model → Upload folder. Si el modelo está comprimido, descomprímelo antes. Los modelos exportados hace mucho tiempo del servicio original pueden no ser compatibles.
• Borrar es permanente. Antes de borrar, piensa si ese modelo es la base de algún clon que te interese.

Paso 1 de 2

1 - Sube la carpeta

En Your models pulsa Import model y después Upload folder para elegir la carpeta del modelo virtual exportado (descomprímela antes si viene comprimida). Los modelos físicos no se pueden subir.

Paso 2 de 2

2 - Nombre e importación

Ponle un Model name válido (letras, números y guiones, sin espacios ni guiones bajos), añade si quieres una descripción y pulsa Import.

‹

Reproducir›

Capturas: Guía de implementación de DeepRacer on AWS (AWS)

El ciclo de mejora iterativo

Mejorar un modelo no es cuestión de suerte: es método científico. Este es el ciclo que te recomendamos:

1. Observa: mira la gráfica y los resultados de evaluación. ¿Dónde falla? ¿Se sale en una curva concreta? ¿Va lento en las rectas?
2. Formula una hipótesis: "Si premio la velocidad en las rectas, bajaré el tiempo por vuelta".
3. Cambia una sola cosa: la función de recompensa, el tiempo de entrenamiento o un hiperparámetro, pero no todo a la vez.
4. Clona y entrena.
5. Evalúa con las mismas condiciones que el modelo anterior (misma pista, sentido y número de vueltas).
6. Compara y anota en el diario de experimentos.

El plan oficial para principiantes sigue esta lógica: primero 30 minutos con la configuración por defecto; luego premiar la velocidad y entrenar 1-2 horas comparando gráficas; después subir la velocidad máxima creando un modelo nuevo; y por último probar en otras pistas para comprobar la generalización.

Plantilla de diario de experimentos

Copiad esta tabla en un documento compartido del equipo y rellenad una fila por modelo:

Análisis de logs (opcional, Senior)

Actividad práctica

Objetivo: evaluar tu modelo, sacar conclusiones y lanzar una mejora con un único cambio.

1. Entra en la plataforma DeepRacer on AWS del campeonato y abre Your models.
2. Elige un modelo en estado Ready y abre la pestaña Training. Anota en el diario la completion de evaluación al final del entrenamiento.
3. Abre la pestaña Evaluation y pulsa Start evaluation. Usa la misma pista y sentido del entrenamiento y 5 vueltas.
4. Cuando terminen, rellena en el diario: vueltas completas, mejor tiempo, salidas de pista y en qué estado terminó cada intento.
5. Lanza una segunda evaluación en una pista distinta (por ejemplo, otra sencilla de la lista). Compara: ¿generaliza tu modelo?
6. Con tu equipo, escribid una hipótesis de mejora en una frase.
7. Usa Actions → Clone, cambia solo una cosa según vuestra hipótesis y entrena.
8. Cuando el clon esté en Ready, evalúalo en las mismas condiciones que en el paso 3 y completa la fila del diario con vuestra conclusión.

Resumen

• La serie clave de la gráfica es Average completion (Evaluation): un modelo ha convergido cuando completa vueltas con regularidad y llega al 100 %.
• La evaluación mide sin aprender: tiempo, porcentaje completado, salidas de pista, choques y reinicios.
• Evaluar en otra pista te dice si el modelo generaliza o solo memoriza.
• Para mejorar un modelo hay que clonarlo; al clonar no puedes cambiar el algoritmo ni el número de acciones discretas.
• Mejora con método: una hipótesis, un cambio, misma evaluación y todo anotado en el diario.