Al terminar sabrás…
- Recorrer los cinco pasos del asistente Create model y saber qué decide cada uno
- Elegir sensores, algoritmo y espacio de acciones adecuados para una contrarreloj
- Calcular cuántas acciones genera un espacio de acciones discreto
- Configurar la condición de parada y reconocer los estados del entrenamiento
- Crear y entrenar durante 30 minutos tu primer modelo en la pista del campeonato
Vídeo: Tu primer modelo en 5 minutos
Guion del vídeo (texto)
El asistente Create model. Crear un modelo es seguir un asistente de cinco pasos. Primero le das un nombre y eliges la pista. Después, los sensores y el algoritmo. En el tercer paso defines qué acciones puede hacer el coche. En el cuarto eliges la carcasa. Y en el quinto revisas la función de recompensa y cuánto tiempo va a entrenar. Al final pulsas el botón para entrenar, y el resto lo hace la plataforma.
Paso uno, nombre y pista. En el primer paso escribe un nombre de hasta sesenta y cuatro caracteres, solo con letras, números y guiones. Luego elige el tipo de carrera. Para empezar, la contrarreloj, que en la plataforma se llama time trial. Y elige la pista. La recomendación oficial es entrenar en la misma pista en la que vas a competir, así que usa la que indique la organización.
Paso dos, sensores y algoritmo. En el segundo paso eliges los sensores. Para una contrarreloj, lo recomendado es solo la cámara frontal: es la opción más barata y la que aprende más rápido. La cámara estéreo y el LiDAR sirven para esquivar obstáculos. Después eliges el algoritmo. Deja el que viene por defecto, PPO. Lo veremos a fondo más adelante. Y ojo, el algoritmo no se puede cambiar al clonar.
Paso tres, espacio de acciones. El espacio de acciones es el menú de movimientos del coche. En el espacio discreto hay una lista cerrada, como los botones de un mando. En el continuo das un rango, como un volante y un pedal. El discreto por defecto combina cinco ángulos y dos velocidades: diez acciones en total. El discreto entrena más rápido. El continuo es más flexible, pero necesita más entrenamiento.
Ni muy poco ni demasiado. Al definir las acciones busca el equilibrio. Si el rango de giro es muy estrecho, el coche no podrá tomar las curvas cerradas. Si es demasiado amplio, tenderá a hacer zig-zag. Si la velocidad es muy baja, nunca será competitivo, y si es muy alta, se pasará de frenada en las curvas. Más velocidad y más acciones dan más posibilidades, pero el modelo tarda más en aprender.
Pasos cuatro y cinco. En el cuarto paso eliges la carcasa, que es pura estética. En el quinto verás un editor con la función de recompensa por defecto, que premia ir cerca de la línea central. Pulsa el botón de validar. Debajo está la condición de parada, que es el tiempo máximo de entrenamiento: entre diez minutos y veinticuatro horas. Para tu primer modelo, pon treinta minutos.
Los estados del entrenamiento. Al pulsar el botón de entrenar, el modelo pasa por varios estados. Primero queda en cola. Después se inicializa, que tarda unos minutos. Luego entrena, y puedes ver el vídeo en directo. Al terminar queda listo, o en error si algo falló. Si no hay capacidad, verás que espera capacidad, y tendrás que reintentar el entrenamiento cuando haya hueco.
El plan para principiantes. AWS propone un plan para principiantes. Primero, un entrenamiento de treinta minutos con la configuración y la recompensa por defecto, y evalúalo. Después cambia la función de recompensa para premiar la velocidad y entrena una o dos horas. Más tarde, crea un modelo nuevo con más velocidad máxima. Y al final, prueba pistas más difíciles. Hoy haces el primer paso.
El asistente Create model
Ya sabes qué es el aprendizaje por refuerzo y conoces la plataforma. Ahora toca crear tu primer modelo. Se hace desde Your models (tus modelos) pulsando Create model (crear modelo), que abre un asistente de cinco pasos:
- Specify model name and environment: nombre del modelo y entorno (tipo de carrera y pista).
- Choose vehicle sensors and hyperparameters: sensores del vehículo, algoritmo e hiperparámetros.
- Define action space: el espacio de acciones, es decir, qué movimientos puede hacer el coche.
- Choose a shell: la carcasa.
- Customize reward function: la función de recompensa y la condición de parada. Termina con el botón Train your model (entrenar tu modelo).
Piensa en el asistente como en preparar a un deportista: le pones nombre, eliges en qué estadio entrena, qué sentidos usa, qué movimientos tiene permitidos, qué camiseta lleva y cómo le vas a puntuar. Vamos paso a paso.
Inicio - Create model
Pulsa Create model en Your models o, como aquí, en Get started. Se abre el asistente de cinco pasos, que verás siempre a la izquierda de la pantalla.
1 - Nombre del modelo
Escribe el Model name: hasta 64 caracteres, solo letras, números y guiones, sin espacios ni guiones bajos. La descripción (Model description) es opcional.
1 - Tipo de carrera y pista
Deja Time trial y elige la pista que indique la organización (por defecto, A to Z Speedway) y su sentido en Track direction. Mantén Minimum evaluation trials en 5 y pulsa Next.
2 - Sensores
Para una contrarreloj basta la cámara frontal (Camera), que viene marcada por defecto y es la que converge más rápido.
2 - Algoritmo e hiperparámetros
Deja PPO y los Hyperparameters por defecto; los estudiarás en M7. Recuerda que al clonar no podrás cambiar el algoritmo. Pulsa Next.
3 - Espacio de acciones
Con Discrete action space defines la granularidad y el máximo de dirección y de velocidad. Con 5 ángulos hasta 30° y 2 velocidades hasta 1 m/s salen las 10 acciones que ves en el Action list.
4 - Carcasa
Elige una carcasa en Vehicle shell y un color en Trim colors. Es solo estética: no cambia el rendimiento.
5 - Función de recompensa
El editor trae una función que premia ir cerca de la línea central. Tienes Reward function examples, Reset y Validate: valida siempre antes de continuar.
5 - Condición de parada y entrenamiento
En Maximum time fija los minutos de entrenamiento (de 10 a 1440) y pulsa Train your model. El modelo pasará por Queued, Initializing y Training hasta quedar Ready.
Capturas: Guía de implementación de DeepRacer on AWS (AWS)
Paso 1: nombre, tipo de carrera y pista
Nombre. Hasta 64 caracteres, solo letras (A-Z, a-z), números y guiones. No admite espacios ni guiones bajos. La descripción es opcional, de hasta 255 caracteres.
Un buen nombre te ahorrará disgustos cuando tengas veinte modelos. Una convención útil: equipo-pista-version-idea, por ejemplo rayos-azspeedway-v1-base.
Tipo de carrera. Hay dos:
- Time trial (contrarreloj): dar la vuelta lo más rápido posible sin salirse.
- Object avoidance (evitar obstáculos): la vuelta más rápida esquivando objetos en la pista. Puedes elegir entre 1 y 6 objetos (3 por defecto), en posiciones fijas o aleatorias.
La recomendación oficial es empezar por Time trial antes de pasar a obstáculos.
Pista. La que aparece por defecto es A to Z Speedway, en sentido horario. Pero la guía es clara: si vas a competir, lo mejor es entrenar en la misma pista que se usará en la competición. Algunas pistas permiten elegir el sentido.
Minimum evaluation trials. Es el número de vueltas de evaluación que corre el simulador después de cada iteración de entrenamiento. Por defecto 5, mínimo 1. Un valor bajo deja más tiempo para iteraciones de entrenamiento; uno alto da una medida más fiable del progreso.
Paso 2: sensores y algoritmo
Sensores
| Sensor | Uso recomendado |
|---|---|
| Cámara frontal | Time trial y obstáculos en posiciones fijas. La más barata y la que converge más rápido |
| Cámara estéreo | Obstáculos fijos o aleatorios. Aporta profundidad, pero converge más despacio |
| Cámara + LiDAR | Evitar obstáculos |
| Cámara estéreo + LiDAR | Evitar obstáculos. Probablemente no es lo más económico para Time trial |
Por defecto viene seleccionada la cámara frontal, y para una contrarreloj es justo lo que necesitas.
Algoritmo
En este mismo paso eliges el algoritmo de entrenamiento:
- PPO (por defecto): mejora mediante ajustes pequeños y cuidadosos, como cuando refinas tu técnica después de cada vuelta de práctica. Funciona con espacios de acciones discretos y continuos.
- SAC: más flexible, pero necesita más ajuste fino. Solo funciona con espacio continuo.
Para tu primer modelo, deja PPO. También verás los hiperparámetros: déjalos por defecto; los estudiaremos en el módulo M7.
Paso 3: el espacio de acciones
El espacio de acciones es el menú de movimientos del coche. Cada acción es una combinación de velocidad y ángulo de giro. Hay dos tipos.
Espacio discreto: los botones de un mando
Defines una lista cerrada de acciones con cuatro valores:
- Granularidad de dirección: 3, 5 o 7 ángulos.
- Ángulo máximo: de 1° a 30°.
- Granularidad de velocidad: 1, 2 o 3 velocidades.
- Velocidad máxima: de 0,1 a 4 m/s.
La plataforma genera todas las combinaciones, con ángulos repartidos por igual entre el máximo a la izquierda y el máximo a la derecha, y velocidades repartidas entre la máxima dividida por la granularidad y la máxima.
Ejemplo resuelto: el espacio discreto por defecto. Ángulo máximo 30° con granularidad 5, y velocidad máxima 1 m/s con granularidad 2.
- Ángulos: −30°, −15°, 0°, 15° y 30° (5 valores).
- Velocidades: 1 ÷ 2 = 0,5 m/s y 1,0 m/s (2 valores).
- Total: 5 × 2 = 10 acciones.
Los ángulos negativos giran a la derecha y los positivos a la izquierda. Con Advanced configuration (configuración avanzada) puedes editar acciones una a una o añadir y quitar acciones, entre 2 y 30.
Espacio continuo: un volante y un pedal
En lugar de una lista, das un rango: ángulo máximo a la izquierda (0 a 30°), a la derecha (−30 a 0°), velocidad mínima (0,5 a 4 m/s) y máxima (hasta 4 m/s). El coche puede elegir cualquier valor intermedio. El formulario arranca con 1 a 2 m/s y ±10°, aunque conviene comprobarlo en pantalla.
| Discreto | Continuo | |
|---|---|---|
| Cómo es | Lista cerrada de combinaciones | Rangos de giro y velocidad |
| Entrenamiento | Más rápido | Necesita más entrenamiento |
| Flexibilidad | Limitada a las acciones definidas | Mayor |
| Algoritmos | PPO | PPO y SAC |
Cómo elegir valores
Los consejos oficiales:
- Un rango de giro demasiado estrecho no permite tomar curvas cerradas; uno demasiado amplio provoca zig-zag.
- Una velocidad demasiado baja nunca será competitiva; una demasiado alta hace que el coche se pase de frenada en las curvas.
- Cuanto más alta la velocidad máxima y más acciones, más opciones de ir rápido, pero el modelo puede tardar más en converger.
Pasos 4 y 5: carcasa, recompensa y condición de parada
Paso 4. Elige la carcasa y el color. Es solo estética.
Paso 5. Verás un editor de Python con la función de recompensa, y los botones Reward function examples (ejemplos), Validate (validar) y Reset (restablecer). Por defecto viene cargada una función que premia ir cerca de la línea central. Este es el ejemplo oficial de la guía en el que se basa:
def reward_function(params):
'''
Example of rewarding the agent to follow center line
'''
# Read input parameters
track_width = params['track_width']
distance_from_center = params['distance_from_center']
# Calculate 3 markers that are increasingly further away from the center line
marker_1 = 0.1 * track_width
marker_2 = 0.25 * track_width
marker_3 = 0.5 * track_width
# Give higher reward if the car is closer to center line and vice versa
if distance_from_center <= marker_1:
reward = 1
elif distance_from_center <= marker_2:
reward = 0.5
elif distance_from_center <= marker_3:
reward = 0.1
else:
reward = 1e-3 # likely crashed/ close to off track
return reward
Traducido: muy cerca del centro (a menos del 10 % del ancho de la pista), 1 punto; un poco más lejos, 0,5; cerca del borde, 0,1; prácticamente fuera, casi nada. La versión de la consola es igual, pero devuelve un float. Hoy no la toques: la verás línea a línea en M5 y M6.
Condición de parada. Es el Maximum time (tiempo máximo) de entrenamiento: entre 10 y 1440 minutos (24 horas). El formulario arranca en 10.
Estados del entrenamiento
Al pulsar Train your model, el entrenamiento empieza automáticamente y el modelo pasa por estos estados:
Queued (en cola) → Initializing (inicializando) → Training (entrenando) → Ready (listo) o Error.
Si no hay capacidad disponible, aparecerá WAITING_FOR_CAPACITY y tendrás que usar Retry training. Mientras entrena, puedes ver el vídeo en la sección Training del modelo.
El plan oficial para principiantes
AWS propone este itinerario para empezar con contrarreloj:
- Pista sencilla, configuración por defecto, 30 minutos con la función de recompensa por defecto, y evaluar.
- Cambiar la función de recompensa para premiar la velocidad y entrenar 1 o 2 horas, comparando las gráficas de recompensa.
- Ajustar el espacio de acciones (subir la velocidad máxima) creando un modelo nuevo.
- Pasar a pistas complejas y evaluar en otras pistas para comprobar si el modelo generaliza.
- Opcional: ajustar hiperparámetros y analizar logs.
Actividad práctica
Vas a crear y entrenar tu primer modelo durante 30 minutos. Hazlo con tu equipo delante.
- Entra en DeepRacer on AWS, ve a Your models y pulsa Create model.
- Paso 1: escribe un nombre siguiendo vuestra convención, por ejemplo
equipo-pista-v1-base(sin espacios ni guiones bajos). Elige Time trial y la pista y el sentido que indique la organización. Deja Minimum evaluation trials en su valor por defecto. - Paso 2: deja la cámara frontal como único sensor y el algoritmo PPO con sus hiperparámetros por defecto.
- Paso 3: deja el espacio de acciones discreto por defecto. Anota en vuestro registro sus acciones (ángulos y velocidades) y comprueba que salen 10.
- Paso 4: elige la carcasa y el color de vuestro equipo.
- Paso 5: deja la función de recompensa por defecto y pulsa Validate. Pon el Maximum time en 30 minutos. Si ves una casilla para enviar el modelo automáticamente a una carrera al terminar, déjala sin marcar.
- Pulsa Train your model.
- Observa los estados: Queued, Initializing, Training. Cuando esté en Training, abre el vídeo y mirad juntos cómo conduce al principio (casi al azar) y cómo cambia con el tiempo.
- Mientras entrena, anotad en el registro: nombre, pista, sentido, sensores, algoritmo, espacio de acciones, función de recompensa y tiempo.
- Cuando llegue a Ready, apuntad vuestra primera impresión: ¿completa vueltas? ¿hace zig-zag? En el módulo M8 aprenderás a evaluarlo en serio.
Resumen
- El asistente Create model tiene cinco pasos: nombre y pista, sensores y algoritmo, espacio de acciones, carcasa y función de recompensa con condición de parada.
- Para una contrarreloj, entrena en la pista de la competición con la cámara frontal y PPO.
- El espacio discreto por defecto tiene 10 acciones (5 ángulos por 2 velocidades); entrena más rápido que el continuo, que es más flexible.
- El tiempo de entrenamiento va de 10 a 1440 minutos y el modelo pasa por Queued, Initializing, Training y Ready.
- El plan oficial empieza con 30 minutos y todo por defecto; después se premia la velocidad y se sube la velocidad máxima.
Test final
Comprueba lo que has aprendido. Necesitas 4 aciertos de 5 para superar el módulo.