Del simulador al coche físico (finalistas)

¡Enhorabuena, estáis en la final! Hasta ahora vuestro coche solo existía dentro de un ordenador. A partir de aquí va a correr sobre una pista de verdad: un coche AWS DeepRacer a escala 1/18, con tracción 4×4 y una cámara frontal. Este módulo os prepara para ese salto, que se parece mucho a pasar de un simulador de vuelo a pilotar una avioneta.

La brecha sim2real

La brecha sim2real (de "simulation to real") es la diferencia de rendimiento entre la simulación y la realidad. Ningún simulador es perfecto: en el mundo real hay luces, sombras, reflejos, polvo, ruedas que patinan y baterías que se descargan.

La plataforma ya hace parte del trabajo para que la brecha sea pequeña:

• En simulación el coche toma unas 10 acciones por segundo, igual que las unas 10 inferencias por segundo que hace el coche real.
• La cámara simulada imita a la real: gran angular de 120° convertida a escala de grises de 160×120 píxeles.
• La posición inicial se aleatoriza en cada episodio, para que el modelo aprenda toda la pista y no solo la salida.

El resto depende de vosotros y de la organización: una pista real con el mismo color, forma y dimensiones que la simulada, barreras alrededor y un coche calibrado para que su velocidad y su dirección coincidan con el espacio de acciones.

Causas habituales de un mal rendimiento

def reward_function(params):
    '''
    Example of penalize steering, which helps mitigate zig-zag behaviors
    '''

    # Read input parameters
    distance_from_center = params['distance_from_center']
    track_width = params['track_width']
    abs_steering = abs(params['steering_angle']) # Only need the absolute steering angle

    # Calculate 3 marks that are farther and father away from the center line
    marker_1 = 0.1 * track_width
    marker_2 = 0.25 * track_width
    marker_3 = 0.5 * track_width

    # Give higher reward if the car is closer to center line and vice versa
    if distance_from_center <= marker_1:
        reward = 1.0
    elif distance_from_center <= marker_2:
        reward = 0.5
    elif distance_from_center <= marker_3:
        reward = 0.1
    else:
        reward = 1e-3  # likely crashed/ close to off track

    # Steering penality threshold, change the number based on your action space setting
    ABS_STEERING_THRESHOLD = 15

    # Penalize reward if the car is steering too much
    if abs_steering > ABS_STEERING_THRESHOLD:
        reward *= 0.8

    return float(reward)

Del modelo al coche

Hay dos caminos para que vuestro modelo llegue al coche:

1. Envío por la organización (lo habitual en la final). Una persona facilitadora o administradora usa Optimize for car para convertir el modelo al formato del coche y después Upload model to car para enviarlo por red al coche activado (con la opción de borrar antes los modelos que tenga). El formato se elige automáticamente según el tipo de coche.
2. Descarga manual. Desde Actions → Download physical car model se descarga un archivo .tar.gz, y se sube en la consola del coche con Models → Upload.

La consola del coche

El coche tiene su propia consola web. Se entra desde un navegador conectado a la misma red que el coche, escribiendo su dirección IP. La contraseña por defecto está impresa en la parte inferior del coche.

Paso 1 de 4

1 - Desbloquea el coche

Escribe la IP del coche en el navegador. En Unlock your AWS DeepRacer vehicle introduce la contraseña (la de fábrica está impresa debajo del coche) y pulsa Access vehicle.

Paso 2 de 4

2 - La consola

El menú de la izquierda da acceso a Control vehicle, Models, Calibration, Settings y Logs. Abajo verás también la IP y el nivel de batería.

Paso 3 de 4

3 - Sube el modelo

Si el modelo se carga a mano, ve a Models, pulsa Upload y elige el archivo .tar.gz descargado con Download physical car model.

Paso 4 de 4

4 - Conduce en autónomo

En Control vehicle marca Autonomous driving y elige el modelo en Select a model (tarda unos 10 segundos en cargar). Ajusta Maximum speed como porcentaje de la velocidad de entrenamiento y pulsa Start vehicle; para con Stop vehicle.

‹

Reproducir›

Capturas: Guía de implementación de DeepRacer on AWS (AWS)

Conducción autónoma

1. En la consola, ve a Control vehicle y elige Autonomous driving (conducción autónoma).
2. Elige el modelo y pulsa Load model (tarda unos 10 segundos).
3. Ajusta Maximum speed (velocidad máxima) como porcentaje de la velocidad de entrenamiento.
4. Pulsa Start vehicle para arrancar y Stop vehicle para parar.

Ejemplo resuelto. Entrenasteis con una velocidad máxima de 2 m/s. En la pista real empezáis al 60 %: el coche completa la vuelta pero lento. Subís al 75 % y sigue estable; al 90 % se sale en la curva más cerrada. Vuestro punto de partida para la final será alrededor del 75-80 %. La fricción de cada superficie es distinta, así que este ajuste siempre se hace probando.

Calibración de dirección y velocidad

Calibrar es conseguir que el coche real haga lo mismo que el virtual: la velocidad máxima y el ángulo máximo del coche deben coincidir con los del entrenamiento. Hay dos enfoques: calibrar el coche para que coincida con el espacio de acciones, o medir el coche y ajustar el espacio de acciones.

• Dirección: con el coche apoyado en el suelo, se ajustan el centro y el máximo a izquierda y derecha. El ángulo se mide con un transportador.
• Velocidad: con el coche elevado (no sujeto en la mano), se ajusta el punto de parada (el punto medio entre los dos valores en los que empieza a sonar el motor), el sentido de avance y las velocidades máximas hacia delante y hacia atrás. Se recomienda dejar el límite un 20-30 % por encima de la velocidad máxima de entrenamiento.

Paso 1 de 8

1 - La página Calibration

Aquí ves los valores actuales. Pulsa Calibrate en Steering para empezar por la dirección; después harás lo mismo en Speed.

Paso 2 de 8

2 - Coche en el suelo

Apoya el coche en el suelo, donde veas bien las ruedas, y pulsa Next. En Calibrate center, alinea al menos una rueda delantera con la trasera del mismo lado.

Paso 3 de 8

3 - Giro máximo a la izquierda

En Maximum left steering mueve el control hasta que las ruedas dejen de girar a la izquierda; un ruido fuerte indica que te has pasado. Si entrenaste con un ángulo menor, ajusta el valor equivalente.

Paso 4 de 8

4 - Giro máximo a la derecha

Repite hacia la derecha en Maximum right steering y pulsa Done para guardar la dirección.

Paso 5 de 8

5 - Eleva el coche

Para calibrar la velocidad, coloca el coche sobre un soporte estable para que las ruedas giren libres. No lo sujetes con la mano.

Paso 6 de 8

6 - Punto de parada

En Stopped speed ajusta el Stopped value hasta que las ruedas se paren. El punto ideal es el medio entre los dos valores en los que empieza a sonar el motor.

Paso 7 de 8

7 - Sentido de avance

En Set forward direction pulsa las flechas: si las ruedas giran en sentido horario, el avance es correcto; si no, activa Reverse direction.

Paso 8 de 8

8 - Velocidad máxima

En Maximum forward speed mueve el control hasta que Estimated speed coincida con la velocidad máxima de entrenamiento o quede algo por encima, como se indica arriba. Después fija Maximum backward speed (el modo autónomo no la usa) y pulsa Done.

‹

Reproducir›

Capturas: Guía de implementación de DeepRacer on AWS (AWS)

Batería y pista física

Batería

La batería de tracción es una LiPo de 7,4 V. Dura unos 15-25 minutos en modo autónomo y se recomienda cargarla cada 15 minutos de uso. Al bajar el voltaje baja la fuerza del motor y el coche va más lento: si probáis el porcentaje de velocidad con la batería casi vacía, en la final con la batería llena os iréis de la pista.

Requisitos de la pista

Además: nada blanco cerca de la pista (en simulación solo los bordes son blancos), cinta limpia y continua, y nada de suelos reflectantes, hormigón pulido u otras líneas en el suelo.

Plantillas oficiales

• A to Z Speedway: básica, réplica 1:1 de la pista virtual, la más usada en competiciones físicas y recomendada para principiantes.
• Smile Speedway: intermedia.
• RL Speedway: avanzada.

Cómo es una final presencial

DeepRacer on AWS permite organizar eventos físicos con hasta 10 pistas, cada una con su clasificación (y una combinada si hay varias). Vocabulario clave:

• Run: el turno de vuestro coche en pista.
• Vuelta (lap): la persona cronometradora marca el inicio con Start first lap y cada vuelta con Record lap.
• Reset: Car reset se registra cuando hay que recolocar el coche.
• Vuelta inválida: Mark lap invalid anula una vuelta que no cumple las normas.
• Did not finish: el coche no terminó.
• Submit Run: cierra el run y lo envía a la clasificación.

El formato puede ser Best lap (mejor vuelta) o Average laps (media de las vueltas válidas). Las reglas concretas de cada final (duración del run, resets permitidos, qué invalida una vuelta) se fijarán según las bases.

Actividad práctica

Objetivo: preparar la "ficha técnica" de vuestro modelo para la final. Se puede hacer en la plataforma y en papel.

1. En Your models, elegid los dos o tres candidatos para la final.
2. Anotad de cada uno el espacio de acciones (ángulo máximo y velocidad máxima) y la pista de entrenamiento.
3. Evaluad cada candidato en la versión virtual de la pista de la final y en al menos otra pista distinta.
4. Descartad los que solo funcionen en su pista (posible sobreajuste) y quedaos con el más regular.
5. Comprobad en el diario que su función de recompensa no produce zig-zag (si el vídeo de evaluación muestra eses, valorad clonarlo con una penalización de giro).
6. Escribid una ficha con: nombre exacto del modelo, velocidad y ángulo máximos, y un porcentaje de velocidad inicial para probar (por ejemplo, 60 %).
7. Preparad una lista de comprobación para el día de la final: batería cargada, pista sin objetos blancos, calibración revisada, modelo correcto cargado.

Resumen

• La brecha sim2real es la diferencia entre simulación y realidad; se reduce con buena pista, buena calibración y modelos suaves.
• Antes de culpar al modelo, revisad convergencia, calibración, pista, objetos cercanos, reflejos y mecánica.
• El modelo llega al coche por envío de la organización o por descarga manual, y se ajusta la velocidad máxima en porcentaje.
• La batería dura unos 15-25 minutos: cargadla cada 15 minutos para que el coche se comporte igual.
• En la final se cronometran runs con vueltas, resets y vueltas inválidas, por mejor vuelta o por media, según las bases.