Google Gemini (LLM) controlando un Robot!

Abstract

En este video te muestro cómo construir un vehículo guiado autónomo (AGV) que se desplaza sobre una cuadrícula siguiendo líneas negras, tomando decisiones de navegación en tiempo real mediante inteligencia artificial generativa (IA).

Usamos un modelo de lenguaje grande (LLM), Gemini de Google, para generar dinámicamente la ruta del robot con solo indicar coordenadas de inicio y destino. Este enfoque se conoce como LLM-in-the-Loop Robotics, una técnica avanzada que integra IA en el ciclo de decisión del robot.

Aprenderás a:

-Programar un robot con ESP32 y CircuitPython.

-Usar sensores infrarrojos y giroscopio para navegación.

-Conectarte a la API de Gemini 1.5 Flash.

-Generar rutas con prompts de lenguaje natural.

-Integrar hardware y software en un proyecto educativo.

-Ideal para estudiantes, makers y educadores que buscan proyectos reales de robótica con IA y aplicaciones de IA generativa en sistemas físicos.

Palabras clave: AGV, LLM in the loop, Gemini API, robot autónomo, inteligencia artificial generativa, ESP32, CircuitPython, Google Gemini, robótica educativa, prompt engineering, proyectos IA. Código: https://github.com/Universidad-Cenfotec/ExpoCenfo/tree/main/Ejemplos_LLM_ESP32/LLM_in_the_Loop_Robotics Sobre Sumobot: https://github.com/Universidad-Cenfotec/Sumobot