Plateforme Edge AI Vision — Jetson Orin Nano Super

Détection, suivi et comptage en temps réel sur une carte embarquée, avec retour physique par MQTT et diffusion vidéo en direct.

Projet Master EUR DS4H — FabLab Valrose

Le principe

Une caméra reliée à un Jetson Orin Nano Super détecte, suit et compte des objets (personnes, véhicules…) grâce à YOLO, entièrement en local. Les résultats sont publiés sur MQTT : un tableau de bord web les affiche, et des nœuds ESP32 peuvent y réagir physiquement — LED, relais, servo, buzzer. Quatre étudiants — deux en électronique, deux en informatique — construisent cette chaîne complète, de la caméra à l’action physique.

De la caméra à l’action

1. Acquisition & jeu de données

Caméra USB/CSI sur le Jetson, pipeline GStreamer, caractérisation (résolution, fréquence, champ de vision, latence). Constitution et annotation d’un jeu de données représentatif, validé en conditions réelles.

2. Détection embarquée

YOLO tourne directement sur le Jetson : détection multi-classes, suivi, comptage, zones virtuelles. Optimisation TensorRT pour comparer taille de modèle, précision et performances (FPS, latence, usage GPU).

3. MQTT & diffusion

Les métadonnées de détection (anonymisées) sont publiées sur MQTT et affichées sur un tableau de bord web temps réel. Un flux vidéo live, réservé au réseau FabLab/campus, peut être diffusé via OvenMediaEngine ou Wowza pour la supervision.

4. Réponse physique

Les événements MQTT peuvent être reçus par des nœuds ESP32 qui déclenchent une action locale — voyant, relais, servo, buzzer — avec mesure du temps de réponse complet, du Jetson jusqu’à l’action physique.

Carte NVIDIA Jetson
Carte NVIDIA Jetson orin nano

Répartition de l’équipe

Électronique — étudiant 1
Caméra USB/CSI, pipeline GStreamer, caractérisation, création et annotation du jeu de données, validation expérimentale terrain.
Électronique — étudiant 2
Nœuds actionneurs ESP32 connectés MQTT (LED, relais, servo, buzzer), mesure du temps de réponse Jetson → MQTT → ESP32 → action.
Informatique — étudiant 1
YOLO, suivi, comptage, zones virtuelles, fine-tuning optionnel, optimisation TensorRT, évaluation des performances.
Informatique — étudiant 2
Architecture MQTT, streaming vidéo (OvenMediaEngine/Wowza), tableau de bord web, statistiques, contrôle d’accès.

Résultats attendus

  • Plateforme Edge AI fonctionnelle sur Jetson Orin Nano Super
  • Système d’acquisition mono-caméra fiable et caractérisé
  • Détection, suivi et comptage YOLO en temps réel, multi-classes
  • Jeu de données annoté et validé en conditions réelles
  • Optimisation TensorRT et évaluation des performances
  • Publication MQTT systématique des événements et métadonnées
  • Réponses physiques ESP32 déclenchées par les événements IA
  • Streaming vidéo temps réel sur le réseau FabLab/campus
  • Tableau de bord web (vidéo, détections, statistiques)
  • Documentation technique permettant de reproduire et étendre le projet

Architecture pensée pour la confidentialité : traitement local, métadonnées anonymisées, pas d’enregistrement par défaut. Extensions possibles : double caméra, classes personnalisées, analyse de flux piéton/véhicule, alertes automatiques.

Informations pratiques

Encadrement

Didier Orlandi & Philippe Aplincourt

Lieu

FabLab Valrose — 28 av Valrose, 06100 Nice