Jumeau numérique connecté du FabLab

Des capteurs sur les machines, un tableau de bord en temps réel, et une application qui reconnaît un équipement pour en expliquer le fonctionnement — au téléphone ou au casque Meta Quest.

Projet Master EUR DS4H — FabLab Valrose

Le principe

Ce projet pluridisciplinaire relie l’atelier et le numérique : chaque machine du FabLab devient une source de données, consultable sur le web et interrogeable en réalité augmentée. Quatre étudiants — deux en électronique, deux en informatique — construisent ensemble la chaîne complète, du capteur jusqu’au casque de réalité mixte.

De la machine à l’utilisateur

1. Capteurs & machines

Modules ESP32 en Wi-Fi/MQTT sur les équipements du FabLab : température, qualité de l’air, état de la machine, consommation électrique. Un nœud LoRaWAN complète le dispositif pour les mesures extérieures ou les zones sans Wi-Fi.

2. Bus de données MQTT

Toutes les mesures — et les commandes retournées vers les objets connectés — transitent par un serveur MQTT central, point de passage commun entre l’atelier et les interfaces.

3. Deux interfaces web

Un tableau de bord technique pour la supervision (valeurs en direct, historiques, courbes) et une interface publique pour vérifier la disponibilité d’une machine, consulter un tutoriel ou réserver un créneau.

4. Assistance immersive

Une appli Android en réalité augmentée identifie une machine par marqueur, QR code ou image de référence, et affiche un tutoriel contextuel. Une version Meta Quest prolonge cette assistance en réalité mixte, avec interaction manette ou mains nues.

Suivi d'image en réalité augmentée, prototype Unity/AR Foundation
Suivi d’image en réalité augmentée (Unity 6 / AR Foundation)
Donnée de température reçue par MQTT et affichée dans la scène AR
Donnée MQTT (température) affichée en direct dans la scène AR
Test de suivi d'image en réalité augmentée
Premier prototype de suivi d’image
Démonstration du casque Meta Quest avec suivi des mains
Démonstration en conditions réelles — interaction par suivi des mains

Répartition de l’équipe

Électronique — étudiant 1
ESP32, capteurs, monitoring des machines, mesure de puissance, Wi-Fi et MQTT.
Électronique — étudiant 2
Nœud LoRaWAN, passerelle réseau, transmission vers MQTT ; interaction physique côté embarqué avec les applications Unity.
Informatique — étudiant 1
Architecture MQTT, backend et frontend web, supervision temps réel, historiques, disponibilité des machines, réservation.
Informatique — étudiant 2
Unity, AR Foundation, application Android en réalité augmentée, tutoriels interactifs, Meta Quest et interactions XR.

Résultats attendus

  • Prototype ESP32 Wi-Fi/MQTT et nœud LoRaWAN pour une zone extérieure
  • Supervision d’au moins une machine du FabLab
  • Tableau de bord de supervision et interface utilisateur publique
  • Disponibilité des machines et tutoriels accessibles en ligne
  • Fonction de réservation en option
  • Application Android en réalité augmentée
  • Au moins un tutoriel interactif sur une machine
  • Prototype fonctionnel sur Meta Quest
  • Documentation technique réutilisable pour la suite

Base pensée pour être prolongée : nouvelles machines, suivi énergétique, contenus 360°, modèles 3D, maintenance préventive, assistance par IA.

Informations pratiques

Encadrement

Didier Orlandi & Philippe Aplincourt

Lieu

FabLab Valrose — 28 av Valrose, 06100 Nice