Brisons le silence,
avec HearMyHands.

Traduction en temps réel de la Langue des Signes Française propulsée par l'Intelligence Artificielle.

Traduire la LSF
À propos du projet

Briser le silence, main dans la main

En France, plus de 5 millions de personnes sont touchées par un handicap auditif, et moins de 120 000 utilisent réellement la Langue des Signes Française au quotidien. Entre les deux, un mur de silence que HearMyHands veut faire tomber, en traduisant la LSF en texte en temps réel via une simple webcam, sans matériel spécialisé.

5,2 M personnes concernées en France
< 120 k locuteurs réguliers de la LSF
26 signes traduits (l'alphabet LSF)

Comment ça marche

1

Capture

Ta webcam envoie ses frames en binaire via WebSocket à notre serveur, ~15 fps.

2

Squelette

Notre modèle custom (CSPDarknet53 + heatmaps + Soft-Argmax) prédit 9 points du haut du corps. MediaPipe Hands ajoute les 21 landmarks de chaque main, cropées autour des poignets.

3

Lettre & mot

Un MLP (ReLU + softmax) pour les lettres statiques, et notre GRU temporel Ocarina pour les signes en mouvement, avec environ 80 % d'accuracy en validation.

L'équipe

Projet PeiP 2A · Polytech Nantes · Année 2025–2026 · clique un nom pour la bio

Chef de projet · Coordination

  • Marius DEMONFAUCON

Pôle Vision Modèle 1

  • Titouan DESAILLY · Responsable
  • Maxime D'AURIA
  • Thibault CAPDEVIELLE
  • François DELAUNAY

Pôle Traduction Modèle 2 · MLP/GRU

  • Killian SEVALLE · Responsable
  • Dalyan PENISSON
  • Nathan DIZY
  • Louna PEJOT
  • Marius DEMONFAUCON

Pôle Interface & Backend

  • Maxime D'AURIA · Responsable
  • Kaelig LERAY
  • François DELAUNAY

Communication & Direction artistique

  • Louna PEJOT · Responsable
  • François DELAUNAY
  • Arthur PIERRE · CM
  • Kaelig LERAY
  • Nestor CORABOEUF

Outils & Organisation technique

  • Thibault CAPDEVIELLE · Responsable Git
  • Maxime D'AURIA · Responsable Git · Gérant Drive
  • François DELAUNAY · Admin Discord

Encadrants

Polytech Nantes & Laboratoire LS2N

  • Hélène Pérennou Tutrice pédagogique · Prof. de mathématiques, Polytech Nantes
  • Matthieu Perreira Da Silva Enseignant-chercheur LS2N · accompagnement technique IA

Stack & données

  • PyTorch · ResNet-50 + heatmaps + Spatial Softmax
  • Modèle 1 custom · 9 points clés du haut du corps
  • MediaPipe Hands · 21 points clés par main
  • MLP statique · classification alphabet à partir de 42 coordonnées
  • GRU temporel Ocarina · séquences de 45 frames en interface
  • Dataset interne · JSON segmentés et annotations de keypoints
  • Serveur web temps réel · inférence centralisée côté serveur
  • Déploiement public · hearmyhands.asia via Google Cloud
Aligné avec les Objectifs de Développement Durable de l'ONU :
ODD 4 · Éducation de qualité ODD 10 · Inégalités réduites

Sources des chiffres : Drees (Le handicap auditif en France) et FNSF. Pour nous écrire : hearmyhands.polytech@gmail.com · Code source : github.com/nmqx/hearmyhands