Comment une IA apprend-elle à reconnaître un geste ?
🎯 Situation déclenchante — Le bloc opératoire sans contact
Au bloc opératoire, le chirurgien porte des gants stériles. Il ne peut toucher ni clavier, ni souris, ni écran. Pourtant, il doit faire défiler les images du scanner de son patient pendant l’opération.
Pour cela, certaines salles sont équipées d’une commande gestuelle : une caméra filme la main du chirurgien, et une intelligence artificielle reconnaît le geste. Mais comment une IA apprend-elle à reconnaître un geste ?
Observe l’animation : regarde ce que l’IA affiche à chaque geste du chirurgien.
💡 1. Comment la machine sait-elle que la main du chirurgien dit « stop » ? Écris ton hypothèse.
💡 2. Selon toi, peut-elle se tromper ? Dans quel cas ?
Clique sur une étape pour naviguer dans la séance — elle se coche quand tu as terminé l’activité
📚 Lexique — Les mots clés
Ces mots reviennent tout au long de la séance. Lis-les avant de commencer.
Ce que la machine produit à la fin de l’entraînement. Il sert ensuite à reconnaître des données qu’il n’a jamais vues.
Une des catégories que le modèle doit reconnaître. Exemple : stop, valider, aucune commande.
Un exemple accompagné de la bonne réponse. Exemple : une photo de main ouverte marquée « stop ».
Méthode où la machine apprend à partir de données étiquetées, sans qu’on lui écrive de règles.
Des données étiquetées, jamais vues pendant l’entraînement, qui servent à vérifier le modèle.
Le pourcentage que le modèle attribue à chaque classe. Il retient la classe au score le plus élevé, mais ce n’est pas une certitude.
🧩 Activité 1 — Écrire une règle, est-ce possible ?
1. Imagine que c’est toi qui programmes la commande gestuelle. Écris une règle qui permet à la machine de reconnaître le geste « stop » (main ouverte) à partir de ce que filme la caméra.
2. Retourne chaque carte. Pour chacune, décide si ta règle donne le bon résultat.
Carte 1RetournerLe chirurgien fait bien stop, mais sa main est vue de côté.
Carte 2RetournerLe gant et la blouse ont presque la même couleur : les contours de la main se confondent.
Carte 3RetournerLa main est ouverte, mais personne ne veut arrêter l’écran : ce n’est pas un stop.
Carte 4RetournerLes doigts sont collés au lieu d’être écartés. C’est pourtant un stop.
3. Sur ces quatre cas, combien ta règle en a-t-elle mal traité ?
4. À ton avis, pourrait-on écrire une règle qui fonctionne dans tous les cas ? Explique pourquoi, en t’appuyant sur au moins deux cartes.
Il est impossible d’écrire une règle complète. Chaque cas oblige à en ajouter une autre : main vue de côté, gant de la même couleur que la blouse, doigts serrés… et il faudrait encore prévoir la lumière, la distance, la taille de la main, l’angle de la caméra. La liste n’a pas de fin.
La carte 3 va plus loin : le salut a exactement la forme d’un stop. Aucune description de la main ne peut les distinguer, car ce qui change, c’est l’intention de la personne.
C’est pourquoi on a changé de méthode : au lieu d’écrire des règles, on fournit à la machine des exemples étiquetés, et elle ajuste elle-même ses calculs pour les reproduire. C’est l’apprentissage supervisé. Attention : il ne règle pas le cas de la carte 3. Un modèle n’apprend que ce que montrent ses exemples.
🧠 Activité 2 — Entraîner une IA à reconnaître tes gestes
Tu vas fabriquer ta propre commande gestuelle. Cette fois, tu n’écris aucune règle : tu montres des exemples à la machine.
- 1Ouvre Teachable Machine, choisis « Projet d’image », puis « Modèle d’image standard ».
- 2Crée trois classes et renomme-les : Stop, Valider, Aucune commande.
- 3Pour chaque classe, sous « Ajouter des échantillons d’images », clique sur Webcam, puis maintiens le bouton d’enregistrement pour capturer une cinquantaine d’images. Cadre uniquement ta main, jamais ton visage. Pour « Aucune commande », varie : main baissée, main sortie du cadre, geste ordinaire.
- 4Clique sur Entraîner le modèle et attends la fin, sans changer d’onglet.
- 5Clique sur Exporter le modèle. Dans l’onglet Tensorflow.js, coche « Importer (lien partageable) », puis clique sur Importer mon modèle. Copie le lien qui s’affiche et colle-le ci-dessous : il te servira à la séance suivante.
- 6Ouvre le menu Teachable Machine (en haut à gauche), puis clique sur Télécharger le projet en tant que fichier. Enregistre-le dans ton espace personnel.
- 7Dans l’Aperçu, refais chaque geste et observe les scores de confiance.
- 1Fais les étapes 1 à 6 de l’onglet Ordinateur : ton modèle doit être entraîné, et son lien copié.
- 2Ta carte micro:bit est déjà préparée. Branche-la, ouvre Vittascience Adacraft, puis ouvre le programme : menu Fichier, « Charger depuis votre ordinateur », fichier SNT-IA-CommandeGestuelle.sb3.
- 3Clique sur Connecter et choisis ta carte.
- 4Dans le bloc « sélectionner et initialiser le modèle », remplace « colle ici le lien de ton modele » par le lien de ton modèle.
- 5Clique sur le drapeau vert et fais chaque geste devant la webcam. La carte n’affiche une commande que si la confiance dépasse 0.80 : croix pour Stop, coche pour Valider, écran vide sinon.
- 1Voici le jeu d’entraînement : douze photos étiquetées, quatre par classe. Observe-les bien : ce sont les seuls exemples dont dispose la machine.
- 2Voici maintenant des photos nouvelles, sans étiquette : c’est le jeu de test. Pour chacune, ne cherche pas de règle : trouve la photo d’entraînement qui lui ressemble le plus, et donne-lui la même étiquette.
- 3Note ta réponse sur ta fiche pour chaque photo. Les réponses de la classe sont ensuite reportées dans le tableau de l’activité 3.
Tes relevés
Synthèse
Pour apprendre, qu’as-tu fourni à la machine ? Compare avec ce que tu as fait dans l’activité 1.
Pour apprendre, la machine reçoit des données étiquetées : des images rangées par classe. Le modèle a ajusté ses calculs pour les reproduire. Clique sur chaque étape pour voir ce que fait vraiment la machine.
📊 Activité 3 — Mettre le modèle à l’épreuve
Ton modèle a appris avec tes mains. Tu vas maintenant le tester sur des gestes qu’il n’a jamais vus : ceux d’un camarade.
- 1Laisse ta place à ton voisin : c’est lui qui fait les gestes devant ta webcam, avec ton modèle.
- 2Il fait chaque geste 5 fois : 5 Stop, 5 Valider, 5 Aucune commande, dans l’ordre qu’il veut.
- 3À chaque essai, regarde l’aperçu de Teachable Machine et note la classe qui obtient le score le plus élevé.
Ton modèle a appris avec tes mains. Tu vas maintenant le tester sur des gestes qu’il n’a jamais vus : ceux d’un camarade.
- 1Laisse ta place à ton voisin : c’est lui qui fait les gestes devant ta webcam, avec ton modèle.
- 2Il fait chaque geste 5 fois : 5 Stop, 5 Valider, 5 Aucune commande, dans l’ordre qu’il veut.
- 3À chaque essai, regarde la micro:bit et note ce qu’elle affiche : croix = Stop, coche = Valider, écran vide = Aucune commande.
- 4La carte n’affiche rien sous 80 % de confiance : un geste mal reconnu compte donc comme Aucune commande, comme dans une vraie commande.
Tu as classé dix photos nouvelles en les comparant au jeu d’entraînement. Il est temps de vérifier.
- 1Pour chaque photo, retrouve la réponse que tu avais notée sur ta fiche.
- 2Clique sur Afficher le vrai geste.
- 3Ajoute 1 dans la case du tableau qui croise la ligne du vrai geste et la colonne de ta réponse.
Le tableau doit totaliser 2 photos Stop, 3 Valider et 5 Aucune commande.
1. Quelle confusion revient le plus souvent dans le tableau ? Propose une explication.
2. Au bloc opératoire, quelle erreur serait la plus grave : confondre Stop et Valider, ou afficher Stop alors que le chirurgien n’a rien demandé ? Justifie.
Un modèle se juge sur un jeu de test : des données qu’il n’a jamais vues pendant l’entraînement. Réussir sur ses propres exemples ne prouve rien, il pourrait simplement les avoir retenus.
Le tableau que tu as rempli s’appelle une matrice de confusion : sa diagonale compte les bonnes reconnaissances, les autres cases montrent quelles classes le modèle confond. Le taux d’erreur est la part des essais mal reconnus.
Toutes les erreurs n’ont pas le même coût. Déclencher « Stop » alors que personne n’a rien demandé, c’est un faux déclenchement : il interrompt l’opération. C’est pourquoi un vrai système fixe un seuil de confiance (0.80 dans le programme micro:bit) : en dessous, il préfère ne rien faire. Le prix à payer : il ignorera parfois un vrai geste.
✍️ Ma trace écrite
Réponds avec tes propres mots. Les boutons Sauvegarder et Télécharger se trouvent plus bas, après le quiz.
❓ Quiz — Vérifie tes connaissances
Sauvegarde ton travail, puis télécharge le document complet et enregistre-le dans ton espace personnel.
🏆 J’ai réussi si…
Ajoute une classe Suivant (index pointé vers l’écran), entraîne de nouveau le modèle, puis refais les 5 essais de chaque geste.
Le taux d’erreur a-t-il changé ? Quelles nouvelles confusions apparaissent ? Explique pourquoi.
Pour le professeur
💻 Matériel
📄 Fiche élève « Option papier »
🎓 Lien avec le parcours Pix IA
- ▸Une IA apprend à partir de données — « Comment l’IA générative apprend-elle à discuter avec vous ? »
- ▸Une IA peut se tromper — « Elles hallucinent, ces IA génératives ! »
- ▸L’IA au quotidien — « IA, vous avez dit IA ? »
- ▸Transversale : CRCN 1.3 Traiter des données
📘 Programme
- ▸Programme SNT 2027 (volet IA) en cours de rédaction par le CSP. Rattachement provisoire : Les données structurées et leur traitement.
⚠️ Points de vigilance
- ▸Webcam : testez-la avant la séance ; sans caméra, binôme avec un poste équipé, sinon version Débranché.
- ▸Matériel : flashez les cartes avant la séance (procédure dans le déroulement).
- ▸Confidentialité : les élèves ne filment que leurs mains ; le lien du modèle est public.
- ▸Débranché : ne donnez le vrai geste qu’à l’activité 3, une fois les réponses notées.
Version : snt-ia-m1-s1-20261019-1610
Cette séance vous a plu ?
Elle fait partie de l’abonnement SNT Seconde : 35 séances sur les 7 thèmes, une évaluation et un QCM Pronote par thème, déroulements et corrections en .docx modifiables.
Sans engagement, résiliable en un clic. Un seul code classe pour toutes vos classes.
