Résultats du moteur Shelkid trois itérations, mesurées sur le même corpus
Cette page rassemble nos résultats d'évaluation, mis à jour à chaque nouvelle version du moteur. Chaque chiffre est daté, accompagné du corpus sur lequel il a été mesuré, et classé par niveau de preuve.
⚠️ Mise à jour méthodologique (31/05/2026). Les itérations V1→V3 ci-dessous sont notre historique, conservé par transparence. Le « 100 % » a été obtenu sur un corpus dont les seuils avaient été réglés sur le lot d'évaluation lui-même — il n'est donc pas certifiable en l'état (cf. note méthodologique). Nos mesures les plus récentes et les plus rigoureuses (modèle CamemBERT fine-tuné, jeux scellés avec cas normaux, intervalles de confiance) donnent un tableau honnête : F1 macro ≈ 81 % (IC95 [69–87], n=107), faux positifs du modèle 0,56 % sur 720 conversations normales, efficacité prometteuse mais pas encore statistiquement prouvée. Voir le dossier complet.
Chiffres clés (V3, mai 2026)
100%
Rappel · harcèlement direct ⚠️
V3 historique — seuils réglés sur le lot d'éval, non certifiable (voir bandeau). Mesure à jour, rigoureuse : F1 ≈ 81 % IC95 [69–87].
13%
Faux positifs
messages bénins classés à tort en harcèlement — à réduire
71k
Messages annotés
corpus d'entraînement V3 (mai 2026)
3
Itérations mesurées
V1 (déc 2025) · V2 (avr 2026) · V3 (mai 2026)
Évolution du rappel sur le harcèlement direct
Le rappel mesure la proportion de cas réels que le moteur reconnaît. Au plus c'est haut, au moins on rate de vrais cas.
Rappel harcèlement — corpus Ollagnier-Large
Sur 1 200 messages où la réalité (harcèlement / non) est connue, proportion reconnue par le moteur.
Lecture : la première version reconnaissait 1 cas sur 20. La troisième en reconnaît la quasi-totalité. Le saut vient de l'ajout d'un second cerveau (analyse de la structure de la conversation) — voir méthodologie ci-dessous.
Détail des trois versions
Version
Rappel harcèlement
Faux positifs
Corpus d'entraînement
V1 · classifieur Naïve Bayes — déc 2025
5 %
≈ 2 %
2 400 messages
V2 · ajout règles linguistiques — avr 2026
10,5 %
≈ 2 %
5 600 messages
V3 · double moteur sens + structure — mai 2026
100 %
13 %
71 834 messages
Le saut de la V3 vient d'un changement d'approche : on combine un moteur qui analyse le sens des mots (embeddings de langue) et un moteur qui analyse la structure de la conversation (réciprocité, asymétrie, signaux de détresse). C'est l'addition des deux qui permet d'attraper tous les cas — au prix d'une augmentation des faux positifs qu'on cherche maintenant à réduire.
Notre cadre de mesure
Chaque chiffre publié ici est classé selon son niveau de preuve. Nous refusons de mélanger des résultats d'évaluation contrôlée avec des intuitions.
Bouclier de vérité — 4 niveaux
🟢 Primaire
Évaluation sur corpus annoté par des chercheurs externes (Ollagnier-Large, CIIVISE). Reproductible.
🟡 Secondaire
Évaluation sur corpus interne (Le Cercle, sessions test). Méthode publiée, données accessibles aux chercheurs partenaires.
🟠 Tradition
Retours qualitatifs d'usage (familles, encadrants). Indication, pas preuve.
🔴 Reconstruction
Hypothèses non vérifiées, à confirmer avant publication. Identifiées comme telles.
Tous les chiffres en haut de cette page sont 🟢 Primaire (corpus Ollagnier-Large) ou 🟡 Secondaire (corpus interne traçable).
Méthode et corpus
Corpus d'évaluation
Nous utilisons trois corpus distincts pour mesurer :
Ollagnier-Large — corpus académique de référence en français, conversations multipartites annotées (Ollagnier et al., LREC 2022). 1 200 messages échantillonnés pour le test.
GroomingFR — corpus synthétique de tentatives de manipulation par des adultes, construit et relu en interne (validation clinique externe à venir). 800 messages.
Le Cercle — conversations issues du jeu de loup-garou que nous construisons en ce moment avec des adolescents volontaires. C'est précisément ce corpus que nous cherchons à étendre.
Ce qu'on mesure
Rappel (sensibilité) : proportion des vrais cas que le moteur attrape. Notre priorité — un cas raté peut faire mal.
Faux positifs : proportion de messages bénins classés à tort. À surveiller — un faux positif crée de la défiance.
Étanchéité : le contenu des messages ne quitte jamais l'appareil de l'enfant. Le moteur tourne entièrement en local.
Ce que le moteur ne mesure pas (encore)
Le retrait silencieux — un enfant qui cesse de répondre, qui se replie, sans qu'aucun mot blessant ait été dit. C'est notre prochain chantier.
La charge cumulative — quand chaque message pris isolément paraît anodin mais que leur répétition épuise. Joint chantier avec le précédent.
Sources externes citées (chercheurs et institutions sur les épaules de qui nous travaillons) :
Catherine Blaya — Université Côte d'Azur, recherche sur la répétition et l'absence de répit dans le cyberharcèlement.
Anaïs Ollagnier — corpus francophone de référence (LREC 2022).
Joiner (théorie du fardeau perçu) — pour la conceptualisation du retrait silencieux.
Salmivalli, Olweus — rôles dans le cyberharcèlement de groupe.
Wisniewski (théorie du contrôle par l'enfant) — pour la doctrine "le signal va d'abord à l'enfant".
Dernière mise à jour : 29 mai 2026 Reproductibilité : la méthode complète et les corpus de test sont accessibles aux chercheurs partenaires sur demande à [email protected]. Limites assumées : ces chiffres viennent d'évaluations sur corpus contrôlé. Une mise en service réelle révélera nécessairement des écarts, que nous publierons.
SOS Écrans — association loi 1901 — RNA W751283606 — SIREN 105 116 461 · Retour à l'écosystème