Cas concret : sécurité incendie

Pour répondre aux questions intéressantes, vous avez besoin de données.

Andy Field

Cet article s'adresse à tous les formateurs désireux de démontrer l'efficacité de leur intervention et de justifier leur apport auprès des participants. Nous aborderons deux outils statistiques implémentés dans l'application HPO STAT et présentés dans ce blog.

Pour réaliser tous les calculs nécessaires, vous n'avez besoin d'aucune connaissance en mathématiques. Cependant, avoir une bonne logique vous aidera si vous décidez de mettre en place la démarche présentée ci-après.

Prenons l'exemple d'un formateur en sécurité incendie qui souhaite tester l'efficacité d'une nouvelle procédure d'évacuation. Il recrute un groupe de volontaires et mesure leurs temps d'évacuation avant et après avoir suivi la formation.  

Comme les mesures sont prises sur les mêmes individus avant et après la formation, on parle de mesures appariées. Pour ce cas le test de Wilcoxon apparié sera parfaitement adapté.

Pour prendre les temps, c'est très facile : il suffit d'un chronomètre et c'est parti ! Vous pouvez organiser les données dans un tableau comme ci-dessous. 

On a maintenant les temps représentés en secondes pour chaque participant. Posons-nous les questions : Existe-t-il une amélioration suite à la formation ? Si oui, cette amélioration est-elle significative ?

Pour répondre à ces questions, nous allons donc utiliser une méthode scientifique, oui, c'est bien ça, une méthode qui permet de valider l'impact de la formation sur les temps d'évacuation. 

Dans ce cas, l'application HPO STAT propose le test de Wilcoxon. Ce test est approprié car nous avons des mesures avant et après pour les mêmes individus, et nous ne pouvons pas supposer que les différences suivent une distribution normale (bon ok, ce point  peut être technique).

Pour bien faire les choses, en statistiques, on formule des hypothèses que l'on va chercher à valider ou à rejeter.

H0 (hypothèse nulle) : Il n'y a pas de différence significative entre les temps d'évacuation avant et après la formation. Cela signifie que la formation n'a aucun effet mesurable sur la vitesse d'évacuation. En d'autres termes, les temps d'évacuation avant et après la formation sont statistiquement similaires. De manière plus directe, la formation n'apporte aucun bénéfice observable.

H1 (hypothèse alternative) : Il y a une différence significative entre les temps d'évacuation avant et après la formation. Si on accepte H1, cela signifie que la formation a un effet significatif sur la vitesse d'évacuation. 

Pour les calculs, pas de panique ! L'application HPO STAT fera le reste et vous donnera les résultats. Plutôt pratique, non ?

La première étape est d'ouvrir l'application HPO STAT, puis d'entrer les temps de chaque participant. Il n'y a que ça à faire... enfin presque, car il faut tout de même appuyer sur le bouton rouge qui lance le calcul.

Ensuite, vous pouvez accéder au texte de l'analyse, le copier et le coller dans votre rapport par exemple. Voici le résultat pour les données utilisées ici :

"Après avoir mené une analyse descriptive et appliqué le test de Wilcoxon à vos données, nous avons trouvé une valeur W calculée de 0, qui est inférieure à la valeur critique de 6 pour le niveau de signification de 5%. Cela permet de rejeter l'hypothèse nulle, indiquant une différence statistiquement significative entre vos deux ensembles de données. Autrement dit, l'effet de votre intervention (ou la différence entre les groupes) est statistiquement significatif au seuil de 5%. Ce résultat confirme l'efficacité de votre programme et soutient l'hypothèse alternative (H1) selon laquelle l'intervention a eu un impact mesurable. Ces résultats positifs ouvrent la voie à de futures recherches pour explorer davantage et optimiser les stratégies d'intervention." 

À vous de l'adapter en précisant les hypothèses de départ.

Au-delà d'une démarche d'optimisation, vous pourrez valoriser les résultats dans votre rapport Qualiopi en démontrant l'impact positif de la formation. Cela fait toujours bonne impression et les services administratifs apprécient les chiffres, plus que les impressions subjectives. Par ailleurs, vous pouvez intégrer ce test dans le compte-rendu d'exercice que vous trouverez ici : Fiche exercice P39.  

A l'inverse, si le résultat n'est pas significatif, cherchez ce qui a pu se passer dans le programme. 

Application 2

Dans un second temps, le même formateur souhaite évaluer la relation entre le niveau de forme des agents de sécurité et le temps réalisé lors d'un parcours. Pour cela, il recueille les données suivantes auprès de 12 agents de sécurité.

• Le niveau de forme de chaque agent, évalué à l'aide de l'application HPO LAB (variable x).
• Le temps du parcours d'obstacles chronométré, simulant les conditions d'une évacuation réelle (variable y).

Cette fois, nous utilisons le coefficient de corrélation de Spearman.  C'est  un outil statistique utilisé pour déterminer s'il existe une relation significative entre deux variables (x et y dans notre cas). Le coefficient de Spearman est utilisé afin de minimiser la probabilité que la relation entre le niveau de forme des agents et le temps qu'ils mettent au parcours d'obstacles soit due au hasard.   

Voici un tableau pour 8 agents de sécurité, avec le niveau de forme et le temps réalisé lors du parcours d'obstacles. Ces données ont été collectées par Marc, un formateur.

Le résultat :

La valeur de -0.274 indique une corrélation négative faible entre le niveau de forme des agents et le temps réalisé lors du parcours d'obstacles. En d'autres termes, une augmentation du niveau de forme est associée à une légère diminution du temps du parcours, mais cette relation est très faible. On peut imaginer que l'aspect technique du parcours influence davantage le temps que le niveau de forme. C'est précisément ce que nous cherchons à mettre en évidence.

En combinant ces deux méthodes statistiques, un formateur peut évaluer l'efficacité de sa formation et identifier les facteurs qui influencent la performance des agents. Ces informations peuvent ensuite être utilisées pour améliorer le programme de formation ou justifier l'impact d'une intervention sur le personnel.  

Qu'en pensez-vous ? N'hésitez pas à partager vos expériences et vos réflexions sur le sujet. Vos commentaires peuvent aider à enrichir le sujet.  

MONITORING EN TEMPS RÉEL, TESTS ET L'ÉVALUATIONS  DE L'ENTRAÎNEMENT DE VOTRE PERSONNEL

 COMMANDEZ VOTRE LICENCE !