La question du nombre de participants revient systématiquement lors de la préparation d’une évaluation de l’utilisabilité. Pourtant, la réponse dépend avant tout du type d’évaluation menée : formative ou sommative.
L’évaluation formative : 5 à 8 participants par groupe d’utilisateurs
Pour une évaluation formative, il est généralement recommandé de recruter entre 5 et 8 participants par groupe d’utilisateurs.
Le chiffre de 5 participants constitue le minimum permettant de qualifier l’étude de test utilisateur ou d’essai d’aptitude conformément aux exigences de la norme IEC 62366.
Cependant, l’objectif d’une évaluation formative n’est pas seulement de satisfaire une exigence normative. Il s’agit avant tout d’identifier le plus grand nombre possible de problèmes d’utilisabilité afin de pouvoir les corriger avant les phases suivantes du développement. Dans cette optique, 8 participants représentent souvent un bon compromis, sans pour autant constituer une limite maximale.
Vous connaissez probablement déjà le célèbre chiffre de 5 popularisé par Jakob Nielsen, selon lequel une majorité des problèmes d’utilisabilité peuvent être détectés avec un nombre limité d’utilisateurs. Néanmoins, ce principe doit toujours être mis en perspective avec la complexité du dispositif, la diversité des utilisateurs et les objectifs de l’évaluation.
L’évaluation sommative : 15 à 25 participants par groupe d’utilisateurs
Pour une évaluation sommative, les effectifs sont généralement plus importants. Il est recommandé de prévoir entre 15 et 25 participants par groupe d’utilisateurs.
Cette augmentation s’explique par la finalité même de l’évaluation sommative : démontrer que les mesures de maîtrise des risques intégrées à l’interface utilisateur permettent effectivement de réduire les risques d’usage identifiés lors de l’analyse des risques.
L’annexe K de l’IEC 62366-2 illustre notamment la relation entre le nombre de participants et la probabilité de détecter un événement d’usage donné.
Par exemple, 15 participants permettraient d’avoir 54% de chance qu’au moins un participant rencontre un risque ayant une probabilité d’apparition de 5%.
La notion de groupe d’utilisateurs
Que ce soit pour une évaluation formative ou sommative, les recommandations précédentes perdent une grande partie de leur pertinence si les participants ne sont pas représentatifs des utilisateurs cibles ou si les groupes d’utilisateurs sont mal définis.
Mais qu’entend-on exactement par groupe d’utilisateurs ?
Voici deux exemples d’évaluation formative pour vous aider à saisir le concept.
Exemple n°1 : stylo auto-injecteur
Si vous tester un nouveau stylo auto injecteur avec 5 à 8 patients diabétiques de type 1 : Ici, nous avons des utilisateurs au profil et comportements similaires qui vont utiliser les mêmes fonctionnalités et réaliser les mêmes scénarios d’utilisation.
Forcément, dans ce cas, c’est simple : nous n’avons qu’un seul groupe.
Cependant, si votre dispositif est également utilisé par des adolescents seuls, il faudra se poser la question : avons-nous un second groupe d’utilisateurs ? Les différences en matière d’éducation thérapeutique et de développement justifient-elles cette distinction, ou non ? Cela peut dépendre des cas, ainsi que des objectifs de l’évaluation.
Exemple n°2 : un logiciel de prescription
Prenons maintenant le cas d’un logiciel de prescription évalué auprès de 9 participants : 3 médecins, 3 pharmaciens et 3 infirmiers.
À première vue, le nombre total de participants semble suffisant. Pourtant, cette approche pose un problème majeur : les utilisateurs appartiennent à des profils très différents et n’utilisent ni les mêmes fonctionnalités aux mêmes étapes.
Dans ce cas, les recommandations relatives au nombre de participants ne sont pas respectées pour chacun des groupes d’utilisateurs.
Il serait donc préférable de recruter au minimum 15 participants, répartis en 5 médecins, 5 pharmaciens et 5 infirmiers.
