La collaboration entre myBrain Technologies et UseConcept fut brève, mais très efficace. En deux mois, nous avons pu mettre en place une méthodologie complète pour répondre à la demande de la société qui avait besoin d’obtenir un dossier d’aptitude à l’utilisation pour le marquage CE de son dispositif. Nous vous partageons les étapes clefs et les bonnes pratiques pour optimiser au mieux les plannings quand vient l’heure de l’évaluation sommative.
Pour proposer la démarche la plus pertinente à myBrain Technologies (désormais Cyrebro Neurosignals) en fonction des besoins du projet et des impératifs, un état des lieux s’imposait afin de répondre à plusieurs questions :
➡️ Est-ce que le produit est prêt à aller en évaluation sommative ?
➡️ Est-ce que les risques liés à l’utilisation du produit avaient été suffisamment décrits ?
➡️ Quels sont les profils des utilisateurs ?
➡️ Quand est-ce que la soumission du dossier technique est prévue ?
Cet état des lieux nous a permis de mettre en place un planning projet optimisé, qui respectait les délais et permettait de répondre à toutes les exigences réglementaires.
L’analyse des risques d’usage est la base de l’évaluation sommative, car ce sont les moyens de protections vis-à-vis de ces risques que nous allons évaluer. Ils doivent être décrits de manière très exhaustive et respecter les attendus des normes ISO 14971 et EN63366. Chez UseConcept, nous réalisons toujours à minima une relecture des risques afin de s’en assurer et de commencer le projet sur une bonne base.
Pour proposer des risques d’usage pertinents, nous commençons par approfondir notre connaissance du dispositif, de son environnement d’utilisation et de ses utilisateurs. Pour cela, nous nousbasons sur : une présentation du dispositif par l’équipe projet, lesdocuments projet (manuel utilisateur, version en cours de l’analyse desrisques, description des scénarios d’usage, etc) et nous manipulons ledispositif avec notre œil d’ergonome.
Dans le cas de notre collaboration, les risques étaient déjà bien initiés. Après notre revue, la directrice QARA de myBrain Technologies, Sophie Duffaure Colliot, a très rapidement finalisé une version d’analyse de risques d’usage, ce qui nous a permis de passer aux étapes suivantes sans délais.
Qui dit évaluation sommative dit tests utilisateurs dans la très grande majorité des cas. Et pour réaliser ces tests utilisateurs (ou essais d’aptitude à l’utilisation) vous devrez faire appel à 15 participants par groupe de profils utilisateurs au minimum. Il convient donc de définir rapidement, qui sont les utilisateurs et combien de profils seront impliqués dans l’évaluation.
Dans le cas du dispositif Q+Médical, le panel de participants était composé de médecins et d’infirmières spécialisés. Ces profils étant des professionnels de santé il fallait donc prévoir de les recruter en respectant les lois anti-cadeaux et le dispositif transparence. Ce qui implique de mettre en place des autorisations du cumulet des conventions avec les participants, une étape qui peut facilement durer plusieurs semaines.
Le recrutement est une étape clef à ne surtout pas négliger. On voit régulièrement des projets prendre du retard car certains profils sont durs à trouver. Pour trouver les bons participants dans les temps et dans les règles, nous faisons systématiquement appel à notre partenaire HealthSquad, spécialistes du domaine. Pour ce projet, il a réussi à recruter 20 participants (15 infirmier.e.s et 5 médecins) en moins de 3semaines. De plus, il a fallu que les participants viennent à deux reprises : une première fois pour suivre la formation et une seconde fois pour réaliser le test utilisateur.
Le protocole d’évaluation sommative est un document normatif obligatoire. Mais il est surtout le meilleur moyen de bien planifier avec l’équipe projet la mise en place des tests utilisateurs. Il décrit notamment :
- Les profils des participants inclus dans l’étude (et une justification de la sélection)
- La sélection des risques d’usage évalués
- Les scénarios de test
- Les modalités de la formation donnée aux participants
- L’environnement et le matériel de test
- Les supports utilisés (recueil, questionnaires, consentements, etc.)
- Les interfaces utilisateurs évaluées
- Etc.
Une fois le protocole validé et relu par la directrice QARA de myBrain Technologies, les supports de passation et d’analyse des tests peuvent être finalisés. Avant de se lancer, nous organisons toujours un pré-test en interne, mais en conditions réelles pour valider le bon déroulé du test. C’est le dernier moment de vérification avant le début des tests.
Pendant deux semaines, les tests ont eu lieu dans notre laboratoire d’utilisabilité et ils se sont déroulés en deux parties :
- Formation des utilisateurs donnée par la directrice QARA de myBrain Technologies
- Passation des tests : modérés par un ergonome de UseConcept, accompagné d’un compère ergonome qui jouait le rôle du patient
Grace à notre salle de test dédiée, les équipes de myBrain Technologies ont pu assister à l’ensemble des tests en régie sans perturber le déroulé des tests. Nous essayons toujours de retranscrire au mieux l’appréciation du dispositif par les participants, mais vivre en direct les tests utilisateurs est forcément bien plus riche et vivant.
Une fois les tests réalisés, nous avons besoin d’un certain temps d’analyse des résultats et de rédaction du rapport de tests. Le rapport détaille les échecs, les close call, les succès et les difficultés rencontrés par les participants. Dans le cas de notre dispositif Q+Médical, les résultats étaient très bons, nous avons pu facilement conclure que les mitigations mises en place protégeaient bien des risques d’usage du dispositif.
Il restait une dernière étape de rédaction : la synthèse du dossier d’aptitude à l’utilisation. Pour fournir à myBrain Technologies le dossier le plus complet possible, nous avons fait le point ensemble sur toute la démarche d’ergonomie appliquée au produit. L’évaluation sommative ainsi que les évaluations formatives, ont été décrite afin de rendre compte de tout le processus d’aptitude à l’utilisation.
Il n’est pas toujours possible de réaliser une évaluation sommative en moins de deux mois, plusieurs conditions doivent être réunies. Mais pour mettre toutes les chances de votre côté, voici nos conseils :
✅ Bien planifier l’évaluation en se posant les bonnes questions dès le début
✅ Bien définir les profils des utilisateurs et la constitution des groupes pour constituer un panel représentatif de vos utilisateurs
✅ Anticiper le recrutement des participants : comptez entre 1 à 4 semaines en fonction du profil à recruter
✅ Ne pas négliger la définition des risques d’usage
✅Anticiper le matériel nécessaire pour réaliser les tests : version finale du dispositif et ses accessoires, version finale de la notice, du packaging et si formation utilisateur : des supports de formation.
✅ Documenter les éventuelles évaluations formatives pour les mettre en valeur dans votre dossier de synthèse de l’aptitude à l’utilisation
Un grand merci à Sophie Duffaure Colliot et aux équipes de myBrain Technologies avec qui nous avons eu le plaisir de collaborer et de recevoir dans nos locaux pendant quelques jours.
